Node.js | Buffer(緩衝區)

簡介

JavaScript語言自身只有字符串資料類型，沒有二進制資料類型。

但在處理像TCP流或文件流時，必須使用到二進制資料。因此在Node.js中，定義了一個Buffer類，該類用來建立一個專門存放二進制資料的緩存區。

在Node.js中，Buffer類是隨Node內核一起發布的核心庫。Buffer庫為Node.js帶來了一種存儲原始資料的方法，可以讓Node.js處理二進制資料，每當需要在Node.js中處理I/O操作中移動的資料時，就有可能使用Buffer庫。原始資料存儲在Buffer類的實例中。一個 Buffer類似於一個整數數組，但它對應於V8堆內存之外的一塊原始內存。​‌‌​‌‌‌​​‌‌​‌‌‌‌​‌‌​​‌​​​‌‌​​‌​‌​‌‌​‌​‌​​‌‌‌​​‌‌​​‌​‌‌​‌​​‌‌​​‌​​​‌‌​​​​​​‌‌​​‌​​​‌‌​​​​​​‌‌​​​​​​‌‌​​​‌​​‌‌​​‌​​​‌‌​​‌‌​​‌​‌‌​‌​‌​​‌‌‌​​‌‌​‌‌‌‌​‌‌​​‌​​​‌‌​​‌​‌​‌‌​‌​‌​​‌‌‌​​‌‌​​‌​‌‌​‌​​‌‌​​​‌​​‌‌​​​‌

註：在v6.0之前建立Buffer對象直接使用new Buffer()構造函數來建立對象實例，但是Buffer對內存的權限操作相比很大，可以直接捕獲一些敏感訊息，所以在v6.0以後，官方文件裡面建議使用Buffer.from()接口去建立Buffer對象。

註：詳細Doc Link

Buffer 與字符編碼

Buffer實例一般用於表示編碼字符的序列，比如UTF-8、UCS2、Base64、或十六進制編碼的資料。通過使用顯式的字符編碼，就可以在 Buffer實例與普通的JavaScript字符串之間進行相互轉換。​‌‌​‌‌‌​​‌‌​‌‌‌‌​‌‌​​‌​​​‌‌​​‌​‌​‌‌​‌​‌​​‌‌‌​​‌‌​​‌​‌‌​‌​​‌‌​​‌​​​‌‌​​​​​​‌‌​​‌​​​‌‌​​​​​​‌‌​​​​​​‌‌​​​‌​​‌‌​​‌​​​‌‌​​‌‌​​‌​‌‌​‌​‌​​‌‌‌​​‌‌​‌‌‌‌​‌‌​​‌​​​‌‌​​‌​‌​‌‌​‌​‌​​‌‌‌​​‌‌​​‌​‌‌​‌​​‌‌​​​‌​​‌‌​​​‌

1
2
3
4
5
6
7

const buf = Buffer.from('morosedog', 'ascii');

// 輸出 6d6f726f7365646f67
console.log(buf.toString('hex'));

// 輸出 bW9yb3NlZG9n
console.log(buf.toString('base64'));

Node.js目前支持的字符編碼包括：

建立 Buffer 類

Buffer提供了以下API來建立Buffer類：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26

// 建立一個長度為 10、且用 0 填充的 Buffer。
const buf1 = Buffer.alloc(10);
console.log(buf1);

// 建立一個長度為 10、且用 0x1 填充的 Buffer。
const buf2 = Buffer.alloc(10, 1);
console.log(buf2);

// 建立一個長度為 10、且未初始化的 Buffer。
// 這個方法比調用 Buffer.alloc() 更快，
// 但返回的 Buffer 實例可能包含舊資料，
// 因此需要使用 fill() 或 write() 重寫。
const buf3 = Buffer.allocUnsafe(10);
console.log(buf3);

// 建立一個包含 [0x1, 0x2, 0x3] 的 Buffer。
const buf4 = Buffer.from([1, 2, 3]);
console.log(buf4);

// 建立一個包含 UTF-8 字節 [0x74, 0xc3, 0xa9, 0x73, 0x74] 的 Buffer。
const buf5 = Buffer.from('tést');
console.log(buf5);

// 建立一個包含 Latin-1 字節 [0x74, 0xe9, 0x73, 0x74] 的 Buffer。
const buf6 = Buffer.from('tést', 'latin1');
console.log(buf6);

執行結果如下：​‌‌​‌‌‌​​‌‌​‌‌‌‌​‌‌​​‌​​​‌‌​​‌​‌​‌‌​‌​‌​​‌‌‌​​‌‌​​‌​‌‌​‌​​‌‌​​‌​​​‌‌​​​​​​‌‌​​‌​​​‌‌​​​​​​‌‌​​​​​​‌‌​​​‌​​‌‌​​‌​​​‌‌​​‌‌​​‌​‌‌​‌​‌​​‌‌‌​​‌‌​‌‌‌‌​‌‌​​‌​​​‌‌​​‌​‌​‌‌​‌​‌​​‌‌‌​​‌‌​​‌​‌‌​‌​​‌‌​​​‌​​‌‌​​​‌

1
2
3
4
5
6
7

$ node main.js
<Buffer 00 00 00 00 00 00 00 00 00 00>
<Buffer 01 01 01 01 01 01 01 01 01 01>
<Buffer fc 7f fc 27 01 19 00 00 00 00>
<Buffer 01 02 03>
<Buffer 74 c3 a9 73 74>
<Buffer 74 e9 73 74>

寫入緩衝區

語法

寫入Node緩衝區的語法如下所示：

1

buf.write(string[, offset[, length]][, encoding])

參數

參數描述如下：

• string：寫入緩衝區的字符串。
• offset：緩衝區開始寫入的索引值，默認為0。
• length：寫入的字節數，默認為 buffer.length。
• encoding：使用的編碼。默認為'utf8'。

根據encoding的字符編碼寫入string到buf中的offset位置。length參數是寫入的字節數。如果buf沒有足夠的空間保存整個字符串，則只會寫入string的一部分。只部分解碼的字符不會被寫入。​‌‌​‌‌‌​​‌‌​‌‌‌‌​‌‌​​‌​​​‌‌​​‌​‌​‌‌​‌​‌​​‌‌‌​​‌‌​​‌​‌‌​‌​​‌‌​​‌​​​‌‌​​​​​​‌‌​​‌​​​‌‌​​​​​​‌‌​​​​​​‌‌​​​‌​​‌‌​​‌​​​‌‌​​‌‌​​‌​‌‌​‌​‌​​‌‌‌​​‌‌​‌‌‌‌​‌‌​​‌​​​‌‌​​‌​‌​‌‌​‌​‌​​‌‌‌​​‌‌​​‌​‌‌​‌​​‌‌​​​‌​​‌‌​​​‌

返回值

返回實際寫入的大小。如果buffer空間不足，則只會寫入部分字符串。

實例

1
2
3
4

buf = Buffer.alloc(256);
len = buf.write("https://morosedog.gitlab.io/");

console.log("寫入字節數 : "+ len);

執行結果如下：

1
2

$node main.js
寫入字節數 : 38

從緩衝區讀取資料

語法

讀取Node緩衝區資料的語法如下所示：​‌‌​‌‌‌​​‌‌​‌‌‌‌​‌‌​​‌​​​‌‌​​‌​‌​‌‌​‌​‌​​‌‌‌​​‌‌​​‌​‌‌​‌​​‌‌​​‌​​​‌‌​​​​​​‌‌​​‌​​​‌‌​​​​​​‌‌​​​​​​‌‌​​​‌​​‌‌​​‌​​​‌‌​​‌‌​​‌​‌‌​‌​‌​​‌‌‌​​‌‌​‌‌‌‌​‌‌​​‌​​​‌‌​​‌​‌​‌‌​‌​‌​​‌‌‌​​‌‌​​‌​‌‌​‌​​‌‌​​​‌​​‌‌​​​‌

1

buf.toString([encoding[, start[, end]]])

參數

參數描述如下：

• encoding：使用的編碼。默認為'utf8'。
• start：指定開始讀取的索引位置，默認為0。
• end：結束位置，默認為緩衝區的末尾。

返回值

解碼緩衝區資料並使用指定的編碼返回字符串。

實例

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

buf = Buffer.alloc(26);
for (var i = 0 ; i < 26 ; i++) {
  buf[i] = i + 97;
}

console.log( buf.toString('ascii')); // 輸出: abcdefghijklmnopqrstuvwxyz
console.log( buf.toString('ascii',0,5)); //使用 'ascii' 編碼, 並輸出: abcde
console.log( buf.toString('utf8',0,5)); // 使用 'utf8' 編碼, 並輸出: abcde
console.log( buf.toString(undefined,0,5)); // 使用默認的 'utf8' 編碼, 並輸出: abcde

for (var i = 0 ; i < 26 ; i++) {
  buf[i] = i + 65;
}

console.log( buf.toString('ascii')); // 輸出: ABCDEFGHIJKLMNOPQRSTUVWXYZ
console.log( buf.toString('ascii',0,5)); //使用 'ascii' 編碼, 並輸出: ABCDE
console.log( buf.toString('utf8',0,5)); // 使用 'utf8' 編碼, 並輸出: ABCDE
console.log( buf.toString(undefined,0,5)); // 使用默認的 'utf8' 編碼, 並輸出: ABCDE

執行結果如下：​‌‌​‌‌‌​​‌‌​‌‌‌‌​‌‌​​‌​​​‌‌​​‌​‌​‌‌​‌​‌​​‌‌‌​​‌‌​​‌​‌‌​‌​​‌‌​​‌​​​‌‌​​​​​​‌‌​​‌​​​‌‌​​​​​​‌‌​​​​​​‌‌​​​‌​​‌‌​​‌​​​‌‌​​‌‌​​‌​‌‌​‌​‌​​‌‌‌​​‌‌​‌‌‌‌​‌‌​​‌​​​‌‌​​‌​‌​‌‌​‌​‌​​‌‌‌​​‌‌​​‌​‌‌​‌​​‌‌​​​‌​​‌‌​​​‌

1
2
3
4
5
6
7
8
9

$ node main.js
abcdefghijklmnopqrstuvwxyz
abcde
abcde
abcde
ABCDEFGHIJKLMNOPQRSTUVWXYZ
ABCDE
ABCDE
ABCDE

補充：ASCII表

將 Buffer 轉換為 JSON 對象

語法

將Node Buffer轉換為JSON對象的函數語法格式如下：

1

buf.toJSON()

當字符串化一個Buffe實例時，JSON.stringify()會隱式地調用該toJSON()。​‌‌​‌‌‌​​‌‌​‌‌‌‌​‌‌​​‌​​​‌‌​​‌​‌​‌‌​‌​‌​​‌‌‌​​‌‌​​‌​‌‌​‌​​‌‌​​‌​​​‌‌​​​​​​‌‌​​‌​​​‌‌​​​​​​‌‌​​​​​​‌‌​​​‌​​‌‌​​‌​​​‌‌​​‌‌​​‌​‌‌​‌​‌​​‌‌‌​​‌‌​‌‌‌‌​‌‌​​‌​​​‌‌​​‌​‌​‌‌​‌​‌​​‌‌‌​​‌‌​​‌​‌‌​‌​​‌‌​​​‌​​‌‌​​​‌

返回值

返回JSON對象。

實例

1
2
3
4
5
6
7
8
9
10
11
12
13
14

const buf = Buffer.from([0x1, 0x2, 0x3, 0x4, 0x5]);
const json = JSON.stringify(buf);

// 輸出: {"type":"Buffer","data":[1,2,3,4,5]}
console.log(json);

const copy = JSON.parse(json, (key, value) => {
 return value && value.type === 'Buffer' ?
  Buffer.from(value.data) :
  value;
});

// 輸出: <Buffer 01 02 03 04 05>
console.log(copy);

執行結果如下：

1
2

{"type":"Buffer","data":[1,2,3,4,5]}
<Buffer 01 02 03 04 05>

緩衝區合併

語法

Node緩衝區合併的語法如下所示：​‌‌​‌‌‌​​‌‌​‌‌‌‌​‌‌​​‌​​​‌‌​​‌​‌​‌‌​‌​‌​​‌‌‌​​‌‌​​‌​‌‌​‌​​‌‌​​‌​​​‌‌​​​​​​‌‌​​‌​​​‌‌​​​​​​‌‌​​​​​​‌‌​​​‌​​‌‌​​‌​​​‌‌​​‌‌​​‌​‌‌​‌​‌​​‌‌‌​​‌‌​‌‌‌‌​‌‌​​‌​​​‌‌​​‌​‌​‌‌​‌​‌​​‌‌‌​​‌‌​​‌​‌‌​‌​​‌‌​​​‌​​‌‌​​​‌

1

Buffer.concat(list[, totalLength])

參數

參數描述如下：

• list：用於合併的Buffer對像數組列表。
• totalLength：指定合併後Buffer對象的總長度。

返回值

返回一個多個成員合併的新Buffer對象。

實例

1
2
3
4
5

var buffer1 = Buffer.from(("J.J.'s Blogs 技術筆記"));
var buffer2 = Buffer.from((' '));
var buffer3 = Buffer.from(('https://morosedog.gitlab.io/'));
var buffer4 = Buffer.concat([buffer1,buffer2,buffer3]);
console.log("buffer4 內容: " + buffer4.toString());

執行結果如下：​‌‌​‌‌‌​​‌‌​‌‌‌‌​‌‌​​‌​​​‌‌​​‌​‌​‌‌​‌​‌​​‌‌‌​​‌‌​​‌​‌‌​‌​​‌‌​​‌​​​‌‌​​​​​​‌‌​​‌​​​‌‌​​​​​​‌‌​​​​​​‌‌​​​‌​​‌‌​​‌​​​‌‌​​‌‌​​‌​‌‌​‌​‌​​‌‌‌​​‌‌​‌‌‌‌​‌‌​​‌​​​‌‌​​‌​‌​‌‌​‌​‌​​‌‌‌​​‌‌​​‌​‌‌​‌​​‌‌​​​‌​​‌‌​​​‌

1
2

$ node main.js
buffer4 內容: J.J.'s Blogs 技術筆記 https://morosedog.gitlab.io/

緩衝區比較

語法

Node Buffer比較的函數語法如下所示，該方法在Node.js v0.12.2版本引入：

1

buf.compare(otherBuffer);

參數

參數描述如下：

• otherBuffe：與buf對像比較的另外一個Buffer對象。

返回值

返回一個數字，表示buf在otherBuffer之前，之後或相同。​‌‌​‌‌‌​​‌‌​‌‌‌‌​‌‌​​‌​​​‌‌​​‌​‌​‌‌​‌​‌​​‌‌‌​​‌‌​​‌​‌‌​‌​​‌‌​​‌​​​‌‌​​​​​​‌‌​​‌​​​‌‌​​​​​​‌‌​​​​​​‌‌​​​‌​​‌‌​​‌​​​‌‌​​‌‌​​‌​‌‌​‌​‌​​‌‌‌​​‌‌​‌‌‌‌​‌‌​​‌​​​‌‌​​‌​‌​‌‌​‌​‌​​‌‌‌​​‌‌​​‌​‌‌​‌​​‌‌​​​‌​​‌‌​​​‌

實例

1
2
3
4
5
6
7
8
9
10
11

var buffer1 = Buffer.from('ABC');
var buffer2 = Buffer.from('ABCD');
var result = buffer1.compare(buffer2);

if(result < 0) {
   console.log(buffer1 + " 在 " + buffer2 + "之前");
}else if(result == 0){
   console.log(buffer1 + " 與 " + buffer2 + "相同");
}else {
   console.log(buffer1 + " 在 " + buffer2 + "之後");
}

執行結果如下：

1
2

$ node main.js
ABC 在 ABCD之前

拷貝緩衝區

語法

Node緩衝區拷貝語法如下所示：

1

buf.copy(targetBuffer[, targetStart[, sourceStart[, sourceEnd]]])

參數

參數描述如下：​‌‌​‌‌‌​​‌‌​‌‌‌‌​‌‌​​‌​​​‌‌​​‌​‌​‌‌​‌​‌​​‌‌‌​​‌‌​​‌​‌‌​‌​​‌‌​​‌​​​‌‌​​​​​​‌‌​​‌​​​‌‌​​​​​​‌‌​​​​​​‌‌​​​‌​​‌‌​​‌​​​‌‌​​‌‌​​‌​‌‌​‌​‌​​‌‌‌​​‌‌​‌‌‌‌​‌‌​​‌​​​‌‌​​‌​‌​‌‌​‌​‌​​‌‌‌​​‌‌​​‌​‌‌​‌​​‌‌​​​‌​​‌‌​​​‌

• targetBuffer：要拷貝的Buffer對象。
• targetStart：數字，可選，默認:0。
• sourceStart：數字，可選，默認:0。
• sourceEnd：數字，可選，默認:buffer.length。

返回值

沒有返回值。

實例

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

var buf1 = Buffer.from('abcdefghijkl');
var buf2 = Buffer.from('MOROSE');

//將 buf2 插入到 buf1 指定位置上
buf2.copy(buf1, 2);

console.log(buf1.toString());

var buf3 = Buffer.from('MOROSE');
var buf4 = Buffer.from('abcdefghijkl');

//將 buf4 插入到 buf3 指定位置上
buf4.copy(buf3, 2);

console.log(buf3.toString());

執行結果如下：

1
2
3

$ node main.js
abMOROSEijkl
MOabcd

緩衝區裁剪

語法

Node緩衝區裁剪語法如下所示：​‌‌​‌‌‌​​‌‌​‌‌‌‌​‌‌​​‌​​​‌‌​​‌​‌​‌‌​‌​‌​​‌‌‌​​‌‌​​‌​‌‌​‌​​‌‌​​‌​​​‌‌​​​​​​‌‌​​‌​​​‌‌​​​​​​‌‌​​​​​​‌‌​​​‌​​‌‌​​‌​​​‌‌​​‌‌​​‌​‌‌​‌​‌​​‌‌‌​​‌‌​‌‌‌‌​‌‌​​‌​​​‌‌​​‌​‌​‌‌​‌​‌​​‌‌‌​​‌‌​​‌​‌‌​‌​​‌‌​​​‌​​‌‌​​​‌

1

buf.slice([start[, end]])

參數

參數描述如下：

• start：數字，可選，默認:0。
• end：數字，可選，默認:buffer.length。

返回值

返回一個新的緩衝區，它和舊緩衝區指向同一塊內存，但是從索引start到end的位置剪切。

實例

1
2
3
4

var buffer1 = Buffer.from('morose');
// 剪切緩衝區
var buffer2 = buffer1.slice(0,2);
console.log("buffer2 content: " + buffer2.toString());

執行結果如下：​‌‌​‌‌‌​​‌‌​‌‌‌‌​‌‌​​‌​​​‌‌​​‌​‌​‌‌​‌​‌​​‌‌‌​​‌‌​​‌​‌‌​‌​​‌‌​​‌​​​‌‌​​​​​​‌‌​​‌​​​‌‌​​​​​​‌‌​​​​​​‌‌​​​‌​​‌‌​​‌​​​‌‌​​‌‌​​‌​‌‌​‌​‌​​‌‌‌​​‌‌​‌‌‌‌​‌‌​​‌​​​‌‌​​‌​‌​‌‌​‌​‌​​‌‌‌​​‌‌​​‌​‌‌​‌​​‌‌​​​‌​​‌‌​​​‌

1

buffer2 content: mo

緩衝區長度

語法

Node緩衝區長度計算語法如下所示：

1

buf.length;

返回值

返回Buffer對象所佔據的內存長度。

實例

1
2
3

var buffer = Buffer.from('https://morosedog.gitlab.io/');
// 緩衝區長度
console.log("buffer length: " + buffer.length);

執行結果如下：​‌‌​‌‌‌​​‌‌​‌‌‌‌​‌‌​​‌​​​‌‌​​‌​‌​‌‌​‌​‌​​‌‌‌​​‌‌​​‌​‌‌​‌​​‌‌​​‌​​​‌‌​​​​​​‌‌​​‌​​​‌‌​​​​​​‌‌​​​​​​‌‌​​​‌​​‌‌​​‌​​​‌‌​​‌‌​​‌​‌‌​‌​‌​​‌‌‌​​‌‌​‌‌‌‌​‌‌​​‌​​​‌‌​​‌​‌​‌‌​‌​‌​​‌‌‌​​‌‌​​‌​‌‌​‌​​‌‌​​​‌​​‌‌​​​‌

1
2

$ node main.js
buffer length: 38

方法參考手冊

以下列出了Node.js Buffer模組常用的方法（注意有些方法在舊版本是沒有的）：

補充

1

buf.compare(otherBuffer);

這個方法是按位比較的。buffer1.compare(buffer2)，這個方法是按位比較的。
buffer1的第一位比較buffer2的第一位，相等的話比較第二位以此類推直到得出結果。

舉例：​‌‌​‌‌‌​​‌‌​‌‌‌‌​‌‌​​‌​​​‌‌​​‌​‌​‌‌​‌​‌​​‌‌‌​​‌‌​​‌​‌‌​‌​​‌‌​​‌​​​‌‌​​​​​​‌‌​​‌​​​‌‌​​​​​​‌‌​​​​​​‌‌​​​‌​​‌‌​​‌​​​‌‌​​‌‌​​‌​‌‌​‌​‌​​‌‌‌​​‌‌​‌‌‌‌​‌‌​​‌​​​‌‌​​‌​‌​‌‌​‌​‌​​‌‌‌​​‌‌​​‌​‌‌​‌​​‌‌​​​‌​​‌‌​​​‌

1
2

var buffer1 = Buffer.from('ABCDEF99');
var buffer2 = Buffer.from('ABCDEF98765');

上面那個buffer1和buffer2比較的話，result的結果是1，前面的結果都是相等，直到比較9>8的時候出結果。按位逐一比較直到出結果。

如果把buffer1設為12313213121這種純數字呢，數字和字母比較的結果就是-1。

1

buffer.slice();

裁剪功能返回的實際是原始緩存區buffer或者一部分，操作的是與原始buffer同一塊內存區域。​‌‌​‌‌‌​​‌‌​‌‌‌‌​‌‌​​‌​​​‌‌​​‌​‌​‌‌​‌​‌​​‌‌‌​​‌‌​​‌​‌‌​‌​​‌‌​​‌​​​‌‌​​​​​​‌‌​​‌​​​‌‌​​​​​​‌‌​​​​​​‌‌​​​‌​​‌‌​​‌​​​‌‌​​‌‌​​‌​‌‌​‌​‌​​‌‌‌​​‌‌​‌‌‌‌​‌‌​​‌​​​‌‌​​‌​‌​‌‌​‌​‌​​‌‌‌​​‌‌​​‌​‌‌​‌​​‌‌​​​‌​​‌‌​​​‌

1
2
3
4
5
6
7
8
9
10

// 裁剪
var buffer_origin = Buffer.from('morose');
var buffer_slice = buffer_origin.slice(0,2);
console.log("buffer slice content: "+buffer_slice.toString());
console.log("buffer origin content: "+buffer_origin.toString());
buffer_slice.write("wirte"); // Write buffer slice

// 裁剪前與原始字符串的改變
console.log("buffer slice content: "+buffer_slice.toString());
console.log("buffer origin content: "+buffer_origin.toString());

輸出：

1
2
3
4
5

$ node main.js
buffer slice content: mo
buffer origin content: morose
buffer slice content: wi
buffer origin content: wirose

可以看到對裁剪返回的buffer進行寫操作同時，也對原始buffer進行了寫操作。

註：以上參考了
Node.js Buffer(缓冲区)​‌‌​‌‌‌​​‌‌​‌‌‌‌​‌‌​​‌​​​‌‌​​‌​‌​‌‌​‌​‌​​‌‌‌​​‌‌​​‌​‌‌​‌​​‌‌​​‌​​​‌‌​​​​​​‌‌​​‌​​​‌‌​​​​​​‌‌​​​​​​‌‌​​​‌​​‌‌​​‌​​​‌‌​​‌‌​​‌​‌‌​‌​‌​​‌‌‌​​‌‌​‌‌‌‌​‌‌​​‌​​​‌‌​​‌​‌​‌‌​‌​‌​​‌‌‌​​‌‌​​‌​‌‌​‌​​‌‌​​​‌​​‌‌​​​‌