浅谈nodejs的文件流-Stream_nodejs stream

1. Stream是什么？

Stream 是一个抽象接口，Node 中有很多对象实现了这个接口。例如，对http 服务器发起请求的request 对象就是一个 Stream，还有stdout（标准输出）。

2. stream的四种类型

• Readable - 可读操作。（可读流）
• Writable - 可写操作。（可写流）
• Duplex - 可读可写操作.（双工流）
• Transform - 操作被写入数据，然后读出结果。（转换流）

3. 所有的 Stream 对象都是 EventEmitter 的实例。常用的事件有：

• data - 当有数据可读时触发。
• end - 没有更多的数据可读时触发。
• error - 在接收和写入过程中发生错误时触发。
• finish - 所有数据已被写入到底层系统时触发。

现在介绍常用的流操作。

---

可读流

创建 input.txt 文件，内容如下：

浅谈nodejs的文件流-stram
1

创建 main.js 文件, 代码如下：

var fs = require("fs");
var data = '';

// 创建可读流
var readerStream = fs.createReadStream('input.txt');

// 设置编码为 utf8。
readerStream.setEncoding('UTF8');

// 处理流事件 --> data, end, and error
readerStream.on('data', function(chunk) {
   data += chunk;
});

readerStream.on('end',function(){
   console.log(data);
});

readerStream.on('error', function(err){
   console.log(err.stack);
});

console.log("程序执行完毕");

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

以上代码执行结果如下：

程序执行完毕
浅谈nodejs的文件流-stram
1
2

---

此处补充在eggjs中如何读取客户端传输过来的文件

详细请参考

const { ctx } = this;
// 适用单文件上传
const stream = await ctx.getFileStream();
1
2
3

---

写入流

创建 main.js 文件, 代码如下：

var fs = require("fs");
var data = '浅谈nodejs的文件流-stram';

// 创建一个可以写入的流，写入到文件 output.txt 中
var writerStream = fs.createWriteStream('output.txt');

// 使用 utf8 编码写入数据
writerStream.write(data,'UTF8');

// 标记文件末尾
writerStream.end();

// 处理流事件 --> finish、error
writerStream.on('finish', function() {
    console.log("写入完成。");
});

writerStream.on('error', function(err){
   console.log(err.stack);
});

console.log("程序执行完毕");
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22

以上程序会将 data 变量的数据写入到 output.txt 文件中。代码执行结果如下：

$ node main.js 
程序执行完毕
写入完成。
1
2
3

查看 output.txt 文件的内容：

$ cat output.txt 
浅谈nodejs的文件流-stram
1
2

---

管道流

管道提供了一个输出流到输入流的机制。通常我们用于从一个流中获取数据并将数据传递到另外一个流中。

如上面的图片所示，我们把文件比作装水的桶，而水就是文件里的内容，我们用一根管子(pipe)连接两个桶使得水从一个桶流入另一个桶，这样就慢慢的实现了大文件的复制过程。

以下实例我们通过读取一个文件内容并将内容写入到另外一个文件中。

设置 input.txt 文件内容如下：

浅谈nodejs的文件流-stram
管道流操作实例
1
2

创建 main.js 文件, 代码如下：

var fs = require("fs");

// 创建一个可读流
var readerStream = fs.createReadStream('input.txt');

// 创建一个可写流
var writerStream = fs.createWriteStream('output.txt');

// 管道读写操作
// 读取 input.txt 文件内容，并将内容写入到 output.txt 文件中
readerStream.pipe(writerStream);

console.log("程序执行完毕");
1
2
3
4
5
6
7
8
9
10
11
12
13

代码执行结果如下：

$ node main.js 
程序执行完毕
1
2

查看 output.txt 文件的内容：

$ cat output.txt 
浅谈nodejs的文件流-stram
管道流操作实例
1
2
3

---

此处补充一个npm包

mz-modules（包装的是一些社区流行的模块）
主要讲一下pump模块；
pump解决了什么问题?
当使用标准的source.pipe(dest),如果dest出现了error,source不会被销毁，而且你无法提供一个回调当pipe被销毁了。pump就是解决上面的两个问题的
1
2
3
4

// 使用
var pump = require('pump')
var fs = require('fs')

var source = fs.createReadStream('/dev/random')
var dest = fs.createWriteStream('/dev/null')

pump(source, dest, function(err) {
  console.log('pipe finished', err)
})

setTimeout(function() {
  dest.destroy() // when dest is closed pump will destroy source
}, 1000)
1
2
3
4
5
6
7
8
9
10
11
12
13
14

---

链式流

链式是通过连接输出流到另外一个流并创建多个流操作链的机制。链式流一般用于管道操作。

接下来我们就是用管道和链式来压缩和解压文件。

创建 compress.js 文件, 代码如下：

var fs = require("fs");
var zlib = require('zlib');

// 压缩 input.txt 文件为 input.txt.gz
fs.createReadStream('input.txt')
  .pipe(zlib.createGzip())
  .pipe(fs.createWriteStream('input.txt.gz'));
  
console.log("文件压缩完成。");
1
2
3
4
5
6
7
8
9

代码执行结果如下：

$ node compress.js 
文件压缩完成。
1
2

执行完以上操作后，我们可以看到当前目录下生成了 input.txt 的压缩文件 input.txt.gz。

接下来，让我们来解压该文件，创建 decompress.js 文件，代码如下：

var fs = require("fs");
var zlib = require('zlib');

// 解压 input.txt.gz 文件为 input.txt
fs.createReadStream('input.txt.gz')
  .pipe(zlib.createGunzip())
  .pipe(fs.createWriteStream('input.txt'));
  
console.log("文件解压完成。");
1
2
3
4
5
6
7
8
9

代码执行结果如下：

$ node decompress.js 
文件解压完成。
1
2

此篇参考菜鸟教程