亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb

首頁 > 編程 > JavaScript > 正文

Node.js中你不可不精的Stream(流)

2019-11-19 13:41:16
字體:
來源:轉載
供稿:網友

一、什么是Stream(流)

流(stream)在 Node.js 中是處理流數據的抽象接口(abstract interface)。 stream 模塊提供了基礎的API。使用這些API可以很容易地來構建實現流接口的對象。例如, HTTP 請求 和 process.stdout 就都是流的實例。
流可以是可讀的、可寫的,或是可讀寫的。注意,所有的流都是 EventEmitter 的實例。

二、流的類型

Node.js 中有四種基本的流類型:

  • Readable - 可讀的流 (例如 fs.createReadStream())。
  • Writable - 可寫的流 (例如 fs.createWriteStream())。
  • Duplex - 可讀寫的流(雙工流) (例如 net.Socket)。
  • Transform - 在讀寫過程中可以修改和變換數據的 Duplex 流 (例如 zlib.createDeflate())。
var Stream = require('stream') //stream 模塊引入方式var Readable = Stream.Readable //可讀的流var Writable = Stream.Writable //可寫的流var Duplex = Stream.Duplex //可讀寫的流var Transform = Stream.Transform //在讀寫過程中可以修改和變換數據的 Duplex 流

Node.js中關于流的操作被封裝到了Stream模塊中,這個模塊也被多個核心模塊所引用。例如在fs.createReadStream()和fs.createWriteStream()的源碼實現里,都調用了Stream模塊提供的抽象接口來實現對流數據的操作。

三、為什么使用Stream?

我們通過兩個例子,了解一下為什么要使用Stream。

Exp1:

下面是一個讀取文件內容的例子:

const fs = require('fs')fs.readFile(file, function (err, content) { //讀出來的content是Buffer console.log(content) console.log(content.toString())})

但如果文件內容較大,譬如在500M時,執行上述代碼的輸出為:

<Buffer 64 74 09 75 61 09 63 6f 75 6e 74 0a 0a 64 74 09 75 61 09 63 6f 75 6e 74 0a 32 30 31 35 31 32 30 38 09 4d 6f 7a 69 6c 6c 61 2f 35 2e 30 20 28 63 6f 6d ... >buffer.js:382 throw new Error('toString failed'); ^Error: toString failed at Buffer.toString (buffer.js:382:11)

報錯的原因是content這個Buffer對象的長度過大,導致toString方法失敗。

可見,這種一次獲取全部內容的做法,不適合操作大文件。

可以考慮使用流來讀取文件內容。

var fs = require('fs')fs.createReadStream(bigFile).pipe(process.stdout) 

fs.createReadStream創建一個可讀流,連接了源頭(上游,文件)和消耗方(下游,標準輸出)。

執行上面代碼時,流會逐次調用fs.read(ReadStream這個類的源碼里有一個_read方法,這個_read方法在內部調用了fs.read來實現對文件的讀?。?,將文件中的內容分批取出傳給下游。

在文件看來,它的內容被分塊地連續取走了。

在下游看來,它收到的是一個先后到達的數據序列。

如果不需要一次操作全部內容,它可以處理完一個數據便丟掉。

在流看來,任一時刻它都只存儲了文件中的一部分數據,只是內容在變化而已。

這種情況就像是用水管去取池子中的水。

每當用掉一點水,水管便會從池子中再取出一點。

無論水池有多大,都只存儲了與水管容積等量的水。

Exp2:

下面是一個在線看視頻的例子,假定我們通過HTTP請求返回視頻內容給用戶

const http = require('http');const fs = require('fs'); http.createServer((req, res) => { fs.readFile(videoPath, (err, data) => { res.end(data);});}).listen(8080);

但這樣有兩個明顯的問題

  • 視頻文件需要全部讀取完,才能返回給用戶,這樣等待時間會很長。
  • 視頻文件一次全放入內存中,內存吃不消。

用流可以將視頻文件一點一點讀到內存中,再一點一點返回給用戶,讀一部分,寫一部分。(利用了 HTTP 協議的 Transfer-Encoding: chunked 分段傳輸特性),用戶體驗得到優化,同時對內存的開銷明顯下降。

const http = require('http');const fs = require('fs'); http.createServer((req, res) => { fs.createReadStream(videoPath).pipe(res);}).listen(8080);

通過上述兩個例子,我們知道,在大數據情況下必須使用流式處理。

四、可讀流(Readable Stream)

可讀流(Readable streams)是對提供數據的源頭(source)的抽象。

常見的可讀流:

  • HTTP responses, on the client
  • HTTP requests, on the server
  • fs read streams
  • TCP sockets //sockets是一個雙工流,即可讀可寫的流
  • process.stdin //標準輸入

所有的 Readable Stream 都實現了 stream.Readable 類定義的接口。

可讀流的兩種模式(flowing 和 paused)

  • 在 flowing 模式下,可讀流自動從系統底層讀取數據,并通過 EventEmitter 接口的事件盡快將數據提供給應用(所有的流都是 EventEmitter 的實例)。
  • 在 paused 模式下,必須顯式調用 stream.read()方法來從流中讀取數據片段。

創建流的Readable流,默認是非流動模式(paused模式),默認不會讀取數據。所有初始工作模式為paused的Readable流,可以通過下面三種途徑切換為flowing模式:

  • 監聽'data'事件
  • 調用stream.resume()方法
  • 調用stream.pipe()方法將數據發送到Writable

fs.createReadStream(path[, options])源碼實現

//文件名 ReadStream.jslet fs = require('fs');//讀取文件let EventEmitter = require('events');class ReadStream extends EventEmitter {//流操作都是基于事件的 constructor(path, options = {}) { super(); //需要的參數 this.path = path;//讀取文件的路徑 this.highWaterMark = options.highWaterMark || 64 * 1024;//緩沖區大小,默認64KB this.autoClose = options.autoClose || true;//是否需要自動關閉文件描述符,默認為true this.start = options.start || 0; //options 可以包括 start 和 end 值,使其可以從文件讀取一定范圍的字節而不是整個文件 this.pos = this.start; // 從文件的那個位置開始讀取內容,pos會隨著讀取的位置而改變 this.end = options.end || null; // null表示沒傳遞 this.encoding = options.encoding || null; this.flags = options.flags || 'r';//以何種方式操作文件 // 參數的問題 this.flowing = null; // 默認為非流動模式 // 建一個buffer存放讀出來的數據 this.buffer = Buffer.alloc(this.highWaterMark); this.open();  // {newListener:[fn]} // 次方法默認同步調用的 this.on('newListener', (type) => { // 等待著 它監聽data事件  if (type === 'data') {//當監聽到data事件時,把流設置為流動模式  this.flowing = true;  this.read();// 開始讀取 客戶已經監聽了data事件  } }) } pause(){//將流從flowing模式切換為paused模式 this.flowing = false; } resume(){//將流從paused模式切換為flowing模式 this.flowing =true; this.read();//將流從paused模式切換為flowing模式后,繼續讀取文件內容 } read(){ // 默認第一次調用read方法時還沒有獲取fd,文件的打開是異步的,所以不能直接讀 if(typeof this.fd !== 'number'){ //如果fd不是number類型,證明文件還沒有打開,此時需要監聽一次open事件,因為文件一打開,就會觸發open事件,這個在this.open()里寫了  return this.once('open',() => this.read()); // 等待著觸發open事件后fd肯定拿到了,拿到以后再去執行read方法 } // 當獲取到fd時 開始讀取文件了 // 第一次應該讀2個 第二次應該讀2個 // 第二次pos的值是4 end是4 // 讀取文件里一共4有個數為123 4,我們讀取里面的123 4 let howMuchToRead = this.end?Math.min(this.end-this.pos+1,this.highWaterMark): this.highWaterMark;//規定每次讀取多少個字節 fs.read(this.fd, this.buffer, 0, howMuchToRead, this.pos, (error, byteRead) => { // byteRead為真實的讀到了幾個字節的內容  // 讀取完畢  this.pos += byteRead; // 讀出來兩個,pos位置就往后移兩位  // this.buffer默認就是三個  let b = this.encoding ? this.buffer.slice(0, byteRead).toString(this.encoding) : this.buffer.slice(0, byteRead);//對讀出來的內容進行編碼  this.emit('data', b);//觸發data事件,將讀到的內容輸出給用戶  if ((byteRead === this.highWaterMark)&&this.flowing){  return this.read(); // 繼續讀  }  // 這里就是沒有更多的邏輯了  if (byteRead < this.highWaterMark){  // 沒有更多了  this.emit('end'); // 讀取完畢  this.destroy(); // 銷毀即可  } }); } // 打開文件用的 destroy() { if (typeof this.fd != 'number') { return this.emit('close'); } //如果文件還沒打開,直接觸發close事件 fs.close(this.fd, () => {  // 如果文件打開過了 那就關閉文件并且觸發close事件  this.emit('close'); }); } open() { fs.open(this.path, this.flags, (err, fd) => { //fd是文件描述符,它標識的就是當前this.path這個文件,從3開始(number類型)  if (err) {  if (this.autoClose) { // 如果需要自動關閉我再去銷毀fd   this.destroy(); // 銷毀(關閉文件,觸發關閉事件)  }  this.emit('error', err); // 如果有錯誤觸發error事件  return;  }  this.fd = fd; // 保存文件描述符  this.emit('open', this.fd); // 文件被打開了,觸發文件被打開的方法 }); } pipe(dest){//管道流的實現 pipe()方法是ReadStream下的方法,它里面的參數是WritableStream this.on('data',(data)=>{  let flag = dest.write(data);  if(!flag){//這個flag就是每次調用ws.write()后返回的讀狀態值  this.pause();// 已經不能繼續寫了,等他寫完了再恢復  } }); dest.on('drain',()=>{//當讀取緩存區清空后  console.log('寫一下停一下')  this.resume();//繼續往dest寫入數據 }); }}module.exports = ReadStream;//導出可讀流

使用fs.createReadStream()

// 流:有序的有方向的,可以自己控制速率// 讀:讀是將內容讀取到內存中 // 寫:寫是將內存或者文件的內容寫入到文件內// 讀取的時候默認讀 默認一次讀取64k,encoding 讀取出來的內容默認都是buffer//let fs = require('fs');//let rs = fs.createReadStream({...});//原生實現可讀流let ReadStream = require('./ReadStream');let rs = new ReadStream('./2.txt', { highWaterMark: 3, // 字節 flags:'r',//讀文件 autoClose:true, // 默認讀取完畢后自動關閉文件描述符 start:0, //end:3,// 流是閉合區間 包start也包end encoding:'utf8'});// 默認創建一個流 是非流動模式(上述源碼中有寫的),默認不會讀取數據// 如果我們需要接收數據,那我們要監聽data事件,這樣數據會自動的流出來rs.on('error',function (err) {// 通常,這會在底層系統內部出錯從而不能產生數據,或當流的實現試圖傳遞錯誤數據時發生。 console.log(err)});rs.on('open',function () {//文件被打開了,獲取到了fd。內部會自動的觸發這個事件 rs.emit('data');  console.log('文件打開了');});rs.on('data',function (data) {//有數據流出來了 console.log(data); rs.pause(); // 暫停觸發on('data')事件,將流動模式又轉化成了非流動模式});setTimeout(()=>{rs.resume()},3000);//三秒鐘之后再將非流動模式轉化為流動模式rs.on('end',function () {// 讀取完畢 console.log('讀取完畢了');});rs.on('close',function () {//close 事件將在流或其底層資源(比如一個文件)關閉后觸發。close 事件觸發后,該流將不會再觸發任何事件。 //console.log('關閉')});

四、可寫流(Writable Stream)

可寫流是對數據流向設備的抽象,用來消費上游流過來的數據,通過可寫流程序可以把數據寫入設備,常見的是本地磁盤文件或者 TCP、HTTP 等網絡響應。

常見的可寫流:

  • HTTP requests, on the client
  • HTTP responses, on the server
  • fs write streams
  • zlib streams
  • crypto streams
  • TCP sockets
  • child process stdin
  • process.stdout, process.stderr

所有 Writable 流都實現了 stream.Writable 類定義的接口。

可寫流的使用

調用可寫流實例的 write() 方法就可以把數據寫入可寫流

const fs = require('fs');const rs = fs.createReadStream(sourcePath);const ws = fs.createWriteStream(destPath); rs.setEncoding('utf-8'); // 設置編碼格式rs.on('data', chunk => {ws.write(chunk); // 寫入數據});

監聽了可讀流的data事件就會使可讀流進入流動模式,我們在回調事件里調用了可寫流的 write() 方法,這樣數據就被寫入了可寫流抽象的設備destPath中。

write() 方法有三個參數

  • chunk {String| Buffer},表示要寫入的數據
  • encoding 當寫入的數據是字符串的時候可以設置編碼
  • callback 數據被寫入之后的回調函數

drain事件

如果調用 stream.write(chunk)方法返回false,表示當前緩存區已滿,流將在適當的時機(緩存區清空后)觸發drain事件。

const fs = require('fs');const rs = fs.createReadStream(sourcePath);const ws = fs.createWriteStream(destPath); rs.setEncoding('utf-8'); // 設置編碼格式rs.on('data', chunk => {let flag = ws.write(chunk); // 寫入數據if (!flag) { // 如果緩存區已滿暫停讀取rs.pause();}}); ws.on('drain', () => {rs.resume(); // 緩存區已清空 繼續讀取寫入});

fs.createWriteStream(path[, options])源碼實現

// 文件 WriteStream.jslet fs = require('fs');let EventEmitter = require('events');class WriteStream extends EventEmitter { constructor(path, options = {}) { super(); this.path = path; this.flags = options.flags || 'w'; this.encoding = options.encoding || 'utf8'; this.start = options.start || 0; this.pos = this.start; this.mode = options.mode || 0o666; this.autoClose = options.autoClose || true; this.highWaterMark = options.highWaterMark || 16 * 1024; this.open(); // fd 異步的 //觸發一個open事件,當觸發open事件后fd肯定就存在了 // 寫文件的時候 需要的參數有哪些 // 第一次寫入是真的往文件里寫 this.writing = false; // 默認第一次就不是正在寫入 // 用簡單的數組來模擬一下緩存 this.cache = []; // 維護一個變量,表示緩存的長度 this.len = 0; // 是否觸發drain事件 this.needDrain = false; } clearBuffer() { let buffer = this.cache.shift(); if (buffer) { // 如果緩存里有  this._write(buffer.chunk, buffer.encoding, () => this.clearBuffer()); } else {// 如果緩存里沒有了  if (this.needDrain) { // 需要觸發drain事件  this.writing = false; // 告訴下次直接寫就可以了 不需要寫到內存中了  this.needDrain = false;  this.emit('drain');  } } } _write(chunk, encoding, clearBuffer) { // 因為write方法是同步調用的此時fd還沒有獲取到,所以等待獲取到再執行write操作 if (typeof this.fd != 'number') {  return this.once('open', () => this._write(chunk, encoding, clearBuffer)); } fs.write(this.fd, chunk, 0, chunk.length, this.pos, (err, byteWritten) => {  this.pos += byteWritten;  this.len -= byteWritten; // 每次寫入后就要在內存中減少一下  clearBuffer(); // 第一次就寫完了 }) } write(chunk, encoding = this.encoding) { // 客戶調用的是write方法去寫入內容 // 要判斷 chunk必須是buffer或者字符串 為了統一,如果傳遞的是字符串也要轉成buffer chunk = Buffer.isBuffer(chunk) ? chunk : Buffer.from(chunk, encoding); this.len += chunk.length; // 維護緩存的長度 3 let ret = this.len < this.highWaterMark; if (!ret) {  this.needDrain = true; // 表示需要觸發drain事件 } if (this.writing) { // 表示正在寫入,應該放到內存中  this.cache.push({  chunk,  encoding,  }); } else { // 第一次  this.writing = true;  this._write(chunk, encoding, () => this.clearBuffer()); // 專門實現寫的方法 } return ret; // 能不能繼續寫了,false表示下次的寫的時候就要占用更多內存了 } destroy() { if (typeof this.fd != 'number') {  this.emit('close'); } else {  fs.close(this.fd, () => {  this.emit('close');  }); } } open() { fs.open(this.path, this.flags, this.mode, (err, fd) => {  if (err) {  this.emit('error', err);  if (this.autoClose) {   this.destroy(); // 如果自動關閉就銷毀文件描述符  }  return;  }  this.fd = fd;  this.emit('open', this.fd); }); }}module.exports = WriteStream;

使用fs.createWriteStream()

// 可寫流有緩存區的概念// 1.第一次寫入是真的向文件里寫,第二次在寫入的時候是放到了緩存區里// 2.寫入時會返回一個boolean類型,返回為false時表示緩存區滿了,不要再寫入了// 3.當內存和正在寫入的內容消耗完后,會觸發一個drain事件//let fs = require('fs');//let rs = fs.createWriteStream({...});//原生實現可寫流let WS = require('./WriteStream')let ws = new WS('./2.txt', { flags: 'w', // 寫入文件,默認文件不存在會創建 highWaterMark: 1, // 設置當前緩存區的大小 encoding: 'utf8', // 文件里存放的都是二進制 start: 0, autoClose: true, // 自動關閉文件描述符 mode: 0o666, // 可讀可寫});// drain的觸發時機,只有當highWaterMark填滿時,才可能觸發drain// 當嘴里的和地下的都吃完了,就會觸發drain方法let i = 9;function write() { let flag = true; while (flag && i >= 0) { i--; flag = ws.write('111'); // 987 // 654 // 321 // 0 console.log(flag) }}write();ws.on('drain', function () { console.log('dry'); write();});

總結

stream(流)分為可讀流(flowing mode和paused mode)、可寫流、可讀寫流,Node.js 提供了多種流對象。 例如, HTTP 請求 和 process.stdout 就都是流的實例。stream 模塊提供了基礎的 API 。使用這些 API 可以很容易地來構建實現流接口的對象。它們底層都調用了stream模塊并進行封裝。

好了,以上就是這篇文章的全部內容了,希望本文的內容對大家的學習或者工作具有一定的參考學習價值,如果有疑問大家可以留言交流,謝謝大家對武林網的支持。

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb
欧美色道久久88综合亚洲精品| 一区二区三区视频免费在线观看| 欧美成人自拍视频| 97激碰免费视频| 成人网欧美在线视频| 91av视频在线观看| 宅男66日本亚洲欧美视频| 日韩欧美在线免费| 在线观看久久久久久| 久久精品国产成人精品| 国产欧美 在线欧美| 国产一区二区日韩| 国产精品视频xxxx| 91免费精品国偷自产在线| 国产精品无码专区在线观看| 亚洲国产精品999| 欧美有码在线观看视频| 日韩小视频网址| 国产精品久久国产精品99gif| 亚洲人免费视频| 91性高湖久久久久久久久_久久99| 成人黄色免费片| 九九热在线精品视频| 久久综合久久八八| 国产精品精品久久久久久| 精品五月天久久| 青草青草久热精品视频在线观看| 国产香蕉97碰碰久久人人| 欧美黄色三级网站| 欧美日韩另类在线| 欧洲成人午夜免费大片| 精品国产91乱高清在线观看| 欧美精品日韩www.p站| 亚洲欧美另类自拍| 精品亚洲永久免费精品| 久久久亚洲影院你懂的| 国外成人免费在线播放| 精品国产自在精品国产浪潮| 国产精品久久久久久久久久久不卡| 成人高清视频观看www| 国产精品成人va在线观看| 久久久在线视频| 亚洲欧美国产视频| 国产视频亚洲精品| 精品久久久久久久久久久久久| 97久久伊人激情网| 久久成人这里只有精品| 成人黄色中文字幕| 久久精品99国产精品酒店日本| 美女扒开尿口让男人操亚洲视频网站| 中文字幕日韩欧美精品在线观看| 欧美成人合集magnet| 国产精品爱久久久久久久| 97视频免费在线看| 欧美最猛性xxxxx(亚洲精品)| 欧美有码在线观看| 亚洲日本欧美中文幕| 亚洲成人久久久久| 性欧美xxxx视频在线观看| 国产精品三级美女白浆呻吟| 亚洲国产一区二区三区在线观看| 亚洲18私人小影院| 精品国内产的精品视频在线观看| 亚洲a成v人在线观看| 久久精品国产免费观看| 色综合视频一区中文字幕| 精品福利一区二区| 色诱女教师一区二区三区| 中文字幕在线精品| 亚洲男人天堂网站| 伊人久久久久久久久久| 色yeye香蕉凹凸一区二区av| 亚洲成av人片在线观看香蕉| 98精品国产自产在线观看| 欧美自拍视频在线观看| 久久亚洲精品小早川怜子66| 亚洲欧美日韩一区二区在线| 中日韩午夜理伦电影免费| 欧美精品第一页在线播放| 国产午夜精品久久久| 亚洲国产中文字幕在线观看| 精品亚洲一区二区三区在线观看| 91极品视频在线| 欧美日韩精品国产| 欧美最猛性xxxxx亚洲精品| 日韩经典中文字幕| 欧美在线视频观看| 欧美日韩中文字幕在线| 国产又爽又黄的激情精品视频| 国模gogo一区二区大胆私拍| 国产精品成人va在线观看| 亚洲成人久久久| 成人写真福利网| 欧美性感美女h网站在线观看免费| 欧美黑人一级爽快片淫片高清| 国产视频精品一区二区三区| 欧美丰满少妇xxxxx| 日本欧美爱爱爱| 91av成人在线| 中文字幕精品一区二区精品| 欧美色图在线视频| 欧美与欧洲交xxxx免费观看| 欧美尤物巨大精品爽| 亚洲精品综合久久中文字幕| 97视频色精品| 91sa在线看| 国产成人精品网站| 国产精品日韩久久久久| 亚洲在线视频福利| www国产亚洲精品久久网站| 青青草成人在线| 久久久久久久久久婷婷| 日韩欧美成人精品| 久久精品成人欧美大片古装| 在线看日韩av| 亚洲一区二区自拍| 欧美黑人又粗大| 国产精品久久久久久久久久久久久久| 精品无码久久久久久国产| 亚洲第一网站男人都懂| 国产亚洲欧洲在线| 精品露脸国产偷人在视频| 91社影院在线观看| 国产精品视频久| 国产精品爱啪在线线免费观看| 欧美专区在线播放| 亚洲国产精品久久久久秋霞蜜臀| 亚洲男人天堂2024| 国产亚洲美女精品久久久| 欧美成人午夜激情视频| 欧美中文在线观看| 日韩美女在线观看一区| 精品久久久香蕉免费精品视频| 尤物tv国产一区| 狠狠综合久久av一区二区小说| 日韩高清av在线| 欧美国产高跟鞋裸体秀xxxhd| 亚洲加勒比久久88色综合| 亚洲成人久久电影| 成人av色在线观看| 成人性生交xxxxx网站| 一区二区欧美久久| 欧美激情综合色综合啪啪五月| 国产91精品高潮白浆喷水| 日日噜噜噜夜夜爽亚洲精品| 久久久久免费精品国产| 日韩精品免费综合视频在线播放| 久久影视电视剧免费网站| 久久精品91久久久久久再现| 日韩国产精品亚洲а∨天堂免| 国产视频在线观看一区二区| 69av在线视频| 亚洲香蕉av在线一区二区三区| 久久777国产线看观看精品| 色综合久久悠悠| 国产精品久久久久77777| www国产亚洲精品久久网站| 中文字幕av一区二区| 亚洲的天堂在线中文字幕| 亚洲人成77777在线观看网| 性色av香蕉一区二区| 一本大道久久加勒比香蕉| 国产精品白丝jk喷水视频一区| 尤物yw午夜国产精品视频明星|