轉自:http://blog.csdn.net/lmh12506/article/details/6803847
首先要明白不帶緩沖的概念:所謂不帶緩沖,并不是指內核不提供緩沖,而是只單純的系統調用,不是函數庫的調用。系統內核對磁盤的讀寫都會提供一個塊緩沖,當用write函數對其寫數據時,直接調用系統調用,將數據寫入到塊緩沖進行排隊,當塊緩沖達到一定的量時,才會把數據寫入磁盤。因此所謂的不帶緩沖的I/O是指進程不提供緩沖功能(但內核還是提供緩沖的)。每調用一次write或read函數,直接系統調用。 而帶緩沖的I/O是指進程對輸入輸出流進行了改進,提供了一個流緩沖,當用fwrite函數網磁盤寫數據時,先把數據寫入流緩沖區中,當達到一定條件,比如流緩沖區滿了,或刷新流緩沖,這時候才會把數據一次送往內核提供的塊緩沖,再經塊緩沖寫入磁盤。(雙重緩沖) 因此,帶緩沖的I/O在往磁盤寫入相同的數據量時,會比不帶緩沖的I/O調用系統調用的次數要少。 下面的東西是我從網上查到的對這兩者的理解,我覺得還是很到位的:
以下主要討論關于open,write等基本系統IO的帶緩沖與不帶緩沖的差別
帶緩存的文件操作是標準C庫的實現,第一次調用帶緩存的文件操作函數時標準庫會自動分配內存并且讀出一段固定大小的內容存儲在緩存中。所以以后每次的讀寫操作并不是針對硬盤上的文件直接進行的,而是針對內存中的緩存的。何時從硬盤中讀取文件或者向硬盤中寫入文件有標準庫的機制控制。不帶緩存的文件操作通常都是系統提供的系統調用, 更加低級,直接從硬盤中讀取和寫入文件,由于IO瓶頸的原因,速度并不如意,而且原子操作需要程序員自己保證,但使用得當的話效率并不差。另外標準庫中的帶緩存文件IO 是調用系統提供的不帶緩存IO實現的。
“術語不帶緩沖指的是每個read和write都調用內核中的一個系統調用。所有的磁盤I/O都要經過內核的塊緩沖(也稱內核的緩沖區高速緩存),唯一例外的是對原始磁盤設備的I/O。既然read或write的數據都要被內核緩沖,那么術語“不帶緩沖的I/O“指的是在用戶的進程中對這兩個函數不會自動緩沖,每次read或write就要進行一次系統調用。“--------摘自<unix環境編程>
程序中用open和write打開創建并把“hello world“寫入文件test.txt,相應用fopen和fwrite操作文件test2.txt。程序執行到open和fopen之后,sleep 15秒,這時用ls查看生成了文件沒,這時用open打開的test.txt出現了,用fopen打開的的test2.txt也出現了;當程序執行完write和 fwrite之后,在15秒睡眠期間,用cat查看test.txt,其內容是“hello,world”;但是此時用cat查看test2.txt,其內容為空。睡眠結束后,執行了close(fd),此時再用cat查看test2.txt,發現其內容也有了:“hello,world”。該例子證明了open和write是不帶緩沖的,即程序一執行其io操作也立即執行,不會停留在系統提供的緩沖里,不需等到close操作完才執行。與之相比的fopen和fwrite則是帶緩沖的,(一般)要等到fclose操作完后才會執行。
相關的源碼示例如下:
#include <unistd.h>#include <iostream>#include <fcntl.h>#include <string>#include <sys/types.h>#include <sys/stat.h>using namespace std;int main(){int fd;FILE *file;char *s="hello,world/n";if((fd=open("test.txt",O_WRONLY|O_CREAT,S_IRUSR|S_IWUSR))==-1){cout<<"Error open file"<<endl;return -1;}if((file=fopen("test2.txt","w"))==NULL){cout<<"Error Open File."<<endl;return -1;}cout<<"File has been Opened."<<endl;sleep(15);if(write(fd,s,strlen(s))<strlen(s)){cout<<"Write Error"<<endl;return -1;}if(fwrite(s,sizeof(char),strlen(s),file)<strlen(s)){cout<<"Write Error in 2."<<endl;return -1;}cout<<"After write"<<endl;sleep(15);cout<<"After sleep."<<endl;close(fd);return 0;}
詳情請見:http://blog.csai.cn/user1/27828/archives/2007/14285.html 以 ssize_t write(int filedes, const void *buff, size_t nbytes)和size_t fwrite(const void *ptr, size_t size, size_t nobj, FILE *fp)來講講自己對unix系統下帶緩存的I/O和不帶緩存的I/O的區別。
首先要清楚一個概念,所謂的帶緩存并不是指上面兩個函數的buff參數。
當將數據寫到文件上時,內核先將該數據寫到緩存,如果該緩存未滿,則并不將其排入輸出隊列,直到緩存寫滿或者內核再次需要重新使用此緩存時才將其排入輸入隊列,待其到達隊首,再進行實際的I/O操作,也就是此時才把數據真正寫到磁盤,這種技術叫延遲寫。
現在假設內核所設的緩存是100個字節,如果你使用write,且buff的size為10,當你要把9個同樣的buff寫到文件時,你需要調用9次write,也就是9次系統調用,此時也并沒有寫到硬盤,如果想立即寫到硬盤,調用fsync,可以進行實際的I/O操作。
標準I/O,也就是帶緩存的I/O采用 FILE*,FILE實際上包含了為管理流所需要的所有信息:實際I/O的文件描述符,指向流緩存的指針(標準I/O緩存,由malloc分配,又稱為用戶態進程空間的緩存,區別于內核所設的緩存),緩存長度,當前在緩存中的字節數,出錯標志等,假設流緩存的長度為50字節,把以上的數據寫到文件,則只需要2次系統調用(fwrite調用write系統調用),因為先把數據寫到流緩存,當其滿以后或者調用fflush時才填入內核緩存,所以進行了2次的系統調用write。
fflush將流所有未寫的數據送入(刷新)到內核(內核緩沖區),fsync將所有內核緩沖區的數據寫到文件(磁盤)。
不帶緩存的read和write是相對于 fread/fwrite等流函數來說明的,因為fread和fwrite是用戶函數(3),所以他們會在用戶層進行一次數據的緩存,而read/write是系統調用(2)所以他們在用戶層是沒有緩存的,所以稱read和write是無緩存的IO,其實對于內核來說還是進行了緩存,不過用戶層看不到罷了。
詳情請見:http://blog.sina.com.cn/s/blog_4a92ce12010004ub.html
新聞熱點
疑難解答