GridFS簡介
mongoDB的文檔以BSON格式存儲,支持二進制的數據類型,當我們把二進制格式的數據直接保存到mongoDB的文檔中。但是當文件太大時,例如圖片和視頻等文件,每個文檔的長度是有限的,于是mongoDb會提供了一種處理大文件的規范--GridFS。
GridFS實現原理
在GridFS數據庫中,默認使用fs.chunks 和fs.files來存儲文件,其中fs.files集合存放文件的信息,fs.chunks存放文件的數據,一個fs.files集合中的一條記錄內容如下,即一個file信息如下所示:
對應fs.chunks中的chunk(中文意思數據塊),如下所示:
默認大小是256k,所以把文件存入到GridFS過程中,如果文件大于chunksize,則把文件分割多個chunk,再把這些chunk保存在fs.chunks中,最后再把文件信息存入fs.files中。
在讀取文件的時候,先根據查詢的條件,在fs.files中找到一個合適的記錄,得到“_id”的值,再根據這個值到fs.funks中查找所有files_id 為 _id 的chunk,并按照“n”排序,最后依次讀取chunk中的“data”對象的內容,還原成原來的文件。
注:
1、GridFS不自動處理md5相同的文件,對于md5相同的文件,如果想在GridFS中只有一個存儲,要用戶處理,md5值的計算由客戶端完成。
2、因為GridFS在上傳文件過程中是先把文件數據保存到fs.chunks,最后再把文件的信息保存到fs.files中,所以如果上傳文件過程中失敗,有可能在fs.chunks中出現垃圾數據,這些垃圾數據,可以定期清理掉。
新聞熱點
疑難解答