亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb

首頁 > 數據庫 > MongoDB > 正文

MongoDB自動刪除過期數據的方法(TTL索引)

2020-10-29 18:42:55
字體:
來源:轉載
供稿:網友

前序:

最近由于公司業務需求,對于3個月前的過期數據需要進行刪除動作,以釋放空間和方便維護

本來想的是使用crontab寫個腳本定時執行,但是看到Mongo本身就有自動刪除過期數據的功能,所以還是用一下吧

這個方法就是使用TTL索引,后續我再寫一個腳本定時刪除的任務,關于TTL索引的更多使用實例,大家可以參考學習這篇文章:http://www.49028c.com/article/126810.htm

介紹:

TTL索引是MongoDB中一種特殊的索引, 可以支持文檔在一定時間之后自動過期刪除,目前TTL索引只能在單字段上建立,并且字段類型必須是date類型或者包含有date類型的數組(如果數組中包含多個date類型字段,則取最早時間為過期時間)

官網介紹鏈接:https://docs.mongodb.com/v3.2/core/index-ttl/

機制:

當你在集合中某一個字段建立TTL索引后,后臺會有一個單線程,通過不斷查詢(默認60s一次)索引的值來判斷document是否有過期,并且刪除文檔的動作還依據mongod實例的負載情況,如果負載很高,可能會稍微延后一段時間再刪除。

還有一個需要注意的地方,在復制集成員中,TTL后臺線程只刪除primary的過期數據,如果此實例變為secondary角色,則后臺線程閑置

創建TTL索引方法:

和普通索引的創建方法一樣,只是會多加一個屬性而已

例:在log_events的集合中,createTime 字段上建立一小時后過期的TTL索引

 >db.log_events.createIndex( { "createTime": 1 }, ---字段名稱     { expireAfterSeconds: 60*60 } ) ---過期時間(單位秒)>db.log_events.getIndexes() ---查看索引[ {  "v" : 1,  "key" : {   "_id" : 1  },  "name" : "_id_",  "ns" : "tt.t1" }, {  "v" : 1,  "key" : {   "createTime" : 1  },  "name" : "createTime_1",  "ns" : "tt.t1",  "expireAfterSeconds" : 3600 }]

修改TTL索引的expireAfterSeconds屬性值:

注:如果想更改過期時間expireAfterSeconds,可以使用collMod方法,要不然你只能只用dropIndex(),createIndex()方法重建索引了,我想這樣的方法在億級數據量下是很頭疼的

db.runCommand( { collMod: "log_events", ---集合名  index: { keyPattern: { createTime: 1 }, ---createTime為具有TTL索引的字段名    expireAfterSeconds: 7200  ---修改后的過期時間(秒)   }})

雖然上面的方法可以實現自動過期刪除,但是如果白天業務很忙,頻繁的刪除數據勢必會增加負載,所以我想著晚上定時刪除過期數據(如果晚上業務量少的話)

方法如下:

增加一個expireTime字段(用于指定過期時間),expireAfterSeconds屬性值設置為0,

注:上面的createTime字段就不需要再有TTL索引了,這個expireTime的時間就需要在插入時指定上

>db.log_events.createIndex( { "expireTime": 1 }, ---字段名稱    { expireAfterSeconds: 0 } ) ---過期時間(單位秒)>db.log_events.insert( { "expireTime": new Date('Jan 22, 2016 23:00:00'), ---此文檔將在2016-1-22的23點自動刪除 "logEvent": 2, "logMessage": "Success!"} )

這樣我們就實現了,指定時間自動刪除的動作了

限制條件:

有一下集中情況是無法使用TTL索引的

①TTL索引是單字段索引,混合索引不支持TTL,并且也會忽略expireAfterSeconds屬性

②在_id 主鍵上不能建立TTL索引

③在capped collection中不能建立TTL索引,因為MongoDB不能從capped collection中刪除文檔

④你不能使用createIndex()去更改已經存在的TTL索引的expireAfterSeconds值,如果想更改expireAfterSeconds,可以使用collMod命令,否則你只能刪除索引,然后重建了

⑤你不能在已有索引的字段上再創建TTL索引了,如果你想把非TTL索引改為TTL索引,那就只能刪除重建索引了

驗證:

雖然已經實現了晚上集中自動刪除的功能,但是還是擔心刪除過大數量時負荷問題,隨進行了簡單測試,一查看TTL索引在億級別集合中刪除140萬過期數據的消耗

測試配置:

     OS:Vm虛擬機
     CPU: 4
     內存:8

集合數據量:

> db.t1.count()
104273617

因為我制造測試數據時,_id是順序增加的,所以我直接查看_id=1500000的那筆數據的createTime,然后自己計算一下此createTime和當前時間的時間差,隨后根據這個時間差來更改expireAfterSeconds的值,以讓這150萬數據5分鐘后過期并刪除。

在修改完expireAfterSeconds后,就嚴密延時“ vmstat 1 ” 命令的輸出數據;

我的測試結果:

刪除操作整個過程在90秒左右完成;

CPU最高占用90%,平均在50%

內存占用3G

這個也是特別準確的模擬情況,只是粗略的了解一下TTL索引的資源消耗,以決定是不是需要這樣的方式來實現刪除過期數據

          監控vmstat的截圖:

總結

以上就是這篇文章的全部內容了,希望本文的內容對大家的學習或者工作具有一定的參考學習價值,如果有疑問大家可以留言交流,謝謝大家對武林網的支持。

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb
久久精品国产亚洲精品2020| 97色在线播放视频| 欧美激情视频一区二区三区不卡| 日韩在线免费视频| 亚洲娇小xxxx欧美娇小| 国产精品久久久久77777| 欧美自拍视频在线观看| 精品欧美激情精品一区| 中文字幕视频在线免费欧美日韩综合在线看| 亚洲欧洲日韩国产| 日韩中文视频免费在线观看| 91国偷自产一区二区三区的观看方式| 亚洲第一网中文字幕| 久久精品国产一区二区电影| 亚洲人成毛片在线播放| 日本一区二区三区四区视频| 亚洲第一精品久久忘忧草社区| 久久久久久免费精品| 久久97精品久久久久久久不卡| 亚洲午夜精品久久久久久久久久久久| 欧美在线视频免费| 久久久久久久影院| 国产欧美日韩精品丝袜高跟鞋| 国外成人在线视频| 亚洲欧美制服丝袜| 久久久亚洲精选| 日韩av免费看| 日本在线观看天堂男亚洲| 国产91露脸中文字幕在线| 欧美日韩国产一区中文午夜| 亚洲人成网站777色婷婷| 成人乱色短篇合集| 国产精品久久久久aaaa九色| 91久久久久久久一区二区| 九九热r在线视频精品| 91亚洲精品视频| 最近2019中文字幕大全第二页| 久久久精品美女| 欧美日韩在线影院| www.久久久久久.com| 国产精品福利无圣光在线一区| 亚洲男人的天堂在线| 日本韩国欧美精品大片卡二| 国产欧美日韩精品在线观看| 成人性生交xxxxx网站| 欧美精品在线免费观看| 亚洲欧美日韩国产中文专区| 国产深夜精品福利| 国产一区二区三区三区在线观看| 国产日产久久高清欧美一区| 久久999免费视频| 一区二区三区久久精品| 浅井舞香一区二区| 成人性教育视频在线观看| 日韩av免费观影| 欧美日韩一区二区免费视频| 亚洲视频一区二区三区| 久久精彩免费视频| 最近2019中文字幕一页二页| 色先锋久久影院av| 欧美日韩美女在线| 亚洲另类激情图| 亚洲激情成人网| 亚洲福利在线看| 精品亚洲夜色av98在线观看| 亚州av一区二区| 国产精品都在这里| 亚洲国内精品视频| 国产欧美日韩亚洲精品| 国产精品久久久久久五月尺| 狠狠色香婷婷久久亚洲精品| 日本亚洲欧洲色| 国产99久久久欧美黑人| 久久99青青精品免费观看| 成人精品久久一区二区三区| 国产视频久久久久| 97热在线精品视频在线观看| 视频直播国产精品| 亚洲图片欧洲图片av| 亚洲女人被黑人巨大进入| 日韩麻豆第一页| 国产精品第8页| 伊人久久男人天堂| 欧美日韩在线一区| 爽爽爽爽爽爽爽成人免费观看| 亚洲黄在线观看| 亚洲第一天堂av| 国产精品av电影| 日韩免费看的电影电视剧大全| 日韩a**站在线观看| 日本一区二区三区在线播放| 青青青国产精品一区二区| 国产精品91一区| 91久久精品国产91性色| 日本韩国在线不卡| 欧美性猛交xxxx黑人猛交| 久久精品成人欧美大片古装| 亚洲成人久久久| 黑人精品xxx一区一二区| 亚洲男女自偷自拍图片另类| 国产欧美日韩视频| 在线免费观看羞羞视频一区二区| 激情成人中文字幕| 日韩在线视频线视频免费网站| 国产成人综合一区二区三区| 国产精品一香蕉国产线看观看| 国产精品男人爽免费视频1| 日韩三级成人av网| 精品日韩中文字幕| 国产精品久久一| 国产精品久久久久久久久久久久| 国产精品亚洲一区二区三区| 日韩av电影在线免费播放| 在线观看欧美www| 国产精品入口夜色视频大尺度| 亚洲精品久久久久| 亚洲精品福利在线| 清纯唯美日韩制服另类| 国产美女主播一区| 久久久亚洲天堂| 97久久精品在线| 亚洲在线观看视频网站| 91精品啪aⅴ在线观看国产| 热久久这里只有| 亚洲精品免费在线视频| 91wwwcom在线观看| 久久精品国产欧美激情| 日韩一区二区三区xxxx| 亚洲在线免费观看| 欧美高清自拍一区| 国产精品视频导航| 97视频在线观看亚洲| 国产一区二区日韩| 亚洲xxxx妇黄裸体| 国产精品视频1区| 成人久久久久爱| 久久视频在线观看免费| 热久久美女精品天天吊色| 久久久精品2019中文字幕神马| 97国产在线观看| 久久久亚洲欧洲日产国码aⅴ| 免费av一区二区| 中文字幕日韩综合av| 色偷偷av一区二区三区乱| 91精品国产综合久久香蕉的用户体验| 国产成人在线播放| 美女视频黄免费的亚洲男人天堂| 精品视频久久久久久久| 欧美午夜视频一区二区| 亚洲伊人久久大香线蕉av| 亚洲视频999| 91精品国产91久久久久久久久| 大伊人狠狠躁夜夜躁av一区| www.xxxx欧美| 中文字幕在线成人| 日韩欧美在线字幕| 久久97久久97精品免视看| 日韩av在线免费| 这里只有精品视频在线| 亚洲精品在线不卡| 精品女同一区二区三区在线播放| 国模吧一区二区| 韩国v欧美v日本v亚洲| 精品国产欧美成人夜夜嗨|