亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb

首頁 > 數據庫 > SQL Server > 正文

SQLServer數據庫中開啟CDC導致事務日志空間被占滿的原因

2024-08-31 01:04:49
字體:
來源:轉載
供稿:網友

SQLServer中開啟CDC之后,在某些情況下會導致事務日志空間被占滿的現象為:

在執行增刪改語句(產生事務日志)的過程中提示,The transaction log for database '***' is full due to 'REPLICATION'(數據庫“***”的事務日志已滿,原因為“REPLICATION”).

CDC以及復制的基本原理粗略地講,對于日志的使用步驟如下:

  1,每當基礎表(開啟了CDC或者replication的表)產生事務性操作(增刪改)之后,對應的事務日志寫入日志文件,

  2,此時的日志被狀態被標記為Replication,也即處于待復制狀態,這個活動狀態跟數據庫的還原模式無關,即便是簡單還原模式,

  3,然后有后臺進程來讀取這個日志,根據事務日志的內存寫入目標表,

    這個目標對于cdc來說是記錄數據變化的系統表,

    對于replication來說是寫入distribution這個庫

  4,步驟3完成之后,事務日志被標記為正常狀態,如果是簡單還原模式,被后臺進程解析過的事務日志被截斷,可以重用如果上述中間的第三個步驟出現問題,也即后臺進程無法解析日志后釋放可用的日志空間,再次往數據庫中寫入操作,就會出現:數據庫“TestDB”的事務日志已滿,原因為“REPLICATION”的情況

本文通過通過演示開啟CDC的情況下日志空間被占滿的現象,以及對應的處理辦法

測試環境搭建

  首先建立一個測試數據庫,

USE masterGOCREATE DATABASE TestLogFull ON PRIMARY (   NAME = N'TestLogFull',   FILENAME = N'D:/DBFile/TestLogFull/TestLogFull.mdf' ,   SIZE = 500MB ,   MAXSIZE = UNLIMITED,   FILEGROWTH = 100MB )LOG ON (  NAME = N'TestLogFull_log',   FILENAME = N'D:/DBFile/TestLogFull/TestLogFull_Log.ldf' ,   SIZE = 1MB ,   MAXSIZE = 512MB )

  這里指定日志文件的最大為512M,主要是為了演示日志空間被占滿的現象

  接著開啟新建一個表同時開啟CDC來測試

USE TestLogFull--啟用CDCEXECUTE sys.sp_cdc_enable_db;GO--創建一張測試表create table test_cdc(  id int identity(1,1) primary key,  name nvarchar(50),  mail varchar(50),  address nvarchar(50),  lastupdatetime datetime)--對表啟用CDCEXEC sys.sp_cdc_enable_table   @source_schema      = 'dbo',  @source_name       = 'test_cdc',  @role_name        = 'cdc_admin',  @capture_instance     = DEFAULT,  @supports_net_changes   = 1,  @index_name        = NULL,  @filegroup_name      = DEFAULT

 CDC開啟成功,開始測試日志被占滿的情況

數據庫事務日志,數據庫replication,cdc,數據庫

  這里演示對某些表開啟CDC的情況下日志文件文件被占滿的情況

1,代理服務器未啟動導致日志空間被占滿

文中一開始提到的步驟3,對于CDC,進程就是SQL Server Agent中的cdc.***_capture作業或者復制代理作業來讀取日志
如果SQL Server Agent在開啟了CDC或者復制之后被關閉,或者重啟服務器之后SQL Server Agent沒有隨機自動啟動
就有可能造成步驟2中的日志積壓,也就是記錄數據變化之后的事務日志處于replication狀態,無法重用,導致沒有可以使用的日志致使發生操作數據庫的時候提示The transaction log for database '***' is full due to 'REPLICATION'.

  這里暫時關閉代理服務(僅僅是為了測試演示這一現象)

數據庫事務日志,數據庫replication,cdc,數據庫

  增刪改都可以產生事務日志,這里就演示insert數據的情況,做一個寫數據的SQL,往開啟了CDC的表中寫數據庫
  在建庫的時候日志文件有限制成了512M,因為這個表上開啟了CDC,寫數據這個過程會產生事務日志,日志有空空間限制在寫入數據的過程中,一開始是沒有問題的,隨著數據的不斷寫入(Replication狀態的日志不斷積壓),當日志全部使用之后,下面的報錯就會產生了

數據庫事務日志,數據庫replication,cdc,數據庫

  此時觀察事務日志的使用情況,發現已經是完全使用了,

數據庫事務日志,數據庫replication,cdc,數據庫

  因為日志空間被完全使用了,那么觀察一下日志的等待狀態,是Replication狀態

數據庫事務日志,數據庫replication,cdc,數據庫

  此時嘗試收縮也是無效的,因為日志都是出于活動狀態,活動狀態的日志是無法收縮的

數據庫事務日志,數據庫replication,cdc,數據庫

  可見,因為代理被關閉,讀取日志的作業無法執行,造成日志堵塞,那么開啟代理來看看到底行不行?
  開啟代理,查看CDC作業的執行情況,會發現,此時代理作業也不好使了,作業執行的時候并沒有成功,一樣提示說事務日志已滿

數據庫事務日志,數據庫replication,cdc,數據庫

  此時觀察測試表的cdc目標表沒有任何數據,說明此時即便開啟了代理,cdc的作業依然沒有成功執行
  那么這里為什么CDC的代理作業也無法正常執行?

  其實也不難理解,cdc的作業也是讀取事務日志寫數據的,這中間也相當于有事務性操作,必須要借助日志來實現,而此時又沒有可用的日志空間,

  這個作業當然要失敗了。

數據庫事務日志,數據庫replication,cdc,數據庫

  那么此時怎么辦?

    既然是日志堵塞了,就想辦法清理到這部分活動日志,嘗試將事務日志標記為已分發(雖然這里是CDC,但是對于日志的使用應該是跟復制一樣的)

數據庫事務日志,數據庫replication,cdc,數據庫

  根據本人的測試,在執行上面的語句,將復制的事物標記為已分發之后,再次查看日志使用率,發現還是100%,但是嘗試寫入數據的時候是成功的,再次寫入數據(一條即可)之后,日志空間開始釋放,應該是寫入時候的時候觸發被標記為已分發的日志截斷,也就是將上面占用了100%的日志空間釋放出來然后再觀察日志的使用率,發現如預期的,這部分日志已被截斷,日志空間不再是被完全占用了,日志變成Nothing狀態(可重用)

數據庫事務日志,數據庫replication,cdc,數據庫

  這個測試說明,如果開啟了CDC,SQL Server代理沒有正常啟動或者對應的作業沒有正常啟動,日志空間會隨著不斷產生的事物被占滿,導致數據庫無法進行寫入性操作  

    這里是用過手動標記日志為已分發的方式來釋放日志的,這種情況下會導致cdc日志斷裂的情況,也就是手動釋放的日志無法傳遞到下游(cdc日志表)

  畢竟不是一個太好的辦法,下面會說明另外一種辦法。

2,短時間內較大的事務性操作導致的日志空間被占滿的情況

    對去上面所說的代理服務被關閉導致日志堵塞的情況不同,這里直接開啟代理服務,依舊拿著下面的腳本往表中寫數據(比如實際業務中批量導入數據之類的)

    在寫入一段時間之后,依然出現了事務日志被填滿的情況,這又是為什么?

數據庫事務日志,數據庫replication,cdc,數據庫

    還要從CDC的代理任務說起,這個代理的JOB雖然是連續執行的,但是因為上面寫數據的時候也是連續寫入的,也就是日志是連續產生的,

    因為限制了日志文件的大?。ㄟ@里為了方便演示,限制為512M),日志文件有最大使用空間的限制。

    這里可以認為是一個Session消耗日志空間(Insert操作),一個進程解析日志之后釋放日志空間(代理作業),

  但是消耗的速度要高于釋放的速度,一旦日志空間被使用完,CDC的代理作業也無法完成,

    這樣就又造成了上面的情況:日志空間被填滿,數據庫無法執行任何寫入操作,CDC作業也無法執行從而釋放可重用的日志空間, 

   上面是通過手動標記事務日志的狀態來解決日志文件被填滿的,

    直接手動標記日志為已分發的做法是有點不合適的,

    一旦標記日志狀態為已分發,接下來他就不會傳遞給CDC的系統表或者訂閱端了

  這里通過另外一種方法來解決此問題:既然當前日志占滿了,就在添加一個日志,注意新加日志初始化的空間不要太小。

  (有興趣測試的盆友,這里添加完日志文件后注意耐心等待一兩分鐘)然后隨后的CDC作業會借助新加的這個日志空間會繼續執行

數據庫事務日志,數據庫replication,cdc,數據庫

  此種情況說明,如果限制了日志的大?。ɑ蛘叽鎯θ罩镜拇疟P空間不足),數據庫中開啟了CDC或者復制,

  一旦數據出現大批量持續性寫入操作(增刪改),此時會出現SQL Server代理解析并釋放日志的速度跟不上,也有可能造成日志被占滿的情況

3,不增加日志文件空間或者添加日志文件情況下重啟SQLServer服務

  這個辦法也是本人在重現這一現象并嘗試解決的時候試出來的,可行性不是太強,但還是說明一下,那就是重啟大法,同時重啟之后日志文件也發生了一些有意思的變化

  建庫的時候日志文件限制為最大512M,同時沒有手動標記標記日志為已分發狀態,但是重啟SQLServer服務之后,如果存放日志的磁盤有空間,這個日志會自動擴充一部分

  然后有了這部分擴充出來的日志,代理job就可以解析Replication狀態的日志(之后)就可以釋放日志空間了(需要一段時間來解析并釋放日志,根據待復制的日志量有關)

  下圖可以明顯看到,日志限制為512MB,但是初始化為556MB,明顯大過最大日志大小,這個是歸功于重啟SQLServer服務的結果

  一下是在SQL Server 2014 SP2版本下測試的現象,

  數據庫事務日志,數據庫replication,cdc,數據庫

   如果是SQL Server 2014(非SP2補丁版),開啟CDC的方式占滿日志則不會出現如下的情況,也就是說重啟有日志并不會自動擴充一部分,我也是醉了,驗證個東西真不容易,這些小細節跟補丁版本也有關系,不過這種偏門的方法不能作為經驗!

總結:

  當開啟了CDC之后,在相關表上的變化會寫入事務日志(日志狀態為Replication狀態),代理任務會解析日志,解析完日之后標記日志為可重建狀態(如果是簡單還原模式,是可重用,如果是完整還原模式,日志備份也無法截斷Replication狀態的日志),這種狀態下如果限制了日志的最大大小比較小,或者沒有限制,存儲日志的磁盤空間不足,在大批量寫入數據(增刪改)的時候,有可能產生的日志占滿日志文件的情況,會導致釋放日志的代理作業無法進行,代理作業無法進行又無法釋放日志,仿佛是死循環。

  此時要么新增日志文件或者增加日志文件的最大大小,要么通過執行系統存儲過程sp_repldone來標記事務為已分發(標記事務日志可重用)來解決這一問題。

以上所述是小編給大家介紹的SQLServer數據庫中開啟CDC導致"事務日志空間被占滿的原因分析和解決辦法(REPLICATION),希望對大家有所幫助,如果大家有任何疑問請給我留言,小編會及時回復大家的。在此也非常感謝大家對VeVb武林網網站的支持!


注:相關教程知識閱讀請移步到MSSQL教程頻道。
發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb
国产精品久久久一区| 亚洲欧美日韩一区二区在线| 国产一区二区三区丝袜| 日本精品视频在线| xvideos成人免费中文版| 欧美性jizz18性欧美| 一区二区亚洲欧洲国产日韩| 国产亚洲一区精品| 中文字幕亚洲国产| 国产99久久久欧美黑人| 欧美一区视频在线| 亚洲美腿欧美激情另类| 精品久久久久久久久久ntr影视| 亚洲伊人成综合成人网| 国产女人18毛片水18精品| 91在线观看免费高清| 热久久这里只有精品| 欧美一级视频一区二区| 亚洲自拍高清视频网站| 青青草99啪国产免费| 国产精品精品国产| 国产精品久久国产精品99gif| 亚洲电影免费观看高清完整版在线| 91久久精品国产91性色| xxx成人少妇69| 亚洲欧美制服中文字幕| 久色乳综合思思在线视频| 欧美成人性生活| 精品国产91乱高清在线观看| 91丝袜美腿美女视频网站| 国产成人a亚洲精品| 91精品国产综合久久久久久久久| 欧美老肥婆性猛交视频| 久久99久久99精品中文字幕| 亚洲嫩模很污视频| 国产在线观看精品一区二区三区| 欧美三级免费观看| 亚洲欧美另类人妖| 亚洲国模精品私拍| 欧美视频第一页| 在线视频一区二区| 久久久视频精品| 欧美激情高清视频| 97涩涩爰在线观看亚洲| 一区二区三区视频观看| 伊人久久大香线蕉av一区二区| 亚洲娇小xxxx欧美娇小| 久久影视电视剧凤归四时歌| 国产一区二区三区视频免费| 日韩精品极品在线观看播放免费视频| 一本久久综合亚洲鲁鲁| 国产欧美日韩91| 国产精品偷伦一区二区| 综合网日日天干夜夜久久| 欧美激情小视频| 国产日韩欧美在线看| 久久精品成人欧美大片古装| 亚洲一区二区三区视频| 亚洲人成77777在线观看网| 国产视频一区在线| 国产精品日韩欧美综合| 这里只有精品在线观看| 欧美日韩国产精品一区二区不卡中文| 精品美女国产在线| 国产日韩欧美视频在线| 一本一道久久a久久精品逆3p| 国产精品草莓在线免费观看| 欧美超级乱淫片喷水| 久久久999精品| 久久人人爽人人爽人人片av高请| 亚洲欧美一区二区激情| 欧美成人免费全部观看天天性色| 中文字幕亚洲欧美日韩高清| 亚洲国产高清自拍| 亚洲欧美www| 国产精品成人免费视频| 国产精品视频专区| xvideos亚洲人网站| 欧美一级视频在线观看| 国产精品av在线| 亚洲欧美激情四射在线日| 中文字幕欧美精品在线| 亚洲free性xxxx护士hd| 国产精品久久av| 午夜精品一区二区三区在线视频| 欧美久久精品午夜青青大伊人| 欧美国产精品人人做人人爱| 日韩激情片免费| 色播久久人人爽人人爽人人片视av| 国产亚洲精品va在线观看| 精品国产乱码久久久久久天美| 亚洲人永久免费| 精品视频偷偷看在线观看| 欧美日韩激情美女| 欧美人与性动交| 国产亚洲精品成人av久久ww| 久久久久久午夜| 91福利视频在线观看| 久久精品男人天堂| 国产一区二区精品丝袜| 国产精品久久久久久超碰| 欧美裸体xxxx极品少妇| 精品视频在线播放色网色视频| 精品视频偷偷看在线观看| 中文字幕欧美视频在线| 亚洲成成品网站| 在线日韩欧美视频| 欧美一级黑人aaaaaaa做受| 久久夜色精品国产亚洲aⅴ| 不用播放器成人网| 日韩有码在线视频| 欧美夫妻性生活xx| 久久99久久99精品免观看粉嫩| 91丝袜美腿美女视频网站| 97在线视频免费播放| 精品高清美女精品国产区| 国产精品美女视频网站| 亚洲国产精品久久久| 国产成人高潮免费观看精品| 国产精品v片在线观看不卡| 国产精品高潮呻吟久久av野狼| 国产精品普通话| 欧美在线中文字幕| 成人免费网站在线| 亚洲一区二区在线播放| 亚洲少妇中文在线| 在线看福利67194| 欧美在线www| 亚洲成人黄色在线观看| 久久精品色欧美aⅴ一区二区| 国产成人精彩在线视频九色| 色天天综合狠狠色| 九九综合九九综合| 综合网日日天干夜夜久久| 国精产品一区一区三区有限在线| 亚洲综合成人婷婷小说| 欧美性xxxxx极品娇小| 成人福利网站在线观看11| 国产精品十八以下禁看| 美女视频黄免费的亚洲男人天堂| 亚洲xxxx做受欧美| 欧美综合一区第一页| 久久精品视频网站| 久久精品国产视频| 欧美大成色www永久网站婷| 欧美精品激情在线观看| 九九热r在线视频精品| 国产精品久久久久久久一区探花| 一本色道久久综合亚洲精品小说| 亚洲乱亚洲乱妇无码| 日韩成人在线视频观看| 欧美另类第一页| 久久久亚洲欧洲日产国码aⅴ| 国模精品视频一区二区| 亚洲精品久久久久中文字幕二区| 另类专区欧美制服同性| 国产成人精品最新| 欧美精品18videosex性欧美| 亚洲激情中文字幕| 在线播放国产一区中文字幕剧情欧美| 国产精品一区二区久久久久| 日韩中文在线中文网三级| 国产一区二区三区视频| 国产精品手机播放|