概述
大家應該都知道在很多業務場景下我們需要對一些記錄量比較大的表進行分區，同時為了保證性能需要將一些舊的數據進行歸檔。在分區表很多的情況下如果每一次歸檔都需要人工干預的話工程量是比較大的而且也容易發生紕漏。接下來分享一個自己編寫的自動歸檔分區數據的腳本，原理是分區表和歸檔表使用相同的分區方案，循環利用當前的文件組，話不多說了，來一起看看詳細的介紹吧。
一、創建測試數據
sql;">----01創建文件組USE [master]GOALTER DATABASE [chenmh] ADD FILEGROUP [Group1]GOALTER DATABASE [chenmh] ADD FILEGROUP [Group2]GOALTER DATABASE [chenmh] ADD FILEGROUP [Group3]GOALTER DATABASE [chenmh] ADD FILEGROUP [Group4]GOUSE [master]GOALTER DATABASE [chenmh] ADD FILE ( NAME = N'datafile1', FILENAME = N'C:/Program Files/Microsoft SQL Server/MSSQL12.MSSQLSERVER/MSSQL/DATA/datafile1.ndf' , SIZE = 8192KB , FILEGROWTH = 65536KB ) TO FILEGROUP [Group1]GOALTER DATABASE [chenmh] ADD FILE ( NAME = N'datafile2', FILENAME = N'C:/Program Files/Microsoft SQL Server/MSSQL12.MSSQLSERVER/MSSQL/DATA/datafile2.ndf' , SIZE = 8192KB , FILEGROWTH = 65536KB ) TO FILEGROUP [Group2]GOALTER DATABASE [chenmh] ADD FILE ( NAME = N'datafile3', FILENAME = N'C:/Program Files/Microsoft SQL Server/MSSQL12.MSSQLSERVER/MSSQL/DATA/datafile3.ndf' , SIZE = 8192KB , FILEGROWTH = 65536KB ) TO FILEGROUP [Group3]GOALTER DATABASE [chenmh] ADD FILE ( NAME = N'datafile4', FILENAME = N'C:/Program Files/Microsoft SQL Server/MSSQL12.MSSQLSERVER/MSSQL/DATA/datafile4.ndf' , SIZE = 8192KB , FILEGROWTH = 65536KB ) TO FILEGROUP [Group4]GO----02創建分區函數USE [chenmh]GOCREATE PARTITION FUNCTION [Pt_Range](BIGINT) AS RANGE RIGHT FOR VALUES (1000000, 2000000, 3000000)GO----03創建分區方案,分區方案對應的文件組數是分區函數指定的數量+1CREATE PARTITION SCHEME Ps_RangeAS PARTITION Pt_RangeTO (Group1, Group2, Group3, Group4);---04創建表,指定的分區列的數據類型一定要和分區函數指定的列類型一致。CREATE TABLE [dbo].[News]( [id] [bigint] NOT NULL, [status] [int] NULL, CONSTRAINT [PK_News] PRIMARY KEY CLUSTERED ( [id] ASC)WITH (PAD_INDEX = OFF, STATISTICS_NORECOMPUTE = OFF, IGNORE_DUP_KEY = OFF, ALLOW_ROW_LOCKS = ON, ALLOW_PAGE_LOCKS = ON) ON [Ps_Range](id)) ON [Ps_Range](id)-----創建歸檔分區表CREATE TABLE [dbo].[NewsArchived]( [id] [bigint] NOT NULL, [status] [int] NULL, CONSTRAINT [PK_NewsArchived] PRIMARY KEY CLUSTERED ( [id] ASC)WITH (PAD_INDEX = OFF, STATISTICS_NORECOMPUTE = OFF, IGNORE_DUP_KEY = OFF, ALLOW_ROW_LOCKS = ON, ALLOW_PAGE_LOCKS = ON) ON [Ps_Range](id)) ON [Ps_Range](id)----插入測試數據DECLARE @id INT SET @id=1WHILE @id<5001000BEGIN INSERT INTO News VALUES(@id,@id%2) SET @id=@id+1END
可以看到當前總共有4個分區，每一個分區定義的范圍區間是100萬，分區4我故意多插入了200多萬的數據來驗證自動歸檔分區。
二、自動歸檔分區腳本
CREATE PROCEDURE Pro_Partition_AutoArchiveData(@PartitionTable VARCHAR(300),@SwitchTable VARCHAR(300))ASBEGINDECLARE @FunName VARCHAR(100),@SchemaName VARCHAR(100),@MaxPartitionValue sql_variant---根據歸檔表查找對應的分區方案、分區函數、最小分區數、最大分區范圍值SELECT DISTINCT@FunName=MAX(pf.name),@SchemaName=MAX(ps.name), @MaxPartitionValue=max(isnull(prv.value,0))FROM sys.partitions p inner join sys.indexes i ON p.object_id=i.object_id and p.index_id=i.index_idinner join sys.partition_schemes ps ON i.data_space_id=ps.data_space_idinner join sys.destination_data_spaces dds ON ps.data_space_id=dds.partition_scheme_id and dds.destination_id=p.partition_numberinner join sys.data_spaces ds ON dds.data_space_id=ds.data_space_idinner join sys.partition_functions pf ON ps.function_id=pf.function_idLEFT join sys.partition_range_values prv ON pf.function_id=prv.function_id AND prv.boundary_id=p.partition_number-pf.boundary_value_on_rightLEFT join sys.partition_parameters pp ON prv.function_id=pp.function_id and prv.parameter_id=pp.parameter_idLEFT join sys.types t ON pp.system_type_id=t.system_type_id and pp.user_type_id=t.user_type_idWHERE OBJECT_NAME(p.OBJECT_ID)=@PartitionTableDECLARE @MaxId BIGINT,@MinId BIGINT,@Sql NVARCHAR(MAX),@GroupName VARCHAR(100),@MinPartitionNumber INTSET @Sql= N'SELECT @MaxId=MAX(id),@MinId=Min(id) FROM '+@PartitionTableEXEC sp_executesql @Sql,N'@MaxId BIGINT out,@MinId BIGINT out',@MaxId OUT,@MinId OUTSELECT @FunName AS FunName,@SchemaName AS SchemaName,@MaxPartitionValue AS MaxPartitionValue ,@MaxId AS MaxId,@MinId AS MinId---判斷當前表的最大的id是否已經在最大的分區中IF @MaxId>=@MaxPartitionValue BEGIN ----歸檔分區數據,根據表的最小值找到它所屬的分區. SET @Sql= N'SELECT @MinPartitionNumber=$PARTITION.'+@FunName+N'('+CONVERT(VARCHAR(30),@MinId)+N')'; EXEC sp_executesql @Sql,N'@MinPartitionNumber INT out',@MinPartitionNumber OUT SET @Sql=N'ALTER TABLE ' +@PartitionTable+ N' SWITCH PARTITION '+CONVERT(VARCHAR(10),@MinPartitionNumber)+ N' TO ' +@SwitchTable+ N' PARTITION ' +CONVERT(VARCHAR(10),@MinPartitionNumber); --PRINT @Sql EXEC (@Sql) ---修改分區方案，增加新的分區對應的文件組，根據最小的分區id找到對應的文件組。 SELECT DISTINCT @GroupName=ds.name FROM sys.partitions p inner join sys.indexes i ON p.object_id=i.object_id and p.index_id=i.index_id inner join sys.partition_schemes ps ON i.data_space_id=ps.data_space_id inner join sys.destination_data_spaces dds ON ps.data_space_id=dds.partition_scheme_id and dds.destination_id=p.partition_number inner join sys.data_spaces ds ON dds.data_space_id=ds.data_space_id inner join sys.partition_functions pf ON ps.function_id=pf.function_id WHERE pf.name=@FunName AND ps.name=@SchemaName AND p.partition_number=@MinPartitionNumber SET @Sql=N'ALTER PARTITION SCHEME '+@SchemaName+N' NEXT USED '+@GroupName --PRINT @Sql EXEC (@Sql) ---修改分區函數,增加新的分區,增加新的分區范圍值，在現有的最大的值的基礎上加100萬(需要和現有的分區函數的范圍保持一致) SET @MaxPartitionValue=CONVERT(BIGINT,@MaxPartitionValue)+1000000 SET @Sql=N'ALTER PARTITION FUNCTION '+@FunName+N'('+N')'+N' SPLIT RANGE ('+CONVERT(VARCHAR(30),@MaxPartitionValue)+N')' --PRINT @Sql EXEC (@Sql) ENDEND三、自動歸檔分區數據
1.首次測試
EXEC Pro_Partition_AutoArchiveData 'news','NewsArchived';
注意：每調用一次歸檔一個最小分區的數據。
分區表的News分區1的數據被歸檔到了NewsArchived表中，且創建了分區5，分區5使用的是已歸檔的分區1的文件組，達到了循環利用文件組的效果。
2.再調用一次歸檔分區腳本
當分區表最大的id小于最大的分區值時自動歸檔分區腳本就不會生效。所以當前的測試表數據還可以再歸檔分區3的數據。
3.經過一段時間的運行歸檔數據可能是這樣的效果
Group1→Group4→Group1→.......
四、腳本注意事項
1.@PartitionTable和@SwitchTable表必須使用同名的分區方案和分區函數,否則@SwitchTable就需要單獨修改分區方案和函數，且表結構完全一致。
2.歸檔的表分區列數據類型必須是INT類型,且值是自增規律.
3.分區歸檔作業在備份作業后執行
4.建議使用Right分區，Left分區會出現有的最后一個分區文件組不會循環替換，一直處于分區的最后,比如Group1,Group2,Group3,Group1,Group2,Group3,Group1,Group4。期望的應該是Group1,Group2,Group3,Group4,Group1,Group2,Group3,Group4,Group1
5.注意我當前的每個分區大小是100萬和分區函數保持一致,如果范圍值不同,需要修改最末尾代碼的"修改分區函數"處代碼.
總結
當前自動歸檔分區腳本如果要拷貝去用還是得能完全理解每一段代碼，根據自己的業務做適當的修改，畢竟數據是無價的?。?！。最后只需要創建一個作業定期跑作業就行，重復執行也不影響。
好了，以上就是這篇文章的全部內容了，希望本文的內容對大家的學習或者工作具有一定的參考學習價值，如果有疑問大家可以留言交流，謝謝大家對VeVb武林網的支持。
新聞熱點
疑難解答
