測試大型資料表的 Horizontal Partitioning 水平切割

FileGroup 檔案群組 :
一個「資料庫(database)」可對應一或多個 FileGroup,一個 FileGroup 可由一或多個 file (.ndf) 構成。 FileGroup 可讓 SQL Server 彈性地調整空間大小,亦可達到讓不同的磁碟 I/O,來幫助分流、提升效能,例如筆數極大的「資料表(table)」,可用 FileGroup 做「水平資料分割 (Horizontal Partitioning)」,內地稱為「表分區」。 Horizontal Partitioning 的相關指令如下 :

alter database NORTHWND add filegroup FileGroup1;
alter database NORTHWND add filegroup FileGroup2;
alter database NORTHWND add filegroup FileGroup3; alter database NORTHWND add file(name=FG11, filename='C:\test\FG11.ndf') to filegroup FileGroup1;
alter database NORTHWND add file(name=FG21, filename='C:\test\FG21.ndf', size=10MB),
(name=FG22, filename='C:\test\FG22.ndf', size=10MB) to filegroup FileGroup2;
alter database NORTHWND add file(name=FG31, filename='C:\test\FG31.ndf') to filegroup FileGroup3; --依「訂單日期」欄位,自動將 record 儲存至不同的 FileGroup、實體 file
create partition function partitionFunction_OrderDate(datetime) as range RIGHT for values('1997/01/01','1998/01/01','1999/01/01'); --1997/01/01 之前的舊 record,存至 FileGroup1 (FG11.ndf)
--1997/01/01~1998/12/31 的 record,存至 FileGroup2 (FG21.ndf、FG22.ndf)
--1999/01/01 及之後的 record,存至 FileGroup3 (FG31.ndf)
create partition scheme partitionScheme_OrderDate as partition partitionFunction_OrderDate to (FileGroup1, FileGroup2, FileGroup2, FileGroup3);
create table Orders2(
OrderID int not null,
OrderDate datetime not null default getdate(),
CustID varchar(6),
EmpID varchar(6)) ON partitionScheme_OrderDate(OrderDate) --從 Orders 資料表,匯入測試用資料 (都是早期年份,2000 年之前的記錄)
INSERT INTO Orders2(OrderID, OrderDate, CustID, EmpID) SELECT OrderID, OrderDate, CustomerID, EmployeeID FROM Orders
--新增幾筆 OrderDate 較新的資料,供測試用 (2014 年份)
INSERT INTO Orders2(OrderID, OrderDate, CustID, EmpID) VALUES(12001, getdate(), '2014/7', '2014/7')
INSERT INTO Orders2(OrderID, OrderDate, CustID, EmpID) VALUES(12002, getdate(), '2014/8', '2014/8')
INSERT INTO Orders2(OrderID, OrderDate, CustID, EmpID) VALUES(12003, getdate(), '2014/9', '2014/9') --檢查 Orders2 資料表中的資料,其水平切割、分組情形,或者由 sys.partitions 檢視表中查詢每個 partition 的資料筆數
SELECT index_id, partition_number, rows FROM sys.partitions
WHERE object_id = OBJECT_ID('Orders2') ORDER BY index_id, partition_number; --測試日後新增 partition 時 (模擬企業在每年進入新的年份,都要持續新建 partition,供搬移歷史舊資料)
alter database NORTHWND add filegroup FileGroup4;
alter database NORTHWND add file(name=FG41, filename='C:\test\FG41.ndf') to filegroup FileGroup4; --split 新 partition (以 2000/01/01 年為分界點)
alter partition scheme partitionScheme_OrderDate NEXT USED [FileGroup4];
alter partition function partitionFunction_OrderDate() SPLIT range ('2000/01/01'); --create partition scheme partitionScheme_OrderDate as partition partitionFunction_OrderDate to (FileGroup1, FileGroup2, FileGroup2, FileGroup3); --split 新 partition 之後,既有的記錄 (2000/01/01 之後的記錄) 會自動搬移 (視 OrderDate 欄位的年份自動對應),不用資訊人員手動搬移
SELECT index_id, partition_number, rows FROM sys.partitions
WHERE object_id = OBJECT_ID('Orders2') ORDER BY index_id, partition_number; --日後再 insert 的記錄 (2000/01/01 之後的記錄),會自動改寫至 FileGroup4
INSERT INTO Orders2(OrderID, OrderDate, CustID, EmpID) VALUES(12005, getdate(), '2014/9', '2014/9') --SELECT index_id, partition_number, rows FROM sys.partitions
--WHERE object_id = OBJECT_ID('Orders2') ORDER BY index_id, partition_number; --SELECT * FROM Orders2 ORDER BY OrderDate desc

--------------------------------------------------------------
當經費不足,無法購置 SAN / 硬體 RAID 時,亦可考慮 FileGroup,但非不得已才棄 RAID 而就 FileGroup,因後者的效能不如前者,且前者才有「快取(cache)」,後者不支援「容錯」。

FileGroup 的原理,是靠多顆硬碟同時存取,將資料打散在多顆硬碟上、存取時多顆硬碟一起運作,可提升效能 (參考圖片)。如下圖,可透過 FileGroup 的設定,將不同種類的資料,放在不同的實體硬碟上。如左下方的 C 槽,可放系統資料表,或常要維護(寫入)的一般常用資料 (.mdf)。下方的 D 槽,可存放純供查詢用的歷史性資料 (OrderHistory1.ndf、OrderHistory2.ndf、...、OrderHistoryX.ndf)。而 Log 檔 (.ldf) 可放右下方的 E 槽上。

當然,若公司的經費充足,也可透過多台 RAID,再搭配 FileGroup 一起使用,如此一來,既能容錯,又兼顧效能。

測試大型資料表的 Horizontal Partitioning 水平切割

--------------------------------------------------------------
讀書隨手筆記-其他 (系統資料庫 tempdb) :

* 系統資料庫 tempdb 可改放置在快速的磁碟上,或分散到多部磁碟上,與存放一般資料的資料庫放在不同的磁碟,以確保效能。
* 可為 tempdb 資料庫,建立多個 file,數目可與伺服器 CPU 數目相同,減少 CPU 存取 tempdb 時的資源衝突,以確保效能。

相關 SQL 指令 (書中有附實際可執行程式碼) :
可透過 ALTER DATABASE tempdb MODIFY FILE 指令,將 tempdb 移至不同位置 (.mdf、.ldf)。
可透過 ALTER DATABASE tempdb ADD FILE 指令,增加、建立多個 file (.mdf、.ldf),但需要重新啟動 SQL Server。

--------------------------------------------------------------
參考書籍 :
SQL Server 2005 Performance Tuning 效能調校 (作者: 胡百敬、劉承修... 等人, 台灣書籍)
SQL Server 2012 Performance Tuning 效能調校 (作者: 胡百敬、劉承修... 等人, 台灣書籍)
http://www.tenlong.com.tw/items/9865740419?item_id=892851
SQL Server 效能調校 (作者: 陳祥輝... 等人, 台灣書籍)
http://www.tenlong.com.tw/items/9862019026?item_id=889295

上一篇:Isilon OneFS Simulator Install Guide


下一篇:hdu2023 求平均成绩 ~~很闲~~~