基于卷影拷貝服務技術的海洋實時觀測數(shù)據(jù)備份

吳永芳，王曉瑞，張學靈，司佳，陳剛

（國家海洋信息中心，天津 300171）

隨著科學技術的進步，人們獲取海洋數(shù)據(jù)的手段越來越多，已經(jīng)可以通過陸地、海面、海底、水下、航空航天等多種監(jiān)控和監(jiān)測設備獲取到大量不同時間段、不同尺度、不同地區(qū)的數(shù)據(jù)，其中非結構化數(shù)據(jù)已占到總數(shù)據(jù)量的60%~70%[1]。按照數(shù)據(jù)獲取到發(fā)布的時間長短，海洋數(shù)據(jù)可以分為海洋實時觀測數(shù)據(jù)和海洋延時觀測數(shù)據(jù)[2]。海洋實時觀測數(shù)據(jù)的獲取方式主要包括浮標、雷達、志愿船和全球導航衛(wèi)星系統(tǒng)（Global Navigation Satellite System，GNSS）等。接收服務器接收到海量的觀測數(shù)據(jù)后，需要進行質(zhì)控和備份[3]。

1 海洋實時觀測數(shù)據(jù)備份的意義

數(shù)據(jù)備份是指為防止操作失誤等人為因素或系統(tǒng)故障等自然因素導致數(shù)據(jù)丟失，而將數(shù)據(jù)通過一定的方法復制到其他存儲介質(zhì)進行保存的過程[4]，目的是在需要時能迅速、準確地找到目標數(shù)據(jù)進行恢復[5]。

海洋實時觀測數(shù)據(jù)的獲取大多是經(jīng)過艱苦的海上作業(yè)，借助昂貴的數(shù)據(jù)采集和分析設備獲取得來的，海洋項目的完成需要耗費大量的人力、物力和財力，海洋數(shù)據(jù)獲取的成本非常高，許多數(shù)據(jù)一旦丟失難以重新采集。與陸地數(shù)據(jù)采集相比，海洋調(diào)查具有高風險、高投入的特點。因此需要重視海洋數(shù)據(jù)的安全存儲，其中就涉及對接收服務器中的海洋數(shù)據(jù)進行備份[6]。

2 NTFS 文件系統(tǒng)中海洋實時數(shù)據(jù)的備份現(xiàn)狀

目前Windows 服務器中廣泛使用的文件系統(tǒng)類型為NTFS（New Technology File System）。NTFS相對FAT 文件系統(tǒng)更加復雜，但也具有非常明顯的優(yōu)勢：安全性更高、不易產(chǎn)生碎片并能夠獲取到更大的存儲[7]。NTFS 文件系統(tǒng)中采用的引導記錄、主文件表MFT 的數(shù)據(jù)格式以及B+樹數(shù)據(jù)結構，可以為操作系統(tǒng)和數(shù)據(jù)庫提供非常詳細的索引，這為文件查找?guī)砹撕艽蟮谋憷谕粋€分區(qū)具有很多小文件時，系統(tǒng)空間分配、讀寫磁盤時會頻繁地訪問MFT，因此MFT 對NTFS 文件系統(tǒng)的性能有著至關重要的影響。海量小文件則意味著將有大量索引查詢、元數(shù)據(jù)讀取、數(shù)據(jù)讀取的請求操作[8]，因此查找的速度受到了很大的限制[9]。

海洋實時觀測數(shù)據(jù)中絕大部分都是KB級別的小文件[10]，如果利用如基于小文件合并和分層索引的傳統(tǒng)備份方式[11]，在備份前仍然需要先對NTFS 文件系統(tǒng)磁盤中的大量小文件進行掃描，以獲取元數(shù)據(jù)信息，掃描操作需要消耗大量時間。例如在對擁有超過2 254萬個小文件的磁盤進行備份時，掃描時間接近3 h，而備份時由于受到元數(shù)據(jù)管理、緩存機制以及數(shù)據(jù)布局等因素的限制[8]，備份時間超過63 h。因此在采用傳統(tǒng)備份方式對海洋實時觀測數(shù)據(jù)進行備份時，不但備份性能非常低，而且長時間備份也影響了接收服務器本身的CPU、內(nèi)存以及磁盤的性能，使得系統(tǒng)的整體讀寫性能受到嚴重影響。

因此，本文嘗試基于卷影拷貝服務（Volume Shadow Copy Service，VSS）技術對實時觀測數(shù)據(jù)進行備份，以期提高對海洋實時觀測數(shù)據(jù)的備份性能，降低對觀測數(shù)據(jù)的傳輸和質(zhì)控的影響。

3 卷影拷貝服務

卷影拷貝服務（VSS）是Microsoft Corporation在服務器操作平臺上提供的一種服務，是Windows下的指針型快照技術，具體來說它通過在卷管理模塊上加入快照功能，創(chuàng)建時間點映像，即卷影副本（只讀副本），從而實現(xiàn)數(shù)據(jù)的快速備份和恢復，同時不會影響到系統(tǒng)性能?；谶@一點，卷影拷貝服務非常適合用于海量數(shù)據(jù)的備份[12]。

基于卷影拷貝服務的備份方式，是基于快照的塊級數(shù)據(jù)備份方式，即把快照技術和備份技術相結合，可以保證數(shù)據(jù)備份時的一致性[13]，與傳統(tǒng)備份方式相比，可以避免因備份數(shù)據(jù)量較大造成備份耗時太長，無法為用戶提供服務的問題[14]。因此塊級備份是目前備份性能最高的備份方式之一[15]。

3.1 卷影拷貝服務的原理

一個完整的VSS 解決方案由以下四個基本部分組成：

（1）VSS 請求程序：請求創(chuàng)建卷影副本的應用程序，本文中指的是數(shù)據(jù)備份系統(tǒng)。

（2）VSS 服務：可確保其他組件相互通信并協(xié)同工作，是Windows操作系統(tǒng)的一部分。

（3）VSS 寫入程序：保證備份數(shù)據(jù)一致性的組件。在創(chuàng)建卷影副本的過程中，如果有如SQL Server或者Windows系統(tǒng)中的注冊表等應用程序繼續(xù)寫入數(shù)據(jù)會造成卷影副本中數(shù)據(jù)的不一致，從而影響該時間點卷影副本的完整性。

（4）VSS 提供程序：創(chuàng)建給定時間點卷影副本的組件。程序基于存儲陣列（硬件模式）或操作系統(tǒng)（軟件模式），本文采用的是后者。

卷影副本的創(chuàng)建包括以下兩種方法：克?。–lone）和寫入時復制（Copy on Write）?？寺。窃诮o定時間點對源卷進行完整復制，在此過程中源卷和鏡像卷的數(shù)據(jù)始終保持同步，此鏡像卷為只讀副本。而寫入時復制，不復制源卷，只拷貝數(shù)據(jù)所在位置的指針，以生成一個快照位圖，當有寫操作時，需要先把源地址的數(shù)據(jù)拷貝到一個新位置，再對源地址進行寫操作。當需要引用原始數(shù)據(jù)時，需要將指針映射到新位置（圖1）。因此寫入時復制是創(chuàng)建卷影副本的快速方法[14]。

圖1 卷影拷貝服務的快照示意圖

卷影拷貝服務與請求程序、寫入程序和提供程序進行協(xié)調(diào)以創(chuàng)建卷影副本的流程圖（圖2）。

圖2 使用卷影拷貝服務進行備份的流程圖

具體流程說明如下：

（1）備份系統(tǒng)對卷影拷貝服務發(fā)出請求，卷影拷貝服務會通過vssadmin list writers 列舉出該時間點所有的寫入程序，并收集這些寫入程序的元數(shù)據(jù)信息；

（2）每個寫入程序都會通過XML（Extensible Markup Language）文件描述其組件，并把信息返回給卷影拷貝服務；

XML格式如下：

（3）卷影拷貝服務通知寫入程序準備數(shù)據(jù)以進行卷影拷貝，每個寫入程序都會根據(jù)需要準備數(shù)據(jù)，包括完成所有未結束的事務、滾動事務日志和刷新緩存等。隨后寫入程序會將寫入的IO 請求暫時凍結幾秒鐘（可以進行讀取IO 請求），刷新文件系統(tǒng)緩沖區(qū)并凍結文件系統(tǒng)，以確保卷影副本中數(shù)據(jù)的一致性。

（4）卷影拷貝服務通知操作系統(tǒng)創(chuàng)建卷影副本。首先通過vssadmin 啟用卷影副本，例如“vssadmin add shadowstorage/for=E/on=/F”表示對E 盤啟用卷影副本，F(xiàn) 盤作為卷影副本的保存卷。然后通過“vssadmin create shadow/for=/E”對E 盤創(chuàng)建卷影副本，創(chuàng)建周期很短，在此期間文件系統(tǒng)的所有寫入IO請求都將保持凍結狀態(tài)。

（5）卷影拷貝服務通知寫入程序解除對IO 請求的凍結。

（6）成功創(chuàng)建卷影副本后，VSS 將卷影副本通過ntdsutil snapshot"mount GUID"掛載到服務器中，并把掛載的位置信息返回給備份系統(tǒng)，備份系統(tǒng)把卷影副本復制到備份存儲中。

（7）卷影拷貝服務通過vssadmin delete shadows刪除快照，并通過ntdsutil snapshot“delete GUID”卸載掛載信息。

可以看出，基于卷影拷貝服務的備份方式，可以創(chuàng)建高可靠的即時性（Point in time）鏡像，不會影響到服務器的整體性能，可以實現(xiàn)數(shù)據(jù)的快速備份[11]。

3.2 備份功能集成到海洋數(shù)據(jù)備份平臺

本文在海洋數(shù)據(jù)備份平臺中添加了基于卷影拷貝服務進行備份的模塊，備份系統(tǒng)作為請求程序發(fā)起創(chuàng)建卷影副本的請求，創(chuàng)建成功后把該快照拷貝到備份存儲中，實現(xiàn)了基于卷影拷貝服務對Windows操作系統(tǒng)中海洋實時數(shù)據(jù)的快速備份。

本文對兩個海洋實時觀測數(shù)據(jù)服務器A 和B中的數(shù)據(jù)集做了實驗，并對基于文件復制的傳統(tǒng)備份方式和基于VSS的備份方式進行了對比分析。服務器A和B中數(shù)據(jù)集的屬性如表1所示。

表1 服務器A和服務器B的數(shù)據(jù)集屬性

可以計算得出，服務器A 和B 的數(shù)據(jù)集中文件平均大小分別為5.17 KB 和2.06 KB。因為兩個服務器中的文件數(shù)量比較多，尤其是服務器B 中數(shù)據(jù)量更大，單個文件更小。如果采用傳統(tǒng)方式，對服務器A 中的文件集備份的時間長達59 h。對服務器B中的文件集備份93 h后，進度僅為25%。

更換為基于VSS 的備份方式后，雖然因為網(wǎng)絡不穩(wěn)定或服務器業(yè)務繁忙等原因，導致備份的時長不是非常穩(wěn)定，但對服務器A 和B 中的文件集分別備份了10 次，平均時間分別為5.28 h 和10.81 h，遠遠低于傳統(tǒng)備份所需要的時間（圖3－圖5）。

圖3 服務器A的備份記錄

圖4 服務器B的備份記錄

圖5 兩種方式對服務器A和B的備份時間對比

為了進一步驗證基于VSS 的備份方式對海量小文件的備份性能，本文又選擇了兩個服務器分別對兩個數(shù)據(jù)集進行備份，并把該數(shù)據(jù)集分別放在磁盤容量不同的磁盤中進行對比。服務器C、D中數(shù)據(jù)集的屬性以及在磁盤容量分別為100 GB 和300 GB 時進行備份的結果如表2 所示，可以計算得出服務器C 和D 的數(shù)據(jù)集中文件的平均大小分別為16.4 KB 和0.11 KB。備份結果用柱狀圖表示如圖6、圖7所示。

表2 服務器C中數(shù)據(jù)集的大小

圖6 服務器C中數(shù)據(jù)集的備份結果

圖7 服務器D中數(shù)據(jù)集的備份結果

上述兩個實驗中服務器C 和服務器D 的配置完全一樣。OS 為Windows Server 2012R2 Standard 64位，CPU 為4核，內(nèi)存為16 GB。從上面兩個實驗結果可以看出，在對服務器C 和服務器D 中的兩個數(shù)據(jù)集進行備份時，基于VSS 備份方式的備份時間大約是傳統(tǒng)方式的1/10 和1/20，該備份時間和磁盤容量沒有明顯關系，但文件越小基于VSS的備份方式的性能優(yōu)勢越明顯。

由于VSS 采用的是寫入時復制的快照方式，可以通過跟蹤設備并創(chuàng)建更改的塊位圖，實現(xiàn)對基于VSS 備份方式的增量備份[12]，但此時需要保證源卷數(shù)據(jù)的可用性，不然無法進行恢復。增量備份的位圖示意圖如表3所示。

表3 增量備份的快照示意圖

數(shù)據(jù)備份系統(tǒng)中對服務器A 和B 的增量備份如圖8和圖9，能更加快速地實現(xiàn)對數(shù)據(jù)的備份。

圖8 服務器A中數(shù)據(jù)集的增量備份

圖9 服務器B中數(shù)據(jù)集的增量備份

3.3 海洋數(shù)據(jù)備份平臺的恢復功能集成

海洋數(shù)據(jù)備份平臺中必須集成數(shù)據(jù)恢復模塊，在數(shù)據(jù)丟失時才能進行恢復?；謴偷牧鞒毯蛡浞莼鞠喾?，需要先根據(jù)恢復需求把快照數(shù)據(jù)從備份介質(zhì)中拷貝出來，然后把快照掛載到恢復的目標服務器中，再從快照卷拷貝到指定磁盤中，最后卸載并刪除該快照卷。本文對基于VSS備份的備份集進行了恢復，以驗證備份數(shù)據(jù)的有效性，對服務器A 和B 恢復結果分別如圖10 和圖11所示。

圖10 服務器A中數(shù)據(jù)集的恢復

圖11 服務器B中數(shù)據(jù)集的恢復

可以看出恢復的時間在可以接受的時間范圍內(nèi)，對恢復出來的數(shù)據(jù)集隨機抽取了10 個文件，通過certutil 工具計算MD5 進行了校對，驗證了備份數(shù)據(jù)的可用性。

3.4 基于VSS備份方式的不足

因為基于VSS 的備份方式是基于磁盤塊的備份，因此特別適合對海量小文件進行備份。但是這種方式的特點決定了只能對整個磁盤進行備份，而不能有針對性地選擇某個文件或文件夾，備份的靈活性不如傳統(tǒng)方式。

4 結語

本文實現(xiàn)了對Windows 中NTFS 文件系統(tǒng)基于卷影拷貝服務的備份，通過大量實驗證明該備份方式可以大大提高對海量小文件備份的性能，而且通過恢復演練驗證了備份數(shù)據(jù)的可用性。下一步會繼續(xù)在備份平臺中完善對Linux操作系統(tǒng)基于LVM （Logical Volume Manager） 的 快 照 方 式[16]，以及對虛擬機整機基于qcow2 鏡像格式的快照方式[17]的研究，更好地為海洋數(shù)據(jù)的安全存儲提供服務。