磁光電一體化海量檔案數字資源長久保存技術研究《基于磁、光、電多種載體的海量檔案數字資源長久保存技術的研究和實踐》項目課題組

近年來，國家發布了一系列電子文件、電子檔案管理的政策規范，加之國家檔案局持續加大檔案信息化工作推進力度，致使各類電子檔案、檔案數字復制件等檔案數字資源數量激增。這就使如何實現海量檔案數字資源的安全保存和長期可用成為了各級檔案部門亟需解決的問題[1]。

一、海量檔案數字資源長久保存常見問題

（一）數據保存呈碎片化的狀態

我國檔案部門主要推廣“一用兩備”的數據存儲和備份模式，由于缺少統一的大容量存儲和備份設備，導致檔案部門的數字檔案資源往往分散保存在多臺不同類型的存儲和備份設備中，數據保存情況較為復雜，往往需要花大量時間和精力去管理。

（二）數據檢測管理困難

由于海量數字檔案資源分別保存在各類人工管理的離線存儲載體之上，導致數據檢測模式多樣、程序復雜，難以及時判斷離線載體上保存的數字檔案資源是否有效。

（三）數據保存風險不易管控

常見的數字檔案資源的存儲設備缺少可視化的設備運行與數據存儲情況監控裝置，也不具備實時報警功能，導致數字檔案資源在存儲過程中存在的風險不易在第一時間發現。

二、課題研究綜述

為解決上述問題，課題組通過互聯網及相關論文期刊雜志廣泛收集有關海量檔案數字資源長久保存技術的資料，研究了磁存儲、光存儲和電存儲等存儲技術的優缺點和適用范圍，從載體的耐久性、可靠性、通用性、容量、速度和成本等指標進行分析，設計了綜合采用多種存儲設備和存儲載體的存儲技術方案，以達到海量檔案數字資源長久安全保存過程中安全性、經濟性和訪問速度的均衡。課題組對海量數字檔案長久保存的需求進行了全面的分析，設計了磁光電一體化海量檔案數字資源長久保存系統的技術方案，明確了系統的總體架構、關鍵技術及主要功能?；谏鲜黾夹g方案，開發了綜合運用多項關鍵技術和多種存儲載體的磁光電一體化海量檔案數字資源長久保存系統，實現了面向海量檔案數字資源長久安全保存的數據管理、設備管理、載體管理、任務管理和監控預警等功能。課題組基于該系統開展了一系列的檔案數字資源保存實驗，通過實踐應用研究和驗證適合該系統的檔案數字資源長久保存的數據存儲備份機制、數據檢測機制、載體檢測機制、預警跟蹤處理機制和數據應急恢復機制等多種管理機制，通過技術平臺和管理機制的結合，有效保障了海量檔案數字資源安全長久保存過程中的真實性、完整性、可用性和安全性。

三、技術路線

（一）存儲載體和存儲設備的分析和選擇

1.存儲載體分析選擇

目前常見的主要存儲載體可劃分為磁（磁盤、磁帶）、光（光盤）、電（SSD固態硬盤）等類型，衡量存儲載體的基本指標包括載體的耐久性、可靠性、通用性、容量、速度和成本等。一般而言，各項指標不可能同時達到最優化，只能根據應用場景找到最合適的平衡點。課題組在分析選擇檔案數字資源長期存儲載體時的主要關注點包括：

（1）存儲載體的物理穩定性

檔案數據重要性高，保存周期長，不宜使用對外界環境敏感，容易因存儲環境、外力等因素影響而丟失數據的存儲載體，也不宜使用物理壽命短暫的存儲載體。

（2）存儲載體的技術壽命[2]

檔案數據保存周期長，需要采用技術穩定的存儲載體，避免因載體的技術或市場不穩定而增加丟失數據的風險。

（3）離線存儲能力[3]

為滿足離線備份的要求，檔案數據存儲載體應可與存取設備分離，離線保存在檔案館庫內或其他安全環境中。

（4）數據的防篡改能力[4]

原始記錄性是檔案的基本屬性，檔案必須保持其內容的真實和完整。為防止非法篡改檔案數據，保證檔案數據的真實和完整，一次寫入防止更改數據的存儲載體有更大的優勢。

（5）存儲載體使用成本[5]

檔案館的檔案數字資源保存工作受預算的限制，選取存儲載體時需要根據預算在價格和性能之間進行權衡。需要注意的是，存儲載體的使用成本不僅僅是一次性采購的成本，也包括長期使用過程中載體維護和升級換代的成本。

2.存儲設備分析選擇

課題組結合海量檔案數字資源長久保存場景以及存儲載體和存儲設備的關鍵特征屬性，分析得出了各場景下所適用的存儲設備類型及其載體的選擇。

在檔案數字資源的導入、檢測、檢索等數據頻繁讀寫的場景，對設備和載體的響應速度和讀寫速度有較高的要求，因此適合以具有較高讀寫速度的高速磁盤或固態硬盤作為存儲載體，以高速磁盤陣列或閃存陣列作為主要存儲設備。

在檔案數字資源入庫長久保存場景下，數據的訪問頻率大大降低，但總體存儲的數據量則會增加許多，此時從經濟性的角度考慮，以低速大容量磁盤、磁帶、光盤為存儲載體的低速大容量磁盤陣列、磁帶庫、光盤庫等設備成為了較好的選擇。為避免單一存儲載體帶來的技術風險，應盡量使用兩種以上的存儲載體來進行檔案數字資源的長久保存。

在檔案數字資源離線備份、異地備份等場景下，以光盤載體和光盤庫為首選設備，其具有較大的存儲容量，穩定性好，維護和管理量較小，適合長久保存的數據，具有較高的性價比。

綜上分析，課題組選擇了以固態硬盤作為高速緩存處理區，以磁盤陣列和大容量光盤庫作為數據長久保存區的磁光電一體化的海量檔案數字資源存儲方案，以實現安全性、存儲容量、訪問性能和成本的較好均衡。

（二）海量檔案數字資源長久保存系統建設

課題組設計了海量檔案數字資源長久保存系統技術方案，經過需求分析、系統設計、編碼開發、系統測試、系統部署等階段，開發建設了磁光電一體化海量檔案數字資源長久保存系統。

1.系統架構

磁光電一體化海量檔案數字資源長久保存系統采用軟硬件一體化架構。硬件部分包括服務器設備、存儲設備（磁盤陣列、光盤庫、SSD固態硬盤）、網絡設備（光纖交換機、智能網卡）、監控設備（ARM）等，軟件部分包括基礎軟件（操作系統、數據庫、中間件）、功能支撐平臺（光盤管理平臺、監控管理平臺）以及核心管理軟件系統（海量檔案數字資源安全保存平臺）等。

系統集大容量磁盤陣列、高密度光盤庫、高性能固態硬盤于一身，充分發揮磁光電存儲載體的各自優勢。固態硬盤作為大批量數據高速I/O處理緩存，大容量磁盤陣列提供高可靠和高可用的在線存儲服務，光盤庫以歸檔級藍光光盤為存儲載體提供近線和離線存儲服務。

2.系統功能

磁光電一體化海量檔案數字資源長久保存系統可實現檔案數字資源長久保存過程中的自動存儲備份、數據和載體檢測、數據智能恢復、預警故障追蹤及處理等功能。系統核心管理平臺的功能包括管理門戶（控制臺）、數據管理、資源管理、任務管理、預警管理和系統管理等部分。

控制臺是整個海量檔案數字資源長久保存系統的管理入口，直觀展現系統內保存的檔案數據量和系統剩余容量、數據和載體檢測情況、系統各設備運行狀態、各項任務執行進度信息等，還可以快速查看和處理各項預警信息；數據管理功能完成長久保存檔案數字資源的接收入庫、數據備份、智能恢復、檢索出庫等功能；資源管理功能完成系統設備管理、離線存儲載體管理、載體組盤管理等功能；任務管理功能下可以查詢當前任務執行狀態和歷史任務執行情況；預警管理功能可以進行各項預警信息的查看、處理和跟蹤；系統管理功能完成數據保存備份設置、預警策略設置、用戶權限管理、日志管理等各項基礎設置和管理功能。

（三）海量檔案數字資源保存管理實驗

磁光電一體化海量檔案數字資源長久保存系統開發完成后，課題組以該系統為平臺，設置了檔案數字資源保存備份機制、數據檢測機制和載體檢測機制，開展了海量檔案數字資源長久保存管理實驗。

1.保存備份機制設置

經過權衡檔案數字資源的安全性、訪問性能和保存成本，課題組對系統中的檔案數字資源長久保存采用了“321保存策略”，即對同一份檔案數字資源保存“3”套數據，分別保存在磁盤和光盤“2”種不同的存儲載體之上，其中磁盤上保存1套，光盤上保存兩套，1套光盤數據保存在光盤庫中，“1”套光盤數據離線保存。這種策略下，每一套檔案數據都可以獨立的檢測和使用，其中任意一套數據出現問題后，均可以使用另外兩套數據來進行恢復，避免了數據恢復過程的單套數據風險，避免了單一存儲載體的技術風險，滿足檔案離線備份的要求，有效保障了檔案數字資源的安全性，總體存儲成本也得到了較好的控制。

2.數據檢測機制設置

系統使用數字摘要技術來保障檔案數字資源的真實性。在檔案數字資源進入系統時采用數字摘要算法進行運算，生成128位數字摘要。在檔案數字資源定期檢測、出庫或數據恢復時，再次生成數字摘要，通過比對入庫時生成的數字摘要是否一致，來判斷檔案數字資源的真實性，確保數據不被非法篡改。數據的定期檢測設置為系統自動每月進行一次磁盤上保存的檔案數據的完全掃描檢測。檢測時如果發現檔案數據出現破壞或丟失等情況，則發出預警信息，同時可根據系統設置自動啟動智能數據恢復。

3.載體檢測機制設置

為對各類備份介質進行檢測，系統集成了專用的藍光檢測光驅來檢測存儲光盤的有效性。系統設置為每月對光盤載體檢測一次。光盤采用隨機抽取少量光盤全檢（檢查光盤上所有的刻錄點）和全部光盤點檢（隨機抽取檢查光盤上的300個刻錄點）結合的方式。本次研究中為充分測試系統和設備的承壓能力，設置了較高的檢測強度和頻率，在實際的工作中，可以根據情況采用較低的檢測強度，例如每年或每兩年檢測的形式。

4.數據保存實驗活動

在“321保存策略”下，課題組選取了多種類型的檔案數字資源進行保存實驗，包括文書、照片、錄音、錄像等門類，覆蓋了PDF/JPG/MP4/FLV/MP3等各種類型的文件格式。其中PDF/JPG文件格式，單個文件容量較小，MP4/FLV/MP3等錄音、錄像檔案的文件格式，單個文件的容量較大，可用于檢驗系統對于多種類型的不同容量大小的文件格式的支持能力。通過實驗驗證，該技術方案可有效完成海量檔案數字資源的接收、入庫、備份、檢測等操作任務，數據檢索和數據出庫效率符合預期，取得了穩定的實驗效果。

四、研究總結

課題組通過分析和設計面向海量檔案數字資源保存的磁光電一體存儲技術方案，開發了具有數據管理、資源管理、任務管理和預警管理等各項功能的磁光電一體化海量檔案數字資源長久保存應用系統，并基于該系統成功開展了海量檔案數字資源的保存實驗。課題組認為，上述技術方案和應用系統可在檔案數字資源長久保存工作中得到有效應用，今后可以進一步從檔案數字資源的異地備份和異質備份、新型存儲載體運用于檔案數字資源保存等方面對上述技術方案和應用系統進行提升和擴展，以提高海量檔案數字資源長久安全保存管理的技術水平。