數字檔案館多平臺檔案數據同步管理研究

■ 何 畏 葉惠杰

數字檔案館多平臺檔案數據同步管理研究

■ 何 畏 葉惠杰

分析數字檔案館多平臺檔案數據同步的概念、目標、特點、管理和技術要求，研究構建物理隔離多平臺環境下以數據包為同步單元的多平臺檔案數據同步的業務框架模型，建立有效和可靠的數據同步機制，實現管理和數據的一致性，確保檔案數據的真實、完整和可用。

數字檔案館建設是各國檔案領域解決數字化檔案資源長期永久保存問題，確保數字檔案真實、完整和有效的解決方案，其目標在于構建覆蓋數字檔案管理全周期的管理體系。根據國家安全保密法規規定，為確保數字檔案管理系統及檔案信息安全，數字檔案館系統應根據業務需求在物理隔離的局域網、政務內網、政務外網、互聯網等多個網絡上進行部署和應用，以實現對不同安全域內數字檔案的接收、整理、存儲和利用全過程管理。這種物理隔離在不同程度上截斷了數字檔案管理流程，可能導致同一檔案數據在數字檔案館的不同平臺上出現版本、內容和形式的差異，影響數字檔案的真實、完整和有效。為此，本文將研究和設計物理隔離多平臺環境如何建立有效和可靠的數據同步機制，以實現管理和數據的一致性，確保檔案數據的真實、完整和可用。

一、數字檔案館多平臺數據同步的界定

數據同步是指數據在分布式應用環境下，使不同系統的數據之間或者數據的來源與其副本之間保持相互一致性。數據同步一般包括變化捕捉、數據分發、數據更新、數據驗證四個主要過程。

圖1 數據同步一般過程

數字檔案館系統多平臺數據同步（以下簡稱多平臺同步）是指數字檔案館系統中，多個平臺（子系統）中的檔案數據來源與其副本在數量和內容上保持一致的過程。其目標是：在數字檔案館多平臺部署的環境下，維護多平臺檔案數據的一致性，確保檔案數據的真實、完整、可用和安全。

這里的平臺包含了系統、網絡兩重含義，即應用系統（子系統）和物理網絡(如局域網、政務內網、政務外網、互聯網等)。同時，這些網絡、系統之間進行了物理隔離。

檔案數據來源是指在數字檔案館系統中完成整理、著錄、封裝等操作的最終版本的檔案數據，這類數據通常保存在數字檔案館局域網數字檔案管理平臺上，是數字檔案館系統其它網絡、子系統的副本數據來源和基準。

多平臺同步相對其它類型信息系統的數據同步具有以下特點：一是分布式應用，一體化管理。多平臺同步的完整流程分布在多個平臺，必須遵循統一的標準和規則對同步過程進行全程管理，以確保同步過程中檔案數據的真實、完整、可用和安全。二是物理隔離。多平臺同步在物理隔離多個平臺間進行，必須依托脫機載體、網閘等方式進行間接數據交換，同步的效率、時效性和結果驗證受到隔離影響。三是海量數據。多平臺同步是海量累積數據的處理工作，給同步系統功能的承載能力、執行效率和穩定性帶來巨大的挑戰。四是單向同步。多平臺同步是以正式檔案數據為核心，向其它平臺輻射的單向同步。五是基于數據封裝包的同步。在基于OAIS模型的數字檔案館系統中，多平臺同步以數據封裝包為基本同步單位，這是維護數字檔案真實、完整和可用的有效方式。

多平臺同步應遵循“有序可控，穩定可靠，便捷高效，安全保密”的原則進行。有序可控是指同步應當遵循確定的規則，按既定程序和流程進行且全程處于控制中。應制定明確的同步規則，界定同步的條件、流向和內容，同步工作程序應當基于規則設計，同步的操作流程應清晰、明確，可控制、可驗證，同步的過程和結果應當記錄并能驗證和審計；穩定可靠是指同步功能在設計的承載范圍應能持續穩定工作，在長時間、大負荷的應用狀態下同步操作應能正常運行，同步的結果應保持正確；便捷高效是指數據同步能夠在具體軟件硬件環境下達到最優的效率，以適應海量檔案數據不斷積累的需要；安全保密是指在實施數據同步的過程，必須確保數據不被損壞、信息不被泄露、不被非法復制留存。

二、數字檔案館多平臺數據同步的管理要求

數字檔案館多平臺部署環境下，由于管理、利用及安全等業務要求，必須進行同步以維護多平臺檔案數據的一致性，同時同步過程必須遵行并符合有關法律規范的要求，以確保檔案數據的真實性、完整性和有效性。

（一）業務要求

在數字檔案館系統，對數字檔案的管理和利用是一個動態的過程，檔案數據的穩定是相對的，而變化則是必然的，這些變化包括對數據的增加、刪除和對數據內容的修改等。因此，必須通過同步將這些變化反映到數據的所有副本上，以維護分布存儲檔案數據的一致性，以確保檔案管理和利用的一致、有效和可用。同時，為了確保安全，必須采取措施來確保同步過程和同步數據的安全。

（二）法規要求

多平臺同步的架構、流程和應用應當符合《中華人民共和國電子簽名法》、《電子文件管理暫行辦法》、《電子文件歸檔與管理規范》(GB/T18894-2002)、《電子檔案移交與接收辦法》等相關法律、制度和規范對檔案數據真實性、完整性、有效性的規范和約束。

三、數字檔案館多平臺數據同步的技術要求

多平臺同步最終是依靠數字檔案館計算機系統數據同步技術處理過程來實現和完成的，其要求體現在功能、性能和安全三個方面。

（一）功能要求

1.支持集中式管控

集中式管控就是按照數字檔案館系統一體化管理的原則，設置專門的同步管理控制系統和同步數據庫，以存檔數據的管理平臺為中心，協調和控制分發數據生成以及目標平臺的同步操作，并記錄和驗證同步操作的過程和結果。

2.支持自動或者手動同步

自動同步就是系統根據同步規則，自動選擇相應的符合同步條件的檔案數據，按照數據模板生成同步數據，向目標平臺實施同步。而手動操作就是由人工方式選定同步數據，確定同步流向和同步數據模板，啟動同步操作的方式。

3.支持離線或在線同步

離線同步是指在物理隔離的平臺之間，使用中間介質，以半人工方式實現的數據同步。而在線同步是指在邏輯隔離或者建立了數據通道的平臺之間，通過數據鏈路直接進行的數據同步。為了適應不同的網絡隔離情況，多平臺同步應當同時支持離線和在線方式的同步。

4.支持多種封裝方式

支持選擇XML、文件夾等不同方式進行數據封裝遷移。用戶能夠根據數據格式、存儲容量等特性，選擇不同方式進行同步數據封裝。

5.支持多種脫機介質和網閘設備

數據同步操作能夠使用光盤、硬盤、U盤等常見的脫機介質和網閘設備，通過不同硬件接口以不同數據傳輸速度完成同步操作，同步過程中能對這些脫機介質直接進行讀寫操作，無需人工輔助進行數據的拷貝復制。

（二）性能要求

同步操作的性能要求主要體現在同步速度、可控性、可靠性、穩定性、安全性等方面。

同步速度，就是在給定系統軟件、硬件環境下，單位時間內能夠完成同步操作的數據量。在多平臺環境下的數據同步操作需要經過分發數據生成、寫入同步介質、同步介質運送、讀取同步介質、數據更新、同步確認等多個環節，同步速度受到同步數據的數量和單條數據的容量、分發數據的生成效率、同步介質的I/O速度、同步介質送達時間、數據更新速度、同步確認效率等多重因素的影響。

可靠性是指數據同步功能在某個時間點能夠正常運行，運行的過程和結果達到預期目標。可靠性主要體現同步結果正確率，一般要求平均運行正確率大于99%，對于單條數據而言必須達到100%。同時，對于出錯或者沒有完成的同步，能夠檢測并能自動重新同步，直至同步正確或者取消同步。

穩定性是指數據同步功能在一定時間內正常運行。由于數據同步是數字檔案館系統正常運行的基礎業務，因此穩定性的要求應與整個數字檔案館系統對穩定性的要求一致。

可控性是指數據同步過程和結果可控制、可追溯、可審計。數據同步建立操作權限控制機制、操作過程和操作結果的記錄機制、以及記錄保存和審查機制。

安全性主要是指數據同步過程能確保數據的安全和完整。安全主要是指檔案數據在同步過程不被泄露、不被篡改。完整是指檔案數據在同步過程組成要素完整無缺失。

四、數字檔案館多平臺檔案數據同步管理的業務模型

綜合前述研究，數字檔案館多平臺檔案數據同步管理的基本業務模型（以下簡稱同步模型）如下：

圖2 數字檔案館多平臺檔案數據同步業務模型

同步模型主要由分布在來源平臺、目標平臺的同步控制中心、同步管理數據庫、安全機制及同步流程構成。其中包含了模板定制、變化捕捉、數據封裝、數據更新、校驗數據封裝、同步驗證六個功能模塊，存檔數據、副本數據兩類數據對象，同步數據包、驗證數據包兩種數據包。同步流程分為首次同步和變化同步兩個階段，包括變化捕捉、同步數據生成、數據分發、數據更新、確認數據生成、同步驗證等步驟。

（一）來源平臺與目標平臺

來源平臺是數字檔案館多個平臺中處于核心位置的平臺，具備完整管理功能的數字檔案管理平臺（系統），一般在數字檔案館的局域網上部署，與其它系統和網絡物理隔離。目標平臺是指數字檔案館中承載部份業務功能的平臺，如部署在政務內網、政務網外網、互聯網的利用平臺、本地及遠程的備份平臺等。

（二）數據同步控制中心

數據同步控制中心實現數據同步的管理和控制，包含數據同步各環節操作功能模塊和菜單，集中顯示操作過程反饋的各類信息，是數據同步過程操作的入口和信息反饋的出口。同步控制中心分布式部署在來源平臺和目標平臺。

1.模板定制模塊

提供用戶根據不同用途預先設定同步數據包內容和結構的功能。模板規定不同用途（流向）的同步數據包的內容和結構，為同步數據包的生成提供模板。同步數據包應包含同步管理數據（包括檔案唯一性標識、同步流向、數據變化標記、檔案數據完整性校驗值等）、檔案數據（包括數字檔案原文數據、檔案元數據）。檔案元數據的選擇根據不同平臺數據應用的需求確定。

2.變化捕捉模塊

提供對來源數據的增、刪、改等變化進行檢測并記錄的功能。檢測的內容包括了數據的增加和刪除，數據內容（元數據、原文數據）的增加、刪除、修改。捕捉和記錄的粒度最大不能超過文件級。變化捕捉的實現方式應綜合考慮粒度、數據特征、系統資源開銷因素等。

3.數據封裝模塊

提供同步數據選擇、設定模板和封裝功能。同步數據選擇分為兩種方式：一種是人工選擇需要同步數據，主要用于同步新形成的檔案數據；一種是自動根據設定的規則自動篩選需要同步的數據，主要用于同步后又發生變化的數據以及符合同步規則的數據。設定模板就是為已選出的數據指定同步數據包模板。封裝則是根據指定的模板生成同步數據包的過程。封裝生成的數據包在物理隔離環境下需要復制到脫機載體上進行數據分發。

4.數據更新模塊

提供在目標平臺上同步數據包提取和更新副本數據的功能。

5.校驗數據封裝模塊

提供生成校驗數據和封裝的功能，為來源平臺確定同步完成提供反饋。以更新的數據為基礎，生成校驗數據并封裝。

6.同步驗證模塊

提供同步結果的確認功能。在來源平臺上通過比對校驗數據，以判斷同步是否正確完成。

（三）同步管理數據庫

用于記錄同步過程形成的各種元數據。同步管理數據庫以文件為單位記錄每一份檔案的唯一性標識、已同步流向、同步完成標記、數據變化標記（增、刪、改）、檔案數據完整性校驗值等。

（四）安全機制

安全機制通過應用權限控制、加密、防篡改、防拷貝、載體管理、日志審計等管理、技術的手段，確保同步操作的過程及數據安全。

（五）數據對象

1.存檔數據

存檔數據是存儲在數字檔案館來源平臺中長期保存的正式的檔案數據。它的內容最完整，狀態最新。存檔數據是同步的對象。

2.副本數據

副本數據存儲在目標平臺，是以存檔數據為藍本按照不同用途復制生成的存檔數據的副本。副本數據是存檔數據的子集，根據用途不同其內容一般與存檔數據相同或者少于存檔數據。在完成同步更新之前，副本數據的更新狀態一般晚于存檔數據。副本數據體現同步的結果。

（六）數據包

1.同步數據包

同步數據包是以存檔數據為藍本根據同步模板生成的用于同步分發的數據包。一般包含了同步管理數據（包括檔案唯一性標識、同步流向、數據變化標記、檔案數據完整性校驗值等）、檔案數據（包括數字檔案原文數據、檔案元數據）。用于備份用途的同步數據包的內容構成和數據結構與存檔數據一致。用于利用等其它用途的其內容構成和數據結構與存檔數據可能會有所不同。

2.校驗數據包

校驗數據包用于確認同步更新完成且結果正確的信息反饋數據包。校驗數據包在目標平臺生成，包含了檔案唯一性標識、同步流向、數據變化標記、檔案數據完整性校驗值等數據。同步系統通過比較校驗數據包和同步管理數據庫的數據來確認同步是否正確完成。

（七）同步過程

同步過程分為首次同步、變化同步兩個階段。首次同步是指檔案數據首次從來源平臺向目標平臺的同步。而變化同步是指已經進行過同步的數據，由于自身發生變化而再次進行的同步。

1.首次同步階段

（1）定制模板。根據同步數據用途，預先設定不同用途的同步數據包格式。

（2）選擇數據。通過兩種方式進行數據選擇，一種手動選擇數據，通過點選、輸入范圍等方式選擇一條或多條數據。另外一種是通過設定規則自動方式篩選出需要同步的數據。數據選定后，確定其同步數據包的模板和同步流向。

（3）生成同步數據。根據不同的分發模板生成對應的同步數據包，將同步數據數據包管理數據寫入同步管理數據庫，包括檔案標識、同步流向、完整性校驗值等。

（4）分發同步數據。將同步數據包寫入脫機載體，移送目標平臺。

（5）更新數據。在目標平臺上，讀取同步數據包中的同步管理數據和檔案數據，并與本平臺同步管理數據進行比對，完成檔案數據的增、刪、改操作，將本次數據更新情況記入本平臺同步管理數據庫。

（6）生成校驗數據。將本次數據更新情況封包形成校驗數據包（包括檔案唯一性標識、同步流向、數據變化標記、檔案數據完整性校驗值等）。

（7）返回同步數據。將同步數據包寫入脫機載體，返送回來源平臺。

（8）同步驗證。在來源平臺，讀取校驗數據并與同步管理數據比對，如果比對一致則，寫入同步成功標識，結束本次同步。如果比對不成功，則寫入同步失敗標識，重新啟動同步流程。

2.變化同步

(1)變化捕捉。對來源平臺檔案數據的增加以及已同步數據的刪、改等變化進行檢測并形成數據更改記錄，存入同步管理數據庫。

(2)選擇數據。比對數據更改記錄和數據同步記錄，自動篩選出同步后又發生變化的數據，自動設定這些數據的同步數據包模板和同步流向。

(3)數據同步。后續過程與首次同步一致。

云南省檔案局