《“十四五”全國檔案事業發展規劃》背景下的數據歸檔研究的若干思考

鞏淑芳

關鍵詞：檔案；數據歸檔；定量分析；定性分析；“十四五”規劃；政務服務

1 數據歸檔研究現狀

2022年11 月20日，在中國知網以篇名“數據歸檔”查詢到文獻283篇，首篇文獻發表于1990年，2018年發表數量達到峰值。其中，沈陽師范大學的張巖是發表文獻最多的作者，共發表文獻3篇，共有27名作者發表2篇文獻。現有研究的明顯特征為：起步早、體量適中、有基金資助、有核心研究者但不知名、核心機構多樣但無檔案館、研究主題聚集度高。

數據的長期保存是數據歸檔的關鍵環節之一。荷蘭國家科學數據管理機構DANS（荷蘭數據歸檔和網絡服務中心）的科學數據長期保存工作國際領先。DANS長期保存機制由外部保障、運行系統、業務支撐及風險防控四部分構成。DANS通過對文件格式數據歸檔進行評估，得出了“經常使用、能夠獨立于特定軟件、具備開放規范”三個最適合長期保存及訪問的條件。[1]丹麥皇家圖書館的 Stem. S.Christensen認為，數據經過歸檔后，應具有不依賴于操作系統和硬件、滿足 OASI（開放式檔案信息系統）模型的要求、方便移植的存儲特點。[2]

專業數據歸檔方面國外已經有了比較成熟的解決方案：EMC（易安信）公司實現了固定內容（企業需要大量存儲空間進行長期可靠保存的數據信息，如醫院病歷、銀行影像等）數據進行安全保護、高效訪問、管理及擴展的歸檔管理；IBM（國際商業機器公司）數據存檔解決方案可以實現包括歷史數據、計算機輸出文件、傳真、電子郵件、掃描圖片等各種格式業務信息的存檔，而且存檔的文檔可以很方便地進行檢索；SAP（思愛普公司）的數據歸檔方案具有“通過定義歸檔對象確定歸檔方案”的特點，系統提供700余種歸檔對象，每個應用模塊都有對應的歸檔對象，每個歸檔對象都有關聯的特定的業務。[3]

2 數據歸檔研究之必要

“數據”，信息的可再解釋的形式化表示，以適用于通信、解釋或處理（GB/T 5271.1-2000）。“歸檔”，辦理完畢且具有保存價值的文件經系統整理交檔案室或檔案館保存的過程（檔案工作基本術語DA/T1—2000）。2016年，在《全國檔案事業發展“十三五”規劃綱要》首次將“數據歸檔”列入五年規劃主要任務和實現指標。2021年，《“十四五”全國檔案事業發展規劃》（以下簡稱《“十四五”規劃》）中“數據”一詞出現14次，主要工作任務有7項明確與“數據歸檔”相關。如此大規模、多種類數據歸檔任務列入全國檔案事業發展五年規劃，標志著繼文件、科技資料之后，數據已經成為檔案的第三大來源。[4]研究檔案始于歸檔，研究數據檔案同樣應始于歸檔。由于歸檔工作屬于檔案工作的關鍵性基礎環節，開展數據歸檔研究既是落實《“十四五”規劃》的任務要求，也是高質量完成數據歸檔任務的保障措施之一，是檔案工作數據化轉型中的當務之急和當為之事。

3 數據歸檔研究歸納

國內很多行業和企事業單位都明顯認識到數據爆炸的問題，破解該問題的良策就是數據歸檔，他們已經自行研究且實施了一系列的數據歸檔工程。由于不同行業、不同專業形成的數據類型不同，數據歸檔管理的方法也不同。現有成果形成了一些有代表性、傾向性的認識和觀點，主要集中在以下幾個方面。

3.1 行業數據歸檔

3.1.1 政務數據歸檔方面。杭州市電子業務數據歸檔系統由杭州市檔案局開發，系統可以完成政務服務網行政事項電子數據歸檔以及其他各類業務系統數據歸檔，實現了數據管理功能具有自動化歸檔、不依賴第三方的數據攝入、高度靈活的高性能優勢的數據歸檔。[5]梁紹紅、夏振華提出了政務大數據歸檔管理的基本思路和對策措施：將政務大數據分為兩大類，一類是由政務事項辦理單位產生的“原生政務數據”，按照“誰形成誰歸檔”的原則，以辦件為單位進行完整歸檔；一類是“部門共享政務數據”，屬于加工處理后的規范數據，按照“誰使用誰歸檔”的原則，由使用單位將共享數據作為事項辦理的證明材料進行一并歸檔。[6]

3.1.2 企業數據歸檔方面。曾偉提出，采用對公司信息系統進行數據歸檔的方法來提高數據分析質量和報表查詢速度，設計了“搭建數據歸檔系統、清查系統數據釋放空間、與歸檔系統建立數據連接、優化系統”的數據歸檔方案。[7]耿如堂認為，當今企業管理過程中，存在重視數據備份、弱化數據歸檔的情況，甚至有人將這兩個完全不同的概念混為一談。數據備份是為了在意外情況時保證業務工作的連續性，其關注的是數據的變化和更新；數據歸檔是將大量數據按照檔案管理要求有計劃地遷移到其他存儲系統中永久保存，數據歸檔不僅是為了保證數據的完整性，也是為了保證企業管理過程檔案的完整性。[8]

3.1.3 高校數據歸檔方面。沈立強等認為，高校信息系統數據以數據庫信息數據為主，也就是結構化數據，結構化數據歸檔大致可分為三種情況：一是，為滿足高校信息系統高效運行，減輕后臺存儲和備份的壓力，對業務庫進行瘦身；二是，為滿足歷史數據查詢需要，將業務數據按時間順序進行整理歸檔；三是，為滿足國家檔案管理部門要求，將業務數據加工整理后歸檔。[9]石慧敏認為，在高校數字化校園平臺中，對數據信息整合，進行數據歸檔，實現一次著錄、網絡共享，是解決重復著錄問題的最佳途徑。[10]

3.1.4 醫院數據歸檔方面。張燦等針對北京清華長庚醫院臨床數據歸檔建設了一套臨床數據倉庫體系，體系包括數據歸檔、權限管理和數據展示。其中數據歸檔是整個體系的核心，對數據的實時性、內容完整性、準確性都提出了要求，進行有目的的數據采集、加工、收集后，采用按常規歸檔、按日期歸檔、按患者歸檔三種形式進行歸檔處理，形成臨床數據倉庫體系，為臨床數據來源提供支撐和保障。[11 ]蔡光東認為，構建醫院信息庫，基于數據挖掘技術建立綜合決策支持系統，可以進行在線網絡信息處理、醫療數據動態分析與決策分析，而實現這個綜合決策支持系統的數據基礎和核心就是醫院歷史數據歸檔查詢系統。[12]

3.1.5 銀行數據歸檔方面。銀行業務時間范圍在逐年、逐月、逐日地不斷增大，銀行信息系統產生的各項業務數據逐漸增多，數據庫隨之不斷增大，就會出現數據庫的恢復和備份困難、系統升級數據庫花費時間長、系統負荷過大的情況，導致終端用戶讀取數據耗時更長的問題。[13]所以有必要開發應用銀行數據歸檔管理系統來解決上述問題。謝欣對銀行歸檔數據的數據倉庫進行了設計，歸檔存儲銀行重要系統的數據，包括對核心、手機銀行、信貸等業務系統的賬務、流水等數據表進行 T+1 的數據歸檔存儲，進行長歷史的存儲，滿足歷史數據各式各樣的查詢場景。[14]

3.2 專業數據歸檔

3.2.1 汽車產業鏈數據歸檔方面。汽車制造廠、供應商、銷售商、服務商構成了汽車產業鏈這個龐大的協作網絡。ASP平臺是汽車產業鏈的公共應用技術服務平臺。隨著時間的推移，注冊企業數量越來越多，ASP平臺系統數據庫隨之飛速擴張，系統的響應速度受到數據庫中存儲的大量不常用歷史業務數據的嚴重影響，系統維護成本也相應增加。鄧韓認為，數據歸檔是解決上述問題的有效途徑，結合現有數據歸檔的方式提出建立三層存儲模式的數據歸檔策略：在線數據庫、近線數據庫和歷史數據庫。[15]

3.2.2 氣象數據歸檔方面。氣象數據歸檔過程主要分為邏輯視圖的更新與聚集計算、物理視圖索引結構的更新兩大塊。許婧、任開軍提出的氣象數據IMPP算法，執行元數據索引結構的更新，可以有效降低數據歸檔時索引結構再組織的系統開銷，從而為海量氣象科學數據快速歸檔提供支撐和保障。[16]2015年，國家氣象信息中心的“中國氣象局S2S數據歸檔中心”開始建設，數據歸檔中心具有數據質量檢查、數據交換、存儲歸檔和數據服務等功能，實現對S2S數據集的完整準確歸檔以及開放服務。[17]

3.2.3 冶金工業產銷系統數據歸檔方面。數據歸檔在歸檔存儲歷史數據的同時，還要刪除在線業務數據，所以不能僅考慮數據的遷移。張博認為，目前國內外針對數據歸檔通用性較高的產品，主要是通過判斷數據活躍程度，自動將不再活躍的數據進行歸檔，但是針對邏輯復雜的業務數據，其邏輯嚴密度無法滿足要求，他基于大型產銷系統關系數據庫，結合冶金工業業務邏輯特點，從歸檔數據存儲介質、存儲結構、數據搬遷方案分析入手，設計了分別按時間刪除、按數據鏈路、按設定的方式依據進行歸檔的數據歸檔策略。[18]

3.2.4 天文數據歸檔方面。郭航認為，當前天文元數據歸檔系統所采用的離線或周期性歸檔方式存在實時性不足的問題，同時數據查詢響應較慢，難以滿足實時數據查詢的應用需求。針對這些問題，采用分布式流式數據處理架構和圖數據庫等技術，設計和實現了一個實時天文元數據歸檔系統。[19]

3.2.5 地震速度數據歸檔方面。地震疊后數據中地震速度數據和道數據配套對應，分開歸檔容易造成混亂。王洪義等提出將速度數據與道數據整合到一個數據體中的數據歸檔思路。[20]

3.3 研究成果特點及深入研究的必要

縱觀這些先期成果內容十分具體，為我們開展數據歸檔工作，進行相關研究奠定了良好基礎，也為項目基于《“十四五”規劃》任務的數據歸檔研究提供了必要性認證和相對實際的視角。但是從完成《“十四五”規劃》任務和將數據歸檔作為第三大檔案來源兩個更加宏觀的角度看，成果的整體性和系統性尚欠，不同行業、不同專業數據歸檔系統具有完全定制化的局限性。因此，有必要將數據歸檔當作一項重要而緊迫的任務，投入更多資源，加大研究力度，從宏觀與系統兩個方向上展開研究。

4 研究設想

歸檔是一個老生常談的問題。但數據歸檔卻是一個新任務、新課題。如何將一個老問題與新任務、新課題完美融合在一起，實現數據歸檔的平穩推進，應該是開展數據歸檔的出發點和落腳點。同時，不能為了研究而研究，要以目標為導向，從實際出發，以為實際數據歸檔工作服務為根本原則開展研究。因此，可以考慮從內容、觀點、重點、方法等方面展開研究。

4.1 研究的主要內容。數據歸檔是個新課題，涉及的內容眾多，不可能在一個研究周期內全部研究一遍。需要從主要問題入手，抓問題的主要方面。可以考慮從以下6個方面著手。

4.1.1 數據歸檔工作目標任務。《“十四五”規劃》中4方面發展目標、7項主要任務、14個任務分層涉及數據，7項任務與數據歸檔相關。通過對《“十四五”規劃》部署的目標和任務分層逐個進行梳理分析，明確數據歸檔工作目標任務，確定項目研究方向和重點。

4.1.2 數據歸檔文獻定量、定性、內容、實證分析。通過對數據歸檔已有成果文獻數據進行定量分析，研究數據歸檔的發展脈絡和趨勢；進行定性分析，研究數據歸檔的工作特性；進行內容分析，了解現有研究狀況，分析成果特點，為項目研究夯實理論基礎；進行實證分析，研究各領域數據管理平臺和數據歸檔機制建設情況，服務數據歸檔工作實踐，實現經驗成果轉化。

4.1.3 檔案第三大來源的形成及其種屬關系辨析。檔案管理在數據化時代進程中，產生了“檔案”概念和“數據”概念的交叉。運用文獻分析法，從定義、政策、理論方面，對從文件到檔案、科技資料到科技檔案、數據到數據檔案的發展過程進行梳理，論證三大檔案來源的種屬關系，得出數據是數據檔案的屬概念結論。結合《“十四五”規劃》任務的部署，得出數據已成為我國檔案的第三大形成來源的結論，[21]并將此結論作為項目研究的新視角。

4.1.4 數據歸檔政策、組織、技術、人力環境和監督指導。隨著電子文件管理的發展，出現了與數據管理深度融合的新態勢，參考、借鑒電子文件和電子檔案發展的理論和實踐，以及現行的相關國家標準和行業標準，研究數據歸檔的基本思路、推進機制、技術路線、業務要求、人力環境和數據平臺建設；研究如何推進檔案業務在線監督指導，實現網絡化、智能化、動態化的檔案數據監管。

4.1.5 政務服務數據歸檔。參考借鑒浙江省檔案局等單位的政務數據歸檔管理成功經驗，研究如何完善政務服務數據歸檔機制，強化全流程一體化政務服務平臺數據歸檔功能建設，切實推進政務服務數據歸檔。

4.1.6 數據歸檔法規供給。依據《中華人民共和國檔案法》（以下簡稱《檔案法》）《“十四五”規劃》，契合信息化發展要求，參考借鑒《產品數據管理（PDM）系統電子文件歸檔與電子檔案管理規范》（DA/T 88-2021）、《建設項目電子文件歸檔和電子檔案管理暫行辦法》（2019）、《政務服務事項電子文件歸檔規范》（DA/T 85- 2019）、《企業電子文件歸檔和電子檔案管理指南》（2019）、《電子證照文件技術要求》（GB/T 36905 - 2018）、《浙江政務服務網電子文件存檔信息包數據規范（試行）》（2017）、《電子文件歸檔與電子檔案管理規范》（GB/T 18894-2016）等已有國家和地方標準和規范，研究探討數據歸檔的法律保障。

4.2 主要觀點

基于前述文獻分析，對于數據歸檔形成如下認識與觀點：

（1）數據歸檔是一項適應社會信息技術發展需求的過程性實踐活動。數據歸檔在《“十四五”規劃》中大規模列入，標志著數據已經繼文件、科技資料之后，成為大數據環境下檔案的第三大主要來源。

（2）數據已被視為數據文件，歸檔即是各類數據文件的檔案化管理。

（3）歸口集中管理數據檔案是各級各類檔案館的新職能，應被列入檔案管理的數據范圍是“對國家和社會具有長久保存價值的數據”。

（4）圍繞各行業各領域歸檔需求，尋求能夠滿足各類型業務系統歸檔需求全覆蓋的數據歸檔標準化實施路徑，是數據集中管理的關鍵和核心。

總之，從數據為檔案第三大來源這一新研究視角出發，基于《“十四五”規劃》部署主要任務，突破現有研究的局限，尋求解決問題的政策、理論、技術和人力支持以及法律保障，為高質量完成《“十四五”規劃》任務奠定基礎。

4.3 研究重點與思路

4.3.1 研究重點。我國正在大力推進政務一體化平臺建設，2019年國務院出臺《關于在線政務服務的若干規定》，全面推行政務服務事項網上辦理。隨之，各地積極搭建各級政務服務平臺和各類自建政務系統。隨著時間積累，政務服務平臺形成了大量政務數據，迫切需要數據歸檔工作的標準化、規范化管理。《“十四五”規劃》部署的7項數據歸檔任務中3項任務主體是“政務服務數據歸檔”。據此，項目研究重點擬為如何完善政務服務數據歸檔機制，強化全流程一體化政務服務平臺數據歸檔功能建設，達到切實推進政務服務數據歸檔的要求。

4.3.2 研究思路。研究應當以新《檔案法》及《檔案工作基本術語》對歸檔的專業定義，相關法律對數據的定義，《“十四五”規劃》中有關數據歸檔任務內容為依據，運用檔案學、管理學、數據科學、圖書情報科學等多個學科相融合的思路，采用理論與實踐相結合的研究方法，從理論與操作兩方面展開研究、論證與實踐。

5 結語

綜上，通過對數據歸檔研究狀況、研究成果進行分析和數據歸檔研究的內容、觀點、重點、思路、方法的探討，得出數據歸檔是數據成為檔案第三大來源的標志和數據歸檔任務的完成需要規劃，需要實施，更需要法律的保障兩大結論。因此，數據歸檔相關標準、規范及管理辦法的研究與或可能的情況下數據歸檔規范性文件草本的起草是項目研究的難點之一；研究解決數據文件歸檔難題與結構化數據歸檔技術是項目研究的難點之二。解決了這兩個難題，數據歸檔研究就會向前推進一大步，為數據歸檔納入檔案工作體系，實現重要數據向檔案的平穩轉換提供理論支持、政策保障、技術支撐。