當前檔案大數據研究的誤區與重點研究領域思考

葉大鳳 黃思棉 劉龍君

摘要：本文從大數據的概念和檔案發展規律入手，認為當前檔案大數據的發展方向是基于數據流的實時信息處理、分析與歸檔，指出當前檔案大數據研究上存在的誤區，并由此提出了檔案大數據領域亟需研究的重點領域。

關鍵詞：大數據檔案數據流

Abstract：From the concept and development of the law of large data archives， and thinks that the cur？ rent direction of big data file is based on real-time in？ formation processing data flow analysis and ar？ chiving， pointed out the existence of a large data ar？ chive study on the current misunderstanding and thereby made archive large data fields need research focus areas and issues.

Keywords：Big data； Files； Data stream

進入21世紀，大數據時代的到來已經成為信息化發展的基本趨勢之一，在社會各個領域不斷融入大數據思維和引入大數據技術，掀起了新變革的浪潮。同樣，“大數據”為檔案管理領域帶來了新技術、新理念，以及新的機遇與挑戰，檔案大數據研究也成為近年來檔案管理領域的熱點。但也有專家認為當前檔案大數據研究存在一些過度炒作與概念“透支”現象，認為大數據的實時動態性、決策預測性特征與檔案信息的滯后靜態性、證據解惑性特征相偏離，提出要讓檔案大數據概念理性回歸。[1]

筆者認為，當前檔案學領域確實存在對大數據概念過度解讀的現象，進而形成了研究熱潮，但在研究的理念、方式、方法上與大數據時代的要求相去甚遠，缺乏深度、廣度與前瞻性。本文對檔案大數據研究中存在的誤區進行分析，澄清某些認識的同時，提出檔案大數據研究的重點領域，以期起到拋磚引玉的作用，為檔案界大數據深入研究提供參考。

一、對檔案大數據概念的理解

什么是“檔案大數據”？要正確理解檔案大數據，有必要對“大數據”與“檔案”這兩個概念進行深入剖析。

（一）對大數據概念的認識

“大數據”描述的是隨著數據量和數據類型激增而逐漸衍生出來的一種現象，包括大規模的、多樣化種類的數據集，以及對數據集進行采集、處理、提取價值的技術架構與技術過程。[2]普遍認為“大數據”具有“4V”特征，即“數據量大”、“速度快”、“類型多”以及“價值密度低”。拋開數據的海量化生產和存儲這種表面現象，由數據量變帶來的質變之一便體現在思維方式的轉變上。大數據時代帶給我們的是一種全新的、顛覆性的思維方式，這種思維方式體現在：（1）分析全面的數據；（2）重視數據的復雜性，弱化精確性；（3）關注數據的相關性。因此，檔案領域大數據研究的重點應該放在如何分析和應用檔案數據的全面性、復雜性、相關性等特點上。

（二）對檔案概念的認識

目前國內外對檔案的定義有數百種之多，其定義角度和具體表達各不相同?！吨腥A人民共和國檔案法》將檔案定義為“過去和現在的國家機構、社會組織以及個人從事政治、經濟、科學、技術、文化、宗教等活動直接形成的對國家和社會有保存價值的各種文字、圖表、聲像等不同形式的歷史記錄”。通過該定義可以看出，檔案可簡化為“以各種形式承載的有價值的歷史活動”。其構成要素有三個，即“載體”、“價值”和“活動”。隨著社會生產力及科技文化的發展，檔案載體實現了從甲骨、金石、簡牘縑帛、紙墨文書、磁帶、光盤、硬盤、縮微膠片不斷變化。所謂檔案的“價值”則取決于利用者的目的、方式和方法，是一種受主客觀因素影響的判斷。“活動”的釋義則是“為達到某種目的而采取的行動”，涉及時間、地點、事件等諸多因素，其表達方式也是不斷變化發展的。由此可見，“檔案”這個概念是一個不斷發展變化的過程，我們研究檔案不能局限于紙質載體或單個的電子文件，或文本、照片、錄像、錄音等呈現方式。

（三）對檔案大數據概念的認識

大數據概念與檔案概念相結合得到的檔案大數據，是大數據的概念、理論、技術與方法在檔案領域的應用與實踐。參考其他領域針對大數據研究的成果，我們可以得出檔案大數據在實質上是一種基于發展的、動態的、數據流的檔案觀；基于海量數據的實時技術處理和知識挖掘過程；是一種基于數據全面性、復雜性、相關性的思維分析方法；是一種顛覆傳統的、全新的檔案管理模式。

二、當前檔案大數據研究的三個誤區

有人認為，大數據時代僅僅是“信息時代”“網絡時代”的一種新提法，而檔案大數據就是檔案信息化。在這種觀念的影響下，當前檔案大數據研究主要涉及現有管理體制下的檔案信息化建設、檔案工作機制轉變、檔案服務領域擴展等方面。筆者認為，這些研究以傳統檔案管理思維方式去理解和解析檔案大數據，偏離了檔案大數據的本質，存在如下誤區：

（一）誤區一：以紙質檔案數字化為對象進行檔案大數據的研究

當前對檔案大數據的研究，普遍以紙質檔案數字化為對象，圍繞著紙質檔案數字化生產、信息系統建設、服務領域擴展來開展研究。然而，紙質檔案所承載的信息本身具有滯后、靜止、穩定等特點，這并不是能通過掃描達到的數字化可以消除的。這種以紙質檔案數字化為對象的研究方向忽略了大數據的“大”本質在于動態性、實時性以及其所帶來的數據加速度增長。

從檔案的發展歷程看，檔案記錄的內容從文字、聲音、圖像到視頻等，其表現形式越來越生動，信息容量越來越大、數據讀取解析速度越來越快，這種數字檔案迅猛發展的趨勢完全符合大數據的“4V”特征。例如，在2014年3月8日馬航MH370失聯事件中，有關的運行控制數據、空管運行數據、通話記錄、雷達監控數據以及將來可能發現的“黑匣子”數據等均可視為該事件的數字檔案。這些海量的、類型繁多的數據是分析馬航客機失聯原因的重要依據?？梢灶A見，未來的數字檔案將以數據流的形式動態地生成、快速地甄別、實時地存儲，數據的采集、處理將具有很強的時效性。盡管當前檔案的呈現方式還是以紙介質載體為主，但從信息技術和檔案載體的發展進程看，傳統檔案數字化的數據規模和利用效率將相對變小。因此，檔案大數據的研究應以實時記錄事件的各種數據流作為主要研究對象，這才符合大數據時代檔案發展的客觀規律。

（一）誤區二：以傳統檔案管理流程為基礎進行檔案大數據的研究

傳統的檔案管理流程基本上是收集、整理、保管、鑒定、統計與利用，這是一個有著嚴格先后順序的檔案管理流程，各個環節的處理主要依靠手工或人工方式完成。其弊端是耗費時間長，時間跨度大，時效性弱。如圖1所示。

這種管理流程當前不但廣泛應用于紙質檔案的管理，而且普遍應用于聲像檔案、電子文件與電子檔案的管理。以這種流程模式收集、管理的檔案信息具有穩定的、靜止的、滯后的特點。近年來也有很多關于在線電子文件歸檔方面的研究，但所涉“在線”歸檔的電子文件內容是確定的，所遵循的處理環節也與傳統檔案管理流程基本一致，只不過借助網絡傳輸、數據庫技術以及計算機輔助方式進行處理。當前對檔案大數據的研究，潛意識地沿用了這種流程模式，將檔案的收集、整理、保管、鑒定、統計與利用這些環節按傳統的處理順序割裂開來，僅就某一環節進行研究，未體現出大數據處理的時效性特征。

筆者認為，隨著電子政務的快速發展以及各類物理傳感器的廣泛應用，數字檔案將越來越趨向于以數據流的方式產生、處理和歸檔。例如，醫療檔案按原有的檔案管理模式，需要等病人完全康復出院后，經過一段時間的收集整理才能形成完整的醫療檔案；而醫院使用醫療管理信息系統后，從病人掛號開始，在門診、繳費、化驗、取藥、手術、住院、出院等各個環節，將即時得到電子病歷、處方、化驗報告、X透視圖像、費用單等數據信息，所得的數據均能對下一階段的治療和管理起到參考作用。顯然，這種基于治療環節即時生成的醫療檔案，完全具有甚至超過傳統紙質檔案承載的信息，但信息收集、歸檔與利用的環節又與紙質檔案截然不同，具有典型事件觸發生成數據流的特點。因此，對檔案數據流的分析、處理與存儲，將是檔案大數據研究的重要內容。筆者認為，基于檔案數據流的處理主要有如下特點：（1）數據的產生或采集是動態的或實時的；（2）數據分析與甄別（類似于紙質檔案的鑒定）是實時的；（3）數據是實時存儲和動態更新的；（4）數據分析和信息挖掘主要由計算機在各種規則庫和知識庫支撐下主動處理，可以包含少量的人工干預；（5）信息挖掘和利用過程中產生的新規則或知識將即時更新到規則庫和知識庫中。檔案數據流的管理流程如圖2所示。

（三）誤區三：基于傳統檔案管理體制思維進行檔案大數據的研究

檔案館作為專門管理檔案的社會組織實體，一直是檔案事業的主體，在檔案管理中具有關鍵性作用。受傳統檔案管理體制思維的影響，當前檔案大數據的研究主要是圍繞檔案館這個組織實體，研究大數據時代如何進行檔案數字化，如何建設檔案館庫，如何轉變工作機制，如何制定管理規則制度，如何拓展服務領域等等。在這種傳統思維的主導下，檔案大數據的研究主要圍繞檔案館各方面的建設與發展展開。筆者認為，這是對大數據概念的一種誤讀。社會發展的變革往往是以新模式對舊模式的顛覆性變化來體現的。例如，傳統商務是以固定不變的銷售地點和固定不變的銷售時間為特征的店鋪式銷售；而電子商務徹底顛覆了這兩個特征，網店購物只需點擊鼠標，不需當面交接貨物，也沒有時間限制，具有全新的時空優勢。同樣，對檔案大數據而言，隨著云存儲和云計算技術的廣泛應用，數據儲存和計算服務的網絡化使得提供存儲和服務的實體變得不確定起來，承擔著檔案保管基地和檔案史料中心角色的檔案館，也將相對弱化。數字檔案將越來越趨于由該檔案原始數據生產者進行動態管理與維護，并向其他社會組織或個人提供訪問服務。因此，我們研究檔案大數據，需要打破以檔案館為主體的傳統檔案管理思維的慣性和禁錮，取而代之的是樹立以數據為主體的研究思路，圍繞檔案數據的運行流程，展開前瞻性、可行性的研究與論證。

三、檔案大數據研究的重點領域

根據檔案大數據的特點和發展方向，筆者認為需要在以下六個領域進行重點研究：

（一）檔案學術歸約的重建

作為一個學科必須對所研究的對象建立起范疇、概念系統的約定，這就是所謂的“歸約”。電子文件的興起已經改變了傳統的文件處理和檔案管理方法，對當今檔案的概念、本質性、管理方法、理論學說等產生了強烈的沖擊。數據流、數據庫的出現，信息生成與存在形態上的變化，則進一步動搖和顛覆了現有檔案學的概念系統和研究范疇。例如，數據庫是一種電子檔案嗎？什么樣的數據流才具有檔案特征？文件生命周期理論在信息的實時采集、即時分析、動態更新的環境中還有意義嗎？為數據流實時分析、模式識別、知識挖掘提供支持的知識庫與規則庫屬于檔案概念體系中的什么成分？基于“云”存儲與“云”計算的數據檔案存儲與服務，其實體邊界和效能如何界定？如果說大數據時代的檔案學正在重建，那么這些問題都是必須謹慎思考、深入研究的。

（二）基于電子檔案的法規體系研究

現有檔案法規體系是以《中華人民共和國檔案法》為核心，以檔案局為行政執法主體，該法規體系建立的基礎是實體檔案及其管理模式，由此衍生的若干檔案行政法規、規章均是以實體檔案為管理對象。隨著信息化進程的加快，電子文件和電子檔案的管理也被納入其中。需要注意的是，檔案大數據以電子檔案為基礎，與傳統檔案有著本質區別。隨著檔案事業的發展，對電子檔案管理和維護的組織實體將日益多樣化，因此，必須考慮以大數據的思維來構建基于電子檔案的管理利用法規體系，從數據的管理與利用出發，合理規范檔案數據的生產、儲存、利用，合理界定國家安全、隱私保護、數據權益等方面的邊界。如何建立有利于檔案大數據管理、利用與發展的檔案法規體系，將是檔案大數據研究的重要領域。

（三）檔案內容元數據體系的研究

所謂元數據是關于數據的數據，是對信息資源的結構化的描述。元數據描述了信息資源或數據本身的特征和屬性，規定了數字化信息的組織，揭示了數據之間的相關性和依賴性。大數據并非簡單的數據量巨大、種類眾多，大數據的知識挖掘與利用主要依賴于各類數據之間的相關性。建立、理順各類檔案數據的相關性將是檔案領域大數據應用研究的重點。當前檔案管理中存在的缺陷是檔案承載信息的孤立性和冗余性。例如，在綜合檔案館保管的多個全宗中，某個全宗形成的某些文件也保存在其他全宗中，出現重份甚至多份的現象，進而造成大量資料的重復。對于電子檔案，通過網絡可以解決數據共享的問題，但要確保檔案信息準確、無冗余，還需對各類檔案的數據項進行分析與歸納，形成可以相互參照的、有明確審核層級的內容元數據體系。當前，隨著政府執政理念從管理到服務的轉變，基于電子政務的聯網辦公、并聯審批模式正逐步推廣應用，對審批內容與提交材料的梳理、分類與提煉等工作正推動著檔案內容元數據體系的建設。然而，受行政管理體制條塊分割的影響，覆蓋全國各層次、各領域的檔案內容元數據體系尚未形成，難以適應大數據時代的發展要求。如何構建、實施和推廣檔案內容元數據體系，是一個需要各學科、各領域專家和管理層予以重視和深入研究的重要課題。

（四）電子檔案信息真實性的研究

檔案的真實性是檔案的價值所在和利用前提。對電子文件的真實性、完整性和不可抵賴性可通過數字簽名系統予以保障，防止其他人偽造、非法截取和更改文檔，辨識及確認電子文件簽署人身份、資格及文件真偽。盡管如此，當前電子簽名系統的推廣及應用仍存在較多困難。基于數據流的電子檔案，其本身具有動態性，如何界定和維護數據真實性、完整性及不可抵賴性，將面臨更多技術和法律難題。例如，某轄區某個時間節點的居民人數統計電子檔案，其是通過轄區內居民數據庫統計得到的；若后續工作中發現并更新了某個居民信息，那么原有統計得到的電子檔案是否仍然有效呢？隨著電子檔案的快速發展與廣泛應用，這類問題將越來越普遍。如何界定電子檔案的真實有效，并在不影響數據處理和利用效率的前提下，對電子檔案進行加密與防偽，是檔案大數據研究需要解決的技術難題。

（五）在線數據收集與實時鑒別的研究

紙質檔案必須經過鑒定才能決定其是否具有保管和利用的價值，電子文件在提交、匯總時也要經過鑒定和篩選，符合條件的文件才能成為電子檔案。大數據時代下，檔案發展的方向是基于數據流的電子檔案，在線數據收集與實時鑒別將是其形成、歸檔的關鍵環節。例如，紙質檔案轉換成真實意義的電子檔案也應具有數據流處理的特征，需要進行檔案數字化掃描、文字信息識別、版面分析與內容理解這些環節。目前技術上已實現檔案高速掃描和掃描自動化，但文字信息識別速度和準確性還有待提高，版面分析還不是很成熟，內容理解方面尚在起步階段。由此可見，電子檔案的在線數據收集與實時鑒別涉及傳感器研發、人工智能、模式識別、工作流管理、知識庫建設等諸多領域，這需要各領域科研工作者的密切合作，共同攻克難關。

（六）檔案公共服務模式與領域的研究

當前，檔案公共服務是以檔案館為主體，面向公共用戶提供檔案信息資源服務。例如，檔案的利用在科研方面主要用于史料考證和地方志的編研上；在服務民生上，主要集中在查閱民生檔案為維護自身權益尋找依據或憑證。有學者提出，公民檔案信息權意識嬗變狀況是特定社會場域中政治、經濟、文化、歷史等因素作用的產物，是國家公共權力與公民個人權利長期互動的結果。[3]隨著信息與網絡技術的發展和檔案電子化進程的推進，公民檔案信息權意識將進一步激發。隨著檔案大數據的實現，現有檔案館的服務將逐步以史料考證為主，而民生領域對檔案信息的利用將從紙質檔案逐步過渡為實時電子檔案，檔案信息挖掘將得到更廣泛、更深入的應用。電子檔案將不僅用于史料考證、維護自身權益，還將滲透到政府治理和社會生活的方方面面。電子檔案的知識挖掘將對政府決策提供關鍵性數據支持，面對社會公眾的個性化服務能力也將大幅提高。如何更好地獲得檔案決策支持，以何種途徑和載體開展檔案社會服務，如何充分實現檔案公共服務均等化，如何估量服務效率和效益，將是檔案大數據研究的重要內容。

變革與創新是社會發展的必然趨勢，大數據時代的到來為檔案領域的發展指明了方向。然而，要在檔案領域真正實現大數據時代的發展要求，還有諸多的學術概念需要明確，大量的技術問題需要解決，深層次的管理體制需要理順。我們必須盡快轉變傳統思維，創新大數據的新管理技術與服務模式。

注釋及參考文獻：

[1]于英香.檔案大數據熱的冷思考[J].檔案學通訊， 2015（2）：4-7.

[2]吳金紅，張飛，鞠秀芳.大數據：企業競爭情報的機遇、挑戰及對策研究[J].情報雜志，2013（1）：5-9.

[3]張林華.論我國公民檔案信息權意識的嬗變[J].檔案學通訊，2014（6）： 15 -19.