大數據時代檔案工作面臨的機遇與挑戰

文 / 翟瑤 劉娜

大數據時代檔案工作面臨的機遇與挑戰

文 / 翟瑤 劉娜

大數據時代的來臨，給包括檔案館在內的各行各業帶來了根本性變革。文章從大數據和檔案管理工作入手，首先明確了數據、大數據的概念和特征，并從數據體量、數據結構和數據價值方面分析了大數據時代檔案和大數據的關系，進而從檔案資源建設、信息技術發展、檔案管理方式、檔案利用服務、檔案長遠發展規劃等方面重點闡述了大數據時代檔案工作面臨的機遇和挑戰，并從檔案資源整合、檔案保管、檔案利用編研、檔案安全方面提出了大數據時代檔案工作的思考。

大數據；檔案；機遇；挑戰

習近平同志指出：檔案工作是一項非常重要的工作，經驗得以總結，規律得以認識，歷史得以延續，各項事業得以發展，都離不開檔案，在全面建設小康社會進程中，檔案工作顯得越來越重要。大數據時代的來臨，給包括檔案館在內的各行各業帶來了根本性變革，大數據時代的檔案工作也必將顛覆傳統的檔案工作模式，在檔案的收集整理、檔案知識挖掘、檔案編研與利用、以及檔案服務思維創新方面都將產生革命性的變化，檔案工作面臨著前所未有的挑戰與機遇。

一、數據、大數據、大數據的特征與大數據思維變革

在多數人的印象中，數據就是數字，或者必須是由數字構成的，其實不然，數據的范疇比數字要大得多，互聯網上的任何內容，比如，文字、圖片和視頻都是數據；檔案館里包括圖片、磁帶、錄影帶在內的所有檔案也是數據；出土文物上的文字、圖示，甚至它們的尺寸、材料，也都是數據；科研機構的各種科研記錄也是數據。

雖然數據本身是客觀存在的，但是它的范疇是隨著文明的進程不斷變化和擴大的。在計算機出現之前，一般書籍上的文字內容并不被看成是數據，而今天，這種以語言和文字形式存在的內容是全世界各種信息處理中最重要的數據，也是全世界通信領域和信息科技產業的核心數據——包括我們的信件、電話和電子郵件內容、電視和廣播節目、互聯網網頁、以及各種社交產品中由用戶產生的內容。

“大數據”一詞由英文“Big Data”翻譯而來。麥肯錫全球研究所報告《大數據:創新、競爭和生產力的下一個前沿》對“大數據”定義如下：大數據是指大小超出了傳統數據庫軟件工具的抓取、存儲、管理和分析能力的數據群。這個定義有意地帶有主觀性，對于“究竟多大才算是大數據”，其標準是可以調整的，即：我們以不超過多少TB（1TB=1024GB）為大數據的標準，但數據量通常在lOTB以上。隨著時間的推移和技術的進步，大數據的“量”也會增加。

具體來說，大數據具有四個基本特征:一是數據體量（Volume）巨大。百度資料表明，其新首頁導航每天需要提供的數據超過1.5PB(1PB=1024TB)，這些數據如果打印出來將超過5千億張A4紙。有資料證實，到目前為止，人類生產的所有印刷材料的數據量僅為200PB。二是數據類型（Variety）多樣?，F在的數據類型不僅是文本形式，更多的是圖片、視頻、音頻、地理位置信息等多類型的數據，個性化數據占絕對多數。三是處理速度（Velocity）快。數據處理遵循“1秒定律”，可從各種類型的數據中快速獲得高價值的信息。四是價值密度（Value）低。以視頻為例，一小時的視頻，在不間斷的監控過程中，可能有用的數據僅僅只有一兩秒。

大數據的科學基礎是信息論，其本質就是利用信息消除不確定性。大數據本身是一種技術革命，是給人類思維帶來顛覆性的革命：一是全本思維，即要分析與某事物相關的全樣本（所有數據），而不是分析少量的數據樣本；二是容錯思維，即接受數據的混雜性，而不再追求精確性；三是相關思維，即對大數據的處理不再探求難以捉摸的因果關系，轉而關注事物的相關關系；四是智能思維，“智能”“智慧”是大數據時代的標簽，思維方式要從自然思維轉向智能思維，不斷提升機器或系統社會計算能力和智能化水平。

二、大數據與檔案

隨著信息化建設的持續推進及利用者需求的不斷提高，館藏檔案數字化資源、辦公自動化形成的電子文件及其元數據、物理歸檔的電子文檔、網絡資源數據、數據庫備份、檔案管理系統日志、遠程系統的利用者資料信息，存貯備份數據呈現幾何級數增長，數據規模逐漸達到海量，且上述檔案資源中含有大量的非結構化數據，這表明檔案與大數據具有天然的內在聯系。

檔案數據資源其實就是一種天然的大數據。第一，從數據體量來看，全國各檔案館檔案資源總和是龐大的。據統計，2011年，各級國家檔案館館藏已達3.3億卷；截至2014年底，全國綜合檔案館館藏檔案近5億卷（件），比“十一五”末增長42%。第二，從數據來源來看，檔案的源頭分布非常廣泛。我國的檔案數據不僅僅局限于檔案館館藏，還廣泛存在于政府、企業、金融、教育、軍事、通信等各行業的檔案保存機構中。第三，從數據結構來看，檔案數據存在異構現象。檔案數據由結構化數據、半結構化數據和非結構化數據組成，如文檔、設計圖、照片、錄音材料、視頻、GIS信息、水文氣象信息等，數據的編碼方式、數據格式都存在著較大差異，整合難度大。這些數據之間又存在一定的關聯性，如城市建設的平面圖、設計圖可以和GIS數據信息關聯，同時還可以關聯政府建設規劃文件、批復與施工文件等。不同類型的數據在不同程度上對數據的處理能力提出了更高的要求。第四，從數據價值來看，檔案數據資源價值密度低。在傳統檔案管理工作中，一直存在“重藏輕用、重資源輕管理”的現象，人們既要盡力避免檔案實體漲庫和檔案信息存儲空間限制，又要防止有效檔案資源被淹沒在海量檔案中間降低利用價值，而在利用環節，人們追求檔案如何在需要時應有盡有，同時又能被快速、準確地檢索出來。因此，從這個意義上說，檔案價值的實現更多地體現在“用”上，而檔案的“用”要做到全智能服務。隨著我國數字檔案資源建設戰略的不斷推進，館際合作和資源整合必將成為發展趨勢，要處理這些海量檔案資源，勢必需要借助大數據技術。

三、大數據為檔案工作帶來的機遇和挑戰

（一）大數據為檔案工作帶來的機遇

1.檔案資源選擇性更大。在信息社會中，檔案資源的范疇得到了極大擴展，收集工作的選擇性不斷增大。檔案形成主體從政府、企業、團體組織到普通公眾，呈現出更加多樣化的發展勢態；檔案內容日漸豐富，與公眾工作生活密切相關的信息越來越多地被納入檔案資源的范疇，如醫療檔案、誠信檔案等;檔案類型從紙質到電子文件、影像、照片、社交網絡數據等，甚至大數據整合分析產生的信息也被看作是有重要價值的檔案資源。大數據時代的檔案管理工作不再受制于資源不足的難題，而是應該研究如何鑒別出更高質量和價值的檔案。

2.信息技術的迅猛發展為檔案工作提供更多的支持。管理軟件的普及使檔案工作對計算機和網絡技術的依賴性越來越強。現代辦公軟件的使用導致電子文件數量急劇增加，互聯網、物聯網、云計算和大數據等技術的應用使社會公眾更加習慣于通過計算機產生和處理各類數據和信息，技術創新將更好地支撐檔案工作的改革和發展。

3.檔案管理方式更加智能化。近年來，在智慧城市建設熱潮影響下，檔案界提出了建設智慧檔案館的設想和規劃，青島、杭州等地的檔案館在實踐工作中進行了有效嘗試并取得了一定成果。智慧檔案館的出現是大數據時代檔案工作發展的一大亮點，其智能化體現在充分利用物聯網、云計算等大數據技術加強檔案管理中人與人、人與物以及物與物的互通互聯，實現檔案數據的自動識別與管理、檔案實體的智能化管理、檔案服務的高質量和檔案人員的高效管理。

4.檔案服務手段更加多樣化。為更好地滿足社會公眾對信息的需求，檔案服務手段日漸多樣化。檔案利用者可以通過電話、郵件、網絡等各種方式查找所需信息，特別是網絡社交媒體平臺在檔案服務中得到了廣泛應用。各省市檔案館陸續開通了微博、微信等公眾號，不定時地主動公開推送各類檔案信息，向公眾宣傳檔案工作，還有檔案部門開發面向公眾的檔案查詢利用APP，使公眾能夠隨時隨地查詢檔案。

5.檔案工作規劃更系統更科學更有前瞻性。利用大數據進行分析和預測能夠科學制定檔案工作的發展戰略。大數據時代檔案館之間的競爭重點已經不再是館藏資源、空間建筑、借閱服務等因素，而是擁有檔案數據數量、對數據挖掘和分析的能力等因素。大數據時代的來臨能從真實發生，而又未被記錄的數據中發現、挖掘更多的隱含信息，進而得到更能揭示事物發展本質以及發展規律的知識。所以，大數據時代檔案館發展策略的制定與實施也必將依賴于對龐大的海量數據的分析和預測，需要大數據的分析、挖掘、處理和監護，以及大數據的綜合支持。

6.大數據將成為檔案館的核心資產。未來檔案館的核心資產將是對檔案大數據的綜合掌握。大量的多樣的檔案館藏數據、檔案利用者需求數據、檔案服務痕跡數據等都能為檔案館未來發展、服務模式演變提供趨勢分析的依據。

（二）大數據為檔案工作帶來的挑戰

1.大體量數據為檔案數據的存儲和獲取帶來挑戰。檔案數據庫的使用極大地提高了檔案管理利用效率，但近年以來，在檔案數據庫的使用過程中，常常會碰到無法向數據庫中增加新的檔案數據的情況，這種現象很類似于傳統檔案管理時的“脹庫”，即由于庫房容量有限,導致新增加的檔案無法正常地存儲到庫房中。隨著檔案信息化不斷接近完成和大數據時代的到來，檔案數據庫面臨的存儲空間問題相當嚴峻。檔案館要想安全地存儲巨量的檔案數據，不可能一味地蓋大樓蓋機房。再者，檔案數據還面臨著需要大量存儲空間備份的問題，這就逼迫我們必須優化存儲、提高效率和節約成本。面對這些數據量和各種類型數據的不斷增加，數據的存儲和訪問速度成為了一個瓶頸，解決速度，是檔案服務面臨的一個巨大挑戰。

2.大體量數據為檔案數據的管理和維護帶來挑戰。數據從產生、傳播、存儲、保護、歸檔到安全維護的各個環節，都有可能產生錯誤，數據管理與數據質量管理也逐漸被人們重視。在數據量快速增長的同時也增加了數據之間的相互聯系，從而使檔案管理及維護的難度加大，成本增加。因此，原來一般的數據管理思想也要隨之革新。此外，優秀的管理也提高了數據應用的合理性。管理與應用數據兩種行為是不可分離、相輔相成的關系。面對大量的檔案數據，如何從海量的檔案中發現潛在的規律，如何提高管理效率，是當前形勢下檔案工作面臨的挑戰。

3.非結構化數據為檔案數據的挖掘與分析帶來挑戰。數據分為結構化數據和非結構化數據，兩類數據區別在于:前者一般采用數據記錄存儲，而后者普遍采用文件系統存儲。非結構化數據包括全文文本、圖像、聲音、影視、超媒體等信息。這類數據的特征體現在體積大、增長快、多樣化。隨著社會的發展，非結構化數據將成為信息的主體，將來90%的信息將是非結構化的，但現有的存儲技術在吞吐能力、可擴展性、易管理性等方面還跟不上非結構化數據增長的速度，主要用于管理結構化數據的關系數據庫的局限性暴露得越來越明顯。因此，探索新一代的大數據存儲技術對檔案工作來說是非常大的挑戰。

4.數據的冗余和錯誤為檔案的鑒定帶來挑戰。信息技術的發展使得傳統鑒定在為誰鑒定、由誰鑒定、如何鑒定三個方面發生了變化。20世紀90年代，馮惠玲教授就認為,面對海量電子文件，“直接鑒定法”遭遇到嚴峻的挑戰。在大數據時代，要制定檔案鑒定策略以應對社會對文件的價值需求，建立檔案系統自動鑒定的原則和適用標準。

5.數據的價值提取為檔案的利用帶來挑戰。大數據本身并沒有什么價值，基于大數據對檔案的處理和分析才能為利用主體帶來更大附加值。檔案利用主體在發掘大數據中“金子”的時候，同時也存在挖到“垃圾”的可能，這種“垃圾”會嚴重誤導決策。這就需要檔案利用服務要有效地對海量數據進行有效地收集、處理和分析，為主體提供所需的信息，為決策者預測提供科學依據。此外,大多檔案用戶不再僅限于數據或文件的利用，而是希望獲得數據背后蘊藏的知識，因此，檔案利用服務也應由提供數據信息轉變為提供知識。這就需要抽取和挖掘海量數據中有用的信息和知識并提供給用戶，這必將成為檔案利用服務的發展方向。

四、大數據時代檔案工作的思考

（一）樹立大數據時代“大檔案觀”，強化數字檔案資源的整合

大數據時代對檔案基礎數據的質與量都提出了更高要求，這就同樣要求檔案工作者積極構建適應大數據時代的“大檔案觀”，從社會歷史記憶的角度確定檔案資源的收集范圍，構建以社會利用需求為導向的數字檔案“大數據庫”，使檔案能夠反映國家和社會在政治、經濟、科技、文化生活等各領域的發展變遷。同時，避免將所有生成的數據都當作檔案保存即檔案資源泛化的誤區，要將傳統的檔案鑒定與大數據技術結合進一步優化檔案收集內容與方式，確保歸檔內容的“含金量”。

（二）創新檔案數據保存策略，實現檔案備份和歸檔的良性互補

數字檔案備份和歸檔之間的聯系較為緊密，如果業務部門能夠在業務活動過程中更加注重和保障數據的有效性、有序性，那么就可以借由網絡實現同步備份和歸檔。具體而言，可以根據完整備份或增量備份等方式的不同，在過去完整歸檔模式基礎上，開展增量歸檔，例如,對于周期短、關聯性強的項目，可以在項目結項后進行完整歸檔;對于周期長、有序性好、數據采集量大的項目，可以在增量備份的同時也增量歸檔，實現備份和歸檔同步，既降低成本又便于統一保管，更重要的是降低檔案產生與收集之間的時間差，提高歸檔保存的及時性和有效性。

（三）創新服務方式，實現檔案大數據服務

一方面，大數據時代，大眾的信息利用需求呈現出多樣化的特點，相對于網絡上冗余雜亂的信息資源而言，檔案館(室)所保管的檔案數據信息具備其他資源無法企及的真實性、可靠性，具有更高的公信力，因而，在檔案的特性和大眾需求的引導下，檔案利用者將更加廣泛，這就要求檔案管理部門要轉變工作思路，改變過去“有什么就利用什么、我編研你利用”的被動思維，樹立“數據即是服務”的理念，重視特色檔案的收集編研、提供更為便捷的檢索工具、擴大檔案開放的范圍、借助網絡等多元形式主動地提供優質高效的利用服務。另一方面，大數據時代的檔案數據最重要最直觀的應用是基于“全數據”的數據對比分析，也就是用檔案數據說話；利用知識挖掘技術，對有較高價值的數據進行專業化處理和深度挖掘，即通過“數據加工”實現數據“增值”的能力是檔案管理部門所應追求的。

（四）構建大數據檔案信息安全體系

大數據時代給檔案信息安全帶來了新的風險和挑戰，檔案部門應主動提供檔案數據安全保障。一是檔案數據采集安全，主要包括電子文檔的收集和紙質檔案數字化兩部分，要確保收集過程中的檔案實體和信息安全，且收集內容有效、可用，則需要建立完善的管理制度，加強全過程安全監控，以及后期安全性有效性檢測。二是檔案信息系統管理安全，這在很大程度上決定了檔案信息的安全。檔案大數據系統應具備檔案收管用全流程的檔案管理功能以及權限審核、系統維護等技術功能，應該能夠快速準確地為不同層次和需求的用戶提供不同的內容和展現界面。三是檔案數據利用安全。大數據時代，必將會對檔案信息的查找利用帶來顛覆性的變革，而為用戶提供越豐富的檔案數據資源，則意味著有更多的檔案利用安全風險，隱私保護、核心技術的保密、利用權限等都成為檔案利用風險的重要方面。

[1]楊智勇,周楓.試析智慧檔案館的興起與未來發展[J].檔案學通訊,2015,(4):45-50.

[2]特里·庫克,李音.四個范式:歐洲檔案學的觀念和戰略的變化——l840年以來西方檔案觀念與戰略的變化[J].檔案學研究,2011,(3):81-87.

[3]樊樹娟.大數據時代的社會變革與檔案職業發展探析[J].檔案管理,2014,(6):17-19.

[4](英)維克托·邁爾-舍恩伯格,肯尼思·庫克耶.盛楊燕,周濤,譯.大數據時代:生活、工作與思維的大變革[M].杭州:浙江人民出版社,2013.

[5]Mayer-Schonberger V,Cukier K.Big Dara:A Revolution that Will Transform how We Work,and Think[M].Eamon Dolan/Hou沙mn Mifflin Harcourr,2013.

[6]于英香.檔案大數據研究熱的冷思考[J].檔案學通訊, 2015,(2):4-7.

[7]涂子沛.大數據:正在到來的數據革命,以及它如何改變政府、商業與我們的生活[M].桂林:廣西師范大學出版社,2012.

[8]崔海莉.“大數據”時代檔案信息安全管理新思考[J].檔案學研究,2015,(1):93-96.

[9]楊冬權.在全國檔案局長館長會議上的講話[EB/OL]. [2014-6-1l]http://www.saac.gov.cn/news/2014-01/06/content_32080.htm

G270.7

A

1005-9652（2017）01-0070-04

本文系中國科學院國家天文臺青年人才基金項目研究成果。

（責任編輯：魏登云）

翟瑤（1983-），女，湖北荊門人，中國科學院檔案館，碩士，館員，研究方向：檔案學基礎理論、檔案信息資源開發與利用。劉娜（1983-），女，山西臨汾人，中國科學院國家天文臺，碩士，副研究館員，研究方向：檔案學理論、項目檔案管理。