試論大數據時代背景下的檔案管理工作

張譯之（中國石油安全環保技術研究院，北京 102200）

試論大數據時代背景下的檔案管理工作

張譯之
（中國石油安全環保技術研究院，北京 102200）

本文主要結合筆者多年的工作經驗，首先分析對比了大數據時代與檔案大數據特征，接著闡述了大數據技術在檔案工作中應用的必要性，從檔案管理理論、檔案信息資源管理、數據安全問題這三個方面闡述了新時代檔案管理工作面臨的挑戰，并且從檔案數據挖掘和檔案管理系統的可擴展性這兩個方面提出了新時代檔案管理工作的機遇，最后，指出了檔案工作者未來的工作重心與方向，給廣大同仁今后的工作提供借鑒意義和參考價值。

大數據 檔案管理 挑戰 機遇

古往今來，縱觀歷史，每一項新技術的產生都預示著一個新時代的來臨。隨著云計算、移動互聯網等新技術的不斷涌現，不同角色間所輸入與輸出的海量信息衍生出了巨大的數據量。據預計，2020年全球以電子形式存儲的數據量將達到35ZB，是2009年全球存儲量的40倍。而在2010年年底，根據IDC的統計，全球數據量已經達到了120 萬PB。數據的爆炸式增長大大超乎了人們的想象，整個世界迎來了大數據時代。

1　信息爆炸的大數據時代

數據信息的新時代，被稱之為“大數據時代”。所謂大數據，簡單來講，指的就是規模巨大的海量資料，其具有四“V”特征，即Volume（體量）、Variety（種類）、Value（價值）、Velocity（速度）。一是數據體量巨大；二是數據種類繁多，包括結構化數據、半結構化數據和非結構化數據等；三是商業價值高，但價值密度低；四是處理速度快，要實時獲取所需要的信息，這是區別于傳統數據最顯著的特征。

大數據的精髓在于分析信息過程的轉變：第一，不再依賴于隨機采樣，而是更多的分析整體數據；第二，不再熱衷于高精確度，而是更傾向于混雜性；第三，不再單純探求因果關系，而是更為關注事物間的關聯。這三大轉變體現了大數據的核心——預測。

2　大數據技術——新時代下檔案管理工作的必然選擇

2.1檔案信息資源的充分開發利用需要大數據技術

檔案館作為保存檔案并為國家、社會、企業提供檔案利用服務的事業機構，儲存有海量的信息資源。由于管理方式的落后，人才力量的不足、檔案意識的欠缺等原因，這些信息資源寶藏并沒有得到有效的開發和利用。盤活海量的檔案信息，挖掘出其中蘊藏的寶貴知識和財富，光靠人是無法完成的，必須借助技術，而大數據技術則是不二的選擇。

2.2新時期檔案數據的存儲與備份需要大數據技術

檔案數據庫的使用極大地提高了檔案管理利用效率，但近年來，常常會碰到無法向數據庫中增加新的檔案數據的情況。隨著檔案信息化不斷接近完成及大數據時代的到來，檔案數據庫面臨的存儲空間問題相當嚴峻。我們必須優化存儲、提高效率和節約成本，這就需要借助大數據技術來得以有效的實現。

2.3檔案工作從實體管理上升到知識管理需要大數據技術

僅限于數據或文件的借閱利用已經無法滿足現今檔案用戶的需求，目前，獲得數據背后的信息及其所蘊含的知識成為了檔案利用更為重要的目的。因此檔案利用服務也應向知識提供方面轉化。技術引擎是檔案館知識服務的技術核心，新型知識服務引擎包括資源及學術搜索引擎、資源及服務推薦引擎、知識服務社區實體（包括用戶及資源）行為智能分析引擎、用戶知識需求預測引擎及多維度信息資源獲取、組織、分析及決策引擎等。運用大數據技術可以構建檔案館的信息新型知識服務引擎。

3　大數據時代檔案工作面臨的挑戰與機遇

3.1大數據時代給檔案工作帶來的挑戰

3.1.1檔案管理理論的挑戰

正如信息化時代挑戰了紙質時期的來源原則、文件生命周期理論、檔案價值鑒定理論，催生了基礎理論的新變革，產生了新來源觀、文件連續體理論、宏觀鑒定理論等革新的理論。在大數據時代，新來源觀、文件連續體理論、宏觀鑒定理論等都將受到不同程度的挑戰，檔案學基礎理論將迎來進一步的發展。

3.1.2檔案信息資源管理的挑戰

從紙質檔案到檔案信息化再到檔案大數據時代，檔案信息資源呈指數型增長，用現有的檔案信息化手段和工具難以滿足大數據時代檔案信息資源管理的需求。在大數據時代，檔案信息不再匱乏，而是泛濫。如何實現檔案數據長期可讀性、可靠性，并在海量數據中實現對檔案信息的挖掘分析，從而提供有價值的信息，是檔案信息資源管理面臨的新挑戰。

3.1.3數據安全問題的挑戰

檔案數據的高共享不等于全共享，在大量涉密檔案數據的保密過程及敏感數據的分析過程中，如何實現信息安全，避免數據被惡意使用，更好地防止因秘密泄露給國家、社會、企業帶來政治、經濟上的損失，是新時期檔案安全工作面臨的一大挑戰。

3.2大數據時代，檔案工作迎來的新機遇

3.2.1大數據的應用給檔案數據挖掘帶來了機遇

傳統的檔案管理以文檔管理為主，沒有利用技術工具進行挖掘、分析，檔案基本處于被動利用。大數據時代，檔案系統中除大量的文檔外，還有海量結構化數據。檔案部門收集大數據后，通過主動調查利用者的需求，對海量數據進行聚類、分類、相關性分析，建立各種數據模型，找到數據之間的關系，提高檔案價值，更好地實現預測功能，為高層決策提供參考。

3.2.2大數據技術給檔案管理系統的可擴展性帶來了機遇

隨著檔案數據的不斷增多，傳統的檔案管理系統由于無法動態擴展，會出現“小馬拉大車”的情況。大數據技術可以對計算資源、存儲資源進行動態擴展、按需分配，滿足服務器的快速擴容及數據量的快速增長，同時大幅降低系統投資及維護成本。

4　結語

大數據時代已然是信息社會發展的必然結果，而這一新的時代也必將加快社會的進一步發展。作為檔案工作者，要努力抓住新時代的機遇，嚴肅對待挑戰，不斷學習和創新，圍繞企業的經營工作對檔案管理方式和手段進行深入思考、重新認識。充分運用新技術，在時代浪潮地推動下，更好地開發和利用檔案信息資源中蘊藏的巨大知識寶藏，使檔案工作創造出更大的價值。

［1］張欣.解讀大數據時代下檔案管理的價值提升［J］.理論觀察，2014 （1）：108-109.

［2］高茂科.對檔案大數據關鍵環節的認識［J］.中國檔案，2013（10）：72-73.

［3］馮海超.大數據創業樣本［J］.互聯網周刊，2012（23）：45.