大數據在檔案領域應用的可行性分析及策略

陳先知

摘 要：數據的爆炸式增長使世界迎來了一個全新的信息時代——大數據時代。筆者首先從兩個方面確定大數據檔案領域可以應用大數據，然后分析我國檔案大數據建設的存在的困難。

關鍵詞：檔案；大數據；研究；應用；發展策略

1 大數據的介紹

隨著計算機和信息技術突飛猛進式的發展，各行各業的行業應用所產生的數據呈爆炸式增長。如百度目前每天要應對網民多種多樣的搜索請求1.7億次，Twitter平臺每天發布的消息超過2億條……據世界權威IT信息咨詢分析公司IDC研究報告預測：全世界數據量未來10年將從2009年的0.8ZB增長到2020年的35ZB，10年增長近40倍。然而大幅增長的數據量已經遠遠超出現有傳統信息處理技術的能力范圍，因此全社會迫切需要找到新的方法來應對日益增長的數據——大數據概念應運而生。

1.1 大數據的定義

早在2008年，著名的《自然》雜志曾經出版了一期專刊，討論未來的數據處理的難題以及相應的解決方案，而在這份專刊中就已經出現了大數據（Big Data）的概念。不過這個概念在當時并未深入人心，人們也習慣于將大規模數據稱為“海量數據”。直到2011年以后大數據一詞才開始普及。

大數據到底有多大，目前學界還并未對其給出定量的解釋，大數據通常被認為是PB、EB或者更高數量級的數據，其規模和復雜程度遠遠超出了傳統軟件技術和數據庫技術能夠處理的數據范圍。1雖然難以定量，但是研究機構Gartner給出了一個定性的描述：大數據或稱巨量資料是指需要新處理模式才能具有更強的決策力、洞察力和流程優化能力的海量、高增長率以及多樣化的信息資產，往往具有實時性。其基本特征可以用四個V來總結（Volume、Variety、Value和Velocity），即體量大、多樣性、價值密度低、速度快。大數據是一個總稱性概念，他還可以分為大數據科學、大數據技術、大數據工程和大數據應用等領域。最早提出大數據時代已經到來的是世界著名咨詢公司麥肯錫。大數據時代的來臨給諸多領域帶來了全新的機遇和挑戰。在這諸多領域之中，也包括了檔案這一領域。《大數據時代：生活、工作、思維的大變革》一書的作者維克托·邁爾·舍恩伯格說過：“如果你是一個人，你拒絕大數據時代的話，可能會失去生命；如果是一個國家的話，拒絕大數據時代的話，可能失去一個國家的未來，失去一代人的未來。”[1]大數據也成為我國檔案界當下的一個熱門話題，儼然有一種不講大數據就跟不上檔案最新動態的態勢。

在大數據時代來臨之后，國內外諸多IT巨頭都將目光聚焦于此。利用互聯網購物的營銷數據來追蹤和勾畫消費行為并以此為依據進行商業營銷是大數據應用的成功典型案例。其實這只是大數據應用的很小一部分。其實在實際應用方面，大數據已經悄然進入到各行各業。不過由于成本和適用性的限制，所以僅僅只有一部分實力雄厚具有遠見的行業領先者才能夠真正利用大數據。

1.2 大數據技術的主要組成

目前，云計算和數據挖掘是大數據技術的核心組成部分。

云計算是基于互聯網的相關服務的增加、使用和交付模式，通常涉及通過互聯網提供動態擴展且經常是虛擬化的資源。云計算環境下，軟件技術、架構都會發生明顯變化。首先是開發軟件要與云相匹配；二是要有足夠強大的服務器支持，能夠接受大量用戶的訪問和使用；三是要互聯網化，便于信息傳遞和共享；四是對于軟件的安全性要求更高，能夠抵御外部和內部的攻擊保護存儲的保密信息；五是支持多種工作環境，如手機、網絡計算機以及移動終端等，加強軟件的適用性。到2020年，中國發射衛星將達到200顆以上，衛星每天傳輸的數據將達到PB級，這些數據資源可以通過可視化服務，利用云計算環境，來保證服務的質量。

數據挖掘又稱為資料勘探、數據采礦。數據挖掘可以算是大數據的核心。一般是指從大量的數據中通過算法搜索隱藏于其中信息的過程，其實也就是利用數據分析產生深層次有價值的理解。算法包括最簡單的統計，也可以使用例如HIVE這樣的大數據處理平臺。而DHL作為國際快遞和物流行業的龍頭企業，它利用數據挖掘技術成功解決了貨運中跟蹤裝運溫度這一難題。不僅增強了企業的競爭力，也贏得了客戶的好評。由此可見數據挖掘對于一個部門、行業乃至國家的重要性。

2 檔案大數據的可行性分析

一個新的熱點的出現，往往會引起諸多領域的關注。目前大數據應用的領域主要集中在互聯網、零售、金融等數據密集型行業，這些應用以服務自身企業數據挖掘需求為出發點。[2]檔案大數據化是否是一種“生搬硬套”式的概念實際上并無可行性？它對于檔案事業的發展是“雞肋”還是一大助力？以及在推進檔案大數據建設過程中，檔案工作者需要應對什么樣的困難？筆者將通過下述幾點進行分析：

2.1 檔案資源符合大數據的特征

信息資源總量龐大且增長迅速：截止2014年底，全國綜合檔案館館藏約5億件，比“十一五”末增長42%，預計2020年，這一數字將達到6億件。隨著檔案數字化的不斷發展與進步，這些涉及到我國社會發展方方面面的信息資源將會被有機組合成一個龐大的檔案資源庫。

檔案資源種類繁多：由于人類文明的高速發展，除了傳統的紙質文件，還出現了音頻文件，視頻文件等等。從電子文件的分類來看，按來源和形成方式可分為數據庫文件、電子數據表、字處理文檔、電子郵件等八類，按信息組織的方式可以分為結構化文件、非結構化文件。這其中既有結構化數據又有非結構化的數據，而且表格、網頁等將占全球網絡資源的80%以上，這些資源在不久的將來也會成為檔案館館藏檔案的一大重要來源，并且非結構化趨向將越來越突出。

檔案信息資源價值高：各種類型的檔案館作為黨和國家以及社會大眾保存歷史記錄的“基地”，其所保管的檔案資源自然都有一定的價值。與圖書、網絡信息資源相比，檔案資源作為歷史的真實反映，可以說它們在諸多社會信息資源中價值較高。

處理檔案資源日益高效化：由于計算機技術的普遍應用以及各檔案館檔案業務能力的不斷提升，使得檔案管理工作的效率逐步提升。且由于檔案學學科的發展，使得經過檔案館處理后的檔案質量更高。

而上述四個特點正與大數據的4V特征相吻合，所以檔案資源也可以看作是大數據的一種。而且相比其他信息資源，檔案資源的真實性可靠性更強，

2.2 大數據為檔案行業發展帶來際遇

英國首相卡梅隆在2010年5月在政府數據網站開放的基礎上提出公民數據權，同時也承諾會在全社會普及數據權。除了政府機構的重視，公民檔案意識的不斷提高也令以前門可羅雀的檔案館也受到了社會大眾越來越多的關注。大數據時代背景下，數字記憶的保存應是檔案館的社會自覺和文化擔當，構建一個“基于互聯網的，以檔案數字資源為主體，以文本、圖片音頻、視頻等為形式。為中華民族集體記憶的構建和傳承提供文獻支撐的‘中國記憶數字資源庫”。因此檔案館更需要加強自身建設，提升服務水平，為社會發展做出更大貢獻。而大數據正是推動檔案館建設的一大助力。

兩點之間什么最短？在二維空間自然是直線最短，而在三維空間里，兩點的距離可以為零，就比如把一張紙的兩個點經過折疊貼在一起。大數據技術能夠將檔案人員與檔案，用戶與檔案，用戶與檔案館（人員）的空間距離盡可能拉近，甚至無限接近于零。而這種空間距離的拉近能夠讓檔案館更好地為用戶提供優質高效的服務。

首先從檔案人員與檔案的角度：檔案館通過對已歸檔檔案的相關信息進行數據挖掘，獲取在管理各類檔案的規律并將其應用到檔案管理系統中。從而方便檔案人員對于不同的檔案進行合適且高效的管理，這不僅僅大大減少了檔案工作人員的工作量，也能在一定程度上減少人為失誤的產生。除此以外對已歸檔檔案的利用情況進行分析，總結館藏檔案的價值大小以及其價值波動的規律。

其次從用戶與檔案館（檔案人員）的角度：長期以來我國檔案館一直采用供給導向的模式——被動等待利用者，因而經常會出現供給與需求出現偏差的情況。在大數據的背景下，檔案館與檔案人員應當將原先單純的管理者身份向服務者身份轉變。檔案管理機構可以通過建立一種檔案用戶的專門網站或者是手機APP來為社會大眾提供檔案微服務。用戶在輸入特定的檢索詞之后，系統能夠迅速反饋符合用戶需求的檔案信息。除此以外，傳統的檔案利用系統是為所有專業、層次、地域的用戶提供統一的資源和服務，而大數據時代則提倡個性化、差異化的微服務。[3]檔案機構（部門）在為用戶提供網絡服務時，通過合理設置網絡資源模塊、服務功能模塊的方式，來拉近社會公眾與檔案人員的距離，進一步提高檔案信息服務的質量和范圍。

最后從用戶與檔案的角度：大數據技術不僅僅是用來幫助服務提供者，也能夠幫助利用者能夠快速準確滿足自身需要。通過收集每個用戶的使用數據，來為每位用戶提供專屬的數字檔案資源提供與利用的服務。檔案館根據一定的數據來預測用戶可能的需求，預先推薦出用戶可能查找的檔案。除此之外還能在用戶查找某一主題的檔案的同時以超鏈接等方式提供其他相關檔案，這也需要大數據技術的支持，才能提前預判不同用戶對于檔案的需求取向。在2009年，美國政府建立了一個統一的數據開放門戶網站——Data.Gov，向社會公開政府所擁有的公共數據。通過公共數據的開放，普通公眾也能夠參與到全社會大數據的開發和應用。檔案館也可參考Data.Gov的模式建立檔案部門的數據開放網站，向社會大眾免費開放公共檔案，將檔案的開發利用工作“分配”給普通公民，不僅降低了檔案館進行大數據化的成本，還充分調動社會力量來幫助檔案館完成數據開放工作。

3 檔案大數據建設難點

盡管研究大數據已經成為了檔案學界的一大熱點，但是對于我國檔案館來說，要想真正在現實中應用大數據，依然存在諸多困難，具體來說有以下幾點：

3.1 資金技術投入不足

我國的社會檔案意識雖然較以往有所提升，但是對于檔案工作依舊存在一定的偏差，甚至許多地方的官員對于檔案工作的認識也并不準確，認為檔案工作只是一個“可有可無”的存在，從而忽視了對檔案館的資金和技術投入。這嚴重制約了我國檔案館的軟硬件實力，也限制了我國檔案館的服務水平和服務質量。而在大數據時代，傳統的磁性和光學設備已經無法滿足要求。

3.2 人才建設欠缺

大數據時代，檔案工作不再是原先的裝裝訂訂，檔案利用也不是簡單的查閱，檔案人員應從數據的視角看待檔案，以大數據推動檔案館的管理和服務。而要想實現檔案大數據，大數據人才是其核心。他們是交叉學科的分析應用型人才，其知識結構除了統計學科的統計建模、數據挖掘等內容外，還需要具備計算機學科的相關知識，應用領域的經濟學和管理學背景。缺乏專業人才，必然會使大數據化進程出現效率低下、漏洞百出的情況。

3.3 制度建設不完善

制度一般是指要求大家共同遵守的辦事規程和行事準則，也指在一定的歷史條件下形成的法令、禮俗等規范或一定的規格。沒有制度的約束，人類的思想或行為就將下入混亂的狀態。良好的制度是檔案大數據的根本保證。而作為檔案領域的一位“新成員”——大數據化缺乏相應的法律制度的保障，也沒有較好的標準和規范來衡量。2015年網民朱某發現自己用百度搜索關鍵詞后會受到相關廣告推送，因此將百度以侵犯隱私權為由告上了法庭。法院一審判定百度侵權，二審卻又撤銷一審判決。在檔案館的大數據化進程中，檔案館對于用戶使用數據的收集分析以及根據分析報告進行推送或者推薦相關服務也極有可能發生相類似的情況。檔案機構利用公共信息的權利如果不能得到法律的保障，勢必限制其服務能力與范圍。

3.4 缺乏有效的跨地域、跨行業合作

從檔案行業內部角度來說，跨地域檔案館室合作難以實現。一方面經濟發展狀況的不平衡，導致我國各地區檔案事業建設存在巨大差異，尤其是檔案資源數字化、數據化的發展進程；另一方面，各級數字檔案館多從自身檔案建設出發，尚未形成統一的管理標準和規范制度，導致檔案信息資源整合難度較大。[4]而以外部角度來看，檔案領域缺乏與其他信息行業的合作與協同。Hopkins說：“沒有哪一個群體能解決所有問題。不同于傳統的商業智能環境，大數據的分析和應用需要業務分析人員、數據整合專家，以及業務部門走到一起，開展同理合作”。[5]

3.5 檔案資源數據化建設落后

在大數據時代下，檔案館在向檔案大數據化方向發展的過程中，必須重視“數據化”的地位。筆者認為數據化必須要完成兩項任務：一是檔案目錄數據庫，二是檔案全文數據庫。目前我國的大多數檔案機構正在積極推行檔案數字化建設，這種數字化工作往往僅僅是對目錄的數據化建立一個檔案目錄數據庫，而對于檔案內容的則是通過光學掃描機器轉換為便于機器閱讀的形式。雖然較之以往傳統檔案載體形式有了質的飛躍，但是遠遠達不到數據化的要求。檔案的數據化不僅僅是主題詞、關鍵詞等信息，還包括對檔案的全文進行識別、分類、標引和著錄，這樣才能建立一個有效的檔案全文數據庫。另外缺乏相關的考核標準，所以即使是目錄數據庫中，也存在著一定的質量問題。

4 結語

總而言之，大數據在檔案領域是可行的，但這并非意味著我們就可以“守株待兔”，想要實施檔案大數據需要有“數據到位+應用明確+手段成熟”的三位一體的戰略，這三個條件缺一不可。[6]而我們在進行檔案大數據化的發展過程中，必然會引進新思想新技術，給檔案領域帶來新的變化。但這也不能一味的摒棄傳統檔案管理的方法和經驗，應將優秀的傳統經驗與新技術相結合。這樣才是契合大數據時代要求的檔案事業發展道路。

參考文獻

[1]維克托·邁爾·舍恩伯格.大數據時代：生活、工作與思維的大變革[M].盛陽燕，周逃譯.浙江人民出版社.

[2]劉國華，李澤峰.檔案工作中大數據框架構建及應用思考[J].檔案管理.2014（2）32-34.

[3]楊智勇史曉杰.大數據時代數字檔案館的微服務研究[J].檔案管理.2013（6）20-22.

[4]許桂清.大數據背景下的檔案行業發展[J].中國檔案.2015（06）70-71.

[5]沈建苗.大數據應用：理想照進顯示[N].計算機世界，2012-08-06（20）.

[6]張濤.大數據時代給檔案管理帶來的挑戰與機遇[N].中國檔案報，2013-11-29（002）.