試論大數據技術與電子檔案管理優化

謝忠強　李晨暉

大數據時代的來臨就意味著“信息社會”的到來。在大數據時代，各行各業都面對如何高效地管理和利用這些海量而復雜的數據，越來越多的人們發現對這些數據進行有效管理和利用的重要性，檔案行業也在其中。檔案是一種記錄歷史的載體，在人類歷史發展過程中，它所形成的各種記錄數據是巨大的。在大數據時代下，怎樣妥善管理電子檔案已經成為檔案管理人員研究的一個新問題。全球專業數據機構麥肯錫曾經發布報告，首次向公眾指出了大數據的概念：大數據是指“大小超出了傳統數據庫軟件工具的抓取、存儲、管理分析能力的數據群”[1]。其特點可歸納為4V，即存儲的數據量大（Volume）、類型龐雜（Variety）、處理速度快（Velocity）、價值密度低（Value）。數據量大指的是有完整的數據和巨大的數據量。類型龐雜指的是數據的類型很多，傳輸的方式和手段也很多。處理速度快指的是大數據的及時性。數據一經形成，就需要實時或者準時地分析數據，而分析數據的新趨向，則是突破常規數據分析要求深度分析，無論是數據的生成還是數據的獲得、保存和應用，都具有很強的時效性。這是大數據技術區別于傳統落后技術的一個最顯著的特征。價值密度低是大數據的價值和準確性相對較低，單個信息的價值也不是很高。

一、大數據時代檔案管理思維模式的改變

隨著大數據技術的普遍應用，檔案工作人員在管理檔案的具體工作中思維方式也在發生著一系列的變化，具體表現在網絡服務思維方式、信息技術思維模式、技術思維模式、共享思維模式四個方面的轉變。

（一）網絡服務思維方式的轉變

傳統的檔案服務模式因為有時間、空間和利用手段等多方面的限制，已經不能適應在大數據時代下檔案管理的工作要求，為了更加有效地面對增長的利用檔案的需求，管理檔案的部門要依據大數據技術的特點去建立一種網絡化服務思維的轉變，這樣才能保證我國檔案工作得以順利開展。就大數據時代電子檔案管理的工作而言，網絡化服務思維的轉變必須要求檔案管理工作增加對大數據技術手段的運用，這樣才能提高檔案管理服務的效率。[2]隨著大數據技術的普及和應用，檔案部門完成了檔案數據資源挖掘和分析檔案數據的目的，而且也能夠根據用戶的愛好來推薦用戶需求的信息，有效地降低了數據資源檢索的困難。因此，這就要求檔案管理部門在大數據技術的應用下，加強檔案服務模式的改革和創新，以此提高檔案資源利用的準確性，全面提高電子檔案的利用率。此外，在大數據時代下電子檔案管理也在朝著多樣性方向改變和進步，檔案管理部門就必須向用戶提供技術化、智能化的檔案服務模式，以滿足用戶的個性化需求。伴隨著檔案服務模式的逐漸變化和升級，檔案館的工作人員也必須分類整理檔案信息，建立完備的數據分析系統才能適應用戶提出的各種各樣的需求。

（二）信息思維模式的改變

在大數據時代下建立在信息技術和信息開發上的檔案管理模式是我國檔案管理工作發展的必然趨勢。信息化思維方式是指在檔案管理工作過程中，工作人員必須站在信息技術的角度去認識問題、分析問題、解決問題。在大數據時代下檔案管理工作要求檔案部門必須使用信息技術去建立一個高效便捷的檔案信息管理系統以便檔案管理部門提高檔案服務。[3]在檔案管理工作中，檔案部門必須使用發達的技術和方法，例如使用大數據技術和數據壓縮技術把傳統的紙質檔案和音像檔案轉化為更容易保存的電子檔案。把傳統的紙質化檔案資源改變為數字化檔案信息并且使用計算機系統去管理這些信息不僅可以幫助儲存檔案數據而且還便于傳輸檔案信息，這就為檔案信息便捷化的使用打下了一個堅實的基礎。目前數字化檔案資源的建設主要有以下三個方面，一是一種數字檔案數據目錄檢索的建立;二是一種全球的數字檔案資源庫的建立;三是檔案資源數據的管理。盡管數字化檔案已經有了相對應的圖像，但是這些圖像只有在人們閱讀它的時候才能轉化為有價值的信息。因此，檔案工作人員就有必要豐富檔案的內容，而不只是僅僅著眼于檔案的數量。加快把檔案資源數字化改變為數據化，不僅對人們閱讀檔案資源有幫助，而且為檔案資源的計算和分析奠定了一個堅實的基礎。因此檔案管理部門必須加快數字化專項內容數據化建設的腳步，才能保證在大數據時代下服務效率的有效提高。

（三）技術思維模式的改變

在現代化發展進程中，西方國家形成的技術思維觀念中就深度挖掘有價值的檔案信息十分重要。技術思維模式的出現不但有助于提高使用技術的效率，而且加速了標準化模式的發展，為不斷改進檔案管理打下了一定堅實的基礎。所以在大數據時代到來之際，檔案管理工作必須以進一步的研究和應用大數據技術為基礎。此外，還要根據商定的歸檔標準并考慮到新環境下檔案管理的實際變化進行檔案管理工作，這樣才能提高利用檔案資源的效率。在大規模傳播和應用大數據技術的進程中，檔案管理部門應積極推進檔案管理的技術改造，促進檔案管理水平的不斷提高。[4]例如，在對檔案數據的深度提取上，檔案管理部門必須以數據分析和檔案服務體系的不斷完善為基礎。面對大數據時代信息服務之間的激烈競爭，用戶的資源需求不斷提高，這也對現有的檔案數據管理方法提出了新的要求，即檔案管理工作人員使用語義分析、知識地圖等重要的大數據技術，對大量檔案資源中的高價值的資源進行分析和提取，這樣才能滿足在大數據時代創建檔案管理系統的要求。因此，技術思維模式的改變滿足了檔案管理的需要。

（四）共享思維方式的轉變

要想實現檔案數據共享就必須以共建檔案信息資源為基礎。也就是說只有形成區域檔案資源的共享機制，建立大型的檔案信息資源數據庫，才可以完成檔案信息資源的綜合共享。這種共享機制不僅可以滿足用戶的需求，也為我國檔案管理工作奠定了一定的基礎。但是因為現在我國大多數文件信息資源共享數據庫仍然存在著許多孤立而分散的模式，因此不可能建立橫縱向的文件資源信息共享平臺。所以在大數據時代下，要達成數據庫之間的互聯和區域檔案資源的共享，就必須建立一個新的共享的數據資源平臺，在原始檔案記錄的根本上構建數字化檔案，并且加強云計算等新技術的應用，才能為實現檔案資源社會化服務提供良好的氛圍。

二、電子檔案管理中存在的問題

隨著近幾年科學技術的飛速發展，辦公自動化已成為各個部門必不可少的一種辦公形式，檔案管理也由原來的紙質檔案管理慢慢變為電子檔案管理。目前電子檔案管理不但降低了勞動強度，并且能夠提高工作效率，但是電子檔案管理中存在的問題也有許多并且這些問題不容忽視。[5]

（一）鑒定問題

目前，隨著信息網絡的發展，電子檔案的規模呈爆炸性增長，給電子檔案的管理帶來了很大的挑戰。這樣就導致盡管有的電子檔案中存在極其豐富的價值，但是卻非常難辨別并進行歸檔，不能保證電子文檔數據和信息管理的有效效果，甚至在識別文檔方面存在著問題。如果工作人員用簡單傳統的方法對電子檔案進行鑒定，不僅不能解決現有的問題，而且還會影響檔案管理的效果。

（二）存儲問題

我國檔案信息化建設正在日益推進，各種各樣的檔案數據庫也在逐步建立、內容不斷完善。使用檔案數據庫可以既方便又快捷地查詢檢索自己所需要的信息，結果還能形式多樣地展現出來。檔案數據庫的使用極大地提高了管理電子檔案的效率，但近些年來，因為電子檔案正呈指數級增長，在使用檔案數據庫的時候出現了無法向檔案數據庫中保存新的檔案數據的現象。[6]這種現象很像傳統檔案管理中因容納紙質檔案的庫房空間太小進而導致新增加的檔案無法保存到庫房中，也就是“脹庫”。檔案數據庫的“脹庫”現象主要表現為新增的數據保存不上、因卡頓導致的用戶查詢檢索的時候不正?；驒z索結果不準確、統計分析不準確等三種主要表現方式。

（三）安全性問題

在電子檔案管理的過程中，大量的文件通過互聯網發布和傳播。電子檔案通過網絡傳輸的時候極易被泄露、改動、偷窺和篡改。除此之外，病毒可能會在電子檔案發布、接收、保存和歸檔等某一環節中出現，辦公自動化作為電子檔案管理的一種重要形式，在如此惡劣的網絡環境下，可以想象到一個小的疏漏就可能造成不可預計的損失。

（四）用戶服務問題

當前，電子檔案管理的單位是以“件”為單位，電子檔案的價值密度很低，導致用戶在獲取有價值的信息時很困難。相對于用戶而言，他們已經不在乎電子檔案的采集、存儲和分析，他們更加在乎的是如何快速準確地獲取對自己有用的檔案信息，并且以直觀、易理解的方式展示在信息背后隱藏的知識。隨著人們對檔案查詢需求的增長，用戶的需求已展現出高速度、大數量和高質量的特征。

三、電子檔案管理應用大數據技術的必要性

目前，我國正慢慢向檔案管理信息化建設邁進。伴隨著時代的飛速發展，互聯網技術、云計算處理技術等改變了落后的檔案管理模式，突破了傳統技術的局限性。[7]但這些技術有時候并不能解決電子檔案管理中的一些問題，所以在電子檔案管理工作中有必要運用大數據技術，這樣可以促進檔案管理的發展，提高數據共享管理的效果，優化現有的工作內容。

（一）解決鑒定問題

在大數據時代，電子檔案的數量正不斷增長，給電子檔案的管理帶來了空前絕后的挑戰。電子檔案中可能存在很多有價值的信息，但要想從這些電子檔案中發現有價值的信息很難。我國在鑒定電子檔案的工作中，工作人員采用的是“直接鑒定法”，是指工作人員直接一件一件的閱讀電子檔案，通過閱讀判斷這些電子檔案的價值。后來檔案界大多數人認同的宏觀鑒定方法，就是從整體上辨別一個檔案機構是否有收集有價值的文件的能力，并不是直接地對檔案進行處理。[8]但這些鑒定方法并不能解決因為電子檔案龐大的數量帶來的問題。大數據技術應用到電子檔案的管理之后可以對電子文檔的信息進行有效的整合，更好地對電子檔案的價值加以判斷，不錯失電子檔案中有用的信息。

（二）解決“脹庫”現象

對于“脹庫”現象，目前較多的檔案館采用的解決辦法是購置新硬盤，但隨著檔案數據庫的不斷使用，每時每刻都會有新的檔案數據需要保存。隨著數據庫的容量不斷在擴大，占用的硬盤空間也在不斷增長，很容易出現因為沒有硬盤空間的問題無法工作的現象。而不斷購買新硬盤耗費財力、物力，不能根本解決存儲問題。

（三）解決安全問題

檔案人員大多采用防火墻和其他技術來防止檔案被修改等問題，但這些技術往往對黑客造不成困難，這對電子檔案內容的安全構成了嚴重威脅。同時，不安全的網絡和信息系統的脆弱性使檔案傳播過程中容易感染病毒和遭到非法分子的竊取。而大數據技術中的算法加密技術和安全權限技術可以解決這一問題。

（四）解決用戶服務問題

目前，電子檔案已經存在于各行各業中。相對于紙質檔案，電子檔案有很多優勢，比如存儲時間長、容易查找等各個方面的優點。但是電子檔案的管理需要先進的信息技術才能夠為用戶提供更加多元化的服務與更高層次的需求。在傳統的電子檔案管理工作中，檔案工作人員只有依靠計算機系統來處理文件，并不能對工作項目和內容進行改變，無法建立一個開放的機制，很難提高檔案的管理效果，檔案館的工作受到很大程度的限制。但是大數據技術的應用提升了檔案服務的水平，改變了檔案館的工作模式，對服務內容進行了綜合創新。[9]在具體的檔案服務工作中，使用大數據技術可以滿足使用者的知識服務，建立新的知識服務引擎，主要有學術型、資源型和服務型等引擎類型，可以全面剖析和整合不同搜索引擎模式下的檔案信息，滿足當前發展的需要。

四、基于大數據技術的電子檔案管理的解決途徑及注意事項

大數據技術的發展為檔案管理提供了一定的條件，能夠更好地保證電子檔案信息的完整性和安全性，也使得電子檔案信息的保密措施得到進一步加強。

（一）解決途徑

1.利用數據采集解決鑒定問題

大數據技術使用的是全數據方式，即全部的數據都要被利用。直到今天，大部分的檔案館工作人員都是用人為的方式主觀鑒定檔案信息，對檔案中有用的信息很容易疏漏，這樣會使檔案信息不完整。大數據技術中的數據采集可以很好地解決這個問題。[10]第一，數據量十分龐大，如果想使數據分析運行，就必須采用批量處理的方式，使用大數據技術中的MapReduce技術，對大規模數據集（大于1TB）的并行運算，把一堆雜亂無章的檔案數據按照某種特征歸納起來，解析每個檔案數據，從中提取出關鍵和價值，而這種技術也可以對非結構化電子檔案數據進行處理。第二，要想保證這些檔案數據的利用價值最大化，就要進行挖掘和預測，而大數據技術中的分布式文件系統GFS是進行數據分析十分有用的工具，能夠對有價值的電子檔案信息進行主動采集并推送至數據庫。

2.建設分布式系統解決存儲問題

正如前面所講述的一樣，電子檔案呈現海量的現象并在持續增長，怎么樣才能存儲不斷增長的檔案、解決“脹庫”現象是當前電子檔案管理面對的難題之一。而大數據技術能夠建構分布式系統，并運用分布式系統架構儲存圖像、音頻、視頻、文本文件等各類檔案數據，而且當數據量大于服務器承載力的時候，可以滿足可擴充性的需求，從而解決存儲問題。[11]

3.建設安全體系解決安全問題

為了更好地保證大數據信息系統的安全性，有必要建立一個完備嚴格的安全保護體系，尤其是大數據技術中的算法加密技術，能夠提高保護這些檔案信息的水平。大數據技術中的安全權限技術，能夠建立一種使用者查閱和使用者進入和退出機制并對他們的查詢和使用記錄都做出完整的分析。[12]通過大數據技術還有必要提高數據共享的能力，對檔案信息的數據進行管理，以保證檔案信息不要超出信息傳播的范圍，還應實施對信息使用的監控，確保是安全使用并對這些記錄進行跟蹤和評價，從而防止檔案數據信息的泄露。

4.利用數據挖掘分析技術解決用戶服務問題

大數據技術關注的更多是人，而不是數據，大數據技術真正的價值所在就是數據分析。數據是為了讓使用需求而存在，不同的人有不同的使用需求，人們需要使用數據來解決自己的需求問題。[13]假如海量的數據得不到分析，數據的有用價值就很難得到體現。因此，進行數據挖掘分析是最為關鍵的。為了讓檔案用戶查找檔案信息的時候更加準確以及更加符合他們的需求，就需要從深度挖掘檔案數據和檔案數據同用戶的相關關系分析這兩個方面進行解決。第一，是進行對用戶檔案數據的挖掘。經過對用戶的數據挖掘做到十分精確，提高檔案用戶對檔案服務的認同感，實現數據的最大價值利用。一是深度挖掘用戶的各種信息。通過挖掘發現用戶的需求并把這些需求提煉出來，查看用戶使用服務器的時候留下的痕跡，跟蹤用戶的行為，以此來判斷用戶具有哪些興趣，便于提供多元化的服務。二是對檔案用戶的檢索記錄和瀏覽記錄進行深度挖掘。比如使用統計分析的方法來分析用戶對某個檔案詞條的點擊量，將點擊量高的檔案再補充完善;通過對用戶查找時的檢索關鍵詞進行分析來補充數據倉庫中的檢索關鍵詞，以此來提高查找的準確率;深度分析用戶對網頁的訪問次數，以此來提供深層次的服務。第二，要提高檔案數據相關關系的分析。不管是檔案信息還是用戶的檔案數據，挖掘它們也就只能得到其僅僅一個方面的數據，并且挖掘到的數據經常都是孤立的數據點。所以就必須對兩者之間的關系進行深入分析，才能得到一個完整的數據網絡。在巨大的數據倉庫中挖掘出來獨特的價值是大數據技術的核心作用，通過對檔案的綜合挖掘、整合和分析，就喚醒了原來處于睡眠狀態的檔案資源，這樣就能夠顯示出數據價值，使原本孤立的、互不相通的檔案數據庫之間的資源得到共享。[14]此外，大數據技術中的可視化技術可以用圖例表格的形式更加直觀地展示給用戶，使查詢結更加多樣性、多層次。

（二）注意事項

1.有明確的目標

電子檔案管理在使用大數據技術時，必須有明確的目標，要思考運用大數據技術能夠解決什么問題，并從中得到什么結果，否則就需要損耗特別多的時間來剖析數據。因為檔案數據的資源太多太豐富，如果沒有一定明確的目標，就會覺得十分迷茫。所以在使用大數據技術的時候需要建立一定的標準，這樣運用大數據技術時就能精確而有效地解決問題，提高利用大數據技術的效率。

2.注意潛在的風險

運用大數據技術進行檔案管理工作也存在一定的風險。比如自然災害引發的風險、網絡病毒帶來的風險以及突發事件帶來的風險，面對這些風險，大數據使用者必須嚴格制定方案，提升使用網絡的安全度，比如對檔案信息進行備份、使用入侵檢測和控制訪問等方法來降低風險。

3.嚴格控制檔案的訪問制度

檔案的服務對象主要是面向廣大的人民群眾，最根本的目的就是讓人們在利用檔案的過程中更加便捷，獲取檔案中有用的信息。因此，在大數據時代的背景下，檔案管理部門必須嚴格控制檔案的訪問系統。第一，檔案的訪問制度必須以法律為基礎，具有較高的標準;第二，要靈活運用，制定適合本區域的訪問制度;第三，檔案管理部門應該做到明確分工，責任到人。

綜上所述，大數據技術能夠解決目前電子檔案管理中存在的問題，但同時也充滿著新機遇與挑戰。未來大數據技術一定會更加完善，電子檔案管理中運用大數據技術會越來越廣泛，電子檔案管理會取得重大突破，我國的電子檔案管理也會步入到一個全新的階段。

參考文獻：

[1]郭曉科.大數據[M].北京：清華大學出版社，2013.

[2]陶水龍. 大數據視野下檔案信息化建設的新思考[J]. 檔案學研究，2017（03）

[3]姜婷婷.大數據視野下的檔案信息化建設[J].蘭臺世界，2018（09）

[4]張文元，張倩. 大數據技術與檔案數據挖掘[J].檔案管理，2016（02）

[5]張健. 檔案數據庫“脹庫”問題研究[J].檔案學通訊，2012（04）

[6]楊來青.大數據背景下檔案信息資源挖掘策略與方法研究[J]. 中國檔案，2018（08）

[7]尚子田，唐甜.大數據時代背景下的檔案管理要點探討[J].管理觀察，2018（06）

[8]劉燕菲. 大數據和物聯網對檔案管理方法的創新[J]. 蘭臺世界，2018（08）

[9]鐘靜. 探析大數據時代背景下的檔案管理[J].蘭臺世界，2014（S3）

[10]李純.電子檔案管理若干問題的思考[J].山東檔案，2016（05）

[11]張曉慧. 大數據時代文檔管理優化研究[J]. 浙江檔案，2015（06）

[12]戴玲，彭延國，彭長根.大數據環境下的電子檔案信息安全問題及對策[J].蘭臺世界，2015（29）

[13]張建銘.大數據時代下的檔案管理方式變革分析[J].蘭臺世界，2014（S3）

[14]李小晨.大數據時代背景下的檔案管理探討[J].云南檔案，2013（06）

基金項目：2018年度山西省教育廳教育改革研究課題（2018JG15）。

作者單位：山西大學馬克思主義學院