大數據技術與檔案數據挖掘

張文元+張倩

摘要：檔案數據深度挖掘是大數據技術應用于檔案管理中的主要特點，推動檔案管理模式發生變化：一是檔案管理流程走向精細化，二是這種精細化使檔案資源和用戶需求的雙向控制關系發揮到極致。為了保證檔案數據深度挖掘，促使檔案管理走向精細化，提出了實現對策：建立以數據挖掘技術為核心的信息系統，構建以人為本的用戶關系管理，保證數據挖掘技術中的數據隱私安全，借力“智慧因子”完善數據挖掘技術等。

關鍵詞：大數據技術；數據挖掘；檔案管理

伴隨著大數據時代的到來，數據挖掘技術在檔案管理中的應用將進入一個新的發展時期。盡管檔案學術界很早就提出知識管理與知識挖掘，但知識挖掘尚停留在概念和理論探討階段[1]。大數據挖掘，即從大數據中挖掘知識，大數據挖掘技術有效地解決了數據和知識之間的鴻溝，是將數據轉變成知識的有效方式[2]。因此，有檔案學研究者認為“檔案館的傳統業務將向檔案資源的數據分析、數據挖掘方向轉移，對大量數據的分析處理將成為檔案館的主要業務”[3]，“檔案信息服務的底層基礎可能不再是檢索，而是智能化的數據挖掘”[4]。

大數據時代給數據挖掘技術帶來的根本性改變是使數據的深度挖掘成為可能，對大量數據進行分析處理和智能化挖掘，從管理角度來看，要達到最優的結果，不僅數據要全面、可靠、有價值，而且需要對數據進行深度挖掘。

1 數據深度挖掘是大數據技術應用于檔案管理中的主要特點

數據挖掘技術是通過對海量數據進行建模，并通過數理模型對企業的海量數據進行整理與分析，以幫助企業了解其不同的客戶或不同的市場劃分的一種從海量數據中找出企業所需知識的技術方法[5]。數據深度挖掘，是一個對數據進行建模的過程，并對數據進行分類與統計，查找得出數據分布的關聯性，這也是探索規律的過程。

如，檔案人員想要做好檔案編研選題，不僅要對用戶利用檔案數據，包括檔案調卷數量、檔案利用次數、復制檔案數量、制發檔案證明數量等進行深度挖掘，而且還需要對用戶訪問記錄，包括網頁采用的關鍵字、下載記錄、檢索詞、用戶利用網頁時間和頻度等信息進行深度挖掘，然后利用分類功能及數據分析，建立檔案編研選題的用戶模型，一是按需確定不同類型的編研選題，提供個性化的服務；二是根據檔案用戶需求特點，預測其未來趨向，結合社會熱點選定檔案編研題目，從而使檔案編研部門推出用戶滿意的編研成果。在檔案利用方面，對檔案利用登記數據庫進行深度挖掘，分別選取不同方面數據進行建模，可以得出不同檔案利用形式的變化趨勢，從而對檔案利用趨勢進行分析和預測，對利用頻率高的檔案進行全文數字化，既可以提高檔案利用效率，又可以起到保護檔案原件的作用。

因此，檔案數據的深度挖掘是大數據時代的主要特點，檔案學的發展歷程告訴我們，每一次重大的技術變革都必然影響著檔案學的發展，如計算機和網絡技術的引入，引起了檔案管理理念與實踐的變革，改變了文件與檔案的處理流程[5]。大數據技術對檔案數據的深度挖掘為檔案管理流程由粗放走向精細化提供了可能。

2 大數據技術對檔案數據深度挖掘使檔案管理模式走向精細化

大數據挖掘技術基于傳統的數據挖掘，使用的是數據倉庫，構造的是“泛關系”的聚分類模型，采取的是海量數據分析方法，機器與人類一樣具備語義知識，提供的是可視化視圖來揭示信息，可以說是傳統數據挖掘方法的深化。由中國人民大學網絡與移動數據管理實驗室開發ScholarSpace，大數據處理的最基本流程由數據來源、數據抽取與集成、數據分析、數據解釋等過程組成[6]，分析認為大數據技術對檔案數據挖掘由數據采集層、數據整理層、數據分析層、數據展示層組成。

2.1 數據采集層收集高質量的檔案數據，為檔案管理精細化奠定基礎。數據采集是大數據技術處理流程中最為基礎的一步，高質量的數據是大數據技術發揮效能的前提，大數據技術只有在高質量的大數據環境下才能提取出隱含的、有用的信息。由于大數據具有實時與動態性特征，“在線”、“近線”和“離線”的各種數字資源均是采集對象。為了使所獲得的數據更具有代表性，通過什么方式獲取數據信息顯得格外重要。數據采集層要收集不同數據源產生的數據，為檔案數據挖掘的后續工作做好準備。

2.2 數據整理層改變傳統數據處理方式，凸顯檔案管理精細化過程。經過各種渠道獲取的檔案數據種類繁雜、結構多樣，通過處理、集成、存儲可以做到：

一是將結構復雜的數據轉換為單一的或便于處理結構的數據。現代互聯網應用呈現出半結構化和非結構化數據大幅度增長的趨勢，這些資源將成為館藏的重要來源。如，對檔案系統運行日志資料等數據，就需要轉換成結構化數據，形成檔案統一的語言。二是對采集到的數據進行“去噪”和“清洗”，以保證數據的質量和可靠性。由于原始數據中有噪聲數據、冗余數據等問題，對數據進行解析、清洗、重構，以提高待挖掘數據的質量。三是對整理好的數據進行存儲，建立專門的數據庫分門別類地放置，減少數據查詢和訪問的時間，提高數據提取速度。

2.3 數據分析層對檔案數據的精細分析，凸顯檔案管理精細化的思維模式。數據分析是整個大數據處理流程最為核心的部分。“相關性”分析是大數據技術重要的思維模式，通過對數據彼此關聯性的分析，能夠更清楚地看到隱藏在背后的看似不相關的數據之間彼此的密切聯系，使檔案數據挖掘從常規分析向廣度、深度分析轉變。

“相關性”分析可激活數字檔案資源，大數據技術的核心作用就是挖掘出龐大的數據倉庫獨有的價值，不管是網絡實時運算的“熱數據”，還是非在線的“冷數據”，通過對檔案數據的綜合挖掘、深度整合和數據分析，激活休眠狀態的檔案資源，展現數據價值，創造出新知識、新價值。“相關性”分析能有效破除信息孤島的數據壁壘，使各個孤立的、互不聯通的數據庫之間資源實現充分共享。

2.4 數據展示層為檔案用戶提供更加精準服務，凸顯檔案管理精細化“以人為本”的價值追求。對檔案用戶來說，最關心的不是數據分析處理過程，而是對大數據分析結果的解釋與展示。若數據分析的結果不能得到精準的展示，會對檔案用戶產生困擾，甚至會誤導用戶。通過檔案管理信息系統，將深度挖掘的數據可視化，可以使用戶清楚地看到未來發展的方向，從而對決策結果作出評價，這也是決定整個系統挖掘技術是否成功的標準。

3 大數據技術對檔案數據深度挖掘，將檔案管理精細化發揮到極致

大數據技術在檔案管理中的應用從兩個方向進行描述：從橫向上看，以大數據挖掘技術為中心沿數據收集、整理、分析到展示等技術解決方案；從縱向上看，以數據產品為中心沿檔案資源挖掘、用戶數據挖掘及關系洞察及趨勢預測逐級遞進。大數據技術對檔案數據深度挖掘使檔案資源與用戶需求的雙向控制達到最優化，凸顯管理精細化趨勢。

3.1 檔案資源挖掘。由于缺乏綜合數據挖掘和深度整合，檔案資源存在著重藏輕用深度挖掘不夠的問題，因此，通過對檔案資源數據的深度挖掘，展現數據價值，創造出新價值。

首先，大數據時代樹立“大檔案”工作思路，重視數據積累，不僅要建立檔案資源體系，還要建立數據資源體系觀。其次，建立共享檔案數據資源庫。以省級為單位，建立集中的、規范的、可供共享的檔案數據資源庫，使各檔案館藏之間相互關聯，成為一個內容豐富且不拘泥于實體存儲的，信息互聯共享的檔案數據資源網。最后，利用云計算平臺和處理技術構建檔案數據資源網，可以用于實時性檔案數據的接收，也可以對非實時性數據進行分類處理，使其成為檔案用戶提供服務的平臺。

3.2 用戶數據挖掘。通過對用戶數據挖掘做到精確洞察，精準服務，提升檔案用戶認同感，實現檔案服務價值。用戶數據挖掘包括以下方面：

一是對用戶信息進行數據挖掘。提取用戶的信息需求，查看用戶訪問服務器時留下的日志文件，跟蹤用戶行為，推測用戶興趣，提供個性化利用服務。二是對用戶統計檢索和瀏覽記錄進行挖掘。如，利用統計分析的方法，通過分析用戶對檔案目錄的點擊率，選取點擊率高的檔案進行數字化；通過分析用戶檢索時使用的檔案檢索詞，充實和完善數據倉庫中的檢索關鍵詞，以提高查準率；通過統計分析用戶對網頁的訪問頻率，進而開展深層次的信息服務。

3.3 關系洞察及趨勢分析。無論是檔案資源和用戶數據，通過挖掘得到的僅是某一方面的數據，這些數據往往是孤立的數據點，因此，要使這些數據集成為一個完整的網絡，必須對數據網絡后面的數據關系進行深入分析。如，單單對檔案收集情況進行挖掘，得到的僅僅是檔案人員與檔案之間的關系，對檔案利用情況進行挖掘，得到的僅僅是檔案與用戶之間的數據關系。然而，要想精準洞察檔案之間、用戶之間及檔案與用戶之間關系，必須將以上各個孤立的數據點進行整合，得到一個完整的檔案網絡，才能使檔案發展、社會服務等趨勢的預測成為可能。

4 積極探索綜合性的對策促進檔案數據深度挖掘的實現

在融合數據，精細分析后，我們應通過綜合性的策略保證大數據技術在檔案數據挖掘中的應用落到實處，保障大數據技術在檔案管理應用中的有效實現與良性循環。

4.1 建立以大數據技術為核心的數據資源體系，使檔案數據挖掘具有時代特色。構建一個“以數字資源為主體，以文本、圖片、音頻、視頻等為形式，為中華民族集體記憶的建構和傳承提供文獻支撐的‘中國記憶數字資源庫”[7]，是時代賦予我們的目標與使命。

首先，擴大數據總量，構建現代化的檔案資源體系，加強實體資源的建設，完善檔案門類，優化館藏結構。其次，加強數字資源建設，按照“存量數據化，增量電子化”戰略，組建數字化檔案資源庫，加強電子文件的收集歸檔。最后，積極開放數據，整合數據資源，增強知識挖掘，實現數據增值。大數據技術為檔案管理的深度挖掘提供了數據管理方面的保障，而對數據的深度挖掘使檔案館的功能擴展到發現與預測。

4.2 構建以人為本的用戶關系管理，使得檔案數據內在關聯得以深度挖掘。大數據時代最大轉變是放棄對因果關系的渴求，取而代之關注相互關系，只要知道“是什么”，而不需要知道“為什么”[8]，這一轉變將使我們以新的視角去理解檔案用戶數據挖掘。

利用大數據技術可以掌握用戶此前的行為、正在進行的實時行為，還可以對用戶未來行為進行預測分析，深度挖掘數據內在關聯，促進資源集成創新，實現檔案數據資源的增值服務。借助大數據技術，對用戶搜索方式、行為軌跡、使用習慣、利用興趣、存儲行為等數據進行分析，有效發現用戶隱性訴求。如，針對不同用戶，產生動態推薦超級鏈接列表。建立以用戶名為單位的個性化數據庫，把用戶想要的東西、挖掘分析結果放入。

4.3 在挖掘數據同時保護數據隱私安全，為檔案數據深度挖掘提供良好的環境保證。大數據時代的隱私保護面臨著技術和人力層面的雙重考驗，如果將這些數據合理利用，將為檔案預測決策提供必要的情報信息。如何在保護隱私的前提下對檔案數據進行有效的挖掘，我們應做到：一是健全法律規范對個人的隱私權利給予保護，建立健全數據安全管理規劃體系，避免因個人隱私數據被隨意挖掘濫用而造成影響社會穩定的事件發生。二是使用保護數據隱私的數據挖掘方法，合理界定哪些信息是屬于私人信息，在保護私人信息安全的情況下進行數據挖掘。

4.4 借力“智慧因子”完善大數據技術在檔案數據挖掘中的應用。隨著“智慧城市”的提出，智慧的概念涉及各個領域，智慧檔案館也應運而生，智慧檔案館的核心理念是智慧服務，在大數據技術中植入智慧因子，依托物聯網技術將館舍、檔案、網絡、數據以及用戶統一在智能網絡中，達到有效整合和深度挖掘，深層次推動檔案服務智慧化。大數據技術不僅將檔案資源、用戶數據、關系洞察及趨勢分析產生的各種數據資源進行匯聚融合，而且利用智慧服務理念創新開發個性化的服務手段，使得檔案知識的隱性知識顯性化，為用戶提供精細化的服務體驗，推進檔案信息資源智慧服務和知識空間的構建。

5 結論

大數據時代，大檔案、大服務、智慧檔案等成為檔案工作的新發展，隨著檔案管理創新的深入推進，大數據技術將真正落實到檔案管理各個環節，數據挖掘技術將更加嫻熟地在檔案管理中得到運用。通過本文分析我們得出以下結論：

（1）檔案數據的深度挖掘是大數據時代數據挖掘技術在檔案管理應用中最主要特點，促進檔案管理模式發生改變。因此，在開展檔案管理流程研究時，應當立足于這一點，從而達到整體的最優化。

（2）大數據技術對檔案數據的深度挖掘歷經不同過程環節，我們應當在厘清各環節的基礎上，采取有效措施促進整個過程的有效運行，實現整個過程的良性循環與互動。

（3）大數據技術對檔案數據挖掘的實現除了依賴大檔案數據資源作為基礎外，還需要有“以人為本”的用戶關系管理、智慧服務理念、規范化的數據安全管理環境等，因此，檔案部門應當加強與各部門之間的協同合作，實現大數據技術在檔案管理中的應用。

參考文獻：

[1] 于英香.檔案大數據研究熱的冷思考[J].檔案學通訊，2015（2）：5.

[2] 王雅潔等.大數據挖掘在食品安全預警領域的應用[J].安徽農業科學，2015（8）：332.

[3] 周楓.資源 技術 思維——大數據時代檔案館的三維詮釋[J].檔案學研究，2013（6）：63～64.

[4] 張芳霖，唐霜.大數據影響下檔案學發展趨勢的思考[J].北京檔案，2014（9）：12.

[5] 曹莉.芻議大數據時代的數據挖掘與精細管理[J].經營管理者，2013（18）：191～192.

[6] 孟小峰，慈祥.大數據管理：概念、技術與挑戰[J].計算機研究與發展，2013（1）：150～151.

[7] 馮惠玲.檔案記憶觀、資源觀與“中國記憶”數字資源建設[J].檔案學通訊，2012（3）：6.

[8] 邁爾-舍恩伯格，庫克耶著，周濤譯.大數據時代：生活、工作與思維的大變革[M].浙江人民出版社，2013：12～13.