數據挖掘是數字檔案信息管理的首要工作

徐彤艷

[摘 要]隨著現代化的發展，信息技術在社會發展的各個領域都扮演著極其重要的角色。信息化建設更是被我國列為經濟社會發展的首要內容。計算機技術的進步，使檔案化管理包括文檔、文字翻譯轉換、圖片資料、聲像資料、多媒體遠程會議等成為必然的趨勢。

[關鍵詞]數字化；圖書管理；檔案化

在信息化發展的今天，圖書館，特別是科研院所圖書館不僅要對信息進行簡單的數字轉換和管理，更要對新興事物網絡進行檔案化管理和歸檔，包括文檔、文字翻譯轉換、圖片資料、聲像資料、多媒體遠程會議等。所以網絡檔案化管理，成為當今檔案管理的必然趨勢，這就必須對檔案化管理的技術和法律相關問題進行深入闡述和探討。

所謂數據挖掘（Data Mining），就是從大量的、不完全的、模糊的、隨機的數據中，提取隱含在其中的、人們事先不知道的但又是潛在有用的信息和知識的過程。這些數據可以是結構化的，如關系數據庫中的數據，也可以是半結構化的，如文本，圖形，圖像數據，甚至是分布在網絡上的異構型數據。發現知識的方法可以是數學的，也可以是非數學的；可以是演繹的，也可以是歸納的。發現了的知識可以被用于信息管理、查詢優化、決策支持、過程控制等，還可以進行數據自身的維護。數據挖掘借助了多年來數理統計技術和人工智能以及知識工程等領域的研究成果構建自己的理論體系，是涉及數據庫、人工智能、數理統計、機械學、人工神經網絡、可視化、并行計算等的交叉學科，是目前國際上數據庫和決策支持領域的最前沿的研究方向之一。

一、數據挖掘的功能

數據挖掘通過預測未來趨勢及行為，做出預測性的、基于知識的決策。數據挖掘的目標是從數據庫中發現隱含的、有意義的知識，按其功能可分為以下幾類。

1、關聯分析

關聯分析能尋找到數據庫中大量數據的相關聯系，常用的一種技術為關聯規則和序列模式。關聯規則是發現一個事物與其他事物間的相互關聯性或相互依賴性。

2、聚類

輸入的數據并無任何類型標記，聚類就是按一定的規則將數據劃分為合理的集合，即將對象分組為多個類或簇，使得在同一個簇中的對象之間具有較高的相似度，而在不同簇中的對象差別很大。聚類增強了人們對客觀現實的認識，是概念描述和偏差分析的先決條件。聚類技術主要包括傳統的模式識別方法和數學分類學。

3、自動預測趨勢和行為

數據挖掘自動在大型數據庫中進行分類和預測，尋找預測性信息，自動地提出描述重要數據類的模型或預測未來的數據趨勢，這樣以往需要進行大量手工分析的問題如今可以迅速直接由數據本身得出結論。

4、概念描述

對于數據庫中龐雜的數據，人們期望以簡潔的描述形式來描述匯集的數據集。概念描述就是對某類對象的內涵進行描述并概括出這類對象的有關特征。概念描述分為特征性描述和區別性描述，前者描述某類對象的共同特征，后者描述不同類對象之間的區別。生成一個類的特征性只涉及該類對象中所有對象的共性。生成區別性描述的方法很多，如決策樹方法、遺傳算法等。

5、偏差檢測

數據庫中的數據常有一些異常記錄，從數據庫中檢測這些偏差很有意義。偏差包括很多潛在的知識，如分類中的反常實例、不滿足規則的特例、觀測結果與模型預測值的偏差、量值隨時間的變化等。偏差檢測的基本方法是尋找觀測結果與參照值之間有意義的差別。這常用于金融銀行業中檢測欺詐行為，或市場分析中分析特殊消費者的消費習慣。

二、數據挖掘在建設現代化檔案館中的應用

1、資源類數據包括館藏檔案經過數字化加工而產生的各類電子檔案、電子文件中心中存儲的各類電子檔案、檔案軟件收集的信息、檔案信息網建設和維護信息。我們從研究大學檔案用戶的信息需求出發，數據挖掘為大學檔案館全面掌握和準確理解檔案用戶的信息需求提供了方法。

（1）利用Web訪問信息挖掘技術發現其中的關聯模式、序列模式和Web訪問趨勢等，構建多維視圖的用戶興趣模型。從而可以確定檔案信息或服務受歡迎的程度，發現用戶訪問模式和用戶需求的趨勢，從不同側面來研究用戶的信息需求，為優化檔案館的檔案信息資源建設提供了科學依據。

（2）收集檔案網web服務器保留的用戶注冊信息、訪問記錄，以及有關用戶與系統交互的信息等原始數據，經過清洗、濃縮和轉換形成便于統計分析的用戶查閱數據庫、日志數據庫、用戶定制信息庫、用戶反饋信息等各種數據集合。

2、從建設檔案館館藏信息資源出發，數據挖掘為檔案館提供了選擇一條科學發展道路的重要依據。

（1）利用檔案網和檔案管理軟件訪問信息的挖掘分析出檔案資源的利用率，將利用率高、需求量大的傳統載體檔案優先數字化。例如：通過對檔案信息的訪問記錄、檢索請求中用戶請求失敗的數據進行分析，按類統計檔案拒用集和頻繁利用集，結合聚集算法發現館藏資源的缺漏，有針對性地補充和豐富檔案信息資源。

（2）在檔案館藏管理過程中利用文本挖掘，運用關聯、分類、聚類等方法，從海量檔案信息中按照相關專題進行挖掘、分類、加工、整理和有序化重組，構建特色檔案信息庫及各類專題檔案信息庫等。

3、從做好檔案館信息管理工作的角度出發，數據挖掘為優化館藏信息和對未來工作的預測發揮重要作用。

（1）在提供利用環節中，對用戶每次借閱的信息進行關聯分析，發現各類檔案信息之間的關聯規則或比例關系，這樣可以進一步優化館藏信息。

（2）開展檔案館館藏信息文本特征的建立、特征提取、特征匹配、特征集縮減和模型評價工作，實現對大量文檔集合的內容進行總結、分類、聚類、關聯分析、分布分析，通過歸納與總結，發現的知識可以為未來檔案工作的趨勢進行預測。

三、數據挖掘在管理類數據中的應用

檔案館的管理類數據包括：智能監控系統、消防系統、溫濕度控制系統、智能密集架、數據管理系統、數據利用系統等在日常工作產生大量的管理類數據。我們得用數據挖掘工具在這類看似無用的數據中提取有價值的知識并運用到大學檔案館工作中，并在大學檔案館的現代化建設中發揮作用。

科研單位檔案館檔案工作的重點是為科技人員服務，以服務為中心開展各項工作，如何使用先進的工具，提高服務的質量是一直困擾我們的難題。數據挖掘為檔案館檔案工作的智能化、個性化、精品化提供了行之有效的方法。在智能檢索系統可調用用戶興趣模型，自動修正檢索策略并可依用戶興趣將檢索結果迅速聚類和分類，并條理化地排序出來；對于設計院、社科院等科研型檔案用戶，可借助數據挖掘開展針對性的檔案信息挖掘，并將研究成果以概述、成果報告等形式提供給用戶。這樣不光實現了檔案的二次開發，也會給用戶帶來意外的驚喜。網絡最初只是科學家與研究人員之間交換文件的軟件，把因特網用于教育和研究可以得到政府的補貼。在中國，有些事業單位有撥款，圖書館有單位支持，數字圖書館的網絡檔案館是不贏利的，產出是教學和科研的長期社會效益。今天，因特網已經越來越商業化了，網絡在數字經濟中已成為極具潛力的技術投資對象。數字圖書館也可以考慮建立以贏利為目的的網絡檔案庫，采用網絡商務中的一些商務模式，例如網絡廣告、旗幟廣告、贊助廣告、訂閱、B2C等。收入可用于單位數字圖書館網絡檔案館建設的滾動發展。目前人們對這些處于萌芽中的經濟模式認識甚少。

管理網絡的公共政策制定主體是政府部門，推選電子政務，開發網絡資源，是政府部門的重要任務，市場手段和政策平衡是網絡檔案建設、運行應該和必須考慮的。

參考文獻：

[1]彼得·萊曼.把萬維網檔案化.信息化參考，2004（13）

[2]周宏仁等.信息化助建和諧社會的14個著力點.中國信息界，2008（3）

[3]孫德飛.20世紀影響中國檔案學理論發展的因素[A]；檔案事業科學發展：新環境新理念新技術——2008年檔案工作者年會論文集（上冊）