數據挖掘在知識管理系統中的研究與應用

/南京理工大學

隨著信息時代進一步推進，智能時代即將來臨，知識在經濟中的作用和地位日漸重要，已成為企業創新與發展的基礎力量，只有不斷掌握和創造知識的企業，才能在行業的激烈競爭中不斷壯大和發展。因此，知識管理作為一種全新的管理模式能為提高企業核心競爭能力奠定基礎。

知識挖掘技術一直是學術界和企業界研究的熱點，知識挖掘本質即為數據挖掘，旨在通過潛在、有價值的信息提取，提升知識的利用效率。對于內容龐大、維度多、交叉多的知識庫而言，借助以人工智能、機器學習及語義網為基礎的數據挖掘技術，將極大提升知識的使用效率。

在此，筆者通過對數據挖掘技術+知識管理的融合研究，建立通用的知識框架，實現知識發現、知識查重、知識推送、知識轉移等功能，推動知識管理在企業創新、技術創新、業務流程中發揮作用，進而提升企業的競爭力。

一、系統需求

知識管理系統已經實現了顯性知識的采集、存儲、組織等全流程管理，基于知識問答、知識微博的隱性知識挖掘，以及基于本體的知識地圖的可視化展示。但隨著知識庫中的知識資源持續增加，如何實現知識的快速查找、知識查重、智能推送等功能，對知識管理系統提出了更高的要求。

一是智能技術檢索。知識管理系統中數據存在多樣性，包括結構化數據和非結構化數據，并且數據隨著時間的推移呈指數級增長，但傳統檢索的覆蓋率和準確度會越來越低。因此，在本體庫的基礎上，借助于Solr檢索引擎可實現基于本體的智能知識檢索，以使知識的管理水平從簡單的交互式向智能化發展。

二是基于數據挖掘的知識推送。用戶在使用知識管理系統的過程中，系統自動記錄用戶的操作行為，通過數據挖掘技術分析用戶的行為，并將相關的知識資源推送至用戶的個人中心。

三是基于崗位的知識關聯技術。在產品的設計過程中可以通過知識資源復用技術并借助數據挖掘技術，將知識庫相關知識資源推送至設計過程相關人員的工作環境中。

四是基于業務驅動的知識推送技術。研究工作情境等知識管理理論方法，形成以業務節點為核心的知識推送技術體系，并實現以預研、設計、生產階段為核心的知識固化與推送，從而滿足多種應用場景需求，形成知識主動找人的應用效果。

二、系統設計與實現

以流程為總線，以知識管理為驅動，以數據挖掘技術為基礎，建設現代化、智能化、一體化的知識管理系統，以滿足基于大數據的知識化管理需求，提升企業的知識管理能力。

1.總體架構

基于數據挖掘的知識管理系統的架構由應用層、支撐層和數據層組成，如圖1所示。

圖1 系統總體架構

應用層面向使用系統的各類用戶，通過全文檢索、知識地圖、知識社區、知識庫、專家網絡、系統推薦等模塊，為不同設計人員提供支撐。

支撐層是整個系統的基礎，通過大數據處理、本體技術、數據挖掘技術、流程引擎、算法庫等功能，實現數據的解析與傳遞。

數據層是系統的資源池，為各類用戶提供協同設計過程中需要的知識、數據和文件，包括本體庫、規則庫、知識庫、專家庫、算法庫及索引等。

2.技術架構

技術架構是功能架構的技術實現方式。本系統將基于大數據技術、知識推送、本體技術實現基于數據挖掘技術的知識管理系統。其主要通過知識采集、智能檢索、應用等技術路線的集成，實現知識產生、識別、組織、處理、檢索、應用的迭代過程，其系統技術架構如圖2所示。

知識采集。在任務管理、知識上傳及流程管理過程中，通過開展項目需求分析、設計、總結、流程分析等過程，將整個過程使用支撐資源、約束資源進行存儲。最后，通過知識萃取技術將知識資源進行梳理，再存入知識庫。

智能檢索。為了實現多源知識庫快速檢索，以知識屬性的關鍵詞搜索為基礎，基于Solr引擎和本體技術實現知識庫、社區庫、流程庫、崗位知識庫等數據信息的全文快速檢索及分類展示等功能。

知識應用。在項目管理、崗位流程中，根據人員的專業背景、項目背景、流程節點等因素，通過知識挖掘與推送技術將相關知識資源推送給用戶，進而幫助用戶完成知識復用、任務分解、流程驅動等功能。

三、數據挖掘在知識管理中的應用

1.基于Solr和本體的智能檢索

智能搜索就是結合人工智能技術提高知識全文檢索的準確性、全面性，還能提供用戶興趣自動識別、內容的語義理解、智能化過濾和推送功能。本體提出了基于Solr和本體技術進行關聯搜索，通過本體解析技術識別本體庫中的同義詞、近義詞，再通過Solr解析引擎實現全文檢索，其整體流程如圖3所示。

圖2 系統技術架構

圖3 智能檢索技術

2.基于數據挖掘的知識智能梳理

知識智能梳理是根據用戶構建的行業知識樹，應用數據挖掘技術對知識樣本進行特征提取，根據提取的內容自動歸類知識樣本。知識智能梳理是基于行業知識的文本自動分類方法，首先根據行業知識特點建立行業知識樹，然后對行業知識樹進行語義分析，從而得出行業知識的分類方式。 知識智能梳理流程包括行業知識樹的構建和對樣本知識的分類算法的實現，其整體流程如圖4所示。

行業知識樹。不同行業和應用對象的知識組織具有不同的特征，行業知識樹根據行業特征定義知識的層次結構及語義關系，從而描繪整個行業知識，包括知識分類的屬性信息。

知識分類算法。根據行業知識樹對樣本知識進行特征提取，根據特征信息對樣本知識進行分類，并存入知識庫。

3.基于機器學習的知識查重

基于機器學習的知識查重涉及知識文本分詞、文本分類、機器學習訓練以及查重邏輯和評估等主要關鍵技術。在知識分類過程中，針對未標注文本需用機器學習訓練階段獲得的分類方法進行分類判斷。在分類判斷基礎上，針對新樣本文本進行完全字符匹配，以段落及連續n個字符為單位（n可配置）進行逐篇遍歷查詢，累計獲取知識全文的重復率，再結合知識歸類相似度進行權重加權，以獲取總相似率，具體過程如圖5所示。

圖4 基于數據挖掘的知識自動分類

圖5 文本分類及查重的主要流程

圖6 基于情境感知的知識推送流程

在訓練過程，首先從上傳知識中獲取全文文本，分詞并去除停用詞；然后按照一定的算法從標注好類別的訓練樣本中獲取預期的分類器，可以采用多種算法進行分類，也可以在數據離散化后使用簡單向量距離分類法方法得出—個決策樹，作為預期的分類器。

4.基于數據挖掘的知識推送

知識推送屬于知識管理中一種新的獲取策略，通過改變傳統的知識獲取方式，系統自動將相關知識資源推送給用戶，實現以人為中心的知識組織，同時根據員工不同的知識水平推送相應的領域知識，或根據用戶行為模型有針對性地為用戶推送相關知識。

基于用戶行為的知識推送。根據用戶的專業背景、瀏覽記錄和業務場景挖掘關聯知識并進行主動推送，主要包括用戶行為特征獲取功能、用戶興趣模型構建功能、用戶知識推薦功能等。

基于情境感知的知識推送。根據情境實時動態的變化情況，動態評估應急情境的相似度，進而生成知識需求，依據知識的需求和推送規則將所需知識實時推送給相應的應用系統或領域專家，其流程如圖6所示。

筆者通過分析數據挖掘在提高知識管理系統智能化方面的支持和應用，分析系統需求，提出了基于數據挖掘的知識管理系統總體架構及其關鍵技術。后續，根據業務發展需求還將進一步完善系統的相關功能，以期為新一代知識管理系統建設奠定基礎。