淺談數據挖掘技術及其應用

李星星 段超

摘 要： 數據挖掘就是從海量數據中提取潛在有趣模式的過程。數據挖掘技術現已廣泛應用于零售業、金融業、電信、網絡安全分析、農業、醫療衛生等領域，研究十分廣泛。

關鍵詞： 海量數據；數據挖掘；應用研究

【中圖分類號】 TP311.1 【文獻標識碼】 A【文章編號】 2236-1879（2018）14-0178-01

一、數據挖掘概念

數據挖掘比較公認的定義是由U.M.Fayyad等人提出的：數據挖掘就是從海量數據中提取潛在有趣模式的過程[1]。還有一些術語，具有和數據挖掘類似但稍有不同的含義，如數據庫中知識挖掘、知識提取、數據/模式分析、數據考古等。數據挖掘技術最初是面向應用層面的，不光可以實現檢索和統計專門數據庫的操作，還能夠在大量的數據集中實現小型、中型乃至大型系統的分析、歸納、推理等工作。

二、數據挖掘的基本任務

數據挖掘的目的就是發現有用的知識（即概念、規則和模式）。數據挖掘的基本任務主要有以下幾個方面：

（1）分類與預測。

分類屬于有監督的學習，在構建分類模型之前，在數據源中選取訓練集數據并作分類標記，然后運用分類模型對訓練集數據進行分類，實在是按照樣本屬性相近的劃入一類，最后將完成訓練的分類模型應用到在未知類別的數據集中，獲得相應的分類。預測是依據歷史數據和現有的數據建立兩種或兩種以上變量間相互依賴的函數模型，然后進行預測或控制。

（2）聚類分析。

聚類分析是在識別數據的內在規則后，將數據分成相似數據對象組，從而獲得數據的分布規律，劃分的原則是不同組間距離盡可能大，組內距離盡可能小。聚類分析進一步是打算從一組雜亂的數據中發掘隱藏其中的分類規則。聚類分析與分類模式模型不同，分類模式是使用有標記樣本構成的訓練集的一種有監督學習方法，則聚類模型是使用在無標記的數據上的一種無監督學習方法。近年來，聚類分析在圖像處理、商業分析、模式識別等有廣泛應用。

（3）關聯規則。

關聯分析是通過對數據集中數據之間隱藏的相互關系的分析，揭露了具有相同類別的數據之間未知的關系。關聯分析就是將給定一組項集和一個記錄集合，通過對記錄集合的分析，推導項集間的相關性，側重確定數據中在不同領域之間的聯系，并找出符合用戶給定的最小支持度和最小置信度的依賴關系。著名的Apriori算法就屬于目前關聯規則中最常用的算法模型之一。

（4）時序模式。

時間序列預測是一種依據事物過去的歷史資料記錄延伸到未來的預測，是以時間序列所能反映現象的發展過程和規律性，建立比較精確地反應動態依存關系的數學模型，然后進行引伸外推，預測其發展趨勢的方法。

（5）偏差檢測。

偏差檢測，也稱異常檢測，主要是從數據中提取其中的偏差和異常。偏差檢測的方法主要有：（1）基于鄰近度的技術；（2）基于模型的方法；（3）基于密度的技術。

三、數據挖掘的應用領域

數據挖掘技術現已廣泛應用于零售業、金融業、電信、網絡安全分析、農業、醫療衛生等領域。

（1）零售業方面：該方面的應用最早是在美國，超市運用數據挖掘分析售貨記錄從中發掘有關購買商品的一些特征，來調整擺放商品的位置，提高了銷售額。

（2）電子商務方面：利用數據挖掘技術來分析系統中客戶購買記錄，得到如學生、白領、教師等不同客戶群體，然后按照客戶群體的劃分來提供個性化的促銷活動。

（3）金融業方面：美國花旗銀行運用數據挖掘來智能分析銀行信用卡業務數據來區別客戶信用等級，其惡性透支減少了，且每年避免的損失達十幾億美元。結合分析客戶的刷卡記錄之后的結果實現對客戶的流失風險的預測；運用數據挖掘來識別和判斷非正常的交易，有效地減少客戶和企業的意外損失；通過分析客戶消費特點來推薦合適的理財產品。

（4）通信方面：為了發掘客戶潛在需求，通過對以往客戶行為特征數據挖掘分析，應用挖掘結果在風險可控范圍內來制定針對性的套餐設計與定價，提高了套餐的接受度，避免了老客戶的流失和增加了新入網數，實現了業務量的提升。

（6）網絡安全方面：計算機網絡安全管理部門在信息系統的安全管理中，運用基于規則集的訪問控制技術和系統網絡日志文件，通過數據挖掘技術檢測出系統未授權用戶非法訪問受保護數據，來檢測黑客程序的入侵。

（7）在農業方面，通過衛星圖片作為信息源預測森林火災的路徑和趨勢。Umama-heshwaran et al.[22]利用衛星拍攝的圖片來研究森林火災的產生以及發展時的動態變化過程，開發了一個實時監測系統，能夠實現對森林火災變化的檢測和跟蹤。

（8）在醫療方面，Maria-Luiza Antonie[2]通過對比數據挖掘技術中的關聯規則和神經網絡來乳腺癌圖片的實驗結果，分類精確率都能達到70%，而關聯規則效果更好。通過有效的乳腺癌圖片的分類可以減少醫生準確獲取有效信息的工作量。

（9）在Web數據挖掘中，將數據挖掘應用到搜索引擎，產生智能搜索引擎，給用戶提供一個高效、準確的Web檢索工具。還將數據挖掘用到站點訪問模式分析、網頁內容自動分類、聚類等[3]。

參考文獻

[1] 王國勛.基于多目標決策的數據挖掘模型選擇研究：[博士學位論文].成都：電子科技大學，2013.

[2] 丁沖，范鈞，欒添.圖像數據挖掘相關研究綜述—概念和應用[J].統計教育，2008（12）：8-12+7

[3] 楊占華，楊燕.數據挖掘在智能搜索引擎中的應用[J].微計算機信息，2006（12）：244-246.