數據挖掘技術及應用研究

◆黃文秀

?

數據挖掘技術及應用研究

◆黃文秀

（福建農林大學東方學院 福建 350007）

隨著物聯網、移動互聯網的快速發展，我們已經進入大數據時代，數據挖掘是大數據中最重要也是最關鍵的工作，本文主要探討了數據挖掘特點、數據挖掘算算法、數據挖掘過程以及它不同領域中的應用，為進一步研究該課題的人員提供一定的參考價值。

大數據；數據挖掘；算法；應用

0 引言

近幾年，隨著信息化社會的不斷建設，各種信息處理系統像雨后春筍不斷涌現，數據量急劇增長，傳統的數據分析方法已不能滿足人們的需求。數據挖掘作為一種新興的數據分析方法，它以實際中的應用需求，綜合數據庫技術、人工智能、專家系統、統計等多方面技術從海量數據庫中發現隱藏的知識[1]，廣闊的市場和研究利益使得這塊領域發展迅速。目前，數據挖掘已在處理大數據量的各個領域中得到廣泛應用，大量的數據挖掘成功實例說明了數據挖掘對信息處理確實高效可行[2]，它為各類研究人員、商業決策者或者政府企業管理者提供可靠的信息支持，提高了工作效率和經濟效益。

1 數據挖掘定義及特點

數據挖掘(Data Mining)，即數據開挖采掘，數據挖掘的數據來源于實際應用，通過對海量數據的高級處理，提取出隱藏的有用的、讓人容易理解的知識又運用到實踐中去，輔助實際決策。它是一個系統工程，包括數據庫數據準備與管理、數據預處理和數據轉化、挖掘算法研究分析與應用、挖掘結果驗證與展示，這些步驟在挖掘過程中不斷地交互循環。它包括淺層次應用，如數據查詢及報表功能，數據庫聯機分析處理等；高層次應用則是從大數據中發現新知識，提高挖掘數據的價值[3]。

數據挖掘技術具有以下特點：

（1）應用性，數據挖掘的數據源于實際應用，知識通過數據挖掘后又要應用到實際系統中，輔助現實決策。

（2）數據量大、結構復雜，數據規模已從先前的GB、TB躍升到PB，數據形式多樣，如日志信息、圖形圖片、視頻動畫等。

（3）實時性，大數據時代，要求數據挖掘處理速度快，及時反饋結果以隨時提供決策支持。

（4）動態性，由于數據庫中的數據是隨時發生變化的，因此數據挖掘結果只能代表當前狀態的知識信息，隨著時間的推移，要及時進行更新。

（5）集合性，數據挖掘算法、建模方式很多，如專家系統、人工智能、分析統計、數據庫技術等的運用，在一個具體的實例應用中，數據挖掘往往集合多種功能的應用，每種功能都有相關數據模式及挖掘算法的支撐。

（6）價值性，低密度高價值，合理利用看似無價值的數據并對其進行深層次的挖掘分析，將會為商業和社會帶來巨大的價值。

2 數據挖掘的相關算法

（1）關聯規則

關聯規則最早應用在市場購物籃分析中，反映了同時購買某些商品的可能性，是事物之間相互依賴或關聯的知識。如果事件中存在兩項及以上屬性有關聯，則其中一項的屬性值可以通過其他多項屬性值進行預測[4-6]。較著名的關聯規則算法是使用候選項集找頻繁項集的Apriori算法和基于劃分的FP-樹頻集算法。

（2）分類

分類實現的是數據挖掘中的預測任務，反映了事物的共同和差異型的特征知識。分類算法主要有基于統計的樸素貝葉斯、基于規則的決策樹、基于神經網絡的神經網絡算法、基于距離的KNN算法等。應用領域包括醫療、零售業、通信和金融等[7]。

（3）聚類

聚類，即把相似的數據集歸到一起，它按照某個特定標準將數據集分成幾個不同的類，使得同類的數據對象特征盡可能相似，而不同類中的數據特征盡可能的相異。較著名的聚類算法有基于劃分的k-means算法，基于層次聚類的BIRCH算法和基于密度的DBSCAN算法[8]。

（4）時間序列預測

時間序列預測是跟時間相關的，它根據時間序列型數據，利用歷史數據去預測未來數據，這種與時間相關數據進行分析的處理方法即時間序列模型，該模型可根據時間相關的數據尋到一些隱藏的信息來輔助決策，因此也可認為是跟時間屬性有關的關聯知識。現在比較常用的時間序列預測方法有經典的神經網絡、統計方法和機器學習等[9]。

（5）孤立點分析

在一組數據中存在一些與其他數據不同的不符合一般模型的數據，人們把這些數據稱作孤立點。孤立點有可能是人為操作所致，也有可能是數據固有的變異性結果。在某些情況下，孤立點有著重要的應用，如在商業及金融活動中欺詐檢測，網絡信息安全入侵異常監測等。常用的孤立點分析法有基于統計的孤立點檢測、基于距離的孤立點檢測、基于偏離的孤立點檢測等[10]。

3 數據挖掘過程的一般方法

數據挖掘的過程大致可分為以下幾個步驟：建立數據挖掘庫、分析數據、模型訓練、挖掘實施與維護及結果解釋與評估[11]。過程如圖1所示。

圖1 數據挖掘過程

3.1 建立數據挖掘庫

根據業務需求，分析所要挖掘的數據對象，只有準確對目標數據進行定義，才能充分挖掘出有價值的信息。可根據企業現有的數據倉庫去創建一個獨立的數據挖掘庫，主要包括數據源的收集、數據字段描述、正確數據分析、數據字段的選擇、數據的合并整合、元數據構建、數據加載及維護等工作[12]。

3.2 分析數據

分析數據就是進行字段處理，包括從現在挖掘庫中篩選對挖掘輸出影響最大的字段和決定是否增加有用字段。主要包括選擇變量、選擇記錄、創建新變量、轉換變量等工作[12]。

3.3 模型訓練

數據挖掘常用的模型有：分類模型、預測模型、回歸模型、聚類模型等。模型訓練是一個不斷反復的過程。哪個模型能更好地挖掘出有價值的信息，只有對不同的模型進行詳細反復的訓練才能得出結論，在這個過程中可能會得到新啟發，在這些啟發的引導下重新修改變量數據，甚至修改最初對數據對象的理解和定義。在沒有行業經驗的情況下，最好用不同的參數或算法多建立幾個模型進行訓練和測試，直至找到最好的。

3.4 數據挖掘的實施和維護

模型在驗證使用后，挖掘結果主要有兩種使用方法，一是將挖掘結果提供給決策人員作參考，由決策人員提出行動方案；二是把模型應用到不同的數據集上，然后使用OLAP等工具進一步分析。模型進行數據挖掘后，要不斷進行監控，隨著使用時間的增加，事物在不斷發展，原先創建的模型已不可用，這就需要不斷的對模型進行重新測試，直至訓練出可用的模型。

3.5 結果解釋和評估

需要對數據挖掘的結果進行分析和評估，如果分析結果不能滿足挖掘的任務，或者沒有能得到有價值的信息，此時就需要反復前面的步驟，包括重新創建數據挖掘庫、重新篩選數據字段并進行清洗，轉換數據類型，設置新的參數值，研究挖掘算法，使用新模型進行重新訓練，結果輸出方式的可視化處理等，直至得到有價值、令人滿意的挖掘結果。

4 數據挖掘技術的應用

在大數據時代，各行各業處理的數據量急劇增長，數據處理技術不斷提高，數據挖掘作為一種重要的信息處理方式在很多領域都被應用，如教育系統、通信行業、農業生產、財務審計、海量數據的處理等方面都用了數據挖掘技術。

4.1 數據挖掘在教育系統中的應用

數據挖掘在教育教學系統中的應用又被稱為教育數據挖掘（Education Data Ming,EDM），指從教育系統大量的數據中挖掘出有意義的信息供教育管理者、教育者、學習者、教育研究者和教育軟件開發者等提供服務。查閱近幾年的相關論文，發現主要的研究方向及內容如下：

（1）在教學管理中的應用，運用決策樹及關聯算法分析大學生質量培養的因素、及這些因素與學生學習課程之間的關系；將關聯規則應用到教學評價系統中，處理學生對教師的評價、教師之間互評、學校領導對教師評價等的評價數據，挖掘出教學效果和教師的學歷、職稱、年齡的關系，分析影響學生評價結果的相關因素，反饋評教結果，有效促進教師進行教學改革和提高教學能力，為教學管理工作提供科學可靠的依據[13]。

（2）在學生成績管理中的應用，利用數據挖掘中的決策樹分類規則挖掘影響成績的因素，分析學生成績的好壞跟學生的專業、性別、籍貫、任課教師等的關系，利用關聯規則和決策樹算法分析考試成績分布情況，為管理教師改善教學方法、提高教師教學質量提供數據支持。使用關聯規則對學生課程成績進行挖掘分析，得出課程之間的選修后學關系，為管理者安排課程學習提供依據[14]。

（3）在教學評估中的應用，使用關聯規則挖掘教師教學質量與教師的年齡、學歷、職稱及任教時間的關系；使用關聯規則挖掘學生畢業論文質量和學生的學習態度、分析解決問題能力、文獻檢索閱讀能力、文字表述能力、創新等因素的關系，為畢業論文指導教師提供指導意見[15]。

4.2 數據挖掘在農業生產中的應用

（1）在農業專家系統及農業生產決策系統中的應用，利用預測算法實現農作物生長、病蟲害發生時間及種類預測；利用孤立點分析法分析農業氣象狀況，挖掘溫度、濕度、日照、風力等因素出現異常點時氣候發生的變化，為農戶進行防災、減災提供及時、準確的氣象信息服務[16]。

（2）在農業市場信息中的應用，主要包括使用關聯規則發現同時買進相關農產品的信息；利用預測技術預測各種農產品的價格走勢；利用聚類分析對農產品進行科學分類；利用孤立點分析技術找出影響農產品價格的突發事件，如災情、金融、政治、進出口問題等，為農業管理者提供決策支持[16]。

4.3 數據挖掘在通信行業中的應用

主要是采用聚類算法對客戶群進行細分，利用時間序列等預測技術去分析不同客戶的盈利能力、客戶流失保持、客戶信用度及通信流量經營信息，這些挖掘信息能夠幫助通信行業中在客戶群管理中起到重要的作用[17]。

4.4 在其他行業中的應用

數據挖掘還在旅游商務系統、音樂分類問題、上網行為的OLAP聯機分析及預測、自來水供水系統、金融風險評估、醫療信息系統及電子政務中等領域應用，隨著現代信息技術的不斷發展，數據挖掘集多方面先進的信息處理技術于一體，也將充分發揮它的的優勢，提高全社會的信息化水平[18-23]。

5 結束語

本文總結了數據挖掘的定義、數據挖掘的常用算法、挖掘過程的一般方法及在不同領域的應用，數據挖掘技術的發展十分迅速，在不同領域實現了挖掘技術發展及數據資源共享，獲得了巨大的成功，大大提高了人們的工作效率。當今社會處于大數據的信息時代，信息產生價值，信息資源越豐富、越準確，將為企業獲得更多財富。充分利用數據挖掘技術實現數據處理，將為數據庫應用開辟廣闊的前景，為信息社會開辟一個嶄新的時代。

[1]李文慧.數據挖掘與推薦系統對媒體受眾的影響[J].商業文化，2012.

[2]徐濤, 李強.數據挖掘技術及其應用[J].廣西工學院學報，2000.

[3]田艷.數據挖掘技術的應用及發展[J].統計與信息論壇，2004.

[4]張紅艷，都娟.關聯規則中Apriori算法的應用[J].數字技術與應用，2011.

[5]李彥偉.基于關聯規則的數據挖掘方法研究[D].江蘇:江南大學，2011.

[6]易黎，胡雅萌，彭艷兵.探索關聯規則可視化的結構化關聯映射圖[J].計算機應用與軟件，2017.

[7]李玲俐.數據挖掘中分類算法綜述[J].重慶師范大學學報(自然科學版)，2011.

[8]方媛，車啟鳳.數據挖掘之聚類算法綜述[J].河西學院學報，2012.

[9]何曉旭.時間序列數據挖掘若干關鍵問題研究[D].安徽:中國科學技術大學, 2014.

[10]周喜, 曾麗.孤立點數據挖掘技術在審計信息化中的應用研究[J].南華大學學報(社會科學版), 2011.

[11]于飛.基于距離學習的集成KNN分類器的研究[D].遼寧: 大連理工大學, 2009.

[12]鄶淑娥.互聯網用戶的信息行為分析[J].中國管理信息化, 2014.

[13]唐松.基于數據挖掘的高校評教系統設計與實現[D].四川: 電子科技大學, 2010.

[14]岳超，范太華，姬亞利等.數據挖掘在學生成績數據中的應用研究[J].軟件導刊，2013 .

[15]洪江龍.基于數據挖掘的本科專業評估管理信息系統應用研究[D].上海: 上海交通大學，2010.

[16]張文靜，盧海霞，馮艷紅等.農業生產中數據挖掘的應用[J].農機化研究，2008.

[17]周錦文.數據倉庫、數據挖掘在移動業務中的應用[D].湖南:中南大學，2003.

[18]李智文.數據挖掘在音樂分類中的應用[D].湖南:中南大學，2012.

[19]李森.基于數據挖掘的旅游電子商務系統研究與實現[D].四川:電子科技大學，2011.

[20]劉夢超.數據挖掘在上網行為分析中的應用與實現[D]. 湖南:南華大學，2013.

[21]張駿.數據倉庫和數據挖掘在馬鞍山供水系統中的應用[D].黑龍江:哈爾濱工業大學，2007.

[22]譚燕妮.數據挖掘在信息風險評估中的應用[D].湖南: 長沙理工大學，2013.

[23]左穎.數據挖掘在醫學數據分析中的應用[D].湖南:國防科學技術大學，2007.

福建省中青年教師教育科研項目(JAT160682)。