淺談數據挖掘

曾令思 王鐵方 首都師范大學

?

淺談數據挖掘

曾令思 王鐵方 首都師范大學

【文章摘要】

【關鍵詞】

大數據；數據挖掘；數據存儲

前言

隨著信息時代的來臨，網絡技術的發展和普及，各個行業都有爆炸性的數據增長，這些海量的數據中隱藏著我們需要的信息和財富。國際數據公司（ΙDC）報告稱，2011年全球被復制和創建的數據總量就已經大得驚人，在短短幾年時間內增長了近9倍，而且預計這些數據每兩年就將至少增加一倍。并且，政府機構也對外宣稱了要加快數據研究進度這一重大計劃，各行業也在積極討論數據挖掘研究帶來的吸引力。面對如此龐大的數據，以及這些數據背后的價值和新的機遇，挖掘和研究這些數據就會給我們帶來挑戰和切實的利益。

1.數據挖掘研究的產生和發展

早在1989年8月美國底特律召開的第11屆國際功能會議上就出現了KDD這個術語，1995年學術界和工業界共同成立了ACM數據挖掘與知識發現專委，后者發展成為數據挖掘領域的頂級國際會議。數據挖掘是一門交叉學科，涉及到各個行業和各個領域，同時，隨著各行業對大量數據的處理深度和分析上的需求的增加，數據挖掘研究已經成為了學術界研究的熱門學科，同時也受到各領域的重視。

經過多年的發展，數據挖掘研究領域成果頗豐，已經有了一套自己的基礎理論。從大體趨勢來說，國內和國外的研究方法和方向有差異，尤其是在某些方面還是存在著一定的差距。總的來說，國外的研究更偏重交叉學科和理論基礎的研究，而國內則偏重于實際的應用上，用數據來解決實際的問題。同時，國內的學者在研究上也處于世界前沿水平，在國際舞臺上也有十分突出的成績，近年來也頻頻有國內團隊登上國際領獎臺。

在20世紀90年代中后期，用關聯規則來進行挖掘、分類、預測等被逐漸用于時間序列數據挖掘和空間數據挖掘，以發現與時間和空間相關的有價值的模式，這些手段使得數據挖掘研究領域已經有了一些比較成熟的技術。如今的定位系統、手持移動設備等設備的普及和應用積累了大量的移動對象數據，對這些數據領域的研究使我們受益匪淺。近年來，數據挖掘研究已經滲透到生物信息、醫療衛生、智能交通、金融證券、社交網絡、多媒體數據挖掘、軌跡數據、文本數據等各大領域。這些領域與數據挖掘研究接軌后又會出現一些新的機遇和挑戰。

2.數據挖掘的技術方法

通常情況下我們把數據挖掘方法分為兩大方面，一是人工智能領域中的機器學習型，這種類型通過訓練和學習大量的樣品獲得需要的模式或者參數；二是統計類型，有判別分析、相關性分析和概率分析等技術。

2.1可視化技術

可視化技術指采用計算機圖形學和圖像處理技術，把抽象的東西轉換成圖像并且在屏幕上顯示出來的一種讓人一目了然的方法，從而進行交互處理的技術。它將幾何數據繪制成目標圖像，將圖像按照要求進行輸出顯示在屏幕上。

2.2模糊技術

通過利用原有的數據挖掘技術的同時，結合模糊理論，從大數據中發現更為廣泛的內容，并將其挖掘出來以方便用戶理解。因為模糊性的客觀存在，而且復雜性較高，因此，數據采集之間的關系表現出十分的模糊。將模糊理論與數據挖掘技術結合從大量、不完全的數據中提取潛在的、模糊決策、模糊模式識別和模糊聚類分析。

2.3粗糙集方法

粗糙集理論為一種描述不確定性和不完整性的數學工具，可以有效地處理和分析不完整、不一致、不精確等信息，并從中發現知識，揭示規律。粗集理論是處理模糊數據的有力工具，且粗集理論的創建和研究的出發點是直接對數據進行分析和推理，發現隱含的知識并揭示規律。

2.4神經網絡

指能夠模仿人腦神經元的人工神經網絡，并能進行信息的處理。需要通過一定時間的訓練才能增強挖掘結果的可理解性。其工作原理是根據人腦神經元的原理，通過不斷修正其內部的節點間相互連接的關系達到處理信息的目的。

2.5遺傳算法

遺傳算法是在生物進化過程中，在組合優化的基礎上的提出的，這是生物學與計算機結合的產物。就像生物的進化一樣，會選擇適宜度更強的個體進行交換和變異，通過時間和空間上的類比，能夠使大量數據系統化和簡單化，以方便找到他們的內在聯系獲得概念和模式。

2.6決策樹

決策樹的構造不需要任何領域的知識，很適合知識的挖掘并且可以處理高維度的數據。決策樹可以被大多數人所掌握，并且，不需要太多的專業知識。

2.7關聯規則

關聯規則挖掘技術就是從大量數據中發現其相關性，這也是最常見的數據挖掘的方法。通過層層的篩選以減少候選的子集數，從而加快了關聯規則挖掘的進度。

3.數據挖掘的應用

數據的應用實質上是利用數據的分析結果，為用戶提供輔助決策，發掘潛在價值的過程。數據挖掘技術是面向應用的，是為了獲取信息來服務各行業。隨著數據挖掘研究的深入與成熟，發展和推廣，數據應用技術也會越來越廣泛。現階段，數據挖掘應用主要集中在以下方面。在金融業上：用于銀行行業各種趨勢預測，優化存貸策越等。客戶關系管理：用于分析客戶的行為，對客戶進行分類，改善客戶關系等。生物信息：用于各種染色體、基因序列的識別以及制藥生物信息和科學研究等。電子商務：用于在線交互式營銷系統的經營模式、市場策略等方面來優化網站結構，改善網易推薦和商品推薦內容等。零售業：數據挖掘技術被用來進行分析購物籃來協助貨架設置，安排促銷商品的時間等商業活動。

4.結語

數據的挖掘與研究開啟了一次重大的時代轉型，這個時代將是技術推動了數據的發展，是數據推動著社會前進。它通過對數據的挖掘和分析發現數據中潛在的價值，并具有重要的研究意義的實際應用價值。數據挖掘研究有著廣泛的應用前景，對數據的深入挖掘分析，也將是我們未來努力的方向。

【參考文獻】

［1］吉根林，趙斌。面向大數據的時空數據挖掘綜述［J］。南京師范大學學報（自然科學版），2014，37（1）：91-98。

［2］劉大有，陳慧靈，齊紅，等。時空數據挖掘研究進展［J］。計算機研究與發展，2013，50（2）：225-239。

［3］王雅軒，項聰。數據挖掘技術的綜述［J］。電子技術與軟件工程，2015：204-205。

［4］萬家華，劉冰，江早。知識發現中的可視化技術［J］。計算機科學，2000，27（增刊）：131-134

［5］何新貴。數據采掘中的模糊技術［J］。計算機科學，1998，25（專刊）：129-131

隨著網絡的發展與普及，各個行業都有著大量的數據需要存儲。然而，如何挖掘和利用這些數據，將他們轉變為有效信息，更好地為人們服務，一直是數據挖掘的最終目的。本文主要研究利用數據分析研究的方法，把數據轉化成信息，實現數據的價值。并介紹了數據挖掘研究的產生和發展，以及數據挖掘的技術和方法、在生活中的應用。