淺析數(shù)據(jù)統(tǒng)計中數(shù)據(jù)挖掘的方法及應(yīng)用意義

魏世昌

【摘要】數(shù)據(jù)，是21世紀(jì)的關(guān)鍵詞，隨著時間的推移，它的重要性將越來越明顯.全球知名的管理咨詢公司麥卡錫就最先標(biāo)榜“大數(shù)據(jù)時代”的到來：“數(shù)據(jù)，已經(jīng)滲透到當(dāng)今每一個行業(yè)和業(yè)務(wù)職能領(lǐng)域，成為重要的生產(chǎn)因素.”那么，如何在紛繁的海量的數(shù)據(jù)中挖掘出有價值的信息來滿足各行各業(yè)的需求？就需要了解數(shù)據(jù)統(tǒng)計中數(shù)據(jù)挖掘的方法以及具體意義，本文將對此做具體分析.

【關(guān)鍵詞】大數(shù)據(jù)時代；數(shù)據(jù)挖掘；統(tǒng)計；方法

一、數(shù)據(jù)挖掘的基本概述

數(shù)據(jù)挖掘就是運(yùn)用一定的數(shù)理方法，從數(shù)據(jù)庫中挖掘有價值的知識，它是當(dāng)前人工智能和數(shù)據(jù)庫領(lǐng)域研究的熱點問題.換言之，數(shù)據(jù)挖掘是一個動態(tài)概念，數(shù)據(jù)庫中存在海量的數(shù)據(jù)信息，這些信息往往是雜亂的，需要人們運(yùn)用一定的方法，從中挖掘出事先未知的并有潛在意義的、隱含的信息.

二、數(shù)據(jù)挖掘的基本方法

一般來說，數(shù)據(jù)挖掘算法可以分為兩種，一種是有監(jiān)督法，一種是無監(jiān)督算法.有監(jiān)督算法主要有邏輯回歸（Logistic Regression）、決策樹（Decision Tree）、人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network，ANN）等，無監(jiān)督法主要包括聚類、最鄰近分析法（Nearest Neighbor Analysis，NNA）、支持向量機(jī)（Support Vector Machine）等，這些算法各有自己的側(cè)重，它們分別從各自不同的角度對數(shù)據(jù)信息進(jìn)行深入挖掘.下面將對這些方法做具體的分析.

1.邏輯回歸（Logistic Regression），這種分析方法主要是反映數(shù)據(jù)庫中屬性值在時間上的特征，生成一個將數(shù)據(jù)項映射到一個實值預(yù)測變量的函數(shù)，通過分析變量或?qū)傩灾g的依賴關(guān)系，多用來分析數(shù)據(jù)序列的趨勢特征、數(shù)據(jù)序列的預(yù)測以及數(shù)據(jù)間的關(guān)聯(lián)程度等.邏輯回歸是目前較常用的機(jī)器學(xué)習(xí)方法，主要用于測算某一事物的可能性.

邏輯回歸由三個部分組成：回歸、線性回歸、Logsitic方程.邏輯回歸屬線性回歸，而線性回歸又屬回歸.邏輯回歸沒有求后驗概率，所以它不像樸素貝葉斯那樣需要滿足條件獨立假設(shè)，但每個特征的貢獻(xiàn)是獨立計算的.

2.決策樹（Decision Tree），每個決策或事件（即自然狀態(tài)）都可能會引出兩個或兩個以上的事件，又會導(dǎo)致相異的結(jié)果，若把這種決策分支用圖形表現(xiàn)出來，就很像一棵樹的枝干，故而稱這種方法為“決策樹”.一般而言，決策樹自上而下畫出，它有四個構(gòu)成要素，即方塊結(jié)點、方案枝、圓形結(jié)點、概率枝.每個結(jié)點一般會引出許多細(xì)支，每條細(xì)支表示一個方案，這一細(xì)支就是方案枝.每個圓形結(jié)點又會引出許多個細(xì)支，用來表示不同的事件，這一細(xì)支就是概率枝.在概率枝上，會標(biāo)明其出現(xiàn)概率，在概率枝的最末稍，標(biāo)明其在該自然狀態(tài)下所達(dá)到的收益值或損失值.

3.人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network，ANN），這種方法源于生物學(xué)中的神經(jīng)網(wǎng)絡(luò)原理，人工神經(jīng)網(wǎng)絡(luò)是一種運(yùn)算模型，由許多節(jié)點連接而成，每個節(jié)點都代表著某種特定的輸出函數(shù)，叫作激活函數(shù).每兩個節(jié)點間的連接都代表一個對于通過該連接信號的加權(quán)值，叫作為權(quán)重，通過這樣一種方式，成功模擬了人類的記憶.網(wǎng)絡(luò)的輸出取決于網(wǎng)絡(luò)的結(jié)構(gòu)、網(wǎng)絡(luò)的連接方式、權(quán)重和激活函數(shù)，而網(wǎng)絡(luò)自身通常都是對自然界某種算法或者函數(shù)的逼近，也可能是對一種邏輯策略的表達(dá).人工神經(jīng)網(wǎng)絡(luò)把對生物神經(jīng)網(wǎng)絡(luò)的認(rèn)識與數(shù)學(xué)統(tǒng)計模型相結(jié)合，借助數(shù)學(xué)統(tǒng)計工具來實現(xiàn).通過數(shù)學(xué)統(tǒng)計學(xué)的方法，使神經(jīng)網(wǎng)絡(luò)能夠具備類似于人的決定能力和簡單的判斷能力，這種方法是對傳統(tǒng)邏輯學(xué)演算的進(jìn)一步延伸.

4.聚類.聚類分析也稱群分析或點群分析，為了讓在同一類別中的數(shù)據(jù)的關(guān)聯(lián)度最大，在相異類別中的數(shù)據(jù)的關(guān)聯(lián)度最小，從而把數(shù)據(jù)按照其關(guān)聯(lián)度和相異程度分成若干個類別.首先，應(yīng)該深入分析數(shù)據(jù)的類別，然后按照一定的指標(biāo)，用數(shù)學(xué)方法將其置于一個多維空間中，定量地定位數(shù)據(jù)間的關(guān)系，并根據(jù)其關(guān)系的親疏程度，對數(shù)據(jù)進(jìn)行聚類.系統(tǒng)聚類方法有如下步驟：① 對數(shù)據(jù)進(jìn)行變換處理；② 構(gòu)造n個類，每個類只包含一個樣本；③ 計算n個樣本兩兩間的距離；④ 合并距離最近的兩類為一新類；⑤ 計算新類與當(dāng)前各類的距離，若類的個數(shù)等于1，轉(zhuǎn)到⑥，否則回④；⑥ 畫聚類圖；⑦ 決定類的個數(shù)，從而得出分類結(jié)果.

5.最鄰近分析法（Nearest Neighbor Analysis，NNA），就是將區(qū)域中點的分布與基于相同區(qū)域中點的理論意義的隨機(jī)分布相比較.理論上，假定所有的點完全隨機(jī)分布，則其平均距離為其密度倒數(shù)值的一半.用這個結(jié)果與借助圖像觀測到的實際的點分布格局相比較，可以得到一個比值，這個比值通常叫作最近鄰指數(shù)（Nearest Neighbor Index），或叫R尺度.

6.支持向量機(jī)（Support Vector Machine），這一方法建立在統(tǒng)計學(xué)習(xí)理論的VC Bound理論（機(jī)器學(xué)習(xí)最重要的理論基礎(chǔ)）以及結(jié)構(gòu)風(fēng)險最小原理的基礎(chǔ)上，根據(jù)有限的樣本信息在模型的復(fù)雜性和學(xué)習(xí)能力之間尋求最佳折衷，以期獲得最好的推廣能力.在具體的應(yīng)用方面，在解決小樣本、非線性及高維模式識別中，與其他方法相比，它具有明顯的優(yōu)勢，并且它還能推廣應(yīng)用到函數(shù)擬合等其他機(jī)器學(xué)習(xí)問題中.

三、數(shù)據(jù)挖掘的應(yīng)用及意義

數(shù)據(jù)挖掘是一種決策支持過程，它的應(yīng)用范圍非常廣泛，在商業(yè)、農(nóng)業(yè)、醫(yī)療業(yè)、電信、教育等領(lǐng)域中，數(shù)據(jù)挖掘都在發(fā)揮自己的價值.隨著互聯(lián)網(wǎng)時代的到來，數(shù)據(jù)以前所未有的速度在增長，有調(diào)查顯示，如今《紐約時報》一期所刊載的信息量，比生活在中世紀(jì)的人們一生所獲得信息量都多.既然數(shù)據(jù)這么海量，就需要使用科學(xué)的方法來挖掘數(shù)據(jù)中蘊(yùn)含的價值，而數(shù)據(jù)挖掘作為數(shù)學(xué)中的重要一環(huán)，正發(fā)揮著巨大的作用.

四、結(jié)語

總之，數(shù)據(jù)挖掘有著十分廣泛的外延，作為目前一個炙手可熱的研究課題，它對社會各個方面都有著十分深層次的影響.為了讓這一課題能更好地服務(wù)于社會，需要對數(shù)據(jù)挖掘的基本方法有著十分明晰的認(rèn)識，這也是本文旨在說明的問題.

【參考文獻(xiàn)】

[1]汪明.數(shù)據(jù)挖掘綜述[J].河北軟件職業(yè)技術(shù)學(xué)院學(xué)報，2012（1）：45-48.

[2]蔡運(yùn)龍，陳彥光，等.地理學(xué)：科學(xué)地位與社會功能[M].北京：科學(xué)出版社，2012.

[3]馬紅娟，趙秀蘭，孫亞萍，鄭喜英.基于數(shù)據(jù)挖掘技術(shù)的概率統(tǒng)計教學(xué)研究[J].經(jīng)濟(jì)研究導(dǎo)刊，2015（6）：220-222.