基于神經網絡的數據挖掘算法研究

王春梅

摘 要： 神經網絡可以實現分類、預測等多種網絡模型。將神經網絡的BP（前饋神經網絡）和SVM（支持向量機）數據挖掘算法應用于西安地區的空氣質量預測，雖然它們的泛化和收斂能力不同，但通過以往的歷史數據訓練網絡模型。實驗結果證明該算法可以較準確地預測未來的數據。

關鍵詞： BP神經網絡； 支持向量機； 核函數； 數據挖掘

中圖分類號： TN711?34 文獻標識碼： A 文章編號： 1004?373X（2017）11?0111?04

Research on data mining algorithm based on neural network

WANG Chunmei

（School of Computer Science and Technology， Xian University of Posts and Telecommunications， Xian 710121， China）

Abstract： The neural network can classify and predict the various network models. The data mining algorithm based on BP neural network and SVM is applied to the air quality prediction in Xian region. Although the BP neural network and SVM method have different generalization ability and convergence ability， the past historical data is used to train the network model. The experimental results prove that the data mining algorithm can predict the future data accurately.

Keywords： BP neural network； support vector machine； kernel function； data mining

0 引 言

近年來空氣污染嚴重，空氣問題不容忽視，準確的空氣質量預測具有極大的現實意義。神經網絡算法在數據挖掘中占有重要的地位，因為網絡模型、復雜度等不同，神經網絡可以擬合各種曲線實現分類、預測等多種模式，至今神經網絡已經研究出了多種類型來適應不同的要求。

神經網絡要求網絡模型對訓練數據集有比較好的逼近能力，也需要對訓練集之外的分布數據能給出比較精準的預測。泛化能力即經過訓練學習得到的預測模型，對沒有在訓練集中出現但是具有一定規則的數據能有比較準確的預測能力，不只是普通的保存學習過的樣本，而是需要進行有限次數據的訓練，找到未知的規律。

本文基于神經網絡的BP算法和SVM算法利用已有的歷史數據訓練網絡模型，對未來的天氣進行較為準確的預測工作。

1 BP算法

前饋神經網絡是一種典型的神經網絡模型，網絡具有分層結構，輸入數據從輸入層進入到前饋神經網絡，經過輸入層和隱層傳遞到輸出層。不同的前饋網絡節點限制函數、神經元個數、隱層個數、權重修改方法能夠實現擁有多樣能力的前饋神經網絡。

只有一個隱層的感知器只能解決輸入數據線性能夠區分的問題，但很多分類問題的輸入數據都是線性不能區分的。要完成線性不可分的難題，需要在結構中加入隱層。含有多隱層的前饋網絡相比于單層感知器的區分效果有明顯的提升。因為誤差相反傳遞算法經常用于神經網絡，所以也叫BP網絡。

1.1 基本思想

BP學習過程分為兩個過程，即輸入數據經過輸入層和隱層正向流給輸出層，輸出層的誤差經隱層反傳給輸入層。正向傳播時，輸入數據從輸入層到達，經過每個隱層的加工后，再傳遞給最后的輸出層。如果輸出數據達不到預期目標，則進入誤差的反向傳遞。誤差的反向傳遞是指將最后一層的誤差經過某種方法，經網絡的隱層反轉傳遞向輸入層，將誤差均勻給網絡每個層的所有神經元節點，因此得到網絡每層神經元節點的誤差信號，通過節點獲得的誤差來調整節點。這兩部分反復，通過不斷地權重修改將誤差減少到比較滿意的情況，或達到學習次數上限。

1.2 基本原理

三層BP網絡模型圖如圖1所示。

在該三層前饋網絡中，為輸入向量，代表隱層神經元節點的閾值；隱層輸出為圖1中是為輸出層神經元引入閾值設置的；輸出層的輸出向量為預期輸出網絡的隱層和網絡輸入層的權值用矩陣表示；用表示網絡隱層到網絡輸出層的權值矩陣。

對于輸出層來說：

（1）

對于隱層來說：

（2）

轉移函數為：

（3）

1.3 學習算法

當網絡輸出距離預期結果有差距時，代表輸出誤差。

隱層：

（4）

輸入層：

（5）

據式（5）得知，網絡誤差展開到輸入層只和有關，要想減小誤差，就要修改神經元的權值。

假設網絡有個隱層，神經元數代表網絡隱層的輸出，為權重，則權重修改公式如下：

輸出層：

（6）

第個隱層：

（7）

遞推可得：

（8）

在BP算法中，所有的權重修改公式都一樣，都取決于學習率、輸入和本層的輸出誤差。模型每層的輸出誤差和模型的總誤差有關系，反映了模型輸出的誤差。網絡中每一個隱層的誤差都和前面每個網絡層的誤差有聯系，都是經過網絡的輸出層一層一層地向前回傳。

2 SVM算法

2.1 基本思想

從線性可分的方向來看，支持向量機的本質是尋找一個最優決策超平面，使其兩側和到平面距離最近的數據點之間的距離最大，有良好的泛化推廣能力。而對于非線性可分問題，根據Cover定理：如果分類問題在低維上不可分，那么將其非線性地映射到高維特征空間可能是線性可分的，只要變化是非線性的并且特征空間的維度很高，所以模式空間可以從低維變換到高維特征空間，讓問題在高維中有很大的可能可分。

2.2 基本原理

SVM方法是一個三層網絡構建的過程，分類超平面的向量為網絡的權值，隱層使用非線性映射函數把數據輸入向量從低維映射到高維的特征向量空間中。

設是維的輸入向量，低維輸入的空間經過非線性變換到維特征空間：

（9）

式中：是權重；是偏置。

特征空間分類超平面為：

（10）

式中：代表第個輸入向量在高維特征空間的像和輸入向量在特征空間的像的內積。

使用內積函數得到超平面：

（11）

支持向量機的基本思路是：對于非線性可分問題，讓輸入樣本從非線性低維變化到高維特征空間后，使其在高維特征空間線性可分，讓支持向量的個數是去除向量為零，最優超平面判別函數為：

（12）

2.3 學習算法

在使用內積核函數的情況下，SVM學習算法如下：

（1） 訓練樣本

（2） 在約束條件下求解，讓目標函數：最大化的矩陣的第個元素是。

（3） 計算最優的權值：

（4） 對于待分類模式計算判別函數：

根據的值，判斷的類別。

向量機的設計不完全依靠設計人員的經驗，因為得到的是全局的最優解，泛化能力較強。但是因為矩陣運算耗時，所以訓練速度相對緩慢。

3 測試實驗

3.1 BP算法實驗

首先定義網絡結構，根據多次實驗，最終確定的網絡結構如圖2所示。網絡的輸入層節點數設計為5、輸出層節點數選擇為4、隱含層節點數選擇為100。隱層的轉移函數是Sigmoid函數，輸出層轉移函數為Purelin函數。

由于是時間序列預測，得到了以前數據后，令是第個輸入，令是第個輸出。輸入層節點總數用表示，代表輸出層節點的總數。

利用BP算法，根據2013年11月—2014年12月的西安歷史空氣質量數據，對2015年1月空氣質量預測結果折線圖如圖3所示，數值參照表如表1所示。

3.2 SVM算法實驗

本次實驗采用Gauss來模擬RBF網絡預測空氣質量。Gauss核函數需要參數。如果會發生嚴重的過學習現象，即泛化能力較弱；當時會有前學習現象。

其次需要樣本準備，因為歷史空氣質量的變化趨勢能反映空氣質量的規律。輸入參數是歷史的空氣質量輸出是下一日期的空氣質量。是輸入空間的維度，是空氣質量預測的步長。此處選取來預測未來1個月的空氣質量。

使用lssvm的tunelssvm函數，采用最小二乘法對Gauss核函數的參數和SVM參數進行尋優，找到合適的Gauss函數參數，再使用工具箱trainlssvm函數進行訓練，然后連續預測得到2015年1月的空氣質量預測值。

利用SVM算法，根據2013年11月—2014年12月的西安歷史空氣質量，對2015年1月空氣質量預測結果折線圖如圖4所示，數值參照表如表2所示。

3.3 實驗結果對比

從圖5和圖6得知，針對得到的樣本和實現的算法模型，BP算法模型和SVM支持向量機對2015年1月空氣質量的總體走勢的預測相差不多，對于實際的空氣質量，仍舊有較大的誤差。SVM的均方誤差略小于BP的均方誤差，但是BP算法網絡模型需要大量的時間訓練，而SVM網絡參數尋優使用的時間要少得多。

4 結 語

BP算法在神經網絡中使用最普遍，但卻不能適用于所有的問題，確定網絡的層數和節點數仍然需要網絡設計者的經驗和不斷的試驗調整。BP網絡還具有學習速率慢，易陷入極小值，泛化能力等問題需要人們解決。SVM由統計和數學理論發展而來，它能夠解決分類、回歸、預測等問題。對于線性不可分的問題，SVM能夠把其對應于特征空間內，使其線性可分。SVM核心在于核函數，不一樣的核函數可以模擬不同網絡應用在不同問題。但是關于核函數的參數如何選取，在領域內仍然沒有一個成熟的理論。數據挖掘中BP算法和SVM算法仍然有一些問題沒有統一的解決理論，但是這并不妨礙數據挖掘的潛力。相信隨著研究的不斷深入，理論的不斷完善，這些問題都將會迎刃而解。

參考文獻

[1] HAN Jiawei，KAMBER MIcheline，PEI Jian.數據挖掘：概念與技術[M].3版.北京：機械工業出版社，2012.

[2] 張良均.數據挖掘：實用案例分析[M].北京：機械工業出版社，2013.

[3] 陳封能.數據挖掘導論[M].北京：人民郵電出版社，2011.

[4] 朱明.數據挖掘[M].合肥：中國科學技術大學出版社，2008.

[5] 韓力群.人工神經網絡理論、設計及應用[M].2版.北京：化學工業出版社，2007.

[6] 王小川.Matlab神經網絡43個案例分析[M].北京：北京航空航天大學出版社，2013.

[7] 施彥，韓力群，廉小親.神經網絡設計方法與實例分析[M].北京：北京郵電大學出版社，2009.

[8] 張德豐.Matlab神經網絡應用設計[M].北京：機械工業出版社，2011.

[9] 趙紅.Matlab神經網絡應用設計[M].北京：機械工業出版社，2010.

[10] 陳明.Matlab神經網絡原理與實例精解[M].北京：清華大學出版社，2013.