支持向量機和神經網絡的融合

(成都理工大學 四川 成都 610059)

一、前言

隨著信息時代的來臨，大數據已經成為當代社會一個重大時代變革的起源。因此，大數據的分析和應用越來越受到人們的關注和歡迎。分類問題是處理大數據時最常見的問題，它已成為研究大數據的重要組成部分。因此，各種各樣分類算法在大數據分析領域大放異彩。有計算簡單，易于理解，可適應不同的數據類型的決策樹算法；也有簡單有效的k近鄰算法；還有適用于小樣本數據的支持向量機以及適合非線性數據的神經網絡算法等。在數據分類算法中，人工神經網絡(ANN)以其學習能力、大規模并行計算等方面的優異表現成為分類算法的代表之一。當然，任一領域都不缺乏追趕者和挑戰者，支持向量機(SVM)憑借其在處理非線性數據表現優異、魯棒性強的優勢與人工神經網絡并駕齊驅。在機器學習領域中，人工神經網絡和支持向量機一直處于“對抗”狀態。“支持向量機的提出就是為了打敗并取代神經網絡。”Sch?lkopf如是說道(Vapnik V，1971)。支持向量機，在處理線性不可分問題時采用核函數方法，將其轉化為高維狀態下的凸二次規劃問題，從而受到廣大研究者的關注與追捧。2006年，Deep Learning神經網絡算法由神經網絡大師Hinton(2006)提出，Deep Learning神經網絡算法與普通的神經網絡算法相比，處理能力更高。據Hinton所說，Deep Learning的這個名字完全是為了“反擊”支持向量機(因為對于支持向量機，他認為是“Shallow Learning”)。2004年，Guang-Bin Huang及其團隊的極限學習機(ELM)的提出,也掀起了機器學習新的浪花。

支持向量機是一種基于Vapnik的統計學習理論的高效的機器學習方法。從1981年開始,Vapnik(1971)和他的合作者提出了各種重要基礎理論。到了1995年,Vapnik總結自己的研究，整合出了統計學習理論(Vapnik，1982)，并首次提出來了這一新概念——支持向量機。由于支持向量機在對于小訓練樣本的學習精度和能識別任意樣本且無錯誤的能力之間取得了平衡,因此擁有優異的泛化能力。

支持向量機分類的本質是將求解問題劃分為一個二次規劃的優化問題，繼而通過解決二次規劃問題來解決原問題。對于二次規劃問題，研究者研究出了各種改進算法，并且算法表現優異，尤其是在某些特殊問題的解決中。

支持向量機優勢是在于：小樣本問題、非線性數據分類及高維模式識別效果好，泛化能力強，并且易推廣。由于支持向量機在函數回歸、預測控制、數據挖掘、計算機入侵檢測、金融序列分析等領域獲得顯著優勢，由此成為研究焦點，支持向量機的研究，主要集中在核函數方法。研究出最適合于樣本的核函數，是現在SVM研究的基本方向。

神經網絡是抽象、簡化與模擬人腦結構的簡易網絡。由于它是人腦的模仿，人腦具有的基本的自組織、自適應和自學習的能力，神經網絡也擁有。由于這個特性，神經網絡可處理模糊的信息問題。所以，目前神經網絡已廣泛應用于語音識別、圖形識別與理解，計算機視覺、智能機器人、故障檢測等領域中(郭虎升，2009)。雖然神經網絡的研究一波三折，但從九十年代至今，神經網絡的研究幾乎滲透到了科學的各個領域，眾多研究領域的學者專家紛紛加入到神經網絡的研究，在模型的設計、動力學研究、模型的應用各個方面取得了大量成果。

二、RBF神經網絡和支持向量機

RBF是Radical Basis Function的簡稱，即徑向基函數。什么是徑向基函數？徑向基函數就是以到固定點的距離為自變量的一類函數.徑向基函數的函數形式如，其中自變量為，代表空間中某一點x到某一中心點c之間的歐式距離。1985年，Powell提出了多變量插值的RBF法，故RBF應用于神經網絡的設計其思想根源在于解決插值問題(劉輝耀，2017)。權值與基函數的乘數,構成了大小各異的徑向基函數值，最后，可擬合出趨于完美的函數曲線。

根據COVER定理，在低維空間不可分的數據可能在高維空間變得可分(Haykin S，2011)。RBF神經網絡的基本思想是：用徑向基函數作為隱單元的“基”，構成隱含層空間，隱含層對輸入矢量進行變換，將低維的模式輸入數據變換到高維空間內，使得在低維空間內的線性不可分問題在高維空間可分(石靈丹，2009)。由此可以看出，徑向基網絡的隱含層單元的功能，即將樣本映射高維空間，映射依據是徑向基函數。最后，在高維空間進行數據分類，避免局限最優，從而得到全局最優解。

支持向量機的理論最初來自于對數據分類問題的處理。對于線性可分數據的二值分類。如果采用神經網絡來實現，其機理可以簡單描述為：系統隨機產生一個超平面，并移動它，直到訓練集合中屬于不同類別的點正好位于該超平面的不同側面，就完成了對網絡的設計要求(管軍，2006)。但是這種機理決定了不能保證最終所獲得的分割平面位于兩個類別的中心，這對于分類問題的容錯性是不利的。

三、融合算法

在某種條件下，正則化的神經網絡與SVM存在等價的關系，兩者之間可以相互轉化，從而可推導出正則化的RBF 神經網絡與核函數為RBF的SVM 互為充要條件且可以彼此轉化(劉耀輝，2017)。

通過了解徑向基神經網絡可知，徑向基網絡分為正則化網絡和廣義網絡，正則化網絡將所有的樣本都作為網格中心，當樣本點有噪聲時，正則化網絡就會出現過擬合現象，泛化能力降低，同時，由于所有的樣本都作為了中心，樣本數太多時，神經元太多，使得網絡變得復雜，計算量增大，增加計算時間。而廣義網絡由于選擇的是部分樣本作為中心，對于噪聲樣本，不會陷入過擬合現象，同時少量的神經元使得網絡的復雜程度和計算量降低，增強了泛化能力。選擇以廣義網絡的徑向基神經網絡為模型基礎。

廣義徑向基網絡的特點，核心點主要有三個：網絡中心，擴展常數(作用域)以及權值w(隱含層到輸出層之間)。通過學習SVM可知，影響一個SVM模型的關鍵參數是懲罰變量C與其核函數的參數。當支持向量機選擇徑向基核函數時，此時兩者就會有相似的地方，即徑向基函數中的確定。由此，RBF網絡中的可以完全借用核函數為RBF的SVM的。