支持向量機模型與應用綜述①

劉方園, 王水花, 張煜東

(南京師范大學 計算機科學與技術學院,南京 210023)

1 引言

支持向量機(Support Vector Machine,SVM)是一種監(jiān)督學習模式下的數(shù)據(jù)分類、模式識別、回歸分析模型,其具有強大的數(shù)學基礎及理論支撐. 1992年至1995年是其形成階段,Corinna Cortes和Vapnik領導的研究小組的成員于1995年正式提出了支持向量機技術[1],在提出之初,其未能引起研究人員的充分重視,但隨著新興技術的涌現(xiàn)和發(fā)展需求,為了更好理解研究新分類識別技術,例如神經(jīng)網(wǎng)絡的科學性,基于統(tǒng)計學習理論的支持向量機技術以其特有優(yōu)勢重燃研究者的探索興趣.

為將支持向量機技術廣泛應用于實際生活中并且取得良好的檢測結果,研究人員設計不同的核函數(shù)方法分別應用于簡單支持向量機以達到期望結果. 通過深入研究支持向量機技術的理論基礎和提出背景下,了解到核函數(shù)方法的提出和運用在保持支持向量機優(yōu)勢的同時修補了其用于處理非線性不可分數(shù)據(jù)的劣勢.在實際應用中,只有選擇最佳的核函數(shù)來構造相應的核支持向量機,才能更準確有效地處理模式分類問題,下文對核函數(shù)方法及其實現(xiàn)進行詳細介紹.

目前,支持向量機分類技術已經(jīng)廣泛應用于機器學習、模式識別、模式分類、計算機視覺、工業(yè)工程應用、航空應用等各個領域中,且其分類效果可觀. 例如,在文字檢測識別領域應用中,對于文本文檔,主要針對手寫文本,能夠實現(xiàn)文本關鍵詞、特殊意義短語的識別且對于不同語言都有具體的分析研究; 在人體部位識別領域應用中,可針對于手掌、耳朵、人臉及面部表情進行有效識別; 在車輛交通檢測領域應用中,可針對車牌、車載系統(tǒng)、車輛零件及車輛行駛路況進行可靠檢測; 在醫(yī)療領域應用中,可針對骨齡估計、跌倒監(jiān)測、醫(yī)療咨詢框架以及依據(jù)人腦圖像進行癡呆癥、抑郁癥分類的模式識別. 除了廣泛應用于上述領域,研究人員將該技術投入到其他領域中,大大擴展了其應用范圍.

基于支持向量機在實際應用中的流行性,研究人員嘗試通過以下兩種方式對其進行改進以期望提高其分類性能. 第一種是將支持向量機模型與其他分類模型相結合,例如 SVM+AdaBoost、SVM+KNN、SVM+JCR、SVM+HMM等. 第二種是改進核函數(shù)但其實現(xiàn)自改進,例如PmSVM、DAG-SVM、ITASVM、HIK-SVM等.

本文首先從數(shù)學背景下簡單介紹支持向量機技術,接著從基本構成深入分析該技術,最終研究其在各個應用領域中的作用. 通過本文,期望讀者在簡單了解支持向量機技術的基礎上提出新的改進方法并將其應用于更多其他未發(fā)展領域中.

2 數(shù)學模型

支持向量機的提出基于統(tǒng)計學習理論和結構風險最小化準則,統(tǒng)計學習理論避免分類模型受樣本量的限制,結構風險最小化準則避免模型訓練時出現(xiàn)的模型問題. 在這樣的背景下,支持向量機技術的推廣及其判別能力較強,其最終的目的是根據(jù)輸入數(shù)據(jù)樣本尋找到一個最優(yōu)分類超平面.

支持向量機最優(yōu)分類面的求解問題可轉化為求數(shù)據(jù)樣本分類間隔最大化的二次函數(shù)的解,關鍵是求得分類間隔最大值的目標解. 以兩類線性可分數(shù)據(jù)為例,一類數(shù)據(jù)用圓形代表,另一類數(shù)據(jù)用菱形代表,則最優(yōu)分類線示例圖如圖1所示.

圖1中,margin代表分類平面間的最大分類間隔,處于分類線兩側的數(shù)據(jù)點為待分類的樣本. 在該例圖中,基本分類判別面方程如公式(1)所示,若對線性可分的樣本集進行數(shù)據(jù)歸一化處理,分類間隔表達式如公式(2)所示.

圖1 最優(yōu)分類線示例圖

基于上述分析,通過加入有效約束條件,引入拉格朗日乘子后,解得最優(yōu)分類判別函數(shù),且其參數(shù)的確定依賴于支持向量. 實際應用中,核函數(shù)結合最優(yōu)分類判別面形成的支持向量機模型解決了其只處理線性可分樣本的弊端,兩者結合形成最終的支持向量機模型.

相應的通用支持向量機分類函數(shù)表達式如公式(3)所示.

3 核支持向量機

支持向量機是基于兩類線性可分的樣本數(shù)據(jù)發(fā)展而來,但是在實際應用中,需要識別和分類的數(shù)據(jù)大多數(shù)情況下都處于非線性不可分狀態(tài),并非理想化狀態(tài).由此,研究人員設計一個核函數(shù)應用于支持向量機的分類過程中解決該問題,其主要目的是將原低維空間中非線性不可分數(shù)據(jù)映射到高維空間中,即解決低維特征空間無法構造分類超平面的問題. 支持向量機的應用性能關鍵在于核函數(shù)方法的選取.

核函數(shù)方法計算公式如下所示：

研究人員在解決不同的數(shù)據(jù)分類問題的時候需選擇不同的參數(shù),簡單來說就是選擇不同的核函數(shù). 核函數(shù)主要分為線性核、多項式核、Sigmoid核和Gauss徑向基核.

(1) 線性核

公式(5)代表數(shù)據(jù)所處的原空間中的內積計算. 其作用是統(tǒng)一兩空間數(shù)據(jù)形式,即數(shù)據(jù)處于原空間的形式與數(shù)據(jù)經(jīng)映射后所處空間的形式.

(2) 多項式核

公式(6)代表多項式空間中的內積計算,注重數(shù)據(jù)的全局性. 其計算過程不同于線性核,這是由于直接在多項式空間計算會造成維數(shù)災難,所以其計算包含一個轉換過程,即從高維空間轉到低維空間,利用低維空間計算其內積值.

(3) Sigmoid核

公式(7)實現(xiàn)將Sigmoid函數(shù)作為核函數(shù),其近似為多層感知器神經(jīng)網(wǎng)絡,注重樣本數(shù)據(jù)的全局最優(yōu)值.

(4) Gauss徑向基核(RBF)

公式(8)可將原始特征空間映射到無窮維特征空間中,其性能好壞在于參數(shù)的調控,局部性較強.參數(shù)選取的值較小,映射后的特征空間近似一個低維空間;參數(shù)選取的值較大,易造成過擬合問題. 正因為其具有較強的可調控性,其在實際應用中更為廣泛.

實際應用中,研究者通過權衡各個核函數(shù)的優(yōu)勢與劣勢,通常將最佳的核函數(shù)應用于特定數(shù)據(jù)分類領域中. 將上述介紹的核函數(shù)與支持向量機結合后用于實驗中的Matlab代碼實現(xiàn)如表1所示.

4 應用

4.1 文字檢測領域

楊文敏等[2]將SVM分類器應用于基于句子級別的文本檢測系統(tǒng)中,其針對于表達含義不明確的詞語的信息抽取分類. 將從文檔句子中所提取的詞特征作為分類器的輸入向量,實驗結果表明,SVM能夠快速有效地識別文本不確定信息,在該方法中,研究人員可嘗試對段落級別的文本進行分析進一步提高分類正確率.

表1 核函數(shù)的Matlab實現(xiàn)

張虎等[3]采用基于集成學習策略SVM分類法對中文文本中具有欺騙性的信息進行檢測識別. 通過改進的二分k-均值劃分法劃分實驗中的訓練樣本,進而對各個訓練樣本子集構建相應的分類器,稱之為子分類器. 最終通過集成所有子SVM分類器的結果確定實驗的分類效果,研究人員對其良好的識別率進行分析總結,該檢測方法類似于多類別分類SVM中的一對多法,其不足之處在于訓練樣本量不豐富,實驗結果可靠性需進一步加強.

Ryu等[4]提出一種基于結構化學習的SVM分類手寫文檔圖像. 通過結構化學習技術確定SVM參數(shù),并構造松弛結構SVM訓練估計最優(yōu)的參數(shù). 結構化SVM方法降低識別的計算復雜度并解決了手寫文檔不規(guī)則和多樣化的干擾因素. 該文僅在拉丁語和印度語文檔中證明其可靠性,可通過將該方法應用于英文以及漢語文本中,擴大其文本應用范圍.

Elleuch等[5]設計一種基于支持向量機的深度學習模型(DSVM)應用于手寫識別系統(tǒng). DSVM使用dropout技術,能夠選擇關鍵的數(shù)據(jù)點的同時避免過度擬合,對識別對象進行高效地分類. DSVM是由堆棧支持向量機構成,既用于從原始圖像中自動提取特征又能夠依據(jù)其利用基于RBF核的多類SVM進行圖像分類.

Kessentini等[6]提出了一種新型識別手寫文檔關鍵詞系統(tǒng),HMM+SVM. 該方法設計：(1)利用HMM模型靈活快捷地定位關鍵詞及其字符邊界; (2)在上述基礎上,利用基于SVM的驗證系統(tǒng)并結合字符概率評估關鍵詞.

Lakshmi等[7]采用模糊支持向量機識別文本中具有特殊意義的實體. 該命名實體識別方法是將SVM結合模糊模塊學習的,基于“一對多”的分類技術. 訓練階段,將所提取的文本特征表示輸入SVM分類器進行訓練; 測試階段,采用模糊SVM對測試樣本進行判別分類. 模糊規(guī)則的引入是提高系統(tǒng)處理多個相似格式的文本的區(qū)分能力,確定實體所屬的最合適類別.

在文本識別領域中,SVM分類器在各個具體應用中的各方面分析如表2所示.

表2 文本識別中SVM應用分析

4.2 醫(yī)療領域

Zhu等[8]基于非線性內核SVM提出一種高效安全的在線醫(yī)療預測框架(eDiag). 通過輕量級多方隨機屏蔽和多項式聚合技術改進非線性SVM,該實驗選取Gauss核函數(shù)作為SVM核函數(shù). 確定原非線性SVM的參數(shù)后,通過定義相應的分類標準改進原分類器,該方法不但確保在線醫(yī)療咨詢信息的安全性且有效降低服務成本,但由于其為在線咨詢系統(tǒng),檢測實時性較高因此需提高計算效率.

Cheng等[9]提出了一種自構建的級聯(lián)AdaBoost支持向量機分類器并將其用于檢測識別目標是否跌倒,計算實驗人員日常活動的加速度信號并將其作為該分類器的輸入向量. 級聯(lián)AdaBoost-SVM自動選擇幾個最優(yōu)弱分類器形成強分類器,在此基礎上,自動確定何時使用SVM替換AdaBoost分類器. 此方法通過與現(xiàn)存其他方法比較,被證明具有最高的準確率及最低的誤報率.

徐勝舟等[10]提出一種改進的SVM檢測識別乳腺腫塊. 該改進方式是利用改進的遺傳算法(GA)優(yōu)化SVM參數(shù),即設計一種新的個體適應度的方法計算方法用來選擇不影響分類性能的同時特征數(shù)目較少的特征集. 在保證識別準確性的同時,研究人員采用序列最小優(yōu)化學習算法(SMO)提高SVM檢測速率,降低計算時間.

Harmsen等[11]將支持向量機分類器用于檢測、識別、評估人體骨齡. 首先,實驗人員從采集圖片中提取感興趣的目標區(qū)域并對其進行圖像檢索以保留圖像特征; 其次,將所提取的關鍵特征用于構建SVM分類模型之后,使用交叉驗證法評估其測試性能; 最后,分類年齡未知的手骨圖像. 該文通過將SVM與互相關技術結合,為每個年齡類提供原型圖像,實現(xiàn)自動化有效地評估人體骨骼年齡,在此基礎上,可通過將樣本集擴增至萬張以驗證該方法檢測性能的有效性.

Bron等[12]依據(jù)支持向量機的權重向量對特征進行改進選擇后進行癡呆分類. 該方法簡單描述如下：(1)權重向量濾波法,選擇絕對最高權重的特征; (2)權重向量的RFE法,在每次迭代中刪除具有最低分類器權重的特征的子集. 該文一大亮點是提出將RFE法應用于SVM進行特征選擇并將該SVM用于目標分類,可通過優(yōu)化決策階段的SVM參數(shù)進一步提高識別性能.

Jie等[13]采用基于SVM的方法研究人腦圖像區(qū)分抑郁癥中的雙相情感障礙. 該文將一個向前向后搜索策略(貪婪學習算法)應用于線性支持向量機中,開發(fā)一種新型特征選擇方案SVM-FoBa. 在此過程中,SVM-FaBo中的前向策略以SVM目標函數(shù)的最大減量表示特征,后向策略用來消除前向步驟中的錯誤特征.

在醫(yī)療領域中,SVM分類器在各個具體應用中的各方面分析如表3所示.

4.3 人體識別領域

劉小建[14]對手勢進行分區(qū)域識別,利用多分類SVM實現(xiàn). 從已知手勢樣本圖像細分后的各個區(qū)域中提取特征,將所提取的3個關鍵特征描述子描述手勢.選取核函數(shù)為一個非線性徑向基函數(shù)(RBF),采用網(wǎng)格搜索法調整確定SVM參數(shù),實現(xiàn)高效準確識別手勢.

李昆侖等[15]采用基于徑向基核函數(shù)的SVM分類器中并將其應用于掌紋識別中. 利用改進的PCA算法分別提取訓練圖像和測試圖像的特征,確定的訓練集用來訓練最佳SVM分類器,訓練好的SVM分類器識別確定的測試集. 相較于傳統(tǒng)特征匹配法,SVM決策既能夠緩解樣本不足又可以降低計算量.

表3 醫(yī)療領域中SVM應用分析

Tyagi等[16]通過支持向量機利用基于遺傳算法的局部三元模式(GA-LTP)進行人臉識別,該方法在利用局部三元模式對人臉圖像進行特征提取的基礎上為進一步降低計算時間、提高準確率,采用遺傳算法進行特征選擇. 最終,將測試特征集輸入通過訓練特征集訓練好SVM分類器后進行目標的識別檢測.

Bagla等[17]采用SIFT和SVM結合的方式進行人臉識別. 將從訓練圖像中提取的SIFT特征進行關鍵特征選擇后作為SVM分類器訓練樣本,在訓練好的支持向量機模型中輸入測試樣本圖像,分析評估該模型的分類性能,需進一步將其用于人臉大數(shù)據(jù)庫中進行識別,分析并發(fā)現(xiàn)其性能的改進之處.

黃忠等[18]運用兩級SVM對人臉表情圖像進行識別. 該兩級SVM是由以下構成：(1) SVM對人臉各個局部區(qū)域所提取的特征進行分類; (2) 將局部類別與人臉整體類別融合后用SVM對其進行分類判別. 該文中特征提取采用AAM-SIFT描述法且根據(jù)特征的關鍵性賦予相應權重,SVM對其快速有效地識別. 但是,該方法只對標準正面或特定偏移角度的人臉檢測性能較好.

Adeyanju等[19]研究分析比較了將不同核函數(shù)方法結合同一支持向量機模型的分類性能,該方法的實現(xiàn)基于七種人臉面部表情的識別分類,且采用四種不同核函數(shù)方法. 研究者分別將徑向基核、線性核、二次核及多項式核應用于SVM中,實驗結果表明,基于二次核函數(shù)的SVM性能最優(yōu),平均準確率達到99.33%.

Yao等[20]比較了SVM和基于AdaBoost分類器應用于識別人臉的效果. 通過主成分分析法(PCA)選擇關鍵的特征并將其作為各個分類器的輸入向量. 從實驗結果可明顯觀察到PCA+SVM對于不同環(huán)境下人臉面部識別都優(yōu)于PCA+AdaBoost.

Bashbaghi等[21]針對不同面部表情的靜態(tài)視頻圖像提出了一種可靠穩(wěn)定的多分類器集合識別系統(tǒng). 該方法主要應用于單個人進行識別,即對每個目標分配示例SVM(exemplar-SVMs),為每個e-SVM提供高質量的樣本進行訓練. 通過視頻中捕獲的非目標個體面部選擇具有區(qū)分力的特征子集、訓練樣本和集合融合函數(shù). 相較于其他面部圖像識別方法,其抗干擾能力較強.

Hadchum等[22]將SVM與模糊邏輯結合應用于根據(jù)人臉面部進行年齡估計的系統(tǒng)中. 將從人臉皺紋和膚色中所提取的特征作為SVM的輸入向量,模糊邏輯構造用于點年齡估計的規(guī)則. 通過SVMs最終估計人類年齡的五個年齡組,并將其分類性能與其他五種方法比較,該實驗方法的識別準確率最高,在實際生活中,人臉在20歲至50歲之間變化程度較小,為進一步提高其識別率,研究者可將此年齡區(qū)間細分,擴增年齡組,增強該方法的區(qū)分能力.

Omara等[23]采用成對的SVM分類器對人耳進行有效識別能避免每個人耳朵圖像有限造成的樣本不足問題. 采用深度模型所提取的深度特征作為SVM輸入向量,取得較好識別率. 成對SVM依賴兩個輸入樣本,且預測該樣本是否屬于同一人,在此基礎上,設計成對內核并與線性內核結合用于識別. 實驗結果表明,Pairwise SVM識別率達到98.3%,優(yōu)于傳統(tǒng)SVM.

孫煒等[24]采用線性SVM作為檢測行人的分類器并將其不斷優(yōu)化. 首先,將所采集的圖像劃定正、負樣本集并提取所需的目標特征; 其次,訓練SVM. 實驗中,使用SVM檢測無目標圖像時會出現(xiàn)誤差,該優(yōu)化方式是將錯誤識別的樣本選取后加入負樣本集中,多次迭代后增強SVM分類效果.

在人體識別領域中,SVM分類器在各個具體應用中的各方面分析如表4所示.

表4 人體識別中SVM應用分析

4.4 車輛交通領域

張笑等[25]采用SVM識別偏斜車牌. 該實驗中將原偏斜車牌圖像通過顏色定位、擴大旋轉、仿射變換后作為SVM訓練樣本. SVM訓練參數(shù)為自動訓練參數(shù),即訓練的同時對樣本進行標記. 在此過程中,對車牌圖像定位后,使用SVM測試,有效解決偏斜車牌難以識別的困難.

王銳等[26]針對智能交通系統(tǒng)中利用浮動車監(jiān)測道路交通狀態(tài)的問題,采用“一對一”法的SVM分類器分類數(shù)據(jù). 該文依據(jù)經(jīng)驗選取RBF作為SVM核函數(shù),分類交通狀態(tài)等級準確率達到95%. 由于該實驗采用默認參數(shù),研究人員可以嘗試進一步優(yōu)化改進SVM參數(shù)來提高檢測性能.

張華偉等[27]針對汽車主減速器實現(xiàn)了一種基于混合核的SVM決策方法. 實驗中,將不同核函數(shù)結合后進行性能比較,結合方式如下：(1) 線性核+徑向基核;(2) 多項式核+徑向基核; (3) Sigmoid核+徑向基核. 此外,通過遺傳算法(GA)優(yōu)化SVM參數(shù). 最終,實驗結果表明“多項式核+徑向基核”方式下識別主減速器的故障模式最佳.

胡慶新等[28]采用基于直方圖交叉核核函數(shù)的支持向量機(HIK-SVM)方法檢測車輛,該方法很大程度上提高了分類速度,降低計算復雜性. HIK-SVM中關鍵是對特征向量的各位特征值進行排序比較后選擇性累加,減少計算量,保證實時性檢測. 該方法在復雜交通狀態(tài)下識別性能有待提高.

Wu等[29]以SVM對高光譜圖像分類為例分析車載處理系統(tǒng). 該文中對SVM分類器的數(shù)據(jù)水平和算法水平的錯誤進行分析后發(fā)現(xiàn)其分類的誤差容忍度較高,為節(jié)約成本提供了可能. 在此基礎上,提出基于SVM的近似計算框架,該方法不但提高分類準確性而且降低內核累積計算過程的能量消耗.

在車輛交通領域中,SVM分類器在各個具體應用中的各方面分析如表5所示.

表5 車輛交通領域中SVM應用分析

4.5 其他

馮逍等[30]采用三維Gabor濾波器與支持向量機結合的方法對高光譜遙感圖像進行有效分類,該方法面對的研究對象是流域區(qū)域. 根據(jù)所計算的波段指數(shù)選擇波段作為SVM分類器的訓練樣本和測試樣本,通過SVM對輸入樣本進行分類決策. 該實驗對比分析了采用不同核函數(shù)的SVM分類器的分類性能,其中RBF核函數(shù)分類效果最佳且SVM解決了樣本不足的劣勢.

Zhang等[31]利用兩級級聯(lián)SVM針對自然圖像的地表包圍盒生成對象提案,兩級SVM如下所述：第一級SVM,獨立學習預定義的量化尺度或縱橫比; 第二級SVM,全局SVM在學習所有的量化尺度或縱橫比基礎上并對其進行校準. 最終,將校準后的窗口作為輸入,產生最終對象提案,實驗證明該方法具有更高的計算效率.

陳欣欣等[32]選取所研究光譜圖像的感興趣區(qū)域并通過小波變換(WT)法對數(shù)據(jù)進行預處理,將提取的關鍵波段信息作為SVM的識別樣本. 此外,采用選擇性搜索算法(SS)識別樣本波段比圖像的特征,最終采用該方法分類受損的梨圖像的準確率達到93.75%,檢測過程中易受樣本形狀、光照條件等外在條件的干擾,可通過增強其抗噪聲能力提升方法性能.

Bo等[33]提出一種新穎的分類識別方法,即采用懲罰融合規(guī)則組合聯(lián)合協(xié)同表示(JCR)模型和SVM模型對地表不同植物的高光譜圖像進行檢測識別. 利用JCR模型學習訓練樣本自身信息的同時探索樣本的鄰域信息,并將JCR提取出的中間特征訓練多類SVM分類器. 通過相同條件下的定量分析比較,該實驗所提出的方法比之前的方法分類效果更好.

林蔭[34]使用模型組合法(KNN-SVM)解決研究對象高維特征和樣本不均的問題. 首先,KNN根據(jù)所提取特征對樣本進行選擇確保樣本平衡性,其次,用所選擇樣本訓練好SVM后,將其應用于垃圾郵件識別.KNN-SVM處理垃圾郵件不但保證實時性而且正確率達到98.05%,其不足之處是實驗中該方法只應用于中文郵件數(shù)據(jù)集.

苑瑋琦[35]采用基于徑向基核函數(shù)的SVM分類器檢測虹膜紋理：坑洞紋理和放射溝紋理. 在此過程中,還將所定義的相應的約束條件與SVM結合,確認坑洞紋理. 實驗的檢測率達到90.25%,但是輸入SVM分類器的特征向量由于抗干擾能力弱從而在一定程度上影響最終識別結果,需進一步提高方法性能的魯棒性.

Shi等[36]解決強干擾情況下造成的數(shù)據(jù)缺失或數(shù)據(jù)變動的現(xiàn)象,即非穩(wěn)態(tài)數(shù)據(jù)集的識別和分析問題. 通過改進的TA-SVM(ITA-SVM)對非穩(wěn)態(tài)數(shù)據(jù)集進行快速有效地處理,ITA-SVM利用支持向量機子分類器共享一個共同向量,保持了TA-SVM的優(yōu)勢,同時有效降低了計算復雜性. 對于采樣時間不固定或者子數(shù)據(jù)集長度不固定,如何合理確定共同向量還有待研究.

Wu等[37]使用加性核函數(shù)處理大規(guī)模支持向量機分類問題. 首先,在學習過程中設計一個基于一般非線性核函數(shù)的線性回歸支持向量機框架; 其次,利用非對稱解釋變量的函數(shù)對所有加性核函數(shù),提出一個能量平均SVM模型(PmSVM). 實驗表明,該方法在識別準確性和學習速率取得了顯著地提升,但未能找到適應于一般情況下的非對稱解釋的規(guī)則變量來提升內核學習,由此該方法性能的可靠性及通用性需加強.

Kosaka等[38]設計一種解決感應電機故障分類檢測問題的新方法,其將遞歸小波包變換(RUWPT)與有向非循環(huán)圖支持向量機(DAG-SVM)組合. 該實驗從訓練及測試時間、準確性方面比較不同的多類SVM方法,DAG-SVM最能有效識別電機故障且達到99%的分類精度.

在其他領域中,SVM分類器在各個具體應用中的各方面分析如表6所示.

表6 其他領域中SVM應用分析

5 總結與展望

本文在簡單介紹支持向量機的數(shù)學模型和發(fā)展過程的基礎上,研究分析其在各個不同領域中的應用效果. 同時,通過選取具有代表性的文章闡述支持向量機在分類識別應用中的不同作用,由此證明其推廣能力強、應用范圍廣的優(yōu)勢. 但在目前樣本數(shù)據(jù)日趨復雜化及各種新興分類識別技術的涌現(xiàn),研究者需從以下幾個方面探索改進支持向量機技術.

(1) 改進核函數(shù). 目前,已有研究人員將多種核函數(shù)結合起來使用,在了解各個核函數(shù)方法優(yōu)勢的基礎上,進一步最大化發(fā)揮其優(yōu)勢; 給定核函數(shù)的參數(shù)是可調控的,研究者可通過數(shù)據(jù)分析或者基于某些參數(shù)優(yōu)化準則對其進行調整.

(2) 分類海量數(shù)據(jù). 為更好地適應大數(shù)據(jù)時代,支持向量機不能僅僅應用于特定的小型樣本數(shù)據(jù)集,需將其應用于分類不同形式、具備不同特點的海量數(shù)據(jù)中.

(3) 模型組合. 現(xiàn)今,深度學習方法在模式分類、目標識別應用中日趨成熟且效果可觀,研究人員可將支持向量機模型與深度模型(卷積神經(jīng)網(wǎng)絡、深度信念網(wǎng)絡、遞歸神經(jīng)網(wǎng)絡等)結合使用,發(fā)揮兩者長處的同時提高檢測識別率.

綜上所述,本文期望讀者能夠在支持向量機技術不斷發(fā)展的前景下依據(jù)合理的研究方向進一步改進并提出新的想法.

1 Cortes C,Vapnik V. Support-vector networks. Machine Learning,1995,20(3)：273-297.

2 楊文敏,李保利. 自然語言文本中不確定性信息的自動識別. 計算機系統(tǒng)應用,2015,24(2)：155-158.

3 張虎,譚紅葉,錢宇華,等. 基于集成學習的中文文本欺騙檢測研究. 計算機研究與發(fā)展,2015,52(5)：1005-1013.[doi：10.7544/issn1000-1239.2015.20131552]

4 Ryu J,Koo HI,Cho NI. Word segmentation method for handwritten documents based on structured learning. IEEE Signal Processing Letters,2015,22(8)：1161-1165. [doi：10.1109/LSP.2015.2389852]

5 Elleuch M,Mokni R,Kherallah M. Offline Arabic handwritten recognition system with dropout applied in deep networks based-SVMs. Proceedings of 2016 International Joint Conference on Neural Networks (IJCNN). Vancouver,BC,Canada. 2016. 3241-3248.

6 Kessentini Y,Paquet T. Keyword spotting in handwritten documents based on a generic text line HMM and a SVM verification. Proceedings of the 2015 13th International Conference on Document Analysis and Recognition(ICDAR). Tunis. 2015. 41-45.

7 Lakshmi G,Panicker JR,Meera M. Named entity recognition in Malayalam using fuzzy support vector machine.Proceedings of 2016 International Conference on Information Science (ICIS). Kochi,Japan. 2016. 201-206.

8 Zhu H,Liu XX,Lu RX,et al. Efficient and privacypreserving online medical prediagnosis framework using nonlinear SVM. IEEE Journal of Biomedical and Health Informatics,2017,21(3)：838-850. [doi：10.1109/JBHI.2016.2548248]

9 Cheng WC,Jhan DM. Triaxial accelerometer-based fall detection method using a self-constructing cascade-AdaBoost-SVM classifier. IEEE Journal of Biomedical and Health Informatics,2013,17(2)：411-419. [doi：10.1109/JBHI.2012.2237034]

10 徐勝舟,裴承丹. 基于遺傳算法和支持向量機的乳腺腫塊識別. 計算機仿真,2015,32(2)：432-435.

11 Harmsen M,Fischer B,Schramm H,et al. Support vector machine classification based on correlation prototypes applied to bone age assessment. IEEE Journal of Biomedical and Health Informatics,2013,17(1)：190-197. [doi：10.1109/TITB.2012.2228211]

12 Bron EE,Smits M,Niessen WJ,et al. Feature selection based on the SVM weight vector for classification of dementia. IEEE Journal of Biomedical and Health Informatics,2015,19(5)：1617-1626. [doi：10.1109/JBHI.2015.2432832]

13 Jie NF,Zhu MH,Ma XY,et al. Discriminating bipolar disorder from major depression based on SVM-FoBa：Efficient feature selection with multimodal brain imaging data. IEEE Transactions on Autonomous Mental Development,2015,7(4)：320-331. [doi：10.1109/TAMD.2015.2440298]

14 劉小建. 基于多特征提取和SVM分類的手勢識別. 計算機工程與設計,2017,38(4)：953-958.

15 李昆侖,張亞欣,劉利利,等. 基于改進PCA和支持向量機的掌紋識別. 計算機科學,2015,42(S2)：146-150.

16 Tyagi D,Verma A,Sharma S. An improved method for face recognition using local ternary pattern with GA and SVM classifier. Proceedings of the 2016 2nd International Conference on Contemporary Computing and Informatics(IC3I). Noida,India. 2016. 421-426.

17 Bagla K,Bhushan B. A novel approach for face recognition using hybrid SIFT-SVM. Proceedings of 2016 IEEE International Conference on Power Electronics,Intelligent Control and Energy Systems (ICPEICES). Delhi,India.2016. 1-6.

18黃忠,胡敏,劉娟. 基于AAM-SIFT特征描述的兩級SVM人臉表情識別. 計算機工程與應用,2016,52(3)：178-183.

19 Adeyanju IA,Omidiora EO,Oyedokun OF. Performance evaluation of different support vector machine kernels for face emotion recognition. Proceedings of 2015 SAI Intelligent Systems Conference (IntelliSys). London,UK.2015. 804-806.

20 Yao M,Zhu CM. SVM and adaboost-based classifiers with fast PCA for face reocognition. Proceedings of 2016 IEEE International Conference on Consumer Electronics-China(ICCE-China). Guangzhou,China. 2016. 1-5.

21 Bashbaghi S,Granger E,Sabourin R,et al. Ensembles of exemplar-SVMs for video face recognition from a single sample per person. Proceedings of the 2015 12th IEEE International Conference on Advanced Video and Signal Based Surveillance (AVSS). Karlsruhe,Germany. 2015. 1-6.

22 Hadchum P,Wongthanavasu S. Facial age estimation using a hybrid of SVM and fuzzy logic. Proceedings of the 2015 12th International Conference on Electrical Engineering/Electronics,Computer,Telecommunications and Information Technology (ECTI-CON). Hua Hin,Thailand. 2015. 1-6.

23 Omara I,Wu XH,Zhang HZ,et al. Learning pairwise SVM on deep features for ear recognition. Proceedings of the 2017 IEEE/ACIS 16th International Conference on Computer and Information Science (ICIS). Wuhan,China. 2017. 341-346.

24 孫煒,薛敏,孫天宇,等. 基于支持向量機優(yōu)化的行人跟蹤學習檢測方法? 湖南大學學報(自然科學版),2016,43(10)：102-109. [doi：10.3969/j.issn.1674-2974.2016.10.013]

25 張笑,張明. 基于SVM的偏斜車牌識別. 現(xiàn)代計算機,2016,(8)：64-68.

26 王銳,楊宏業(yè),張海鵬. 基于浮動公交車的SVM實時交通狀態(tài)識別研究. 內蒙古工業(yè)大學學報,2016,35(1)：18-23.

27 張華偉,左旭艷,潘昊. 基于混合核學習支持向量機的主減速器故障診斷. 計算機應用與軟件,2017,34(5)：91-98.

28 胡慶新,焦偉,顧愛華. 多特征融合和交叉核SVM的車輛檢測方法. 合肥工業(yè)大學學報(自然科學版),2016,39(1)：84-89.

29 Wu YF,Yang XH,Plaza A,et al. Approximate computing of remotely sensed data：SVM hyperspectral image classification as a case study. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing,2016,9(12)：5806-5818. [doi：10.1109/JSTARS.2016.2539 282]

30 馮逍,肖鵬峰,李琦,等. 三維Gabor濾波器與支持向量機的高光譜遙感圖像分類. 光譜學與光譜分析,2014,34(8)：2218-2224.

31 Zhang ZM,Torr PHS. Object proposal generation using twostage cascade SVMs. IEEE Transactions on Pattern Analysis and Machine Intelligence,2016,38(1)：102-115. [doi：10.1109/TPAMI.2015.2430348]

32 陳欣欣,郭辰彤,張初,等. 高光譜成像技術的庫爾勒梨早期損傷可視化檢測研究. 光譜學與光譜分析,2017,37(1)：150-155.

33 Bo CJ,Lu HC,Wang D. Hyperspectral image classification via JCR and SVM models with decision fusion. IEEE Geoscience and Remote Sensing Letters,2016,13(2)：177-181. [doi：10.1109/LGRS.2015.2504449]

34 林蔭. 基于KNN—SVM的垃圾郵件過濾模型. 現(xiàn)代電子技術,2016,39(23)：90-92,97.

35 苑瑋琦. 基于形態(tài)學與支持向量機的虹膜坑洞紋理檢測.儀器儀表學報,2017,38(3)：664-671.

36 Shi YZ,Chung FL,Wang ST. An improved TA-SVM method without matrix inversion and its fast implementation for nonstationary datasets. IEEE Transactions on Neural Networks and Learning Systems,2015,26(9)：2005-2018.[doi：10.1109/TNNLS.2014.2359954]

37 Wu JX,Yang H. Linear regression-based efficient SVM learning for large-scale classification. IEEE Transactions on Neural Networks and Learning Systems,2015,26(10)：2357-2369. [doi：10.1109/TNNLS.2014.2382123]

38 Kosaka N,Ohashi G. Vision-based nighttime vehicle detection using CenSurE and SVM. IEEE Transactions on Intelligent Transportation Systems,2015,16(5)：2599-2608.[doi：10.1109/TITS.2015.2413971]