支持向量機(jī)改進(jìn)算法在船舶槳葉數(shù)分類中的應(yīng)用

戴衛(wèi)國，李海濤，李智忠，王易川

(海軍潛艇學(xué)院，山東 青島266042)

0 引 言

船舶輻射噪聲的復(fù)雜性使得很難對其進(jìn)行分類與識別，船舶輻射噪聲的特征提取和分類方法是人們一直研究探索的技術(shù)難題。船舶輻射噪聲(Detection of Envelope Modulation On noise，DEMON)譜反映了航行艦船噪聲的節(jié)奏信息和船舶本身一些固有的物理不變特征，通過對船舶輻射噪聲的DEMON 譜分析可以獲取船舶目標(biāo)槳葉數(shù)特征［1］;船舶目標(biāo)槳葉數(shù)物理意義明確，與船舶工況無相關(guān)性，是進(jìn)行水聲目標(biāo)識別最重要的識別特征之一，在某些情況下單憑槳葉數(shù)即可識別目標(biāo)，這對艦船目標(biāo)識別具有特別的意義。

支持向量機(jī) (Support Vector Machine，SVM)是一種基于統(tǒng)計(jì)學(xué)習(xí)理論的模式識別方法，采用結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則代替了傳統(tǒng)機(jī)器學(xué)習(xí)方法中的經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原則，在解決有限樣本、非線性及高維模式識別問題中表現(xiàn)出許多特有的優(yōu)勢，與其他學(xué)習(xí)機(jī)相比具有良好的推廣能力和很強(qiáng)的普適性［2-3］。

本文利用船舶目標(biāo)輻射噪聲DEMON 譜特征，采用徑向基支持向量機(jī)改進(jìn)算法，實(shí)現(xiàn)了對船舶螺旋槳槳葉數(shù)的分類識別應(yīng)用研究。針對支持向量機(jī)算法［2-3］對噪聲比較敏感和最優(yōu)分類面求解時約束太多不利于求解問題，根據(jù)支持向量機(jī)在不等式約束條件下可以保持支持向量解的稀疏性特性，在應(yīng)用徑向基等平移不變核函數(shù)的情況下，對支持向量機(jī)的松弛變量和決策函數(shù)2 方面進(jìn)行改進(jìn)，從而構(gòu)造齊次決策二階損失函數(shù)徑向基支持向量機(jī)的分類算法(簡稱:徑向基支持向量機(jī)改進(jìn)算法)，在支持向量機(jī)算法中實(shí)現(xiàn)二次規(guī)劃中的最小約束條件下最優(yōu)分類面求解，研究其Matlab實(shí)現(xiàn)方法，并采用擴(kuò)展的XOR 仿真數(shù)據(jù)、雙螺旋仿真數(shù)據(jù)、船舶輻射輻射噪聲數(shù)據(jù)進(jìn)行螺旋槳槳葉數(shù)分類識別實(shí)驗(yàn)。實(shí)驗(yàn)表明，該算法具有分類面劃分合理、模型參數(shù)尋優(yōu)空間廣闊、總體分類性能優(yōu)的特性。

1 支持向量機(jī)改進(jìn)算法

1.1 支持向量機(jī)原理

支持向量機(jī)從線性可分情況下的最優(yōu)分類面發(fā)展而來，最優(yōu)分類面是要求分類面不但能將兩類正確分開，而且使分類間隔最大。d 維空間中線性判別函數(shù)的一般形式為g(x)=w·x +b，設(shè)分類面的方程為(w·x)+b = 0，使得對線性可分的樣本集(xi，yi)，i = 1，2，…，l，x ∈Rd為輸入樣本，d 為訓(xùn)練樣本維數(shù)，y ∈{+1，－1}為輸出類別，滿足yi［(w·xi)+ b］－1 ≥0，i = 1，2，…，n［1］。

在線性不可分和在非線性情況下，通過在求解二次規(guī)劃約束條件中增加一個非負(fù)的松弛項(xiàng)ξi，以及引入核函數(shù)K(xi，xi)= φ(xi)·φ(xi)后，支持向量機(jī)的分類問題轉(zhuǎn)化為求(w，b，ξ)T為決策變量的二次規(guī)劃問題［4-5］:

式中:C 為懲罰因子;ξ=(ξ1，…，ξl)T。

該問題可通過求解其拉格朗日對偶問題得其最優(yōu)解，其對偶問題為:

1.2 支持向量機(jī)改進(jìn)算法

支持向量的稀疏性是支持向量機(jī)的主要特性之一。在保持支持向量稀疏特性的前提下，為解決支持向量機(jī)算法對噪聲比較敏感的問題，并尋求最小約束中條件下的最優(yōu)分類面尋優(yōu)，對支持向量機(jī)在以下2 個方面進(jìn)行改進(jìn):一是將松弛變量ξi采用的一階函數(shù)形式改為二階函數(shù)形式，即在目標(biāo)函數(shù)中采用來代替此改進(jìn)可以去掉所求解的二次型規(guī)劃的對偶問題中關(guān)于αi不等式約束中的上限約束條件αi≤C，i = 1，…，l，并鈍化支持向量機(jī)算法對噪聲數(shù)據(jù)的敏感性;二是根據(jù)徑向基核函數(shù)具備的平移不變性，在基于徑向基核函數(shù)的支持向量機(jī)算法中，可對支持向量機(jī)決策函數(shù)進(jìn)行齊次處理去掉偏置b，將其決策函數(shù)修改為f(x)= sgn(w*·Φ(x))，從而在求解二次規(guī)劃問題的對偶問題時，可減少關(guān)于αi等式約束條件僅余下不等式約束中的下界約束αi≥0，i = 1，…，l。通過此2 處改進(jìn)，構(gòu)建了基于徑向基核函數(shù)的齊次決策二階損失函數(shù)支持向量機(jī)的改進(jìn)算法，從而實(shí)現(xiàn)二次規(guī)劃中的最小約束條件下最優(yōu)分類面求解。

此時其原始問題的目標(biāo)函數(shù)和約束條件為

此目標(biāo)函數(shù)為凸函數(shù)，不等式約束條件為線性函數(shù)，強(qiáng)對偶條件成立［6］。求解式(4)的對偶規(guī)劃，引入拉格朗日函數(shù)

先求拉格朗日函數(shù)L(w，ξ，α)關(guān)于w，ξ 的極小值

所以原始問題的對偶問題可表示為

1.3 支持向量機(jī)改進(jìn)算法的Matlab 實(shí)現(xiàn)

關(guān)于在線性約束條件下的二次規(guī)劃問題，在Matlab 中專門提供了用于求解二次規(guī)劃問題的quadprog 函數(shù)，可直接用于求解中等規(guī)模的支持向量機(jī)問題。相對于大規(guī)模的支持向量機(jī)求解的選塊算法、分解算法、序列最小最優(yōu)化算法而言，quadprog 函數(shù)直接求解方法意義明確、中間變量清楚、過程可控，且運(yùn)算速度可行，是一種較好的學(xué)習(xí)及調(diào)試手段。

quadprog 函數(shù)求解的最優(yōu)化問題形式為［7］:

對于支持向量機(jī)和支持向量機(jī)改進(jìn)算法，應(yīng)用quadprog 函數(shù)求解的對比如表1 所示。

表1 應(yīng)用Quadprog 函數(shù)求解支持向量機(jī)實(shí)現(xiàn)方法對比Tab.1 The comparation between SVM and improved algorithm on Quadprog function

2 仿真數(shù)據(jù)分類實(shí)驗(yàn)分析

為了驗(yàn)證該支持向量機(jī)改進(jìn)算法的實(shí)際效果，本文利用擴(kuò)展的XOR 仿真數(shù)據(jù)和雙螺旋線仿真數(shù)據(jù)進(jìn)行實(shí)驗(yàn)分析。

2.1 擴(kuò)展的XOR 仿真數(shù)據(jù)分析

平面上相間排列的25 點(diǎn)的兩類點(diǎn)集，可以看作是擴(kuò)展的XOR 數(shù)據(jù)，如圖1 所示。

圖1 平面上相間排列的25 點(diǎn)的兩類點(diǎn)集Fig.1 25 points on a plane of two type point sets

1)選取懲罰因子C =10，徑向基核函數(shù)參數(shù)σ = 0. 2，對該25 點(diǎn)的兩類點(diǎn)集進(jìn)行支持向量機(jī)及其改進(jìn)算法的訓(xùn)練和測試分類實(shí)驗(yàn)，其在原始空間的分類曲線分布如圖2 和圖3 所示。其中圖中圓點(diǎn)為正類目標(biāo)，十字為負(fù)類目標(biāo)，實(shí)線為最優(yōu)分類曲線(二維情況下，分類曲面退化為分類曲線)。

圖2 SVM 的分類曲線Fig.2 Classification curve of SVM

圖3 改進(jìn)算法的分類曲線Fig.3 Classification curve of improved algorithm

由對比可見，由于減少了約束條件，故獲取了更寬的優(yōu)化空間，在此模型參數(shù)下，改進(jìn)算法的分類曲線對樣本空間劃分合理，分類均衡。

2)選取懲罰因子C = 10，徑向基核函數(shù)參數(shù)σ = 0.55，對該25 點(diǎn)的兩類點(diǎn)集進(jìn)行支持向量機(jī)及其改進(jìn)算法的訓(xùn)練和測試分類實(shí)驗(yàn)，其在原始空間的分類曲線分布如圖4 和圖5 所示。

由對比可見，此時改進(jìn)算法可以對所有目標(biāo)全部正確分類而原算法不能，因此改進(jìn)算法獲取了更為廣闊的核函數(shù)模型尋優(yōu)空間，更有利于核函數(shù)模型的參數(shù)尋優(yōu)。

圖4 SVM 的分類曲線Fig.4 Classification curve of SVM

圖5 改進(jìn)算法的分類曲線Fig.5 Classification curve of improved algorithm

2.2 雙螺旋線仿真數(shù)據(jù)分析

雙螺旋線分類一直是模式識別領(lǐng)域公認(rèn)的一個難題，它也因其難度而經(jīng)常被用作檢驗(yàn)?zāi)Ｊ阶R別算法性能的“試金石”［3］。該問題的分類要求是把x -y 坐標(biāo)平面上2 條不同螺旋線的點(diǎn)正確分開。

雙螺旋的平面坐標(biāo)形式用如下的參數(shù)方程來表示:

在本實(shí)驗(yàn)中，令k1=k2=2，e1=1，e2=3，θ∈［0，4π］。對每類在區(qū)間［0，4π］上等間隔采樣126 個點(diǎn)，再在其中等間隔取26 個作為訓(xùn)練樣本，其余100 個作為測試樣本，因此共有52 個訓(xùn)練樣本，200 個測試樣本。

采用網(wǎng)格搜索法，懲罰因子C 取值范圍為1 至100，步進(jìn)為1;徑向基核函數(shù)σ 的取值0.01 至1，步進(jìn)為0.01，在100 × 100 的網(wǎng)格范圍內(nèi)，對雙螺旋線數(shù)據(jù)樣本進(jìn)行訓(xùn)練和測試。

采用支持向量機(jī)算法，訓(xùn)練樣本數(shù)據(jù)的錯誤率隨參數(shù)C 和σ 的分布如圖6 所示。

圖6 SVM 算法中訓(xùn)練數(shù)據(jù)錯誤率分布Fig.6 The error rate distribution of SVM for training

采用改進(jìn)的支持向量機(jī)算法訓(xùn)練樣本數(shù)據(jù)的錯誤率隨參數(shù)C 和σ 的分布如圖7 所示。

圖7 改進(jìn)算法中訓(xùn)練樣本錯誤率分布Fig.7 The error rate distribution of improved for training

從訓(xùn)練樣本的訓(xùn)練錯誤率隨模型參數(shù)的變化來看，改進(jìn)支持向量機(jī)在訓(xùn)練樣本中，具備較寬的低錯誤率訓(xùn)練空間。

此時，采用支持向量機(jī)算法，測試樣本數(shù)據(jù)的錯誤率隨參數(shù)C 和σ 的分布如圖8 所示。

圖8 SVM 算法中測試數(shù)據(jù)錯誤率分布Fig.8 The error rate distribution of SVM for testing

采用改進(jìn)算法，測試樣本數(shù)據(jù)的錯誤率隨參數(shù)C 和σ 的分布如圖9 所示。

從測試樣本數(shù)據(jù)的測試錯誤率隨模型參數(shù)的變化來看，改進(jìn)支持向量機(jī)具備較寬的低錯誤率測試空間。

從仿真數(shù)據(jù)綜合來看，改進(jìn)的支持向量機(jī)算法性能較優(yōu)。

圖9 改進(jìn)SVM 算法中測試樣本錯誤率分布Fig.9 The error rate distribution of improved SVM for testing

3 海上實(shí)測船舶噪聲數(shù)據(jù)實(shí)驗(yàn)及分析

3.1 實(shí)驗(yàn)準(zhǔn)備

目前，船舶螺旋槳槳葉數(shù)一般為3 葉、4 葉、5葉、6 葉和7 葉共5 類，根據(jù)槳葉數(shù)從3 葉到7 葉的順序，可將艦船目標(biāo)分為A ～E 五類。

槳葉數(shù)識別主要包括特征提取和分類識別兩部分。在特征提取部分，通過對船舶目標(biāo)輻射噪聲進(jìn)行DEMON 譜分析，提取DEMON 譜軸頻的1 ～15 階諧波線譜的幅度、線譜寬度，軸頻的頻率穩(wěn)定度、幅度穩(wěn)定度，諧波簇信噪比共33 維特征，進(jìn)行歸一化處理后作為槳葉數(shù)識別的特征。

進(jìn)行試驗(yàn)的船舶目標(biāo)輻射噪聲樣本全部為海上綜合聲吶聽測波束實(shí)際錄取的船舶目標(biāo)噪聲，試驗(yàn)樣本的選取條件如下:

1)在綜合聲吶對噪聲目標(biāo)探測和穩(wěn)定跟蹤后輸出得到的遠(yuǎn)場單目標(biāo)噪聲信號;

2)船舶目標(biāo)噪聲DEMON 譜中存在可見的調(diào)制線譜;

3)船舶目標(biāo)的類型特征、槳葉數(shù)明確。通過樣本選取共獲取了3 725 個船舶目標(biāo)噪聲樣本，按槳葉數(shù)進(jìn)行分類，其中A 類樣本1 466 個，B 類樣本1 101 個，C 類樣本570 個，D 類樣本240 個，E類樣本348 個。

3.2 槳葉數(shù)識別特征提取過程

對船舶輻射噪聲依次進(jìn)行帶通濾波、檢波、低通濾波、降采樣、FFT 變換得到DEMON 譜［1］，如圖10 所示，橫坐標(biāo)為頻率，縱坐標(biāo)為幅度。DEMON 譜中一般存在很多頻率成倍數(shù)關(guān)系的諧波線譜，這組諧波中的第一根線譜頻率對應(yīng)螺旋槳轉(zhuǎn)速。根據(jù)諧波線譜的幅度關(guān)系、寬度特征、穩(wěn)定度、信噪比等特征，可以判斷目標(biāo)的類型，圖10 為典型的B 類目標(biāo)DEMON 譜圖。

圖10 某典型B 類目標(biāo)DEMON 譜圖Fig.10 A typical DEMON of target B

本文提取的目標(biāo)類型識別特征是由以下5 部分特征組成的33 維特征矢量:

1)軸頻的1 ～15 階諧波線譜的歸一化幅度大小;

2)軸頻的1 ～15 階諧波線譜的歸一化寬度大小;

3)軸頻的頻率穩(wěn)定性，本文以30 s 數(shù)據(jù)中軸頻頻率變化的方差作為頻率穩(wěn)定性特征;

4)軸頻的幅度穩(wěn)定性，本文以30 s 數(shù)據(jù)中軸頻幅度變化的方差作為幅度穩(wěn)定性特征;

5)諧波簇信噪比，本文以15 階諧波線譜相對背景干擾線譜的突出程度作為信噪比特征。

據(jù)此對圖10 所示DEMON 譜進(jìn)行分析，得到33維槳葉數(shù)識別特征矢量如圖11 所示。

圖11 33 維特征矢量示意圖Fig.11 Schematic diagram of 33 dimension feature vector

3.3 船舶槳葉數(shù)分類實(shí)驗(yàn)及分析

將選取的目標(biāo)噪聲按類別隨機(jī)分為對等的2 部分:一部分用來訓(xùn)練，另一部分用來測試，對支持向量機(jī)及其改進(jìn)算法，以及神經(jīng)網(wǎng)絡(luò)算法進(jìn)行對比。

支持向量機(jī)模型選取采用網(wǎng)格搜索法，懲罰因子C 取值為C =1.25k1，k1=1，2，…，20，徑向基核函數(shù)的σ 取值為σ = 1.25k2/20，k2= 1，2，…，20，在20×20 的網(wǎng)格范圍內(nèi)，分別采用“一對一”、 “一對余”［8-10］的支持向量機(jī)多分類方法，分別進(jìn)行目標(biāo)類型識別的分類實(shí)驗(yàn)。

根據(jù)總樣本的錯誤識別率最小原則［1］，分別獲取支持向量機(jī)算法模型的最優(yōu)參數(shù)，以此為訓(xùn)練參數(shù)，對目標(biāo)樣本進(jìn)行10 次的隨機(jī)分類實(shí)驗(yàn)，測試與訓(xùn)練樣本各占50%。

同時對同一批數(shù)據(jù)，與應(yīng)用最為廣泛的BP 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法［11］進(jìn)行了對比。BP 算法采用隨機(jī)抽取50%樣本訓(xùn)練，50%進(jìn)行測試，通過綜合考慮和模型尋優(yōu)后，采用輸入層為33 個神經(jīng)元，中間層為12 個神經(jīng)元、輸出層為5 個神經(jīng)元的3 層BP 神經(jīng)網(wǎng)絡(luò)進(jìn)行了10 次分類實(shí)驗(yàn)。

最終統(tǒng)計(jì)獲得在“一對一”、“一對余”的多分類方法下的支持向量機(jī)及其改進(jìn)算法的對比，以及與BP 神經(jīng)網(wǎng)絡(luò)的實(shí)驗(yàn)結(jié)果如表2 和表3 所示。

表2 基于“一對一”方法實(shí)驗(yàn)結(jié)果平均正確率比較Tab.2 Average correct rate on“one-versus-one”

表3 基于“一對余”方法實(shí)驗(yàn)結(jié)果平均正確率比較Tab.3 Average correct rate on“one-versus-all”

由實(shí)驗(yàn)結(jié)果可知，在“一對一”、“一對余”模式下，改進(jìn)支持向量機(jī)算法對相對于原支持向量機(jī)算法，以及BP 神經(jīng)網(wǎng)絡(luò)算法而言，具備較好的分類識別能力，性能較優(yōu)。

4 結(jié) 語

通過理論分析、擴(kuò)展的XOR 數(shù)據(jù)、雙螺旋仿真數(shù)據(jù)和船舶輻射噪聲DENOM 譜特征分類實(shí)驗(yàn)數(shù)據(jù)表明，對支持向量機(jī)在松弛變量和決策函數(shù)兩方面進(jìn)行改進(jìn)而提出的基于徑向基核函數(shù)的齊次決策二階損失函數(shù)支持向量機(jī)改進(jìn)算法，具有分類面劃分合理、模型參數(shù)尋優(yōu)空間廣闊、總體分類性能優(yōu)的特點(diǎn)，分類性能優(yōu)于原支持向量機(jī)算法等分類算法，該支持向量機(jī)改進(jìn)算法是一種適用于船舶螺旋槳槳葉數(shù)識別應(yīng)用的有效的分類算法，實(shí)現(xiàn)了對船舶螺旋槳槳葉數(shù)的有效分類識別。

［1］戴衛(wèi)國，程玉勝，王易川. 支持向量機(jī)對艦船噪聲DEMON 譜的分類識別［J］. 應(yīng)用聲學(xué)，2010(3):206-211.DAI Wei-guo，CHENG Yu-sheng，WANG Yi-chuan.Classification of the DEMON spectra of ship-radiated noise based on Support Vector Machine［J］. Applied Acoustic，2010(3):206 -211.

［2］VAPNIK V N.統(tǒng)計(jì)學(xué)習(xí)理論的本質(zhì)［M］.張學(xué)工，譯.北京:清華大學(xué)出版社，2000.

［3］焦李成，周偉達(dá)，張莉.智能目標(biāo)識別與分類［M］.北京:科學(xué)出版社，2010.JIAO Li-cheng，ZHOU Wei-da，ZHANG Li. Intelligent target identification and classification［M］.Beijing:Science Press，2010.

［4］鄧乃楊，田英杰.數(shù)據(jù)挖掘中的新方法——支持向量機(jī)［M］.北京:科學(xué)出版社，2004.

［5］張春華.支持向量機(jī)中最優(yōu)化問題的研究［D］.北京:中國農(nóng)業(yè)大學(xué)，2004.

［6］陳寶林.最優(yōu)化理論與算法(第2 版)［M］. 北京:清華大學(xué)出版社，2005.

［7］李明.詳解MATLAB 在最優(yōu)化計(jì)算中的應(yīng)用［M］. 北京:北京電子工業(yè)出版社，2011.LI Ming. Application of MATLAB for Optimization Theory［M］. Beijing:Beijing Electronics Industry Publishing Press，2011.

［8］趙春暉，陳萬海，郭春燕.多類支持向量機(jī)方法的研究現(xiàn)狀與分析［J］.智能系統(tǒng)學(xué)報(bào)，2007，2(2):11 -17.ZHAO Chun-hui，CHEN Wan-hai，GUO Chun-yan.Research and analysis of methods for multiclass support vector machines［J］. CAAI Transactions on Intelligent Systems，2007，2(2):11 -17.

［9］黃勇，鄭春穎，宋忠虎. 多類支持向量機(jī)算法綜述［J］.計(jì)算技術(shù)與自動化，2005，24(4):61 -63.HUANG Yong，ZHENG Chuan-ying，SONG Zhong-hu.Multi-class support vector machines algorithm summarization［J］.Computing Technology and Automation，2005，24(4):61 -63.

［10］Vojtech Franc Vaclav HlavaC. Statistical Pattern Recognition Toolbox for Matlab User′s guide［R］.ftp://cmp.felk.cvut.cz/pub/cmp/articles/Franc-TR-2020-08.pdf.

［11］許東，吳錚.基于MATLAB6.X 的系統(tǒng)分析與設(shè)計(jì)——神經(jīng)網(wǎng)絡(luò)［M］. 西安:西安電子科技大學(xué)出版社，2003:19 -24.XU Dong，WU Zheng.System analysis and design based on MATLAB6. X［M］. Xi′an:Xi′an Electronic and Science University Press，2003:19 -24.