一種新的支持向量機(jī)核函數(shù)評(píng)估方法?

(空軍預(yù)警學(xué)院,湖北武漢430019)

0 引言

在雷達(dá)輻射源信號(hào)分選識(shí)別研究中,SVM以其較強(qiáng)的訓(xùn)練和識(shí)別能力得以廣泛應(yīng)用,其原理是通過(guò)核函數(shù)將樣本從不可分的低維空間映射至可分的高維空間中,實(shí)現(xiàn)非線性不可分問(wèn)題向線性可分問(wèn)題的轉(zhuǎn)化[1]。但實(shí)際應(yīng)用中,SVM中核函數(shù)性能各異,且對(duì)不同的模型參數(shù)有著不同的學(xué)習(xí)感知能力,因此,對(duì)核函數(shù)性能進(jìn)行有效評(píng)估已顯得尤為重要。

當(dāng)前,常用的核函數(shù)有線性核(Linear)、多項(xiàng)式核(Poly)、高斯核(RBF)、多層感知核(Sigmoid)以及多項(xiàng)式核與高斯核凸組合的核函數(shù)(Pobf)。在常用的評(píng)估方法中,K-CV和LOO及其評(píng)估上界[2-5]是一種基于分類器的核函數(shù)評(píng)估方法,主要通過(guò)將特征參數(shù)分為K組,取K-1組進(jìn)行訓(xùn)練,剩下一組進(jìn)行測(cè)試,并將此過(guò)程循環(huán)K次,最終將測(cè)試結(jié)果誤差作為SVM的評(píng)估準(zhǔn)則,但是LOO法誤差計(jì)算過(guò)程繁雜、開(kāi)銷較大,難以適用實(shí)際需求;文獻(xiàn)[6]提出了一種依據(jù)識(shí)別結(jié)果綜合應(yīng)用多種統(tǒng)計(jì)量的評(píng)估方法,包括配對(duì)t測(cè)試方法、糾正重復(fù)采樣t測(cè)試方法,該類方法將統(tǒng)計(jì)方法運(yùn)用其中,卻存在著計(jì)算量大、難以滿足實(shí)際應(yīng)用需求的弊端;核排列、核極化、局部核極化[7-10]是幾種常用的獨(dú)立于分類器的核函數(shù)評(píng)估方法,這類方法更多地關(guān)注了核函數(shù)對(duì)樣本從低維空間映射到高維空間的實(shí)際分類能力,但并未考慮到核函數(shù)的泛化性能。這些方法在對(duì)核函數(shù)進(jìn)行評(píng)估時(shí),僅從某一方面對(duì)核函數(shù)進(jìn)行評(píng)估,并不具備全面性。因此,后續(xù)的研究者們又提出了一種基于多指標(biāo)的核函數(shù)評(píng)估方法[11],以可分離性、穩(wěn)定性和復(fù)雜性為指標(biāo),并通過(guò)Mercer理論[12]來(lái)對(duì)各指標(biāo)進(jìn)行度量。但該指標(biāo)體系中,可分離性指標(biāo)是通過(guò)度量特征參數(shù)在核空間上的相似性而得出,其本質(zhì)屬于特征參數(shù)相似性,并非核函數(shù)的可分離性;復(fù)雜性指標(biāo),僅考慮了核函數(shù)參數(shù)個(gè)數(shù)對(duì)分類器的影響,忽略了參數(shù)維度對(duì)核函數(shù)的影響。

為此,本文提出一種新的支持向量機(jī)核函數(shù)評(píng)估方法,首先構(gòu)建了以核函數(shù)相似性、穩(wěn)定性和復(fù)雜性為評(píng)估指標(biāo)的評(píng)估體系,并給出各個(gè)指標(biāo)的計(jì)算準(zhǔn)則,然后利用層次分析法對(duì)不同應(yīng)用場(chǎng)景下的評(píng)估指標(biāo)賦予權(quán)值,其次利用指標(biāo)評(píng)分函數(shù)對(duì)各指標(biāo)予以評(píng)分,最后通過(guò)權(quán)重矩陣和指標(biāo)評(píng)分矩陣對(duì)各評(píng)估對(duì)象以綜合打分的方式進(jìn)行評(píng)估。將新的評(píng)估方法分別應(yīng)用至雷達(dá)輻射源信號(hào)實(shí)時(shí)處理和事后處理兩種不同的應(yīng)用背景中,該評(píng)估方法的有效性與可行性得以驗(yàn)證。

1 評(píng)估指標(biāo)的建立與計(jì)算

評(píng)估指標(biāo)的構(gòu)建是進(jìn)行評(píng)估工作的前提與基礎(chǔ)。指標(biāo)的選取應(yīng)當(dāng)在基于用戶實(shí)際應(yīng)用需求的背景下,遵循目的性、科學(xué)性、系統(tǒng)性等原則。但是在實(shí)際評(píng)估中,由于評(píng)估指標(biāo)會(huì)受到各種復(fù)雜因素的影響,難以滿足以上所有指標(biāo)選取準(zhǔn)則。因此,針對(duì)核函數(shù)性能的實(shí)際情況,從以下3個(gè)方面來(lái)構(gòu)建核函數(shù)評(píng)估指標(biāo):

1)對(duì)核函數(shù)性能的直接度量即核函數(shù)對(duì)特征參數(shù)的識(shí)別率。因此,在構(gòu)建理想核函數(shù)基礎(chǔ)上,通過(guò)計(jì)算其他核函數(shù)所確定最優(yōu)超平面與理想核函數(shù)所確定最優(yōu)超平面之間的位置關(guān)系來(lái)間接地對(duì)核函數(shù)的識(shí)別性能予以度量。

2)在實(shí)際偵察環(huán)境中,偵察接收機(jī)所偵獲的脈沖個(gè)數(shù)隨機(jī)性強(qiáng)且難以控制。因此,選用穩(wěn)定性指標(biāo)來(lái)量化樣本容量對(duì)核函數(shù)抗擾動(dòng)能力的影響。

3)在實(shí)際應(yīng)用中,核參數(shù)的個(gè)數(shù)、維數(shù)直接影響核函數(shù)性能的優(yōu)劣。因此,選用復(fù)雜度特征來(lái)對(duì)核函數(shù)的復(fù)雜性進(jìn)行描述。

依據(jù)上述指標(biāo),完成核函數(shù)評(píng)估指標(biāo)體系的構(gòu)建。支持向量機(jī)核函數(shù)評(píng)估指標(biāo)體系如圖1所示。

圖1 支持向量機(jī)核函數(shù)評(píng)估指標(biāo)體系

目前,常用的核函數(shù)中Poly核、Sigmoid核屬于全局性核函數(shù),具有較強(qiáng)的全局泛化性;而RBF核屬于局部性核函數(shù),具有較好的局部擬合性;Pobf核既具有較強(qiáng)的全局泛化能力,也同時(shí)具備較強(qiáng)的局部擬合能力[13]。因此,為了充分考慮各核函數(shù)的性能,選用模擬條件無(wú)信噪比環(huán)境下識(shí)別率最高的線性混合核函數(shù)為理想核函數(shù),記為Id Kernel。

式中,λi(i=1,2,3,4)為對(duì)應(yīng)核函數(shù)系數(shù),其中

1.1 相似性

相似性是用來(lái)描述在訓(xùn)練識(shí)別樣本已定條件下,各類核函數(shù)所構(gòu)造的最優(yōu)超平面與理想核函數(shù)所構(gòu)造的最優(yōu)超平面位置之間的關(guān)系。如圖2所示的支持向量機(jī)可分情形下的可分曲線示意圖中,記有一組線性可分的訓(xùn)練樣本集其中a i為第i個(gè)樣本,y i∈(-1,1)為第i個(gè)樣本的分類標(biāo)簽,超平面方程表示的就是能夠把兩類樣本分開(kāi)的方程。最優(yōu)超平面不僅能夠最大限度地將不同類樣本予以區(qū)分,還使得樣本到該平面的距離最大,即樣本間間距最大,如圖中虛線X所示。方程表示為

圖2 支持向量機(jī)可分情形下的可分曲線

若將該平面分別向樣本方向進(jìn)行平移,當(dāng)碰到某個(gè)樣本點(diǎn)時(shí)停下,得到平面X1,X2,這兩個(gè)平面稱為支持平面,落在這兩個(gè)平面上的樣本點(diǎn)就是支持向量。則兩條直線可用以下公式表示:

從式(2)可得出,不同核函數(shù)所確定的最優(yōu)超平面的不同之處在于各平面的斜率和截距不同,因此可以用不同核函數(shù)所確定的最優(yōu)超平面與理想核函數(shù)所確定的最優(yōu)超平面之間的斜率和截距的相似性來(lái)確定兩類超平面之間的相似性,從而間接描述核函數(shù)之間的相似性。

記K,B是理想核函數(shù)所確定的最優(yōu)超平面的斜率矩陣和截距矩陣;K p,B p是其他核函數(shù)所確定的最優(yōu)超平面的斜率矩陣和截距矩陣。

其中,兩類最優(yōu)超平面的斜率相似性C k和截距相似性C b分別為

因此,最優(yōu)超平面的相似性定義為C=t1·C k+t2·C b,其中,t1=t2=0.5。

核函數(shù)的相似性不僅能夠有效地刻畫(huà)不同核函數(shù)所確定的最優(yōu)超平面之間的位置關(guān)系,還能對(duì)核函數(shù)的分類能力予以度量。

1.2 穩(wěn)定性

SVM對(duì)樣本的分類識(shí)別是一個(gè)樣本量不斷增加的學(xué)習(xí)過(guò)程,而核函數(shù)的分類性能直接決定SVM分類能力。在傳統(tǒng)核函數(shù)性能評(píng)估中,諸如留一法、交叉驗(yàn)證法僅從訓(xùn)練樣本的完整性予以度量,并未充分考慮核函數(shù)的泛化性能?；诖?本文將魯棒度作為度量核函數(shù)穩(wěn)定性的評(píng)估指標(biāo)。

假設(shè)分類函數(shù)f(x)在點(diǎn)x處能夠正確分類,若f(x)在點(diǎn)x處的梯度越小,則f(x)在點(diǎn)x處的穩(wěn)定性越好,記f(x)在點(diǎn)x處的抗擾動(dòng)能力函數(shù)為

式中,‖?f(x)‖代表了f(x)點(diǎn)x處值的變化率。

因此,可以將函數(shù)f(x)魯棒度R(f)定義為抗擾動(dòng)能力函數(shù)R(f,x)在邊界支持向量集上的平均值,記為

式中,N表示邊界支持向量的個(gè)數(shù),由上節(jié)支持向量的定義可得。

魯棒度有效度量了核函數(shù)對(duì)樣本容量的抗擾動(dòng)能力[14]和對(duì)樣本集的正確預(yù)測(cè)能力,魯棒度越大,分類函數(shù)對(duì)預(yù)測(cè)樣本的正確預(yù)測(cè)能力越強(qiáng);反之,越差。

1.3 復(fù)雜性

復(fù)雜性指標(biāo)為定性指標(biāo),無(wú)法使用特定的函數(shù)對(duì)其進(jìn)行量化。因此,利用漸近時(shí)間復(fù)雜性T(n)=O(f(n))作為核函數(shù)復(fù)雜性的度量指標(biāo)。其中,f(n)代表算法中頻度最大的語(yǔ)句頻度。

根據(jù)經(jīng)驗(yàn),建立指標(biāo)到評(píng)分值的映射表,如表1所示。

表1 指標(biāo)-評(píng)分值映射表

其中,O(1)是常數(shù),O(n)是線性,O(ex)是冪指數(shù),O(n2)是二次階,O(n3)是三次階。由于在RBF核函數(shù)中,其核參數(shù)數(shù)值變化對(duì)核函數(shù)的時(shí)間復(fù)雜度影響極小,因此對(duì)O(ex)的評(píng)分值為95分。

2 基于用戶需求的核函數(shù)評(píng)估模型

Step1:根據(jù)所給出的指標(biāo)計(jì)算規(guī)則對(duì)指標(biāo)原始值進(jìn)行計(jì)算,構(gòu)建評(píng)價(jià)矩陣C=(a ij)m×n,其中m為評(píng)價(jià)目標(biāo)數(shù),n為屬性指標(biāo)數(shù)。

Step2:矩陣規(guī)范化。利用向量規(guī)范化z ij=對(duì)評(píng)價(jià)矩陣C予以數(shù)據(jù)預(yù)處理,得到規(guī)范化決策矩陣

Step3:確定指標(biāo)的評(píng)分值。在實(shí)際應(yīng)用中,相似性和穩(wěn)定性指標(biāo)可用凸遞增函數(shù)來(lái)描述,其評(píng)分值隨著實(shí)際數(shù)值的增加而增加,因此其評(píng)分函數(shù)如式(7)所示:

式中,bmax和bmin代表指標(biāo)值b的滿意點(diǎn)和無(wú)效點(diǎn)。

Step4:確定評(píng)估指標(biāo)權(quán)重W。在雷達(dá)輻射源信號(hào)識(shí)別過(guò)程中,可以分為實(shí)時(shí)處理和事后處理兩大類。實(shí)時(shí)處理時(shí),偵察接收機(jī)所截獲的雷達(dá)信號(hào)信噪比低,且對(duì)樣本的穩(wěn)定性和復(fù)雜性有較高的要求;而事后處理時(shí),對(duì)穩(wěn)定性和復(fù)雜性則要求低,識(shí)別率才是關(guān)鍵。因此,用戶可根據(jù)實(shí)際應(yīng)用需求,利用層次分析法對(duì)各評(píng)估指標(biāo)的權(quán)重予以確定。

Step5:對(duì)各評(píng)估對(duì)象進(jìn)行綜合評(píng)分。S=W·Y,W代表各評(píng)估指標(biāo)的權(quán)重,Y代表評(píng)估對(duì)象各指標(biāo)的評(píng)分值。

Step6:對(duì)評(píng)估方案進(jìn)行排序。根據(jù)評(píng)估方案的總體的評(píng)分值,依次對(duì)各方案進(jìn)行排序。

3 應(yīng)用分析

假定在雷達(dá)信號(hào)樣式和特征參數(shù)已定的情況下,選用單載頻、頻率捷變、線性調(diào)頻、非線性調(diào)頻、頻率編碼、二相編碼、四相編碼、線性調(diào)頻和二相編碼、線性調(diào)頻和四相編碼、相位編碼和頻率編碼十種信號(hào)所提取的相像系數(shù)、熵值、小波包和復(fù)雜度四種信號(hào)脈內(nèi)特征參數(shù),分別在-5,0,5,10,15和20 d B信噪比環(huán)境下對(duì)這10種信號(hào)各取100組數(shù)據(jù)進(jìn)行學(xué)習(xí),另選取150組數(shù)據(jù)進(jìn)行測(cè)試,可以得到其識(shí)別測(cè)試結(jié)果,如表2所示,記識(shí)別率、識(shí)別時(shí)間、復(fù)雜度為F1,F2,F3。并由式(7)可以得到其評(píng)分矩陣,如表3所示。

表2 識(shí)別測(cè)試結(jié)果

表3 評(píng)分矩陣

理想核函數(shù)在無(wú)信噪比條件下的識(shí)別率為94%,相比于Linear核、Poly核、RBF核、Sigmoid核在無(wú)信噪比條件下識(shí)別率最高,相應(yīng)的核函數(shù)系數(shù)λ=(0.3,0.49,0.2,0.01)。對(duì)Linear核、Poly核、RBF核、Sigmoid核,以及Poly核和RBF核所構(gòu)成的混合核Pobf核進(jìn)行評(píng)估。由于Sigmoid核在實(shí)際應(yīng)用中識(shí)別率過(guò)低,不能達(dá)到正常使用需求,因此將Sigmoid核予以刪除,主要對(duì)Linear核、Poly核、RBF核、Pobf核進(jìn)行評(píng)估。其中,Pobf=0.5·Poly=0.5·0.5·RBF。

由實(shí)驗(yàn)可得4種核函數(shù)的相似性指數(shù)為[0.396 6,0.727 8,0.299 4,0.696 8];穩(wěn)定性指數(shù)為[3 285.1,81 852,3.720 1×10-4,71 277]。

1)實(shí)驗(yàn)1:基于雷達(dá)輻射源信號(hào)實(shí)時(shí)處理的核函數(shù)性能評(píng)估

實(shí)時(shí)處理時(shí)判斷矩陣如表4所示。

表4 實(shí)時(shí)處理時(shí)判斷矩陣

此時(shí),該判斷矩陣的特征值為λ=3.007 0,一致性指標(biāo)CI=0.003 5＜0.1。因此,此矩陣的一致性可以接受,并由此得到的指標(biāo)權(quán)重為W=(0.158 8,0.403 0,0.438 2)。并根據(jù)表3的評(píng)分矩陣可以得出各核函數(shù)的總體的評(píng)分值:Linear核函數(shù)為49.716 3,Poly核函數(shù)為83.699 9,RBF核函數(shù)為48.084 2,Pobf核函數(shù)為78.382 2。因此選用Poly核函數(shù)。

由表1中的識(shí)別測(cè)試結(jié)果可知,在信噪比小于10 dB時(shí),時(shí)間復(fù)雜度由小到大依次是RBF核、Linear核、Poly核和Pobf核;但RBF核和Linear核的穩(wěn)定性較差。盡管Poly核在0 dB和-5 dB時(shí)時(shí)間復(fù)雜度較大,但當(dāng)信噪比大于0 dB時(shí),其時(shí)間復(fù)雜度呈現(xiàn)驟降趨勢(shì),且其識(shí)別準(zhǔn)確率也較為可觀。因此,評(píng)估結(jié)果符合實(shí)際應(yīng)用需求。

2)實(shí)驗(yàn)2:基于雷達(dá)輻射源信號(hào)事后處理的核函數(shù)性能評(píng)估

事后處理判斷矩陣如表5所示。

表5 事后處理時(shí)判斷矩陣

此時(shí),該判斷矩陣的特征值為λ=3.012 6,一致性指標(biāo)CI=0.006 3＜0.1。因此,此矩陣的一致性可以接受,并由此得到的指標(biāo)權(quán)重為W=(0.747 1,0.133 6,0.119 4)。根據(jù)表3的評(píng)分矩陣可以得出各核函數(shù)的總體的評(píng)分值:Linear核函數(shù)為50.717 3,Poly核函數(shù)為84.893 8,RBF核函數(shù)為41.712 4,Pobf核函數(shù)為81.623 2。在實(shí)際應(yīng)用中選用Poly核函數(shù)。

由表1可以看出,當(dāng)信噪比大于10 dB時(shí)Poly核的識(shí)別準(zhǔn)確總體上比Pobf核略高,且穩(wěn)定性和時(shí)間復(fù)雜度較為穩(wěn)定。因此,評(píng)估結(jié)果符合實(shí)際應(yīng)用需求。

4 結(jié)束語(yǔ)

支持向量機(jī)核函數(shù)性能的優(yōu)劣直接影響著雷達(dá)輻射源信號(hào)分選識(shí)別效果。因此,本文提出了一種新的支持向量機(jī)核函數(shù)性能評(píng)估方法,該方法首先構(gòu)建了一套以相似性、穩(wěn)定性、復(fù)雜性為評(píng)估指標(biāo)的評(píng)估體系,并基于用戶實(shí)際需求利用層次分析法對(duì)各評(píng)估指標(biāo)賦予不同權(quán)重,最后利用綜合打分的方式對(duì)各評(píng)估對(duì)象的性能予以評(píng)估。將該方法運(yùn)用至支持向量機(jī)核函數(shù)性能評(píng)估的仿真應(yīng)用中,仿真結(jié)果驗(yàn)證了該評(píng)估方法的可行性和有效性,具有一定的實(shí)際應(yīng)用參考價(jià)值。

[1]白璐,徐立祥,崔麗欣,等.圖核函數(shù)研究現(xiàn)狀與進(jìn)展[J].安徽大學(xué)學(xué)報(bào)(自然科學(xué)版),2017,41(1):21-28.

[2]CHAPELLE O,VAPNIK V,BOUSQUET O,et al.Choosing Multiple Parameters for Support Vector Machines[J].Machine Learning,2002,46(1/2/3):131-159.

[3]JOACHIMS T.Estimating the Generalization Performance of a SVM Efficiently[C]∥Seventeenth International Conference on Machine Learning,Stanford,CA:Morgan Kaufmann,2000:431-438.

[4]JAAKKOLA T S,HAUSSLER D.Exploiting Generative Models in Discriminative Classifiers[C]∥Conference on Advances in Neural Information Processing Systems,Massachusetts:MIT Press,1998:487-493.

[5]宋小彬,蔣曉瑜,汪熙,等.基于改進(jìn)Joachims上界的SVM泛化性能評(píng)價(jià)方法[J].電子學(xué)報(bào),2011,39(6):1379-1383.

[6]王泳,胡包鋼.應(yīng)用統(tǒng)計(jì)方法綜合評(píng)估核函數(shù)分類能力的研究[J].計(jì)算機(jī)學(xué)報(bào),2008,31(6):942-952.

[7]WANG Tinghua,TIAN Shengfeng,HUANG Houkuan,et al.Learning by Local Kernel Polarization[J].Neurocomputing,2009,72(13/14/15):3077-3084.

[8]BARAM Y.Learning by Kernel Polarization[J].Neural Computation,2005,17(6):1264-1275.

[9]NGUYEN C H,HO T B.Kernel Matrix Evaluation[C]∥20th International Joint Conference on Artificial Intelligence,Hyderabad,India:[s.n.],2007:987-992.

[10]易序峰,吳堅(jiān),喻高航.基于自適應(yīng)梯度算法的SVM核極化參數(shù)選擇方法[J].贛南師范學(xué)院學(xué)報(bào),2015,36(6):23-27.

[11]JING Xu,HE Minghao,HAN Jun,et al.A Comprehensive Estimation Method for Kernel Function of Radar Signal Classifier[J].Chinese Journal of Electronics,2015,24(1):218-222.

[12]李瓊,陳利.一種改進(jìn)的支持向量機(jī)文本分類方法[J].計(jì)算機(jī)技術(shù)與發(fā)展,2015,25(5):78-82.

[13]胡燕燕,李東生,張?jiān)娂?凸組合核函數(shù)的支持向量機(jī)高光譜圖像分類[J].激光與紅外,2016,46(5):627-633.

[14]張鵬,倪世宏,謝川.支持向量機(jī)增量學(xué)習(xí)中模型參數(shù)選擇問(wèn)題研究[J].空軍工程大學(xué)學(xué)報(bào)(自然科學(xué)版),2011,12(5):5-9.