基于RMDLPP的雷達空中目標分類

劉帥康, 曹 偉, 管志強, 楊學嶺,2, 許金鑫

(1. 中國船舶集團有限公司第七二四研究所, 江蘇 南京 211153; 2. 南京航空航天大學電子信息工程學院, 江蘇 南京 211106)

0 引 言

雷達自動目標識別技術(radar automatic target recognition, RATR)是指利用雷達發射電磁波照射目標, 對獲得的回波進行分析以確定目標的種類、 型號屬性的技術[1]。隨著空中目標飛機性能的不斷提升,回波的調制逐步趨于多樣化,國家空防安全面臨的挑戰也日趨嚴峻。研究防空系統如何能實時高效的識別空中目標,對國家空防安全具有重大的現實意義。

目前,對窄帶雷達目標的識別主要有人工提取特征和自動提取特征兩種。人工提取特征主要從振幅偏差系數、時域波形熵、頻域波形熵、調制帶寬和二階中心矩等[2-6]特征進行提取,然后對目標進行分類,這種方法可以得到較高的識別率,但嚴重依賴于專家知識,一定程度上限制了適用范圍。自動提取特征一般為神經網絡提取特征,常見的有卷積神經網絡(convolutional neural network, CNN)[7-11]、生成對抗網絡(generative adversarial network, GAN)[12]和雙向長短時記憶(bidirectional long short-term memory, Bi-LSTM)網絡[13-14]以及這些網絡的變形。神經網絡方法對數據量較多時能取得較好的效果,但對于數據量少且復雜多變的調制信號往往效果不佳。

特征降維作為自動提取特征的方法可以很好地解決數據量少分類效果不佳的問題。特征降維方法包括線性降維方法和非線性降維方法。常用的線性降維方法包括主成分分析(principal component analysis, PCA)[15]和線性判別分析(linear discriminant analysis, LDA)[16]。線性降維算法在雷達目標識別中也有一些應用[17-19],全大英等人[17]將時頻圖中提取到的特征通過PCA進行降維,并將降維后的特征參數送入支持向量機(support vector machine, SVM)中進行識別,得到了較高的準確率。然而,由于調制數據在空間中的分布具有非線性結構,線性降維算法無法滿足降維需求。常用的非線性降維算法包括等距離映射(isometric mapping, ISOMAP)[20]、局部線性嵌入(locally linear embedding, LLE)[21]等。之后對非線性降維算法的改進主要圍繞局部性進行,其中最具代表性的為局部保持投影(locality preserving projection, LPP)[22-23]。為了能更好地利用標簽信息, 鑒別局部保持投影(discriminant locality preserving projections, DLPP)[24]作為改進算法被廣泛使用,然而DLPP在樣本數據量小于樣本維度數時會出現類內離散度矩陣奇異的問題。

為解決類內離散度矩陣奇異問題,目前主流的有4種方法:① 先通過PCA降維至樣本維度小于樣本數據量,再通過LPP降維,這樣可以避免LPP降維時出現的內離散度矩陣奇異問題;② 通過指數DLPP(exponential DLPP, EDLPP),將類間離散度和類內離散度指數化后再進行運算,從而消除矩陣奇異的問題[25-26];③ 通過合成少數過采樣DLPP(synthetic minority oversampling technique DLPP, SMOTE-DLPP),在進行DLPP運算前先使用過采樣技術對數據進行擴充,樣本數據量大于維度時,便不存在矩陣奇異問題[27];④ 通過最大差分準則局部保持投影(locality preserving projection maximum difference criterion, LPPMDC),將LPP與最大差分準則(maximum difference criterion, MDC)相結合,通過矩陣變換和矩陣指數的近似替換可以將LPP方法近似為一個簡單的標準特征值問題,從而避免了類內離散度矩陣奇異的問題[28-29]。通過以上解決方案,可以很好地解決類內離散度矩陣奇異的問題。然而,對于調制數據中出現的孤立點和可分性差的問題仍需要解決。研究發現,將兩樣本點的歐氏距離和樣本均值相關聯能很好地解決孤立點魯棒性差的問題[30],且使用Fisher判別分析可以增加高維特征樣本的可分離性[31]。

針對以上思路,本文提出了魯棒性邊界DLPP(robust margin DLPP, RMDLPP)用于窄帶雷達空中目標分類。首先,計算樣本之間距離時將兩樣本點的歐氏距離與同類樣本均值相關聯,增強算法對孤立點的魯棒性;其次,挑選一定數量的邊界樣本點進行處理并對優化DLPP目標函數進行降維,即克服DLPP存在的類內離散度矩陣奇異問題又增加類別間的區分度;最后,使用高性能的分類器對降維后的數據進行分類。通過對X波段對空警戒雷達實測數據對比實驗驗證了該方法的有效性。

1 相關算法

1.1 DLPP

DLPP是在LPP和Fisher判別分析兩種方法的基礎上發展而來的有監督學習算法,其目標函數為

(1)

(2)

Bij為第i類和第j類之間的權重,定義為

(3)

式中:σ為調節系數。

DLPP目的是使目標函數最小化,從而求得最優投影矩陣W。

1.2 邊界Fisher分析

邊界Fisher分析利用樣本的局部關系構建權重矩陣,算法采用本征圖G+={G,V+}來描述同類樣本之間的緊密性,用懲罰圖G-={G,V-}來描述類間可分性,具體定義如下:

(4)

(5)

邊界Fisher分析的優化目標函數為

(6)

式中:X為輸入樣本;D為對角矩陣,定義為

(7)

邊界Fisher分析目的是使目標函數最大化,從而求得最優投影矩陣W。

1.3 集成學習分類器

集成學習分類器是將若干個弱分類器組合之后產生一個新的強分類器,本文采用的是Bagging方法,Bagging方法概要圖如圖1所示。

圖1 Bagging方法概要圖Fig.1 Overview of Bagging method

如圖1所示,給定包含n個樣本的數據集,先隨機取出一個樣本放入采樣集中,再把該樣本放回數據集,使得下次采樣時該樣本仍有可能被選中,經過n次隨機采樣操作,得到含有n個樣本的采樣集。按照以上方法,采樣T個含有n個訓練樣本的采樣集,然后基于每個采樣集訓練出一個分類器。當有樣本需要預測時,每一個弱分類器預測出一個結果,通過投票法得到一個強分類器,最終由強分類器預測出樣本的類別。

2 目標分類方法

基于RMDLPP的空中目標分類方法主要由兩部分組成:① 采用RMDLPP算法對原始數據進行降維;② 使用集成學習分類器對降維后的特征進行分類。總體流程圖如圖2所示,由圖2可將分類方法分為如下幾個步驟:

圖2 目標分類總體流程圖Fig.2 Overall flow chart of target classification

步驟 1輸入訓練樣本和訓練標簽,訓練標簽和測試標簽均由3類構成,0、1和2代表分別代表3種類別。通過降維方法獲得投影矩陣,訓練樣本與投影矩陣相乘得到降維后的投影矩陣,將投影數據送入集成學習分類器中訓練,得到訓練好的分類器;

步驟 2將測試數據與投影矩陣相乘,得到測試集的投影矩陣,將測試集的投影矩陣送入訓練好的集成學習分類器中,輸出判決結果;

步驟 3將判決結果與測試標簽進行對比,計算出最終的測試精度。

2.1 降維算法

降維算法主要由計算樣本間距離、挑選邊界樣本點和目標函數優化3部分組成,降維算法的流程圖如圖3所示。首先,根據改進距離算法計算輸入樣本之間的距離;然后,從類內挑選k1個類內邊界樣本點計算類內離散度,并挑選k2個類間邊界樣本點計算類間離散度;最后,將計算出的類內離散度和類間離散度送入優化后的目標函數中,計算出投影矩陣,并將輸入數據與投影矩陣相乘,得到降維后的數據。

圖3 降維算法流程圖Fig.3 Flow chart of dimensionality reduction algorithm

2.1.1 樣本間距離的計算

在數據集分布均勻時,DLPP使用歐氏距離計算能取得較好的降維效果,但如果數據集分布不均勻,歐氏距離往往不能體現數據集的內在特征,從而使降維結果產生一定的形變。高維窄帶雷達數據為非線性,樣本中數據結構分布并不平均,而是存在孤立點,使用歐氏距離進行權重計算會導致一定的誤差,從而影響最終的分類效果。改進歐氏距離算法可以使分布相對集中的區域趨于平均,分布相對稀疏的區域距離減少,具體公式如下:

(8)

式中:m為樣本均值;d(xi,xj)表示樣本點xi與xj之間的歐氏距離;d(xi,m)和d(xj,m)則為xi和xj與其他樣本點的距離的平均值。改進后的算法可增強DLPP算法的魯棒性,得到相對較好的分類效果。

2.1.2 類內和類間數據的挑選

相似的樣本在空間中的位置通常是接近的,同類樣本之間具有高度的相似性,因此樣本均值很好地反映了同類樣本的集中分布,而距離樣本最遠的幾個同類樣本點往往具有重要的判別信息,決定了整個類別樣本的離散程度。樣本均值離同類邊界樣本越遠,表示該類樣本越分散;同理,樣本均值離同類邊界樣本越近,表明該類樣本越緊湊。

于是可以定義DLPP算法第k類樣本中第i個和第j個樣本之間的權重為

(9)

樣本均值的異類近鄰樣本通常是易錯分的樣本,利用這些樣本作為類與類之間的邊界,既可以有效區分樣本的類別,又可以在降維過程中更加關注邊界樣本點。

于是可以定義DLPP算法第i類和第j類異類鄰近樣本之間的權重為

(10)

2.1.3 目標函數的優化

(11)

式中:λ1為跡差的權重系數。式(11)中的前半部分可以轉化為如下形式:

WTX(D-S)XTW=WTXL+XTW

(12)

同理,后半部分可以轉化為

WTM(E-B)MTW=WTML-MTW

(13)

這里Sk是第k類相似權重矩陣,Dk和E是對角陣,M=[m1,m2,…,mC]∈Rm×C,相應的公式形式為

(14)

(15)

然后,將式(12)和式(13)代入式(11)中,此時的目標函數轉化為

(16)

對[λ1XL+XT-(1-λ1)ML-MT]進行特征分解,求出前r個最小特征值對應的特征向量即為投影矩陣。將輸入數據與投影矩陣相乘得到降維后的數據X*。

2.2 分類算法

分類算法由以下3部分組成:① 從訓練集中隨機抽樣得到子訓練集;② 由子訓練集訓練得到基模型;③ 對基模型進行預測得到預測結果;④ 通過投票法進行綜合得到最終的分類結果。分類算法流程圖如圖4所示。

圖4 分類算法流程圖Fig.4 Flow chart of classification algorithm

3 實驗結果與分析

本文搭建的網絡模型所采用的數據集來自X波段對空警戒雷達,工作頻率10 kHz,相關脈沖數為250個。樣本由直升機、螺旋槳和噴氣式3類飛機組成,其中直升機1 192個、螺旋槳1 435個、噴氣式843個,3類飛機的數據維度為256。針對本文研究的樣本數量小于樣本維度的情況,本文將訓練樣本逐步增大,直至超過樣本維度,為了保證實驗的可靠性,選擇足夠多固定的樣本作為測試樣本,3類飛機的訓練數量和測試數量設置如表1所示。

表1 訓練樣本選擇表Table 1 Training sample selection table 個

如表1所示,設置每類訓練樣本數量由20至100逐漸增大,直至3類樣本之和超過了訓練維度256;設置每類樣本測試數量為400個固定的樣本,這樣既能避免因樣本分布不均勻帶來的偏差,又能進一步保證實驗的可信度。

由于降維后特征值的個數對算法的性能影響較大,為了得到較優的算法模型,本文使用一組實驗在訓練樣本數量不同的情況下對降維后的維度進行了選擇。另外,完成降維后選擇不同的分類器分類,得到的分類精度也會大不相同,本文在特征維度確定的條件下,使用不同的分類器在訓練樣本數量不斷增加觀察分類器的變化,以此來選擇最佳分類器。最后,使用本文方法與目前較新的4種降維方法進行對比實驗,通過分類時間和分類精度的對比,證明了本文所提方法的有效性。

3.1 分類器選擇

使用不同的分類器,會有不同的分類效果,本文使用常用的k近鄰(k-nearest neighbor, KNN)分類器、貝葉斯分類器、SVM分類器、鑒別分析法分類器和集成學習分類器進行對比分析,隨著訓練數量的增加,測試精度變化如圖5所示。由圖5可以看出,隨著訓練數量的增加,5種分類器分類精度都會隨之增加。在訓練數量為每類20個時,SVM分類器的分類效果最好,這是由于SVM訓練出來的結果由支持向量所決定,少量的支持向量讓SVM有了較強的泛化能力,因此SVM結果會優于其他分類器。隨著訓練數量的增加,集成學習分類器的優勢逐步展現,這得益于集成學習分類器采用隨機采樣和弱分類器投票策略。在隨機采樣中,由于部分訓練樣本未被抽取,一定程度上增加了集成學習的泛化能力;由若干個弱分類器投票組成強分類器,極大提升了集成學習分類器在預測時的容錯率。從圖5可以看出,在訓練樣本數量為40至100時,集成學習分類器分類準確率均高于SVM分類器,且有逐步將精度差距擴大的趨勢,充分展現了集成學習的優勢。KNN分類器由于受限于鄰域樣本個數和每類樣本數量的影響,在樣本數量較少時分類精度較低,隨著訓練數量的增加分類精度有所改觀,但仍無法與SVM和集成學習相比。貝葉斯分類器受限于樣本之間完全獨立,分類效果一直處于較低水平。綜上所述,集成學習分類器在降維后的分類中具有較好的性能,本文選擇以集成學習分類器作為降維后的分類方法。

圖5 分類器選擇圖Fig.5 Classifier selection graph

3.2 挑選類內和類間參數

類內挑選k1個樣本點,類間挑選k2個樣本點,識別的準確率會隨著挑選樣本點個數的變化而變化,本文從以下兩個實驗確定參數k1和k2的選取。

實驗 1初步判定k1和k2的取值。分類器選用集成學習分類器,并將每類訓練數據設定為80個,參數k2設定為20、40、60和80,識別準確率隨k1的變化如圖6所示。圖6中,k2保持不變,隨著k1的不斷增加,識別準確率變化的整體趨勢是先增大后減小,在k1為40時,識別準確率取得最大值。類內數據點挑選過少,可能會使類內邊界表達不充分,挑選過多,類內邊界會過于擬合均值附近點,從而導致識別準確率下降,由以上可以得出,類內挑選數量為中間某值時識別準確率達到最佳。當k1不變時,從圖6中可以看出,識別準確率最大值大多在k2取40時得到。類間挑選邊界點過少,會使類間邊界點表達不充分,挑選過多,會使類間邊界點向類內中心點擬合。因此,最佳取值也應在中間某點取得。由實驗1得出,k1和k2取值為每類訓練數量一半時,識別準確率達到最佳。因此,可以初步得出結論,為了使識別準確率達到最佳,k1和k2應當取每類訓練數量的一半。

圖6 參數k1 和k2變化圖Fig.6 Parameter k1 and k2 change graph

實驗 2驗證k1和k2取每類訓練數量一半的正確性。分類器選用集成學習分類器,每類訓練數量設置為40、60、80和100,將k2設置為每類訓練數量的一半,識別準確率隨k1變化的曲線如圖7所示。其他參數不變,將k1設置為每類訓練數量的一半,識別準確率隨k2變化的曲線如圖8所示。從圖7和圖8中可以看出,隨著每類訓練數量的增加,識別準確率整體呈現增加的趨勢;隨參數k1和k2的增加,識別準確率整體都呈現出先增后減的變化趨勢。每類訓練數量增加,算法學習到的特征更加豐富,識別準確率會進一步提升。從圖7中可以看出,當每類訓練數量為40、60和100時,三者k1挑選數量均在每類訓練數量的一半達到識別準確率的最大值,每類訓練數量為80時,也達到了相對較大值。雖然存在一定的波動,但整體可以驗證,k1取每類訓練數量的一半的正確性。與圖7相似,圖8中也展示出當k2挑選數量為每類訓練數量的一半時,識別準確率達到相對較大值,進一步驗證了k2取每類訓練數量的一半的正確性。

圖7 類內參數k1選擇圖Fig.7 Intra-class parameter k1selection graph

圖8 類間參數k2選擇圖Fig.8 Inter-class parameter k2selection graph

3.3 挑選降維后的特征維度

經過測試,特征維度過大或者過小分類精度均會維持在較低水平,因此本文根據經驗將維度區間設置在10到100的范圍內,從以下兩個實驗來確定降維后特征維度的選取。

實驗 1初步判定降維后的特征維度取值。由于訓練數量為每類20個時,降維后的樣本數量總和60依然小于特征維度100,因此本文將訓練數量設置為40至100。分類器選用集成學習分類器,在其他條件不變的情況下,分類識別正確率隨特征維度的變化如圖9所示。從圖9可以看出,在特征維度不變時,隨著訓練數量的增加,整體精度呈現上升趨勢;在每類訓練數量不變的條件下,隨著特征維度的增加,訓練精度呈先上升后下降的趨勢,在20至70之間均維持較高分類精度,并且在特征維度為30時達到識別精度的最大值。當樣本降維后保留的樣本維度過少時,會導致關鍵信息缺失,從而無法正確進行分類。同樣,當降維后保留的樣本維度過多時,會由于降維不充分而導致信息冗余,進而干擾分類的準確率。通過實驗得出,降維后的特征維度為30可以達到最優識別效果。

圖9 分類識別正確率隨特征維度變化圖Fig.9 Classification recognition accuracy varies with feature dimension

實驗 2使用不同的分類器驗證降維后特征維度取值的正確性。在其他條件不變的情況下,使用不同的分類器在每類數據量為100時進行實驗,分類識別準確率隨特征維度的變化如圖10所示。由圖10可以看出,隨著特征值個數的不斷增加,5類分類器分類準確率整體呈現出先增后減的變化趨勢。對于貝葉斯分類器、集成學習分類器和SVM分類器,在降維后特征值取30時達到最佳識別效果;對于KNN分類器和鑒別分析法分類器分別在降維后特征值取40個和20個時取得最優值,在降維后特征值個數取30個時也取得了次優的識別結果。因此,將降維后特征值個數取30個,可以使不同的分類器均達到相對較優的效果。

圖10 特征維度選取驗證圖Fig.10 Feature dimension selection verification graph

3.4 對孤立點魯棒性的驗證

在挑選數據點時,類內邊界點和類間臨界點大多數為孤立點。因此,在挑選類內和類間參數時,不同的距離計算方法對識別準確率的影響幅度,能很好地反映對孤立點的魯棒性情況。實驗中,分類器采用集成學習分類器,并將每類訓練數據設定為80個,參數k2設定為40和80,距離計算方法分別設定為歐氏距離法和改進歐氏距離法,識別準確率隨k1的變化如圖11所示。

圖11 孤立點魯棒性驗證圖Fig.11 Isolated points robustness verification graph

從圖11中可以看出,在k1和k2相同的條件下,使用改進歐式距離的識別準確率要高于使用歐氏距離的識別準確率,這主要是由于改進歐氏距離將樣本均值融入到距離的計算中,增加了邊界樣本識別的準確率。當類間挑選個數k2確定時,使用歐式距離法在最高點向兩側下降的速度要大于改進歐式距離法,這是因為當類內挑選數據較少或較多時,類內邊界樣本點包含在挑選數據中,使用改進歐式距離法可使類內邊界樣本向均值處靠攏,增加樣本類別之間的可分性,因此識別準確率下降的較慢。同理,當類內參數k1確定時,相比于歐氏距離法,使用改進歐式距離法也會使識別準確率在最高點向兩側下降的速度更慢,這進一步證明了改進歐式距離法可以增加算法對孤立點的魯棒性。

3.5 5種改進方法對比

在確定RMDLPP方法的關鍵參數和分類器后,將RMDLPP方法與PCA-LPP、EDLPP[25-26]、SMOTE-DLPP[27]、LPPMDC[28-29]等方法進行對比分析,隨著訓練數據的增加測試數據精度的變化如圖12所示,測試數據所消耗的時間變化如圖13所示。

圖12 精度隨訓練數量變化圖Fig.12 Accuracy varies with number of trainings

圖13 時間隨訓練數量變化圖Fig.13 Time varies with number of trainings

從圖12和圖13可以看出,隨著訓練數據的增加,RMDLPP方法始終維持最高的識別精度,且測試數據所消耗的時間始終維持較低水平。對于PCA-LPP算法,由于在做PCA時進行了線性降維,再通過LPP做非線性降維時可能會丟失一部分關鍵信息,導致精度無法提高到理想水平。EDLPP算法由于在距離計算時使用歐氏距離,對離群點較為敏感,且對邊界數據的區分能力有限,所以分類精度處于較低水平。使用SMOTE-DLPP方法時,先對數據進行擴充處理,當訓練數據個數大于數據維度時進行DLPP降維處理,由于在數據擴充時使用了神經網絡,一定程度上增加了時間成本,精度也并不占優。LPPMDC方法將跡商改為跡差,也能得到較高的精度,且時間成本也相對較低,然而LPPMDC為無監督學習方法,無法充分利用已知的類別信息,因此無法達到最佳分類效果。RMDLPP算法對邊界進行清晰化處理,使得數據的可分性增加,對歐氏距離進行改進,使得對離群點的魯棒性增加,進而增加了分類精度;在對邊界進行清晰化處理時,由于只處理了部分邊界數據,因此一定程度上縮減了測試所用的時間。

4 結 論

本文提出來了一種基于RMDLPP的目標分類方法,對窄帶雷達空中目標進行降維和分類。通過對目標函數進行優化,解決了樣本數據量小于樣本維度數時出現的類內離散度矩陣奇異問題;通過引入邊界Fisher分析,解決了窄帶雷達數據邊界區分困難的問題;通過改進樣本間的距離計算公式,解決了DLPP算法對孤立點較為敏感的問題。通過X波段對空警戒雷達實測數據的對比實驗表明,在樣本量大于40時,本文所提方法精度均維持在80%以上,這進一步證明了本文所提方法處理高維數據的能力。