利用高判別低維深度特征的SAR船只分類

尋興青，萬劍華，郎海濤，徐永杰，劉善偉

(1.中國石油大學(華東)海洋與空間信息學院，山東 青島 266580；2.北京化工大學 數理學院，北京 100029)

0 引 言

自近幾年海洋發展戰略提出以來，海上船只活動越來越頻繁，對船只進行監測成為每個海洋國家的重點監管內容。合成孔徑雷達(synthetic aperture radar，SAR)因其全天時、全天候、大范圍、遠距離等特點成為重要的監測手段之一[1]。

隨著TerraSAR-X、Cosmo-SkyMed、Radarsat-2等高分辨率SAR衛星的發射，監測過程中船只分類識別的研究得到了極大發展，其中較為常見且成熟的方法是從SAR圖像中提取具有船只類型區別能力的特征，利用這些特征進行分類。常用的分類特征主要有3種：幾何特征、極化特征和散射特征。如郎海濤等提出的簡單而有效的樸素幾何特征揭示了不同類型SAR船只之間的本質差異[2]；Jiang等基于船只上層建筑后向散射特征提出維度比特征進行SAR船只分類[3]；席陽宇等利用極化特征描述船只的散射機制和散射能量進行分類識別[4]。該方法存在的問題是提取的特征多為人類專家依據物理或數學特性人工設計的特征，提取方法復雜繁瑣，且缺乏良好的泛化性能。

近幾年深度學習在機器視覺、語音識別等領域取得了突破性的進展，因此也成為船只分類識別的重要研究方向之一，如Bentes等利用卷積神經網絡在TerraSAR圖像上進行船只分類[5]；劉晨等提出一種基于卷積神經網絡遷移學習的目標分類方法[6]。該類方法存在的問題是深度學習網絡需要大量具有標簽信息的船只樣本數據，訓練數以百萬計的參數，如果數量不足將使得模型過擬合，分類效果變差。然而在實際應用中，獲取大量帶標簽信息的船只樣本是十分困難的，船只樣本的數量往往難以達到深度網絡的要求[7]。

在圖像分類領域，利用深度神經網絡，例如卷積神經網絡(convolutional neural network，CNN)模型作為特征提取器提取深度特征的理念獲得廣泛認同，其避免了人工設計特征所遇到的麻煩，例如不可或缺的專家知識。深度特征包含大量的語義信息，表達能力更為強大，結合傳統分類器實現圖像分類往往能取得更好的分類結果[8,9]。因此，本文提出了利用低維度高判別的深度特征進行SAR船只分類的方法，充分利用不同層深度特征的判別信息，以提高船只分類精度。

1 方 法

雖然深度特征包含大量的語義信息，但受CNN結構因素的影響，不同網絡層提取的深度特征從不同方面表達圖像信息，低層深度特征保留豐富的細節信息，高層深度特征具有較強的抽象語義信息[10]。雖已有大量實驗結果表明高層深度特征具有豐富的語義信息，且對于分類具有很好的性能[11,12]，但對于SAR船只分類來說，不同類別的船只樣本在SAR圖像上差異性較小，部分判別信息體現在細節上，提取的最高層深度特征雖包含最強的抽象語義信息，但丟失了較多的細節信息，所包含的判別信息不夠全面，因此只利用單一的最高層深度特征進行船只分類結果并不好。不同層級深度特征所包含的判別信息有所不同，如何選擇具有不同判別信息的深度特征以及如何綜合利用這些不同層級的深度特征，是提升船只分類正確率的關鍵[13]。深度特征維度均在千量級，過高的維度不僅增加了計算成本和數據存儲空間，還有可能導致過擬合問題，影響分類性能。因此深度特征中是否存在信息冗余，通過降維操作能否提高分類精度也是值得研究的方面之一。

為提高船只分類準確率，本文提出了利用低維度高判別的深度特征進行SAR船只分類的方法，創新點有以下兩點：①將深度特征用于SAR船只分類，并提出針對深度特征的特征優選方法；②提出級聯二分類的分類策略。本文提出的方法主要分為以下4個部分：①將ImageNet數據庫預訓練的VGG16網絡作為特征提取器，提取船只樣本數據的深度特征；②對深度特征進行t-SNE可視化，計算每類船只的類間分離度，選擇對于每類船只樣本來說類間分離度最大即最具判別信息的深度特征；③對深度特征分別進行降維；④采用級聯二分類策略對船只進行分類。流程圖如圖1所示。實驗結果表明，所提出的方法對船只分類性能有明顯提升。

圖1 本文方法流程

1.1 深度特征提取

近年來，卷積神經網絡(CNN)作為深度學習技術中極具代表性的網絡結構之一，在圖像分類和目標檢測等領域發展的日益成熟，應用領域越發寬泛。相比于其它網絡結構，CNN是為了處理二維圖像專門設計的多層神經網絡，更適合圖像特征的學習和表達；相比于其它傳統的圖像處理算法，CNN可以將原始圖形作為輸入，利用網絡自動提取特征，有效避免了復雜的前期預處理和人工提取特征的過程[14]。CNN主要由輸入層、卷積層、池化層、全連接層和輸出層構成。卷積層又叫特征提取層，由多個特征面組成，每個特征面由多個神經元組成，它的每一個神經元通過卷積核與上一層特征面的局部感受野相連，并提取該局部的特征。全連接層在多個卷積層和池化層之后，每一個神經元與其前一層的所有神經元進行全連接，全連接層可以整合卷積層或者池化層中具有可分性的信息[15]。本文分別在卷積層和全連接層后提取深度特征，特征可以分為兩類：卷積層特征和全連接層特征。

VGG(visual geometry group)網絡是牛津大學計算機視覺組研發的一種深度卷積神經網絡架構。該網絡經過構建交替的3×3的卷積核和2×2的池化層，實現了16-19層的網絡結構[16]。常用的結構是VGG16和VGG19。本文使用的網絡結構為VGG16，VGG16網絡的總體結構共16層，包括13個卷積層和3個全連接層，結構如圖2所示。本文將提取第5-13層卷積層和第1-2層全連接層的輸出向量作為深度特征進行后續實驗。

圖2 VGG16網絡結構

1.2 特征優選

t分布隨機鄰域嵌入(t-distributed stochastic neighbor embedding，t-SNE)算法是隨機鄰域嵌入(SNE)的一種變體，通過在二維或三維空間中給出每個樣本點的位置來可視化高維數據。t-SNE算法的基本思想是在原始高維空間中利用高斯分布將所有樣本對之間的距離轉換為表示相似性的條件概率，構建一個概率分布，同時在低維空間中利用t分布構建這些點的概率分布，使得這兩個概率分布盡可能地相似[17]。t-SNE能夠同時保留數據的局部結構和全局結構，在可視化后相似的數據更好地聚合在一起，相對其它算法具有一定的優越性，因此本文選擇t-SNE算法對樣本數據進行可視化。在可視化的結果圖上，通過不同類別的樣本聚集情況，判斷該深度特征所包含的判別信息；若同一類別的樣本緊密聚集在一起，并且遠離其它類別的樣本，說明該深度特征對于此樣本類別具有較好的判別信息。

每個樣本類別的最優鑒別信息可能分布在不同層級的深度特征上，因此本文提出針對每個樣本類別的特征優選方法。該方法首先對每個層級的深度特征進行t-SNE可視化；然后在可視化特征上，計算每個類別的類間分離度，類間分離度越大，則認為該特征上此類別的判別信息越豐富；最后為每個樣本類別選擇類間分離度最大即判別信息最豐富的特征，并根據類間分離度對樣本類別進行優先級排序。具體實現步驟如下：

(1)對每層的深度特征進行t-SNE可視化；

(2)在每層深度特征可視化的結果上，計算類間距離，計算公式為

(1)

(2)

(3)計算每個類別的類間分離度S， 計算公式為

(3)

(4)為每個樣本類別選擇類間分離度最大的深度特征作為有效特征，并將樣本類別按可分離度大小進行優先級排序。

1.3 特征降維

主成分分析(principal component analysis，PCA)是無監督降維，其基本思想是通過對原始特征的相關矩陣或協方差矩陣內部結構的研究，將多個特征轉換為少數幾個綜合特征，這些特征是原特征的線性組合，最大化保留原特征的信息，且彼此間不相關，最終達到將數據特征映射到新的特征空間的目的。線性判別分析(linear discriminant analysis，LDA)是有監督的降維方法，其基本思想是找到一個最優的鑒別方向集，將樣本數據投影到這些方向上，使得投影后的類間散布距離和類內散布距離的比值最大，從而使得投影后每一種類別數據的投影點盡可能接近，而不同類別的數據的類別中心之間的距離盡可能的遠[18]。局部保留投影(locality preserving projection，LPP)方法是基于流形學習的無監督降維方法，其基本思想是先構建樣本之間的原始近鄰關系，然后尋找一個投影子空間，使得原始數據投影到此空間后依舊可以很好保留原先的局部近鄰關系[19]。監督局部保留投影(supervised locality preserving projection，SLPP)是在LPP 的基礎上加入了類標簽信息，在保留類內局部結構的同時最大化類間的距離[20]。

1.4 船只分類

K近鄰算法(K-Nearest neighbor，KNN)是機器學習中比較簡單且理論成熟的分類算法之一，其基本思想是先計算訓練樣本集中與待分類樣本距離最近的K個鄰居，若這K個鄰居樣本中的大多數都屬于某一個類別，那么該待分類樣本也屬于該類別[21]。本文選擇KNN分類器對降維后的深度特征進行分類，但若將優選的所有深度特征直接連接后輸入到KNN分類器中，直接連接的方式無法充分利用不同層級深度特征中包含的判別信息，分類結果可能不佳。

本文根據特征優選的方法，提出了基于KNN的級聯二分類方法。在特征優選時，為每個樣本類別選擇了一個有效深度特征，并且根據類間分離度對樣本類別進行了優先級排序。

該方法首先對優先級最高的樣本類別進行分類，利用KNN分類器對該類別的有效深度特征進行二分類，分類結果為該類別和非該類別，分為該類別的樣本確定最終分類結果，分為非該類別的樣本需進一步確定分類結果；對于需進一步確定結果的樣本，利用KNN分類器對次優先級樣本類別的有效深度特征進行二分類，確定屬于次優先級類別的樣本，非該類別的樣本按照優先級依次往下分類，直到分類完成。分類過程中優先級最低的深度特征實際并未使用，這里以3類為例，流程如圖3所示。

圖3 基于KNN的級聯二分類

2 實 驗

2.1 實驗數據

實驗使用的船只樣本數據取自TerraSAR-X遙感影像。所選用的船只樣本包括貨船90個，集裝箱船50個，油輪50個，共190個樣本構成船只庫。圖4展示了3類船只部分樣本的SAR圖像。

圖4 SAR船只樣本圖像

數據增強已被驗證是一種有利于機器學習模型，特別是深層結構訓練的常見技術，通過加快收斂速度或者充當正則化器，從而避免過度擬合并提高泛化能力。最常見的數據增強是通過對現有的數據應用平移、旋轉、變形、縮放、裁剪等變換來生成新樣本以擴充樣本數量[22,23]。劉凱品等通過旋轉和向圖像中添加隨機噪聲的方法進行數據擴充，以此提高SAR圖像中目標的識別率[24]；Furukawa通過對比有無數據增強的MSTAR數據在深度殘差網絡上的分類結果，驗證數據增強提高了分類精度[25]。

由于船只樣本數據過少，為了防止過擬合，現采用數據增強的方法將每類船只的數量增至500個，形成包含1500個船只樣本圖像的數據集。為保證實驗的可信度，隨機抽取1200個船只樣本作為訓練集，其中每類船只樣本400個，剩下的300個樣本作為測試集，重復10次，得到10次隨機劃分的訓練集和測試集，實驗結果取10次實驗的均值。

2.2 深度特征提取與特征優選

本文采用標準的ImageNet數據庫預訓練的VGG16網絡直接提取特征，VGG16網絡中卷積核為3×3，卷積步長為1，池化窗口為2×2，池化步長為2，采用Relu激活函數。這里分別提取第5-13層的卷積層特征和第1-2層的全連接層特征，在以下部分中，convi表示第i層卷積層特征，fci表示第i層全連接層特征。

首先對訓練樣本的所有特征進行t-SNE可視化，然后通過類間距離計算每類船只的類間分離度，計算結果見表1。由表1可知，貨船在fc2特征上的可分離度最高，說明貨船在fc2特征上具有最為豐富全面的判別信息，可以很好的從其它類型的船只中被區分開；而油輪和集裝箱船在conv13特征上的分離度最高，說明油輪與集裝箱船都在conv13特征上有最為全面的判別信息，可以很好的被區分開。

表1 每類船只在不同層級深度特征上的類間分離度

為更直觀體現fc2特征和conv13特征的區別，圖5給出了fc2特征和conv13特征的t-SNE可視化結果。在fc2特征可視化圖中，貨船被很好分到一起，而集裝箱船和油輪混淆嚴重；相比之下，conv13特征可視化圖中，油輪和集裝箱船的區分度更好一些，大部分油輪集中在圖像右上部。由此也驗證了fc2特征雖包含較強的語義信息，但卻不能對所有船只類別做很好的區分，而conv13特征中具有更多油輪和集裝箱船的判別信息，可以對此進行更好的分類。

圖5 fc2特征和conv13特征可視化結果

2.3 特征降維

SAR圖像深度特征具有維度過高的特點，不僅會增加計算成本和所需的存儲空間，在訓練分類器時可能會導致過擬合，使得分類器的泛化能力較差，因此本文將選為有效特征的fc2特征、conv13特征先進行降維處理。為比較直接連接的特征組合方式的分類效果，將fc2特征和conv13特征直接連接(conv13+fc2)后進行降維處理。

為分析降維效果，將特征分別進行PCA、LDA、LPP和SLPP降維，然后用KNN分類器進行分類，其中K=35為取值在5-100之間，間隔為5進行尋優后的最優值，與未降維時作比較。表2給出了在fc2特征、conv13特征、conv13+fc2特征上未降維和降維后的分類正確率，其中每種降維方法的分類正確率取在不同維度時的最高分類正確率。

表2 conv13特征、fc2特征和conv13+fc2特征上未降維和降維后的分類正確率

從降維結果可以看出，conv13特征在PCA降維時分類正確率提升了0.57%，而其它降維方法都不升反降；fc2特征在PCA降維時分類正確率幾乎維持不變，但在LDA和SLPP這兩種監督降維方法時正確率有了大幅度提升。由此可以分析，卷積層由于每個卷積核提取的是局部特征，可分性信息可能較少，因此conv13特征更適合PCA無監督降維方法；而全連接層整合了卷積層或者池化層中具有可分性的信息，因此fc2特征更適合LDA和SLPP監督降維方法。

conv13+fc2特征在未降維時分類正確率相比fc2特征和conv13特征有了小幅度提升，說明fc2特征和conv13特征含有不同的判別信息，組合后可以提高分類性能，在LDA和SLPP降維后，分類正確率提升至75%左右，但相比fc2特征77%的正確率依舊低2%，說明將fc2特征和conv13特征直接組合后進行降維，并未較好保留特征中的判別信息。

本文將對優選的特征分別進行單獨降維，這里選用PCA方法對conv13特征進行降維，SLPP對fc2特征進行降維，其中conv13特征降到16維，fc2特征降到64維，取值為PCA和SLPP降維方法分類正確率最高時的維度。

2.4 船只分類

將降維后的fc2特征和conv13特征使用基于KNN的級聯二分類方法進行分類，得到的分類結果見表3。為保證實驗公平性，以下實驗所使用的KNN分類器統一K=35。

為比較深度特征的分類性能，表3中給出了3種具有代表性的普通特征和兩種深度特征的分類結果，普通特征分別是方向梯度直方圖特征(HOG)、局部二值特征(LBP)、散射特征和幾何特征(S&G)，深度特征分別是conv13特征和fc2特征[26]。由實驗結果可以看出，HOG特征和S&G特征的分類正確率偏低，不足50%，LBP特征在普通特征中表現最佳，正確率為67.77%；而conv13特征和fc2特征正確率都達到了70%以上，特別是fc2特征的分類正確率達到了77.80%，相比普通特征提高了至少10%。可見優選的深度特征相比普通特征包含更為豐富的判別信息。

表3 船只分類結果

為測試級聯二分類方法的有效性，表3中給出了conv13+fc2特征直接KNN分類，conv13+fc2特征先SLPP降維后KNN分類，以及conv13特征和fc2特征未降維直接級聯二分類的結果。從實驗結果可知，級聯二分類方法對分類精度有大幅度提高，相比conv13+fc2特征直接KNN分類提高了10.34%，相比降維后的conv13+fc2特征KNN分類提高了5.9%。由此說明級聯二分類方法可以更好地綜合利用不同層級深度特征所包含的判別信息。

為體現本文方法的優越性，表3中給出了利用微調的VGG16網絡分類的結果，分類正確率為79.4%，比本文方法低4.23%，說明了本文方法對于船只分類的有效性。本文方法降維時相比未降維正確率提升了2.16%，由此可見降維不僅可以很好保留特征中的判別信息，而且有效地提高了船只分類的正確率。

表4和表5給出了conv13特征和fc2特征進行KNN分類對應的混淆矩陣，在conv13特征中油輪分類正確的數量比fc2特征多，而fc2特征中貨船和集裝箱船的分類正確數量比conv13特征多，尤其是貨船的數量增加了218只。由此說明了conv13特征和fc2特征中具有不同的判別信息。

表4 conv13(PCA)特征分類混淆矩陣

表5 fc2(SLPP)特征KNN分類混淆矩陣

表6～表9給出了conv13特征和fc2特征直接用KNN分類和用本文方法分類對應的混淆矩陣，conv13+fc2特征直接用于KNN分類，貨船的分類正確數量少于fc2特征，油輪的分類正確數量低于conv13特征；conv13+fc2特征進行SLPP降維后用于KNN分類，雖然油輪分類正確數量有小幅增長，但貨船和集裝箱船的正確數量均有大量下降。由此可見，這兩種方法并未能充分利用conv13特征和fc2特征的判別信息。本文方法在未降維時，雖然貨船和油輪分類正確的數量有小幅下降，但集裝箱船的正確數量卻提高到822只，比conv13特征多170只，比fc2特征多151只。本文方法在降維時，貨船的正確數量高達994只，集裝箱船數量高達839只，為所有方法中的最高數量，說明了本文方法的優越性。相比未降維，3類船只的正確數量均有增加，驗證了降維能保留有效的判別信息，提高船只分類的正確率。

表6 conv13+fc2特征分類混淆矩陣

表7 conv13+fc2(SLPP)特征分類混淆矩陣

表8 本文方法(未降維)分類混淆矩陣

表9 本文方法分類混淆矩陣

3 結束語

本文利用深度特征進行SAR船只分類，分類性能遠遠優于普通特征，并且驗證了不同層級的深度特征包含不同的判別信息；文中提出的特征優選和級聯二分類方法可以更好地綜合利用不同層級的深度特征，大幅度提高船只分類正確率。

為增加樣本數量，本文對船只樣本進行了數據增強操作，這種操作得到的1500個樣本都是同源的，很多樣本實際上會重復學習，這是否會影響目標的分類精度以及實際應用效果，以及數據增強前后相關深度特征是否會發生變化都是今后值得進一步研究的方向。文中使用的KNN分類器是比較簡單且相對弱勢的分類器，今后的工作中也將進一步研究更為復雜的分類器。