面向小樣本的遙感影像目標識別技術

張萌月 陳金勇 王港 王敏 帥通 孫康

摘 要：為了解決深度學習方法網絡模型在小樣本遙感圖像目標識別場景下過擬合、性能急劇下降等問題，設計了基于度量學習的小樣本目標識別方法RS-DN4。在度量模塊中選擇前k個具有代表性的特征進行目標相似度的計算;引入元學習中階段式訓練理念，執行上萬次任務級迭代訓練;基于互聯網開源遙感影像數據集和自有遙感影像數據集，構建了一套包含21類不同遙感目標切片數據的多尺度、多分辨率的遙感影像數據集RSD-FSC，并據此進行RS-DN4方法的實驗驗證。結果表明：針對新類小樣本目標，當訓練樣本分別只有1，5和10個時，平均識別準確率可分別達到59.13%，82.55%和87.80%，相對于其他方法，RS-DN4在遙感圖像小樣本目標識別中具有識別準確率高、泛化能力強等優勢。RS-DN4方法實現難度適中，在小樣本遙感目標檢測識別領域的工程應用場景中具有推廣應用價值。

關鍵詞：模式識別;小樣本;遙感目標識別;度量學習;階段式訓練

中圖分類號：TP75?? 文獻標識碼：A

DOI： 10.7535/hbgykj.2021yx02008

Target recognition of few-shot remote sensing image

ZHANG Mengyue1，2， CHEN Jinyong1，2， WANG Gang1，2， WANG Min1，2， SHUAI Tong1， SUN Kang1

（1.The 54th Research Institution of CETC， Shijiazhuang， Hebei 050081， China; 2.CETC Key Laboratory of Aerospace Information Applications， Shijiazhuang， Hebei 050081， China）

Abstract：In order to solve the problems of overfitting and drastic performance degradation of network models with deep learning methods in few-shot remote sensing image target recognition scenarios， the few-shot target recognition method RS-DN4 was designed based on metric learning. The top k representative features in the metric module were selected to calculate the similarity of the targets， and the concept of meta-learning method for episodic training was introduced to conduct thousands of task-level iterative training. In addition， based on the internet open source remote sensing image dataset and own remote sensing image dataset， a multi-scale and multi-resolution remote sensing image dataset RSD-FSC， which contained sliced data of 21 different classes of remote sensing targets， was constructed. On this basis， the? RS-DN4 method was verified by experiments. The results show that： for the new few-shot targets， the average recognition accuracy can reach 59.13%， 82.55% and 87.80% respectively when there are only one， five and ten training samples. Compared with other methods， RS-DN4 has the advantages of high recognition accuracy and strong generalization ability in few-shot target recognition of remote sensing images. The RS-DN4 method? is moderately difficult to implement and has the value to be promoted in engineering application scenarios in the field of few-shot remote sensing target detection and recognition.

Keywords：pattern recognition; few-shot; remote sensing target recognition; metric learning; episodic training

遙感技術的發展使得獲取高質量遙感影像越來越便捷，通過智能解譯手段獲取其包含地物信息進行遙感影像目標識別，具有廣闊的應用空間。基于深度學習的相關思想，研究人員提出了Faster R-CNN，YOLO，R-FCN和SSD等目標檢測識別模型，通過海量標注樣本的訓練，其檢測識別效果可以達到甚至超過人工操作的水平。但是，在某些特定的遙感目標識別應用場景中，可獲得的標注樣本數量十分有限，很難為上述方法提供豐富的訓練樣本，導致其在模型訓練過程中發生過擬合現象，目標識別性能大幅下降。

為了緩解“海量訓練樣本的需求”和“有限標注樣本的現實情況”之間的矛盾，研究人員在自然圖像目標識別領域開展了小樣本學習（FSL，few-shot learning）研究，即針對某個任務，通過十分有限的訓練數據進行模型訓練，在測試數據集上獲得較高的檢測識別性能，其解決方法大致可分為樣本增廣和模型優化訓練兩大類。

樣本增廣方法是通過數據生成手段生成新的樣本來豐富樣本數量，如生成對抗網絡（GANs， generative adversarial networks）可以通過生成網絡和判斷網絡的對抗訓練，生成高度逼真的新樣本[1-2];RATNER等[3]基于水平翻轉、旋轉、縮放、添加高斯噪聲等幾何變化，自定義一個幾何變化的序列模型，實現對已有樣本的隨機幾何變化，完成樣本數量上的擴增并保證圖像中目標不發生嚴重畸變;ALFASSY等[4]提出的LaSO（label-set operations networks）利用卷積神經網絡提取幾幅圖像的特征，通過對特征進行組合，如取交集、并集、差集等，獲得圖像中隱含目標的特征，生成新的樣本。

模型優化訓練方法可分為度量學習、遷移學習和元學習3類，如基于度量學習的原型網絡（prototype network），在訓練樣本的特征空間里，計算每類目標的平均特征表示作為該類目標的特征原型，在新樣本的識別中，通過計算新樣本的特征向量和原型之間的距離，完成對新樣本中目標的分類[5];陳立福等[6]基于遷移學習提出一種監督式預訓練的卷積神經網絡，首先把數據集進行劃分為含有大規模數據的源域數據集和含有小規模數據的目標域數據集，在源域數據集中利用大規模數據預訓練一個卷積網絡，將其作為初始化模型遷移到目標域中，利用小規模數據進行優化調整，提高了網絡的目標識別精度以及收斂速度;JAMAL等[7]提出了TAML（task-agnostic meta-learning）方法，該方法在元學習的框架下，結合基于熵的優化策略以及基于最小化不均衡性的優化策略，有效緩解了元學習器在不同任務上性能不均衡的問題。

上述小樣本目標識別方法在自然圖像目標識別領域取得了較好的效果，但在遙感目標識別領域，由于成像方式的不同，遙感影像具有成像場景大、目標出現頻率低、尺度效應明顯、觀測角度差異大等特點，使得遙感影像小樣本目標識別面臨如下挑戰。

1）針對某些特定遙感目標和特定場景，可獲得的樣本極其稀缺，即使通過樣本增廣方法仍然無法緩解小樣本難題。

2）在遙感目標識別領域，某些類型目標樣本稀缺，且目標特征類間差異小、類內差異大，給分類識別帶來更大的困難。

3）在某些樣本數量極其稀缺的場景，采用遷移學習方法時，由于過擬合問題，無法使源模型適應到新類小樣本目標識別應用中。

針對上述問題，本文構建了用于小樣本目標識別的遙感影像目標切片數據集RSD-FSC（remote sensing dataset of few-shot classification），提出了小樣本遙感目標識別算法模型RS-DN4（remote sensing deep nearest neighbor neural network），使用元學習中階段式訓練的方法對模型進行訓練，實現小樣本場景下遙感目標識別，取得了較好效果。

1 小樣本遙感目標識別

基于DN4（deep nearest neighbor neural network）小樣本目標識別網絡，結合元學習中階段式訓練方法，形成面向遙感應用的小樣本目標識別方法RS-DN4。

1.1 骨干網絡

DN4模型延續了度量學習的思想，即在某個特征映射空間中，同類目標距離近，不同類目標距離遠，以目標之間的距離作為相似度，判斷目標的類別屬性[8]。網絡基本結構如圖1所示，主要由特征提取器和特征度量模塊2部分組成，分別實現樣本中目標特征的提取和目標之間相似度的度量。

圖1中特征提取器為沒有全連接層的卷積神經網絡，用于提取圖像的局部特征向量。設輸入的樣本為X，特征提取器參數為θ的Ψθ，樣本經過特征提取器后輸出特征圖Ψθ（X），包含n個d維的局部特征向量

xi，其中n=h×w，h和w分別為特征向量圖的長和寬：

Ψθ（X）=[x1，x2，…，xi，…，xn]∈Rd×n。（1）

圖1中度量模塊以度量學習為基礎，針對小樣本問題中類內差異增大的問題，利用測試樣本和訓練樣本集之間的相似度，代替其個體之間的相似度，作為測試樣本的識別依據。

首先對訓練樣本提取特征，構成每類目標的特征向量集：

{[x1，x2，…，xi，…，xn]1，[x1，x2，…，xi，…，xn]2，[x1，x2，…，xi，…，xn]3，…}。（2）

然后針對局部特征xi，從每類目標的特征向量集中尋找相似的前k個局部特征向量{x^1i，x^2i，…，x^ki}，計算xi和每個x^i之間的相似度，求和得到每個局部特征分量下測試樣本和訓練樣本集之間的相似度Di：

cos（xi，x^i）=xTix^i‖xi‖·‖x^i‖，Di（q，cm）=∑kj=1cos（xi，x^i）。（3）

對每個局部特征都做式（2）中的計算，得到n個這樣的距離，求和作為測試樣本的特征和每類目標特征向量集之間的距離D：

D（q，cm）=∑ni=1Di（q，cm）。（4）

式中cm代表第m類目標的訓練樣本集。通過最小化同類目標之間的距離，最大化不同類目標之間的距離，使模型實現目標類型的識別。

1.2 階段式訓練

階段式訓練方法原理如圖2所示，將數據集劃分為基類目標樣本集（輔助訓練集）和新類目標樣本集。通過在基類目標樣本集上隨機采樣模擬小樣本目標識別任務，不斷重復學習如何解決小樣本目標識別任務，提高模型的模式學習能力，使模型在新類別小樣本集上能夠完成訓練學習任務，獲得對新類別目標的識別能力。

2 實驗驗證

2.1 數據制備

小樣本學習常用的數據集有miniImageNet，Standford Cars等，這些數據集的特點是目標單一，背景簡單，有利于分類器學習目標特征[9-10]，而且均為自然圖像，與遙感影像差異較大，基于此，本文構建了遙感影像典型目標切片樣本庫，開展研究工作。

基于遙感影像數據集DOTA[11]，NWPU VHR-10[12-14]，RSD-GOD[15]和自有數據集重新組織樣本類別。

根據標注文件提取目標切片，人工清洗標注錯誤的樣本，形成一套用于目標識別的遙感影像目標切片樣本集RSD-FSC（remote sensing dataset for few-shot classification），該數據集包含21類目標，分別為航空母艦、鉆井平臺、油罐、火車、島嶼、艦船、港口、停車場、大貨車、游泳池、橋梁、網球場、飛機、小汽車、直升機、交通環島、籃球場、田徑場、棒球場、足球場和機場，共13 944個目標切片，其中航空母艦、鉆井平臺、停車場、直升機等目標，由于其客觀存在的數量較少，屬于典型的小樣本目標類型。

針對不同尺度的目標獲取不同分辨率范圍的遙感影像切片，如港口、機場等大尺度目標切片分辨率為10 m和20 m，飛機、直升機、油罐等小尺度目標切片分辨率為0.6 m和0.3 m，停車場目標切片分辨率為0.3～10 m，島嶼切片分辨率為1.2～2.0 m，鉆井平臺切片分辨率為0.3～2.4 m，橋梁切片的分辨率為1.2 ～10 m。針對同一種目標，包含了從幾像素到幾百像素的不同尺度的切片樣本。樣本切片示意圖如圖3所示，數量分布如表1所示。RSD-FSC數據集的多尺度、多分辨率特性可增強模型的魯棒性和尺度適應性，同時具備類間差異小、類內差異大等遙感影像目標特性，具備更高的小樣本目標識別難度。

2.2 實驗設計

1）RS-DN4實驗設置

采用DN4模型為骨干網絡，為緩解小樣本下深度網絡過擬合問題，使用網絡深度為50層的ResNet_v2_50[16]做特征提取器，采用階段式訓練方法進行小樣本遙感目標識別實驗。具體仿真實驗環境：Linux系統，Python3.7.2，torch0.4.1深度學習開源庫。

基于RSD-FSC數據集分別進行5-way 1-shot，5-way 5-shot和5-way 10-shot小樣本遙感目標識別實驗。在階段式訓練階段，基類目標類別數量越多，采樣形成的小樣本目標識別任務越具有多樣性，訓練得到的模型泛化能力越強，因此本文隨機選取5類目標作為新類目標，分別是鉆井平臺、直升機、橋梁、停車場和艦船，其余16類目標均作為基類目標。

以5-way 1-shot實驗為例，在階段式訓練階段，首先從16類基類目標樣本集中隨機抽取5類目標，每類目標隨機抽取1個訓練樣本，10個測試樣本，構成1個5-way 1-shot小樣本目標識別任務，采樣形成30 000次這樣的任務，進行模型的迭代訓練，并按照式（5）更新模型參數θ。

在測試階段，從每類新類目標中隨機抽取1個訓練樣本，10個測試樣本，模型學習訓練樣本后，對測試樣本進行識別，并統計測試樣本識別結果，計算平均目標識別準確率pprecision，即正確識別的目標個數與所有目標個數之比，nTP代表正確識別的目標個數，nFP代表錯誤識別的目標個數：

pprecision=nTPnTP+nFP。（5）

2）對比實驗設置

采用2種小樣本目標識別方法進行對比實驗，分別是原型網絡[5]和匹配網絡[9]，在2種對比方法的特征提取部分同樣使用ResNet_v2_50。分別對原型網絡和匹配網絡進行5-way 1-shot，5-way 5-shot和5-way 10-shot小樣本遙感目標識別實驗，數據集劃分方法、模型訓練方式以及迭代次數與RS-DN4實驗設置一致。對比實驗用于檢驗RS-DN4中相似度度量方法的有效性，以及相比于其他小樣本目標識別算法具有的優越性。

針對階段式訓練方法的有效性，使用原始的訓練方法對骨干網絡進行訓練，即分別使用1，5和10個訓練樣本對模型進行訓練，迭代次數為30 000次。

2.3 實驗結果

對RS-DN4在5-way 5-shot小樣本遙感目標識別實驗訓練過程中的Loss值進行記錄，如圖4所示，可以看到當迭代次數達到15 000時，Loss值開始趨于收斂，在0.5上下振蕩，當迭代次數達到30 000時，Loss值更加穩定，此時模型可以穩定地達到較優的目標識別效果。

本方法在新類目標只有1，5和10個訓練樣本時，平均識別準確率分別為59.13%，82.55%和87.80%，相較于原型網絡，平均識別準確率分別提高了7.51%，15.23%，16.62%，相較于匹配網絡，平均識別準確率分別提高了10.79%，21.20%和18.71%，均取得較高優勢。典型遙感目標識別平均準確率如表2所示。經分析認為本文方法具有絕對優勢的原因如下。

1）在原型網絡的度量模塊中，對各類目標訓練樣本的特征向量求平均值作為特征原型，計算測試樣本和特征原型之間的相似度。但求平均的方法只能得到平均化的特征，而具有差異性的代表特征被丟失了[17]。因此，本方法在度量模塊計算相似度時，選擇前k個具有代表性的特征作為相似度計算的參考量，保留了具有差異性的代表特征。

2）在目標識別應用中，特征提取器對圖像提取特征后，通常會使用全連接層等網絡結構把局部特征量化成圖像級的特征向量。然而，由于量化過程中存在計算誤差，會使最終的圖像級特征向量丟失掉許多重要的局部信息，當樣本數量充足時，這一損失可能會被彌補，但是在小樣本場景下，這個損失使目標識別性能嚴重下降[8]。因此，本文方法中的特征提取器沒有全連接層結構，提取圖像的局部特征用于相似度計算時特征表示能力更強。

骨干網絡平均識別準確率如表3所示，當不使用階段式訓練方法訓練模型，而使用傳統方法訓練模型時，本文方法中的骨干網絡在訓練樣本分別只有1，5和10個時，平均識別準確率分別為26.70%，20.00%和5.00%，與使用階段式訓練方法訓練的模型相比，目標識別準確率大幅下降。經分析認為，階段式訓練方法可以有效緩解小樣本帶來的過擬合問題，且通過在輔助訓練集上的階段式訓練之后，骨干網絡在新類小樣本目標識別問題上具有泛化能力。

此外，對識別結果分析發現，鉆井平臺和油罐、火車和橋梁、直升機和飛機等較為相似的目標在原型網絡和匹配網絡的目標識別過程中容易發生混淆。如圖5中的鉆井平臺形狀和維修中的艦船紋理相似，對比方法會將這種形態的鉆井平臺誤識別為艦船，而本文方法通過度量學習和階段式學習，有效地約束了目標類內、類間距離，提高了小樣本目標識別準確率。

3 結 論

針對遙感影像目標識別中，某些目標類別樣本少、難以支持大數據訓練的難題，提出了以DN4模型為基礎的小樣本遙感目標識別方法RS-DN4;構建了用于小樣本目標識別的遙感影像目標切片樣本庫RSD-FSC;設計了基于度量學習的小樣本遙感目標識別網絡模型，用于提取各類目標的代表性特征并區分各類目標;采用元學習中階段式訓練的方法，使模型具有泛化能力，在面對新類小樣本遙感目標時，可以通過少量支撐樣本實現目標識別。實驗結果表明，本文方法在小樣本場景下，當訓練樣本分別只有1，5和10個時，平均識別準確率可分別達到59.13%，82.55%和87.80%，相對于其他典型方法，具有較好的小樣本遙感目標識別能力。

本文實驗只選擇了5類目標作為新類目標，未能完全體現實驗的隨機性，且在實際應用中目標的檢測識別具有更廣泛的應用意義，因此在未來的研究中將針對此問題多次隨機抽選新類目標進行實驗，并開展小樣本遙感目標檢測識別技術的研究。

參考文獻/References：

[1]? GOODFELLOW I， POUGET-ABADIE J， MIRZA M， et al. Generative adversarial nets[C]//Proceedings of the 27th? International Conference on Neural? Information Processing Systems.[S.l.]：[s.n.]， 2014： 2672-2680.

[2] MAO Xudong， LI Qing， XIE Haoran， et al. Least squares generative adversarial networks[C]//2017 IEEE International Conference on Computer Vision（ICCV）. Venice： IEEE， 2017： 2794-2802.

[3] RATNER A J， EHRENBERG H R， HUSSAIN Z， et al. Learning to compose domain-specific transformations for data augmentation[C]//Proceedings of the 31st? International Conference on Neural Information Processing Systems. [S.l.]：[s.n.]， 2017： 3239-3249.

[4] ALFASSY A， KARLINSKY L， AIDES A， et al. Laso： Label-set operations networks for multi-label few-shot learning[C]//2019? IEEE/CVF Conference on Computer Vision and Pattern Recognition（CVPR）. Long Beach： IEEE，2019.DOI：10.1109/CVPR.2019.00671.

[5] SNELL J， SWERSKY K， ZEMEL R. Prototypical networks for few-shot learning[C]//Proceedings of the 31st? International Conference on Neural Information Processing Systems. [S.l.]：[s.n.]， 2017： 4080-4090.

[6] 陳立福， 武鴻， 崔先亮， 等. 基于遷移學習的卷積神經網絡 SAR 圖像目標識別[J]. 中國空間科學技術， 2018， 38（6）： 45-51.

CHEN Lifu， WU Hong， CUI Xianliang， et al. Convolution neural network SAR image target recognition based on transfer learning[J]. Chinese Space Science and Technology， 2018， 38（6）： 45-51.

[7] JAMAL M A， QI G J. Task agnostic meta-learning for few-shot learning[C]// 2019? IEEE/CVF Conference on Computer Vision and Pattern Recognition（CVPR）. Long Beach： IEEE， 2019. DOI：10.1109/CVPR.2019.01199.

[8] LI Wenbin， WANG Lei， XU Jinglin， et al. Revisiting local descriptor based image-to-class measure for few-shot learning[C]// 2019? IEEE/CVF Conference on Computer Vision and Pattern Recognition（CVPR）. Long Beach： IEEE， 2019. DOI：10.1109/CVPR.2019.00743.

[9] VINYALS O， BLUNDELL C， LILLICRAP T， et al. Matching networks for one shot learning[C]// Proceedings of the 30th? International Conference on Neural Information Processing Systems. [S.l.]：[s.n.]， 2016： 3637-3645.

[10]KRAUSE J， STARK M， DENG J， et al. 3D object representations for fine-grained categorization[C]//Proceedings of the 2013 IEEE International Conference on Computer Vision Workshops. [S.l.]：[s.n.]， 2013： 554-561.

[11] XIA Guisong， BAI Xiang， DING Jian， et al. DOTA： A large-scale dataset for object detection in aerial images[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City： IEEE， 2018： 3974-3983.

[12] CHENG Gong， HAN Junwei， ZHOU Peicheng， et al. Multi-class geospatial object detection and geographic image classification based on collection of part detectors[J]. ISPRS Journal of Photogrammetry and Remote Sensing， 2014， 98： 119-132.

[13] CHENG Gong， HAN Junwei. A survey on object detection in optical remote sensing images[J]. ISPRS Journal of Photogrammetry and Remote Sensing， 2016， 117： 11-28.

[14] CHENG Gong， ZHOU Peicheng， HAN Junwei. Learning rotation-invariant convolutional neural networks for object detection in VHR optical remote sensing images[J]. IEEE Transactions on Geoscience and Remote Sensing， 2016， 54（12）： 7405-7415.

[15]ZHUANG Shuo， WANG Ping， JIANG Boran， et al. A single shot framework with multi-scale feature fusion for geospatial object detection[J]. Remote Sensing， 2019， 11（5）.DOI： 10.3390/rs.11050594.

[16]HE Kaiming， ZHANG Xiangyu， REN Shaoqing， et al. Identity mappings in deep residual networks[C]//European Conference on Computer Vision. [S.l.]：[s.n.]， 2016： 630-645.

[17] WANG Yaqing， YAO Quanming， KWOK J T， et al. Generalizing from a few examples： A survey on few-shot learning[J]. ACM Computing Surveys， 2020， 53（3）： 1-34.

收稿日期：2020-11-26;修回日期：2021-02-07;責任編輯：陳書欣

基金項目：中國電子科技集團公司航天信息應用技術重點實驗室開放基金（SXX19629X060）

第一作者簡介：張萌月（1996—），女，河北邯鄲人，碩士研究生，主要從事遙感圖像處理方面的研究。

通訊作者：陳金勇研究員。 E-mail： 13001899119@163.com

張萌月，陳金勇，王港，等. 面向小樣本的遙感影像目標識別技術[J].河北工業科技，2021，38（2）：116-122.

ZHANG Mengyue， CHEN Jinyong， WANG Gang， et al. Target recognition of few-shot remote sensing image[J]. Hebei Journal of Industrial Science and Technology， 2021，38（2）：116-122.