結構知識驅動的遙感影像飛機型號識別方法

馮源 肖志峰

（武漢大學測繪遙感信息工程國家重點實驗室，湖北 武漢 430079）

飛機目標型號識別是遙感影像目標識別中的一個重要分支，在遙感影像的軍民應用領域有著廣泛運用。近年來，得益于深度學習算法和影像處理技術的飛速發展，飛機目標型號識別技術有了長足進步，但仍然有較大的提升空間。

遙感影像中影響飛機型號識別精度的因素有很多 ：影像噪聲、背景復雜、旋轉角度過大、形狀相似、細分類數據缺乏等等。為解決這些問題而誕生的研究數不勝數，其中較具代表性的方法可以分成兩大類：端到端識別和雙階段識別。端到端識別往往通過搭建深度神經網絡直接對飛機圖像實現分類。Diao 等首次使用深度置信網絡解決飛機識別問題，但僅能在小范圍型號中保持較高精度[1]。Fu 等提出了多類激活映射方法，能夠充分利用飛機結構特征[2]。Yi 等關注飛機的局部和多級特征，將多級注意力機制引入類型識別網絡[3]。

端到端方法有一個共同的缺點——無法確保訓練集以外飛機型號的識別精度。因此，雙階段識別方法應運而生。雙階段識別往往通過特征提取和型號分類兩個階段實現識別。在型號分類器的選擇上，輕量化且高效的機器學習方法備受青睞。但在特征提取器上經歷了從Hu 矩[4]、傅里葉描述子[5]、SIFT[6]等傳統人工特征到基于深度學習特征的演變。傳統人工特征因為缺乏對噪聲和復雜背景的魯棒性而被淘汰，基于深度學習的特征在最近十年逐步成為研究熱點。Zhao等開了運用關鍵點檢測思想解決飛機細粒度識別的先河，其方法改善了以往方法的數據敏感性問題[7]。后續的研究基于關鍵點檢測思想做了許多嘗試，進一步表明通過關鍵點檢測預測坐標和方向可以輔助分割模型提取精確的飛機輪廓[8]。Zhang 等使用生成對抗網絡從無類型標注數據集學習關鍵點特征表示飛機[9]。雖然這些方法均在不同程度上緩解了數據敏感性問題，但是在面對困難樣本和繁多型號時仍然有不小的改進空間。

為了解決上述問題，本文在現有基于關鍵點檢測的飛機識別方法上更進一步。首先搭建了一個融合熱力圖回歸和坐標回歸的飛機關鍵點檢測模型，設計鄰域回歸模塊以限制離群點。隨后，提出了一種結構知識驅動的飛機型號識別方法，從精確的關鍵點坐標出發提取結構特征，實現飛機目標細粒度識別。實驗表明，該方法兼具精度和可靠性，在低數據量下仍能保持較好表現。

1 結構知識驅動的識別模型的構建

1.1 飛機結構建模

基于關鍵點檢測思想的識別方法一般需要根據識別目標的特點，人為設計關鍵點分布方案，賦予各個關鍵點具體的語義特征。此前一些運用關鍵點檢測思想的飛機識別方法往往僅定義較少數量的關鍵點，或將少量關鍵點作為細粒度識別的輔助手段[7-9]。與這些方法不同的是，本文將關鍵點作為飛機型號識別的主要依據。而在眾多飛機型號中，存在許多細節上形態較為相似的型號，應用少量關鍵點無法體現結構上的細微差別，難以區分此類型號。為此，本文基于飛機結構特點，定義足夠數量的關鍵點以保留飛機結構細節特征，設計了如圖1 所示的適應主流飛機型號的87 點關鍵點分布方案。

圖1 87點飛機關鍵點分布方案

考慮到主流飛機型號的結構特點，本文劃分了四個主要的飛機結構：機身、機翼、翼上發動機、尾翼。在確保關鍵點能夠描述結構細節的前提下，各個飛機結構包含的關鍵點按照如下分配，其中存在部分點同時從屬于多個結構：

機身：點0-8，33-37，50-54，79-86；

機翼：點8-29，58-79；

翼上發動機：點9-23，64-78；

尾翼：點37-50。

部分飛機型號存在相當大的結構差異，以發動機布置方式為例，有翼上、機身等多種形式，發動機數量則有雙發、四發、六發等，僅僅憑借少量關鍵點難以實現此類結構差異的區分[7]。為此，本文著重增加了關鍵點的數量，使關鍵點定義能夠適應多種飛機型號的結構差異情況，對于發動機布置方式和數量都有較強的適應性（如圖2 所示）。相比以往關鍵點定義方法，這種自適應性也保證了本文方法能夠描述更多的飛機結構細節特征。

圖2 關鍵點定義對不同飛機型號的適應

1.2 飛機結構提取模型

通過檢測具有結構語義特征的關鍵點提取飛機結構，需要構建飛機關鍵點檢測模型。基于坐標回歸和基于熱力圖回歸是關鍵點檢測的兩大主流方法。基于坐標回歸的方法直接預測關鍵點坐標，速度快但精度有限；基于熱力圖回歸的方法通過多通道的熱力圖預測關鍵點所在位置的概率，間接預測關鍵點位置，精度較高但速度慢，且存在部分點嚴重偏離附近點的離群點問題。考慮到以上方法的特點，本文結合坐標回歸和熱力圖回歸的優勢，添加鄰域回歸模塊，設計了如圖3 所示的飛機關鍵點檢測模型。

圖3 中，檢測模型采用經典卷積神經網絡ResNet-101[10]作為主干網絡，提取輸入飛機圖像的特征信息。特征信息分別經過熱力圖回歸模塊、坐標回歸模塊以及領域回歸模塊輸出最大概率網格、相對網格原點的偏移坐標X，Y 和鄰近關鍵點的偏移坐標Xi，Yi。熱力圖回歸模塊采用N 通道1×1 卷積，將原始輸入圖像劃分為7×7 個尺寸相同的正方形網格，通過熱力圖預測每個網格中某一關鍵點的出現概率，從而大致預測關鍵點位置。其中，N 為關鍵點總數，本文中N=87。

與先前研究中的許多熱力圖回歸關鍵點檢測網絡不同，該網絡的熱力圖預測僅需劃分較為稀疏的網格，減小了計算量，在低分辨率的熱力圖上實現快速的網格級關鍵點位置預測。坐標回歸模塊采用2N 通道1×1 卷積，在熱力圖預測概率最大的網格基礎上，預測關鍵點相對于該網格坐標原點的偏移坐標，得到關鍵點的確切位置，在部分遮擋情況下仍具備較好的輪廓聯想能力。鄰域回歸模塊采用2N×M 通道1×1 卷積，讓待預測關鍵點鄰近的關鍵點參與對該關鍵點的位置預測，輸出鄰近關鍵點相對于該關鍵點所在網格坐標原點的位置偏移，從而達成對該關鍵點的位置約束，減輕與周圍點嚴重偏離的離群點現象。其中，M 為參與計算的鄰近關鍵點數量，本文取M=40，那么每個關鍵點的位置會被它距離最近的40 個點所約束。輸出網格和坐標后，模型將計算損失，以損失的加權和作為網絡訓練的優化目標，其損失函數見下式[11]：

式中，LH、LC和LN分別表示熱力圖回歸、坐標回歸和鄰域回歸的損失，βC和βN分別表示坐標回歸和鄰域回歸的損失權重，本文取經驗值βC=0.1，βN=0.1。Sijk和是關鍵點在單個網格上歸一化后的概率真實值和預測值；oijkl和是關鍵點與其所在網格坐標原點的歸一化后的偏移真實值和預測值；nijkml和和是鄰近關鍵點與單個預測關鍵點所在網格坐標原點的歸一化后的偏移真實值和預測值。Sijk=1意味著只讓實際具有關鍵點的網格參與計算。

最后，在熱力圖輸出的具有最大概率的網格中，網絡將對應的坐標偏移換算成實際關鍵點坐標。該坐標與鄰近點預測的坐標偏移在經過直接的平均融合后，將作為模型的預測關鍵點坐標。

1.3 結構知識驅動的飛機型號識別

1.3.1 基于結構顯著差別的離散特征過濾

目前全球飛機型號種類繁多，比較不同型號間飛機結構細微差異是一個計算量較大的過程，將輸入飛機圖像與所有型號進行比較顯然是不現實的，會造成計算資源和時間上的浪費。經過對大量飛機型號的比較分析，本文認為在遙感影像下，飛機結構具有三個較為顯著的離散判別特征 ：機翼有無、發動機位置分布、發動機數量，透過它們可以反映不同型號間結構的顯著差別。根據這些特征，本文設計了如下的顯著差別判別方式：

式中，Aw和Af分別表示飛機單側機翼面積和機身面積，Ae1和Ae2分別表示機翼上靠近機身側的第一個發動機和第二個發動機的面積。這些面積可由關鍵點檢測模型預測的關鍵點坐標通過向量積算法求得。Twf表示翼身面積比閾值，Tew表示發動機機翼面積比閾值，Tee表示發動機間面積比閾值，這三個閾值需要根據具體研究的飛機樣本量和型號人為確定。本文在充分比較數據集中各型號的三個面積比值后，取經驗值Twf=0.01，Tew=0.01，Tee=3。

經過上述離散特征過濾，模型可以通過預測的關鍵點坐標快速劃分固定翼飛機和直升機、翼吊式和尾吊式飛機、雙發和四發以上飛機等類別，實現粗粒度的型號類別劃分，以緩解型號繁多導致的識別低效率問題。

1.3.2 融合全局和部件結構連續特征的模板匹配

模板匹配是一種在目標細粒度識別中得到廣泛運用的算法，能夠檢測出輸入圖像和模板圖像的細節差別。本文識別模型將部件輪廓視作飛機結構的連續性特征，融合飛機全局和部件結構相似度，采用模板匹配方法實現結構連續特征的相似度計算，具體計算方式如下：

式中，SA表示總和相似度，p 表示參與模板匹配計算的部件總數。SG和Si分別表示全局相似度和各部件相似度，使用相關系數算法計算：

式中，，Tx',y'和Tx'',y''表示模板圖像中某個像素灰度值和其他像素灰度值。。Ix',y'和Ix'',y''表示輸入圖像中某個像素灰度值和其他像素灰度值。w 和h 代表模板圖像寬高，輸入圖像須調整大小與之保持一致。

通過結構連續特征相似度計算，識別模型可以從型號知識庫中找出與輸入飛機形態無論是全局還是各部件都最為相似的飛機型號，從而實現細粒度的飛機型號識別。

2 實驗結果與分析

2.1 數據集

根據飛機型號先驗知識，本文搜集整理了一個具有手工標注關鍵點和型號分類的數據集。數據集中含有798 張帶有關鍵點和型號標注的飛機樣本，其中，606 張用作訓練集，192 張用作驗證集，以及2291 張僅含型號標注的樣本用作測試集。

數據集的部分來源于aircraft-16[3]、MTARSI[12]和FAIR1M[13]，其余部分在Google Earth，高分- 5 和高分- 7 的0.5m 至1.2m 分辨率下的遙感影像中搜集而成。所有關鍵點標簽均嚴格參照本文提出的87 點飛機關鍵點分布方案進行標注。數據集包括24 類飛機型號，因此命名為Type-24，圖4 展示了數據集中的一部分樣本。

圖4 數據集Type-24中的部分樣本

在數據集訓練集的關鍵點標注基礎上，本文制作了如圖5 所示的飛機全局模板和部件模板用于識別模型的模板匹配。

圖5 由訓練集生成的全局和部件模板

圖5 中，黑色模板表示飛機全局模板，橙色表示飛機機身，綠色表示機翼。在本文實驗中，參與模板匹配的部件總數p=2，匹配時僅考慮機身和機翼的部件結構連續特征。

2.2 關鍵點檢測實驗

本節實驗驗證了關鍵點檢測模型的效果。606張訓練集圖像和192 張驗證集圖像經過7 次Copy-Paste[14]擴充，以及36 次隨機旋轉、裁剪和透視變換等數據擴充，最終得到將近200000 張圖像用于模型訓練，50000 張用于模型驗證。本文的關鍵點檢測模型在4 張NVIDIA Tesla V100 顯卡上進行訓練，將batch size 設置為32，將learning rate 設置為0.0001，模型輸入圖像尺寸為224×224，共迭代100個epoch。模型的部分關鍵點檢測結果如圖6 所示，在驗證集上的損失loss 為0.0075，說明本文關鍵點檢測方法具有較高的精度。

圖6 驗證集上部分關鍵點檢測結果

2.3 型號識別實驗

本節實驗在測試集上進行關鍵點檢測，將關鍵點預測坐標輸入識別模型驗證本文識別方法的有效性。本文方法的型號識別總體精度可達73.11%，識別結果的混淆矩陣如圖7 所示。

圖7 識別結果的混淆矩陣

圖7 中，型號2、4、13、14、15、16 的識別表現不佳，主要原因是訓練集在這些型號上尚缺少數據量；從圖5 可以看出，型號4 在形態上與型號20、23 較為相似，也可能在一定程度上影響了識別精度；型號10、19 和21 由于形態特殊，識別精度較高。

2.4 消融實驗

本節設計了兩組實驗分別測試在刪去模型中部分模塊和刪減部分訓練集數據量的情況下，本文方法受到的影響。前者還與全連接的ResNet-101 網絡直接型號分類的效果進行了比較，總體精度和耗時對比如表1 所示。實驗表明，部件模板匹配的加入有助于彌補全局模板匹配的準確率缺陷，但對模型速度有一定影響。而離散特征過濾模塊則能夠減小計算量，有效提升模型速度，還對識別精度有一定改善。

表1 具備不同模塊的模型消融實驗結果

第二組實驗結果如表2 所示，表明本文方法在缺乏訓練數據時仍然具備可用性。結合表1 可以看出，本文方法在訓練集數據量減半的情況下仍優于在完整訓練集下訓練的ResNet-101 全連接型號識別模型。

表2 削減訓練集數據量對識別效果的影響

3 結束語

為解決廣泛存在的數據依賴性和敏感性問題，本文提出了一種結構知識驅動的遙感影像飛機型號識別方法，使用改進的關鍵點檢測模型提取飛機結構特征，通過離散特征過濾和連續特征相似度計算實現細粒度型號識別。型號識別和消融實驗表明，本文提出的關鍵點檢測和全局部件融合匹配的識別流程充分利用了飛機結構特征，能夠有效提高飛機型號識別精度；離散特征過濾的方法在提高識別效率的同時，也在一定程度上提升了識別精度。