基于深度特征的質量感知旋轉艦船模板匹配算法

王澤瑞，陳 實

（1.中國科學院 國家空間科學中心 復雜航天系統電子信息技術重點實驗室，北京 100190；2.中國科學院大學 計算機科學與技術學院，北京 100049）

0 概述

低軌遙感衛星在農田監測、城市規劃、災害預警等領域發揮著巨大作用［1］。隨著航天技術的進步和遙感衛星的發展，針對高分辨率衛星遙感靜態圖片進行定時偵察已經難以滿足實際應用的需求，需要實時動態跟蹤遙感圖像［2］。我國現在已經開展多個高分辨率地球偵察衛星重大專項，但其無法獲取長時間高價值的關于目標的動態數據，極大制約著遙感衛星在應急情況下的監視跟蹤能力［3］。

本文面向未來大規模低軌遙感星座，期望實現衛星針對同一高價值目標的跨星接力跟蹤，實現效果是以衛星的重訪時間為間隔來不斷更新目標的狀態和軌跡，而這個過程的關鍵是接力衛星根據目標模板匹配出高價值目標，統一兩段遙感視頻中跟蹤目標的編號［4］。本文使用模板匹配方法克服在衛星接力過程中目標圖像產生的非剛性形變，實現對同一目標的接力跟蹤。針對艦船尺寸差異大而產生的影響，本文引入雙級特征融合模塊，提高不同尺寸目標特征的適應性；針對環境變化對模板匹配產生的影響，引入質量感知模板匹配模塊，克服前后兩顆拍攝衛星的環境變化以及當前環境對匹配過程的干擾；針對算法生成的目標框中目標占比較小的問題，引入細粒度艦船角度定位模塊，通過生成旋轉目標框來提高目標在模板中的占比。

1 模板匹配方法

在計算機視覺算法中，識別目標圖像是否包含特定的目標或圖像特征是一個基本問題［5］。在此場景中，衛星需要從一幅模板中提取目標特征，然后在不同視角、不同拍攝時間下的另一幅目標圖像中定位出相似特征的位置，因此，使用模板匹配方法是一種有效的手段［6］。模板匹配分為基于傳統特征的模板匹配方法和基于深度特征的模板匹配方法［7］。

1.1 傳統特征模板匹配

傳統模板匹配是使用像素級特征來完成的，獲得圖像特征的方法通常是人工定義的數學公式，例如通過計算強度不連續點的高斯函數來分析圖像結構［8］。為了避免匹配結果受到光照變化的影響，文獻［9］提出使用歸一化互相關（NCC）或更復雜的廣義拉普拉斯距離。但是，這些方法依賴于將模板圖像中的強度值與目標圖像滑塊中相應位置的強度值進行比較，因此，視角變化、部分遮擋等非剛性形變導致的目標圖像以及模板的外觀不同均會對相似度評價結果產生嚴重影響［10］。因此，基于傳統特征的目標匹配不適用于跨星目標接力跟蹤。

1.2 深度特征模板匹配

基于深度特征的模板匹配方法主要分為兩類：一類方法［11-13］是通過神經網絡建立模板與目標圖像之間的特定轉換關系，這種方法大多需要大量的參數，并且難以處理遮擋等非剛性形變，不適合資源受限的星上環境；另一類方法［14-17］是增強模板匹配算法的魯棒性，通過設計新的相似性度量方法來減少復雜場景的干擾。由于深度特征可以提高模板匹配算法對視角變化的容忍度［18］，因此此類模板匹配方法更適合解決跨星模板匹配問題。

但是，基于深度特征的模板匹配算法在處理遙感艦船目標時存在以下不足：1）艦船目標尺寸差異較大，匹配算法受尺寸差異影響，使得定位效果不穩定［19］；2）匹配算法所生成的目標框并不是旋轉框，并不適合直接作為下一個接力衛星的模板［20］。

2 設計思路

針對衛星星座高價值目標連續跟蹤問題，本文提出衛星星座接力跟蹤處理流程，如圖1 所示。首先，第一顆衛星根據拍攝到的遙感圖像進行目標檢測，提取出需要接力跟蹤的高價值目標，并將目標模板和位置信息發送給接力衛星；然后，接力衛星在指定區域內利用模板定位出唯一的高價值目標；最后，更新目標模板并發送給下一個接力衛星。

為解決接力衛星定位到唯一高價值目標的問題，本文提出一種模板匹配方法，稱為Rotated QATM，如圖2 所示，該方法包括輔助結構和主干網絡2 個部分。主干網絡并不限于VGG19，大部分可以提取出深層和淺層特征的網絡都可以應用，這增加了算法的適應性。輔助結構包括3 個部分，分別為雙級特征融合模塊、質量感知模板匹配模塊和細粒度艦船角度定位模塊。算法首先通過一個特征提取網絡從定量旋轉的目標圖像和模板中提取出不同層次的特征圖，再將特征圖進行歸一化并拼接生成與圖像等大的源自模板和目標圖像的雙層特征圖｛P1，P2｝，不同旋轉角度會投影到不同的特征空間，獨立進行相似度評估；然后在雙層特征圖上使用基于QATM［14］的匹配方法生成相似度熱力；接著在定位船只時根據區域內相似度分布生成目標位置，根據模板旋轉角度的置信度序列得到目標框的旋轉角度。目標框坐標由目標位置和旋轉角度共同計算得出，這也是后續衛星跟蹤的起始目標框。

圖2 Rotated QATM 方法流程Fig.2 Procedure of the Rotated QATM method

為降低艦船目標尺寸差異較大對模板匹配帶來的影響，本文選擇深層與淺層搭配使用的特征進行匹配。低層的CNN 更加關注細節，學習到的特征基本上是顏色、邊緣、輪廓等低層特征［21］。高層CNN視野逐漸擴大，進而關注目標的整體［22］。本文通過引入不同層次的特征信息，在新的特征空間使模板特征更具辨別性，同時提高對外觀變化的容忍度。不同層次特征關注的視野不同，更加適合對尺寸差異較大的艦船目標進行模板匹配。

在模板匹配過程中，模板的質量對匹配效果的影響十分顯著［23］。如果模板本身就含有冗余的環境信息，這不僅會影響定位的精度還會增加匹配過程的計算量。為解決艦船在生成目標框像素中占比較低的問題，同時使得模板匹配算法的輸出可以直接作為接力模板，本文引入細粒度艦船角度定位模塊，通過模板在不同角度與目標圖像進行匹配，生成角度維度和位置維度的概率序列。本文使用不同角度的模板進行相互競爭以完成角度的粗匹配，再根據貝葉斯公式，利用角度的置信度序列對置信度最高的角度進行修正，最后計算出艦船角度的細粒度信息，生成旋轉的目標框［24］。

3 質量感知旋轉艦船模板匹配算法

3.1 雙級特征融合模塊

雙級特征融合模塊數據處理流程如圖3 所示，對于給定的任意大小的輸入圖像，主干網絡輸出一個離散的特征集合，即2 個層次特征｛P1，P2｝。本文以VGG19［25］為例，VGG19 網 絡第1 層的通 道數為64，后面每層都進行了翻倍，最多為512 個通道。算法使用的是第1 層和第4 層的輸出，通道數分別是64 層和512 層。在輸出層數不變的情況下，該模塊根據輸入圖像的大小將不同層次輸出的目標特征調整為同一個卷積層輸出的大小。如果圖像較大，則每一層的輸出將抽樣到較高層次的大小，以減少計算量；如果圖像較小，則使用雙線性插值的方法調整到較低層次的大小，以增加信息量，提高匹配的準確率。為了公平起見以及不失一般性，本文使用經過ImageNet 訓練的CNN 作為特征提取網絡，這樣既完成了艦船的特征提取，又可以與現在普遍使用的匹配算法進行公平對比。雙級特征融合模塊通過神經網絡將圖像投影到另一個維度的空間，并做好了數據對齊等前期工作，目的是使得每一個像素都有512+64 個該位置的特征表示，為相似度度量以及質量感知模板匹配提供每一個位置的特征表示。

圖3 雙級特征融合模塊結構Fig.3 Dual-level feature fusion module structure

3.2 質量感知模板匹配模塊

在計算模板和滑動窗口之間的相似度時，如表1所示，其中，t是模板，s是搜索圖像S特征圖上的滑塊。對于每一對s和t來說，針對組成它們的特征點之間的相似度，質量感知模板匹配方法考慮了4 種不同的模板匹配場景，具體為：“1-1”匹配表示精確匹配，即2 個匹配特征是雙方獨有的，在評價指標中對相似度貢獻最高；“1-N”和“M-1”表示這幾對特征是同一個類型的，從而導致了多對相似度較高的匹配，這表示會有混淆；“M-N”表示s和t中有多對特征點的匹配相似度較高，這種匹配對于評價指標的貢獻是沒有意義的。在上述4 種匹配情況中，只有“1-1”匹配被認為是高質量的匹配。

表1 模板匹配情況和對應的理想分數Table 1 Template matching and corresponding ideal scores

“1-1”匹配代表模板與滑動窗口之間特異性的相似度。本文將匹配的點的數量取倒數，用來修正每個點相似度計算的輸出。經過對每個特征點進行匹配后，在S中找到最優匹配區域作為整體匹配質量最大化的位置。對匹配進行定量表達，如式（1）所示：

為了使得評分指標可以適用于模板匹配的相似度計算，質量感知模板匹配方法定義L（t|s）來評估s對t的相似度得分。s和t分別是匹配圖像和模板上的滑塊，設fs和ft是經過卷積后的滑塊特征表示，ρ（·）是2 個特征之間的余弦相似度度量。給定一個目標圖像上的滑塊s，L（t|s）計算如式（2）所示：

上述似然函數可以解釋為當前模板t的特征與模板圖像上的每個滑塊s的特征在匹配質量方面的排序，這個過程就是尋找目標圖像中每個特征與幾個模板中的特征相匹配，進而得到1/N的值。同理，還可以得到L（s|t），即每個模板的特征與幾個目標圖像的特征相似，進而得到1/M的值。本文將QATM 評價指標定義為s在T中匹配和t在S中匹配的相似度乘積，如式（3）所示：

S和T之間的QATM 匹配評價得分就是目標出現的置信度，得分表最大值所在的位置就是目標出現的中心位置，如式（4）所示：

3.3 細粒度艦船角度定位模塊

在定位過程中，本文設計一種新的基于概率總和的目標定位方法，如圖4 所示。考慮到周圍像素的相似度也會影響目標匹配定位的效果，因此，該方法在熱力圖上使用與模板相同大小的1 矩陣進行一次卷積運算，然后尋找置信度和最大值的點，即預測目標出現的中心點。

為了定位艦船的旋轉角度，引入一種面向角度的計算方案，稱為旋轉角度定位方法。經過位置定位過程，現在不同角度的熱力圖都會得到一個位置坐標以及相對應的置信度，即得到了一組與角度相關的置信度數組，接下來就可以利用貝葉斯公式，通過置信度數組確定艦船的細粒度角度。為了充分使用質量感知模塊的計算結果，本文定義的修正函數如下：

其中：p1、p2分別為最高的置信度和次高的置信度；Aangle_max1、Aangle_max2分別代表置信度最高的旋轉角度和次高的旋轉角度。Aang就是修正后的目標旋轉的細粒度角度，在圖5 中代表旋轉角度∠α。

圖5 旋轉角度定位方法Fig.5 Rotation angle positioning method

在中心位置上根據模板的大小生成起始框，然后再以中心位置為原點，經過旋轉角度∠α的修正得到坐標的位置，如圖5 所示。本文使用具有5 個參數的O=（x，y，w，h，∠α）表示預測目標框的邊界，通過這5 個參數可以得到每個候選區域的4 個頂點坐標集合v=（v1，v2，v3，v4）。?α 是v1相對于水平框頂部中點（x，y-h/2）的偏移量，根據對稱性，?β表示v2相對于右中點（x+w/2，y）的偏移量。因此，4 個頂點坐標可以表示為：

利用上述表示方式，通過確定外接矩形的參數（x，y，w，h）和推斷其中的旋轉角度∠α，可以實現精確的角度推測和定位。

4 實驗驗證

4.1 實驗數據集與評價指標

收集同一艘艦船在不同時刻、不同光照和不同觀測條件下的照片較難。本文制作HRSC2016_matching 數據集，數據來源為官方遙感目標檢測數據集HRSC2016。HRSC2016 數據集由西北工業大學于2016 年發布，數據取自于Google Earth，其中，共 有1 061 張圖像，圖像大小為300×300～1 500×900 像素，共有2 976 個目標對。具體來說，本文根據標注將目標切片裁剪下來，作為用于匹配的目標模板，形成模板與目標圖像的匹配對。數據集中存在關于同一艘艦船目標的多組照片，本文將同一個目標的匹配對的模板進行相互交換和匹配。對于每一對匹配對，目標圖像和模板都帶有一個OBB 標注格式的標注文件以及與之相對應的模板圖片。

為了充分展示Rotated QATM 算法的優勢，實驗采用預測框與標注目標框的重疊度（IoU）作為精度度量。IoU 計算公式如下：

其中：|?|用來計算區域內的像素個數；Rtruth和Rest分別為將模板T定位在目標圖像S中產生的地面真值和估計的目標框。

AP50 和AP75 分別代表匹配對的IoU 大于50 或75 的數量占整體的百分比。ROC 曲線下的面積（Area-Under-Curve，AUC）的物理意義則是平均準確率。本文將IoU 大于75 的匹配對視為準確匹配，以此可以計算數據集的召回率，計算公式如下：

其中：TP表示正確確定目標位置而且IoU 大于75 的數量；FN表示低于閾值且沒有生成目標框的數量。

4.2 實驗設置

為驗證本文Rotated QATM 算法的有效性以及合理性，共進行2 組實驗。實驗1 通過比較Rotated QATM 與不同匹配算法在艦船模板匹配上的表現，驗證本文算法的有效性；實驗2 通過比較選用不同卷積層的算法的性能，以此說明淺層信息與深層信息搭配使用比單層信息匹配更有優勢以及網絡深度不能過深的合理性。實驗環境為CPU Intel Core i7，主頻為2.93 GHz，內存為4 GB，操作系統為Windows 10，神經網絡框架為TensorFlow。

4.3 定量分析

4.3.1 Rotated QATM 性能分析

為了對Rotated QATM 的性能進行分析，本文在HRSC2016_matching 數據集上對其進行廣泛的定量和定性評估，將Rotated QATM 與DDIS、SIFT 進行比較。本文使用的基礎方法來自于2019 年CVPR 收錄的文獻中的QATM 方法，該方法通過排序來評估所有匹配對的質量，針對局部相似的特征干擾進行了優化；DDIS 是2017 年CVPR 收錄的文獻中提到的方法，該方法提出一種相似性度量方法，針對形變多樣性相似性進行優化，對復雜形變、顯著的背景雜波和遮擋具有魯棒性，是經典的特征層匹配方法；SIFT 特征點具有很好的尺度不變性和旋轉不變性，是傳統特征中應用最廣泛的代表之一。

由于QATM 和DDIS 匹配算法的目標框不具備角度信息，為了公平起見，給這2 個算法都加入細粒度艦船角度定位模塊。圖6 所示為2 976 對模板圖像對上4 種算法的ROC 曲線。

圖6 4 種算法的準確率曲線Fig.6 Accuracy curves of four algorithms

從圖6 可以看到，使用特征圖進行模板匹配的QATM 和DDIS 的ROC 曲線都是緩慢下降的。由于HRSC2016_matching 是一個全場景數據集并包含各種干擾，因此ROC 曲線下降緩慢說明算法針對所有的環境具有相似的匹配能力，算法具有很強的普適性。與此產生對比的是，SIFT 算法準確率會快速下降，這表明SIFT 算法只對一部分匹配對有效果，算法魯棒性不強。QATM 算法通過對每一對特征點的相互相似度進行排名，減少重復出現某一類特征的干擾，更加專注特異性的目標匹配，最終取得了優于DDIS 的效果。Rotated QATM、DDIS、SIFT 和QATM（baseline）在全數據集上平均單個匹配任務的計算時間分別是178 ms、229 ms、53 ms 和126 ms，雖然Rotated QATM 的時間復雜度略高于QATM（baseline）和SIFT，但是滿足在衛星過頂時間內完成高價值目標模板匹配任務的需求，能夠統一兩段遙感視頻中跟蹤目標的編號。

4 種算法在艦船模板匹配數據集上得到的PR 曲線如圖7 所示。從圖7 可以看出，Rotated QATM 的平均召回率為78.4%，相比QATM（baseline）、DDIS、SIFT 的平均召回率分別提高了3.1%、30.6%、16.2%。

圖7 4 種算法的PR 曲線對比Fig.7 Comparison of PR curves of four algorithms

從表2 中的AUC、AP50、AP75 可以看出，Rotated QATM 相比對比算法更準確。在使用深度融合特征時，Rotated QATM 的AUC 比QATM（baseline）、DDIS、SIFT 分別提高了約9.5、16.0、17.5 個百分點，AP75 分別提升了21.1、30.5、6.9 個百分點。這說明單層特征難以應對艦船尺寸的復雜情況，未提供足夠的立體的多種維度信息，將淺層紋理信息與深層語義信息搭配使用的網絡性能更優。

表2 模板匹配算法性能比較結果Table 2 Performance comparison results of template matching algorithms

4.3.2 不同特征層融合性能分析

模板匹配方法處理的對象大多是單層特征，或者是像素級的處理過程，這些特征信息不夠豐富，難以應對復雜的環境變化以及艦船尺寸的多樣化特性。為此，本文引入多層特征信息進行融合匹配，并優化特征層的選擇。為了定量分析雙級特征融合模塊帶來的精度變化和深層與淺層特征搭配使用的優勢，實驗對比單層的特征匹配算法與深層和淺層信息相結合的匹配算法的準確率，比較結果通過ROC 曲線進行展示，如圖8 所示。Rotated QATM（superficial）和 Rotated QATM（deep）分別代表經過神經網絡第1 層卷積模塊和第4 層卷積模塊后輸出的特征值；Rotated QATM（middle）使用的是第2 層和第3 層融合特征；Rotated QATM（block 1+block 4）和Rotated QATM（block 1+block 3）使用的是第1 層與第3 層以及第1 層與第4 層的融合特征。

表3 所示為本文方法通過不同特征層融合后的關鍵評價指標具體數值。從中可以看出，雙級特征融合匹配的AP75 比單層特征分別提高了10.5、22.5 個百分點，Rotated QATM（block 1+block 4）比Rotated QATM（block 2+block 3）和Rotated QATM（block 1+block 3）分別提高了21.1、8.9 個百分點。對于深層特征做單層匹配，由于特征過于抽象，幾何特征信息量太少，因此匹配結果最差。對于本數據集而言，第1 層和第4 層的搭配效果最好，既能夠克服視角變化時對同一目標確認相同身份的問題，又做到目標之間身份不混淆，同時適應艦船尺寸的多樣性，因此，其對環境變化的適應性最強。

4.4 定性分析

針對目標環境變化、觀察視角變化的匹配場景以及綜合場景，從網絡中下載一些具有挑戰性的匹配圖像對，分別使用SIFT、DDIS、QATM（baseline）以及本文的Rotated QATM 算法進行對比實驗，結果如圖9 所示（彩色效果見《計算機工程》官網HTML版）。每組圖片第1 列是模板，第2 列是目標圖像以及劃定的綠色目標框，第3 列是計算出的特征圖或熱力圖，第4 列是匹配結果，藍色或紅色是預測框。圖9（a）是針對環境變化選擇的匹配對，模板是出港后有云層遮擋的圖片，時間是傍晚，目標圖像則是在港口，時間是下午。圖9（b）是針對觀察視角變化的匹配對，2 張圖片分別選擇艦船目標的前側和后側。整體來看，DDIS 針對環境干擾進行了優化，QATM針對視角變化進行了優化，SIFT 特征具有良好的尺度不變性和旋轉不變性，3 種對比算法相互比較雖然各有優勢，但是準確率與Rotated QATM 算法依然存在明顯差距。圖9（c）模板是航拍我國國產003 航母建造時的場景，船只尾部有起重架遮擋，目標圖像是衛星拍攝的航母試水場景，前后分別基于航拍和衛星圖像且岸邊環境有很大的變化，產生了較強的干擾，包括遮擋、顯著形變、背景雜波和尺度變化。從檢測結果圖中可以明顯看出Rotated QATM 更準確，熱力圖噪聲最小。傳統的SIFT 算法可以很快提取出模板圖像和目標圖像的特征點，但是由于光照和視角的變化使得SIFT 特征點難以進行匹配。QATM算法通過提取出熱力圖并在圖上進行相似度推算來確定目標的位置。從熱力圖上可以看出，DDIS 算法提取出的熱力圖噪聲很大，而Rotated QATM 提取出的熱力圖最干凈，目標匹配位置更為準確。上述結果驗證了本文關于匹配信息來源的特征層選擇的猜想，即淺層特征更多的是差異性的紋理信息，深層特征則包含更多的共同性的語義信息，同時驗證了質量感知模板匹配模塊可以同時應對環境變化、視角變化的疊加影響，提高了定位的準確度。在圖9 中，Rotated QATM 最后的匹配結果IoU 達到0.886。

圖9 3 組存在典型干擾的匹配對的實驗結果Fig.9 Experimental results of three paired pairs with typical interference

5 結束語

本文針對跨星高價值目標模板匹配問題，提出一種基于深度特征的質量感知旋轉艦船模板匹配算法Rotated QATM。該算法采用雙級特征融合模塊，同時提取淺層的紋理信息和深層的語義信息，解決了在跨星跟蹤時因艦船尺寸多樣和環境變化所導致的模板匹配定位不準確的問題。設計質量感知模板匹配模塊，減少相似的環境因素以及目標產生非剛性形變時對匹配過程產生的干擾。設計細粒度艦船角度定位模塊，提高匹配的準確率，同時得到準確的艦船方向信息，為星間接力跟蹤創造條件。實驗結果表明，Rotated QATM 在數據集HRSC2016_matching上的AUC 是0.81，AP75 是0.78，能夠有效提高艦船目標匹配的準確率。目前衛星星座的任務規劃需要通過設計調度算法來優化衛星的資源配置，因此，下一步考慮將模板匹配算法和衛星調度算法相結合，同時進行輕量化網絡設計，以實現低能耗和高精度的衛星星座跨星接力跟蹤。