基于孿生神經網絡的異源圖像匹配方法

陶 凱，武龍龍，韓培林，王澤鵬

(1.北京宇航系統工程研究所，北京 100076；2.北京理工大學，北京 100081)

0 引言

合成孔徑雷達(synthetic aperture radar, SAR)是一種主動成像技術，具有全天候、全天時、可透視、高分辨率和遠距離成像等優點。SAR景象匹配制導是目前精確制導技術重要的發展方向之一，在彈道中段進行彈上SAR景象匹配制導時，安裝在導彈上的SAR設備獲取實時的SAR圖像，處理器將實時圖像與預存的可見光參考圖像模板進行景象匹配，從而計算出導彈位置，供制導系統修正導彈的飛行軌跡和慣導誤差[1]。

現有的圖像匹配方法大致可分為兩類：基于特征的匹配方法和基于區域(模板)的匹配方法[2]?；谔卣鞯钠ヅ浞椒ㄊ紫葘D像進行特征提取，之后利用特征之間的相似性進行匹配。常用的特征包括點特征[3-4]、線特征[5]、面特征[6]和局部不變性特征[7-8]等。然而，由于異源圖像間存在較大的非線性強度差異，并且SAR圖像被一種名為散斑噪聲的強乘性噪聲破壞，異源圖像間使用傳統特征檢測法檢測到的特征往往重復率較低，使得匹配效率低下，不能較好地應用于異源圖像間的匹配[9]。

基于區域(模板)的圖像匹配方法首先在待匹配的圖像上選擇一個適當尺寸的模板窗口，然后在參考圖像的搜索域中利用某種相似性度量方法進行匹配，選取相似度最大的點為匹配點。常用的相似性度量有互信息(MI)[10]、歸一化互相關(NCC)[11]等。這些相似性度量方法直接使用圖像的灰度信息進行計算，受輻射差異影響比較大，在異源圖像的匹配中表現不佳。

為解決現有圖像匹配方法的不足，本文提出基于孿生神經網絡的異源圖像匹配方法。孿生神經網絡(siamese neural network)可以通過深層網絡的學習來提取異源圖像間的共有特征，能有效地抵抗圖像間的非線性強度差異與噪聲影響[12]。此外，本文采取模板匹配的方法以避免特征檢測重復率的影響，最終實現異源圖像間的高精度匹配。

1 孿生神經網絡

孿生神經網絡是一種通過提取訓練樣本對的深層特征來進行圖像相似性檢測的深度學習網絡模型。

孿生神經網絡的結構如圖1所示，它包含兩個分支的特征提取網絡和一個度量網絡，其中特征提取網絡是共享權重的。特征提取網絡可以包含卷積層、池化層和全連接層等，用于提取訓練圖像對的深層特征。度量網絡除了是上述這些神經網絡層，也可以使用某種相似性度量算法，目的是評估圖像之間的相似性。

圖1 孿生神經網絡結構Fig.1 Structure of Siamese neural network

傳統的孿生神經網絡中包含池化層，其通過降低輸入特征圖的空間分辨率來減少特征和參數，簡化了網絡計算復雜度，提高了計算速度；同時，池化層可以保持一定的平移不變性，可以較好地應用于基于特征的匹配方法。

2 異源圖像匹配方法

在基于區域(模板)的匹配方法中，由于池化層的平移不變性，會使得孿生神經網絡對小范圍內偏移的不敏感，降低檢測精度。有研究表明，使用步長為2的卷積層+ReLU來替代池化層，可以同時提高網絡的性能和對平移的敏感度[13]。因此，本文設計的特征提取網絡使用步長為2的卷積層來進行下采樣。

特征提取網絡的網絡結構如圖2所示。網絡的輸入為64×64大小的灰度圖。其中，“5×5 conv,32”表示卷積核大小為5×5，卷積核個數為32的卷積層，不加“/2”的層默認卷積步長為1，否則為2。每個卷積層之后的激活函數均為Leaky ReLU。

圖2 特征提取網絡Fig.2 Feature extraction network

2.1 顯著性檢測

由于圖像平滑的部分難以匹配，使用這些部分不僅會影響最終的匹配精度，還會降低匹配的速度，本文使用基于譜殘差的顯著性檢測方法[14]對待匹配的SAR圖像進行顯著性檢測，選取其中顯著性高的圖像塊參與匹配。

圖像信息H(Image)可以分成兩部分：

H(Image)=H(Innovation)+H(Prior Knowledge)

(1)

式(1)中，H(Innovation)為新穎性部分，也就是顯著性部分；H(Prior Knowledge)是先驗知識部分，也就是冗余信息。

基于譜殘差的顯著性檢測法認為，不同圖像的對數幅度譜具有相似的趨勢。在平均對數幅度譜中存在局部線性。通過減去這個平均對數幅度譜，得到的譜殘差就可以用于求取顯著性圖。

顯著性圖的具體計算過程如下：

1)對于圖像I(x)，先對其進行傅里葉變換，求出它的幅值譜A(f)和相位譜P(f)，幅度譜轉換到對數域，得到對數幅度譜L(f):

2)計算譜殘差R(f)：

R(f)=L(f)-h(f)L(f)

(2)

式(2)中，h(f)為頻域低通濾波器(均值濾波器)。

3)最后計算顯著性圖S(x)，在頻率區域對取指數后的殘差進行傅里葉反變換：

S(x)=F-1{exp[R(f)+P(f)]}2

求取顯著性圖后，將SAR圖像劃分為64×64大小的圖像塊，計算每個圖像塊的顯著性值并排序，挑選顯著性值前25%的圖像塊參與匹配，SAR圖像顯著性圖及根據顯著性值挑選的圖像塊如圖3所示。

圖3 SAR圖像顯著性圖及根據顯著性值挑選的圖像塊Fig.3 Saliency map of SAR image and image block selected according to saliency value

2.2 相似性度量

傳統孿生神經網絡的度量網絡一般使用三層全連接層，全連接層相當于一個特征空間變換，可以把提取到的特征信息進行整合，降低特征維數，最終輸出圖像相似性。由于全連接層參數過多，在訓練集有限的情況下容易產生過擬合，另外也增大了很多計算量，本文使用4個卷積層來替代一個全連接層。

度量網絡的網絡結構如圖4所示。SAR圖像和可見光圖像經過特征提取網絡被提取的特征圖先進行拼合，再輸入度量網絡。FC(512)表示輸出為512個節點的全連接層。除最后一層外其余各層之后的激活函數均為Leaky ReLU，最后一層后面的激活函數為softmax。softmax將輸出的兩個值映射到(0,1)上，并且相加之和等于1，分別代表相似的概率和不相似的概率。

圖4 度量網絡Fig.4 Measurement network

其公式如下：

用于孿生神經網絡模型訓練的訓練圖像對分為正樣本對和負樣本對，訓練的目的是使正樣本之間的相似度盡可能高，負樣本間的相似度盡可能低。正負樣本對均有標簽進行區分，正樣本對的標簽為(0,1)，負樣本對的標簽為(1,0)。訓練過程中正負樣本對經過網絡模型輸出結果并根據標簽計算損失，通過優化損失來優化網絡模型。損失函數使用交叉熵損失，對于二分類，其公式如下：

L(xi,yi)=-yilog(xi)-(1-yi)log(1-xi)

(3)

式(3)中，yi為標簽值，xi為預測值。

2.3 快速搜索策略

模板匹配的方法需要在搜索域上搜索相似度最高的像素點。逐點搜索雖然不會出錯，但是計算量巨大，計算時間過長，難以滿足制導的要求?？梢姽饽０鍒D像與SAR實時圖像如圖5所示。

圖5 光學模板圖與SAR圖像Fig.5 Template image and real-time image

為了提高搜索速度，本文設計了一種快速搜索策略。首先進行粗略搜索，從搜索域的左上方開始搜索，設置一個相似度閾值τ，當使用的多個待配準圖像塊與參考圖像塊間的的平均相似度小于τ時，使用一個較大的搜索步長L1；當平均相似度大于閾值τ的時候，使用較小的搜索步長L2，L1和L2滿足1

以精細搜索中心為圓心，R為半徑的圓域上進行逐點的精細搜索，得到的平均相似度最高的像素點坐標(x1,y1)為匹配坐標。若平均相似度最高的點不止一個，則取其幾何中心坐標并取整，作為匹配坐標。

2.4 集成學習優化搜索結果

特征提取網絡使用了卷積下采樣來擴大感受野、減少計算量，引入了一定的誤差，本文使用集成學習的思想，通過多個模型共同判斷，以優化最終的搜索結果。

集成學習的思想是通過訓練多個能力相對較弱的模型，將其進行組合，形成一個更強的模型來完成任務。這些模型可以是相同的也可以是不同的。其中單個模型，叫做“基模型”或“弱模型”，最終得到的整個模型叫做“強模型”。

本文算法一共使用n個性能相近的基模型，其中基模型1參與2.2節中的搜索過程，在得到匹配坐標(x1,y1)后，使用另外n-1個基模型各自在以(x1,y1)為圓心，r為半徑(r

本文提出的異源圖像匹配方法，匹配流程如圖6所示。

圖6 異源圖像匹配方法流程圖Fig.6 Flow chart of heterogeneous image matching algorithm

1)對于獲取到的SAR圖像，首先進行顯著性檢測，將圖像劃分為64×64的圖像塊，統計每個圖像塊里的顯著性值并排序，選取顯著性排名前25%的圖像塊用于匹配；

2)在作為參考的可見光圖像上，從左上角開始進行搜索，通過孿生神經網絡計算對應圖像塊的平均相似度，按照先粗略后精細的策略，找到平均相似度最高的像素坐標點；

3)使用集成學習策略，通過多模型聯合決策，提高最終的預測精度。

3 模型訓練與測試

基于以上的算法進行模型訓練，測試匹配的精準度和成功率，并與傳統的模板匹配方法(NCC、MI)進行比較。試驗硬件平臺的CPU為2*Intel Xeon Silver 4210，GPU為4*Nvidia GeForce RTX 2080 Ti,采用的深度學習框架為Pytorch。 評價指標為匹配精度和匹配成功率，匹配精度采用均方根誤差衡量，公式如下：

(4)

式(4)中，Δx和Δy分別表示x方向和y方向上的坐標誤差。

本文將單次匹配RMSE≤5的匹配結果視為匹配成功，匹配成功率的計算公式如下：

(5)

式(5)中，N是匹配成功的對數，M是總匹配數對。

3.1 數據集準備

已有2 550對已配對的可見光和SAR圖像作為原始數據集，均為灰度圖像。其中SAR圖像來自于高分三號遙感衛星圖像，可見光圖像來自于資源三號遙感衛星圖像。其中可見光圖像的尺寸為800×800，作為參考圖像，SAR圖像的尺寸為512×512，作為待配準圖像，已知標簽為SAR圖像左上角在其對應可見光圖像上的坐標。從中隨機選取2 000對圖像作為訓練集，250對圖像作為驗證集，300對圖像作為測試集。訓練集和驗證集的可見光圖像均按對應標簽坐標裁剪成512×512大小(即與SAR圖像完全匹配)，并對圖像作翻轉、旋轉以擴充數據。

使用訓練集和驗證集處理后的數據構建正負樣本對，正負樣本對比例均為1∶1。其中正樣本是一對編號相同的SAR圖像和可見光圖像，負樣本是一對編號不同的SAR圖像和可見光圖像，如圖7所示。

3.2 模型訓練

訓練時在訓練集的正負樣本對上對應位置隨機裁取64×64的圖像塊作為輸入，每批次有8組正負樣本，總共迭代200輪。在每個全連接層前加入0.5的dropout以防止過擬合。在驗證集的正負樣本對上固定位置裁取64×64的圖像塊作為輸入，取驗證集所有樣本對損失之和最小的5個模型作為基模型1—基模型5(按損失從小到大排列)。梯度優化算法使用Adam，學習率為0.000 2，權重衰減為0.002。

圖7 正負樣本對示例Fig.7 Examples of positive and negative sample pairs

3.3 測試結果

對于測試集，通過第1章中的算法輸出SAR圖像左上角在可見光圖像中對應的坐標。NCC和MI方法選擇的圖像塊與本文方法選取的相同。測試結果如表1所示。

表1 測試結果對比Tab.1 Comparison of test results

從結果可以看出，本文提出的算法的匹配成功率和匹配準確度大大高于傳統模板匹配方法NCC和MI，另外，使用集成學習聯合預測后匹配成功率和匹配準確度都顯著上升，證明了其有效性。

4 結論

本文提出基于孿生神經網絡的SAR-可見光異源圖像匹配方法。該方法通過顯著性檢測選取圖像塊，使用孿生神經網絡對SAR圖像塊和可見光圖像塊進行相似度度量，并且使用快速搜索策略以加快匹配速度，使用集成學習優化最終的匹配精度。實驗結果表明，該方法的匹配成功率和匹配精度顯著高于傳統模板匹配方法。

由于本方法基于模板匹配，所以只能針對存在平移變化的圖像，對于存在旋轉和尺度變化的圖像匹配，還有待進一步的研究。