多時相遙感影像的深度卷積匹配算法研究

摘 要：針對傳統人工設計的特征描述符在面對幾何差異和輻射差異較大、地物變化明顯的多時相遙感影像時，容易造成大量誤匹配問題，提出一種適用于遙感影像的雙篩選雙約束的卷積神經網絡匹配算法，通過CNN提取影像深層語義特征圖，在特征圖中篩選同時滿足優先最大原則和精確極值原則的關鍵點，并在對應位置提取512維描述符。在特征匹配階段，通過由粗到精的反向匹配約束和RANSAC約束相結合的策略，保證了誤匹配點有效剔除的同時保留一定數量的正確匹配點對，提高了匹配的精度。實驗結果表明：該方法的匹配數量適中，正確匹配率較實驗選取的其他算法相比有所提高，影像配準誤差減小2個像素左右，匹配運行時間提升明顯，匹配效果良好并且具有一定的適應性和魯棒性。

關鍵詞：多時相遙感影像；深度學習；雙篩選雙約束；卷積神經網絡；圖像匹配

中圖分類號：P237 文獻標志碼：A

文章編號：1001－3695（2023）03－048－0932－06

doi：10.19734/j.issn.1001-3695.2022.06.0357

Depth convolution matching algorithm for multi-temporal remote sensing images

Wei Chuntao，Li Yuanzhe

（School of Smart City，Chongqing Jiaotong University，Chongqing 400074，China）

Abstract：Traditional manually designed feature descriptors are prone to cause a large number of mismatches in the face of multi temporal remote sensing images with large geometric and radiation differences and obvious changes in ground features.This paper developed a convolutional neural network matching algorithm with double screening and proposed double constraints to extract the deep semantic feature map of the image through CNN，it selected the key points that satisfied both the priority maximum principle and the precise extreme value principle from the feature map，and extracted 512-dimension descriptors from the corresponding positions.In the feature matching stage，the strategy of combining the rough to fine reverse matching constraints and RANSAC constraints ensured that the 1 matching points were eliminated effectively，and retained a certain number of correct matching points，which improved the matching accuracy.The experimental results show that the number of matches is moderate，the correct matching rate is improved compared with other algorithms selected in the experiment，and the image registration error is reduced by about 2 pixels.The running time is obviously improved，matching effect is good，with certain adaptability and robustness.

Key words：multi-temporal image；deep learning；double filtering double constraints；convolution neural network；image matching

0 引言

遙感影像廣泛應用于地表環境變化檢測、地面目標識別、城市發展評估等方面，影像之間的匹配是進行配準、拼接和融合等工作的前提基礎，匹配精度的好壞決定了后續工作成果的優異［1］。然而多時相遙感影像在獲取過程中受到傳感器類型、探測角度、天氣條件等因素的影響導致成像內容上輻射特征、幾何特征、地面變化差異都較為突出，這使得匹配難度加大，因此研究如何從差異較大的圖像內容上提取可靠特征，尋求最優的匹配解［2］算法是問題的關鍵。

多時相匹配是在不同時相遙感圖像上尋求同名像點的過程，方法大致分為基于區域的方法、基于特征的方法兩種。基于區域的方法的主要包括灰度相關法和圖像域變換，灰度相關法根據圖像或圖像塊灰度信息進行像素上的對齊，包括互相關法、相關系數度量法、互信息法（MI）等［3～6］；圖像域變換是將圖像信息進行域變換，然后在變換域中對圖像進行相似性度量，包括傅里葉變換法、相位相關法、沃爾什變換法等［7～9］。基于特征的方法則通過對比代表高級信息的特征描述符來篩選匹配點，代表算法是尺度不變特征變換（SIFT）描述符［10］或其改進版本［11］。SIFT描述符具有良好的旋轉不變性和尺度不變性，但在面對遙感影像輻射差異和地物變化較大時通過局部特征的鄰域梯度分布來描述關鍵點，檢測出來的特征點會包含嚴重的外點，導致對多時相影像的匹配效果較差。

近些年來，深度學習方法在計算機視覺任務如圖像分割和分類、目標檢測等方面獲得了較大的關注。2014年首次引入Alexey等人［12］方法以來，卷積神經網絡就被研究者用于提取圖像特征［13～19］。與傳統人工設計的描述符需要專業的先驗知識和較差的泛化能力相比，在提取圖像更為深層、更抽象的特征方面，CNN具有天然優勢，其通過高層的語義信息來進行圖像匹配，有著較好的泛化能力。LIFT［20］、SuperPoint［21］、SuperGlue［22］、D2-Net［23］、LoFTR［24］算法的提出在視角和光照變化的近景影像匹配方面取得了積極的進展。

要實現通用的魯棒圖像匹配，需要解決三個難題：a）幾何變換與輻射的不變性；b）外點的去除；c）非剛性的配準問題。本文著重面對前兩個方面，對RepVGG模型作出改進，為解決幾何差異和輻射差異，利用自制數據集進行微調訓練，建立影像金字塔模型，通過卷積網絡提取遙感圖像的高層語義特征圖，通過滿足雙篩選原則兩次篩選出可靠的關鍵點，并在特征圖上提取相應位置的512維描述符；為解決誤匹配點多的問題，提出了由粗到精的反向匹配約束和RANSAC約束相結合的雙約束方法，保證了誤匹配點有效剔除的同時又保留了一定數量的正確匹配點對。算法整體流程如圖1所示。

1 基本思想

減小影像幾何差異和地物變化帶來的影響，從而找到不變的相似特征是實現多時相遙感影像穩定的特征匹配的核心，本文提出的方法重點考慮以下幾個方面：

a）構建一個穩健的卷積神經網絡來提取關鍵特征點和描述。CNN提取的特征圖代表著影像的深層語義特征，如圖2所示。

一般網絡的前幾層提取到的特征是一些邊緣、角點等淺層局部特征；隨著網絡層數的不斷加深，提取到的特征變得高度抽象，獲得的信息偏向全局化。但同時特征點的定位精度與特征的抽象程度成反比，深層特征能夠抵抗尺度差異等影像帶來的干擾，要比淺層特征更適應幾何和輻射上的變化，因此適當地擴大感受野有利于深層不變特征的提取。

b）為了學習到遙感影像的先驗語義信息，利用自制的數據集對網絡進行微調訓練，并且建立金字塔模型來提高算法的尺度和旋轉的魯棒性。

c）采用雙篩選雙約束的策略，能夠減少匹配過程中的誤配，獲得更多可靠、均勻的匹配對。

1.1 特征提取網絡模型

RepVGG是一種簡單的前饋網絡，只需堆疊卷積層和ReLU層即可達到較高的性能，分為訓練結構模型和推理結構模型；訓練階段具有多分支拓撲結構，推理階段是由3×3卷積和ReLU層組成VGG風格的結構，這種訓練—推理的解耦通過結構性重參數化的技術實現，具體方法可參照文獻［25］。將VGG式模型轉換為相應的單分支結構，能夠實現較高的推理效率，在提取圖像卷積特征時運行速度更快，更節省內存。網絡的主要架構是將多層的3×3卷積堆聚，分為5個stage，每個stage的第一層為stride=2的降采樣操作，每個卷積層用ReLU函數作為激活函數，整個網絡通過參數a和b來形成不同的版本，參數a用來控制stage1～stage4階段的通道個數，參數b用來控制stage5階段的通道個數。表1為RepVGG不同版本配置參數。

神經網絡在經過每個stage第一層的降采樣操作后，分辨率都會下降，為了保證特征圖的分辨率以及提取到的特征點有足夠的定位精度，本文算法對RepVGG模型結構進行了修改，選取RepVGG-B模型，5個stage分別為［1，4，6，16，1］層，舍棄最后一個stage5模塊，將stage4模塊的第一層降采樣滑動步長從2像素替換為1像素，將stage4階段的conv4_3到conv4_5層采用空洞卷積率為2的空洞卷積，以conv_5層作為關鍵點提取的特征圖輸出層，最后輸出通道數為512，這樣的改動可以擴大感受野，輸出的特征圖可以將定位精度提高一倍。結構如圖3所示。每一卷積層通過結構重參數化添加并行的1×1卷積分支和恒等映射分支，最后一層采用2×2空洞卷積。

1.2 局部特征的雙篩選提取與描述

在改動后的RepVGG網絡輸出的特征圖中需要篩選掉那些過于密集且不顯著的特征，保留那些較為明顯的關鍵點作為影像匹配的特征點。假設輸入的原始影像為I，尺寸大小為w×h，設網絡輸出特征圖為F=F（I），F∈R（w×h×n），其中R（w×h×n）為特征空間，通道數n=512，本文采用了同時滿足的通道最大和局部平面內最大的雙篩選策略在R（w×h×n）中篩選出較為顯著的特征點。對于某個待選的特征點P（i，j），首先選擇最大通道方向，即從n個通道特征圖當中選擇出響應值最大的通道s，得到的相應通道上特征圖為DS；然后繼續驗證特征圖DS是否滿足局部最大，如果能夠同時滿足這兩個條件，則待選點p為顯著的關鍵點，保留作為特征點［26］。公式如下：

S=arg max D^t_i，j（1）

粗匹配在56×56的融合特征層篩選的匹配點對要在原始圖像中找到其相對應坐標才能進行精確配準。本文網絡結構采用步長為2的下采樣操作，即每個特征層的特征點在前一stage都是相同位置一個2×2大小區域，可以通過區域調整的方法，在前三個stage卷積塊中逐步調整匹配坐標點的位置，消除下采樣操作對特征點位置信息丟失造成的影響。

設在L+1層已經匹配的兩個坐標點的坐標分別為（XL+1i，XL+1j）和（YL+1i，YL+1j），則兩個點在L層對應的區域分別為

2.3 實驗數據

本次實驗對6組影像進行匹配，實驗數據情況如表2所示，測試數據源涵蓋了星載傳感器、谷歌地球影像、無人機傳感器等分辨率不同、多影像模式、時間和季節跨度大的多時相遙感影像。圖8為測試影像的縮略圖。其中第1組為高分影像，時間分辨率差異大，有15°旋轉變化；第2組為Landsat8號影像，時間跨度為10年，地物變化明顯；第3組為谷歌光學影像，時間分辨率和季節跨度較大，影像存在一定噪聲；第4組為同一地區的晝夜不同時相的影像，光照差異較大；第5組為GF-3sar影像，有一定旋轉； 第6組為無人機影像，拍攝地為重慶交通大學南岸校區，圖像分辨率差異2倍，具有一定重疊度。所有影像數據變化包含不同時相、旋轉差異、尺度縮放、平移等，對測試算法適應性具有一定代表性。

2.4 實驗結果與分析

實驗比較了幾種具有代表性的匹配算法，包括傳統的SIFT 算法、基于輻射變化的不敏感特征變換特征的RIFT算法、Context-Desc算法，以及近兩年效果最好的SuperGlue算法，它是基于圖神經網絡和注意力機制的特征匹配網絡，能夠做到測試匹配且匹配效果優秀。本文對幾種算法的實驗結果進行了統計，如表3和圖9所示。

2.4.1 匹配效果對比

圖10展示了幾種匹配算法的匹配效果。分析表3數據可知，SIFT算法運行時間短，對平移（影像對3）、旋轉（影像對5）、尺度變化影像（影像對6）有較好的魯棒性，但其通過構造128維特征向量提取以及匹配都嚴重依賴于主方向，對于多時相且地物內容變化較大的弱紋理遙感影像，容易造成大量錯誤匹配；基于相一致性的RIFT對時間分辨率較大的影像上具有一定的適應性，這是因為基于滑動窗口的算法可以提取更加密集的待匹配點，但在應對尺度變化（影像對1和6）時，匹配點數量明顯減少，匹配結果較差并且運行時間較長。Context-Desc算法對尺度變化、光照變化等影像具有很好適應性，但面對地物內容變化較大和旋轉的影像對1和2匹配效果并不理想；SuperGlue算法結構巧妙，通過構造虛擬場景訓練提取興趣點，利用自注意力機制和交叉注意力機制將匹配問題看做最優運輸問題，可以做到實時檢測匹配，但該方法較多應用于近景場景的匹配，在遙感影像方面對平移及旋轉（影像對5和6）有著不錯的魯棒性，但在面對弱紋理區域（影像對1）時，檢測的特征點數目較少且置信度較低，而本文算法可以檢測到較多特征點。從運行時間和匹配精度綜合來看，SuperGlue算法要優于本文算法，但在多時相影像上本文算法匹配對數量適中，運行時間較短，在適應性方面性能最為均衡。

2.4.2 影像配準效果

為了更好地體現本文算法的有效性，本文還進行了影像配準實驗。如圖11所示，首先根據算法匹配出的點對組進行仿射變換參數的計算，然后利用該參數對待匹配影像進行糾正，得到配準結果。配準的效果可以很好地反映匹配算法的精度，取幾種算法的RMSE平均值進行比較，最優的SuperGlue均值約為6，本文算法均值約為4，相比提升了約2個像素左右，肉眼檢查算法的配準很難看出較為明顯的錯位，說明匹配效果良好。

3 結束語

遙感圖像由于幾何差異、輻射差異、地物變化較大，導致匹配效率較為低下。本文提出的“雙篩選雙約束”卷積神經網絡匹配方法通過實驗證明在適應性、匹配點分布、效率等方面要比其他幾種算法有一定優勢。但算法還存在了很多局限性，如算法提取的卷積特征難以達到子像素級的匹配精度；整體匹配過程利用到的圖像幾何約束信息較少；網絡受訓練數據影響，很難適應各種類型傳感器圖像數據等，后續工作將進一步改善算法效率，進行深入研究來提升算法性能。

參考文獻：

［1］Ma Jiayi，Jiang Xingyu，Fan Aoxiang，et al.Image matching from handcrafted to deep features：a survey［J］.International Journal of Computer Vision，2021，129（1）：23-79.

［2］宋智禮.圖像配準技術及其應用的研究［D］.上海：復旦大學，2010.（Song Zhili.Research on image registration technology and its application［D］.Shanghai：Fudan University，2010.）

［3］Zitova B，Flusser J.Image registration methods：a survey［J］.Image and Vision Computing，2003，21（11）：977-1000.

［4］Pratt W K.Digital image processing［M］.New York：Wiley，1991.

［5］Viola P，Wells III W M.Alignment by maximization of mutual information［J］.International Journal of Computer Vision，1997，24（2）：137-154.

［6］Barnea D I，Silverman H F.A class of algorithms for fast digital image registration［J］.IEEE Trans on Computers，1972，100（2）：179-186.

［7］Bracewell R N，Bracewell R N.The Fourier transform and its applications：vol 31999［M］.New York：McGraw-Hill，1986.

［8］Decastro E，Morandi C.Registration of translated and rotated images using finite Fourier transforms［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，1987，9（5）：700-703.

［9］Chen Qinsheng，Defrise M，Deconinck F.Symmetric phase-only matched filtering of Fourier-Mellin transforms for image registration and recognition［J］.IEEE Trans on Pattern Analysis amp; Machine Intelligence，1994，16（12）：1156-1168.

［10］Lowe D G.Distinctive image features from scale-invariant keypoints［J］.International Journal of Computer Vision，2004，60（2）：91-110.

［11］Fischer P，Dosovitskiy A，Brox T.Descriptor matching with convolutional neural networks：a comparison to SIFT［EB/OL］.（2015-06-24）.http：//doi.org/10.48550/arxiv.1405.5769.

［12］Alexey D，Fischer P，Tobias J，et al.Discriminative，unsupervised feature learning with exemplar convolutional，neural networks［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2016，38（9）：1734-1747.

［13］龔健雅，季順平.攝影測量與深度學習［J］.測 繪 學 報，2018，47（6）：693-704.（Gong Jianya，Ji Shunping.Photogrammetry and depth learning［J］.Acta Geodaetica et Cartographica Sinica，2018，47（6）：693-704.）

［14］于偉.基于卷積神經網絡特征的圖像匹配研究［D］.哈爾濱：哈爾濱工業大學，2017.（Yu Wei.Research on image matching based on convolutional neural network features［D］.Harbin：Harbin Institute of Technology，2017.）

［15］Yang Zhuoqian，Dan Tingting，Yang Yang.Multitemporal remote sen-sing image registration using deep convolutional features［J］.IEEE Access，2018，6：38544-38555.

［16］范大昭，董楊，張永生.衛星影像匹配的深度卷積神經網絡方法［J］.測繪學報，2018，47（6）：844-853.（Fan Dazhao，Dong Yang，Zhang Yongsheng.Deep convolutional neural network method for sate-llite image matching［J］.Journal of Geodesy and Geoinformation Science，2018，47（6）：844-853.）

［17］Zagoruyko S，Komodakis N.Learning to compare image patches via convolutional neural networks［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2015：4353-4361.

［18］Gong J Y，Ji S P.Photogrammetry and deep learning［J］.Journal of Geodesy and Geoinformation Science，2018，1（1）：1-15.

［19］Yang Zhuoqian，Dan Tingting，Yang Yang.Multi-temporal remote sensing image registration using deep convolutional features［J］.IEEE Access，2018，6：38544-38555.

［20］Yi K M，Trulls E，Lepetit V，et al.LIFT：learned invariant feature transform［C］//Proc of the 14th European Conference on Computer Vision.Berlin：Springer，2016：467-483.

［21］Detone D，Malisiewicz T，Rabinovich A.SuperPoint：self-supervised interest point detection and description［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2018：224-236.

［22］Sarlin P E，Detone D，Malisiewicz T，et al.SuperGlue：learning feature matching with graph neural networks［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2020：4938-4947.

［23］Dusmanu M，Rocco I，Pajdla T，et al.D2-Net：a trainable CNN for joint detection and description of local features［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2019：8084-8093.

［24］Sun Jiaming，Shen Zehong，Wang Yuang，et al.LoFTR：detector-free local feature matching with transformers［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2021：8918-8927.

［25］Ding Xiaohan，Zhang Xiangyu，Ma Ningning，et al.RepVGG：making VGG-style ConvNets great again［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2021：13728-13737.

［26］藍朝楨，盧萬杰，于君明，等.異源遙感影像特征匹配的深度學習算法［J］.測 繪 學 報，2021，50（2）：189-202.（Lan Chaozhen，Lu Wanjie，Yu Junming，et al.Deep learning algorithm for feature mat-ching of cross modality remote sensing images［J］.Acta Geodaetica et Cartographica Sinica，2021，50（2）：189-202.）

［27］葉宏量.基于卷積神經網絡的遙感圖像匹配技術研究［D］.南京：南京理工大學，2020.（Ye Hongliang.Research on remote sensing image matching technology based on convolutional neural network［D］.Nanjing：Nanjing University of Science and Technology，2020.）

［28］Mishchuk A，Mishkin D，Radenovic F，et al.Working hard to know your neighbor’s margins：local descriptor learning loss［C］//Proc of the 31st International Conference on Neural Information Processing Systems.Red Hook，NY：Curran Associates Inc.，2017.

收稿日期：2022－06－20；修回日期：2022－08－13 基金項目：重慶市基礎科學與前沿技術研究專項重點項目（cstc2015jcyjBX0023）；桂林市科學技術研究開發項目（20190601）

作者簡介：韋春桃（1968－），女，教授，博士，主要研究方向為攝影測量與遙感（2427154435@qq.com）；李淵哲（1996－），男，碩士研究生，主要研究方向為遙感圖像處理.