基于深度學習特征提取的遙感影像配準

許東麗 胡忠正

基于深度學習特征提取的遙感影像配準

許東麗1胡忠正2

（1 中國地質大學（北京），北京 100083）（2 中國資源衛星應用中心，北京 100094）

傳統的影像配準算法，如尺度不變特征變換（SIFT）、加速穩健特征（SURF）等，對遙感衛星影像配準存在提取特征點少、錯誤匹配多等缺點。文章使用數據驅動的隨機特征選擇卷積神經網絡（RanSelCNN）方法，對Landsat-8衛星不同時相或同一時相具有重疊度的遙感影像進行配準，卷積層使用隨機特征選擇，增加特征提取的魯棒性；訓練時使用聯合損失函數，同時對特征探測器和特征描述符進行優化，減少特征的錯誤匹配。結果表明：基于隨機選擇的深度神經網絡的遙感影像配準能提取更多的特征點，有效降低錯誤匹配率。與傳統的人工設計特征相比，該算法能明顯提高衛星影像配準的精度。

數據驅動 深度神經網絡 隨機選擇 特征提取 影像配準 衛星遙感

0 引言

圖像配準技術近年來發展迅速，在軍事、遙感、醫學、計算機視覺等領域得到了廣泛應用。配準主要包括預處理、特征提取、特征匹配、變換參數求解4個步驟，其中最重要的兩步為特征提取和特征匹配。

遙感影像配準是遙感圖像處理的重要研究內容，也是圖像融合、目標變化檢測和識別、拼接等過程必不可少的步驟，準確的配準能為后續的影像處理提供良好的基礎。現有的配準方法主要是傳統的基于人工設計特征的方法，如尺度不變特征變換（Scale-invariant Feature Transform，SIFT）[1]、加速穩健特征（Speeded Up Robust Features，SURF）[2]等，在處理簡單的小區域普通圖像時，配準結果較好。然而，遙感影像獲取范圍較大，地物復雜多變且圖像內容難理解、目標特征不明顯，傳統的配準方法在遙感圖像中適用范圍較窄，無法預知不可控的遙感圖像變化，不能提取到具有判別性的特征。

近年來，深度學習技術不斷進步，數據處理能力不斷提升，其代表算法之一卷積神經網絡（Convolutional Neural Network，CNN）具有較強的特征提取能力，能準確、高效地提取高層語義特征，被廣泛應用于計算機視覺、醫學影像處理和遙感影像處理領域。因此本文將利用深度學習的方法對遙感影像進行配準，將卷積神經網絡用于影像配準過程中的特征提取和匹配，使用隨機選擇增加網絡特征提取的魯棒性；同時訓練探測器和特征描述符，增加配準精度。

1 基于人工特征的匹配算法

傳統的基于人工特征的圖像配準方法是目前各領域最為常用的方法，它不使用整張圖像的信息，而是提取特征，大大降低了計算量；另外，該方法具有旋轉、平移和尺度不變的特征，具有較好的魯棒性。基于特征的配準方法主要有SIFT，SURF，其中最常用的方法是SIFT算法。SIFT算法使用高斯差分空間（Difference-of-Gaussian，DOG）探測關鍵點，形成128維的特征描述符，通過計算這些特征描述符的歐式距離得到匹配的特征，最后利用隨機抽樣一致性（Random Sample Consensus，RANSAC）剔除錯誤匹配點。

SIFT算法的主要步驟為：

1）檢測尺度空間極值點，初步確定關鍵點的位置和所在尺度，尺度空間由一個變化尺度的高斯函數與原圖像卷積得到，

2）精確確定關鍵點的位置。將步驟1）初步確定的離散空間極值點進行插值，獲得關鍵點的精確位置；同時剔除低對比度的關鍵點和不穩定的邊緣響應點。

3）分配關鍵點方向。

4）生成關鍵點描述子，即128維特征描述向量。

5）采用關鍵點特征向量的歐式距離作為兩幅圖像中關鍵點的相似性判定準則，找到SIFT匹配點。

基于特征的配準算法在計算量和魯棒性方面表現較好，但同樣存在一些問題：1）依賴人工設計的特征，費時費力，且需要強大的專業知識；2）SIFT特征是一些細小的、低水平的特征，不具有豐富的語義信息；3）特征提取和特征匹配之間沒有信息的反饋，使得特征提取算子不能根據待配準的圖像進行自適應的調節。

針對以上三個問題，本文提出了基于深度學習的影像配準方法，與傳統的SIFT方法類似，同樣分為特征提取和特征匹配兩步，不同的是本文的特征提取和特征匹配均利用深度神經網絡完成。

2 基于深度學習的影像配準

2.1 卷積神經網絡

深度學習網絡中，卷積神經網絡CNN在特征提取方面表現優異，與全連接網絡相比，卷積神經網絡實現了權值共享，加上不斷增大的感受野使其更適于圖像處理。卷積神經網絡特征提取過程主要包括卷積、非線性激活、池化、全連接。具體結構如圖1所示。

圖1 卷積網絡結構示意

卷積層利用多個固定大小的權重窗口（即卷積核），對影像像素進行內積運算，其輸出是提取的特征之一，卷積運算表示為

(l)=*(l)+(l)（2）

圖2 三種典型的激活函數

非線性激活層利用激活函數將卷積運算得到的數據進行非線性激活，激活函數主要有sigmoid，tanh，ReLU等（見圖2）。本文使用ReLU，其作用是使網絡在層數加深的同時，增加其特征提取能力。激活過程可表示為

池化層通過下采樣方式，對非線性激活后的特征圖進行壓縮，一方面使特征圖變小，簡化網絡計算復雜度；一方面進行特征壓縮，提取主要特征。下采樣過程利用特征層與下采樣窗口做Kronecker乘積實現，即

全連接層主要對網絡提取的特征進行整合，并輸入分類器進行分類，實現過程為

2.2 基于隨機選擇的卷積神經網絡特征提取

2.2.1 卷積神經網絡特征提取

卷積神經網絡具有特征提取能力，該過程主要靠對圖像進行卷積運算（見式（2））和非線性激活（見式（3））實現，經過淺層的卷積運算和函數激活，可突出影像的特征（見圖3），如角點、邊界、紋理、顏色等，這些特征和人工提取的特征類似，是一些基本的具有可視化的低維特征；隨著網絡層數的加深，網絡的感受野不斷增大，許多低維的局部特征組合成高維的全局特征。與低維特征相比，高維特征代表了影像更細節、更具有差異性的特征。

圖3 卷積計算與激活示意

通過卷積、激活、池化過程的不斷疊加，使得卷積神經網絡能提取出衛星影像的特征，作為特征匹配的候選點。本文使用ZHUOQIAN YANG[3]等人提出的簡化VGG16網絡，網絡結構如圖4所示。

圖4 簡化的特征提取網絡結構

在淺層（如1，2層）時，網絡提取的是相對均勻的低維特征，隨著網絡層數增加特征更加抽象，這些抽象特征就是由許多低維特征組成的高維特征。

在影像配準中，僅提取低維特征可使特征點數量增多，而且在影像相似的情況下，會增加特征匹配的難度，因為，這樣可能將許多特征相似的不同點匹配為同一點，導致錯誤匹配。這時需要增加網絡層數，提取更具代表性的高維特征，但是僅僅增加網絡層數會導致最終提取的特征點數量驟減，降低配準精度。因此，本文提出使用隨機選擇隱藏特征的神經網絡RanSelCNN，實現網絡在提取低維和高維特征上的平衡，有效解決特征點量和質之間的平衡。

2.2.2 基于隨機選擇的特征提取

隨機選擇卷積神經網絡最早用于弱監督語義分割[4]，本文第一次將它運用于衛星影像配準。其基本操作是：在卷積特征層隨機選擇隱藏單元傳入下一層網絡，結合式（3），該過程可表示為

式中 表示隨機選擇隱藏單元；為經過隨機選擇的特征非線性激活值。

隨機特征選擇與深度學習中的空洞卷積[5]和Dropout[6]方法相似，但不相同。空洞卷積通過不同的擴張率形成不同感受野的卷積核，對影像進行卷積操作，但每次擴張率是固定的，并且不同的擴張率需要單獨訓練，而本文提出的隨機選擇不需要單獨訓練。Dropout方法在特征層傳入下一層之前，以一定的概率將特征層的元素置零，被置零的元素將無法參與后續的卷積以及后向傳播計算，而本文的隨機選擇不會將元素置零，只在特定層選擇將要傳入下一層的元素，沒被選擇的特征元素在下一層仍有被選擇的機會。

運用特征隨機選擇，可以將影像具有識別性和非識別性的特征進行整合，得到低維和高維特征的結合，在影像配準中表現為：保證特征點數量的同時，提高特征點的準確度，降低后續的匹配難度。

2.3 基于卷積神經網絡的特征匹配

2.3.1 匹配網絡結構

較早的基于深度學習的影像配準網絡如MatchNet[7]等，在特征提取后建立單獨的度量網絡來衡量特征的相似度，使得網絡能夠學習到具有高穩定性的特征表達，但這降低了網絡的多樣性，同時增加了網絡復雜度。因此，本文使用與L2-Net[8]相似的網絡結構（如圖6所示）學習特征表達，與MatchNet網絡相比，減少了度量網絡結構，使網絡可以在不使用單獨度量網絡的情況下，學習高性能特征。

圖6 特征匹配網絡結構

本文特征匹配網絡通過輸入32像素×32像素大小的特征影像，最終得到128維的特征向量，與MatchNet相比，沒有在特征提取網絡與特征匹配網絡中間使用相似性度量網絡，降低了網絡的復雜度。

2.3.2 損失函數

在影像配準中，特征提取的結果直接影響特征匹配的精度，這種影響是正向不可逆的。并且許多深度學習影像配準網絡將特征提取和特征匹配分為兩部分進行訓練，使用不同的損失函數分開優化，使得兩者之間沒有信息的反饋，影響匹配結果。本文使用聯合損失函數將特征提取和特征匹配網絡結合起來，使特征匹配的結果反饋到特征提取網絡，參與優化，增加特征提取的魯棒性，這部分損失稱為特征提取損失。對于匹配網絡，為了提高匹配速度，運用RF-Net[9]提出的基于鄰域掩模的匹配損失。

（1）特征提取損失函數

（2）特征匹配損失函數

（10）

式中表示圖片對中心點的歐式距離；為歐氏距離閾值。式（11）-（13）表示：當尋找非正確匹配圖片對時，將特征向量差異性度量值和特征點之間的歐式距離均不大于閾值的圖片對進行掩模。

2.4 基于RanSelCNN的影像配準

圖7 本文基于深度學習的影像配準網絡整體結構

3 試驗驗證

本文試驗分為兩部分：配準網絡訓練、配準結果預測。網絡訓練主要分兩步進行：1）使用UBC數據集進行提取網絡預訓練；2）使用Landsat-8衛星數據集進行網絡微調，最終得到訓練好的配準網絡。結果預測使用訓練好的配準網絡對影像進行特征提取和特征匹配，統計提取特征點數量以及匹配準確度，同時將結果分別與傳統的特征匹配算法BRISK、SURF、FAST以及基于深度學習的非隨機選擇CNN做對比，得出試驗結論。

圖8 UBC數據集示意

3.1 試驗數據集

預訓練數據集：本文使用UBC數據集對特征提取網絡進行預訓練。UBC數據集是MatchNet[7]網絡的訓練集，由Winder等人制作，用于訓練特征提取器。如圖8所示，該數據具有150萬個帶有標簽的補丁（patch）數據[10]，使用DOG算子和Harris算子提取得到。UBC數據集有三個子數據集：Liberty、Notredame、Yosemite，分別有450×103，468×103，634×103組帶有標簽的patch數據。

網絡微調：本文的研究目的是對衛星影像進行配準，而UBC數據集是普通近景影像，因此通過制作衛星影像數據集對網絡進行微調訓練。衛星影像使用地面分辨率為30m的Landsat-8多光譜影像。衛星影像數據集通過傳統SIFT算法提取特征點，并以特征點為中心，截取32像素× 32像素的小圖片作為訓練集。與UBC數據集相同，分別制作正確匹配對和錯誤匹配對，作為網絡微調數據集。匹配對中包含了遙感影像配準任務需要解決的光線明暗變化、角度變化等問題。樣本圖像如圖9所示。

圖9 Landsat-8樣本

3.2 試驗結果

（1）基于RanSelCNN的特征提取結果

本文使用基于隨機選擇的RanSelCNN網絡對影像特征進行提取，將提取結果與傳統特征提取算法BRISK[11]、SURF[12]、FAST[13]以及非隨機選擇的提取網絡進行對比，試驗結果如圖10及表1所示。

圖10 五種方法特征提取結果

表1 五種方法提取特征點數量對比表

Tab.1 Comparison of the number of feature points extracted by five methods

結果表明，在特征點數量方面，基于卷積神經網絡的兩種方法優于傳統BRISK，SURF，FAST特征探測方法；隨機選擇的特征提取方法整合了低維和高維特征，特征點總體數量比非隨機選擇的方法少。

（2）特征匹配結果

使用本文提出的匹配方法與上述提取特征點較多的BRISK方法以及非隨機選擇的方法做對比，分別設計兩組試驗：①對同一時期具有重疊度的影像進行配準；②對同一地區不同時期（2018年5月23日和2019年1月18日）的Landsat-8影像進行配準。試驗結果如圖11~12及表2~3所示。

圖12 三種方法對同一地區不同時期的衛星影像配準

表2 三種方法配準精度統計（對同一時期具有重疊度的影像）

Tab.2 The registration accuracy of the three methods（images with overlapping areas at the same time）

表3 三種方法配準精度統計（對同一地區不同時期的影像）

Tab.3 The registration accuracy of the three methods（images of the same region at the different time）

由圖11和表2可得，傳統的BRISK方法匹配的特征點對最少，非隨機選擇的方法匹配的特征點對最多，但存在較多的錯誤匹配，降低了配準精度。而本文提出的基于隨機選擇的RanSelCNN方法表現較好，匹配的特征點對較多，且錯誤匹配少。

對圖2及表3分析可得，由于不同時期的影像在像元灰度值方面差異較大，導致傳統的BRISK方法無法對影像進行配準，基于深度學習的方法有效克服了時相不同造成的差異。但非隨機選擇的方法存在大量的錯誤匹配，效果不如本文的RanSelCNN方法。

從試驗結果可以看出，RanSelCNN方法對衛星影像進行配準時，能克服衛星影像存在的各類常見的差異和變化，提取較多的特征點，同時保證了特征點的位置準確度，提高了影像配準精度。

4 結束語

本文提出了基于數據驅動的深度學習方法對衛星影像進行配準，與現存的匹配算法相比，本文的算法在特征選擇、網絡結構和損失函數三個方面進行改進，主要表現為：1）使用隨機隱藏單元選擇的RanSelCNN對衛星影像進行特征提取，增加了特征提取的魯棒性；2）在網絡結構方面，去掉了深度學習配準方法常用的相似性度量網絡，降低網絡復雜度；3）在網絡訓練方面，使用聯合損失函數使特征匹配對特征提取進行信息反饋。

使用本文的方法對Landsat-8影像進行配準時，得到了較高的配準精度，表明基于深度學習的方法用于衛星影像處理是可行的。未來的影像配準研究，會由同源向多源發展，不同傳感器數據[14]以及不同分辨率數據的配準將是研究的難點和重點，屆時，基于深度學習的研究方法如生成對抗網絡（Generative Adversarial Networks，GAN）[15]等將發揮更大的作用。同時，在匹配時間方面，基于深度學習的方法可使用GPU并行計算，大大提高了配準效率。

[1] LOWE D G. Object Recognition from Local Scale-Invariant Features[C]//Proceedings of 7th IEEE International Conferences on Computer Vision. [S.l.]: IEEE, 1999: 1150-1157.

[2] 年華, 孫立, 于艷波. Harris-Laplace結合SURF的遙感圖像匹配拼接方法[J]. 航天返回與遙感, 2016, 37(6): 95-101. NIAN Hua, SUN Li, YU Yanbo. Remote Sensing Image Matching and Mosaic Based on Harris-Laplace Combined with Scale-Invariant Algorithm[J]. Spacecraft Recovery & Remote Sensing, 2016, 37(6): 95-101. (in Chinese)

[3] YANG Zhuoqian, DAN Tingting, YANG Yang. Multi-temporal Remote Sensing Image Registration Using Deep Convolutional Features[J]. IEEE Access, 2018, 2853100: 1-1.

[4] LEE J, KIM E, LEE S, et al. FickleNet: Weakly and Semi-supervised Semantic Image Segmentation Using Stochastic Inference[C]//2019 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 18-20, 2019, Long Beach, CA.

[5] WEI Yunchan, XIAO Huaxin, SHI Hinghui, et al. Revisiting Dilated Convolution: A Simple Approach for Weakly- and Semi- Supervised Semantic Segmentation[C]//2018 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 18-22, 2018, Salt Lake City.

[6] NITISH S, GEOFFREY H, ALEX K, et al. Dropout: A Simple Way to Prevent Neural Networks from Overfitting[J]. Journal of Machine Learning Research, 2014, 15(1): 1929-1958.

[7] HAN X F, LEUNG T, JIA Y Q, et al. MatchNet: Unifying Feature and Metric Learning for Patch-based Matching[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Boston, MA, USA: IEEE, 2015.

[8] TIAN Yurun, FAN Bin, WU Fuchao. L2-Net: Deep Learning of Discriminative Patch Descriptor in Euclidean Space[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), July 21-26, 2017, Hawaii.

[9] SHEN X L, WANG C, LI X, et al. RF-Net: An End-to-End Image Matching Network based on Receptive Field[C]// 2019 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 18-20, 2019, Long Beach, CA.

[10] BALNTAS V, LENC K, VEDALDI A, et al. Hpatches: A benchmark and Evaluation of Handcrafted and Learned Local Descriptors[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), July 21-26, 2017, Hawaii.

[11] LEUTENEGGER S, CHLI M, SIEGWART R Y. BRISK: Binary Robust Invariant Scalable Keypoints[C]// Proceedings of IEEE International Conference on Computer Vision. Barcelona, Spain: IEEE, 2011.

[12] BAY H, ESS A, TUYTELAARS T, et al. Speeded-Up Robust Features (SURF)[J]. Computer Vision & Image Understanding, 2008, 110(3): 346-359.

[13] LIU W Y, LI H, ZHU G X. A Fast Algorithm for Corner Detection Using the Morphologic Skeleton[J]. Pattern Recognition Letters, 2001, 22(8): 891-900.

[14] 王忠武, 劉順喜, 戴建旺, 等. “高分二號”衛星多光譜與全色影像配準策略[J]. 航天返回與遙感, 2015, 36(4): 48-53. WANG Zhongwu, LIU Shunxi, DAI Jianwang , et al. Registration Strategy for GF-2 Satellite Multispectral and Panchromatic Images[J]. Spacecraft Recovery & Remote Sensing, 2015, 36(4): 48-53. (in Chinese)

[15] GOODFELLOW I. NIPS 2016 Tutorial: Generative Adversarial Networks[EB/OL]. [2019-09-07]. https://arxiv.org/pdf/1701. 00160v4. pdf.

[16] WANG S, QUAN D, LIANG X F, et al. A Deep Learning Framework for Remote Sensing Image Registration[J]. ISPRS Journal of Photogrammetry & Remote Sensing, 2018, 145: 148-164.

[17] MA W P, WEN Z, WU Y, et al. Remote Sensing Image Registration with Modified SIFT and Enhanced Feature Matching[J]. IEEE Geoscience and Remote Sensing Letters, 2016(99): 1-5.

[18] MERKLE N, AUER S, MULLER R, et al. Exploring the Potential of Conditional Adversarial Networks for Optical and SAR Image Matching[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2018, 11(6): 1-10.

[19] 馮筠, 延瑜瑜, 趙妍, 等. 基于學習不變特征變換的兵馬俑圖像分區匹配[J]. 光學精密工程, 2018, 26(7): 1774-1783. FENG Jun, YAN Yuyu, ZHAO Yan, et al. A Terracotta Image Partition Matching Method Based on Learned Invariant Feature Transform[J]. Optics and Precision Engineering, 2018, 26(7): 1774-1783. (in Chinese)

[20] 田上成, 張喬, 劉保成, 等. 基于傳感器幾何特性和圖像特征的影像配準方法[J]. 航天返回與遙感, 2013, 34(5): 85-89. TIAN Shangcheng, ZHANG Qiao, LIU Baocheng, et al. A Improved Matching Method for Image Based on Sensor Geometric Features and Image Features[J]. Spacecraft Recovery & Remote Sensing, 2013, 34(5): 85-89. (in Chinese)

Remote Sensing Image Registration Based on Deep Learning Feature Extraction

XU Dongli1HU Zhongzheng2

（1 China University of Geosciences, Beijing 100083, China）（2 China Centre for Resources Satellite Data and Application, Beijing 100094, China）

Traditional image registration algorithms such as SIFT and SURF are prone to shortcomings such as extracting fewer feature points and more mismatches when registering remote sensing satellite images. In this study, the data-driven random feature selection deep convolutional neural network (RanSelCNN) method is used to register images of Landsat-8 satellites that have overlapping regions in same or different phases. For the convolutional layer, random feature selection is adopted to increase the robustness of feature extraction. Using the joint objective function during training, the feature detector and feature descriptor are optimized at the same time to reduce the mis-matchings of features. The result shows that the registration based on deep neural network can extract more feature points and reduce false matching points. Compared with the traditional artificial design features, feature extraction in this study can significantly improve the accuracy of image registration.

data-driven; deep neural network; random selection; feature extraction; image registration; satellite remote sensing

TP751

A

1009-8518(2019)06-0107-12

10.3969/j.issn.1009-8518.2019.06.013

許東麗，女，1994年生，2017年獲中國地質大學（北京）測繪工程專業學士學位，現在中國地質大學（北京）攻讀測繪科學與技術專業碩士學位，研究方向為遙感信息處理與應用。E-mail：xudongli1217@163.com。

2019-09-07

許東麗, 胡忠正. 基于深度學習特征提取的遙感影像配準[J]. 航天返回與遙感, 2019, 40(6): 107-118.

XU Dongli HU Zhongzheng. Remote Sensing Image Registration Based on Deep Learning Feature Extraction[J]. Spacecraft Recovery & Remote Sensing, 2019, 40(6): 107-118. (in Chinese)

（編輯：夏淑密）