基于迭代更新的SIFT遙感圖像配準算法

楊 毅，李大成，于 杰，韓啟金

(1.太原理工大學 光電工程學院，山西 太原 030024; 2.太原理工大學 礦業工程學院，山西 太原 030024; 3.中國資源衛星應用中心，北京 100094)

0 引言

圖像配準是通過一定的方法獲得基準圖像與待配準圖像之間的映射關系實現圖像的幾何校準，是諸多遙感應用(如圖像融合[1-2]和變化檢測[3-4]等)的關鍵前置環節，對系統性能有著舉足輕重的影響。圖像配準方法大致可以分為2大類：基于區域的配準方法和基于特征的配準方法。其中，基于區域的配準方法[5-8]一般采用模板匹配策略，利用圖像灰度信息尋找基準圖像和待配準圖像中的同名點實現圖像配準。這類方法存在計算量大，對圖像旋轉、縮放等仿射變換魯棒性較差的問題。基于特征的配準方法首先在基準圖像和待配準圖像上提取局部特征點，之后使用圖像局部特征描述方法對局部特征進行描述，接著根據一定的評價準則如歐拉距離尋找同名點，最后根據同名點計算基準圖像與待配準圖像之間的映射關系實現圖像配準。與基于區域的配準方法相比，這類方法的計算量更小，對圖像旋轉、縮放等仿射變換有更好的魯棒性。例如，Lowe[9]于1999年提出并于2004年完善的尺度不變特征變換(Scale-Invariant Feature Transform，SIFT)算法，該算法通過構建高斯差分金字塔提取多尺度圖像局部特征點，建立局部特征點支持區域的三維梯度直方圖完成對圖像局部特征的描述，使用歐拉距離作為準則尋找同名點。由于SIFT在提取圖像局部特征時考慮了多尺度問題，因此在自然圖像配準場景中(如圖像縮放、旋轉)表現出了良好的性能和魯棒性。之后出現了很多SIFT的變種[10-13]，如Mikolajczyk等[10]使用對數極坐標系替換SIFT算法中使用的笛卡爾坐標系，進一步提升了圖像局部特征描述方法的魯棒性。Bay等[11]使用積分圖像和箱式濾波器提高了算法的運行速度和配準精度。

由于SIFT算法在自然圖像配準中展示出優良的性能，開始被引入遙感圖像配準領域，衍生出多個適用于遙感圖像配準場景的變種[14-18]。如Dellinger等[15]為降低合成孔徑雷達(Synthetic Aperture Radar，SAR)圖像斑點噪聲的影響，在SIFT算法基礎上改變梯度計算方法提出了SAR-SIFT用于SAR圖像配準。Sedaghat等[16]于2011年在SIFT的基礎上提出了UR-SIFT算法，該算法通過改變SIFT提取特征點的策略，使特征點在圖像中的分布更加均勻，提高了遙感圖像配準的精度。

遙感圖像中全色圖像通常是覆蓋整個可見光波段(380～780 nm)的混合圖像，多光譜圖像是對多個單波段單獨成像，獲取相應波段的光譜信息。因此，全色圖像與多光譜圖像之間輻射差異并不是線性關系，造成相似的圖像局部特征點在不同波段圖像中占據比例和可重復性降低，使得圖像局部特征的誤匹配率上升，最終導致圖像配準質量和精度下降。通過SIFT算法進行全色圖像與多光譜圖像配準時，由于不同波段遙感圖像之間存在復雜輻射差異，使用SIFT算法進行圖像配準時無法保證配準質量。因此，本文提出一種基于迭代更新策略的SIFT算法變種，該算法通過遍歷基準圖像與待配準圖像之間的同名點對，迭代求解基準圖像與待配準圖像之間的映射關系(即單應性矩陣)，得到最優單應性矩陣，對待配準圖像進行重采樣完成圖像配準。

1 本文方法

基于特征的遙感圖像配準方法實施圖像配準的一般流程是：① 在基準圖像和待配準圖像上檢測并提取圖像局部特征；② 通過圖像局部特征描述方法對圖像局部特征進行描述，使用一定準則尋找同名點；③ 根據同名點計算得出基準圖像與待配準圖像之間的映射關系，對待配準圖像進行重采樣完成圖像配準。其中，通過基準圖像與待配準圖像間的同名點對計算單應性矩陣時，同名點對會直接影響單應性矩陣求解的質量，進而影響圖像配準精度。本文提出一種迭代更新策略的SIFT算法，該算法的核心是通過遍歷基準圖像與待配準圖像之間的同名點對，迭代求解單應性矩陣，得到最優單應性矩陣，根據單應性矩陣對待配準圖像進行重采樣完成圖像配準，算法流程如圖1所示。

圖1 本文算法流程Fig.1 Flowchart of the proposed method

2 單應性矩陣質量評價

根據基準圖像和待配準圖像之間同名點對計算獲得的單應性矩陣的質量直接影響圖像配準的精度和效果，本文采用同名點對的RMSE作為單應性矩陣質量評價指標。為計算同名點的RMSE，首先使用單應性矩陣H計算待配準圖像中的局部特征點xw和yw在基準圖像中的坐標xb′=H·xw和yb′=H·yw，接著根據式(1)和式(2)分別計算其與SIFT算法確定的同名點坐標在xb和yb方向的殘差Vx和Vy。之后根據式(3)和式(4)計算xb和yb方向的均方根誤差mx和my，其中n代表特征點的數量。最后根據式(5)計算得到同名點之間的RMSE(x,y)。同名點集中的每對同名點均通過以上步驟獲得其RMSE，RMSE值越小單應性矩陣質量越好。

(1)

(2)

(3)

(4)

(5)

3 實驗及結果分析

為驗證所提算法的有效性和魯棒性，在網通一號衛星和高分二號某地區的遙感影像數據上進行了圖像配準實驗。用于圖像配準實驗的網通遙感圖像如圖2所示。

圖2 網通衛星圖像Fig.2 Images of WT satellite

這一景圖像共有8個波段，其中波段0的影像為12 000 pixel×12 000 pixel的全色圖像，其余波段影像為3 000 pixel×3 000 pixel的多光譜圖像。

高分二號某地區遙感圖像如圖3所示，其中全色圖像尺寸為29 200 pixel×27 620 pixel，多光譜圖像尺寸為7 300 pixel×6 908 pixel，限于篇幅本文取全色圖像及其多光譜圖像的波段1～3用于圖像配準實驗。從圖2和圖3所示的遙感圖像可以看出，全色圖像和多光譜圖像之間不僅僅是分辨率不同，還存在復雜的輻射差異，造成不同波段的圖像存在明顯且非線性的灰度變化。

圖3 高分二號衛星圖像Fig.3 Images of GF-2 satellite

本文在Windows 10系統上基于QT64位開發平臺，結合GDAL(Geospatial Data Abstraction Library)和OpenCV開源庫搭建了遙感圖像配準實驗環境。由于遙感圖像的位深是16 bit，在進行圖像配準實驗前采用最大值最小值拉伸算法將遙感圖像位深轉換為8 bit以方便之后實驗。

首先驗證基于迭代更新策略的SIFT算法獲取基準圖像與待配準圖像之間最優映射關系的有效性。通過SIFT算法分別從基準圖像和待配準圖像提取1 000個特征點，接著使用歐拉距離作為評價準則，確定基準圖像和待配準圖像之間的同名點。由于SIFT算法完成粗匹配后可能會存在誤匹配點，在計算基準圖像與待配準圖像間的單應性矩陣前使用RANSAC算法對同名點進行初步提純。首先以網通衛星影像波段0作為基準圖像，其他波段1～7作為待配準圖像進行實驗。限于篇幅，僅呈現波段0與波段1、波段0與波段2、波段0與波段4、波段0與波段7的實驗結果，如圖4～圖7所示。

(a)整體實驗結果

(b)迭代次數10～74的結果圖4 波段0與波段1的RSME之和與迭代次數的實驗結果Fig.4 Experimental results of the sum of RMSE and number of iterations for bands 0 and 1

(a)整體實驗結果

(b)迭代次數10～216的結果圖5 波段0與波段2的RSME之和與迭代次數的實驗結果Fig.5 Experimental results of the sum of RMSE and number of iterations for the bands 0 and 2

(a)整體實驗結果

(b)迭代次數10～177的結果圖6 波段0與波段4的RSME之和與迭代次數的實驗結果Fig.6 Experimental results of the sum of RMSE and number of iterations for the bands 0 and 4

(a)整體實驗結果

(b)迭代次數10～141的結果圖7 波段0與波段7的RSME之和與迭代次數的實驗結果Fig.7 Experimental results of the sum of RMSE and number of iterations for bands 0 and 7

接著，本文以高分二號全色圖像作為基準圖像，多光譜波段1～3作為待配準圖像進行了圖像配準實驗，實驗結果如圖8～圖10所示。

(a)整體實驗結果

(b)迭代次數10～66的結果圖8 全色圖像與多光譜波段1的RSME之和與迭代次數的實驗結果Fig.8 Experimental results of the sum of RMSE and number of iterations for panchromatic image and multi-spectral band 1

(a)整體實驗結果

(b)迭代次數10～114的結果圖9 全色圖像與多光譜波段2的RSME之和與迭代次數的實驗結果Fig.9 Experimental results of the sum of RMSE and number of iterations for panchromatic image and multi-spectral band 2

(a)整體實驗結果

(b)迭代次數10～115的結果圖10 全色圖像與多光譜波段3的RSME之和與迭代次數的實驗結果Fig.10 Experimental results of the sum of RMSE and number of iterations for panchromatic image and multi-spectral band 3

從圖4～圖10可以看出，迭代策略剛開始階段RMSE之和會有非常明顯的下降，說明同名點對的數量對求取基準圖像與待配準圖像之間的映射關系有非常大的影響。換句話說，雖然基準圖像和待配準圖像間的單應性矩陣僅有8個自由變量，理論上4對同名點便可將8個自由變量全部求解出來，但此時獲得的單應性矩陣質量往往不太好。隨著迭代次數進一步增加，RMSE之和下降的速度明顯變緩，但總體仍是下降，說明單應性矩陣的質量在進一步提升，當遍歷完所有同名點對后便可獲得RMSE之和最小時基準圖像與待配準圖像之間的最優映射關系，即單應性矩陣。

獲得基準圖像與待配準圖像之間的最優單應性矩陣后，利用單應性矩陣對待配準圖像進行重采樣和插值運算，生成分辨率與基準圖像一致的配準圖像。本部分仍將網通衛星圖像的波段0作為基準圖像，波段1～7作為待配準圖像，通過之前部分獲得的基準圖像與待配準圖像間最優映射關系對波段1～7的圖像進行重采樣插值運算，生成與基準圖像波段0同樣尺寸的配準結果圖。限于篇幅，圖11～圖14分別展示波段0-1、波段0-2、波段0-4和波段0-7的圖像配準結果圖與基準圖像制成的棋盤圖。

圖11 波段0與波段1的圖像配準結果Fig.11 Image registration results of band 0 and band 1

圖12 波段0與波段2的圖像配準結果Fig.12 Image registration results of band 0 and band 2

圖13 波段0與波段4的圖像配準結果Fig.13 Image registration results of band 0 and band 4

圖14 波段0與波段7的圖像配準結果Fig.14 Image registration results of band 0 and band 7

同樣，本部分仍將之前高分二號的全色圖像作為基準圖像，使用得到的最優單應性矩陣對多光譜的波段1～波段3圖像進行重采樣和插值計算，生成與全色圖像尺寸一致的配準結果圖，配準結果棋盤圖如圖15～圖17所示。從配準結果棋盤圖可以看出，雖然待配準圖像與基準圖像之間的輻射差異不盡相同，但通過迭代更新策略的SIFT算法均能實現良好的圖像配準，進一步提升了SIFT算法在不同遙感圖像配準場景下的魯棒性。

圖15 全色圖像與多光譜波段1的圖像配準結果Fig.15 Image registration results of panchromatic image and multi-spectral band 1

綜上所述，實驗結果表明，基于迭代更新策略的SIFT算法不僅可以得到基準圖像與待配準圖像之間的最優映射關系，實現高精度的圖像配準，還進一步提升了SIFT算法應對不同遙感圖像配準場景的魯棒性。

4 結束語

本文提出一種基于迭代更新策略的SIFT算法用于遙感圖像配準，該算法通過迭代更新求解基準圖像與待配準圖像之間的映射關系，即求解單應性矩陣，最后得到RMSE之和最小的單應性矩陣即基準圖像與待配準圖像間的最優映射關系矩陣。實驗結果表明，基于迭代更新策略的SIFT算法不僅可以得到基準圖像與待配準圖像之間的最優映射關系矩陣，同時也進一步提升了SIFT算法在不同遙感圖像配準場景下的魯棒性。由于圖像特征點提取的均勻性也會對圖像配準的精度產生影響，以后將對本文算法進行改進和優化，提升特征點提取的均勻度，進一步提升圖像配準的精度。