基于改進ORB 算法的遙感圖像自動配準方法

張云生，鄒崢嶸

(中南大學地球科學與信息物理學院，長沙 410083)

0 引言

遙感圖像配準是實現圖像融合、變化檢測、圖像糾正和圖像鑲嵌等應用的一個關鍵步驟。遙感圖像自動配準方法大致可以分為2 類:①基于區域的整體配準方法。如基于相關系數、互信息或者相位相關的方法［1－2］，這類方法耗時較長;②基于特征的配準方法。近年來，隨著計算機視覺領域中尺度不變特征變換(scale－invariant feature transform，SIFT)和加速魯棒性特征(speeded up robust features，SURF)等具有尺度和旋轉不變性算子的興起，這2種算法在遙感圖像配準中的應用引起了眾多學者的關注，并取得了較好的效果［3－5］。但SIFT 和SURF算法要求建立高維描述符，需要大量的內存空間和較長的運行時間。Calonder 等［6］提出了一種基于二進制的魯棒性獨立基本特征(binary robust independent elementary features，BRIEF)描述符，大大縮短了建立描述符的時間，同時減少了對存儲空間的需求，而且對光照變化具有較強的魯棒性;但是其特征點檢測不具備尺度和旋轉不變性。在此基礎上，Rublee 等［7］提出了定向二進制簡單描述符(oriented brief，ORB)算法，在圖像金字塔上利用加速分割測試特征(features from accelerated segment test，FAST)算子提取角點特征，使得特征點具有一定程度的尺度不變性;然后計算出角點的主方向，建立BRIEF描述符，使得描述符具有旋轉不變性。ORB 算法提高了運算的適應性，在標準數據集中取得了可與SURF 算法和SIFT 算法相媲美的效果，但運算速度比SURF 算法快了1個數量級、比SIFT 算法快了2個數量級［8］。李慧等［9］提出利用FAST 算法檢測角點、利用SURF 算法匹配獲取控制點，但處理效率依然受到SURF 算法的影響。針對上述情況，本文提出利用結合隨機采樣一致性(random sample consensus，RANSAC)方法［10］的改進ORB 算法為遙感圖像配準提供控制點，實現遙感圖像自動配準。

1 配準方法

1.1 配準流程

配準是尋找一個從待配準圖像到參考圖像的變換參數，并將待配準圖像糾正到參考圖像坐標系的過程。本文提出的基于改進ORB 算法的遙感圖像自動配準流程如圖1 所示。

圖1 基于改進ORB 算法的遙感圖像自動配準流程Fig.1 Flow chart for automatic registration of remote sensing images based on improved ORB algorithm

上述配準流程主要由如下3個步驟組成:

1)初始控制點匹配。在參考圖像和待配準圖像上分別提取特征點并建立二進制描述符，然后利用局部敏感散列(locality sensitive hashing，LSH)算法匹配這些二進制描述符［11］。

2)控制點優化。利用RANSAC 算法，結合單應性矩陣估計，剔除可能的錯誤匹配。

3)圖像糾正。利用最小二乘法估計單應性矩陣，并對待配準圖像進行重采樣。

1.2 初始控制點匹配

1.2.1 特征點提取

ORB 算法采用FAST 算子檢測角點，但原始FAST 算子在邊緣上也會提取到大量特征點，因此ORB 算法計算了FAST 所提取局部特征點的Harris興趣值(即角點響應值)，并按興趣值大小進行排序;然后根據特征點數目的需求，保留興趣值較大的N個點。FAST 算子雖然具有一定程度上的尺度不變性，但由于沒有提供特征點所對應的尺度，因此在后續處理中難以建立具有尺度不變性的描述符。ORB 算法為了減輕尺度的影響，通過在多層金字塔圖像中提取特征點來獲取尺度信息，以用于建立后續處理中的描述符;但在利用Harris 興趣值大小排列特征點時，分布情況易受到圖像紋理的影響——在圖像紋理豐富區域容易提取到大量特征點，反之則提取到的特征點較少。當特征點分布不均勻時，同名點容易被集中到圖像的局部區域，使用局部同名點對整景圖像進行配準時，整體精度會受到很大的影響。

針對ORB 提取特征點不均勻的問題，本文提出一種基于格網濾波的改進的ORB 特征點提取方法，即在利用FAST 算子提取特征點之后，再對每個特征點計算Harris 興趣值;在此基礎上，將整景圖像劃分為格網大小為n×n 的均勻格網，然后在每個格網中保留興趣值最大的特征點。

要建立穩定(reliable)和獨特(distinctive)的描述符，需要確定特征點的尺度和主方向;通過對主方向的旋轉，可使描述符具有旋轉不變性。SIFT 和SURF 算法采用了基于梯度直方圖的方法獲取特征點的主方向，但存在主方向不唯一的缺點;因此，ORB 算法采用亮度中心(intensity centroid)來計算特征點的主方向。通過比較，ORB 算法具有較好的適應性。

在獲取特征點尺度和主方向的基礎上，采用BRIEF 描述符的思想建立描述符，但同時顧及特征點的尺度和主方向。在特征探測的基礎上，對每個特征點建立由(0，1)組成的n 維二進制描述符;本文中取n=256，因此對于每個特征點會得到一個256 bit 的描述符。

1.2.2 特征點匹配

在建立二進制描述符之后，要進行特征匹配，通過比較描述符的相似性即可實現。對于2個二進制描述符的相似性，可以使用漢明距離(hamming distance)來表示。漢明距離(將一個字符串變換成另外一個字符串所需要替換的字符個數)的計算使用按位“異或”運算實現，即參與運算的2個值，如果它們的相應bit 相同，則結果為“0”，否則為“1”;然后統計“1”的個數，“1”的個數越少，表示2個二進制描述符越相似。對于256 bit 的2個二進制描述符，漢明距離取值在0～256 之間的，難以使用一個合適的閾值去確定正確的匹配。因此，本文以近鄰距離與次近鄰距離的比值T 來確定可能正確的匹配，只有當T ＜0.8 時，才認為最近鄰距離對應的特征點有可能為同名點。

當圖像存在有重復紋理或者遮擋問題時，特征匹配獲取的同名點可能存在錯誤匹配點。因此，本文在進行了一次從左到右的圖像匹配之后，再進行一次從右到左的匹配，只保留在2個方向上相一致的圖像匹配結果。

對于圖2(a)和(b)所示的一組衛星光學遙感圖像(大小均為512 像元×512 像元，編號分別為b040 和b042)，每景圖像都提取3 000個特征點，經過匹配之后，獲取789個同名點，匹配結果如圖2(c)所示。

圖2 初始控制點匹配結果Fig.2 Matching result of initial control points

從圖2 可以看出，大部分同名地物點都是匹配正確的，只有少量匹配錯誤的點。

1.3 控制點優化

透射變換是一種常用于表達圖像之間變換關系的模型。本文采用基于單應性矩陣(homography matrix，即用于圖像糾正和配準的線性變換矩陣)的透射變換表示圖像之間的關系，變換式為

式中:x，y 分別為待配準圖像的列、行坐標;x'，y'分別為參考圖像的列、行坐標;hi(i=1，2，…，9)為2景圖像之間的變換參數。

盡管在初始控制點匹配階段采用了雙向匹配，但依然會存在少量的錯誤匹配點，如果不加以剔除，將會對配準結果有較大的影響。因此，本文采用基于RANSAC 算法、結合單應性矩陣估計的方法予以剔除，保留誤差小于2個像元的控制點作為優化后的控制點。圖2(c)所示的789個初始控制點匹配結果，經過上述優化后，獲取392個控制點的匹配結果(圖3)。

圖3 優化控制點的匹配結果Fig.3 Matching result of optimized control points

1.4 圖像糾正

經過控制點優化之后，還存有大量的同名點，多于單應性矩陣計算所需要的4個同名點，因此采用最小二乘估計來計算單應性矩陣。最后，待配準圖像中的所有像元根據單應性矩陣變換參數糾正到參考圖像的坐標下。為了平衡糾正的精度和效率，本文在圖像糾正中采用雙線性插值對圖像進行重采樣。圖4 是采用根據圖3 所示控制點計算的單應性矩陣進行圖像糾正的結果。

圖4 圖像糾正結果Fig.4 Result of image rectification

2 試驗分析

為了驗證本文方法對不同類型遙感圖像配準的適應性，采用了2 組衛星光學遙感圖像(數據來源于http:// nayana.ece.ucsb.edu/ registration/)和1 組SAR 圖像進行配準試驗。

2.1 衛星光學遙感圖像配準

圖2(a)為圖像b040，大小為512 像元×512 像元，作為參考圖像;圖2(b)為圖像b042，大小也是512 像元×512 像元，作為待配準圖像。采用本文方法將待配準圖像配準到參考圖像上，配準結果如圖5 所示。

圖5 b040 與b042 圖像配準結果Fig.5 Registration result between b040 and b042

為了更直觀地顯示配準情況，將配準后的圖像與待配準圖像一起顯示，對2 景圖像相交部分利用馬賽克方式交錯顯示，并將圖5(a)中黑色方框內部分放大顯示(圖5(b))。從圖5(b)可以看出，配準后的影像邊緣能夠保持較好的連續性，表明2 景圖像得到了較好的配準。

用同樣方法，對另1 組Landsat TM 圖像進行了配準(圖6)。參考圖像(圖6(a))和待配準圖像(圖6(b))分別為Landsat TM 的2個波段圖像，通過本文方法配準后的結果如圖6(c)所示，對其中黑色方框內部分放大顯示結果如圖6(d)所示。由圖6(d)可以看出，2個波段的圖像得到了精確的配準。

圖6 TM 圖像配準結果Fig.6 Registration result between TM images

2.2 SAR 圖像配準

為了進一步驗證本文方法的有效性，還采用了如圖7(a)和(b)所示的2 景SAR 圖像進行配準試驗，配準結果如圖7(c)所示，圖7(c)中黑框內部分放大結果如圖7(d)所示。從圖7(d)可以看出，本文方法將2 景SAR 圖像自動配準到了一起。

圖7 SAR 圖像配準結果Fig.7 Registration result between SAR images

2.3 與SIFT 和SURF 的比較

為了比較不同算法的配準結果，使用SIFT［12］和SURF［13］算法對上述3 組試驗數據提取特征，并且利用Low［12］的比值方法進行控制點匹配，比值閾值設置為0.8。獲取控制點后，將控制點平分為2 組，一組用于計算單應性矩陣，另一組用于精度檢查。利用檢查點統計了最大殘差(Max)和均方根誤差(RMSE)，并對每種算法的控制點匹配數目和時間都進行了比較。比較結果如表1 所示，其中“配準時間”是使用筆記本電腦(配置為intel i3 CPU，2.40GHZ，2.00 G RAM，操作系統32－ bit Window 7)試驗的結果。

從表1 中3 種算法匹配結果的比較可以看出，本文方法比基于SURF 算法和SIFT 算法的配準方法效率高。對于光學遙感圖像而言，本文方法的配準精度略低于基于SIFT算法的配準精度，但基于SIFT 算法的配準效率最低;對于SAR 圖像而言，本文方法無論在配準效率上還是在配準精度上都優于基于SURF 和SIFT 算法的配準方法。

表1 配準結果比較Tab.1 Comparison of registration results

3 結論

本文提出了一種基于改進的定向二進制簡單描述符(ORB)算法的遙感圖像配準方法，并選取具有代表性的衛星光學遙感圖像對和SAR 圖像對進行了試驗。根據試驗結果可以得出以下結論:

1)本文方法可以提取足夠控制點實現遙感圖像自動配準，能夠獲取亞像元級的配準精度，與基于SIFT 算法和SURF 算法的配準精度相當或者更高。

2)本文方法在效率上比基于SIFT 算法和SURF算法的配準效率有大幅度的提高。

下一步的工作將研究如何進一步提高基于ORB 算法的圖像配準精度。

［1］Kern J P，Pattichis M S.Robust multispectral image registration using mutual－information models［J］.IEEE Transactions on Geoscience and Remote Sensing，2007，45(5):1494－1505.

［2］韋春桃，吳 平，張祖勛，等.一種改進的相位相關的影像配準方法［J］.測繪通報，2011(4):19－22.Wei C T，Wu P，Zhang Z X，et al.An image matching algorithm based on improved log－polar image transform［J］.Bulletin of Surveying and Mapping，2011(4):19－22.

［3］Liu X Z，Tian Z，Chai C Y，et al.Multiscale registration of remote sensing image using robust SIFT features in steerable－domain［J］.The Egyptian J Remote Sensing and Space Sci，2011，14(2):63－72.

［4］李曉明，鄭 鏈，胡占義.基于SIFT 特征的遙感影像自動配準［J］.遙感學報，2006，10(6):885－892.Li X M，Zhen L，Hu Z Y.SIFT based automatic registration of re-motely－sensed imagery［J］.Journal of Remote Sensing，2006，10(6):885－892.

［5］林曉帆，林立文，鄧 濤.基于SURF 描述子的遙感影像配準［J］.計算機工程，2010，36(12):216－218.Lin X F，Lin L W，Deng T.Remote sensing image registration based on SURF gescriptor［J］.Computer Engineering，2010，36(12):216－218.

［6］Calonder M，Lepetit V，Ozuysal M，et al.BRIEF:Computing a local binary descriptor very fast［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2012，34(6):1281－1298.

［7］Rublee E，Rabaud V，Konolige K，et al.ORB:An efficient alternative to SIFT or SURF［C］//2011 International Conference on Computer Vision，Barcelona，Spain，2011:2564－2571

［8］Rosten E，Drummond T.Machine learning for high－speed corner detection［C］//Lecture Notes in Computer Science，2006，3951:430－443.

［9］李 慧，藺啟忠，劉慶杰.基于FAST 和SURF 的遙感圖像自動配準方法［J］.國土資源遙感，2012，24(2):28－33.Li H，Lin Q Z，Liu Q J.An automatic registration method of remote sensing imagery based on FAST corner and SURF descriptor［J］.Remote Sensing for Land and Resources，2012，24(2):28－33.

［10］Fischer M A，Bolles R C.Random sample consensus:A paradigm for model fitting with applications to image analysis and automated cartography［J］.Communications of the ACM，1981，24(6):381－395.

［11］Marius M，Lowe D G.Fast approximate nearest neighbors with automatic algorithm configuration［C］//International Conference on Computer Vision Theory and Applications，Lisboa，Portugal，2009:331－340.

［12］Lowe D G.Distinctive image features from scale－ invariant keypoints［J］.International Journal of Computer Vision，2004，60(2):91－110.

［13］Bay H，Ess A，Tuytelaars T，et al.Speeded－ up robust features(SURF)［J］.Computer Vision and Image Understanding，2008，110(3):346－359.