基于SURF算法的多波束和側掃聲納圖像配準與融合

侯　雪，周興華，唐秋華，王愛學

（1.山東科技大學，山東　青島　266590；2.國家海洋局第一海洋研究所，山東　青島　266061；3.武漢大學，湖北　武漢　430079）

?

基于SURF算法的多波束和側掃聲納圖像配準與融合

侯雪1，2，周興華2，唐秋華2，王愛學3

（1.山東科技大學，山東青島266590；2.國家海洋局第一海洋研究所，山東青島266061；3.武漢大學，湖北武漢430079）

摘要：利用SURF（Speeded-up Robust Features）算法對多波束和側掃聲吶圖像配準時，因為圖像分辨率差異大而導致配準困難，通過對低分辨率的圖像進行升采樣，使圖像配準達到了較好的效果；另外，對SURF算法中粗匹配的距離測度函數進行改進，提高了SURF算法的配準速度；然后利用RANSAC算法實現了多波束與側掃聲納圖像的精準配準；最后對配準后的圖像進行小波變換融合，利用信息熵和平均梯度對圖像融合效果進行了評價，并通過實例數據驗證了該算法的有效性。

關鍵詞：多波束圖像；側掃聲納圖像；高低分辨率匹配；融合；SURF算法；RANSAC算法；曼哈頓距離

多波束測深系統（Multi-beam Echo Sounder，MBES）不但能夠獲取高精度水深地形數據，同時能夠獲取海床地貌圖像信息，其圖像位置精度較高，但分辨率較低；側掃聲吶（Side Scan Sonar，SSS）主要采用拖拽方式獲取高分辨率地貌圖像，但位置精度較差。對二者的圖像進行融合，可對海底進行準確的定性、定量分析和全面解釋（趙建虎等，2008）。國內外學者在多波束圖像和側掃聲納圖像匹配和融合方面的研究相對較少。在國外，Bas等（1997）使用cham fer配準方法配準MBES合成影像和SSS影像，Daniel等（1998）利用成對的目標和陰影進行SSS圖像的匹配，但僅適用于同源的、未經斜距改正的聲納圖像。在國內，陽凡林等（2006）提出了基于等深線和輪廓線的同名特征點配準法，但需采用具有測深功能的新型SSS；郭軍（2013）將SURF（Speeded Up Robust Features）算法與RANSAC（Random Sample Consensus）算法結合，對多波束和側掃聲納區塊圖像進行配準和融合研究。趙建虎等（2013）利用SURF算法實現了多波束和側掃聲吶區塊圖像的配準和融合，但其對多波束和側掃聲吶圖像分辨率相差較大而會導致配準效果較差的問題并未涉及。

針對多波束和側掃聲吶圖像進行配準時，圖像分辨率相差較大，而導致的出現較多的誤匹配點（曾朝陽等，2014），甚至配準失敗的問題，本文采用雙線性插值對多波束圖像進行升采樣預處理，使兩幅圖像的分辨率基本保持一致，再對多波束圖像和側掃聲吶圖像進行匹配，減少了特征點的誤匹配率。

對傳統距離測度進行了改進，用曼哈頓距離來代替歐式距離，在保證了配準精度的情況下，提高了SURF算法的運行速度。

1圖像配準

基于SURF算法的圖像配準流程如圖1所示：

圖1　算法流程圖

1.1圖像預處理

由于多波束測深系統的換能器到海底的距離遠大于側掃聲吶的換能器到海底的距離，因此側掃聲吶圖像的分辨率明顯高于多波束圖像的分辨率。而SURF算法在圖像特征提取和配準時，僅考慮了特征點的局部信息，忽略了圖像的幾何結構，因而對分辨率相差較大的圖像進行配準時，會出現較多的誤匹配。通過實驗發現，當使多波束圖像和側掃聲吶圖像的分辨率接近時，配準效果將得到明顯的改善。因此，本文在圖像配準前，對多波束圖像進行預處理，通過插值方法對多波束圖像進行升采樣。常用的插值方法有最近鄰插值，雙線性插值和雙三次插值。其中最近鄰插值是最簡單的一種插值方法，計算效率高，但效果比較差；雙線性插值效率和效果均適中；而雙三次插值雖然效果精確，但耗時較長。本文選擇精度和速度適中的雙線性插值。假設p＇為待插值的非格網點，非格網點的灰度值可以用其周圍的四個點的灰度值線性內插得到，假設（0，0）、（1，0）、（0，1）、（1，1）是p＇的4個相鄰點，p＇的輸出值計算公式如式1：

具體插值過程如圖2所示：

圖2　雙線性插值

1.2特征點檢測

由于SURF圖像匹配算法最大的優點是在圖像旋轉、尺度變換、仿射變換和視角變換等條件下具有良好的不變性（Bayetal，2006），因此采用SURF算法進行聲納圖像特征點檢測。該算法由特征點檢測、特征點描述兩部分組成。首先將圖像轉化為積分圖像，依次用不同尺度的模板對積分圖像做卷積，把這些響應記錄下來，就得到了由對應不同尺度σ的響應圖，從而構成了3維尺度空間（x，y，σ）。在3維尺度空間中，在每個3×3×3的局部區域里，進行非最大值抑制，只有比臨近的26個點的響應值都大的點才被選為興趣點。至此，得到特征點的位置和尺度信息（x，y，σ）。后一階段為獲得定位的特征點分配方向，并使用特征矢量來描述特征點。

1.3圖像匹配

圖像匹配算法包括包括粗匹配和精匹配，其實質是估計待匹配點和目標匹配點之間的相似性程度。

（1）粗匹配算法是利用最近鄰比次近的方法獲取粗匹配點對。選取匹配興趣點的依據就是SURF算法為每個興趣點所構建的描述子向量。假設PA是圖像A中任意一個特征點，PB是圖像B中任意一個特征點，它們的描述子向量分別為DescrA、DescrB，DescrAi、DescrBi分別是它們第個分量，則PA和PB之間的距離定義為：

按照公式（2），把A圖中某點PA與B圖中的所有點之間的距離計算一遍。假設ND表示最近距離，NND表示次近距離，則最近鄰比次近鄰之比Rod=ND/NND。設定一個閾值threshold，該閾值一定是一個小于1的正數。根據試驗結果，threshold∈[0.6，0.8]是個比較理想的范圍。

本文對距離測度函數進行了研究，設向量X = （x1，x1…，xN）和Y =（y1，y1…，yN）的距離為d（X，Y）。歐氏距離公式為，計算復雜度為O（N2）；曼哈頓距離公式為計算復雜度為O（N log2N2）。通過比較發現，曼哈頓距離測度的復雜度小于歐式距離測度（張宇等，2009）。因此本文嘗試將粗匹配中的距離測度函數用曼哈頓距離代替，通過實驗證明，改進的匹配方法在保證了配準精度的前提下，提高了配準速度。

（2）精匹配求解高精度的變換參數必須具備的一個重要前提是沒有誤配，如果讓誤配點對參與變換參數的求解會嚴重的影響參數精度，即使只有一個錯誤匹配點對。因此，需要在粗配準的結果中剔除誤配準點對。本文采用基于仿射變換矩陣的RANSAC算法進行圖像精匹配。

利用RANSAC算法求得的變換矩陣精度與坐標系有關，當圖像存在噪聲時，估計結果的精度會受到較為嚴重的影響。對待配準圖像的坐標系進行歸一化可以顯著改善估計的精度（Hartley et al， 1992），采用了這種歸一化的坐標系，有效的改善了圖像噪聲的影響。

在剔除誤匹配后，根據最大匹配點對利用最小二乘準則來計算圖像的空間變換模型。本文分別采用仿射變換和二次多項式這兩種空間變換模型，來對比配準效果。二次多項式配準模型按式（4）將像素點（x，y）映射為像素點（u，v）：

式中，ai（i=0，1，…，5），bi（i=0，1，…，5）為變換參數。由式（4）可以看出，計算二次多項式模型需要的最小點對為6對；仿射變換模型按式（5）將像素點（x，y）映射為（x＇，y＇），由式（5）可以看出，計算仿射變換模型需要的最小點對為4對。

式中，a1，a2，tx，ty為變換參數。

2多波束和側掃聲納圖像融合

圖像配準后，在幾何位置上實現了對齊，此時，需要將兩幅圖像融合成一幅圖像。即是利用特定的算法，將兩幅圖像在同一位置的信息有機的融合在一起。新圖像能夠更加全面的反映地形地貌的信息，實現兩幅圖像信息的優勢互補，減少觀測目標存在歧義的可能性、降低誤差率和改善信息不完全的現象。

小波變換融合可以將圖像分解到不同的頻率域，在不同的頻率域運用不同的融合規則，得到合成圖像的多分辨率分析，從而在合成圖像中保留原圖像在不同頻率域的顯著特征。因此，本文采用小波變換融合方法進行圖像融合。

小波變換法圖像融合的具體步驟如下：

（1）分解：將每幅圖像在不同頻率和分辨率上進行分解，得到不同的小波系數，即建立源圖像的小波金字塔。

（2）融合：采用不同的融合算子和融合方案對各分解層上不同頻率的分量進行融合處理。

（3）逆變換：對融合后系數進行小波逆變換，所獲得的重構圖像即為融合圖像。

在進行實際的操作過程中，應當選取一個合理的分層取值。實驗結果表明，小波分解層數等于3 或4的時候，效果較好（趙小川，2011）。

3實驗與分析

本文進行兩組實驗，第一組實驗所用的圖像如圖3所示，兩幅圖像大小均為422×181，圖3（a）為某區域的多波束圖像，圖3（b）是對圖3（a）進行平移和旋轉得到，其中，x軸平移5個像素，y軸平移8個像素，順時針旋轉4°。分別利用SURF算法和本文改進的算法來對圖3（a）和圖3（b）進行配準實驗，對兩種配準算法的精度進行驗證。

圖3　多波束圖像

圖4（a）和圖4（b）分別為利用SURF算法和本文改進的算法對圖3（a）和圖3（b）進行配準的效果圖：

從圖中可以看出，兩種方法均可較好的實現兩幅圖像之間的配準。

表1是分別利用SURF算法和本文改進的算法求得的兩幅圖像之間的變換參數：

從表1中可以看出，兩種方法求得的變換參數與實際的變換參數差值均在亞像素范圍內，所以，本文用曼哈頓距離來代替歐式距離后，算法的配準精度保持亞像素級，不會發生精度下降。

第二組實驗所用圖像是從美國加利福尼亞大學海底測繪實驗室下載，該數據為2002年在美國西海岸的某海域測得。截取其中特征相對較明顯的，來自同一區域的區塊多波束圖像和側掃聲納圖像（圖5）。圖5（a）為多波束圖像，圖像像素為140×162；圖5（b）是對圖5（a）進行升采樣預處理得到的多波束圖像，圖像像素為180×208；圖5 （c）為側掃聲吶圖像，圖像像素為185×215，經過升采樣處理后的多波束圖像的分辨率與側掃聲吶圖像的分辨率基本保持一致。以位置信息較精確的多波束圖像作為參考圖像，以側掃聲納圖像作為待匹配圖像，對兩幅圖像進行配準。

圖4　配準效果圖

表1　不同配準方法對應的變換參數值

圖5　多波束聲納圖像和側掃聲納圖像

利用SURF算法檢測圖像的特征點，并利用最近鄰比次近鄰的方法進行特征點的粗匹配，配準結果如圖6。從圖6可以看出，原始的多波束圖像和側掃聲吶圖像的配準效果較差，存在著嚴重的誤匹配；對多波束圖像進行升采樣，使其尺度接近側掃聲吶圖像時，粗配準點對為18個，且誤配準點對較少，可見通過對低分辨率的圖像進行升采樣處理可以較好的實現高低分辨率圖像的配準。

圖6　粗匹配圖

本文對改進的粗配準算法和原始的粗配準算法進行了比較，完成配準的時間如表2所示。通過表2可以看出，采用曼哈頓距離作為相似性測度函數，可以提高配準算法的運行速度。

表2　基于不同距離測度函數的圖像配準時間

采用基于仿射變換約束模型的RANSAC算法剔除誤匹配點對，結果如圖7所示，精配準點對為13個。RANSAC算法能夠完全剔除誤匹配點對，并且能夠盡量多的保留正確匹配的點對。

圖7　精匹配圖

圖8（a）和圖8（b）是根據精確匹配點對，利用二次多項式變換模型和仿射變換模型，得到的側掃聲納配準圖；利用小波變換法對配準好的多波束圖像和側掃聲吶圖像進行融合，圖9（1）和9 （b）是得到的融合圖。從圖中可以看出，兩圖均實現了較好的配準；利用小波變換融合后效果較好。

圖8　側掃聲吶配準圖

利用平均梯度和信息熵來定量的評價圖像的質量。平均梯度反映的是圖像中微小細節反差和紋理變化的特征，表達圖像的清晰度，平均梯度越大，圖像越清晰；信息熵是圖像信息量的一個指標，信息熵越大，圖像包含的信息量也就越大。對原始圖像和融合圖像計算其平均梯度和信息熵。統計結果如表3所示。從表中可以看出，兩種方法融合后的圖像信息熵和平均梯度均優于MBES圖像和SSS圖像，表明融合后的圖像信息量和清晰度都得到了改善和提高。

圖9　融合圖像

4結語

本文通過對低分辨率的圖像進行升采樣改善了SURF算法在分辨率相差較大的多源圖像配準中效果不佳的問題，使SURF算法更加適用于多波束和側掃聲吶的配準。同時，文中利用曼哈度距離測度代替傳統的歐式距離測度，提高了圖像配準的速度；最后，通過實驗驗證了整個算法在海底聲圖配準中的有效性。

參考文獻

Bas T P,Mason D C,1997.Automatic registration of TOBIside-scan and muti-beam bathymetry images for improved data fusion.Marine GeophysicalResearches,19(2):163-176.

Bay H,Tuytelaars T,van Gool L,2006.SURF：Speeded Up Robusts Features.The 9th European Com ference on Canputer Vision.Craz,Austria.

Daniel S,Leannec F L,Roux C,et al,1998.side-scan sonar images matching.IEEE JournalofOceanic Engineering,23(3):245-259.

RIHartley,1992.Estimation of relative camera position for uncalibrated cameras.Proceedings of the second European Conference on Computer Vision,Santa Margherita Ligure,Italy,ECCV,34(4):579-587.

郭軍，2013.基于SURF的聲納圖像配準與融合方法研究.測繪與空間地理信息，36（3）：56-64.

陽凡林，吳自銀，獨知行，等，2006.多波束聲納和側掃聲納數字信息的配準與融合.武漢大學學報，8（31）：740-743.

曾朝陽，程相正，陳杭，等，2014.基于改進SURF算子的高低分辨率圖像配準方法.激光與紅外.

張宇，劉雨東，計釗，2009.向量相似性測度方法.聲學技術，28 （4）：532-536.

趙建虎，劉經南，2008.多波束測深及圖像數據處理.武漢大學出版社.

趙建虎，王愛學，郭軍，2013.多波束與側掃聲納圖像區塊信息融合方法研究.武漢大學學報，3（38）：287-290.

趙小川，2011.現代數字圖像處理技術提高及應用案例詳解.北京航空航天大學出版社.

（本文編輯：岳心陽）

Registration and fusion ofm ulti-beam echo sounder and side scan sonar im age based on the revised SURF m ethod

HOU Xue1,2,ZHOU Xing-hua2,TANG Qiu-hua2,W ANG Ai-xue3
（1.ShandongUniversityofScienceand Technology,Qingdao266590,China;2.The First InstituteofOceanography,SOA,Qingdao266061,China;3.W uhan University,W uhan430079,China）

Abstract：The problem in the image registrationwith high-low resolutions is solved by preprocessing themulti-beam echo sounder (MBES) image and side scan sonar (SSS) image.Through replacing the similaritymeasurement in Speeded-Up Robust Features algorithm,the algorithm speed of SURF is improved.Then the image is registered precisely by Random Sample Consensus algorithm.Finally,MBES image and SSS image which are registered are fused according to the wavelet transform method.By comparingand analyzing information entropy and averagegradientof fused imagesand original images,theaveragesof fused imagesare verified.Thesemethodsused in thispaperare proved by experiments.

Keywords：multi-beam echo sounder image;side scan sonar image;high-low resolution image registration;fusion; Speeded-up RobustFeaturesalgorithm;Random Sample Consensusalgorithm;Manhattan distance

作者簡介：侯雪（1989-），女，碩士研究生，主要從事海洋測繪與多波束應用研究，電子郵箱：houxujiayou@126.com。

基金項目：中央高?；究蒲袠I務費項目（GY02-2011T05）；山東省自然科學基金（ZR2009FM005）；國家國際科技合作專項（2014DFA21710）；國土資源部海洋油氣資源與環境地質重點實驗室項目（MRE201107）；國家自然科學基金（49706038）。

收稿日期：2015-03-04；

修訂日期：2015-05-18

Doi：10.11840/j.issn.1001-6392.2016.01.006

中圖分類號：P229.2

文獻標識碼：A

文章編號：1001-6932（2016）01-0038-08