用于水下機器人導航的序列海底圖像配準方法①

梁雅欣,李曉明

(太原科技大學 計算機科學與技術學院,太原 030024)

海底面積廣闊,蘊藏著人類賴以生存的豐富資源,但由于深海環境復雜,人類技術條件有限,迄今為止都未能窺探海底全貌.海水具有光線難以穿透的性質,從海面上無法準確的掌握海底情況.相比較于其他技術而言,視覺技術可以很直觀的獲取深海信息,已經成為深海研究的重要手段.單幅圖像視野小,為了更清晰的得到海底全景圖,需要拼接海底圖像.圖像配準是圖像拼接的第一步,也是最核心的一步.圖像配準的準確度直接影響圖像拼接的最后結果.

圖像配準的目的是將兩張具有重疊部分的鄰接圖像進行空間匹配對準.目前,國內外針對圖像配準的研究做了很多的工作.常見的配準方法可以分為兩大類:(1)基于灰度的圖像匹配[1–4]:這種方法直接利用圖像的灰度信息完成匹配運算,主要依賴于像素值,對噪聲比較敏感,容易受灰度,尺度和尺寸變化的影響.使用該類算法要求兩張圖像之間重疊面積大,幾何變形小.該類算法要求兩幅圖像重疊面積大,而機器人拍攝海底圖像重疊面積小,此類基于灰度的圖像配準在機器人自主拍攝的海底圖像中不具有可行性.(2)基于特征的圖像配準[5–11]:這種算法不直接依賴于像素值,需要在圖像中提取對縮放,旋轉,灰度變換具有不變性的特征.SIFT[12,13]、SURF[14,15]和DAISY[16]是檢測和描述在水外環境中捕獲的物體特征的著名技術.這些標準描述符已被證明對幾何變化最為穩健.這些算法對圖像的噪聲,旋轉,縮放和光照等變化不敏感.海底圖像不同于一般的地面圖像.由于光的衰減作用,越到海底深處,光照強度越低;深海懸浮物的散射以及人造光源的影響,造成海底圖像亮度不均勻,中間區域亮,兩邊區域暗,對比度低,質量退化.同時,機器人拍攝過程中,海底地面凹凸不平.相鄰兩張圖像拍攝角度會發生一定的偏差,圖像之間的幾何變形大,重疊面積不超過35%.基于特征的圖像配準,可以適當的減少縮放,旋轉,灰度等變換的影響.由于深海圖像質量下降,直接的使用傳統特征點配準算法提取到的特征點數量少,描述子辨別能力低;最后所得配準對應點錯誤率高,部分圖像甚至找不到正確的對應點.基于運動一致性的GMS[17]特征點配準算法以劃分網格的方式進行精匹配.對應點集中于一個區域,容易出現一個區域均為錯誤對應點的情況.2012年,Prabhakar 等[18]根據整個水下圖像序列場景塊的紋理參數和顏色不變性,提出了適用于水下環境的局部特征描述符LBP-SURF.LBPSURF 描述子,它可以有效地提取水下圖像的紋理特征.該算法主要是在SURF 的基礎上加入了LBP,使描述子具有灰度不變性.這種方法要求兩張圖像相似區域變化小.但機器人拍攝海底圖像,人造光源使兩張圖像相似區域變化明顯,不同圖像的相似區域特征點由LBP-SURF 計算的描述子差別大,特征點匹配錯誤率高.該方法不適用于機器人拍攝的海底圖像.2017年,Raut 等[19]針對水下圖像運用基于改進的SIFT 算法提取特征點,采用Gabor 濾波器作為前置濾波器,利用Hausdorff 距離計算關鍵點之間的距離.2010年,謝雨來等[20]就SURF 在深海圖像上的應用做了研究,用SURF算法獲取參考圖像和配準圖像的特征點.2014年,李超[21]發表了將SURF 算法運用到海底圖像.2016年,賀磊盈等[22]對有序列的深海圖像做了研究,提出了一種基于卡爾曼濾波跟蹤序列圖像的空間位置實施序列圖像的快速匹配方法.這些方法主要針對的是一般的深海圖像,對于本次實驗機器人拍攝的海底圖像中不具有可行性.

綜上所述,針對機器人拍攝的序列海底圖像,本文提出了先將海底圖像進行適當的預處理,改善圖像質量;根據機器人拍攝圖像的航行特點,在基于圖像信息的配準算法基礎上加入導航先驗信息.利用導航數據,縮小特征點配準區域,從而有效的增加圖像配準對應點.

1 水下機器人航行特點

海底圖像由水下機器人根據特定航線拍攝.機器人圖像如圖1所示,從圖中照相機的位置可知,機器人向下拍攝圖像.

圖1 機器人結構圖

每臺機器人配有傳感器和閃光燈,海底拍攝需要打開閃光燈,拍攝圖像的同時記錄拍攝位置的橫縱坐標.如圖2左上角第一張圖所示:方框表示機器人拍攝范圍.三角形代表機器人拍攝圖像所在位置.理想情況下的機器人拍攝航線嚴格按照水平方向和豎直方向,拍攝的圖像序列如右上角第二張圖所示(每一個長方形表示一張圖像):相鄰兩張圖像相似區域位于一條水平線上.實際情況中,海底地面凹凸不平,機器人拍攝航線會出現一定的偏差.如左下角第3 張圖所示:水平方向(橫向)會有一定的傾斜,豎直方向出現旋轉角度.實際所拍攝的圖像序列如右下角第4 張圖所示:鄰接圖像的相似區域并不嚴格處于水平線范圍內,豎直方向拍攝的圖像存在一定的旋轉角度.

圖2 機器人理想航線與實際航線

2 圖像預處理

由于光的衰減,水中懸浮顆粒散射和人造光源的影響,海底圖像具有對比度低,中間區域亮,兩邊區域暗的特點.因此,本文針對海底圖像質量差的問題,對原始圖像進行預處理.預處理步驟如下:

(1)光照補償:即從數據集中選取10 張低紋理圖像,灰度值化,對所選10 張圖像進行像素平均.公式為:

通過高斯濾波器獲得光照補償因子F(x,y);對海底圖像M(x,y)光 照補償得到圖像Z(x,y).光照補償公式如式(2)所示:

(2)對圖像灰度值范圍進行線性調整.原圖像Z(x,y)的灰度范圍是[m,M],調整后的圖G(x,y)的灰度范圍是[n,N],變換公式為:

3 基于先驗信息的帶狀區域計算

為減小描述子辨別能力低對圖像配準的影響,根據導航信息計算拍攝相鄰兩張圖像的物理偏移量,通過物理偏移量估算源圖像特征點對應目標圖像的匹配區域(即帶狀區域).如圖3所示,取源圖像方框內的特征點,經過相對應模型計算確定在目標圖像中的方框區域(即帶狀區域)內尋找最匹配的特征點.以帶狀區域配準[23]代替全局配準,提高了特征對應點數目和準確率.

圖3 匹配區域

3.1 水平航線帶狀區域計算模型

建立水平航線數學模型計算鄰接圖像配準區域.機器人左右移動拍攝圖像,由于海底凹凸不平,機器人左右(橫向)移動的同時伴隨則上下(縱向)移動.相鄰兩幅圖像對應點不嚴格處于一條水平線范圍內.利用導航數據得出拍相鄰兩幅圖像的左右物理偏移量與對應的像素偏移量,求得每兩個像素點代表的物理距離;根據導航信息的上下物理偏移量得出縱向像素點偏移量,計算特征對應點配準區域(即帶狀區域),在配準區域內進行特征對應點匹配.計算公式定義為:

其中,X表示計算得到的兩幅圖像之間左右物理位置偏移量,求得兩張圖像物理偏移量對應的像素值I,Y表示兩張圖像之間縱向物理位置偏移量,通過計算縱向像素偏移值,使用模板圖像特征點縱坐標yi加上與σ的誤差量,確定配準區域D,作為模板圖像特征點在待配準圖像的配準區域,縮小配準區域,增加對應點正確率.

3.2 旋轉航線帶狀區域計算模型

鄰接旋轉航線圖像的配準區域數學模型計算:機器人旋轉拍攝圖像,首先根據導航物理位置信息計算相鄰兩幅圖像旋轉角度.取機器人拍攝圖像的物理位置坐標為圖4中的A,B兩點(A,B兩點可以由圖中任意兩個相對位置取代).橫向坐標表示物理平行方向位置坐標,縱向坐標表示物理豎直方向位置坐標.將圖N旋轉角度b與圖M平行.然后計算圖N中特征點對應圖M中的帶狀區域.計算方法如下:

角度計算公式如式(2):

其中,x2?x1是A,B兩點的橫向坐標差值(即BC線段的長度),y2?y1是A,B兩點的縱向坐標差值(即AC的長度).利用式(2) 求出圖4中的角a(即公式中的θ).角a與角b的和為90 度,所以旋轉角度b=90?a,則可以得出 cos(b)=cos(90?a)=sin(a).帶狀區域計算公式如式(3)所示:

圖4 鄰接旋轉航線拍攝圖像

其中,D表示兩張鄰接旋轉圖像相似區域像素偏移量(即帶狀配準區域).X表示計算得到的兩幅圖像之間橫向物理位置偏移量,求得兩張圖像物理偏移量對應的像素值I.Y表示拍攝兩幅圖像機器人的縱向位置偏移量.求出兩幅圖像平行時的位置偏移量.通過得到模板圖像特征點對應于待配準圖像的偏移像素量,特征點縱坐標yi加上與σ 的誤差量得出配準區域,縮小配準區域,有效的提高特征對應點的正確率.

4 實驗過程

4.1 實驗總流程圖

本文實驗總流程如圖5所示.實驗中采用了具有重復紋理和低紋理的海底圖像.分別由平移航線和旋轉航線所拍攝.先將所選圖像采用2 的方法進行預處理,以緩解海底圖像對比度低,光照不均勻的情況.SIFT是圖像的局部特征提取算法,其對旋轉、尺度縮放、亮度變化保持不變性,對視角變化、仿射變換、噪聲也保持一定程度的穩定性.對存在旋轉,縮放,尺度變化的海底圖像具有很高的適用性.采用基于SIFT 算法提取特征點,在KNN (K=1)算法的基礎上加入先驗信息進行特征點匹配,最后通過RANSAC和最小二乘法篩選內點.得到特征對應點正確率高的圖像配準.

圖5 總實驗步驟流程圖

4.2 實驗數據

本文實驗數據由水下機器人拍攝于2019年4月中國南海5000 米以下的深海海域.拍攝范圍約300×300 平方米,機器人航線分為東西走向,邊緣航線需要經過旋轉拍攝.相鄰兩張圖像的橫向物理位移大致為2 米,縱向偏移量不等,每張圖像覆蓋面積2×2 米,拍攝內容存在重復紋理和低紋理的問題.

圖6所示機器人實際拍攝海底圖像的航線,根據機器人記錄的坐標信息所繪制,圖中數字表示由左行駛到右一次的拍攝.

圖6 機器人拍攝航線

表1是機器人從左到右水平方向行駛拍攝所記錄的橫向和縱向坐標信息.表2是機器人旋轉(轉換行駛方向)行駛拍攝所記錄的橫向和縱向坐標信息.

表1 水平導航數據

表2 旋轉導航數據

4.3 圖像預處理

深海圖像本文方法預處理對比如圖7所示:預處理之前如圖7(a)所示,可以明顯的看出圖像光照不均勻,中間區域偏亮,兩邊區域偏暗,暗處圖像對比度低.經過調整光照,增強等預處理后如圖7(b)所示:圖像特征明顯,減少了圖像明暗不一的情況.

圖7 海底圖像預處理

4.4 加入先驗信息具體實驗步驟

(1)實驗基于SIFT 算法對圖像進行特征點提取.

(2)計算帶狀配準區域D.

① 平移航線圖像的帶狀區域計算:利用表1相鄰兩行橫向坐標計算機器人水平方向移動距離X;論文中所選圖像像素為640×480,拍攝鄰接圖像橫向物理距離對應的圖像像素為一張圖像的像素大小減去鄰接圖像相似區域的像素值;本次實驗數據相鄰圖像之間的相似區域不超過35%,甚至更小,所以大致的估算像素偏移量為圖像的寬,即I=480.相鄰兩行縱向坐標的差Y;經過觀察及實驗得出,機器人縱向差值小于1 米,偏差角度小于10 度,σ取值100 即不會使配準區域過大,也不會小于重疊面積.即:

② 旋轉航線的帶狀區域計算:根據表2相鄰兩行橫向坐標的差值x2?x1與縱向坐標的差值y2?y1通過θ=arctan計算旋轉角度θ;計算相鄰兩張旋轉圖像之間的像素偏移量,yi為特征點縱坐標,通過觀察及實驗得出,機器人旋轉角度小于20 度,σ 取60.即:

(3)取圖像A 中的某個關鍵點,在圖像B 的帶狀區域(由第(2)步求出)尋找最合適的特征對應點,采用最近鄰(KNN,K=1)匹配特征點,進行初始匹配.遍歷A中的所有關鍵點,在對應帶狀區域找出所有匹配點.

(4)本次實驗數據中80%的圖像之間的變換僅包含簡單的平移和旋轉,部分存在縮放,所以選擇相似變換模型,RANSAC和最小二乘法求取變換關系(閾值設置為4.5),篩選初始匹配對應點,保留內點.

5 實驗結果和分析

實驗分為兩大類:(1)預處理前后初始匹配實驗結果對比.(2)預處理的情況下未加入帶狀區域的特征點配準和加入帶狀區域的配準實驗對比.這兩類都可以通過比較正確匹配點個數判斷方法的有效性.其中,第(2)類實驗又分為平移航線和旋轉航線兩種不同的情況.平移航線選取存在重復紋理問題的圖像,旋轉航線選取存在低紋理問題的圖像.

5.1 第1 類實驗結果對比

預處理實驗共選取500 張深海海底圖像,經計算,其中80%的圖像配準點個數提高了25%.圖8為部分實驗圖.

圖8 預處理前后對比

如圖8,表3所示為第1 類實驗結果.經過本文方法預處理后的圖像在亮度,對比度方面改善明顯.從實驗結果可以分析得出,由于預處理前的圖像對比度低,圖像模糊,光照不均勻,中間區域亮,兩邊區域較暗;提取到的初始匹配特征點數量少,且正確的匹配對應點少,無法滿足求取變換矩陣的最低對應點數目.預處理后的圖像光照均勻,有效的改善了圖像亮度,對比度增強,提取到較多的特征點,初始匹配對應點得到了增加,可以求得較精確的變換矩陣.

表3 預處理前后圖像配準結果比較

5.2 第2 類實驗結果對比

加入帶狀信息的實驗選取500 張深海海底圖像.整體圖像配準點正確率提高了20%.圖9,圖10所示為本部分實驗效果圖.

圖9 水平航線加入先驗信息前后實驗對比

圖10 旋轉航線加入先驗信息前后實驗對比

如圖9,表4所示為第2 類情況中的平移航線未加入導航信息與加入導航信息的實驗對比.圖10,表5所示為第2 類情況中的旋轉航線未加入導航信息與加入導航信息的實驗對比.由實驗結果可以分析得出,相鄰兩張圖像重疊區域不足圖像的35%,且圖像存在嚴重的重復紋理和低紋理問題,導致描述子辨別能力降低.經過RANSAC和最小二乘化篩選內點之后僅得到不足5 對匹配對應點,所求出的變換矩陣精確度低.按照本文方法,加入先驗信息作為引導思想,縮小特征點匹配面積,減少其他區域描述子的干擾,從而有效的增加了匹配對應點的數目.

表4 水平航線圖像配準結果比較

表5 旋轉航線圖像配準結果比較

實驗結果表明,文中提出的基于先驗知識和圖像信息的方法,可以有效的解決描述子辨別能力降低的問題,提高特征對應點的數目和正確率.在重復紋理和低紋理的情況下,不同區域的特征描述子之間的相似度極高,在全局特征點配準干擾性大,更增加了配準的難度.采用本文方法,縮小配準區域,帶狀區域配準代替全局配準.減少了錯誤特征點的干擾,降低了誤匹配的概率,得到滿意的配準結果.在具有重復紋理和低紋理的海底圖像中得到的成功說明了該方法的可行性和有效性.

6 結束語

根據海底圖像拼接需要正確且數量多的特征對應點的要求,本文提出了海底圖像預處理方法,介紹了相應的步驟及效果;然后提出了一種針對機器人拍攝的海底序列圖像的圖像配準方法:基于先驗信息和圖像信息的圖像配準方法,并于僅基于圖像信息的海底圖像配準進行配準點數目及正確率的比較,在具有重復紋理和低紋理的海底圖像上進行實驗.實驗結果表明:經過預處理之后,海底圖像光照不均勻,對比度差的問題得到有效改善,為后續圖像配準做好準備.相對于基于圖像信息的序列海底圖像配準,本文方法有效的降低了匹配對應的誤配率,增加了對應點的數目,滿足了海底圖像拼接的后續要求,為水下視覺在海底探索中的應用提供了幫助.