基于單目相機與K均值聚類分割的船舶航行環(huán)境地圖深度構建

付洪宇， 史國友， 冉洋， 高邈， 劉姿含

(1. 大連海事大學 a. 航海學院； b. 遼寧省航海安全保障重點實驗室， 遼寧 大連 116026；2. 天津大學海洋科學與技術學院， 天津 300072)

0 引 言

基于船載設備的海上航行環(huán)境感知是構建海上空間信息的關鍵一步?？臻g信息系統(tǒng)通過感知設備對所處環(huán)境中動態(tài)、靜態(tài)物體深度、角度的獲取，實現(xiàn)對自身運動狀態(tài)和周圍環(huán)境的記錄。如果將智能化交通感知設備與人類的感官作類比，那么環(huán)境感知技術就是通過感知設備的“嗅覺”“視覺”“聽覺”實現(xiàn)對環(huán)境的“聞”“看”“聽”。

目前，視覺即時定位與地圖構建(simultaneous localization and mapping, SLAM)的研究主要集中于機器人和無人駕駛車輛等領域。KLEIN等[1]提出將視覺并行追蹤與制圖(parallel tracking and mapping，PTAM)分為前端和后端的算法(前端采用圖像特征跟蹤，后端以非線性優(yōu)化為基礎)，開啟了視覺SLAM的先河。MUR-ARTAL等[2]基于PTAM提出ORB-SLAM2算法，該算法能有效避免在運行中產生累積誤差，并能迅速找回丟失的跟蹤路標。LEUTENEGGER等[3]提出組合后端非線性優(yōu)化與提取關鍵幀的慣導SLAM算法，該算法首先提出后端采用滑動窗口進行位姿優(yōu)化。GRIFFXTH等[4]提出一種室外水面視覺SLAM算法，用來抵抗水面環(huán)境光照的不斷變化，并在實驗中采用無人船實驗平臺觀察法國梅斯湖岸環(huán)境在季節(jié)中的變化?？悼∶竦萚5]基于機器學習的環(huán)境特征分類方法，通過對城市環(huán)境障礙物進行分類來提高感知準確度。高云程[6]對水面機器人感知與避障系統(tǒng)的總體架構進行設計，以雙體船模為實驗平臺，完善了水面機器人的感知系統(tǒng)。張嘯塵等[7]基于YOLOv3算法采用雙目相機對目標進行識別跟蹤，實現(xiàn)了對水面目標的距離測量和位置估計。黃志堅等[8]結合YOLOv2特征提取層和YOLOv3的特征金字塔網(wǎng)絡，解決了船舶圖像與視頻檢測算法識別率低、實時性差的問題。鄒雄等[9]對船舶靠泊環(huán)境圖像特征進行了分析，提出基于水岸線的水域環(huán)境去除方法，實現(xiàn)了對船舶航跡的估計。

在感知設備方面，三維激光雷達[10]能夠較好地實現(xiàn)對環(huán)境的精確感知，但其價格昂貴、測量范圍較小，不適合檢測遠距離目標，難以在海上實現(xiàn)較好的感知效果。紅外熱像儀[11]的測量范圍廣，但獲取的圖像存在分辨率差、對比度低、信噪比低、畫面模糊等問題，無法滿足視覺層面感知需求。雙目相機[12]可獲取圖像深度，但其測量范圍窄、噪聲大、視野小、易受日光干擾，不適合在海面使用。傳統(tǒng)船用雷達[13]對船舶目標感知效果好，但是對環(huán)境的感知還原效果差。單目相機[14]結構簡單、成本低，便于標定和識別，更宜用于水面視覺感知。然而，單目相機感知會因水面光照反射、海上環(huán)境缺少參照物等原因存在失真、實時性不佳等問題。

本文提出基于單目相機與K均值聚類分割的船舶航行環(huán)境深度圖構建方法，首先對近岸航行環(huán)境圖像進行分割預處理，對處理后的水域部分聚類完善。改進視覺SLAM算法中特征點提取與匹配部分，解算船舶運動位姿變化并感知船舶航行環(huán)境。提出的方法可有效提升船舶定位精度，構建航行環(huán)境深度地圖，為船舶全面立體感知海上航行環(huán)境提供研究基礎，對保障船舶近岸航行安全及降低航行風險有重要意義。

1 模型設計與基礎原理

設計一種以單目相機作為視覺傳感設備的感知模型，見圖1。該模型將HSV(hue， saturation， value)顏色空間與K均值聚類算法組合對圖像進行預處理，對完成預處理的圖像依據(jù)本文設計的改進算法篩選特征點并完成匹配，求得相機運動過程中的變換矩陣，繪制船舶自身的運動軌跡以及點云和深度圖。圖1中，RANSAC(random sample consensus)算法指隨機抽樣一致算法。

1.1 圖像預處理

如果想在計算機系統(tǒng)中使用人眼所觀察到的色彩，需經(jīng)過特定的數(shù)學公式進行映射變換，映射變換所用的數(shù)學公式就是顏色空間。依據(jù)組合原理的不同，大致可以將顏色空間分為兩類：RGB(red、green、blue)顏色空間、亮度與色彩分開的HSV顏色空間[15]。本文采用HSV顏色空間來降低水面光照反射的影響。

圖1 基于單目相機的運動與環(huán)境感知模型設計

因為光照反射，HSV閾值分割預處理無法將圖像中水域部分完全清除，所以本文采用K均值聚類算法對分割后的圖像像素進行聚類，清除分割后殘留的水域。首先將被篩選出的像素點作為聚類樣本數(shù)據(jù)集，兩個像素點之間的相似程度用像素點之間的歐氏距離[16]表示，以每個像素點為中心，依據(jù)距離對所有像素點分組，得出每組像素點的數(shù)量；以此生成聚類數(shù)量和聚類中心，以子集中各像素點間歐氏距離的均值確定新的聚類中心，重新計算像素點與各聚類中心的距離，對樣本數(shù)據(jù)進行新一輪的聚類，直到新的聚類中心趨于穩(wěn)定。當準則函數(shù)值與上一輪迭代準則函數(shù)值的差值小于設定閾值時，迭代過程完成。

1.2 ORB算法

ORB算法由快速特征點提取(oriented FAST)和特征點描述(rotated BRIEF)兩部分組成。特征點的方向性和旋轉不變性兩種關鍵性質由灰度質心法判定。首先對圖像的像素點灰度進行預處理，將選取的特征點(中心像素點)灰度值設為1。當邊緣像素點灰度值低于中心像素點灰度值時，該像素點的灰度值被設為0。當邊緣像素點灰度值高于或近似等于中心像素點灰度值時，該點的灰度值被設為1。圓上如果有9個以上的點的灰度值連續(xù)等于1或0，則該中心像素點被判定為特征點。

1.3 視覺里程計與構建感知圖

視覺里程計是利用單個或多個相機的輸入信息估計物體運動信息的。在提取圖像特征點后，將特征點進行匹配，依據(jù)匹配的特征點解算出單目相機的運動變化矩陣，進而求得相機運動位姿變化。首先需要對相機進行標定獲取相機的內參矩陣和畸變系數(shù)并對圖像進行校正，以便獲得更加準確的圖像信息。對校正的圖像采用ORB算法提取特征點。按照圖像順序對特征點進行匹配。如果產生錯誤的匹配結果，需用RANSAC算法[17]對匹配結果進行篩選。

如圖2所示，O1、O2為相機光心，I1、I2為相機所拍攝的兩幀鄰近圖像的成像平面，特征點P與相機光心的連線與成像平面相交的兩點分別為p1、p2。p1和p2可分別視為點P在I1和I2平面上的投影。設點P的坐標為(XP,YP,ZP)，點p1和p2的坐標分別為(Xp1,Yp1,Zp1)和(Xp2,Yp2,Zp2)，可知兩點的位置分別為

(1)

式中：K為單目相機內參矩陣；R和T分別為相機運動的旋轉矩陣和平移矩陣。進一步解算可以得到p1與p2的關系：

(2)

式中：E為相機運動的本質矩陣；T∧為T的反對稱矩陣；T∧R為外積運算；(KT)-1EK-1為對本質矩陣的歸一化處理。依據(jù)p1、p2與本質矩陣之間的關系可以進一步求解相機運動的R和T，獲得E。根據(jù)已經(jīng)解得的E，恢復出相機運動的R和T。由E的奇異值可分解得出：

(3)

圖2 特征點匹配后成像平面示意圖

2 改進ORB算法

在ORB算法中，判定一個像素點是否為特征點，需對該像素點周邊16個像素點進行對比。這種判斷方法較為煩瑣，效率也較低。本文提出一種基于灰度延展性的像素對比方法進行改進。

2.1 考慮灰度延展性的ORB特征點判斷方法

傳統(tǒng)ORB算法判斷特征點的方法如圖3a所示。當有9個以上連續(xù)的點的灰度值同時比中心點的低或高時，該中心點被判定為特征點。參考像素點區(qū)域灰度延展的特性(如圖3b所示)，在16個點中，當每隔3個點選取1個點時，至少有3個點的灰度值與中心點的灰度值的差值的絕對值是大于設定閾值的。例如，當點5與點13灰度值都比中心點P的低，而點1與點9灰度值比點P的高時，可以判定點P是錯誤特征點，也就是噪點。

a)傳統(tǒng)算法

b)改進算法

將對比16個點縮減為對比4個點，雖然能夠提升計算效率，但是得到噪點的概率增加了。本文提出一種考慮灰度延展性的方法來減少噪點的產生。以中心點P為圓心分別作半徑為4像素和5像素的圓，得到除點A、B、C、D之外的E、F、G、H、W、X、Y、Z等8個像素點，見圖4。

當點P被判定為特征點時，點P與周邊的像素點的灰度值必然存在一定的差值，且周邊像素點的灰度值有著相對的延展性，當像素點A的灰度值小于中心點P的灰度值時，像素點E的灰度值應同樣低于中心點P的灰度值。依據(jù)這種灰度的延展性，如果點E的灰度值高于點P的灰度值，那么點P就是噪點。由此將對比次數(shù)由16次降為8次，計算效率有所提升，但是噪點的出現(xiàn)概率仍然比對比次數(shù)為16次的高。為進一步降低噪點的出現(xiàn)概率，提高檢測效率，延伸出點W、X、Y、Z，對這4個點同樣做延展的灰度值對比，見圖4。相對于只對比8個像素點，雖然計算效率有所下降，但是噪點的出現(xiàn)概率明顯降低。

a)改進算法

b)噪點情景

2.2 改進的RANSAC算法

采用K最近鄰算法[20]對特征點進行快速匹配，會產生大量誤匹配。基于歐氏距離對特征點進行粗匹配，誤匹配的數(shù)量同樣會影響感知結果，這就需要采用RANSAC算法對結果進行提純。RANSAC算法的總迭代次數(shù)是根據(jù)內點比例動態(tài)變化的，內點占比越高，參數(shù)估計就越快，迭代次數(shù)也就越少。

對RANSAC算法進行改進，在迭代結束前在樣本中重新添加新的特征點。添加新特征點的步驟如下：

(1)在視覺里程計估算變換矩陣的過程中，若迭代次數(shù)達到10次或者內點數(shù)量趨于穩(wěn)定，就可以判斷該變換矩陣T相對準確。從內點集合中隨機選擇兩對匹配點，從基準圖像中這兩點的延長線上隨機選取一點a。通過變換矩陣T計算出點a在待匹配圖像中的位置b。

(2)驗證新特征點。若位置b在待匹配圖像中兩點的延長線上，或者偏移足夠小，就把點a和點b作為新特征點，并放在內點集合中，否則就重新選擇特征點。

(3)在每次迭代過程中只添加3對特征點，添加太多會導致總迭代次數(shù)過多。重復步驟(1)和(2)，當內點數(shù)量穩(wěn)定或達到迭代次數(shù)時停止添加特征點。新的特征點是用內點作延長線得到的，而且保證每次都在重疊區(qū)域選擇點，通過驗證保證新特征點的準確性。通過這種方式提高內點占比，提高RANSAC算法的效率，減少迭代次數(shù)。

2.3 改進的關鍵幀選擇

隨著程序的運行，有些場景移出視線，能夠跟蹤成功的特征點的數(shù)量越來越少。當該數(shù)量下降超過閾值時，則需選擇一個新的關鍵幀。如果關鍵幀過于密集，則不僅會影響程序的運行速度，還會增加三角測量的不確定性。故在選擇關鍵幀時，既希望它們之間有盡可能多的相機運動，又需要它們之間有足夠高的匹配度。對關鍵幀的選擇方法進行修改，使其在更好地還原相機運動的基礎上完成足夠多的特征點匹配。

初始關鍵幀通常選用數(shù)據(jù)圖像的第一個關鍵幀K1，進行聚類分割去除水面區(qū)域，然后提取L0個特征點，采取持續(xù)跟蹤的方式選擇第二個關鍵幀K2，使得在K1與K2之間至少存在L1個匹配點，然后選擇第三個關鍵幀K3，使得在K1與K3之間至少有L2個匹配點。初始化過程在初始關鍵幀中實現(xiàn)，其步驟如下:

步驟1得到3個初始關鍵幀K1、K2、K3，在去除水面之后，K1與K2、K1與K3之間分別有L1、L2個對應特征點。

步驟2設定K1為全局坐標系，在改進的RANSAC算法框架下分別計算K1與K2之間和K1與K3之間的相對位姿。

步驟3基于本質矩陣E(K1與K3)，得到K3相對于全局坐標系的旋轉矩陣R和平移矩陣T。

步驟4使用K3的相機位姿和對應的特征點，先三角化得到三維點，再利用其與K2對應的特征得到K2的相機位姿。

步驟5在這3個關鍵幀中，通過場景點在圖像中的投影位置構建重投影誤差：

(4)

式中：Rk和Tk分別為第k幀圖像對應的相機旋轉矩陣和平移矩陣；Xj為其對應的三維場景點坐標；xk,j為第k幀圖像中的第j個特征點坐標。

初始化完成后，位姿估計算法的過程為：①對于每幀圖像，判斷其是否為關鍵幀，如果不是關鍵幀，則重新選取新的圖像進行關鍵幀判斷；②解算相機位姿的初值，三角化得到場景點，將該幀加入窗口；③在窗口中構建重投影誤差，采用步驟②中的初值進行優(yōu)化，并返回步驟①。

3 實驗部分

實驗分為水域分割實驗、改進ORB算法驗證、船舶航行環(huán)境感知實驗等3部分，實驗硬件條件為：單目相機采用工業(yè)相機(200萬像素，3.2 μm像素尺寸)，圖像獲取速度為30幀/s，分辨率為1 280×720。PC配置為Ubuntu操作系統(tǒng)，Intel Core i5-9300HCPU @ 2.40 GHz*4處理器。實驗數(shù)據(jù)為2020年南寧海事局執(zhí)法船使用單目相機拍攝的進港和靠泊視頻數(shù)據(jù)，GPS數(shù)據(jù)和IMU數(shù)據(jù)分別采用執(zhí)法船攜帶的GPS和慣性導航(簡稱慣導)系統(tǒng)記錄，相機位置均為近岸側船舷距船首三分之一船長處。實驗優(yōu)先選用近岸航行環(huán)境圖像數(shù)據(jù)。相比于大洋航行環(huán)境圖像數(shù)據(jù)，近岸航行環(huán)境圖像數(shù)據(jù)中的環(huán)境信息更豐富，更有助于驗證算法的可行性和優(yōu)越性。

3.1 水域分割實驗

選取兩組圖像：第一組圖像水域占比較小，岸上景物復雜，在水域清除時可能將景物與水域混淆；第二組圖像水域占比大，可能因倒影的存在而不能將水域部分完全清除。圖5為原始圖像的HSV分割與聚類過程。閾值設置如下：H為35～77，S為43～255，V為46～255。經(jīng)過閾值分割后水域仍有部分未被清除(圖5b中的未分割部分較為明顯)，經(jīng)過聚類完善后水域基本被清除。采用聚類后的圖像能夠為后續(xù)特征點提取以及位姿估計提供較好的條件。

a)訓練基地圖像

b)近岸航行環(huán)境圖像

為驗證經(jīng)過聚類分割后的圖像對提取特征點的改進效果，對分割前后的第一組圖像和第二組圖像，對比傳統(tǒng)ORB算法與尺度不變特征變換(scale-invariant feature transform，SIFT)算法的提取效果。把圖像邊緣5像素以內的點定義為邊緣點。由表1可以發(fā)現(xiàn)，分割后圖像特征點提取速度明顯加快且邊緣點比例有所下降。圖6為對分割前后的第二組圖像的特征點提取對比圖，分割前圖像中的水面倒影被提取了特征點，分割后的圖像則未發(fā)生這種情況。

表1 HSV分割效果對比

圖6 分割前后圖像的特征點提取效果

3.2 改進ORB算法驗證

采用兩組分割后的圖像，第一組環(huán)境復雜度較高且環(huán)境細節(jié)較多，第二組環(huán)境復雜度較低且環(huán)境細節(jié)較少。對比本文算法與SIFT、SURF(speeded-up robust features)、ORB等3種經(jīng)典算法提取特征點的耗時和邊緣點比例。其中，SIFT是一種基于尺度空間的，對圖像縮放、旋轉、仿射變換保持不變性的圖像局部特征描述算法，SURF是一種穩(wěn)健的局部特征點檢測和描述算法。對每組圖像各提取1 000、5 000個特征點。把圖像邊緣5像素以內的點定義為邊緣點，邊緣點大概率是噪點。提取特征點所消耗的時間與所提取特征點數(shù)量呈正相關關系。由表2可知，使用本文算法在提取5 000個特征點時，不僅速度比傳統(tǒng)ORB算法的快，而且邊緣點的數(shù)量大大減少了。

表2 不同算法特征點提取效果對比

采用關鍵幀算法選取關鍵幀，并對兩組圖像進行特征點提取展示，特征點提取數(shù)量L0和匹配數(shù)量L1、L2分別設置為1 000、750、720。滑動窗口中的窗口大小M和最新關鍵幀N分別取8和4。圖7為訓練基地圖像選取關鍵幀的水域清除和特征點提取效果。圖8為近岸航行環(huán)境圖像選取關鍵幀的水域清除和特征點提取效果。由圖7和8可知，選取的關鍵幀均保持著較好的水域清除和特征點提取效果。

a)關鍵幀1

b)關鍵幀2

c)關鍵幀3

d)關鍵幀4

a)關鍵幀1

b)關鍵幀2

c)關鍵幀3

d)關鍵幀4

3.3 船舶航行感知

3.3.1 自身運動記錄

圖9a為GPS與ORB-SLAM算法記錄軌跡的對比圖，圖9b為GPS與改進ORB-SLAM算法記錄軌跡的對比圖。在改進ORB-SLAM算法記錄的軌跡中，由于初始狀態(tài)特征點追蹤效果不佳，故記錄軌跡與GPS軌跡存在一定的偏差。當船舶進行轉向時，由于部分特征點丟失，所記錄的軌跡同樣出現(xiàn)了偏差。當算法穩(wěn)定運行時，ORB-SLAM算法、改進ORB-SLAM算法與GPS所記錄軌跡的偏差折線圖見圖10，其中：ORB-SLAM算法與GPS所記錄軌跡的最大偏差為7.382 m，平均偏差為5.441 m；改進ORB-SLAM算法與GPS所記錄軌跡的最大偏差為4.400 m，平均偏差為2.845 m。

a)ORB-SLAM算法軌跡

b)改進ORB-SLAM算法軌跡

圖10 ORB-SLAM算法和改進ORB-SLAM算法與GPS所記錄軌跡的偏差對比

圖11a為慣導系統(tǒng)記錄的位姿角變化情況。圖11b為改進ORB-SLAM算法根據(jù)單目相機拍攝圖像所記錄的位姿角變化情況。改進ORB-SLAM算法相比于慣導系統(tǒng)，在初始狀態(tài)特征點追蹤未穩(wěn)定的情況下，所記錄的軌跡存在較大誤差。在轉向過程中，部分特征點丟失，誤差增加。當改進ORB-SLAM算法穩(wěn)定運行時，其累積誤差比慣導系統(tǒng)的大，但精度滿足定位要求。

3.3.2 周圍環(huán)境記錄

選取執(zhí)法船訓練基地靠泊與近岸航行的深度圖與點云圖進行對比?？坎催\動過程有水域面積占比變化大、運動速度慢、方向指向視野內、復雜景物多等特點；近岸航行運動過程存在水域面積占比變化小、運動速度快、方向為橫向、復雜景物少等特點。在記錄靠泊運動圖像時，水域面積大小的改變需要算法對其多次清除修正，提取噪點的概率高；運動速度慢、復雜景物多的特點有利于提取特征點，提高運動估計準確度。在記錄近岸運動圖像時，水域面積占比變化小，算法能將水域穩(wěn)定清除，提取噪點的概率低；運動速度快、復雜景物少的特點使得提取特征點的難度加大，易造成部分特征點丟失。

a)慣導系統(tǒng)

b)本文算法

圖12a和12b分別為訓練基地靠泊的點云圖和深度圖，雖然水域發(fā)生變化但圖像中水域部分未出現(xiàn)錯誤點云，驗證了水域清除算法的有效性。圖12c和12 d分別為為近岸航行環(huán)境的點云圖和深度圖，運動速度快且未造成圖像缺失或圖像畸形，驗證了改進算法的有效性。

a)訓練基地靠泊點云圖

b)訓練基地靠泊深度圖

c)近岸航行點云圖

4 結 論

本文提出一種基于單目相機的海上航行環(huán)境感知模型。針對感知過程中水面光照反射影響感知效果的問題，采用基于HSV顏色空間的閾值分割對環(huán)境圖像進行預處理，并結合K均值聚類分割對殘留的水域進行清除，減少水面光照反射影響。改進ORB特征點提取算法，減少提取特征點所需時間并減少了噪點的出現(xiàn)概率，使得在感知過程中所記錄的船舶自身軌跡與位姿滿足實際定位要求，并能夠實時構建深度圖。本文研究可為海上未知領域探索和海上空間信息基礎設施構建提供理論基礎。本文提出的算法對環(huán)境要求較高，對船舶夜間航行時的感知效果存在一定的局限性，需要進一步研究。