基于圖像輪廓特征的無人水面艇航海雷達目標檢測修正方法

李立剛, 李勃然, 金久才, 劉德慶, 戴永壽

基于圖像輪廓特征的無人水面艇航海雷達目標檢測修正方法

李立剛1, 李勃然2, 金久才3, 劉德慶3, 戴永壽1

(1. 中國石油大學(華東) 海洋與空間信息學院, 山東 青島, 266580; 2. 中國石油大學(華東) 控制科學與工程學院, 山東 青島, 266580; 3. 自然資源部第一海洋研究所海洋物理與遙感研究室, 山東 青島, 266061)

航海雷達具有檢測范圍廣、全天候工作等優點, 是無人水面艇障礙目標檢測的主要手段。但是對于島嶼、貨輪等大型目標, 航海雷達無法對其所在區域進行準確描述, 并且可能將其誤判為多個分散的目標。為此, 文中結合雷達圖像特點, 提出一種基于圖像輪廓特征的航海雷達目標檢測修正方法。首先對雷達圖像進行預處理, 簡化圖像數據, 增強有關信息的可檢測性。然后根據目標對應像素點坐標提取目標輪廓, 若不同目標對應同一輪廓, 則認為發生誤判, 并將誤判產生的多個分散目標合并為一個目標。最后借助目標輪廓包含的距離和方位特征參數對目標所在區域準確描述。試驗測試結果表明, 該方法能有效解決大型目標誤判問題, 并將航海雷達檢測結果中的距離誤差降低79%以上, 方位誤差最大減少60%。

無人水面艇; 航海雷達; 障礙目標檢測; 圖像輪廓特征

0 引言

無人水面艇(unmanned surface vehicle, USV)是一種具有自主規劃和自主航行能力, 并可自主完成環境感知和目標探測等任務的小型水面平臺, 發展前景十分廣闊。海面障礙目標的準確檢測是實現無人艇安全航行、正常執行任務的重要前提。目前, 無人艇海面障礙目標檢測手段包括航海雷達、激光雷達和視覺相機等[1-3]。其中, 航海雷達的檢測精度受天氣和海況影響較小[4-5], 適用于遠程目標檢測, 應用于無人艇海面障礙目標檢測具有顯著優勢。對于無人艇而言, 船載測控計算機代替了船舶駕駛員的角色, 航海雷達將檢測結果發送至測控計算機, 測控計算機根據內置算法計算并規劃出無人艇的避碰路線。航海雷達檢測結果是否準確, 將直接影響到無人艇的航行安全。利用多普勒效應[6], 航海雷達能夠自動判別海面障礙目標進行捕獲并持續跟蹤, 從而有效避免虛、漏警問題的發生。通過對大量實測數據分析發現, 當海面障礙目標為島嶼、貨輪等大型目標時, 一個目標可能會反射多個回波, 導致航海雷達將其誤判為多個分散的目標。此外, 航海雷達僅能測得被捕獲目標內部一個點的距離和方位, 無法準確描述目標所在區域。

航海雷達是近年來無人艇海面障礙目標檢測領域的研究熱點。Almeida等[7]利用航海雷達自動捕獲目標功能, 將雷達計算得到的目標位置參數直接用于無人艇避碰, 此種方法未考慮雷達誤判問題, 且無法得到目標所在區域信息, 當無人艇行駛區域內存在大型目標時, 可能導致碰撞發生。莊佳園等[8-10]對雷達圖像進行處理, 將圖像中全部前景區域都判定為障礙目標, 并以質心點表示目標位置, 此方法未考慮對目標所在區域進行描述, 且將圖像中全部前景區域都判定為障礙目標, 計算量大, 實時性差, 容易發生虛、漏警問題。

綜上所述, 現有研究無法滿足無人艇安全航行的需求, 為此提出一種基于圖像輪廓特征的航海雷達目標檢測修正方法, 利用雷達圖像中的目標輪廓及其包含的距離和方位特征, 判斷誤判情況是否發生, 并對目標所在區域進行準確描述。通過試驗測試, 驗證了該方法的有效性和準確性。

1 基于圖像輪廓特征的航海雷達目標檢測修正方法

首先采用加權平均法與自定義閾值法對雷達圖像進行預處理, 得到二值圖像, 并利用Sobel算子進行邊緣檢測, 提取圖像中全部輪廓; 然后, 將雷達目標位置參數坐標變換為雷達圖像中對應的像素點坐標, 提取每個雷達目標在圖像中對應的輪廓, 若不同目標對應同一輪廓, 則認為發生誤判, 并將誤判產生的多個分散目標合并為一個目標; 最后, 提取能夠描述目標輪廓位置的特征點, 計算得到目標邊緣距離和方位范圍參數, 用以對目標所在區域準確描述, 并替換目標原有的位置參數, 從而實現對雷達目標檢測的修正。

無人艇平臺所用航海雷達為英國Raymarine公司生產的Quantum2脈沖多普勒雷達, 具有抗干擾能力強、圖像清晰度高等優點, 可以同步輸出海面障礙目標相關參數與雷達圖像。

1.1 雷達圖像預處理

文中獲得的雷達圖像具有顏色種類豐富的特點, 且圖像前景區域由前景像素點填充, 處理運算量大。若僅保留區域輪廓, 不僅能有效減少運算量, 而且能夠保留區域原有相關特征, 不會對特征提取結果造成影響。因此, 在得到雷達圖像后, 首先進行預處理, 以簡化圖像數據, 增強有關信息的可檢測性。預處理包括灰度化、二值化與邊緣檢測。

灰度化指將圖像中每個像素點的R(red)、G (green)、B(blue)值保持一致, 此時的這個值叫做灰度。選用加權平均法[11]對雷達圖像進行灰度化, 對于圖像中第列行的像素點, 灰度計算公式為

式中:(,)、(,)、(,)分別表示該點初始R、G、B值;(,)為計算得到的灰度; 權值R、G、B具體數值應結合雷達圖像特點經試驗分析設定。

二值化指將圖像中的像素點灰度置為0(黑色)或255(白色), 即讓圖像呈現非黑即白的效果。選用自定義閾值方法[12]對圖像進行二值化, 即預先設定閾值, 若像素點滿足(,)≥, 則將該點灰度置為255, 否則置為0。閾值具體數值應結合灰度化結果經試驗分析設定。

得到二值圖像后, 采用Sobel算子[13]對二值圖像進行邊緣檢測, 得到圖像中由邊緣像素點構成的輪廓。Sobel算子通過計算像素點水平和垂直方向的梯度S和S來實現邊緣檢測功能。對于圖像中第列行的像素點, 有[13]

式中,(,)和(,)分別為Sobel算子3×3尺寸的水平和垂直卷積因子, 如圖1所示。(,)為該像素點灰度,(,)為計算得到的梯度, 若梯度不為0, 則將其判定為邊緣像素點。

圖1 Sobel卷積因子

1.2 目標輪廓提取

雷達圖像中, 每個雷達目標都能在圖像中找到與之唯一對應的輪廓。當島嶼、貨輪等大型目標被航海雷達誤判為多個額外目標時, 這些額外目標在圖像中仍對應同一個輪廓。因此, 需提取每個雷達目標對應的輪廓, 若不同目標對應同一輪廓, 則說明這些目標為由同一個大目標誤判產生。目標輪廓提取步驟如下。

式中:為雷達量程;為圖像每一行像素點的個數;為圖像每一列像素點的個數。

然后, 根據坐標變換結果, 提取每個雷達目標在圖像中對應的輪廓。提取規則如下: 對圖像中輪廓進行標號, 逐次比較雷達目標像素點與輪廓位置關系, 如圖2所示。若某個雷達目標對應的像素點在某一輪廓內或輪廓上, 則該輪廓為這個雷達目標在圖像中對應的輪廓。

圖2 雷達目標與圖像輪廓提取規則示意圖

1.3 目標特征參數計算

為了描述目標在實際場景中所在區域, 引入邊緣距離S與方位范圍。其中邊緣距離指雷達目標反射截面相距無人艇的最近距離; 方位范圍指雷達目標反射截面兩端相對于無人艇的最大與最小方位之間的范圍。

為了提取上述3個特征點, 需要計算輪廓上每個像素點相對于圖像中心的距離和方位。令圖像中心像素點為0, 則圖像中任意像素點P相對于0的距離計算公式為

式中:和分別為像素點所在列數與行數;為P相對于0的距離, 單位為1個像素點的寬度。

計算得到兩像素點間距離后, 計算P相對于0的方位

該方法中, 以正北方向作為0°, 順時針為正方向, 方位區間為[0, 360°)。需要注意的是, 式(7)只適用于方位區間在(0, 90°)時, 其他方位區間還需根據具體情況在計算結果基礎上進行補足。

當雷達圖像尺寸與航海雷達量程固定時, 雷達圖像中每一個像素點所代表的實際距離也是固定的。因此, 可得邊緣距離

方位范圍方為min～max。

2 試驗驗證及結果分析

為驗證基于圖像輪廓特征的無人艇載航海雷達目標檢測修正方法在工程應用中的有效性與準確性, 開展試驗測試。試驗基于Opencv2.4.9計算機視覺庫, 以C++編程語言開發檢測軟件。試驗時通過計算機獲取航海雷達測得的海面障礙目標相關參數與雷達圖像, 并利用檢測軟件實時進行處理, 以模擬無人艇航海雷達海面障礙目標檢測的場景。

2.1 試驗準備工作

試驗計算機平臺為2.60 GHz主頻Intel Core i5處理器、8 GB內存、Windows 7操作系統的筆記本計算機。在2級海況條件下開展了2次試驗: 試驗一地點為青島膠州灣海域, 被測目標為進港貨輪; 試驗二地點為青島唐島灣海域, 被測目標為島嶼。試驗中分別采用德國大陸集團ARS408型毫米波雷達與谷歌公司Google Earth衛星圖測距作為文中方法準確性的驗證手段。ARS408型毫米波雷達是一款緊湊型V波段77 GHz長距雷達傳感器, 最大檢測距離250 m, 測距誤差小于0.4 m, 可根據檢測結果中橫、縱向距離計算出目標相對方位。Google Earth衛星圖是一款虛擬地球軟件, 它把衛星照片、航空攝影和地理信息布置在一個地球三維模型上, 在中國城市內的測距精度為1.5～2 m[14], 可根據經、緯度計算兩坐標點的相對方位。

試驗正式開展前, 對方法中涉及的各項權值與閾值進行了分析與設定。首先, 由于文中所用航海雷達的圖像包含顏色種類較少并且顏色固定, 因此為確定灰度化中權值R、G和B的值, 對雷達圖像目標區域中各類對象顏色的R、G、B值進行統計如表1所示。以灰度化后各類對象灰度接近且能夠與黑色背景顯著區分作為標準, 選取合適的權值。

表1 雷達圖像目標區域R、G、B值統計

經過計算發現, 當R、G、B值分別設定為0.45、0.40、0.15時, 灰度化后的雷達圖像目標區域中各類對象灰度接近, 并且均大于125, 能夠與黑色背景顯著區分, 如圖3(a)所示, 滿足選取標準。

為確定二值化中的值, 利用前述經過灰度化的雷達圖像, 對取不同值時的二值化效果進行比較, 處理結果取局部如圖3所示。結果表明,設置過小會導致不同目標區域邊緣粘連, 設置過大會造成目標區域缺失, 兩者皆會影響后續邊緣檢測的準確性。當=100時, 目標區域邊緣清晰不粘連, 并且填充飽滿沒有缺失, 因此將設定為100。

2.2 試驗過程及結果分析

1) 試驗一: 將航海雷達架于船艇上, 設定雷達量程為1/4 n mile, 將一艘進港貨輪作為被測目標, 試驗場景與雷達圖像如圖4所示, 矩形框中為貨輪回波圖像。

圖3 T取不同值時的二值化效果

圖4 試驗一場景與雷達圖像

試驗中, 進港貨輪被航海雷達誤判為5個分散目標, 每個目標被測得的距離和方位參數如表2所示。

表2 試驗一航海雷達測得的進港貨輪相關參數

采用文中方法對航海雷達檢測結果進行修正, 雷達圖像處理過程如圖5所示, 并計算得到貨輪相對于試驗船的邊緣距離與方位范圍參數。

利用毫米波雷達測得貨輪雷達反射截面相對于船艇的最近距離以及反射截面兩端相對船艇的方位。以毫米波雷達檢測結果作為基準, 將雷達原始檢測結果中5個分散目標中距離最小值、方位最小與最大值分別作為雷達初步檢測測得的貨輪雷達反射截面相對于試驗船的最近距離、反射截面兩端相對試驗船的方位, 并與該方法處理結果進行比較, 結果如表3所示。

圖5 試驗一雷達圖像處理過程

表3 文中方法修正結果與毫米波雷達檢測結果

通過對比試驗結果可知, 該方法在對航海雷達檢測結果修正過程中, 將雷達誤判產生的5個分散目標合并為一個目標, 解決了誤判問題。同時, 計算得到的邊緣距離誤差由0.014 n mile縮減為0.001 n mile, 誤差降低了92.9%。計算得到的最小方位誤差由5.0°縮減為2.0°, 最大方位誤差由7.4°縮減為3.3°, 誤差分別降低了60.0%與55.4%, 相比于原有檢測結果更能準確描述障礙目標所在區域。算法運行處理時間平均為276 ms, 滿足無人船海面障礙目標檢測對于快速性的要求。

2) 試驗二: 將航海雷達架于岸邊, 設定雷達量程為1 n mile, 將海岸附近一座島嶼作為被測目標, 試驗場景與雷達圖像如圖6所示, 矩形框中為島嶼回波圖像。

試驗中, 島嶼被航海雷達誤判為4個分散目標, 檢測結果如表4所示。

采用文中方法對航海雷達檢測結果進行修正, 雷達圖像處理過程如圖7所示。

圖6 試驗二場景與雷達圖像

表4 試驗二航海雷達測得的島嶼相關參數

圖7 試驗二雷達圖像處理過程

在Google Earth中標記島嶼相對于航海雷達掃描截面兩端的坐標點和掃描截面上距離航海雷達最近的坐標點, 計算得到島嶼雷達反射截面相對航海雷達的最近距離以及反射截面兩端相對航海雷達的方位作為Google Earth測距結果。

以Google Earth測距結果作為基準, 將雷達原始檢測結果中4個分散目標中距離最小值、方位最小與最大值分別作為雷達原始檢測測得的島嶼雷達反射截面相對于航海雷達的最近距離、反射截面兩端相對航海雷達的方位, 并與該方法處理結果進行比較, 結果如表5所示。

通過對比試驗結果可知, 該方法在對航海雷達檢測結果修正過程中, 將雷達誤判產生的4個分散目標合并為一個目標, 解決了誤判問題。同時, 計算得到的邊緣距離誤差由0.034 n mile縮減為0.007 n mile, 誤差降低了79.4%。計算得到的最大方位由5.0°縮減為2.2°, 最小方位由1.9°縮減為1.8°, 誤差分別降低了44.0%與5.3%, 相比于原有檢測結果更能準確描述障礙目標所在區域。算法運行處理時間平均為205 ms, 滿足無人船海面障礙目標檢測對于快速性的要求。

表5 文中方法修正結果與Google Earth衛星圖測距結果

3 結束語

針對航海雷達對海面大型目標易產生誤判、檢測結果準確性差的問題, 文中提出一種基于圖像輪廓特征的航海雷達目標檢測修正方法。利用雷達圖像中目標輪廓及其包含的距離和方位特征, 判斷航海雷達是否將一個大型目標誤判為多個分散目標, 并將分散目標重新合并為一個目標, 同時對目標所在區域準確描述。試驗結果表明, 該方法能有效解決大型目標誤判問題, 并將航海雷達檢測結果中的距離誤差降低79%以上, 方位誤差最大減少60%, 驗證了該方法的有效性與準確性。

[1] 張磊, 許勁松, 秦操. 無人船目標探測與跟蹤系統[J]. 船舶工程, 2018, 40(8): 56-60.

Zhang Lei, Xu Jin-song, Qin Cao. Target Detection and Tracking System of Unmanned Surface Vehicles[J]. Ship Engineering, 2018, 40(8): 56-60.

[2] Han J, Cho Y, Kim J. Coastal SLAM with Marine Radar for USV Operation in GPS-Restricted Situations[J]. IEEE Journal of Oceanic Engineering, 2019, 44(2): 300-309.

[3] Muhovic J, Mandeljc R, Bovcon B, et al. Obstacle Tracking for Unmanned Surface Vessels Using 3-D Point Cloud[J]. IEEE Journal of Oceanic Engineering, 2019, 99: 1-13.

[4] 季勤超, 趙建軍, 賀林波, 等. 艦船姿態測量誤差對雷達探測精度的影響分析[J]. 計算機與數字工程, 2019, 47(2): 330-333, 353.

Ji Qin-chao, Zhao Jian-jun, He Lin-bo, et al. Analysis of Effects on Radar Detection Precision Caused by Ship Attitude Measurement Errors[J]. Computer & Digital Engineering, 2019, 47(2): 330-333, 353.

[5] Han J, Park J, Kim J, et al. GPS-less Coastal Navigation Using Marine Radar for USV Operation[J]. IFAC-Papers OnLine, 2016, 49(23): 598-603.

[6] 唐林, 劉通. 基于微多普勒效應的運動船舶目標分類研究[J]. 艦船科學技術, 2019, 41(4A): 100-102.

Tang Lin, Liu Tong. Research on Moving Ship Target Classification Based on Micro-Doppler Effect[J]. Ship Science and Technology, 2019, 41(4A): 100-102.

[7] Almeida C, Franco T, Ferreira H, et al. Radar Based Collision Detection Developments on USV ROAZ II[C]// Oceans 2009-Europe, Bremen: IEEE, 2009: 1-6.

[8] Zhuang J Y, Zhang L, Zhao S Q, et al. Radar-based Collision Avoidance for Unmanned Surface Vehicles[J]. China Ocean Engineering, 2016, 30(6): 867-883.

[9] 莊佳園, 蘇玉民, 廖煜雷, 等. 基于航海雷達的水面無人艇局部路徑規劃[J]. 上海交通大學學報, 2012, 46(9): 1371-1375.

Zhuang Jia-yuan, Su Yu-min, Liao Yu-lei, et al. Unmanned Surface Vehicle Local Path Planning Based on Marine Radar[J]. Journal of Shanghai Jiaotong University, 2012, 46(9): 1371-1375.

[10] Ji X, Zhuang J Y, Su Y M. Marine Radar Target Detection for USV[J]. Advanced Materials Research, 2014, 1006-1007: 863-869.

[11] Liu J, Hu B, Wang Y. G. Optimum Adaptive Array Stochastic Resonance in Noisy Grayscale Image Restoration[J]. Physics Letters A, 2019, 383(13): 1457-1465.

[12] Guo J B, He C J, Zhang X T. Nonlinear Edge-Preserving Diffusion with Adaptive Source for Document Images Binarization[J]. Applied Mathematics and Computation, 2019, 351: 8-22.

[13] 王云艷, 周志剛, 羅冷坤. 基于Sobel算子濾波的圖像增強算法[J]. 計算機應用與軟件, 2019, 36(12): 184-188.

Wang Yun-yan, Zhou Zhi-gang, Luo Leng-kun. Operator Filtering[J]. Computer Applications and Software, 2019, 36(12): 184-188.

[14] 王旭旺, 王凡. 基于全球IGS站坐標的Google Earth地圖精度分析[J]. 測繪通報, 2019(S1): 18-21.

Wang Xu-wang, Wang Fan. Precision Analysis of Google Earth Map Based on the Coordinates of Global IGS Stations[J]. Bulletin of Surveying and Mapping, 2019(S1): 18-21.

Target Detection and Correction Method for Unmanned Surface Vehicles Marine Radar Based on Image Contour Features

LI Li-gang1, LI Bo-ran2, JIN Jiu-cai3, LIU De-qing3, DAI Yong-shou1

(1. College of Ocean and Space Information, China University of Petroleum(East China), Qingdao 266580, China; 2. College of Control Science and Engineering, China University of Petroleum(East China), Qingdao 266580, China; 3. Laboratory of Marine Physics and Remote Sensing, First Institute of Oceanography, Ministry of Natural Resources, Qingdao 266061, China)

Marine radar has the advantages of a wide detection range and all-weather operation, and it is the main method used by unmanned surface vehicles(USV) to detect obstacles on the sea. However, for large targets such as islands and freighters, marine radar cannot accurately describe the area in which they are located and may misjudge them as multiple scattered targets. For this reason, a method for correcting the target detection result of marine radar based on image contour features was proposed with the use of the radar image characteristics. First, the radar image is preprocessed to simplify the image data and enhance the detectability of related information. Second, the target contour is extracted according to the corresponding pixel coordinates of the target. If different targets correspond to the same contour, a misjudgment is considered to have occurred, and multiple scattered targets generated by the misjudgment are combined into one target. Finally, the area where the target was located was described using the distance and orientation characteristic parameters contained in the target contour. The results of the experimental tests demonstrate that this method can effectively solve the problem of misjudgment of large targets and reduce the distance error in the detection results of marine radar by more than 79%, and the azimuth error by up to 60%.

unmanned surface vehicle; marine radar; obstacle target detection; image contour feature

李立剛, 李勃然, 金久才, 等. 基于圖像輪廓特征的無人水面艇航海雷達目標檢測修正方法[J]. 水下無人系統學報, 2022, 30(2): 190-196.

U665.22; TJ630.6

A

2096-3920(2022)02-0190-07

10.11993/j.issn.2096-3920.2022.02.008

2021-05-01;

2021-06-26.

國家重點研發計劃(2017YFC1405203); 中央高校基本科研業務費專項資助(19CX05003A-1).

李立剛(1976-), 男, 博士, 副教授, 主要研究方向為無人艇智能信息處理技術.

(責任編輯: 許 妍)