動態船舶行駛場景下的實時單目測距算法研究

夏紅杰，陳姚節，徐 新，王 薇

(1.武漢科技大學 計算機科學與技術學院，湖北 武漢 430065；2.武漢科技大學 智能信息處理與實時工業系統湖北省重點實驗室，湖北 武漢 430065)

0 引 言

隨著“十四五”規劃將人工智能技術視為未來研究領域的首要任務，海上運輸正朝著智能化方向快速發展，“智能船舶”必將成為船舶工業未來的發展趨勢。近年來，計算機視覺的迅速發展，推動了無人駕駛、機器人、智能醫療、安檢防控和人臉識別等新興領域的研究和普及。在復雜環境下利用計算機視覺進行相關目標檢測與測距等算法在相關輔助系統中占據核心地位，因此可以借鑒智能機器人與自動駕駛場景下的前方障礙物檢測與測距算法，對其進行分析并改進遷移應用于船舶行駛場景下。

目前大多數研究采用的視覺測距方法是通過物理手段實現的，主要分為單目視覺和雙目視覺。雙目視覺是利用兩臺攝像機采集周圍環境的視頻圖像信息，利用雙眼視差原理進行目標檢測物的深度信息恢復，然而在視差的計算過程中，就必須對相同情景下的兩張圖像進行特征點提取并匹配對應點，存在算法復雜、計算量大、特征點匹配魯棒性保障等技術難題。而單目視覺則是利用一臺攝像機采集視頻圖像信息，基于小孔成像原理實現距離測量，因其裝置簡單、成本低、算法復雜度低、實時性好等特點，符合大部分實時場景的要求，其測距算法包括傳統的通過成像模型、函數擬合及幾何關系推導等方法。在目前的研究及實際應用中，幾何關系推導算法因其更強的實用性而被廣泛使用。張云飛等先用背景差分法提取出前方行駛車輛，再利用道路平行約束條件通過幾何推導實現單目視覺實時測距。趙松等基于相機成像原理建立成像點與目標點的幾何關系，實現室內移動物體與目標障礙物之間距離的實時監測。李勇等通過透視投影原理計算圖像消失點，利用已提取的三維信息和場景中的約束，實現單目視覺的三維重建與測距。王健等利用透視投影幾何原理及單目CCD攝像機在感興區域內通過灰度梯度進行目標檢測，從而進一步實現單目視覺船舶測距定位。

該文主要針對動態船舶行駛場景，通過船載攝像頭拍攝船舶行駛過程中附近水域環境的視頻信息，利用目標檢測模型對目標船舶在圖像中的位置信息進行提取，從而實現目標船舶的實時測距。首先對傳統的基于幾何關系的測距方法進行推導，在引入包含俯仰角、水平角的相似三角形測距算法的基礎上結合船舶在水面動態搖晃及相機姿態等誤差分析，采用陀螺儀姿態補償策略提出單目視覺目標船舶測距算法，從而實現單目視覺目標船舶測距。

1 單目視覺測距原理

1.1 單目相機模型

攝像機成像過程就是三維空間中的物體通過投影映射為圖像平面上的像素點，這種映射關系也就是不同坐標系坐標點的轉換關系，總共涉及四個坐標系和三次坐標系轉換，這四個坐標系如圖1所示，具體轉換過程如圖2所示。

圖1 攝像機成像坐標系

圖2 坐標系轉換流程

1.2 坐標系轉換

世界坐標系是根據客觀場景建立的三維基準坐標系，坐標用(

X

,

Y

,

Z

)表示，可以用來表示所有物體的定位信息。在船舶行駛場景下，世界坐標系與相機坐標系的原點分別為船舶中心在水平面的豎直投影點、船載相機的光心，相機坐標系的光軸(

Z

軸)垂直于成像平面，

X

軸和

Y

軸分別與圖像坐標系相應軸平行。第一層轉換為世界坐標系到相機坐標系的轉換，通過對目標物體的坐標進行簡單的平移和旋轉變換即可實現，其轉換公式的矩陣表示形式為：

(1)

其中，為正交旋轉變換矩陣，為三維平移向量。相機坐標系到圖像坐標系的轉換是將三維世界中一點

P

(

X

,

Y

,

Z

)根據小孔成像原理推出其在像平面上的投影點坐標

p

(

x

,

y

)，原理如圖3所示。

圖3 小孔成像原理

利用相似三角形公式，可以推導出公式(2)，其矩陣表示形式為公式(3)。

(2)

(3)

其中，

f

為相機焦距，

Z

為空間中三維物體沿光軸到相機的距離。像素坐標系的坐標原點為成像平面左上角，設為(

u

,

v

)，其基本單位為像素，圖像坐標系到像素坐標系的轉換需要對成像平面中的點按比例縮放，其轉換關系如公式(4)所示，矩陣表示形式為公式(5)。

(4)

(5)

其中，

d

,

d

分別為圖像坐標系中

x

軸和

y

軸方向上單位像素的長度。

聯合式(1)、(3)、(5)，即可得到由世界坐標系到像素坐標系轉換的最終公式：

(6)

2 基于陀螺儀姿態補償的測距算法

2.1 船舶行駛實時單目測距誤差分析

在1.1節建立的單目相機模型中，待測物體的實際大小需要事先測量，而在船舶行駛實時測距過程中，不可能獲知待測船舶實際大小，因而該模型不適合應用于船舶行駛過程中的實時測距。基于幾何推導的單目視覺測距是目前使用最廣泛的模型，簡單的相似三角形測距模型未考慮相機姿態角對距離測量的影響，曹毓等分析了相機定位算法的精確度受到相機姿態安裝誤差的影響后，利用車載姿態傳感器進行安裝誤差校正并設計三組車輛行駛實驗，實驗結果表明單目視覺定位算法精度得到顯著提高。郭磊等通過實驗分析出車載相機的俯仰角對測距結果影響較大，根據道路邊界平行約束條件，實時計算車載相機的俯仰角度，從而獲得較為準確的前方障礙物距離信息。楊雪姣等全面分析相機姿態角(俯仰角pitch、水平角yaw、翻滾角roll)對于測距的誤差影響之后，提出了改進的相似三角形測距算法，從而減小了由相機姿態導致的誤差。

該文為驗證pitch俯仰角與yaw水平角分別對單目視覺測距的影響，在室內通過固定相機移動目標檢測物進行測距實驗，首先保持相機俯仰角為35°不變并保持目標待測物距離相機3 m距離，改變水平角進行測距，實驗數據如表1所示；接著保持相機水平角為75°不變，目標待測物距離相機從6 m開始依次以1 m為間隔增加距離進行測距，實驗數據如表2所示；最后通過Matlab對兩組實驗數據分別進行擬合，擬合結果如圖4所示。從擬合模型中可以看出，俯仰角相較于水平角對相機測距模型影響更大。

表1 固定俯仰角改變水平角測距

表2 固定水平角改變俯仰角測距

圖4 Matlab實驗數據擬合結果模型圖

在實際工業應用中，通常將可以測量慣性的傳感器(如陀螺儀、加速度計等)固連在運動裝置(如汽車、船舶和飛機等)，根據相應的測量參數值計算出運動裝置的姿態信息。蘇菲等通過MEMS陀螺儀并結合加速度傳感器高效并穩定地實現了帆船運動姿態角度測量。彭孝東等歸納的MEMS三軸數字陀螺儀誤差主要包括：設備安裝、隨機噪聲常值漂移及標度因數等，并指出傳感器輸出的主要誤差受后兩項影響，從而提出一種陀螺儀標定方法補償相關誤差以提高精確度。

因此，該文考慮到動態船舶行駛場景下的相機姿態誤差，采用高精度陀螺儀來監測船舶狀態從而及時對相機姿態進行補償，并結合含pitch、yaw的相似三角形測距算法實現目標船舶實時單目測距。

2.2 陀螺儀標定及實時相機姿態補償策略

陀螺儀標定數學模型矩陣形式公式為：

(7)

其中，

S

,

S

,

S

為陀螺儀的標定因數，

K

,

K

,

K

,

K

,

K

,

K

為安裝誤差系數，

w

,

w

,

w

為實際測量陀螺儀的輸出值，

W

,

W

,

W

為陀螺儀的實際角速率輸入值，

b

,

b

,

b

為陀螺儀的漂移，其計算公式如下：

(8)

其中，

w

=15.04°/h為地球自轉角速率，

φ

=31°為緯度，緯度可以通過GPS定位實時更新。

姿態補償的實質是通過陀螺儀實時監測船舶的運動狀態，然后使用計算好的陀螺儀標定方程，求出船載相機的補償角度。

2.3 含俯仰角、水平角的相似三角形測距算法

測距模型如圖5所示。設船載相機距離水平面高度為

H

，鏡頭焦距為

f

，相機俯仰角為

α

，水平角為

δ

，光軸與物體成像連線夾角為

γ

，物體落地點與光軸投影連線形成的夾角為

ε

。

圖5 含pitch、yaw的相似三角形測距模型

首先計算物體落地點在光軸上的情況，即

ε

=0時，由圖可知，

β

=

α

+

γ

。

(9)

(10)

計算得到垂直縱向距離為：

(11)

當物體落地點不在光軸上時，由圖可知，

O

A

=

d

(公式9),記為

d

，則垂直縱向距離

d

，水平橫向距離

k

的計算公式為：

d

=

O

C

*cos(

ε

+

δ

),

k

=

O

C

*sin(

ε

+

δ

)

(12)

設

AC

=

k

,由三角形

oCA

與

oFE

相似可得：

(13)

由圖可知：

(14)

因此，聯立以上各式，得到最終的測距公式：

(15)

(16)

3 單目測距實驗結果與分析

實驗數據通過將攝像頭與高精度陀螺儀固定安裝在船舶模型并放置在水中，將一些小型船舶模型及障礙物隨機擺放在船舶周圍10 m以內水域以模擬動態船舶在水面行駛場景，將攝像頭采集到的視頻圖像每隔10幀提取一個視頻幀圖像作為測距實驗分析圖像，考慮到每次移動目標船舶時攝像頭需要轉動調整，以及由于水面的波動造成船舶的搖晃均需要一段時間穩定，因而每次移動目標船舶后均等待1～2分鐘再記錄相關數據。

記錄數據之前，先將船舶模型放置在室內地面，根據一系列已知目標檢測物距離進行攝像頭初始狀態的標定，從而確定相機的校正參數。隨后，將模型根據陀螺儀標定方法進行陀螺儀標定，計算出安裝誤差系數和陀螺儀標定因數。最后安裝好所有模型及設備，隨機移動目標船舶在水面中的位置，測量實際距離并利用陀螺儀實時監測船舶模型的姿態變化及時進行相機姿態補償后記錄預測數據。其中以計算得到的垂直縱向距離作為記錄的測量距離。

由于系統檢測框的不穩定性以及船舶模型在水面中的搖晃，導致測量的距離在一定范圍內波動，因此對每一次移動目標船舶后進行多次數據記錄，計算平均誤差作為最終誤差，計算公式如下，實驗結果如表3所示。

(17)

表3 單目視覺測距實驗結果

實驗結果顯示，測距在船舶附近10 m水域內誤差較穩定為3.45%，明顯提高了測量精度和測量距離，可以應用于船舶在行駛過程中的目標船舶測距。

4 結束語

船舶在行駛過程中實時監測與周圍障礙物之間的距離在船舶安全防控中是至關重要的。該文提出了一種基于單目視覺綜合考慮相機姿態角的改進相似三角形測距算法，同時結合陀螺儀監測船舶姿態狀態并對船載攝像頭進行姿態補償從而很好地應對由于船舶在水面行駛的晃動導致的測量誤差，實現對船舶行駛場景下周圍水域目標船舶進行實時測距。由于該文僅使用單一的陀螺儀傳感器進行測量，因此相機長時間姿態角度的精準測量無法保證，以及船舶在實際江域、海域行駛時的自然環境(如大霧、降雨等)對船載攝像機拍攝畫面模糊的影響等問題，尚有待于深入研究。