一種水下運動物體三維軌跡視覺測量方法

劉 濤，王寧寧，張 熠，艾尚茂

一種水下運動物體三維軌跡視覺測量方法

劉 濤1，王寧寧1，張 熠1，艾尚茂2

(1. 哈爾濱工程大學自動化學院，黑龍江 哈爾濱 150001；2.哈爾濱工程大學船舶工程學院，黑龍江 哈爾濱 150001)

針對海洋工程中采用的設備深海懸垂法安裝過程，采用多攝像頭視頻運動分析方法計算水下三維運動軌跡可用于指導海洋工程的結構安裝和分析設備水下運動特征。水下視頻和圖像的處理獲取面臨著諸多挑戰，首先由于水下環境懸浮物和顆粒較多，光在水下發生了散射，使水下圖像發生了退化；其次水下視頻運動分析遇到的一個主要障礙是光線的折射引起的圖像誤差。由于光在水、玻璃、空氣不同介質間發生折射，光路發生彎曲，陸地上的攝像機成像模型在水中不再適用，需要提出新的水下攝像機成像模型。本文引入帶光線折射的水下攝像機成像模型，研究水下攝像機的內參數和外參數標定方法，利用固定布置的3個水下攝像機拍攝的目標水下運動視頻來計算水下目標的軌跡。該方法適用于水池環境下水下物體大范圍運動，可以得到較為精確的軌跡，并得到了實驗驗證。

水下攝像機標定；三維軌跡；視覺測量

近年來，隨著海洋工程裝備的不斷發展，海洋目標探測的需求越來越成為研究熱點。本文為模擬某大型海底油氣生產裝備基于深海懸垂法的安裝過程，研究不同布置參數下安裝階段設備運動特征，在水池環境開展相關模型水下三維運動軌跡測量試驗工作，采用多個水下攝像頭拍攝運動視頻計算獲得目標的運動軌跡。水下視覺成像是針對水下環境探測的一種有效手段，陸地上的目標運動分析已經取得了極大進展，但在水下目標運動分析仍然面臨很多困難。例如水下環境懸浮物和顆粒較多，光在水下發生了散射，使水下圖像發生了退化，另外一個主要的障礙是光線的折射引起的圖像誤差。

國內外很多學者對水下運動的分析展開了研究。例如，PSYCHARAKIS等[1]預先制作校準框架，基于若干標記物并使用DLT[2]方程來獲得其3D坐標進而進行三維的游泳分析，但DLT算法中未考慮折射的坐標系。KWON[3]提出將折射和DLT方法同時考慮，即基于Snell定律考慮折射后用于計算折射點的像素坐標。ALEXANDRI和DIAMANT[4]提出了自主水下航行器 (autonomous underwater vehicle, AUV)采用慣性導航系統(inertial navigation system, INS)以及后期同時建圖和定位(simultaneous localization and mapping, SLAM)方法，但該方法需要依靠很多外部環境成像來提供所需要的“節點”。這些方法在水下作業時具有很大的局限性。

本文提出利用多個水下攝像頭拍攝目標的視頻序列計算三維軌跡，分析了水下不同介質間折射的現象，結合水下攝像機成像模型[5]以及同射變換原理，通過拍攝的視頻序列求取物體的運動軌跡。

1 水下攝像機標定

1.1 水下攝像機成像模型

水下攝像機標定技術是水下視覺測量的關鍵技術。由于水下光的折射和散射，水下攝像機的成像模型已經不符合針孔成像模型。攝像機在水下拍攝物體時，散射會影響其成像效果，在獲取物體水下運動數據集之后，本文利用圖像復原和圖像增強的手段，對受損圖像和點擴展函數進行空間域上的退卷積計算來修復圖像[6]，方便后期對數據集做處理，達到了預期的效果。由于散射并不影響物體的物理成像模型，但折射卻改變了物體在陸地上的成像模型，因此在陸地上研究視覺的方法不宜使用，需要提出新的成像模型。TREIBITZ等[7]分析了折射對攝像機標定的影響，當界面遠端的光線向后延伸到相機時，其不會相交于1個點，而是形成1個焦散面(不符合單視點相機模型)，如圖1所示。所以空氣中的攝像機標定方法不再適用，需要建立攝像機在水下的成像模型。

圖1 水下非單視點相機模型

1.2 水下攝像機內參數標定

空氣中的攝像機內參數標定技術已經十分成熟。現有的標定方法有TSAI[8]的標定、ZHANG[9]標定法。本文采用的水下攝像機，其具有高清信號、低視頻延遲和以太網傳輸的特點。外殼材料為316L不銹鋼，玻璃密封攝像頭，在海水中耐壓、耐腐蝕能力強。其參數如下：

(1) 分辨率。2592×1964，幀速率為64 fps。

(2) 像元尺寸。水平方向為5 mm，垂直方向也為5 mm。

(3) 傳感器尺寸及快門曝光方式。傳感器CMOS尺寸為1/1.8英寸，快門曝光方式為全局。

(4) 接口方式。攝像機采用網絡接口，拍攝的圖片與視頻通過局域網傳至電腦。

攝像機內參數本身只與攝像機自身的屬性有關，不會因為拍攝環境在水下或者空氣中而改變。本文先采用ZHANG[9]標定法對3個攝像機分別進行空氣中的相機參數標定。標定采用的棋盤格圖像如圖2所示。

圖2 空氣中棋盤格圖像

矩陣為攝像機的內參數矩陣，其相機1標定的結果為

考慮到水的折射，物體點在水下圖像的位置并不是真正的位置，如圖3所示。

由于光的折射，成像模型中的焦距發生了明顯的變化。圖3中給出了水下光線折射的模型，真實的焦距為。反向延長折射后的光線，與光軸相交，得到虛擬成像平面和虛擬焦距′。空氣中真實光線與光軸的夾角為，空氣中虛擬的光線與光軸的夾角為′，對于成像平面任意點則有

根據LAVEST等[10]對透鏡在2種折射率不同的介質中間成像模型的推導，圖像必須被放大為2種介質之間折射率的倍數，即

本文采用ZHANG[9]標定法的標定程序對上述水下攝像機內參數標定理論進行實驗驗證，在水下分別采集每個攝像機的12張棋盤格圖像作為標定程序的輸入，標定采用的棋盤格水下圖像如圖4所示。

圖4 水下棋盤格圖像

對3個攝像機分別標定，其攝像機1標定結果為

攝像機1空氣中和水下標定結果比較見表1和表2。

表1 焦距比較

表2 主點坐標比較

驗證上述結論，可運用ZHANG[9]標定法標定水下及空氣中圖片，標定出水下圖片的水平和垂直方向的焦距是空氣中的1.33倍，這個數恰好是水對空氣的折射率。而主點坐標2種情況下基本一致，均約等于分辨率的一半。

1.3 水下攝像機的外參數標定

圖5 水下光線模型

經過水下攝像機外參數轉換的任意三維世界坐標系的點也在折射平面上，即

給定攝像機前后兩幀對應的8個點，將上述方程展開，可以得到如下線性方程，即

水下攝像機拍攝視頻序列之后，利用圖像處理的方法將視頻序列截取為以幀為單位的圖片集，選取其中3個位置如圖6所示。

圖6 視頻序列物體部分位置

利用上述方法，可求得圖6中的3個位置攝像機外參見表3。

表3 不同位置對應的攝像機外參

為了驗證水下攝像機標定方法的可行性，本文用同樣的數據，根據中國海洋大學解則曉等[12]提出的水下成像模型對攝像機進行了標定，并計算得到2種方法的重投影誤差。重投影誤差指的是真實三維空間點在圖像平面上的投影(即圖像上的像素點)和重投影(即利用標定數據計算得到的虛擬像素點)的差值。對某個特定的位置，累加每個角點在圖像平面上真實和虛擬坐標之差，最后除以累加角點的總數便可得到此位置的重投影誤差。為了說明問題，選取了5個位置的數據分別計算不同方法的重投影誤差值(設本文提出的方法為方法1，解則曉等[12]提出的方法為方法2)，得到誤差折線圖對比如圖7所示。由圖7可知，本文方法精確性得到了明顯的改善。

圖7 重投影誤差對比

2 三維軌跡計算

本文方法可以方便地求出水下攝像機的內參數和每一幀圖片所對應的外參數(旋轉矩陣(1,2,3)和平移向量)，進而利用成像模型同射變換原理，可以很方便、高效地確定每一幀圖片目標點的坐標。每一幀圖片都可看作先利用物體正對著攝像機的棋盤格平面進行標定，得到內參和外參，并由此建立世界坐標系Oxyz，相對應地，其棋盤格平面坐標系為Oxy(設z默認值為0)。由此得出目標點在世界坐標系與像平面坐標系下坐標的對應關系，即

對式(17)和式(18)兩邊取模可得

已知“目標點”的像素坐標便可通過以上算法求得其攝像機坐標系坐標，通過圖像靶標的角點提取可以在每一幀圖片上找到同一“像素點” (目標點)，將其視為上述談論的“目標點”，便可求出每一幀圖片此目標點所對應的攝像機坐標系下坐標，最后形成三維軌跡。

3 水下實驗及結果分析

物體運動分為完整懸垂下放試驗(初始階段近似垂直下落，受安裝纜及水作用)和垂直下落階段試驗(懸垂單擺下落運動)。由于單個攝像機視野較小，物體運動軌跡跨度較大，故單個攝像機無法拍攝完整的運動軌跡。為了解決這一問題，本實驗使用了3個水下攝像機將整個軌跡分成了3段，通過合理布置其各自的位置，可以滿足完整拍攝運動軌跡的目的。為更好地檢測水下運動物體圖像角點特征，在物體四周粘貼棋盤方格。試驗時，攝像機距離初始目標距離約為5 m，試驗水池水深為10 m。

3.1 單個相機所測軌跡

相機1部分時刻位置(圖8)及三維軌跡(圖9)。

圖8 相機1物體部分時刻位置

圖9 相機1所測物體軌跡

相機2部分時刻位置(圖10)及三維軌跡(圖11)。

相機3部分時刻位置(圖12)及三維軌跡(圖13)。

圖10 相機2物體部分時刻位置

圖11 相機2所測物體軌跡

圖12 相機3物體部分時刻位置

圖13 相機3所測物體軌跡

3.2 合成軌跡

水下作業布置相機位置時，保證3個相機視野兩兩有重合的部分，其視野重合相機模型如圖14所示。

圖14 相機視野重合模型

圖14設點在相機1坐標系和相機2坐標系下的坐標分別為(1,1,1)和(2,2,2)，則有下式成立

由旋轉矩陣的正定性及若干個重合點的坐標，即可計算出旋轉矩陣及平移向量。故可由式(23)將相機1和相機2的軌跡合并到同一攝像機坐標系下，同理，亦可將相機3的軌跡合并到同一攝像機坐標系下。合并軌跡如圖15所示。由圖15可知，在軌跡的周圍有些許偏移點，原因是在物體運動的過程中，可能發生了翻轉或者大幅度轉動，造成了攝像機拍攝的目標物體為另外一個靶標面，因此，計算出代表物體的三維點有些偏離。

3.3 誤差分析

目前商用的視頻運動分析軟件比較成熟，為了定量分析本實驗結果的真實性，本文將實驗結果與專業的運動視頻分析軟件TEMA計算出的軌跡作比較。以TEMA軟件計算出的坐標為真實值，以本文所述方法計算出的坐標為計算值得誤差分析見表4。但TEMA軟件需要引入折射產生的攝像機標定模型參數才可以進行水下運動視頻分析，操作比較復雜，難以在實際水下工程中應用。本文提出計算機視覺的方法相比較簡單，易于實現且精度較高。

表4 坐標誤差分析

4 結束語

本文通過對水下特殊環境的分析，利用修正的水下攝像機成像模型，進行了水下攝像機的內外參數標定，提出并實現了一種基于多攝像機計算水下運動物體三維軌跡的算法。本文實驗解決了無法拍攝大范圍物體運動軌跡的困難，利用多個水下攝像機同時拍攝物體運動，提出配準多個攝像機所拍攝到軌跡的算法，最終得到水下大范圍物體運動的配準后完整軌跡。實驗結果表明，基于引入折射的水下攝像機建模，在水下環境中能夠較為準確地獲取運動物體的軌跡數據，為海洋工程設備的施工提供了一定的參考依據。

[1] PSYCHARAKIS S G, SANDERS R, MILL F. A calibration frame for 3D swimming analysis [C]// ISBS-Conference Proceedings Archive. New York: IEEE Press, 2005: 901-904.

[2] PUIG L, BASTANLAR Y, STURM P, et al. Calibration of central catadioptric cameras using a DLT-like approach [J]. International Journal of Computer Vision, 2011, 93(1): 101-114.

[3] KWON Y. A camera calibration algorithm for the underwater motion analysis [C]//ISBS-Conference Proceedings Archive. New York: IEEE Press, 1999: 257-260.

[4] ALEXANDRI T, DIAMANT R. A reverse bearings only target motion analysis for autonomous underwater vehicle navigation [J]. IEEE Transactions on Mobile Computing, 2019, 18(3): 494-506.

[5] STOCKMAN G, SHAPIRO L G. Computer vision [M]. 2nd ed. 北京: 電子工業出版社, 2017: 2-15.

[6] SCHETTINI R, CORCHS S. Underwater image processing: State of the art of restoration and image enhancement methods [J]. EURASIP Journal on Advances in Signal Processing, 2010(1): 1-15.

[7] TREIBITZ T, SCHECHNER Y, KUNZ C, et al. Flat refractive geometry [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(1): 51-65.

[8] TSAI R Y. A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses [J]. IEEE Journal on Robotics and Automation, 1987, 3(4): 323-344.

[9] ZHANG Z. A Flexible new technique for camera calibration [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330-1334.

[10] LAVEST J M, RIVES G, LAPRESTé J T. Dry camera calibration for underwater applications [J]. Machine Vision and Applications, 2003, 13(5-6): 245-253.

[11] AGRAWAL A, RAMALINGAM S, TAGUCHI Y, et al. A theory of multi-layer flat refractive geometry [C]// IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2012: 3346-3353.

[12] 解則曉, 李緒勇, 辛少輝, 等. 水下線結構光自掃描三維測量技術[J]. 中國激光, 2010, 37(8): 2010.

[13] ZHOU F, ZHANG G. Complete calibration of a structured light stripe vision sensor through planar target of unknown orientations [J]. Image and Vision Computing, 2005, 23(1): 59-67.

Three-Dimensional Trajectory Visual Measurement Method for Underwater Moving Objects

LIU Tao1, WANG Ning-ning1, ZHANG Yi1, AI Shang-mao2

(1. College of Automation, Harbin Engineering University, Harbin Heilongjiang 150001, China;2. College of Shipbuilding Engineering, Harbin Engineering University, Harbin Heilongjiang 150001, China)

Aiming at the deep sea equipment suspension installation used in marine engineering, the multi-camera video motion analysis method is used to calculate the underwater three-dimensional motion trajectory, guiding the structural installation of the ocean engineering and analyzing the underwater motion features of the equipment. The processing of underwater video and image acquisition are facing a number of challenges. Firstly, due to the large amount of suspended matter and particles in the underwater environment, the light is scattered under water, which causes the underwater image to degenerate. Secondly, a major obstacle which underwater video motion analysis encounters is the image error caused by the refraction of light. Since the light is refracted among different media like water, glass and air, and the optical path is curved, the camera imaging model on land is no longer suitable for water use and a new underwater camera imaging model is called for. With a focus on the internal parameter and external parameter calibration method of underwater cameras, this study proposes an algorithm for calculating the three-dimensional trajectory of underwater moving objects and introduces an underwater camera imaging model with ray refraction. The underwater target motion video which is photographed by three underwater cameras fixedly arranged is proposed to calculate the 3D trajectory of the underwater target. This method is suitable for large-scale movement of underwater objects in a pool environment, and a relatively accurate trajectory can thus be obtained. The proposed method for measuring the underwater target motion trajectory is experimentally verified in the pool environment.

underwater camera calibration; three-dimensional trajectory; visual measurement

TP 391

10.11996/JG.j.2095-302X.2019050908

A

2095-302X(2019)05-0908-07

2019-05-05；

2019-07-22

國家自然科學基金項目(51409059)；黑龍江省博士后科研啟動金項目(LBH-Q16066)；中央高校基本科研業務費專項(3072019CF0409)

劉 濤(1979-)，男，遼寧法庫人，講師，博士，碩士生導師。主要研究方向為水下視覺探測與無人系統控制等。E-mail：liutao@hrbeu.edu.cn