水下雙目視覺系統的高精度測量模型

解則曉 余江姝

摘要：針對雙目視覺系統進行水下拍攝測量時存在的測量誤差較大、局限性強等問題，提出了一種基于光線追蹤法的水下雙目視覺系統測量模型，實驗結果表明，利用上述測量模型對水下處于30個不同位姿的被測物上的標準距離進行重建，測量誤差平均值為-0.04197mm，最大誤差為0.2673mm，與空氣中雙目視覺系統測量精度相當。

關鍵詞：機器視覺;水下雙目視覺;水下攝像機標定;平面折射幾何

中圖分類號：TP391.41? ? ? ?文獻標識碼：A

文章編號：1009-3044（2019）20-0198-02

開放科學（資源服務）標識碼（OSID）：

Abstract： In order to improve the accuracy of underwater measurement based on stereo vision system，a measurement model of underwater stereo vision system is proposed based on refraction light path. The experimental results show that the above measurement model is used to reconstruct the standard distances of 30 underwater objects in different positions. On this basis， the proposed measurement model of underwater binocular vision system is applied to measure the standard distances between calibration points on underwater targets. The average measurement error is -0.04197mm， the maximum error is 0.2673mm， and the binocular vision system in the air is used to measure the standard distances between calibration points on underwater targets. The measurement accuracy is comparable.

Key words： machine vision; underwater stereo vision; underwater camera calibration and measument; Flat refractive geometry

1 引言

隨著全球經濟的發展和人們活動范圍的擴大，對海洋資源和海洋能源的需求不斷增加，對海洋環境的了解亟待提高。攝像機被作為聲學傳感器的補充在海洋地質勘測、考古和AUV自主導航[1]等方面都有巨大應用潛力在水下場景中，攝像機通常被密封在帶有玻璃窗的防水罩中，攝像機透過平面玻璃觀察水下環境，此時被測物反射的光線會經過水，玻璃防水罩和空氣三種介質進入相機鏡頭。由于三種介質的密度不同，傳播的光線在玻璃防水罩的上下表面會發生兩次折射，使得傳統成像模型不再適用，基于此而推導得到的陸上雙目視覺測量系統的數學模型也不再成立。針對此問題，文獻[2-3] 用將相機成像平面后移即對攝像機焦距線性加倍的方法，來近似折射帶來的變化，但由于折射造成的成像點的誤差是隨折射角的變化而變化的，是非線性的，并不能用線性關系很好的表現。文獻[4-6]將折射帶來的影響用鏡頭的高次畸變來代替，即通過對鏡頭高次畸變系數的計算，來補償折射帶來的水下圖像的畸變，但對于與鏡頭遠近不一的被測物，不同的距離應對應不同的高次畸變系數，所以此方法精度對景深較為敏感，有一定局限性。由于上述對折射近似方法的局限性，目前考慮光線折射的物理過程的水下相機成像模型的建模與相關參數的標定成為國內外研究的熱點[7-8]。本文提出了一種基于光線追蹤法的水下雙目視覺系統測量模型，并利用上述測量模型對水下標準距離進行重建恢復，其測量精度與空氣中雙目視覺系統測量精度相當，有效克服了折射對視覺系統的影響。

2 系統結構圖

攝像機被應用到水下場景中，一般都被密封在帶有平面玻璃的防水罩內，攝像機通過平面玻璃觀察水下被測物，本文通過將被測物放置在帶有平面玻璃的水箱內，雙目攝像機放置在水箱外側的方式來模擬相機被密封在帶有平面玻璃防水罩內的拍攝形式，系統結構圖如圖1所示。

設水下有任意一被觀測點[P]，以[P]在左攝像機下的成像為例，對其折射光路進行分析，[ocl]為左攝像機光心，[PL0]為[P]經平面玻璃防水罩折射后在左攝像機像面上的成像點，[PL1]、[PL2]分別為[P]點的左折射光路與平面玻璃防水罩內、外側表面交點，[vL0]、[vL1]、[vL2]分別為折射光路[oclPL1-PL1PL2-PL2P]各個光路段對應光線的方向向量;[n]為平面玻璃防水罩的法向量，即折射平面的法向量，[dl]為平面玻璃防水罩內表面到左光心的距離，[dg]為平面玻璃防水罩的厚度，[μ1]、[μ1]、[μ2]為空氣、玻璃和水的相對折射率。

設成像點[PL0]經鏡頭畸變補償后像面坐標系下坐標為[[Xl，Yl]]，則其對應的入射光線[oclPL0]在左攝像機坐標系下的方向向量為其中[nl]為平面玻璃防水罩的法向量在左攝像機坐標系下的值，[ocl=[0，0，0]T][PL1=[xL1，yL1，zL1]T]為點[ocl]、[PL1]在左攝像機坐標系下坐標值。

根據折射定律以及光線追蹤法，設折射前、后光線方向向量分別為[vi]、[vi+1]，且折射平面法向量為[nl]，則可將折射后光線方向向量表示如下其中[Pcl]為水下被觀測點[P]在左攝像機坐標系下的三維坐標值。

相類似的，對右攝像機成像光路進行分析，可得成像點[PR0]對應的入射光線[ocrPR0]在右攝像機坐標系下的方向向量為又兩攝像機坐標系間旋轉矩陣為[Rrl]、平移向量為[trl]，則[RrlvR0]即為方向向量[vR0]在左攝像機坐標系下的坐標值，將其帶入式（4），即可得經玻璃上、下表面折射后光線[PR1PR2]、[PL2P]在左攝像機下的方向向量[vR1]、[vR2]。

且有折射光路與平面玻璃防水罩上、下表面的交點[PR1、PR2]在左攝像機坐標系下坐標為聯立上述兩方程求交點，即可求解得[λwl]、[λwr]，由式（13）即可得到水下被觀測點[P]在左攝像機坐標系下的坐標值[Pcl]。再利用式攝像機坐標系與世界坐標系之間的轉換關系[R]、[T]，即可得到[P]在世界坐標系下的坐標，但由于實際采集圖片過程中噪聲的存在或系統誤差的存在，上述兩光線可能相互異面，若兩光線異面，求解兩異面直線公垂線的中點，就其近似為待求的空間點[P]。

4 實驗與結論

為了驗證所提出方法的可靠性，進行模型參數標定和水下靶標上標準距離測量實驗。水下雙目視覺系統實驗臺如圖3所示，雙目攝像機前水箱玻璃相當玻璃防水罩的折射平面，用此來模擬相機被密封在平面玻璃防水罩內的拍攝情況。實驗所用的立體視覺系統選用Watec公司生產的WAT-902B模擬攝像機，該攝像機分辨率為752pixel（H）×582pixel（V），像元尺寸為8.6?m（H）×8.3?m（V）;鏡頭選用Computar公司生產焦距為8mm的百萬像素級的工業鏡頭0814-M，并選用Euresys公司的Picolo Pro2采集卡對模擬相機圖像進行采集。所用標定靶標為如圖4所示的水箱內的圓點形靶標，靶標行、列方向上每兩個標記點圓心的標準距離為25mm。

利用本文算法重建得到的水下30個姿態下靶標上標定點水下的三維信息后，對靶標上距離最遠的大圓圓形標記點圓心間的150mm標準長度進行恢復，測量平均誤差為-0.04197mm，最大誤差為0.2673mm，且此時對應的靶標傾斜角較大。而再用本文系統對空氣中靶標上150mm的長度進行測量時，測量平均誤差為0.03107mm，最大誤差為0.1579mm。

參考文獻：

[1] Jordt A， K?ser K， Koch R. Refractive 3D reconstruction on underwater images[J]. Methods in Oceanography， 2016， 15-16： 90-113.

[2] Ferreira R.， Costeira J.P.， Santos J.A. （2005） Stereo Reconstruction of a Submerged Scene. In： Marques J.S.， Pérez de la Blanca N.， Pina P. （eds） Pattern Recognition and Image Analysis. IbPRIA 2005. Lecture Notes in Computer Science， vol 3522. Springer， Berlin， Heidelberg.

[3] Lavest J.M.， Rives G.， Lapresté J.T. （2000） Underwater Camera Calibration. In： Vernon D. （eds） Computer Vision - ECCV 2000. ECCV 2000[C]. Lecture Notes in Computer Science， vol 1843. Springer， Berlin， Heidelberg.

[4] Shortis M R， Harvey E S.? Design and Calibration of an Underwater Stereo-video System for theMonitoring of Marine Fauna Populations[J]. International Archives Photogrammetry and Remote Sensing，1998，32（5）：792-799.

[5] Shortis M R， Harvey E S.? Design and Calibration of an Underwater Stereo-video System for theMonitoring of Marine Fauna Populations[J]. International Archives Photogrammetry and Remote Sensing，1998，32（5）：792-799.

[6] Lavest J，Rives G，Lapreste J. Underwater Camera Calibration[J]. Lecture Notes in Computer Science，2000：654-668.

[7] Agrawal A， Ramalingam S， Taguchi Y， et al. A Theory of Multi-layer Flat Refractive Geometry[C]// IEEE Conference on Computer Vision and Pattern Recognition（CVPR）， 2012：3346-3353.

[8] ?uczyński T， Pfingsthorn M， Birk A. The Pinax-model for accurate and efficient refraction correction of underwater cameras in flat-pane housings[J]. Ocean Engineering， 2017， 133： 9-22.

【通聯編輯：梁書】