水下對空成像中的波面復原

馬春波　付小清　敖珺

摘要：在水下對空成像過程中，物體受海水波面折射作用的影響，會產生嚴重的畸變。為了快速有效地校正圖像，對隨機波動的波面進行重建就成為一個重要的課題。利用基于光線透過小孔形成的光斑變化，分析并計算得到波面的梯度信息，進而通過梯度算子的最小二乘法反演波面高度，最終實現波面的三維重建。實驗表明該方法能有效的復原波面，為扭曲圖像的矯正提供了條件。

關鍵詞：對空成像;三維重建;波面復原

中圖分類號：TP18 文獻標識碼：A

文章編號：1009-3044（2020）20-0013-04

Wave Restoration of Through-Surface Underwater Imaging

MA Chun-bo， FU Xiao-qing， AO Jun

（School of information and Communication. Guilin University of Electronic Technology， Guilin 541004， China）

Abstract： In the proc：ess of underwater air-to-air imaging， objects are affected hy the wave surface refraction of the seawater. whichwill cause severe distortion. In order to quickly and effectively correct the image， it is an important suhject to reconstruct the wavesurface of random fluctuation. Based on the previous work， this paper analyzes and calculates the wave gradient information basedon the change of light spot formed by the light passing through the small holes， and then uses the least square method of the gradi-ent operator to invert the wave height to finally realize the 3D reconstruction of the wave. Experiments show that this method can ef-fectively restore the wave and provide ccmditicms for the correction of distorted images.

Key words： through-surface underwater imaging; 3D reconstruction; wave restoration

水下對空成像是利用攝像機從水下對空中目標成像的技術，但由于水面波動的影響，造成拍攝圖像的扭曲和變形。如果能實時地恢復波面的三維形態，那么就可以根據波面信息對扭曲圖像作補償校正。

一直以來，水以及其他液體表面形態的重建吸引了大量研究者的興趣，而基于光反射或折射的表面斜率測量是最為廣泛和有效的方法。1958年，Cox[1]首次提出使用準直光束線性增加的強度編碼測量一個斜率分量，從而得到光強和斜率的一一對應;1983年，Keller等人[2]使用散射光代替準直光簡化光學裝置，沿一個方向使用不同強度的光源，測量得到表面斜率和高度的組合;1990年，Kurata等人[3]首次討論了一種圖像編碼方法，從結構化圖案發射的散射光通過波面生成圖像，通過圖案的位移變化得到表面的梯度場;1996年，Zhang xin等人[4]采用帶有顏色編碼的準直光束系統測量表面的兩個斜率分量，實現不同區域的折射光線標記與跟蹤;2004年，Elwell等人[5]對淺水流中渦旋引起的表面變形進行定量測量，并利用測量到的梯度分量的累積進行表面高度重建;2007年，Howard Schultz等人[6]研究基于偏振成像的水面波紋形貌測量與重建，利用自然反射光或折射光的偏振狀態與波紋抖度有關的特點，從測量光的偏振狀態中進行抖度提取和波紋重建;2009年，F.Moisy等人[7]巧妙地設計了一種基于自由表面合成條紋照相法的透明液體表面形貌測量方案，通過相機透過液體對水槽底部的隨機編碼點紋成像和解碼，實現對表面的三維重建。此外，光場校正法、光學標簽法、相機陣列法等也有相關的報道[8]-[10]。

本文在前人的工作基礎上，模擬水下針孔陣列，記錄太陽光經過波面折射后形成的光斑，而光斑的位置信息反映了波面的表面梯度信息。基于梯度算子的最小二乘法反演得到曲面高度，從而得到波面的數值重建。這種低成本和多用途的光學方法提供了波面的定量測量，有助于扭曲圖像校正等工作的開展。

1波面復原原理

基于光反射或折射的表面梯度的測量是波面恢復最為廣泛且有效的方法之一[11][12][13]，其原理如圖1所示。太陽光作為人射光線Sa在波面的q點發生折射，折射光線Sw經過小孔奧h在x軸所在平面位置p點生成光斑。根據折射定律，能夠求出波面q點的表面梯度N。每個光斑對應波面上一個采樣點，因此，得到系列光斑與波面梯度的一一對應關系。最后，基于波面梯度的最小二乘法反演出波面高度，實現波面的三維重建。

1.1波面表面梯度的計算

如圖1所示，太陽光線平行地穿過波面區域，在波面下方放置帶有均勻小孔h的擋板，經過波面的折射，光線在擋板下方zh高度的擴散面p點形成光斑。Sω為逆折射光線，Sω表示Sω的單位向量，方向由p指向h。

在空氣中，逆入射光線單位向量為Sα。已知折射定律：

式中n，n'分別為空氣和水的折射率，I，I分別為人射光線和折射光線與法線方向N的夾角，由折射定律的矢量表示法得到：

其中，×表示向量積。在直角坐標系中，水平坐標（x，y）對應于針孔陣列軸，z表示擴散面以上的垂直方向。向量Sα，Sω可以表示為：

式中，Sax，Say，Saz為向量Sa在x，y，z坐標軸上的投影長度，i，j，k表示m，y，z坐標軸方向的單位向量，Sω同理可得。所以，式（3）可以表示為：

Sa，Sω和N由其各坐標軸分量表示，得到：

進一步化簡，向量積可表示為標量乘積，得到：

令上式左邊矩陣為A，所以，式（6）寫成如下表達式：AN=0

根據太陽的方位可知Sa，Sω由實驗數據并根據公式（1）計算得到，因此，矩陣A是已知的，由公式（7），Sω與Sa在波面的交點q的梯度N可求，即矩陣A的非零子空間。每一個針孔對應波面上一個采樣點，對于所有的點求N，得到一系列采樣點的梯度向量{Nk}。因為波面未知，所以交點q是不確定的，為了解決這個問題，取波面靜止高度Zfat為交點所在高度，對此得到：

也就是通過針孔hk的光線在波面qk處發生折射。

1.2波面高度的重建

表面高度重建的問題其本質就是由梯度到高度的積分問題[14][15]。因為對于已知的三維表面，其表面高度分別對x，y兩個方向求偏導數即可得到表面的完整梯度信息，假設物體表面任意點坐標為（x，y），所在點的高度值為h（x，y），則有：

ξx ，ξy 為點（x，y）在z，y方向上的梯度分量，高度求偏導數即是梯度數據，因此基于梯度數據的三維表面重建就成了是積分運算。首先考慮沿著一條從參考點（O，0）到給定點（x，y）的任意路徑的簡單積分，可以得到點（x，y）的高度為：

由上式可知，在給定點上對斜率ξx或ξy 的錯誤測量會沿整個路徑傳播，造成嚴重的噪聲積累效應。

一種更有效和準確的方法是使用線性代數方法處理梯度向量。將待恢復波面分成M*N個網格，每個網格內包含一個采樣點。

在網格上所有采樣點的高度h（x，y）組成一個長度為MN的向量H，則x，y方向上所有采樣點的梯度向量可以表示為：

其中Gx和Gy大小為MN*MN，定義了H的線性組合以產生每個梯度。通過對邊界元素的適當處理，Gx和Gy可以表示為H組合的二階中心差分。

1）在x方向上，ξx與h的關系為：

式中G=（GX，Gy）T是大小為2MN*MN的稀疏矩陣，=（X，y）T是長度為2MN的向量。因此，方程組（13）具有MN個未知數和2MN個方程，被稱之為超定線性方程組，不能直接計算得到方程解。然而，通過最小化殘差，可以得到川拘估計：

該方法在最小二乘法意義上產生超定線性方程組的解

2實驗仿真

根據第一節內容，在實驗平臺MATLAB下進行仿真。

2.1實驗流程

實驗圍繞著原理1.1和1.2進行，實驗流程如圖2所示。

首先P-M譜模擬三維海浪，并在海浪下固定小孔陣列。太陽光線經過波面折射，穿過小孔在小孑L下方接收面生成光斑。對接收區光斑分離，與小孔一一對應，最后由1.1節求得波面區域得表面梯度，1.2節還原波面高度，最終實現波面重建。

2.2實驗處理與結果分析

仿真過程中處理步驟如下：

（1） P-M譜描述海浪運動是模擬海浪的常用方法，其模型可以表示為：

其中，z是波面的波高，aij是各次諧波的振幅，ki是波數，θj是諧波方向的方位角，ωi是波頻率，εij是各諧波的相位。波數和方位角隨機產生，M，N分別是波數和方位角的采樣區間總數。

參數設置：劃分頻段數M= 51，采樣點數Ⅳ=100，方向角均勻劃分，t= 10s，仿真波浪如圖3所示。

（2）在波面下方固定小孔陣列，小孔行列數為m*n，孔間隔為d。由第二節，太陽光線經過波面折射，穿過小孔會在陣列下方的接收面形成光斑。理論上有無數條光線R透過波面，并有m*n條光線剛好穿過小孔形成光斑，且光斑與小孔相互對應。

（3）仿真過程中，為了從R條光線中選定m*n條光線，對于m*n個小孔，在每個小孔位置處做分塊處理，并從塊內選擇最接近小孔位置的光線，最終在接收面得到m*n個光斑，如圖4所示。參數設置：m*n=11*12.d=18mm，R=110*120。

（4）處理得到折射光斑位置序列{p}，光斑與小孔位置{h}一一對應，已知三維位置信息后我們可以根據1.1節求逆折射光線與波面交點的梯度{N}。

（5）最后根據原理1.2實現還原高度，實現波浪的三維重構。還原波面與模擬波面對比結果如圖5所示。

實驗結果表明該方法能有效地實現波面重建。

3結束語

本文依據前人工作，實現了一種波面復原的方法。在實驗室條件下，將光線在波面折射作用下生成的光斑位移變化轉換為波浪表面梯度的信息，進而還原三維波面，并驗證了實驗的可行性。這種低成本和高時效的復原方法為后續水下對空成像的圖像矯正提供定量分析，以及為更多需要波面信息的工作提供了條件。

參考文獻：

[1] Cox C S.Measurement of slopes of high frequency wind

waves. J Mar Res，1958（16）： 199-225.

[2] Keller W C， Gotwols B L.Two-dimensional optical measure-ment of wave slope[J].Applied Optics， 1983，22（22）：3476.

[3] Kurata J，Grattan K T V，Uchiyama H，et aI.Water surface mea-surement in a shallow channel using the transmitted image ofa grating[J]. Review of Scientific Instruments. 1990， 61（2）：736-739.

[4] Zhang X，Dabiri D.Charib M.Optical mapping of fluid densityinterfaces：Concepts and implementationsLJl.Review of Scientif-ic Instruments， 1996，67（5）： 1858-1868.

[5] Elwell F C.Flushing of emh ayments. PhD thesis[D].Universityof Cambridge，2004.

[6] H. Schultz and A. Corrada-Emmanuel. System and methodfor imaging through an irregular water surface. 2007.

[7] Moisy F，Rabaud M.Salsac K.A synthetic Schlieren method forthe measurement of the topography of a liquid interface[J].Ex-periments in Fluids，2009，46（6）： 1021-1036.

[8] A. Ashok and M. A. Neifeld. Compressive light field imaging.In SPIE Defense. Security， and Sensing， 2010.

[9] I.thrke，B.Goidluecke. and M. Magnor. Reconstructing thegeometry of flowing water. In IEEE ICCV， 2005（2）：1055-1060.

[10] Lumsdaine A.Georgiev T.The focused plenoptic camera. InIEEE ICCP. 2009：1-8.

[11] Alterman M， Swirski Y， Schechner Y Y.STELLA MARIS：Stellar marine refractive imaging sensor[C]/2014 IEEE Inter-national Conference on Computational Photography （ICCP）.IEEE. 2014.

[12]S.G.Narasimhan.S.K.Nayar，B.Sun. et al.Structuredlight in scattering media. In IEEE ICCV. volume 1，2005：420-427.

[13]I.Sato，T.Okabe.Y.Sato. Bispectral photometric stereoBased on fluorescence. In lEEE CVPR.2012：270-277.

[14]荊海龍，蘇顯渝，劉元坤，等.基于條紋反射的鏡面測量及三維重建算法分析[J].光電工程，2008，35（10）：37-42.

[15]黃超.基于條紋反射術的高反射曲面三維重建算法研究[D].南昌：南昌航空大學，2017.

【通聯編輯：唐一東】

收稿日期：2020-03-03

基金項目：廣西自然科學基金資助（項目編號：2018GXNSFAA294056）

作者簡介：馬春波，男，教授，博士后，碩士研究生導師，主要從事光通信技術、通信系統安全技術、網絡安全方面的研究工作;付小清，男，碩士研究生，研究方向：信號處理;敖珺，女，教授，博士生導師，研究方向：通信信號處理。