基于雙目視覺的水下動態目標識別與定位方法研究

柳靖彬，劉衛東，李 樂，張帥軍，張文博，李艷麗

(西北工業大學 航海學院，西安 710072)

0 引言

當今，有大量的水下探測設備在水底用于海洋開發，當其完成任務之后，需要進行打撈和回收以獲取其工作信息[1]。在這一過程中，如何快速精準的對動態設備進行實時定位是完成設備回收的關鍵環節。

由于水和懸浮粒子對不同波長的光有選擇性的吸收和散射以及相機自身的局限性[2-3]，水下圖像通常存在光照不均勻的情況，成像設備所獲得的圖像的亮度和對比度整體不足，會對圖像的識別造成極大的干擾，因此，需要對圖像進行校正以獲得更清晰的圖像[4-7]。

目前，針對光照不均勻問題，比較常見的方法主要有Retinex理論、直方圖均衡化以及伽馬校正等。基于Retinex理論的方法通過對原始圖像進行高斯濾波來獲取光照圖像，最后將光照圖像從原始圖像中分離出來，從而獲得反射圖像[8-9]；直方圖均衡化方法過改變圖像的直方圖來擴大圖像中各區域像素的區別，最終得到高對比度的圖像[10-11]。伽馬校正方法通過提高圖像過低灰度區域以及降低圖像過高灰度區域來進行圖像校正，對亮度過高或過低的圖像有著明顯的增強效果[12]。

目前已有多位學者在以上算法的基礎上展開了進一步研究，李學明[13]依據Retinex的色彩理論將Retinex色度空間內的色彩線性映射到RGB空間，獲得了具有色彩逼真度、動態范圍大的增強圖像，但該方法運算量比較大，且無法保證動態范圍大幅度壓縮和對比度增強兩個指標；劉志成等[14]在Retinex理論的基礎上利用多尺度高斯函數提取出場景的光照分量，然后構造了一種二維伽馬函數，得到了高對比度的增強圖像，但是該算法增強亮度差異大區域的圖像時會產生光暈現象，并且對高光區域敏感度較小；李錦等[15]將直方圖均衡化和多尺度Retinex彩色恢復算法進行了結合，用直方圖均衡化對彩色圖像進行增強，將圖像按照一定的圖像融合規則進行加權融合，使圖像的亮度、對比度、細節等都有很大的增強，但運算時間過長，無法用于實際的運動物體識別過程中；陳育群等[16]利用雙邊濾波算法提取出圖像的光照信息對二維伽馬函數的圖像亮度校正因子進行改進，該算法具有較好的邊緣保持特性，雖然相比較上述方法在運算方面有較大提升，但是本身算法的運算復雜度依舊過高；王殿偉[17]等基于引導濾波提出了一種基于改進二維伽馬函數自適應亮度校正算法，該算法的運算時間與文獻[16]相比降低了10倍，且可以在保持原圖像的邊緣細節的前提下具有優秀的背景平滑特性，在實際應用中有著較好的應用前景，但在連續工作的過程中仍然存在設備卡頓的問題。

本文基于快速引導濾波的改進二維伽馬函數提出一種有著良好實時性與穩定性的水下動態目標雙目定位方法。首先利用卡爾曼濾波對目標運動區域進行預測，隨后利用改進的二維伽馬函數對預測區域進行增強，然后利用雙目相機對目標進行識別定位，最后經過試驗驗證了該算法的實時性與穩定性。

1 方案總體設計

本文的算法流程框架如圖1所示，主要分解為4個階段：1)對原始水下圖像進行張正友棋盤格標定之后進行圖像檢測獲取初始目標區域角點值(xo，yo，wo，ho)；2)利用卡爾曼濾波算法預測目標區域下一刻角點的預測值(xv，yv，wv，hv)；3)根據角點預測值截圖ROI區域，利用基于快速引導濾波調整光照分量后的二維伽馬函數進行圖像校正；4)對左右相機圖像檢測后獲得的中心像素點進行定位算法結算，得到目標在右攝像機坐標系下的三維空間坐標(x，y，x)。

圖1 水下雙目視覺定位系統框圖

2 算法研究與改進

2.1 基于快速引導濾波的光照分量提取

根據Retinex理論[18]可知，人通過肉眼感知得到的圖像F(x，y)是由兩部分的乘積組成，分別為反射分量R(x，y)與光照分量L(x，y)，其表達式為：

F(x，y)=R(x，y)·L(x，y)

(1)

其中：光照分量代表圖像的低頻特性，而反射分量決定了圖像的本質特性，代表圖像的高頻特性，能夠決定圖像的細節信息。在以圖像視覺為主的CV任務中，經常會遇到光照不均勻的圖像，此類圖像由于所處環境中的光照程度不同，導致目標物處的光照情況不同，這種情況往往會對圖像的對比度產生較大的干擾，從而影響到CV任務的最終結果。如果不能保證圖像中目標物的每處光強度都是均勻的會導致目標的某些重要的節信息無法提取，從而影響到最終的識別定位結果。因此，研究一種可以有效平衡光照不均勻圖像的算法有著重要的研究價值。

在設備方面，對于常用的光學成像設備而言，靠設備并不能滿足單獨分別光照分量的需求，這是因為設備獲取的圖像是由光照分量和反射分量共同作用的結果。因此，在對光照不均勻圖像的校正處理時，最大的難題是在充分保留圖像細節的前提下進行光照分量的提取。

目前，在圖像處理中使用較多的是HSV 顏色空間。因為RGB通道并不能很好地反映出物體具體的顏色信息，而相對于RGB空間，HSV空間能夠非常直觀的表達色彩的明暗，色調，以及鮮艷程度，以方便進行顏色之間的對比，因此，HSV空間在多項領域中更加常用。HSV表達彩色圖像的方式由3個部分組成，分別是色調H、飽和度S以及明度V。色調的取值范圍為0～360°，從紅色為起點按逆時針方向劃分顏色范圍分別為紅色(0°)、綠色(120°)及藍色(240°)。飽和度是光譜色與白色混合的結果，代表顏色與光譜色的匹配程度。飽和度高的顏色視覺上會更加鮮艷。通常取值范圍為0%～100%，值越大，顏色越飽和。明度表示顏色的明亮程度，對于光源色，明度值與發光體的光亮度有關；對于物體色，此值和物體的透射比或反射比有關。通常取值范圍為0%(黑)到100%(白)。可以看到，H與S空間分別代表圖像的色彩信息以及光譜色的飽和度，而V空間決定了顏色空間中顏色的明暗程度，故本文通過從HSV空間中提取V分量進行光照分量的提取，可以在分離出光照分量的同時，最大程度的保存圖像的細節信息。

引導濾波算法是一種可以保持邊緣的濾波算法。該算法顯式地利用引導圖像(guidance image)計算輸出圖像，其中引導圖像可以是輸入圖像本身或者其他圖像，與其他同類濾波相比，引導濾波有良好的邊緣保持效果并具有線性時間的速度優勢。引導濾波可以用于降噪、細節平滑以及聯合采樣等多個方面。對光照不均勻圖像進行引導濾波處理能夠有效得到圖像的低頻信息，并且引導濾波算法在同類算法中具有最低的運算復雜度。引導濾波算法中某像素點的輸出為：

qi=akIi+bi，?i∈ωk

(2)

式中，q為輸出圖像，I為引導圖像，ak和bk為當窗口中心位于k時該線性函數的不變系數，ωk為濾波窗口。該濾波算法的假定條件是：q和I在以像素k為中心的窗口中存在局部線性關系。對該式求導(即表示邊緣)可知，當引導圖像存在邊緣時，輸出結果便會出現邊緣，因此能最大限度的保留引導圖像的邊緣信息。 為了求解ak和bk并得到最小輸入圖像和引導的差值，假設p是q濾波前的結果，并滿足p與q之間的差值最小，根據無約束圖像復原的方法即可轉化為求最優化問題，其損失函數為：

(3)

式中，ε為規則化參數，輸入圖像為p。將i限制在窗口ωk中可避免a出現數值過大的情況。令損失函數分別在ak和bk處的偏導函數等于0可得到ak和bk的最優解，即可得到損失函數的最小值：

(4)

(5)

式中，ωk濾波窗口內的像素點數目為|ω|；圖像I在窗口中的方差與均值分別為σk和μk；窗口中pk的均值為pk。由于在不同的窗口中的ak和bk取值不同，并且這些不同的窗口會包含同一點像素，故需求出ak和bk在以該像素為中心點的不同窗口中的均值作為求qi的參數，其表達式為：

(6)

雖然引導濾波算法在各種具有邊緣保持效果的濾波算法中具有最低的運算復雜度，但仍然無法滿足運動圖像識別定位的實時性。為了進一步降低引導濾波算法的時間復雜度，在該算法的基礎上通過下采樣減少需要的像素點，利用輸入圖像和引導圖像的降采樣圖像來求解ak和bk后再上采樣恢復到原來大小。假設縮放比例為s，則快速引導濾波運算的時間復雜度由O(N)降為O(N/s2)，一般而言，該算法的運算速度會比引導濾波算法快10倍以上。

對攝像機提取的原圖像分離V空間作為輸入圖像p以及引導圖像I，則光照分量L(x，y)即為算法的最終結果q。

2.2 基于二維伽馬函數的自適應亮度校正

提取了圖像的光照分量后便可利用二維伽馬函數進行亮度校正，其表達式為：

(7)

式中，I(x，y)是輸入圖像的亮度；O(x，y)是輸出圖像；L(x，y)是提取出的當前點(x，y)上的光照分量值；γ為用于亮度增強的指數值，其中包含了圖像的光照分量特性；m值采用為當前圖像光照值的均值，為了節省算法的運算時間，采用文獻[17]的測量平均值128。

利用該算法對一幅光照不均勻圖像進行校正，處理前后圖像及其直方圖分別如圖2與圖3所示。

圖2 水下拍攝圖像與直方圖

圖3 水下校正圖像與直方圖

對比可知，經過算法處理后，原圖像中亮度過低區域圖像的亮度值得到了有效增強，而亮度過高區域的亮度得到了有效降低有利于發現亮度過高和亮度過低區域的細節信息。因此，本算法在提高圖像的視覺質量、發現過亮或者過暗區域的細節信息等方面具有重要的作用。

2.3 基于卡爾曼濾波的目標檢測方法

為了一進步提高算法的運算速度，本文利用經典卡爾曼濾波器用于預估下一時刻的狀態的特性對運動目標區域位置進行預測，以縮小圖像校正算法的校正區域，使算法的運算速度得到進一步提升。

采用初始時刻在圖像中檢測到的目標區域的像素值坐標X(O)=(xo，yo，wo，ho)分別作為系統觀測值初始化卡爾曼濾波器，通過狀態更新方程來預測下一時刻目標區域的位置，從而獲得系統在下一時刻的估計Xv(k)。其中，x、w分別代表目標區域矩形左上角點的相機像素坐標系橫坐標方向像素值以及矩陣的像素寬度值，y、h代表目標區域矩形左上角點相機像素坐標系縱坐標方向像素值以及矩陣的像素高度值。

其動態ROI窗口示意圖以及卡爾曼濾波預測效果如圖4與圖5所示。可以看到，卡爾曼濾波算法可以實時預估下一時刻目標在相機視場的位置，并且可以根據距離目標的遠近動態的調整ROI窗口的大小，避免了當目標發生旋轉等而導致目標在ROI窗口中部分丟失的情況，有力的保證了檢測識別的穩健性與算法的實時性。

圖4 動態ROI窗口示意圖

圖5 卡爾曼濾波算法跟蹤示意圖

2.4 水下目標檢測算法研究

結合2.1及本文實際應用場景中主要影響目標檢測的因素考慮，決定將圖像從RGB色彩空間轉換到HSV色彩空間，以便更好地感知圖像顏色，利用HSV分量從圖像中提取感興趣的區域。

首先選取目標物，本文采用藍色圓盤狀物體。通過2 000張理想環境目標物圖片的分量提取計算，采用HSV閾值范圍如下：H：[100，124]，S：[100，255]，V：[100，255]。

灰度閾值計算流程具體工作步驟為：

1)讀取當前視頻幀圖像并保存為frame，對frame進行RGB到HSV的空間轉換，轉換后的圖片保存為img，提取img的尺寸大小分別賦值給a，b；

2)賦值i=1，j=1，遍歷img空間，根據上文的閾值，按如下公式計算得到二值化圖像imgMask的每一個像素點值P(i，j)，imgMask圖像如圖6所示。

圖6 imgMask掩膜區域

(8)

3)利用摩爾鄰域跟蹤算法對imgMask進行輪廓提取，對提取到的參數進行融合計算即可得到目標中心點像素值，具體如圖7所示。

圖7 目標識別示意圖

2.5 水下目標定位算法研究

根據攝像機的個數，目標定位方法分為單目、雙目以及多目定位方法。由于單目相機在測距的范圍和距離方面存在一個不可調和的矛盾，即攝像頭的視角越寬，所能探測到精準距離的長度越短，視角越窄，探測到的距離越長而多目相機需要的設備空間較大以及運用成本翻倍，且多路圖像數據的處理難度加大，這對處理芯片的要求以及硬件的可靠性要求增高，因此采用雙目系統來研究水下運動目標定位算法。

在安裝好雙目攝像頭后，首先利用張正友標定法對雙目相機進行標定，得到雙目相機的內外參數矩陣模型；

其次，根據單目相機的坐標轉換關系建立相機坐標系到世界坐標系的轉換關系：

(9)

式中，w為世界坐標系，c代表相機坐標系，M1為相機內參矩陣，M2為相機坐標系到世界坐標系的外參矩陣；

隨后，根據(9)建立左右相機坐標系下的轉換關系，將世界坐標系與右相機坐標系進行重合，對兩式聯立即可得到如下的關于世界三維坐標點的方程組：

(10)

式中，l為左相機坐標系，r為右相機坐標系，(u，v)目標點再相機坐標系下的像素位置；

最后，將世界坐標系設在右相機坐標系位置，即Mr為單位陣，對方程組(10)進行求解后即可得到目標在有相機坐標系下的三維坐標(XW，YW，YW)。

3 試驗結果與分析

3.1 試驗場地與設備參數

本次實驗在水池實驗室的水箱中進行定位性能測試，如圖8所示。使用的雙目相機系統左右相機采用了deepsea power&light公司的Multi Sea Cam相機，其標定參數如表1與表2所示。

表1 左右攝像機水下標定參數

表2 水下立體標定參數

圖8 水箱試驗裝置

3.2 圖像校正算法試驗與分析

分別在明亮(場景1)，平常(場景2)以及昏暗(場景3)3個場景下對多尺度高斯函數(尺度因子c分別為15，80和250)、雙邊濾波(空間域權重σs=8，灰度域權重σr=4，濾波半徑r=21)、快速引導濾波(濾波半徑r=16，調整參數ε=0.01，下采樣倍率s=4)以及本文算法進行了圖像校正，為了方便對比，本文分別從主觀與客觀方面進行了展示，主觀效果如圖9至圖11所示，為了進一步比較不同算法的處理效果，衡量不同算法之間的校正效果，利用以下4個指標來展現不同算法校正后的圖像效果：標準差(SD，standard diviation)、平均梯度(AG，average gradient)、熵(entropy)以及單幀圖像處理時間(t/s)。標準差可以用來完美地表示數據的離散程度，標準差與均值相結合，可以描述正態分布特征，即估計正態分布下數據的頻數分布情況，標準差越大說明圖像的邊緣細節越清晰，圖像質量越好；平均梯度能反映圖像中細節反差和紋理變換，平均梯度越大說明圖像越清晰；熵是指圖像的平均信息量，它從信息論的角度衡量圖像中信息的多少，圖像中的信息熵越大，說明圖像包含的信息越多。單幀圖像處理時間(t/s)是算法處理圖像所需要的運行時間，時間越短，算法的實時性越好。以上3種場景的圖像經過不同方法處理前后的數據對比如表3所示。

表3 不同算法處理前后的客觀質量

圖9 明亮環境下的濾波校正效果對比圖

圖10 平常環境下的濾波校正效果對比圖

圖11 昏暗環境下的濾波校正效果對比圖

從圖中可以看出，在不同環境中，MSR算法可以顯著提高整幅圖像的亮度，但對于高亮圖片的處理效果一般，導致處理后的圖像的視覺質量不高，同時處理過程中放大了圖像中的噪聲，明顯地模糊了邊緣，對于高頻細節的保護效果并不明顯；雙邊濾波算法可以取得較好的處理效果，良好地保溜了圖像的邊緣細節，但是由于保存了過多的高頻信息，對于彩色圖像里的高頻噪聲，雙邊濾波器不能夠干凈的濾掉，只能夠對于低頻信息進行較好的濾波；快速引導濾波算法在高亮與高暗處的細節信息增強、提升圖像對比度等方面均取得了比較好的處理結果，而且處理后的圖像具有更好的視覺質量；而本文算法加入ROI預測區域后，縮小了圖像增強的區域，降低了算法計算區域，顯著提高了算法的處理時間，同時降低了非目標區域增強而對后續的識別定位算法造成的干擾從表中數據可以看到，經過本文算法處理后圖像在標準差，平均梯度，信息熵與算法運算時間上均有顯著的提升，有效的提升了圖像的對比度，清晰度，信息量以及處理速度，為目標的識別定位的實時性與穩定性提供了有力保證。

3.3 雙目定位算法試驗與分析

為了驗證本文水下動態目標定位方法的準確性，分別使用傳統的雙目定位算法(算法1)、全局圖像校正增強過后的雙目定位算法(算法2)以及基于ROI區域校正增強后的本文定位算法(算法3)在場景2中選取了10個點進行了目標中心點的三維坐標定位并與人工測量結果進行了對比結果如表4所示，并給出三組定位算法計算數據的誤差曲線如圖12所示。

表4 不同算法處理前后的目標三維坐標

圖12 x，y，z方向誤差

對比在不同位置的測量中，不做圖像增強的雙目定位算法在3個方向上的平均誤差分別為(1.6，1.4，1.9)(cm)；全局圖像校正增強后的雙目定位算法在3個方向上的平均誤差分別為(0.3，0.4，0.9)(cm)；基于ROI區域校正增強后的本文定位算法在3個方向上的平均誤差分別為(0.4，0.3，1.1)(cm)。可以看到，經過圖像校正增強后的雙目定位算法對區域中運動目標定位的測量精度均遠小于傳統的雙目定位算法所得定位誤差值，而本文所采用的算法與全局增強后的雙目定位算法測量誤差精度基本一致。表明本文算法在保證運行速度顯著提升的前提下在水下動態目標定位中能夠獲得有效的目標中心點空間位置信息，具有較高的定位精度。

4 結束語

在水下圖像拍攝的過程中，由于水和懸浮粒子對不同波長的光有選擇性的吸收和散射以及相機自身的局限性，拍攝到的圖像通常存在光照不均勻的情況，成像設備所獲得的圖像的亮度和對比度整體不足，會導致圖像具有的許多細節信息被忽略。針對這個問題，本文提出基于二維伽馬函數的亮度校正方法；針對亮度校正算法運行時間太長導致實際操作過程中圖像卡頓的問題，采用快速引導濾波算法進行光照分量的提取，并利用卡爾曼濾波對目標運動區域進行預測，大大降低了圖像算法校正處理的像素量，有效降低了算法處理的時間，提出了一種基于雙目視覺的水下動態目標定位方法，經過實驗驗證，本文算法在運行速度方面有著顯著提升，對比快速濾波算法由5 FPS提升到了35 FPS，且在保證算法的運算速度前提下，本文算法也有著較高的精度，在方向的平均相對誤差為3.59%，在方向的平均相對誤差為3.35%，在Z方向的平均相對誤差為1.42%。結果表明，該算法可以滿足水下動態目標跟蹤定位的實時性與魯棒性要求。