基于光強—光譜—偏振信息融合的水下目標檢測

陳哲，王慧斌，沈潔，徐立中

（河海大學 計算機與信息學院，江蘇 南京 211100）

1 引言

水下目標檢測是水下目標定位、跟蹤及識別等系統的關鍵單元[1～3]。由于水介質本身及懸浮顆粒所造成的光譜、光強衰減及光線散射，導致水下圖像色彩畸變、細節模糊，并且這種影響并非穩定的，隨著水質、成像水深及視距而發生動態變化[4]。由于這種復雜多變且顯著迥異于大氣的光學環境[5,6]，簡單的移植或改進常用的機器視覺算法進行水下目標檢測的策略在實際應用中被證明存在較多弊端，主要體現在算法頑健性的嚴重降低。針對目標檢測算法的水下適應性問題，目前的研究工作主要集中于通過各種預處理方法提高原始圖像的質量，為后端的信息處理提供支持。其中，基于先驗知識的水下圖像恢復算法因為其較為完備的理論基礎以及較為出色的性能，引起了極為廣泛的研究興趣[7,8]。它將成像過程視為激勵—響應過程，將獲取圖像反卷積點擴散函數來獲取清晰圖像，以增強水下圖像視覺效果為目的。在以圖像恢復為預處理的目標檢測中，由于成像模型通常以傳播介質折射率，衰減度、成像距離等物理參數為先驗知識，造成復雜環境中的知識學習及率定十分困難，嚴重影響實際應用中的便捷性和推廣性。甚至在有些情況下由于知識的不適定性，極易造成目標、背景信息的擾動，反而增加了目標檢測的困難性。本質上，水下目標檢測的目的是通過區分圖像中目標、背景信息間的差異實現對目標區域的提取。因此，理想的預處理算法應能夠最大化拉伸目標同背景間的對比度。圖像恢復算法顯然不具備此類功能。因此對于水下目標檢測，如何通過對先驗知識設計、學習及引入策略的優化，在提高檢測精度的同時盡可能地減少計算復雜度，是本文所思考的主要問題。

水下生物視覺機制給予我們一個可以借鑒的范例。對水下生物視覺系統的生理學研究發現，限于組織結構的規模，水下生物視覺系統不可能實現復雜的圖像預處理計算，因而其所獲取及處理的圖像按照人類視覺感知標準必然是“低質量的，模糊的”[9]。進一步的生物學研究還發現大多的水下生物能夠對光強、光譜及偏振3種光學信息敏感，并且敏感特性及融合方式同其特定棲息環境中的光學環境相匹配[10]。同傳統水下機器視覺算法相比，這種信息的處理機制反應出一種全新的系統設計框架，即在不進行圖像預處理的前提下將先驗知識直接引入到圖像數據的高級處理階段，實現目標檢測。基于此，本文歸納不同環境中生物視覺組織結構的變化規律，并仿照生物視覺的信息處理模式最終提出一種新的基于先驗知識指導的多信息仿生融合算法。該算法估計當前水下光學環境中目標檢測任務對不同光學信息的依賴度，以此形成融合權重實現加權融合。不同于水下圖像恢復方法將先驗知識用于對原始圖像數據的處理，新算法直接將水下光學先驗知識引入到目標檢測過程中，指導特征層面的信息優選及融合。真實水下環境中的實驗證明，本方法在原始圖像的基礎上能夠直接實現精度較高且復雜度較低的目標檢測。

2 水下生物視覺信息融合模型

水下生物視覺在長期進化過程中逐步優化其視覺器官的組織結構，最終使其光強、光譜及偏振視覺敏感特性同棲息地的光學環境特性相匹配。與通常的信息處理方式不同，這種視覺信息融合方式是隨光學環境變化而變化的，體現出一種特有的適應性信息融合機制。本節以水下甲殼綱昆蟲為例總結歸納生物視覺敏感機制中所反映出的視覺信息適應性融合機制。

水下甲殼綱昆蟲的棲息地極為廣泛，幾乎覆蓋全世界所有緯度以及所有深度的水域。從寒冷的兩級到炎熱的赤道，從明亮的海洋表面到海洋中層直至海底均生存者不同種類的甲殼綱生物，這種極強的環境適應能力在昆蟲中是不多見的。最新的生物學研究證明，它們敏銳的視覺主要依賴于獨特的復眼敏感特性及其對棲息地光線環境的適應。這種能力使其能夠接收光強、光譜信息外還具備偏振信息的采集、處理能力。生活在不同光線環境中的甲殼綱昆蟲的復眼在中央帶小眼組成、小眼孔徑，小眼數量以及小眼視域重疊度等方面上均有顯著差異。而生活在同一水域中的昆蟲在以上幾項指標上卻較為相近。總體上，隨著水深的減小，環境光線強度逐漸增加；光譜信息逐漸豐富；中央帶小眼更加的發達；小眼可接收孔徑逐漸減小；小眼數量逐漸增加；視域重疊逐漸減小。結合物理成像知識以及生物解剖學研究成果發現這一變化對應著光譜敏感性及成像分辨率的增加，光強、偏振敏感性的降低。同水下光學成像研究結果對比后發現，這一生物視覺變化趨勢與不同環境中的光學特性變化完全匹配。例如，在深水區域，色彩信息幾乎衰減殆盡，僅有微弱的光強信息的存在，此時用于獲取色彩信息的中央帶小眼明顯衰退甚至消失，而上下半球小眼則以犧牲空間分辨率為代價換取光強信息的累積。而對于淺水區域的個體而言，其視覺敏感特性與此恰好相反。這種視覺調節機制能夠將自身的視覺敏感及信息處理機制同周圍光學環境相適應，實現最優的光學信息采集及融合。結合目標檢測問題，給予我們的啟發是：在水下目標檢測任務中，如果能夠有效地估計當前水下光學環境中的不同光學特征的顯著性，作為先驗知識指導檢測計算，將有助于提高檢測結果的頑健性。鑒于此，通過模擬抽象甲殼綱昆蟲視覺的并行分級神經系統及池細胞等“調制細胞”的極化、去極化的工作模式，采用線性加權求和模型模擬視覺信息的融合過程。

其中，iw為信息融合權重，用于模擬生物視覺對某種光學特征的依賴程度；ir為初級目標檢測結果，用于模擬生物視覺對相應光學信息的響應；R為最終目標檢測結果。

3 水下目標檢測框架

為了實現快速高效的水下目標檢測，首先，仿照甲殼綱昆蟲的視覺敏特性，對目標圖像提取光強、光譜及偏振光學特征。隨后，將學習得到的水下光學先驗知識直接引入到多信息線性加權融合模型中，完成水下目標的檢測。系統框架如圖1所示，主要包括水下光學先驗知識學習以及知識指導下的信息融合。

圖1 基于先驗知識的水下目標檢測框架

3.1 基于單一特征的水下初級目標檢測

初級目標檢測主要包括圖像特征提取及檢測 2部分。圖像特征主要考慮光強、光譜及偏振特征。算法流程如圖2所示。

圖2 初級目標檢測

3.1.1 多特征提取

對于圖像特征除了考慮到目標同背景間的光強、色彩的差異之外，針對水下強散射環境所可能產生的偏振差異，綜合提取光強、光譜及偏振特征。其中，在顏色初級特征提取時，將原始RGB通道變換為調制色彩通道：其中r、g、b分別為原始RGB圖像3個色彩通道。對于亮度初級特征，本文取r、g、b 3通道強度的均值： I = ( r + g + b )/3。偏振特征提取時首先通過線偏振濾波片的旋轉，采集偏振角α=0°、45°、90°方向上的目標灰度圖像I。然后，根據 Stokes方程I = A s in[2(φ -α) + π4]+B 解得偏振度δ=A B并歸一化表征為灰度特征圖。考慮到目標同背景間的紋理差異，對該特征圖采用二維 Gabor濾波器來提取0°、45°、90°和135°這 4 個方向上的特征。

3.1.2 初級目標檢測

基于單一特征的水下目標初級檢測結果是后端多信息融合的基礎。比較分析了現有目標檢測算法在水下環境中的性能，選擇視覺注意機制算法[11]。

在視覺注意機制算法中，為了實現中央周邊差計算，首先需要對原始圖像的像素點值進行降采樣，分別獲得6、12、24層低分辨率圖像。然后，通過不同層圖像中對應點的差確定中央層和周邊層，并對分辨率較低的周邊層進行插值，放大至中央層分辨率。最后，兩層之間的對應像素再次相減，生成相應層的特征圖。對每組特征圖，采用迭代非線性歸一化算子N(·)實現特征圖合并。對給定特征圖 F(c,(c+s))，N(·)算子的計算如下

其中，DOG表示雙高斯差分函數，C是引入的偏置。

3.2 先驗知識學習

為了能夠在自然環境下較為簡便、準確地獲取水下光學知識，本文設計了一種基于標定圖及機器學習方法。首先，設計具有典型代表性水下標定圖像，并將其置于待測水下環境中成像，生成訓練樣本。隨后，設計初始權重對初級目標檢測結果融合。最后，根據標定圖像的檢測結果對權重進行優化，使得檢測結果能夠最優逼近真實的目標區域。通過該學習方式，可以得到當前水下光學環境特性所決定的目標檢測任務對不同光學信息的依賴度。其中標定圖、損失函數及優化函數的設計是該方法的關鍵。

3.2.1 標定圖設計

在標定圖設計中，針對水下目標檢測任務，較為注重背景和目標的光強、光譜，以及偏振特征間的差異。因此對于標定圖，需要綜合設計不同色彩，不同輪廓的假想目標。其中分別設計正方形、三角形，圓形、高斯形目標用于模擬不同空間形狀以及突變或平滑漸變的輪廓形態。著色分別對應682nm、607nm、577nm、542nm、492nm、462nm、410nm譜段、黑色及彩色條紋。將該 36張標定圖置于待測水下環境中，進行光學成像，生成彩色及三方向偏振圖像。

3.2.2 損失函數的設計及優化

考慮到利用損失函數度量目標檢測結果同真實目標區域間的差異。若目標檢測結果及真實目標區域均表示為二值化掩膜圖，二者間的差異可以采用點對點的距離度量來表示。

其中， (,)S i j表示目標檢測結果中對應像素點(,)i j的強度值，mask(,)S i j為真實目標區域圖中相應點的值。對其進行優化

約束條件

由于變量kw較低的自由度，本文采用窮舉算法實現最優的估計效果。

3.3 算法描述

本文所述的基于知識的水下目標檢測算法主要包括水下先驗知識學習及基于多信息融合的目標檢測2部分。先驗知識的學習主要包括標定圖目標區域檢測及優化。檢測主要包括測試圖目標區域檢測及校正，其中校正采用區域生長算法[12]，用于邊緣平滑。算法流程如下。

1) 水下先驗知識學習

步驟1 提取標定圖顏色、亮度及偏振特征。

步驟2 基于視覺顯著模型的標定圖初級。

2) 目標檢測

步驟1 基于初始權重的多信息融合式(4)。

步驟2 建立誤差函數進行權重優化式(5)。

3)水下目標檢測

步驟1 提取測試圖顏色、亮度及偏振特征。

步驟2 基于視覺顯著模型的測試圖初級。

4)目標檢測

步驟1 基于最優權重的多信息融合式(4)。

步驟2 檢測結果校正。

4 實驗及結果討論

水下圖像采集于 2012年 7月 14日 10：00（UTC/GMT+ 8.00，地點位于中國江蘇省南京市河海大學池塘（經度：118.7°，緯度：31.9°），氣象條件陰，水下能見度小于 85cm，水下背景顏色為淺黃色。選用Nikon CMOS商用數字相機并外置防水罩進行水下成像實驗，有效像素為 510萬，選擇B+W線偏振片。待測目標選擇圓柱的人造目標。水下標定圖像及待測目標的成像距離為 40cm，成像水深40cm。

通過36幅水下標定圖像學習得到的3種特征所對應的最優權重的統計直方圖如圖3所示。從圖中可以看到三類特征所對應的權重具有明顯的聚類效果，其中顏色特征的權重主要集中在[0.05，0.25]，亮度特征主要分布在[0.1，0.45]，方向特征則分布在[0.4，0.85]區間內。通過高斯曲線的擬合，以高斯均值為該權重的代表點。可以看到權重間具有顯著差異，這一現象進一步從實驗角度證明：在水下環境中，不同特征對目標信息的表征及檢測能力不同。據此，所獲得的代表點為1w=0.079 4、w2=0.303 8、 w3=0.616 8，分別對應顏色、光強及偏振信息的融合權重。從中可以看出在當前水下環境中目標檢測對色彩特征的依賴程度較低，更大程度地依賴于光強及偏振特征。

圖3 先驗知識（權重分布）

對于待測目標，所獲得的彩色圖像、三方向偏振圖像及計算所得偏振度圖像如圖4所示。從偏振度圖像中可以看到，由于景深短，目標同背景間僅能產生較為微弱的偏振差異。盡管如此，偏振度圖像仍然能夠很好地抑制背景噪聲。

圖4 水下偏振信息

根據目標光譜，光強特征所獲得的目標顯著圖如圖5(a)和圖5(b)所示,從圖中可以看到限于顏色信息的衰減，在顏色特征顯著圖中無法有效分辨目標及背景差異。同色彩信息相比，基于光強特征的顯著圖能夠有效地區分背景和目標區域，然而該特征易受背景中亮點的影響，在顯著圖中混疊了大量噪聲信息。與前2種信息相比，偏振度信息能夠提供最為可靠的目標檢測信息如圖5(c)。首先，它能夠較為完整地刻畫出目標的區域。其次，偏振度信息能夠有效抑制背景噪聲特別是亮點區域。在水下實驗中為了驗證本文所提出算法的有效性及優越性，設計3組對比實驗。第一組對比實驗比較有/無先驗知識指導下的水下目標檢測結果。第二組實驗從目標檢測精度及運算時間2個方面將本文所提出的算法與基于先驗知識預處理的目標檢測算法相比較。第三組實驗在不進行訓練的情況下，直接將經驗性的融合權重引入到新環境中的目標檢測，分析算法在環境不匹配的情況下算法的頑健性的容忍度。評價指標

其中，?i表示檢測區域，?o表示目標的真實區域，?b表示背景區域。 Cgood表示檢測區域占目標真實區域的比例，Cgood越高說明檢測區域對目標真實區域描述得越完整。Cfalse表示目標真實區域外的檢測區域占背景區域的比例， Cfalse越大，說明檢測的區域中包含的非目標區域越大，效果越差。

圖5 顯著圖

4.1 有/無先驗知識指導下的水下目標檢測

本實驗主要通過比較有/無先驗知識指導下的信息融合，分析先驗知識對水下多信息融合的指導及目標檢測的影響。由于沒有先驗知識的指導，均勻分配信息融合權重。

從圖6中可以看到，由于光強顯著圖中背景噪聲的影響，綜合顯著圖中包含有大量的背景噪聲，導致進一步檢測區域中包含有大量的背景區域。相比較，在先驗知識的指導下，融合權重得到優化。目標檢測對偏振度信息的依賴度增加，從而抑制顏色及亮度顯著圖中的背景噪聲。根據評價指標如表1所示，基于先驗知識的目標檢測精度（ Cgood=0.911 4，Cfalse=0.007 2）顯著優于非知識指導下的目標檢測精度（ Cgood=0.877 0， Cfalse=0. 091 9）。這說明水下場景中的光線環境對圖像中的目標特征產生嚴重的影響，并導致目標檢測算法對不同圖像特征的依賴度有所差異。因此，在水下目標檢測過程中通過對成像環境的分析，進而基于先驗信息對各種特征區別處理的策略有助于提高整體算法的頑健性。

圖6 目標檢測結果

表1 目標檢測精度

4.2 基于圖像恢復的目標檢測算法比較

將本文算法同基于圖像恢復預處理的目標檢測算法相比較。圖像恢復算法采用高斯模型逼近點擴散函數[13]

其中，(x, y)為像素坐標，(x0, y0)為原始坐標，α為衰減系數，k為規整化系數， Dh為(x, y)的變化范圍。其中衰減系數由水下標定圖估計得到。恢復后的圖像如圖7(a)所示。同原始水下圖像相比，恢復后圖像的對比度顯著拉伸，但是背景及目標色彩產生了一定程度的畸變，背景噪聲有所加強。

圖7 水下圖像恢復及目標檢測結果

由于圖像恢復過程中有可能破壞偏振信息，因此對恢復結果中色彩及亮度特征進行處理，所獲得的色彩及亮度顯著圖如圖7(b)和圖7(c)所示。在顯著圖中背景噪聲對真實目標區域產生了嚴重的影響，并沒有有效地提高目標同背景間的區分度，采用均勻權重（ w1= w2= w3= 0 .33）進行多信息融合后的檢測結果及檢測精度如圖7(d)和表2所示，可以看到基于圖像恢復的目標檢測結果中包含有大量的背景區域，檢測精度較低。根據評價指標，分別得 Cgood=0.915 8,Cfalse=0.196 8。在計算復雜度比較中，由于圖像恢復過程需要對逐一像素進行反卷積運算，導致大量計算資源的消耗。在一定的實驗條件下（PC，Dual-Core 2.7GHz，2GB），對640×480像素的圖像，其運算時間需要 1.55s，加之后端的目標檢測計算，總體運算時間達到 2.87s。相比較，由于不需要繁瑣的圖像恢復計算，新算法所需時間為 1.32s，證明了本文算法在計算復雜度上的優越性，并且這種優勢隨著圖像尺寸的增加而越發顯著。

表2 同基于水下圖像恢復的目標檢測精度比較

4.3 算法的頑健性分析

為了進一步分析在光學環境不匹配的情況下新算法頑健性的容忍度。本文選取另一組實驗數據，在不進行訓練的前提下直接引入經驗知識，分析其頑健性變化。

目標檢測結果及精度計算，如圖8(c)、圖8(d)及表3所示。

表3 新水下環境中目標檢測精度比較

從中可以看出經驗知識在新水下環境中的頑健性有所下降，這主要是由于不同水體中懸浮物種類及含量差異造成水下光學特性變化所致。然而，新方法的檢測精度仍高于基于圖像恢復的目標檢測方法。這說明盡管水下光學環境不匹配，但環境中光強、光譜及偏振特性的顯著度仍存在一定的相似性。

5 結束語

本文提出了一種基于光強—光譜—偏振信息仿生融合的目標檢測算法，除常用的光強光譜信息外，偏振信息也被引入到目標檢測過程中。不同與傳統水下目標檢測框架，本文采用水下光學先驗知識確定檢測對不同圖像特征的依賴程度，最終實現多信息的最優化融合。實驗結果證明先驗知識指導下的多信息仿生融合算法能夠較為準確實現水下目標檢測，結果顯著優于非知識指導及以圖像恢復為預處理的水下目標檢測算法。但是，這里要指出水下光學成像環境需要綜合考慮氣象、氣候條件、水質、成像水深及成像距離等多種因素。在水下先驗知識的獲取時，對于上述可能的影響因素，本文均在實際實驗中做了明確的約束。在實際中，研究人員所面對的水下圖像的成像環境是多變的。面對新環境中采集得到的水下圖像，以往所獲得的先驗知識的頑健性會有所下降。這一問題會一定程度影響到本文所提算法的推廣性。然而，注意到水下環境對成像的影響并非是隨機的，它隨著多種因素變化而有規律的變化，是一種漸變的過程。因而在將來的研究中，不僅要孤立地考察特定的水下成像環境，更要建立多水下光學環境中先驗知識間的動態聯系規律，實現對未知水下環境中先驗信息的估計和預測，以便提高該算法的推廣性。

[1] GIAN L F. Visual inspection of sea bottom structures by an autonomous underwater vehicle[J]. IEEE Transactions on Systems, Man and Cybernetics, Part B, 2001, 31：691-705.

[2] HU Y, WANG L, LIANG J, et al. Cooperative box-pushing with multiple autonomous robotic fish in underwater environment[J]. Control Theory & Applications, 2011, 5(17)：2015-2022.

[3] FANDOS R, ZOUBIR A M. Optimal feature set for automatic detection and classification of underwater objects in SAS images[J]. IEEE Journal of Selected Topics in Signal Processing, 2011,5(3)：454-468.

[4] SCHETTINI R, CORCHS S. Underwater image processing： state of the art of restoration and image enhancement methods[J]. EURASIP Journal on Advances in Signal Processing, 2010,2010：1-14.

[5] WANG X, YAN X J, LV G F, et al. Balloon-borne spectrum- polarization imaging for river surface velocimetry under extreme conditions[J].Infrared Physics & Technology, 2013,277(3)：182-194.

[6] TAN G P, LI Y H. An adaptive HEC scheme with variable packet size for wireless real-time reliable multicast[J]. Chinese Journal of Electronics, 2012, 21：299-303.

[7] WANG G, ZHENG B, SUN F F. Estimation-based approach for underwater image restoration[J]. Optics Letter, 2011, 36：2384-2386.

[8] LIU Z, YU Y, ZHANG K, et al. Underwater image transmission and blurred image restoration[J]. Optical Engineering, 2001, 40： 1125-1131.

[9] LANGY M S, MOVSHON J A. Computational Models of Visual Processing[M]. Cambridge： MIT Press, 1991.

[10] SCHIFF H, DORE B, BOIDO M. Morphology of adaptation and morphogenesis in stomatopod eyes[J]. Ital J Zool, 2007, 74：123-134.

[11] ITTI L, KOCH C, NIEBUR E. A model of saliency-based visual attention for rapid scene analysis[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1998, 20(11)：1254-1259.

[12] HOJJATOLESLAMI S A, KITTLER J. Region growing： a new approach[J]. IEEE Transactions on Image Process, 1998, 7：1079-1084.

[13] ELDER J H, ZUCKER S W. Local scale control for edge detection and blur estimation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1998, 20(7)：699-716.