水下降質圖像的偏振參數分區優化復原

李榮華， 蔡昌燁， 張圣輝， 徐云鶴， 曹昊天

（1. 大連交通大學 機械工程學院，遼寧 大連 116028；2. 大連市先進機器人感知與控制技術創新中心，遼寧 大連 116028）

1 引言

水下圖像復原廣泛應用于海洋考古、海洋軍事、以及海洋生物學研究中［1-2］。水中模糊的圖像阻礙著人類對于海洋的探索，這催生了水下圖像復原和探測技術的發展。光在水下傳播過程中，由于水下雜質粒子的散射和水的吸收作用，拍攝設備得到的水下圖像會變的模糊，顏色會失真、圖像對比度和圖像亮度都會降低［3-4］。基于偏振信息的水下圖像復原以及水下探測導航技術現如今應用廣泛［5］，偏振是光的固有特性之一，基于偏振信息的水下圖像恢復方法通常在同一場景中收集偏振圖像，結合偏振信息，分離背景光和散射光，從而達到恢復水下圖像的目的。

為解決水下圖像模糊和信息衰減等問題，諸多學者提出了一系列提高水下成像質量的方法。Bazeille 等人通過小波去噪、顏色平衡等預處理方法增強了水下圖像的對比度［6］。He 等人提出了一種基于暗通道先驗（Dark Channel Prior，DCP）的圖像增強算法［7］。Galdran 等人利用反向紅色通道和藍綠色通道最小化改進DCP 算法，并引入飽和度信息來減除主動光源的影響，對DCP 算法進行了優化［8］。結合偏振信息，Schechner 提出了一種基于物理模型的算法來反推水下圖像退化過程，它考慮了圖像退化的原因，并估計了水下成像模型中的參數，在一定程度上有效地提高了退化圖像的可見性，但該方法假設是光照是均勻的，仍有一定的局限性［9-10］。之后，越來越多的研究者在此物理模型的基礎上進行了改進。傳統方法對于高偏物體（例如金屬）的恢復效果很差，Huang 等人提出了一種基于曲線擬合來估計透射率和背景光的方法［11］。通過該方法，水中的高偏物體和低偏物體都能夠得到很好的恢復，然而，由于引入了大量的非線性計算，雖然結果得到了優化，但是處理時間大幅度增加。胡浩豐等人提出了一種透射率校正的方法［12］，使用簡單的多項式擬合來校正具有較高偏振度的物體的透射率，以恢復具有不同偏振度對象的圖像，該方法的處理時間相較于Huang 等人的方法得到明顯的縮短。范之國等人提出了一種全局參數估計的水下偏振復原方法，解決了人工取景估計參數不佳的問題［13］。2021年，褚金奎等人提出了基于特定偏振態成像的水下圖像去散射方法，該方法使高渾水下偏振度、偏振角圖像質量得到明顯改善［14］。近期劉飛等人通過分析后向散射光的分布，根據偏振信息具有低階特性，通過低秩稀疏矩陣分解估計后向散射光的偏振度和偏振角，復原出清晰的圖像，突破了傳統偏振成像方法中后向散射光假設的局限性［15］。傳統方法對于要處理的整個圖像是全局最優的，但對于圖像內的每個目標不是最優的。這可能會導致某些目標物無法獲得圖像增強甚至發生退化。Zhang 等人通過旋轉分析儀提取低偏高偏目標物連通域實現了從傳統方法中的全局最優估計到局部最優估計的轉變［16］。

本文針對現有水下圖像偏振復原方法在硬件以及算法基礎上進一步改進優化，使用主動偏振光源，搭配了多通道實時偏振探測系統獲取0°，45°，90°，135°多幅偏振圖像，基于水下圖像復原模型，獲取偏振信息。首先運用分塊對比度加強和引導濾波對兩幅偏振正交圖像進行預處理，在水中目標反射光偏振度與目標的材質和表面結構高度相關，現實水下真實圖像中目標往往擁有復雜的偏振特性，對于同時存在復雜目標的圖像，傳統方法是對整幅圖像的偏振信息進行估計，但整幅圖像的全局偏振信息并不適用于每個目標物，這可能會導致某些目標物無法獲得圖像增強甚至發生退化，其次本文根據偏振度圖像各像素點的值進行分區，較其他方法優化了對低偏、高偏目標物區域的提取過程，并分別估計各目標物的目標光偏振度，改善了以往全局估計容易帶來的偏差，最后對后向散射光偏振度進行了分區迭代優化，本文方法能夠有效抑制后向散射光，實現更好的圖像清晰化目的，改善最終圖像質量。

2 水下偏振圖像清晰化模型

迄今為止大部分基于水下圖像復原方法中，都是以Jaffe-McGlamery 模型作為基礎，在此基礎上進行優化。本文的水下物理模型模型由主動光源、起偏器、探測目標、渾濁水體、檢偏器、偏振相機組成。分析已知的光的散射特性，可知偏振成像模型所接收到的信息由目標光分量、前向散射分量和后向散射分量所組成。目標反射光是主動光源發出的在觀測目標物表面反射的光，前向散射光是目標反射光在進入相機之前被水中的雜質散射而成的，散射光是造成圖像模糊、對比度下降的原因。因此，構建水下偏振圖像清晰化模型可以有效分離圖像中的前向、后向散射信息，復原目標反射光。由于前向散射光對比后向散射光的強度極小，將前向散射光考慮在模型之內會顯著增加算法的復雜度，且對圖像質量提高作用不大。因此本文著重考慮水下偏振圖像中目標反射光和后向散射光的關系。

根據主動光水下偏振成像示意圖1 我們可知該系統接收到的總光信號I表示為：

圖1 主動光水下偏振成像示意圖Fig.1 Schematic diagram of underwater polarization imaging of active light

圖2 四通道偏振圖像擬合的最好最差圖像Fig.2 Best and worst image fitted to the four-channel polarization image

其中：I(x，y)是水下偏振成像系統獲得的圖像，即相機所接收到的原始信息，S(x，y)是目標反射光，B(x，y)則是后向散射光。水下圖像清晰化的目標就是對S(x，y)進行求解，克服原始圖像I(x，y)中后向散射光B(x，y)的影響。

本文光的偏振信息由Stokes 矢量（參數I，Q，U，V）來描述，可以推導出斯托克斯矢量的表示方法：

其中：I表示總光強，即0°，90°兩個偏振方向的光強分量之和，Q表示0°，90°兩個偏振方向的光強分量之差，U表示在45°，135°兩個偏振方向上的線偏振光分量的差值，V是左旋偏振光與右旋偏振光的差值。

因此斯托克斯矢量的參數之間可以表示為：

本文主要用線偏振光進行原始的信息采集，并沒有采集圓偏振光，后續計算中使用線偏振度，所以假設圓偏振參量V=0，這一假設對于后續的圖像復原影響微乎其微，可以忽略。因此公式可以進一步簡化為：

根據偏振度的定義，結合公式（8），線偏振度的表示如式（8）所示：

不同偏振角度下光強擬合曲線公式如式（9）所示：

式中：α是指偏振方向與標準方向之間的夾角，通過多通道實時偏振探測系統獲取0°，45°，90°，135°四幅不同偏振角度的圖像結合Stokes 矢量便可以求解出I，Q，U，代入公式（9）即可求出處于不同偏振角度時的光強圖像I（α）。通過I（α）后續可以得到光強最大和最小的兩幅偏振圖像，同時兩幅圖像的偏振角度正交，根據強度分別記為Imax(x，y)和Imin(x，y)。

結合式（1）兩幅光強最大最小的兩幅偏振圖像也可用后向散射光和目標反射光來表示：

其中：式（10）中Smax(x，y)，Bmax(x，y)分別為光強度最大時的目標反射光和后向散射光。同理，式（11）中Smin(x，y)，Bmin(x，y)分別為光強度最小時的目標反射光和后向散射光。

米氏散射理論認為，后向散射光為部分偏振光，因此根據米氏散射理論與偏振度的定義，可以得出后向散射光的偏振度如下：

同理目標光偏振度Ptar可表示為公式（13）如下：

聯立式（10）和式（11）可求得圖像總光強用Itotal表示，為了簡潔表示，對坐標量（x，y）進行了省略：

對式（10）～式（13）進行聯立可得：

因此，根據式（14）和式（15），可以對目標反射光S和后向散射光B進行求解得：

經過上述的推導，根據式（16）和式（17）可知，根據水下偏振圖像的原始信息，只需對目標反射光偏振度Ptar與后向散射光偏振度Pscat進行求解即可求出目標反射光和后向散射光，求解Ptar，Pscat，Imin，Imax，即可得出復原圖像。

3 偏振參數分區優化復原方法

3.1 Imin，Imax分塊對比度增強預處理

隨著渾濁度的增大，目標區域S(x，y)越來越小，渾濁介質所帶來的干擾B(x，y)越來越大，二者的比值，清晰度γ=S(x，y)/B(x，y)就越低，造成圖像的對比度過低。而利用本文提出的方法實現的對比度增強，后續處理的結果會得到改善，并提升高渾濁度環境下的成像質量。由于兩個正交偏振圖像之間存在偏振關系，因此，單獨對兩個正交偏振圖像進行對比度加強可能會破壞這種偏振關系，使偏振特性無法保證。偏振度是最重要和最基本的偏振參數，經常用于描述偏振特性，因此，為了保持偏振關系，我們只需要通過對比度加強方法處理其中一幅正交圖像，然后根據兩幅圖像的偏振特性得到另一幅圖像［17］。

原始正交偏振圖像Imin，Imax對之間存在固有的偏振關系如公式（18）所示，偏振度P(x，y)可由式（8）得出，預處理后的圖像間也應保持同樣的偏振關系，即處理前后每一對正交偏振圖像對的偏振度P(x，y)應保持不變。此外，由于混濁水體介質的信息衰減大，“最暗”（Imin）圖像比“最亮”（Imax)圖像受到更少后向散射光的退偏影響，目標反射光信息占比最大，因此，所以直接對“Imin”進行對比度加強預處理更為有效。再結合公式（19）可得到預處理后的Imax。

首先，通過分塊處理，將圖像分成H×W的小塊，分離出每一小區域的高低頻信息，引用加強因子β對高頻信息進行加強。

其中：H表示每一小塊的高，W表示每一小塊的寬，表示Imin中的局部塊的像素值之和。表示每個局部塊像素均值。

因此對比度加強可表示為：

為了避免對比度加強后形成的塊效應，使用引導濾波進行平滑處理：

其中：guidefilter（ ）為導向濾波過程；r為導向濾波的濾波半徑，本文為5；eps 為極小數。

對比度公式如式（23）所示：

其中：N為圖像中的像素總數，為Imin的平均值，如果β值太小，可能會導致增強圖像中的紋理平滑和細節丟失。相反如果β值太大，可能會導致增強圖像中的像素溢出和過飽和。經過多次調試將β值取2.5，預處理圖像對比度最高，質量最好。

3.2 目標物分區提取，目標光偏振度估計

高偏物體與低偏物體偏振度差距過大，例如塑料等低偏物體的偏振度很小，接近于0，而高偏物體例如金屬的偏振度可接近于1，可以根據這個特性，通過偏振度分區篩選高偏低偏物體區域，方便后續提取連通域，根據式（8）Stokes 矢量得到的偏振度圖像。該圖像每個像素點代表該對應點的偏振度值，根據不同的偏振度，建立合理的偏振度分區，方便將高低偏物體成功提取。

圖3 為偏振度偽彩色圖（彩圖見期刊電子版），該偽彩色圖可以表明，根據不同目標物偏振度值的差異，很容易將二者進行篩選，區分開來，方便對不同目標物進行提取，本文參考文獻（16）方法通過旋轉分析儀，獲得不同偏振角度（不同亮暗）的偏振圖像，根據不同偏振角度下高偏低偏物體具有亮暗差異來進行提取，該提取方法旋轉角度過程過于繁瑣，往往找不到合適的角度分離目標物，而本文提取的方法相比該方法更節省時間，準確率高，同時本文方法解決了傳統方法在高渾濁度下提取困難的問題。

圖3 偏振度偽彩色圖Fig.3 Pseudo-color plot of polarization

首先本文對分區預提取的圖像進行最大值濾波，最大值濾波的優點是可以去除圖像中存在的暗點，并且也會使圖像亮度增加，達到增強目標輪廓的作用，便于目標提取。

其中：Ichoosec是選定的分區后的圖像；Ω(x，y)是在像素點的窗口，c 為圖像三個通道；

之后使用Otsu 方法，根據方差分布的概率對圖像進行二值化，分別提取目標物坐標信息。接下來用sobel 算子進行邊緣識別，最后進行閉操作，實現對多個目標物的分別提取。

對目標物進行分別提取，用EME 對目標光偏振度在0～1 范圍內，以0.01 為步長進行迭代估計，確定提取后目標物的偏振度。圖像細節評價指標EME 的表達式如下：

其中：EME 是圖像局域灰度變化程度的表現，圖像局部灰度變化越強，圖像的細節表現詳細，計算出的EME 值也越高。根據公式（25）圖像被分成K1×K2 個小區域，計算每個小區域中灰度最大的值與最小的值之比的對數均值，得到的即是評價結果，EME 經常被用來衡量圖像的質量，EME 的值越大，圖像質量越好。

3.3 后向散射光偏振度選區迭代優化

傳統方法總是將計算后的后向散射光偏振度取平均值，計算過程詳見式（12），后向散射光偏振信息的不均勻性一直是偏振水下成像中被忽視的一個特征，而且后向散射光偏振信息的準確估計對成像結果的質量起著重要作用。傳統的偏振成像方法假定背散射光的偏振度和偏振角是恒定的，事實上，后向散射光的偏振信息是漸進的而不是恒定的，本文將對后向散射光偏振度進行選區迭代優化，提高圖像質量。

最優迭代區間選定為：［0+a×0.1：0+a×0.1+b×0.1］，其中迭代系數a取值范圍為0～100，迭代系數取值范圍為b取0～100。當后向散射光偏振度在選定偏振度區間內的像素，其數值保持不變，區間外的像素使用周圍鄰域的中值替代。最后，利用EME 作為評價指標，篩選出EME 值最大的區間以及系數a和b。

4 實驗與分析

4.1 實驗環境

實驗環境如圖5 所示，主要部件包含偏振相機、偏振光源、線偏振片、玻璃水箱、目標物。相機使用加拿大LUCID VISION LABS 公司開發的搭載Sony IMX250 MYR 圖像傳感器的TRITON 彩色偏振相機TRIO50S-QC，該相機是四通道的分焦平面偏振相機，可以同時采集0°，45°，90°，135°四個偏振角度的偏振圖像，無相位延遲，其中每幅圖像的最大像素為2 448×2 048。該四通道分焦平面偏振相機解決了以往使用的偏振片旋轉式偏振相機照片拍攝存在時延而造成的復原效果不良的問題。實驗中，使用添加了USP-50C0.4-38 線偏振片的主動光源（Rawray 150W LED 燈）對目標進行照射，目標物放置在透明的高透亞克力水缸（透光度達96%以上）中，水箱的長寬高分別為40 cm，40 cm，50 cm，且在水箱內側覆蓋了黑色鍍膜，以避免實驗室外部環境光的干擾。并且為了模擬自然水體的渾濁，在水中加入了牛奶，通過加入脫脂牛奶的量來改變水體的渾濁程度，用來模擬渾濁水體，進行水下實驗，最后用本文的方法得到優化后的實驗圖像。

表1 工作環境Tab.1 Working environment

圖5 總體流程圖Fig.5 Overall flowchart

圖6 實驗環境圖Fig.6 Experimental environment diagram

圖7 低渾濁水下實驗1Fig.7 Low turbidity underwater experiment 1

4.2 實驗結果

本文共進行三組實驗，分別對低渾濁度下的無偏、高偏目標物，低偏、高偏目標物，以及為了模擬水下真實環境對高渾濁度低照度下低偏、高偏目標物進行復原。圖10 為三維分列柱形圖，展示了三組實驗結果（表2～表4），由于實驗結果EME 取值范圍在5 以內，NIQE 在20 以內，Contrast 在50 以內，三者相差較大，為方便橫向對比，使實驗結果更為直觀，對每組實驗的同一評價指標數值按百分比占有量進行歸一化處理（取值范圍在0～1 之間）。其中EME（Enhancement Measure Evaluation）如式（25）所示，圖像復原質量越好，得到的EME 也越大。NIQE（Natural Image Quality Evaluator）又名自然圖像質量評價器，為無參考圖像評價指標，圖中NIQE 值下降顯著，NIQE 值越小，圖像越自然。Contrast 為對比度，Contrast 值越大，說明圖像輪廓清晰，細節信息更豐富。由圖10 三個實驗結果可知，本文方法對同時存在多目標物，尤其在高偏、無偏以及高偏、低偏混合目標下較其他方法具有顯著優勢，本文方法能對高低偏物體進行分別優化，整幅圖像的全局偏振信息并不適用于每個目標物，傳統方法可能會導致某些目標物無法獲得圖像增強，甚至發生退化，本文方法針對多目標物進行圖像復原，解決了在全局估計下部分目標物無法充分復原的問題。根據實驗1 和實驗2，在低渾濁度下，各目標物分別進行復原，圖像復原效果顯著，由于（原）圖8（實驗三）是在高渾濁度，低光照下（為模擬水下真實環境）進行，只能分辨圖形基本輪廓，細節信息分辨不高，但較原始光強圖（Intensity Image）表征的細節信息更為豐富，EME 值提升達379%，對比度則提升956%，同時較本文列舉的其他方法提升顯著，證實了本文算法在高渾濁度水下應用的可行性。

表2 實驗1 圖像質量對比Tab.2 Experiment 1 image quality comparison

表3 實驗2 圖像質量對比Tab.3 Experiment 2 image quality comparison

圖8 低渾濁水下實驗2Fig.8 Low turbidity underwater experiment 2

圖9 高渾濁低光照水下實驗3Fig.9 High turbidity and low light underwater experiment 3

圖10 實驗數據三維柱形圖Fig.10 Three-dimensional histogram of experimental data

5 結 論

本文針對高渾濁度水下環境中，獲取的圖像存在對比度下降、清晰度低、信息衰減、目標復雜時難以完全復原等問題，搭建了水下偏振成像實驗平臺，提出了一種水下降質圖像的偏振參數分區優化復原方法。通過對高低偏物體的偏振特性進行分區，優化了目標區域的提取方法，對高低偏水下目標的Ptar 進行分別估計，對Imin，Imax，Ptar，Pscat進行不同程度的改進優化，獲取目標復原圖像。本文實驗結果的主觀視覺質量提升顯著，前兩組實驗在低渾濁度下對比原始光強圖，客觀評價指標的EME 值提升平均達554%，對比度則平均提升528%，第三組實驗在低照度高渾濁度環境下對比原始光強圖，EME 值提升達379%，對比度則提升956%。三組實驗自然圖像質量評價指標NIQE 值表現良好，圖像更加自然。因此，本文的方法能有效地復原水下渾濁圖像，增加圖像對比度，改善圖像質量，實現圖像復原。本文研究結果為水下偏振圖像復原和增強提供了研究基礎，同時算法的魯棒性和自適應能力還有待提高，這是我們今后需要進行改進提升的工作。