融合顯著性信息的水下圖像清晰化算法

王朝宇，郭繼昌，王天保，鄭司達，張 怡

(天津大學 電氣自動化與信息工程學院，天津 300072)

水下圖像廣泛應用于海洋能源勘探、生態監測、生產養殖、救援追蹤和軍事防衛等領域。由于水介質對光的選擇性吸收和水中微粒的散射效應，水下圖像通常存在細節模糊、對比度低和顏色失真的缺陷。水下環境的特殊性導致水下圖像質量下降，這不利于人眼的觀測和直接獲取信息。針對水下圖像顏色失真和對比度低的問題，水下圖像清晰化研究具有重要意義。

根據是否基于成像模型，水下圖像清晰化方法可以分為復原方法和增強方法。復原方法一般基于水下成像模型，通過逆運算恢復原始圖像。針對光在水中選擇性衰減的特性，文獻[1]提出水下暗通道先驗(Underwater Dark Channel Prior，UDCP)算法，僅依據綠色和藍色通道的先驗信息估計背景光。文獻[2]基于最小信息損失原理估計水下成像模型，并根據直方圖分布先驗增強圖像對比度，有效恢復了細節信息，但在顏色校正方面存在不足。增強方法通常不考慮圖像的退化原因，可采用圖像處理技術提升視覺質量。針對水下的色偏問題，文獻[3]在 RGB和 HSI 顏色空間對水下圖像進行直方圖拉伸，有效去除色偏，但結果圖的對比度較低。文獻[4]對光照均勻的前景進行同態濾波，提高了對比度，但算法魯棒性較差。文獻[5]基于顏色平衡和多尺度融合對水下圖像進行增強，提高了算法的準確性和魯棒性，但光照不足會帶來顏色失真問題。

復原方法采用理想化的水下成像模型、假設條件和局限的先驗知識，有較低的準確性和魯棒性。增強方法通常僅調整局部或全局的像素，忽略了圖像退化的本質和復雜性，可能會使圖像失真。現有的水下圖像清晰化算法通常進行全局一致的清晰化，而水下圖像的前景和背景在細節和顏色方面的失真程度不同。當顯著區域的色偏被充分去除時，背景的色偏可能未被完全去除。

針對上述問題，筆者提出一種融合顯著性信息的水下圖像清晰化算法，依據顯著性信息對水下圖像進行分區域的顏色校正。顯著圖可以凸顯出場景中引人注目且包含一定語義信息的顯著區域，借助這一優勢對水下圖像進行分區域、有針對性的增強，在保留前景目標細節信息和原始顏色的同時，可以去除背景光帶來的圖像色偏。在結合水下成像模型進行水下圖像的初步清晰化的基礎上，融合多尺度超像素分割和多層元胞自動機進行水下圖像的顯著性檢測，并根據顯著性信息進行分區域有針對性的顏色校正。這種算法可有效去除圖像色偏，并增強圖像的局部對比度。

1 相關基礎

1.1 簡化的水下光學成像模型

根據大氣成像模型，相機捕獲的光由直接傳輸分量、前向散射分量和后向散射分量組成。直接傳輸分量指場景反射光中未發生偏折直接被相機接收的部分；前向散射分量指場景反射光中遇微粒而小角度散射被相機接收的部分，可忽略不計；后向散射分量指環境光中遇微粒發生散射被相機接收的部分，引起霧狀效應，降低圖像的對比度。圖1為大氣成像模型的示意圖。

圖1 大氣成像模型

由于光在水介質中的選擇性衰減，在大氣光散射模型基礎上，水下成像模型將R(紅)、G(綠)、B(藍)三通道分離，基于三通道的波長關系估計透射率。簡化的水下成像模型的表達式為

Ic=Jctc+(1-tc)Ac，c∈{r，g，b} ，

(1)

其中，Jc表示場景反射光，為預期的復原圖像；tc表示透射率，反映光的衰減程度，與水質、波長和景深有關；Ac表示背景光；c表示選擇的顏色通道；r、g、b分別表示紅、綠、藍3個通道。

1.2 線性迭代聚類超像素分割和背景先驗知識

超像素表示由相似紋理、顏色、亮度等特征的相鄰像素構成的像素塊，用少量的超像素代替大量的像素來表達圖片特征，很大程度上降低了圖像后續處理的復雜度。

線性迭代聚類(Simple LinearIC，SLIC)[6]算法將圖像分割成超像素，其主要思想為：首先，將M×N大小的圖像均勻分割成K個大約包含(M×N)/K個像素，長和寬約為S=((M×N)/K)1/2的超像素，計算每個超像素在Lab顏色空間和位置坐標空間的特征向量和中心點，將處于像素突變位置的中心點移至鄰域中最小梯度值處；進行k均值聚類，在每個中心點的2S×2S鄰域內，計算各像素點到中心點的歐式特征距離，將每個像素點分配給最近的超像素塊，更新中心點，重復迭代，直至超像素不再改變。

由于目標區域通常遠離圖像邊緣，基于背景先驗的顯著性檢測算法[7]，將邊界作為背景區域，根據背景與前景區域的相關性計算顯著圖。水下圖像場景復雜，圖像邊界區域通常為背景，但也偶爾存在前景目標，可以在邊界區域根據飽和度、色調和局部對比度信息篩選背景。

2 基于顯著性信息的水下圖像清晰化算法

針對水下圖像顏色失真和對比度低的問題，筆者提出了一種基于顯著性信息的水下圖像清晰化算法。首先，基于水下成像模型進行水下圖像的初步清晰化。同時，對水下圖像進行顯著性檢測，獲得一個在區間[0，1]上連續分布的顯著圖。最后，在Lab顏色空間中依據顯著性信息對水下圖像進行分區域的顏色校正。圖2為文中算法框圖。

圖2 文中算法框圖

首先，使用基于四叉樹分割的分層搜索算法估計背景光，計算透射率，對水下圖像進行初步清晰化；同時，對水下圖像進行簡單的SLIC超像素分割，在邊界區域進行k均值聚類，根據飽和度和對比度信息提取邊界背景區域，并根據各超像素與邊界背景的特征相似度構建全局距離矩陣，并對全局距離矩陣進行更新，再使用多層元胞自動機合成最終的顯著圖；最后，依據顯著性信息對各超像素進行不同程度的顏色校正，并通過局部自適應直方圖拉伸亮度值，提高局部對比度。

2.1 水下圖像的初步清晰化

針對水下圖像細節模糊的問題，使用基于四叉樹分割的分層搜索算法估計背景光，結合簡化的水下成像模型，計算三通道的透射率圖，進行初步清晰化，增強圖像的細節信息。

為避免高亮度物體的影響，文獻[8]提出基于四叉樹分割的分層搜索算法估計背景光，其主要思想為：首先，將圖像均勻劃分為4個矩形區域，將各區域的平均像素值和標準差的差值作為分數值；然后，選擇分值最高的區域，將其再分為4個較小的矩形區域，重復此過程，直到所選區域的大小小于指定閾值；最后，將選定區域中亮度最大的像素值作為大氣光。該算法處理霧天圖像準確率較高，但不適于水下圖像。根據光在水中選擇性衰減的特性，再根據亮度值的平均值與標準差的差值選定矩形區域，并將目標區域中藍通道與紅通道比值最大處的像素值作為背景光，避免了圖像中白色物體的干擾，可以得到較為準確的水下圖像背景光。

完成背景光估計后，根據簡化的水下成像模型，計算水下圖像的透射率圖，由式(1)推導，得到初始透射率t=1-Idark/Adark。為了得到更加自然的圖像，引入去霧系數ω，保留少量的模糊。同時，針對暗通道先驗帶來的塊效應問題，對初始的透射率圖進行導向濾波，保留圖像的邊緣細節信息，得到細化的透射率圖t0的表達式為

t0=fGuid(1-ωIdark/Adark) ，

(2)

其中，fGuid(·)表示導向濾波算法；ω表示去霧系數，取值為0.95；Idark表示原圖的暗通道圖，即逐像素選取；Adark表示背景光的暗通道圖。

光在水中傳播時，會隨波長發生不同程度的衰減。依據輸入圖像R、G、B三通道的p范數和像素值的比例關系對細化的透射率圖進行更新，即

tc=t0gc(‖Ic‖pIb)/(‖Ib‖pIc)，c∈{r，g，b} ，

(3)

其中，‖Ic‖p表示c通道的p范數，gr=0.058，gg=0.052，gb=0.5，p=0.6。

為避免透射率過小而導致復原圖像亮度過強，將R、G、B三通道的透射率最小值設為0.05。根據簡化的水下成像模型表達式(1)，對水下圖像進行復原，即

Jc=(Ic-Ac)/max(tc，0.05)+Ac，c∈{r，g，b} 。

(4)

2.2 水下圖像的顯著性檢測

針對水下圖像的色偏問題，依據顯著性信息對水下圖像進行分區域的去色偏處理，實現顏色校正。因為邊界部分為背景區域的概率較大，所以在圖像邊界處選取背景區域，并依據超像素與邊界背景區域的特征相似度計算全局距離矩陣，然后使用多層元胞自動機整合生成顯著圖。

2.2.1 計算全局距離矩陣

對圖像進行初步清晰化后，進行多尺度的SLIC超像素分割[9]，將超像素數分別設為300、500和800，獲得3個尺度的超像素分割結果。然后，對邊界區域的超像素進行k均值聚類，根據Lab特征將邊界區域的超像素聚為6類。由于水下圖像的邊界區域通常為對比度小、細節模糊且呈藍綠色調的背景區域，本節在邊界區域根據聚類的對比度和飽和度大小提取背景區域。將聚類所包含像素的飽和度的平均值作為聚類的飽和度值，Bk為第k個聚類Ok的飽和度，可表示為

Bk=mean(b(x，y))，(x，y)∈Ok，

(5)

其中，像素(x，y)的飽和度b(x，y)的表達式為

b(x，y)=max(Ic(x，y))-min(Ic(x，y))，c∈{r，g，b} 。

(6)

在像素(x，y)的鄰域Ω(x，y)內，分別計算R、G、B各通道的最大像素差值，將三通道中的最大值作為該像素的局部對比度：

r(x，y)=max(Ic(p，q))-min(Ic(p，q))，(p，q)∈Ω(x，y)，c∈{r，g，b} 。

(7)

對式(7)進行歸一化，可得

r*(x，y)=0.95(r(x，y)-min(r(x，y)))/(max(r(x，y))-min(r(x，y)))+0.05，(x，y)∈Ok，

(8)

其中，r(x，y)和r*(x，y)分別表示像素(x，y)的歸一化前后的局部對比度，Ok表示聚類k。

隨著景物到鏡頭距離的增大，局部區域趨于平滑，局部對比度相應減小，可根據局部對比度估計圖像的相對深度。參考透射率與深度之間的指數關系，計算相對深度d(x，y)：

d(x，y)=-ln(r*(x，y))/β，

(9)

其中，系數β取0.024 5。計算歸一化的相對深度d*(x，y)為

d*(x，y)=0.8(d(x，y)-min(d(x，y)))/(max(d(x，y))-min(d(x，y)))+0.1，(x，y)∈Ok。

(10)

將聚類k中像素相對深度的平均值作為聚類k的相對深度Dk，可表示為

Dk=mean(d*(x，y))，(x，y)∈Ok，

(11)

根據聚類k的飽和度和相對深度大小，判斷其是否屬于背景，即

(12)

其中，參數vk表示聚類k的背景屬性，φk=1表示聚類k被選定為背景；φk=0表示聚類k沒有被選定為背景。計算全局距離矩陣時，僅參考φk=1的邊界背景區域。飽和度閾值BThreshold和相對深度閾值DThreshold分別根據圖像飽和度和相對深度的整體情況設定，用于選定背景區域。

(13)

(14)

(15)

其中，pk表示聚類k的超像素數，‖ci，cj‖和‖ri，rj‖2表示超像素i和j在顏色空間的L1范數和位置空間的L2范數。將相鄰單元及與相鄰單元相鄰的單元作為鄰域。利用影響因子矩陣F*和相關系數矩陣C*更新全局距離矩陣[10]，同步更新規則f：Snb→S，如下所示：

St+1=C*St+(I-C*)F*St，

(16)

其中，St和St+1分別表示第t次和第t+1次迭代后的全局距離矩陣，I表示同尺寸單位矩陣。

2.2.2 多層元胞自動機整合生成顯著圖

使用OTSU算法生成自適應閾值，對M個全局距離矩陣進行迭代更新，并使用多層元胞自動機(Multi-layer Cellular Automata，MCA)整合生成顯著圖。

(17)

迭代更新N次后，對M層顯著圖進行整合，得到最終顯著圖SN為

(18)

2.3 基于顯著性信息的顏色校正

現有的水下圖像清晰化算法可以恢復圖像的細節，但在顏色修正方面有所欠缺。水下圖像清晰化存在3類問題：① 背景綠色色偏嚴重；② 背景藍色色偏嚴重；③ 局部亮度的對比度過小。本節對初步清晰化后的水下圖像進行顏色校正和對比度增強。

水下圖像的顯著圖的顯著區域和背景區域在對比度、色調上有顯著差別。顯著區域一般是較清晰的目標物且色偏較弱；背景區域通常為海域、平坦的泥沙海底或模糊不清的物體，通常色偏較強。為了針對性地處理色偏問題，結合圖像的顯著性信息對水下圖像分區域進行顏色校正。

對比顏色分布不均的RGB色彩模型，基于人眼生理特性Lab色彩模型具有設備無關性和色域廣闊的優勢，可保留寬闊的色域和豐富的色彩。在Lab顏色空間上去除色偏[11]，根據全局顯著性信息將水下圖像分為細節特征豐富、藍綠色偏較弱的顯著區域和細節模糊、藍綠色偏較強的背景區域[12]，分區域對Lab顏色空間的各通道進行針對性處理，改善了圖像的色調、亮度和對比度。

針對背景藍色色偏問題，根據Lab顏色空間的b通道值進行顏色校正。當b通道值過小時，圖像整體色調偏藍，算法通過提升背景區域的L通道值，提高背景的亮度和透明度，緩解藍色的過飽和現象，使水下圖像的視覺效果更自然。根據b通道值設定色偏校正參數u的值，融合圖像的顯著性信息處理L通道值，對水下圖像進行分區域的顏色校正。具體算法可表示為

(19)

其中，IL(x，y)表示像素(x，y)在Lab顏色空間的亮度值，S(x，y)表示像素(x，y)的顯著性值，AL表示背景區域的亮度。

針對綠色色偏問題，根據Lab顏色空間的a通道值大小，判定圖像的綠色色偏程度。a值越小，圖像越傾向于綠色色調。依據a通道值的大小設定色偏校正參數v，通過調整a通道值調整圖像整體色調，降低綠色的占比，提高紅色的占比，以去除綠色色偏[13]。根據像素綠色通道值與藍色通道值的比值大小，自適應調節去色偏力度。當圖像的藍通道值明顯大于綠通道值時，減小a通道值的提升幅度，避免顏色失真(圖像整體色調偏紅或偏紫)。具體算法可表示為

(20)

其中，參數σ設為1.2，IA(x，y)表示像素(x，y)在Lab顏色空間的a通道值，|AA|表示背景在Lab顏色空間的a通道值的絕對值，S(x，y)表示像素(x，y)的顯著性值，Ig(x，y)和Ib(x，y)表示像素(x，y)在R、G、B顏色空間的綠通道值和藍通道值，根據像素的a通道值的大小設置參數v。

針對圖像對比度過小的問題，對L通道進行局部自適應直方圖拉伸，提高局部對比度，增強細節信息，并恢復圖像的結構信息[14]。

3 實驗結果與分析

實驗環境為MATLAB R2020b，Windows 10操作系統。設備型號為Intel(R) Core (TM) i7-7700HQ CPU @2.8 GHz，8 GB。實驗數據集選用UFO-120[15]中的1 500張水下圖像，從主觀評價和客觀評價兩方面，將文中算法與近幾年經典的水下圖像清晰化算法UDCP[1]、GBdehazingRCorrection[16]、文獻[2]、IBLA[17]、ULAP[18]、RGHS[19]和Water-Net[20]進行對比。主觀評價從人眼視覺效果上評估圖像的清晰化效果，客觀評價采用常用的水下圖像質量評價指標局部塊對比度(Patch-based Contrast Quality Index，PCQI)、熵(Entropy)、無參考質量評價指標UIQM和水下圖像質量評價指標UIQUE評估算法性能。

3.1 主觀評價

實驗采用真實的水下圖像進行主觀比較，圖3 給出了文中算法與8種經典的水下圖像清晰化算法對5張水下圖像的處理結果。在視覺效果方面，文中算法在圖像的顏色校正和對比度提升上有明顯優勢。觀察圖3可以發現，有些算法的結果圖出現了色偏，可能是大氣光的估計存在偏差，例如文獻[1，16]；有些算法的部分結果圖出現顏色過飽和或局部過亮、過暗的現象，可能與透射率估計的偏差有關，比如文獻[2，17-18]；有些算法可以恢復圖像的細節信息，顯著提高圖像的清晰度和對比度，但不能去除圖像的藍綠色偏，比如文獻[19]；有些算法可以去除圖像色偏，但部分結果圖依然呈霧狀，比如文獻[20]。對比其他算法，文中算法有效地校正了圖像的藍綠色偏，提升了圖像的細節和對比度，說明基于顯著圖可去除色偏，并保留圖像的細節。

圖3 算法結果對比圖

3.2 客觀評價

圖像清晰化的目的是增強圖像的對比度和清晰度以及校正圖像的顏色和恢復細節特征。選用PCQI、Entropy、UIQM和UCIQE來量化算法性能。PCQI表示為每個局部塊中平均強度、信號強度和信號結構的乘積。PCQI越大，說明圖像局部對比度越大。Entropy為圖像的平均信息量，表示圖像的清晰度。UIQM[21]為圖像的色彩分量 UICM、清晰度分量 UISM 和對比度分量UIConM的線性組合，表示圖像的視覺質量。UCIQE[22]將色度、飽和度和對比度進行線性組合，量化水下圖像非均勻顏色偏差、模糊度以及對比度。表1為8種算法對1 500張水下圖像的處理結果。

由表1的實驗結果可得，文中算法在PCQI、熵值(Entropy)、UIQM、UIConM和UISM指標上，優于其他算法。PCQI值越大，說明圖像的局部對比度越大；Entropy值越大，說明圖像保留的細節信息越豐富；UIQM值越大，說明圖像的整體質量越高；UIConM值越大，說明算法在對比度提升方面越有明顯優勢；UISM值越高，說明算法的處理結果越清晰。同時，文中算法去除了水下圖像的藍綠色偏和顏色過飽和現象，輸出圖像顏色更加自然。雖然其他對比算法的UICM值較高，但分析發現這些圖像的顏色過飽和、視覺效果不自然。文中算法的UICM 值和UCIQE值較低，但圖像的藍綠色偏和過飽和現象可得到有效去除，圖像顏色更加自然。綜上所述，該算法在去除色偏以及提高對比度和清晰度方面具有明顯優勢，且處理后圖像顏色更加自然。

表1 對比實驗客觀指標

表2和表3分別反映了色偏校正參數u和v的大小對算法性能的影響。表2中，色偏校正參數v取V，u分別取4、8、12、14、16。當u取值接近12時，實驗結果的客觀指標最好。當u=U時，實驗結果得到提升。表3中的色偏校正參數u取8，v分別取3、6、9、12、15。當v取值接近12時，實驗結果的客觀指標最好。當v取V時，實驗結果得到提升。通過對比分析實驗結果的客觀指標，發現了參數u、v的取值對算法性能和結果的影響。當參數u、v取值位于適宜范圍內時(取值在12附近)，實驗結果較好。對參數進行適當的分段取值，可以進一步提升算法的性能。

表2 色偏校正參數u的設置對算法性能的影響

表3 色偏校正參數v的設置對算法性能的影響

表2中的v設為8，表3中的u設為U。當u=U或v=V時，參數u或v設為可變參數，而非常量。根據a通道值的大小，u分別取8、12和16，v分別取3、4、5、6、11和15。

3.3 消融實驗對比

本小節進行相關的消融實驗及分析，驗證了基于顯著性信息進行顏色校正可提高算法性能。圖4 為進行顏色校正前后的對比圖，表4為消融實驗的客觀指標。

(a) 顏色校正前 (b) 顏色校正后

表4 消融實驗客觀指標

經比較發現，顏色校正后水下圖像的PCQI、Entropy、UIQM、UIConM、UISM和UCIQE均得到提升。這說明，基于顯著性信息進行顏色校正可以提升圖像的清晰度和局部對比度，恢復圖像的細節信息。同時，算法去除了圖像色偏和顏色過飽和現象，降低了UICM值的大小。這證實了基于顯著性信息對圖像分區域進行顏色校正的優勢，在保留前景細節信息的同時，有效去除圖像的背景色偏，提升了圖像的整體質量。

4 結束語

針對當前水下圖像清晰化在顏色校正和對比度增強上面臨的挑戰，筆者提出了一種基于顯著性信息的水下圖像清晰化算法。融合多尺度超像素分割和多層元胞自動機進行顯著性檢測，并根據顯著性值的大小在Lab顏色空間對水下圖像進行分區域的顏色校正處理。與近幾年經典的水下圖像清晰化算法相比，所提算法可有效去除水下圖像的藍綠色偏，增強對比度，且處理后圖像的視覺效果更自然。對比全局一致的水下圖像清晰化算法，該算法依據超像素的顯著性大小進行分區域處理，具有針對性和自適應性。水下圖像的顯著圖比深度圖更易準確估計。因此，基于顯著性信息進行水下圖像的清晰化研究有廣闊的發展空間。