基于背景光修正成像模型的水下圖像復原

周 妍 顧鑫濤 李慶武②

①(河海大學物聯網工程學院 常州 213022)

②(常州市傳感網與環境感知重點實驗室 常州 213022)

1 引言

水體對光的吸收和散射效應使得水下光學圖像具有色偏嚴重、光照不均、細節模糊、對比度低等問題[1]。因此，水下直接采集得到的光學圖像不僅難以滿足消費者的應用需求，而且限制了特征匹配和目標識別算法的性能[2]。

現有的水下圖像增強方法主要分為基于圖像處理技術的增強方法[3,4]和基于物理模型的復原方法[5–8]。基于圖像處理的方法包括直方圖均衡、線性拉伸等；而基于物理模型的方法主要包括暗通道去霧、霧線模型等。單幅水下圖像復原通常利用先驗假設來解決不適定問題。Peng等人[9]發現散射效應作用下圖像的模糊程度隨著距離的增加而增加，他們忽略了傳輸的光譜依賴性而通過圖像的模糊度來估計場景深度。He等人[6]假設在小圖像塊內，至少有一個像素在某些顏色通道中具有較低的值，并且使用最小值來估計透射率。Berman等人[7]基于霧線先驗假設將圖像表示為以背景光為中心的球坐標形式，并選取每根霧線中距離背景光最遠處的像素點作為對清晰像素點的估計。

針對惡劣環境中水下圖像的復原問題，本文首先依據對霧天成像的觀察發現大量霧天圖像的大氣光在RGB坐標軸中擬合為一條直線，并基于此提出了水下背景光偏移假設。隨后，依據水下背景光偏移假設提出背景光修正的水下成像模型，將水下圖像分解為霧天圖像和水下偏移分量兩部分。再者，使用單目深度估計網絡獲得水下圖像深度圖，并利用非線性最小二乘擬合獲得水下偏移分量的估計值從而實現水下圖像去水。最后，優化去水后含霧圖像的透射率并結合修正后的背景光進行圖像復原。

2 水下背景光偏移假設

本文從相關文獻的實驗圖像以及谷歌搜索中獲得了大量自然含霧圖像組成的數據集，手動標記每張圖像無窮遠處的大氣光并記錄其3通道值。圖1(a)展示了數據集中部分自然含霧圖像示例。其中，每幅霧圖中紅色五角星處為手動標記的無窮遠處的大氣光，標記像素點在RGB坐標軸中的表示如圖1(b)所示。通過觀察可以發現，不同自然含霧圖像無窮遠處的大氣光的3通道值都近似相等，且它們在RGB坐標軸中的擬合直線近似為通過原點的正立方體對角線。本文將這根直線定義為霧度線，即圖1(b)中的虛線。

然而，水下圖像無窮遠處的背景光顯然不符合地面霧天圖像大氣光的觀察結果。與地面霧天成像相比，不同水體對光具有不同的吸收和散射作用，從而導致水下圖像的背景光通常具有不同程度的色偏。基于上述觀察結果，本文提出了水下圖像背景光偏移假設：地面無窮遠處的真實大氣光位于霧度線上，經大氣散射作用后沿霧度線衰減，隨后由于水體對光的吸收和散射作用，其從霧度線上發生偏移并最終獲得實際拍攝得到的水下圖像背景光。圖2所示為水下背景光偏移的假設過程。其中，點A為地面成像時的大氣光，點B′為A點沿著霧度線衰減后的結果，點則代表點B′發生偏移后的真實水下背景光。

為了進一步驗證上述假設，如圖3(a)和圖3(b)所示，分別選取霧天圖像和水下圖像中場景深度不同的各7塊區域，求取每一區域內所有像素各通道的平均值。其中，每幅圖像中黑色方框內的局域均值為圖像的背景光。如圖3(c)所示，兩幅圖像不同場景深度處的局域通道均值可擬合為兩條不同的直線(霧天圖像為綠色虛線，水下圖像為藍色虛線)。值得注意的是，霧天圖像的背景光位于上文定義的霧度線(圖3(c)中的黑色實線)上，而水下圖像的背景光會依據水體的不同而發生變化。隨著場景深度的增加，它們的局域通道均值都沿著擬合的直線向對應圖像的背景光方向移動。

綜上所述，基于水下背景光偏移假設可以得到如圖4所示的建模示意圖。當在地面大氣中成像時，受大氣散射作用的影響，隨著場景深度的增大，真實像素點Jc(x)被推向位于霧度線上的背景光B′，得到霧天圖像中的像素點Ic′(x)；而當同一真實像素點Jc(x)在水下成像時，受到水體的吸收和散射作用的影響，依據水下背景光偏移假設，背景光從霧度線上發生偏移，原本被推向B′的像素點因此被推向了，最終成為水下圖像中的像素點Ic(x)。

3 本文方法

3.1 背景光修正的水下成像模型

水下成像模型的一般表達式為[10]

式(4)可細化并變形為

綜上所述，基于水下背景光偏移假設構建的背景光修正的水下成像模型可表示為

由背景光修正的水下成像模型式(6)可知，只要合理估計水下偏移分量Bbias的值，即可實現水下圖像去水，從而將水下圖像復原問題轉化為霧天圖像復原問題。

3.2 水下圖像去水

3.2.1 場景深度估計

文獻[10]使用一種3維重建方法來生成場景深度圖并將其用于水下圖像的復原。該方法生成的深度值通常是非常精確的，因此其被普遍地應用于地形重建等領域。然而針對水下圖像復原的大多數方法并不需要如此精確的絕對深度值，常見的利用暗通道或亮度通道估計得到的精度相對較低的深度圖在應用于水下圖像復原時同樣取得了令人矚目的成就。因此，本文利用單目深度估計網絡 (Monodepth2[11])，將自適應直方圖均衡預處理后的單幅水下圖像作為輸入，獲得相應的深度圖輸出[5]。與利用3維重建方法得到的以米為單位的絕對深度不同，單目深度估計網絡輸出的是歸一化的相對深度[12]。因此必須根據輸出的相對深度估計絕對深度。由于水下的能見度隨著場景深度的增加而迅速下降，即直接分量隨景深的增加呈指數衰減而后向散射分量隨景深的增加呈指數增大，當場景深度超出一定范圍時，后向散射分量占據主體地位且趨近于飽和。此時，隨著景深的進一步增大，像素值的變化可忽略不計。因此我們定義了一個最大能見距離(默認值為10 m)，以此來衡量相對深度。此外，通過觀察水下RGBD數據集[10]中利用3維重建得到的景深圖，發現所有景深圖中的深度距離都不是從0開始的。這是因為水下成像時相機受特定視場的限制，深度較小的物體通常不可見。為此定義了一個最小成像距離(默認值為1 m)。最后，將單目深度估計網絡輸出的相對深度圖線性映射到最小成像距離和最大能見距離之間從而獲得絕對深度。與使用3維重建方法獲得的非常精確的絕對深度相比，本文利用單目深度估計網絡輸出的相對深度圖以及人工設置的最大能見和最小成像距離，生成了精度相對較低的絕對深度估計值，其在滿足水下圖像復原需要的同時，降低了測量成本和時間成本，在后續的復原步驟中同樣取得了較好的效果。

3.2.2 水下背景光修正

3.2.3 水下偏移分量Bbias的估計

3.3 含霧圖像去霧

然而在針對水下圖像復原的實驗中，本文發現部分距離背景光B′最遠處的像素點通常具有較小的像素值。這是因為，與在地面上成像不同，水下成像受水體對光的吸收作用的影響，成像后的圖像通常光照不均且部分區域的像素點的值趨近于0，我們稱之為暗像素點，即圖5中黃色圓點所示的像素點。依據霍夫投票[14]，非局域暗像素點同樣參與投票，并最終被劃分入不同的霧線中。并且這些暗像素點通常是其所在霧線中距離背景光B′最遠的像素點，將屬于該霧線的其他像素點都復原到以暗像素點為中心的緊密簇中會使得復原后圖像中部分區域偏暗，從而導致細節丟失。

由于背景光通常為圖像中亮度最大的點，因此，本文定義d的值為背景光B′到亮度為0的像素點(RGB坐標原點)距離的一半，用于界定每根霧線中距離背景光最遠處的像素點作為對清晰像素點的估計是否合適。對于一根給定霧線H，若該霧線中距離背景光B′最遠的像素點到背景光的距離(x)＞d，則認為此時距離背景光最遠處的像素點亮度較低，不適合作為對這根霧線中清晰像素點的估計，進而可以通過調整μ的值將其映射到亮度更高的像素點處，依據實驗所得的經驗值，本文取μ=0.85。否則，則認為選取該霧線中距離背景光最遠處的像素點作為對清晰像素點的估計是合適的。改進后每根霧線中清晰像素點到背景光B′的距離為

從而優化后的透射率表達式為

4 實驗結果與分析

4.1 復原結果有效性驗證

為驗證提出的復原方法的有效性， 本文制作了一個包含多種顏色的色卡板，使用專業水下相機(相機型號為OLYMPUS IM005)在不同水體中進行了水下實驗，如圖7(b)所示。其中，水體1為常見的流動湖水，拍攝距離為1 m；水體2為能見度較低的不流動池塘，拍攝距離為0.5 m；水體3和水體4是在實驗室水箱中加入不同濃度的硫酸銅模擬得到的兩種偏藍色水體，拍攝距離為1 m。在所有水體中相機均在距離水面0.5 m深處拍攝目標物體。考慮到照明條件的影響，在所有水體中相機均使用了閃光燈。對于這組不同水體中拍攝的圖像，本文應用了以下方法：多尺度視網膜增強[4]、通道遷移加暗通道去霧[16]，以及色彩補償加多尺度融合[17]分別對它們進行處理。在將其復原后的結果與本文方法進行比較的同時，還與空氣中拍攝的參考圖進行對比。為了定量分析不同水體中圖像復原結果的有效性和魯棒性，本文選用國際照明委員會(CIE)開發的CIEDE2000色差公式來評價復原后的結果。參考如圖7(a)所示在空氣中拍攝的色卡原圖，通過手動定位，測量空氣中的參考圖與復原后的每幅圖像中對應色塊之間的色差。值得注意的是，CIEDE2000的值越小則代表復原后的結果與空氣中拍攝的色卡的色差越小。由圖7和表1可知，較其他方法而言，本文方法在不同水體中的處理結果與空氣中原圖的差距更小，在不同水體中對色卡的復原結果均能得到最優或次優的CIEDE2000色差值。并且由于結合了背景光修正、水下偏移分量去除以及圖像去霧，本文方法在處理不同水體中的圖像時更加穩健。

表1 不同水體中各算法復原結果的CIEDE2000色差指標對比

4.2 與已有算法對比分析

4.2.1 定性分析

為進一步說明本文算法的優越性，本文選取了4種常用的水下圖像復原方法與本文算法進行對比。所有實驗圖像均來自相關論文或真實水下數據集，限于篇幅，文中給出了部分實驗結果，如圖8所示。其中，Image1—Image 4為常見的低質量水下圖像，Image5—Image 6為低照度圖像。從圖8所示的實驗結果來看，所有復原方法均不同程度地提高了水下圖像的視覺效果，處理后的水下圖像清晰度和對比度均有所提高。

其中，文獻[16]在利用顏色通道遷移進行預處理的基礎上使用暗通道去霧算法去模糊，盡可能地保留原始圖像的細節，然而該方法可能造成顏色通道的過度增強，如圖8(b)中Image1和Image3經過此算法復原后的圖像中部分區域出現白色高光，導致細節丟失。文獻[17]在顏色補償的基礎上對圖像進行多尺度融合從而增強細節，該方法通過顏色補償一定程度上校正了原始圖像的色偏，然而多尺度融合的步驟在突出圖像細節的同時也放大了圖像中的噪聲，如圖8(c)中Image1和Image6經過此方法復原后的結果均出現了不同程度的噪聲，并且該方法復原后的圖像整體偏暗，其在處理低照度圖像時擁有最差的視覺效果。文獻[18]基于直方圖分布先驗改善圖像的對比度和亮度，并基于最小信息損失原則恢復水下圖像的可見性、顏色及自然外觀。如圖8(d)所示，該方法復原后的圖像色彩更加豐富，然而Image4和Image5經過此方法復原后背景處均出現了紅色偽影。文獻[19]利用圖像的亮度分量估計場景深度，再結合場景深度獲得后向散射分量，最后對去除后向散射分量的圖像進行顏色校正。如圖8(e)所示，該方法能夠突出遠景和近景處的細節且亮度較為均勻，然而使用該方法處理后的Image4和Image5色偏去除效果較差，處理后的結果仍有明顯色偏，并且經過該方法復原后Image5中的魚群和礁石難以分辨。

相較而言，本文方法將水下圖像復原問題轉化為霧天圖像復原問題，有效地去除了水下圖像的色偏和模糊，顯著地提高了圖像的對比度。當應用于圖8中Image5～Image6所示的低照度水下圖像時也獲得了較好的效果，復原后圖像的亮度得到了提高，光照更加均勻，細節部分也更加突出。

4.2.2 定量分析

為進一步驗證本文方法的性能，本文選取了4種常用的水下圖像評價指標：平均梯度(Average Gradient, AG)、圖像信息熵(Information Entropy,IE)、水下圖像增強評價指標(Underwater Color Image Quality Evaluation, UCIQE)、水下彩色圖像質量評價指標(Underwater Image Quality Measurement, UIQM)。其中，平均梯度是指圖像邊界兩側灰度值的差異，即灰度變化率，平均梯度值越高的圖像越清晰。圖像信息熵反映了圖像中的平均信息量，攜帶更多信息的圖像擁有更高的圖像信息熵值。UCIQE用于評估算法恢復水下圖像色度、飽和度和對比度的綜合性能；而UIQM則是基于人眼視覺系統激勵，以RGB色彩空間中的色彩、清晰度以及對比度為測量指標。這兩種評價方法通過將各自的測量指標線性組合而得到最終的值，對于顏色平衡，飽和度、清晰度和對比度更高的圖像，其UCIQE和UIQM的值更高。基于此，本文將不同方法的復原結果進行客觀評價，比較結果如表2所示。從表2可以看出，5種復原方法復原后的圖像與原始圖像相比各項指標均有所提升。其中，本文方法處理后圖像的平均梯度指標較其他方法而言最高，這表明處理后圖像的灰度變化率較高，可以很好地區分圖像的邊界差異。同時，通過信息熵指標可以看出，本文方法較其他方法而言顯著地提高了圖像的信息量，因此復原后的圖像中細節信息更加豐富。而在UCIQE和UIQM指標中，本文方法均獲得了最優值或次優值，這表明復原后的圖像色彩更加均衡，擁有更好的視覺效果。

表2 各方法客觀評價指標平均值比較

5 結束語

針對水下圖像顏色失真和模糊等問題，本文提出了一種基于水下背景光偏移假設的水下圖像復原算法。首先，通過對比霧天圖像和水下圖像背景光的觀察結果提出水下背景光偏移假設，并建立背景光修正的水下成像模型；隨后，利用單目深度估計網絡生成水下圖像的景深圖，結合深度圖獲得水下圖像背景光的估計值，并利用幾何校正方法將水下背景光修正為霧天背景光；再者，利用非線性最小二乘擬合獲得水下偏移分量，并基于背景光修正的水下成像模型實現水下圖像去水；最后，優化去水后的含霧圖像的透射率，并結合修正后的背景光計算最終的復原結果。實驗結果證明，所提方法在水下圖像色偏校正和模糊去除方面效果良好。