基于人工欠曝光融合和白平衡技術的水下圖像增強算法

陶 冶，許文海，徐魯強，郭富城，蒲海波，陳廣同

（1.大連海事大學信息科學技術學院，遼寧大連 116026；2.遼寧港口集團有限公司專業能力中心，遼寧大連 116001）

（?通信作者電子郵箱taoyeln@cmhk.com）

0 引言

隨著人口的不斷增長，人類對海洋的探索和對其資源的應用愈加頻繁。水下攝像被廣泛應用于諸如水下人造物的監測、水下目標物的識別、水下機器人的操控以及水下生物的發現等研究工作中。然而，因受到光的吸收和散射作用，水下拍攝的照片往往呈現出對比度低、細節信息保留不足及顏色失真等問題［1］，嚴重阻礙了人類對水下世界的探索。所以，獲取清晰準確的水下圖像是幫助人類進一步了解水下世界的重要前置條件。

研究者提出了各種各樣的水下圖像去霧算法。例如，有些學者提出使用專用儀器［2］或基于偏振的方法［3］來增強圖像質量。這些方法往往所需要的儀器設備非常昂貴，且無法對視頻幀或動態場景照射的圖像進行增強。還有一些研究者提出基于同一場景多幅圖像進行融合的方式［4］來增強圖像質量，但考慮水下環境的特殊性，獲取同一場景的多個版本的水下圖像對操作要求極高，普通的使用者根本無法獲取。因此，更多的研究者考慮提出只基于單幅圖像本身的信息進行水下圖像的去霧處理。單幅水下圖像去霧處理方法大致可分為三個類別：第一類是水下圖像的增強方法；第二類是水下圖像的復原方法；第三類是基于深度學習的方法。

水下圖像復原技術中最具代表性的是暗通道先驗（Dark Channel Prior，DCP）算法［5］，該算法認為每一幅無霧圖像中每個區域總有一個顏色通道會有一個很低的值，然后利用全圖最暗的點來去除圖像均勻的霧的方式進行去霧處理。DCP應用于空氣中的圖像去霧效果良好，但在水下圖像的去霧上表現不佳。隨后，受到DCP 的啟發，研究者們提出了很多諸如DCP 結合顏色補償的算法［6］、紅色通道先驗算法［7］，以及著名的水下圖像暗通道先驗（Underwater Dark Channel Prior，UDCP）算法［8］等圖像復原方法，但此類方法大多需要大量額外的先驗知識作為應用基礎，普通的技術人員并沒有獲取這些先驗知識的有效途徑。現在比較流行的基于深度學習的算法［9］也在水下圖像去霧領域頗有建樹。水下圖像的卷積神經網絡（UnderWater Convolutional Neural Network，UWCNN）技術［10］可提升水下圖像清晰度，但需要長時間、大量訓練的相應圖像數據集作為基礎。此類方法多需要龐大的網絡結構作為支撐，并對相應的訓練數據集有很高的要求。

水下圖像增強方法多為基于空間域或頻率域的變化或一些融合技術來提升水下圖像的視覺質量。其中比較常見的直方圖均衡算法［11］、自適應對比度限制直方圖均衡化算法［12］，以及廣義鈍的掩蔽算法［13］均為著名的提升圖像對比度的算法，無法有效克服水下圖像細節丟失、顏色退化的缺陷。基于融合技術的圖像增強方法往往在水下圖像去霧方面表現更佳，例如由文獻［14］提出的基于融合和色彩平衡技術的水下圖像去霧算法，該算法將原始水下圖像首先進行白平衡處理，然后分別獲取基于白平衡處理后的銳化版本和伽馬矯正版本，最后通過分別設置“拉普拉斯對比度”“顯著性特征”“飽和度”三個權重值結合多尺度融合方法獲得最終融合圖像。該算法可一定程度提升水下圖像的質量，但由于其白平衡技術只是對單一顏色通道進行增強，色彩校正效果不夠理想且最終圖像的對比度較低。

根據現有水下圖像去霧技術中存在的問題，本文提出了基于人工欠曝光融合和白平衡技術（Artificial Under-exposure Fusion and White-Balancing technique，AUF+WB）的水下圖像增強算法，可有效提升圖像對比度，恢復圖像細節信息并校正不良色偏，從而提升水下圖像的視覺質量。相較于DCP 算法、UDCP 算法、UWCNN 算法和文獻［14］算法，在對大量水下圖像樣本進行去霧處理時，所提AUF+WB 算法在主觀、客觀評價中均表現更好，充分驗證了AUF+WB 算法的可行性和有效性。

1 相關工作

1.1 水下成像模型

水下圖像和平常圖像最主要的差別在于光在水中受到吸收和散射作用的影響，使水下圖像成像效果對比度降低、細節信息丟失且顏色發生嚴重的退化。其中光的吸收過程具有選擇性衰減現象，與光波長度密切相關。當水深超過6 m 時，紅色光基本消失，所以絕大多數的水下圖像呈現藍綠色調。McGlamery［15］首次提出了著名的水下成像模型，將水下成像的光學過程看作三個分量的線性相加。這三個分量分別為：1）從目標物反射至相機的直接反射分量Ed；2）被水中懸浮顆粒散射但仍到達相機的光的前向散射分量Ef；3）由環境光源（太陽光、大氣光等）照射至水中但被懸浮顆粒物散射后無法達到相機的后向散射分量Eb。其中，因為絕大多數的水下攝像過程中相機與被照射物體的距離很近，直接反射分量Ed可在水下成像過程中忽略不計，因此文獻［15］中水下成像模型可簡化為式（1）：

其中：Ic(x)=(IR(x)，IG(x)，IB(x))為原圖像，c代表相對應的顏色通道；Jc(x)為去霧后的水下圖像；tc(x)為相對應顏色通道的傳輸率，且e-tc(x) ∈[0，1]。水下圖像去霧算法大多是以此經典模型為基礎提出的。

1.2 算法性能

如前文所述，水下圖像因受到光的吸收和散射作用的影響，經常出現對比度降低、細節信息丟失和顏色失真的問題，導致其視覺質量的下降，從而限制了人類對海洋世界的探索與研究。針對上述水下圖像視覺問題，提出了圖像增強算法AUF+WB。

1.2.1 提升對比度和恢復細節信息

在提升對比度和恢復細節信息研究中發現，一幅圖像處于理想的對比度就可以展現出這張圖像更多的細節信息。因此，對比度的調整和細節信息的恢復是緊密相連的，諸如直方圖均衡技術、自適應對比度限制直方圖均衡化技術，以及廣義鈍的掩蔽技術等都是常見的提升對比度的方法，但其在增強水下圖像上表現一般。這里，引入另外一個概念：曝光度。曝光度是到達相機感光元件光亮的度量，如果一幅圖像上所有的點均處在其最佳曝光度，這幅圖像的對比度就可以得到合理有效的提升，并展現更多的細節信息。水下圖像由于光在水中的吸收和散射作用，通常對比度較低，因此本文提出可以參考大氣有霧圖像的多曝光融合增強策略［4］，即：獲得同一水下場景的不同曝光度圖像版本再進行多尺度融合操作的設想，可以有效恢復更多的細節信息。但常規獲取單一場景多曝光度圖像的方式是在拍攝瞬間調節快門的速度來實現的，而對于水下攝像，由于受到外部環境條件的客觀影響，獲取同一場景的多幅、不同曝光度圖像很難通過常規途徑獲取。因此，根據圖1 中展示的通過調節照片的伽馬值的方式和調整曝光度的作用大體相似，所以本文提出可以在獲取水下圖像的基礎上通過調節其伽馬值的方式得到多幅、不同曝光版本的人工多曝光圖像用以圖像增強。

圖1 人工生成多幅低曝光度圖像及其融合結果Fig.1 Multiple artificial generated under-exposure images and their fusion results

1.2.2 矯正顏色失真

在校正顏色失真的研究中，研究者們已提出了諸如灰度邊緣假設（Gray-Edge）［16］、灰色陰影假設（Shades-of-Gray）［17］、顏色通道最大化假設（Max-RGB）［18］、灰色世界假設（Gray-World）［19］、文獻［20］中的白平衡方式及文獻［14］中的白平衡方式等方法來實現這一目的。但現有的方法在水下圖像的顏色校正中均存在不足之處：經典的白平衡方式（Gray-Edge、Shades-of-Gray、Max-RGB、Gray-World）無法對水下圖像進行有效的顏色糾正。文獻［20］中的白平衡方式容易造成紅色通道過補償現象，而文獻［14］中的白平衡方式則會因為只通過補償單一顏色通道的方式，造成對比度降低、藍色通道補償不足等缺陷。針對以上問題，并結合水下光照選擇性衰減現象，首先假設對水下圖像的五種顏色通道補償方式，即：綠色補償紅色，藍色補償紅色，藍色、綠色補償紅色，綠色補償藍色和紅色，藍色補償綠色和紅色，然后分別將5 種補償后的圖像結合Gray-World 白平衡假設生成相應白平衡版本。最后，采用定量評價的方法選取最優的白平衡方式，定量評價的指標選擇水下彩色圖像質量評價指標（Underwater Color Image Quality Evaluation，UCIQE）［21］和水下圖像質量評價標準（Underwater Image Quality Measure，UIQM）［22］，原因如下：

1）UCIQE 和UIQM 是近年來被廣大研究者認可的水下彩色圖像質量評價指標。

2）UCIQE 和UIQM 分別在基于皮爾遜線性相關系數和斯皮爾曼相關系數計算中名列無參考評價指標的2、3 位［23］。UCIQE和UIQM的值越高，評測圖像的質量越好。

2 本文算法

2.1 算法框架

基于水下成像模型的特點以及水下圖像通常的問題表現，本文提出了基于欠曝光融合和白平衡技術（AUF+WB）的水下圖像增強算法。AUF+WB 由兩個步驟構成，分別是欠曝光圖像融合技術與優化的白平衡技術。AUF+WB算法框架流程如圖2所示。

圖2 AUF+WB算法流程Fig.2 Flow chart of AUF+WB algorithm

2.1.1 多曝光版本的獲得

采用人工調整原圖像伽馬值的方式來改變圖像的全局曝光度，從而得到多幅欠曝光版本的圖像，如式（2）所示：

其中：Iγ(x)為生成的相應伽馬值調整曝光度的圖像；I(x)為水下原始圖像。當γ＞1 時，生成的圖像為欠曝光圖像，其原始圖像明亮區域的細節信息得到提升而原本暗淡的區域細節進一步丟失；當γ＜1時，呈現的效果完全相反。但經實驗發現，在引入γ＜1（過曝光）版本的圖像進行多尺度融合操作后，雖然原始圖像無論暗淡或是明亮區域的細節信息均得到有效恢復，但也會在融合結果中引入諸多的不良噪聲，破壞圖像的整體視覺質量。因此考慮選取合理的γmax值，并生成γ∈[1 ∶1 ∶γmax]相應的欠曝光版本圖像。同時，對已不影響圖像明亮區域信息表達的γmax欠曝光版本執行對比度受限自適應增強操作（Contrast Limited Adaptive Histogram Equlization，CLAHE），從而提升該版本對原始圖像灰暗區域的細節信息體現，最終達到融合后的圖像可有效恢復原始水下圖像退化的細節信息，同時降低噪聲影響的目的。當然，圖像的對比度其實就是圖像區域內像素強度最高與像素強度最低的差值，明亮區域與灰暗區域的細節信息得到良好恢復，圖像的對比度也會得到有效提升，即完成了人工多幅欠曝光版本融合操作的目的。通過調整伽馬值生成的原圖，各個欠曝光版本可定義為：其中：EK(x)為原圖生成的不同欠曝光版本的圖像集。接下來，確定合理的K(γmax)的值將是一個急需解決的問題。根據對圖3 的觀察，發現當γ=4 時，圖像明亮區域的細節信息已基本消失，且灰暗區域的細節信息已經恢復較好效果，與γ=5呈現內容大致相同。同時，也發現當K=5和K=6時，融合結果所表現的細節恢復及對比度提升效果基本一致。基于以上觀察，有理由相信設定K（γmax）的值為5 是合理的，即生成EK=5(x)={Eγ=1(x)，Eγ=2(x)，Eγ=3(x)，Eγ=4(x)，Eγ=5(x)} 這5幅原始圖像的欠曝光版本進行接下來的多尺度重合操作。

圖3 設置不同γ值的圖像及其相應融合結果Fig.3 Images with different γ values and their corresponding fusion results

2.1.2 權重值的設置

圖像的視覺質量可由目標圖像的對比度、飽和度和曝光度來決定［24］，因此設定“對比度”“飽和度”和“良好曝光度”作為融合權重，具體如下：

1）對比度權重W kc(x)。較高的對比度可以展現更多的細節信息，因此對比度是評價圖像質量的重要指標。在每個像素x的對比度權重可以定義為：

其中：σ和β為衡常數參量，經大量計算驗證［25］被設置為0.25和0.5；代表當γ=k時顏色通道c的各個像素x的強度。

最終每個欠曝光版本的總權重可被定義為簡單地將以上三個分量權重相乘的形式，同時為了保證權重加成效果不會使融合結果J(x)出現過渡加成現象，總權重還應經過標準化處理，使每一個欠曝光版本的總權重系數之和等于1。

2.1.3 經典多尺度融合策略

設定好權重值后，直接代入經典的多尺度圖像融合策略計算式［26］中，獲得拉普拉斯金字塔分解的第l層融合結果，Jl(x)計算式如下：

2.2 改進的白平衡技術

圖像白平衡的作用是為了矯正顏色偏差和提升圖像對比度。但根據水下圖像低對比度和不飽和的特性，無法簡單地確認除了紅色，還應該對哪些顏色通道進行補償。因此根據水下圖像的選擇性衰減現象，提出以下五種顏色通道補償方法，即：綠色補償紅色，藍色補償紅色，藍色、綠色補償紅色，綠色補償藍色和紅色，藍色補償綠色和紅色。5 種顏色補償的具體方式如下。

1）綠色通道補償紅色通道：

2）藍色通道補償紅色通道：

3）綠色、藍色通道補償紅色通道：

4）綠色通道補償紅色、藍色通道：

5）藍色通道補償紅色、綠色通道：

其中：Ire(x)、Ige(x)、Ibe(x)分別代表相對于紅、綠、藍補償后的顏色通道強度值；Ir(x)、Ig(x)、Ib(x)分別代表原圖像相應顏色通道的強度值；分別代表原圖像相應顏色通道的平均強度值。α為常數參數，為避免過度補償，其取值范圍屬于[0，1]。設定0.1為增量，分別使α=(0 ∶0.1 ∶1]，獲得相應的50 幅補償圖像。此外，為了避免造成原顏色通道的過度補償，補償只針對被補償顏色通道原強度值較小的像素點。因此，原圖像被補償顏色通道中強度值已超過最大強度值95%的像素點將不被補償。

將生成的50 種補償圖像分別結合Gray-World 白平衡技術生成相應的白平衡圖像，再利用UCIQE 和UIQM 對50 種白平衡圖像進行評價。鑒于暫無研究可定義UCIQE 和UIQM 兩種無參考水下圖像質量評價指標的影響權值，因此假定UCIQE 和UIQM 對圖像評價的數值具有相同的意義，提出如下計算式：

其中：m分別對應50幅白平衡處理后的圖像；i(m)代表第m幅圖像的UCIQE 評價值；I(m)代表第m幅圖像UCIQE 評價值所對應的影響百分比；q(m)代表第m幅圖像的UIQM 評價值；Q(m)代表第m幅圖像UIQM 評價值所對應的影響百分比。選取S(m)的最大值所對應的m即可得到最佳的α值及最合適的白平衡補償方式。

3 實驗與結果分析

為充分驗證AUF+WB 算法的有效性與魯棒性，首先采用300 幅來自水下圖像數據庫UIEB（Underwater Images Enhancement Benchmark）［27］的圖像通過定性、定量的方式對現有先進的DCP算法［5］、UDCP算法［8］、UWCNN 算 法［10］、文獻［14］融合算法與AUF+WB 算法進行對比。然后，采用實地潛水實驗中的水下圖像和視頻幀進一步驗證AUF+WB 算法的實用性。最后，對AUF+WB 算法在其他領域的應用場景進行簡要介紹。

3.1 數據庫圖像評測

因篇幅有限，本節僅提供10 幅來自UIEB 的水下圖像強化效果對比；同時，提供分別采用局域對比度質量指數（Patchbased Contrast Quality Index，PCQI）［28］、UCIQE 與UIQM 三種評價指標對UIEB 數據庫中300 幅水下圖像強化后的定量評價平均值，從而對比相關水下圖像去霧算法的魯棒性。

UCIQE 與UIQM 是被廣泛認可的水下彩色圖像質量評價標準，而新引入的PCQI 是一個評測圖像對比度的通用指標，其值越高代表相應圖像的對比度越合適。圖4 給出了5 種水下圖像去霧算法對10幅水下圖像處理的結果對比。

圖4 不同水下圖像去霧算法處理水下圖像的結果比較Fig.4 Result comparison of different underwater image defogging algorithms on underwater images

DCP 算法可以提升對比度，但無法矯正水下圖像的色彩失真現象。而專門為恢復水下圖像設計的UDCP 算法，遇到色彩嚴重偏色的情況也無法準確矯正圖像顏色。文獻［14］算法在提升對比度、恢復細節信息、矯正色彩失真方面均有效果，但其優化后的圖像曝光度會受到影響，造成圖像發白問題。基于深度學習的UWCNN 算法因缺少相應的大量數據集長時間的訓練，恢復指定水下圖像的效果一般。AUF+WB 算法可以穩定地提升水下圖像的視覺質量，在對比中表現最佳。同時，為了進一步驗證該算法的魯棒性，統計從UIEB 數據庫中隨機選取的300 幅圖像的平均評價值，如表1 所示。AUF+WB 算法在PCQI、UCIQE 及UIQM 評價指標中均獲得評價最優值，表明該算法的應用魯棒性較好。

表1 UIEB數據庫的300幅圖像平均定量評價結果Tab.1 Average quantitative results of 300 images from UIEB database

3.2 現場實驗圖像及視頻幀處理

在中國遼寧大連附近海域，組織完成三次水下潛水攝像實驗以驗證AUF+WB 算法的實際應用性。現場實驗采用潛水員手持GoPro HERO9 相機全程錄像的方式進行拍攝，共獲取視頻21 條，截取視頻幀圖像5 300 余張。視頻錄制主要以拍攝水下生物和周邊碼頭水下結構技術狀態為主。考慮到碼頭水下結構顏色比較單一，因此圖5 僅給出AUF+WB 算法與其他先進算法對6 幅相關圖像（海洋生物為主）的圖像增強結果對比。表2給出了圖5相關圖像的平均定量評價結果。次，很大程度上限制了算法的實際運算效率，在選取最佳白平衡方式后，算法的效率得到明顯提升。表3為不同算法對300幅來自UIEB 水下圖像數據庫的圖像的計算平均時耗結果比較。所有運算均在Intel i7-10710 CPU@1.10 GHz、16 GB 內存硬件條件下，在Matlab 2020b（學生版）和Python 3.5.2 軟件環境中完成。

圖5 不同水下圖像去霧算法處理視頻幀的結果比較Fig.5 Result comparison of different underwater image defogging algorithms on video frames

表2 圖5相關圖像平均定量評價結果Tab.2 Average quantitative evaluation results of Fig.5 related images

表3 不同算法運算耗時比較Tab.3 Comparison of running time of different algorithms

根據觀察可知，AUF+WB算法的應用效果較好，對水下圖像質量的提升優于其他對比算法。同時，在相關定量評價中，AUF+WB 算法的UCIQE 與UIQM 值均為最高，表明了該算法的有效性。

綜上所述，本文所提出的AUF+WB 算法可有效提升水下圖像的視覺質量，但通過大量的實驗也發現其現階段存在以下不足：

1）白平衡算法的運算過程中將幾乎相同的公式運算50

2）AUF+WB 算法在原始圖像部分區域，會遇到在非常嚴重的不均勻光照情況下，紅色通道補償過多的問題。原因在于該算法所采用的白平衡技術是對圖像全局的調整，并未考慮到對局部區域的修正。

針對以上不足，將在下一階段的研究中著重進行白平衡算法運算代碼的優化，同時增加對可能遭受嚴重不均勻光照的局部區域顏色通道的修正運算。

3.3 其他應用場景

AUF+WB算法雖然是專門為水下圖像的質量增強而設計的，但它也可應用于對有霧圖像的增強。圖6 給出了AUF+WB 算法應用于有霧圖像所得到的圖像增強效果與原圖的對比，圖像來源于有霧圖像數據庫［29］。可以看出，AUF+WB 算法有效提升了降質圖像的對比度，恢復了大量細節信息，同時對顏色失真進行了矯正，使圖像具有更好的視覺感知效果。

圖6 AUF+WB算法對有霧圖像的增強效果Fig.6 Enhancement effect of AUF+WB algorithm on foggy images

4 結語

基于水下圖像對比度低、細節信息丟失、顏色失真嚴重等問題，本文提出了一種基于人工欠曝光融合和白平衡技術（AUF+WB）的水下圖像增強算法。該算法通過采用人工、多幅欠曝光圖像融合算法和改進的白平衡技術可以提升水下退化圖像的視覺質量，相較于現階段先進的水下圖像去霧算法，AUF+WB 算法在定性評價和定量評價中均取得了更好的效果。同時，通過實驗分析可知，本文算法還適用于空氣環境下有霧、低光照圖像質量的強化，有較好的應用前景。

相較于現階段的其他水下圖像去霧算法，AUF+WB 算法的增強效果有較大的提升，但經過大量實驗發現，該算法也有其局限性，主要體現為：1）運算效率較低；2）在目標圖像中受到嚴重不均勻光源影響時，其白平衡運算容易造成紅色通道補償過度的不良現象。在接下來的研究中，我們將著重對AUF+WB 算法的代碼進行優化，同時增加對圖像局部顏色通道的修正。