基于積極概率分布引導的水下圖像增強網絡

摘" 要： 針對水下環境復雜多變，導致現存算法難以穩定恢復水下退化圖像的問題，文中提出一種基于積極概率分布引導的水下圖像增強網絡，該網絡通過構建積極樣本概率引導框架，從混合樣本中估計其特征概率分布來引導網絡恢復退化圖像。首先，提出多分支信息提取架構獲取輸入特征的多空間特征，并分別在空間、像素、通道等方面增強圖像特征分布；其次，結合條件變分自動編碼器與自適應實例歸一化獲取特征分布，并改進現有風格遷移算法增強圖像顏色與對比度；最后，結合多項損失函數進一步增強網絡的魯棒性，提高圖像質量。實驗結果表明，所提方法輸出圖像色澤清晰、顏色均衡，在多個數據集上的定性定量指標均優于對比的經典和新穎算法，對真實海洋工作具有重要意義。

關鍵詞： 水下圖像增強； 概率分布； 條件變分自動編碼器； 自適應實例歸一化； 注意力機制； 色偏校正

中圖分類號： TN911.73?34； TP391.41" " " " " " " " " "文獻標識碼： A" " " " " " " "文章編號： 1004?373X（2024）23?0015?07

Underwater image enhancement network based on guidance of

positive probability distribution

ZHU Lizhong1， WANG Yaxin1， GUO Baoren2

（1. School of Automation and Electrical Engineering， Shenyang Ligong University， Shenyang 110159， China;

2. Northeast Branch of Huadian Electric Power Research Institute Co.， Ltd.， Shenyang 110167， China）

Abstract： The underwater environment is complex and changeable， which makes it difficult for the existing algorithms to restore the degraded underwater images stably， so an underwater image enhancement network based on the guidance of positive probability distribution is proposed， that is， by constructing a probability guidance framework of positive samples and estimating their characteristic probability distributions from mixed samples， the network is guided to restore the degraded underwater images. Firstly， a multi?branch information extraction architecture is proposed to obtain the multi?spatial features of input features， and enhance the image feature distributions in the aspects of space， pixels and channels. Secondly， the feature distribution is obtained by combining conditional variational autoencoder （CVAE） with adaptive instance normalization， and the existing style transfer algorithm is improved to enhance image color and contrast. Finally， the robustness of the network and the image quality are further improved by combining multiple loss functions. The experimental results show that the output image of the proposed method has clear and uniform color， and its qualitative and quantitative indicators on several data sets are superior to those of the classical and novel algorithms， so it is of great significance to real transactions of marine.

Keywords： underwater image enhancement; probability distribution; CVAE; adaptive case normalization; attention mechanism; color cast correction

0" 引" 言

圖像作為機器視覺及其工程領域傳遞信息的主要載體，其質量對工作效率產生直接影響[1]，例如在水下目標檢測、路徑規劃、海洋勘探等工作中，由于水體對光線的吸收和散射，直接獲取的圖像往往會出現不同程度的失真，進而降低海洋工作的整體效率。因此，致力于增強水下退化圖像對推動水下工程發展具有極其重要的現實意義。

現階段，水下圖像增強方法即基于物理模型的傳統水下圖像復原方法和基于深度學習網絡的水下圖像增強算法[2]。其中，傳統方法大多通過水下暗通道先驗、最小信息先驗、顏色衰減先驗等方法來估計水下物理成像模型對應參數，并反演計算出清晰圖像。例如，文獻[3]提出一種混合水下圖像矯正方法，該方法首先設計一種顏色校正方法來消除色偏問題，然后利用全局背景光估計和回歸模型算法計算模型參數，結合水下成像模型恢復清晰圖像。文獻[4]提出一種基于背景光統計模型和透射圖優化的水下圖像增強方法，首先通過使用暗信道和水下衰減先驗來估計傳輸圖和背景光，然后通過得到的參數計算清晰圖像，最后引入白平衡方法進一步提高其質量。文獻[5]提出一種基于水下場景特征先驗的水下圖像增強算法，即通過退化圖像的色調、亮度等特征估計背景光，并加入紅通道補償算法進一步修復透射圖來獲取清晰圖像。雖然傳統算法可以根據堅實的理論基礎來緩解水下圖像的退化問題，但上述先驗理論難以標準擬合實際水下成像過程，導致其魯棒性和泛化能力較差。

深度學習方法則大多借助其強大的特征學習能力來完成水下圖像增強任務。例如，文獻[6]提出了一種基于雙色空間的卷積神經網絡，即通過將退化圖像的RGB和HSV色彩空間集成在卷積神經網絡中進行訓練，使其獲得增強水下退化圖像的能力。文獻[7]提出了一種基于雙層結構推斷模型的水下圖像增強網絡，即通過分層處理退化圖像的語義域、梯度域和像素域來增強特征圖像，并引入一種超參數優化方案融合特征圖像來輸出清晰圖像。文獻[8]提出一種基于多尺度密集生成對抗網絡的水下圖像增強網絡，該網絡首先設計了一種多尺度密集殘差塊來學習退化圖像特征，然后結合生成對抗網絡提高其增強能力，并加入損失函數增強網絡的魯棒性。深度學習網絡可以更好地緩解退化問題，具有較好的可移植性。然而，大多數深度學習網絡采用端到端的訓練方式，需要合理地將網絡結構和損失函數相結合才能發揮其性能，這在一定程度上限制了其在真實環境中的應用和泛化能力。

針對上述問題，本文提出一種基于積極概率分布引導的水下圖像增強網絡，主要貢獻如下。

1） 構建了一種積極樣本概率引導框架，即訓練階段將退化和清晰圖像作為混合樣本輸入，并從混合樣本中估計其特征概率分布來引導網絡恢復退化圖像。

2） 設計多分支信息提取架構（Multi?Branch Information Extraction Architecture， M?BIEA），包括空間注意力、像素注意力及通道注意力分支來提取混合樣本的多維度空間特征。

3） 通過結合條件變分自動編碼器與自適應實例歸一化獲取清晰圖像特征分布，并對現有風格遷移算法進行改進以進一步增強圖像的顏色與對比度。

1" 本文算法

本文所提算法主要包含兩個核心組件：多分支信息提取架構和概率分布估計模塊（Probability Distribution Estimation Module， PDEM），其中，多分支信息提取架構主要利用像素卷積塊（Pixel Convolution Block）、通道卷積塊（Channel Convolution Block）、空間卷積塊（Spatial Convolution Block）從輸入特征中獲取像素、通道及空間上的信息權重，同時還通過引入密集卷積塊（Dense Convolution Block）來獲取其深層次語義信息。概率分布估計模塊則通過計算特征圖像的均值和方差來從混合樣本中獲取清晰圖像的概率分布，并引導網絡增強退化圖像[9]。

圖1為具體的網絡結構圖，下面將詳細介紹網絡。

1.1" 多分支信息提取架構

該結構旨在從輸入特征中提取多維空間信息，為后續計算概率分布提供充分的特征信息，進而提高網絡的增強能力，內部結構如圖2所示。

圖2中：Conv2d表示卷積單元，1×1為卷積核大小，[C]為輸出通道數。

圖2a）為像素卷積塊結構，該結構首先使用上采樣（Upsample）[10]操作在像素點之間使用雙線性插值法，將輸入特征圖像的長和寬放大為原來的2倍，從而提高像素信息的利用程度，然后使用1×1大小的卷積單元對特征圖像進行逐像素處理，并使用Sigmoid激活函數[11]輸出，公式為：

[VSigmoid（x）=11+e-x] （1）

在注意力機制中，與ReLU激活函數相比，該函數不僅能夠更精確地捕捉并平滑映射輸出的細微變化，而且在后續與元素相乘操作時，還能更有效地抑制突變特征帶來的影響。最后將計算出的像素權重通過元素相乘的方式融入輸入特征中。

圖2b）為通道卷積塊的結構。鑒于水下圖像中三顏色通道的衰減程度不同，該結構采用通道注意力[12]來提取輸入特征的通道權重信息。如圖所示，為確保后續卷積單元能更有效地捕獲特征圖像的通道權重，首先使用全局平均池化操作將圖像尺寸從[H]×[W]×[C]縮減至1×1×[C]；然后運用1×1卷積單元提取通道權重，并通過Sigmoid激活函數輸出；最后通過元素相乘操作將通道權重與輸入特征結合，使各通道獲得相應的權重分配。

為保持輸入圖像的完整性，本文還引入空間注意力[13]模塊關注圖像的整體空間信息，結構如圖2c）所示。該模塊首先對輸入特征的維度取平均值和最大值，將其大小從[H]×[W]×[C]變為[H]×[W]×1；然后使用全連接操作進行信息融合，并通過3×3卷積單元進一步提取圖像的像素信息；最后采用Sigmoid激活函數提升網絡對特征圖像空間內細節和全局性的感知能力。

水下退化圖像的信息承載量直接關系到后續機器視覺任務的工作效率。因此本文設計了包含三層卷積單元的密集連接模塊來提取圖像的深層語義信息，結構如圖2d）所示。該模塊將前層卷積單元提取的信息融入后續所有層中，提高特征信息利用率的同時提高網絡深度，使得模塊注重于深層語義信息的提取。

綜上，圖1展示的多分支信息提取架構處理流程如下：首先，在訓練過程中將清晰圖像和退化圖像的混合樣本輸入到模塊中；其次，分別從清晰圖像和退化圖像的混合樣本中提取多維空間信息，通過全連接操作逐步將空間信息添加到密集卷積塊中；最后，將空間信息直接輸出至下一單元中防止融合時信息丟失。

1.2" 概率分布估計模塊

現階段，基于監督學習的深度學習算法大多采用端到端的訓練模式來提升網絡性能，而忽略了網絡中間部分的權重變換，這通常導致增強過度或欠擬合問題。為解決這個問題，受文獻[14]啟發，本文采用一種概率分布估計模塊，該模塊可以從混合樣本中估計清晰圖像的增強分布概率，從而引導網絡恢復退化圖像。

該模塊的主要目的是從混合樣本中提取將退化圖像轉換為清晰圖像的增強分布。因此，首先計算混合樣本和退化特征樣本每個通道的均值和方差矩陣，大小為[B]×[N]×1×1，其中，[B]表示混合樣本的數量，[N]表示其通道數。

[Vmean=1W×Hi=1Wj=1HJ（i，j）] （2）

[VVar=1W×Hi=1Wj=1HI（i，j）-μ2] （3）

式中：[I（i，j）]表示混合樣本特征；[μ]為均值；[W]、[H]分別表示混合樣本的長和寬。

然后，使用1×1大小的卷積單元從矩陣獲取相應的增強權重；最后，采用高斯分布從增強權重中重建增強概率分布。建立過程表示為：

[Pm≈Nm（h1（x），t21（x））] （4）

[Pv≈Ns（t2（x），h22（x））] （5）

式中：[h1x]、[h2x]分別表示從混合樣本的均值和方差中提取的增強分布；[t1x]、[t2x]為從退化樣本的均值和方差中獲取的增強分布。

在深度學習網絡的訓練過程中，大多通過損失函數或特征權重的更新來提高網絡的增強能力。而本文設計的概率分布估計模塊專注于當前階段輸入的特征樣本，因此采用風格遷移算法（AdaIN）進一步將概率分布轉化為整體風格遷移，即利用混合樣本的均值、標準差及高斯分布，將清晰圖像的增強分布概率融入退化樣本中。這種方法不僅提升了圖像的質量，還提高了算法的泛化能力，公式可表示為：

[AdaIN（x）=Pm+x-h1（x）t1（x）×Pv] （6）

測試階段直接將退化樣本輸入到網絡中，通過使用訓練階段獲得的概率分布權重提高圖像質量。

1.3" 損失函數

本文采用以下多項式損失函數來進一步提高設計網絡的魯棒性和泛化能力。

1） 增強概率分布損失

為保證風格遷移的穩定性，本文使用KL散度（Kullback?Leibler Divergence）計算退化樣本和混合樣本的提取參數。

[VKLPQ=P（x）*logP（x）Q（x）] （7）

式中：[P]和[Q]分別表示兩個概率分布。兩個樣本的對應散度分布可表示：

[L1=VNm（x）Nm（y，x）] （8）

[L2=VNs（x）Ns（y，x）] （9）

式中：[x]、[y]分別表示退化樣本和混合樣本特征。

2） [L1]損失

本文主要以概率分布結合風格遷移的方法使網絡獲得增強能力，導致算法容易丟失像素細節，因此采用[L1]損失函數進一步增強對圖像細節的保持能力。計算公式為：

[LL1=1W×Hi=0Wj=0HJ（i， j）-J'（i， j）] （10）

式中：[J（i， j）]、[J'（i， j）]分別表示輸出圖像和對應的清晰圖像。

3） 感知損失

為保證輸出圖像在視覺感官上進一步擬合真實清晰圖像，采用基于VGG?16的感知損失來計算網絡輸出和清晰圖像之間的差距，公式為：

[LPerceptual=1Ni=1N（Fi（J（x））-Fi（J'（x）））] （11）

式中：[Fi·]為輸入圖像在VGG?16網絡中第[i]層的特征表示；[N]表示總特征層數。

綜上，總損失函數公式為：

[L=VKL+0.5LL1+0.01LPerceptual]" （12）

式中：0.5、0.01為權重系數，均由實驗得出。

2" 實驗結果與分析

本節將從主觀視覺和客觀指標兩方面與經典及新穎算法做對比來證明所提算法在水下退化圖像增強方面的有效性。實驗環境如表1所示，鑒于UIEBD[15]（Underwater Image Enhancement Benchmark Dataset）數據集為真實環境下獲得的圖像，本文使用UFO數據集[16]的預訓練模型對UIEBD數據直接進行測試。對比算法包括：文獻[17]提出的UDCP算法、文獻[18]提出的ICCB算法、文獻[19]提出的ULV算法；深度學習網絡包括文獻[20]提出的MLFcGAN網絡、文獻[21]提出的DLIFM網絡。

2.1" 主觀評價

圖3展示了各算法在合成數據集UFO下的實驗結果，可以看出：UDCP算法增強后的圖像偏暗，且存在明顯色偏現象；ICCB在處理水下圖像衰減問題時表現不佳，導致結果偏灰色；相比之下，ULV算法雖然可以較好地保持圖像的完整性，但仍然難以有效解決退化問題，魯棒性較差；MLFcGAN和DLIFM算法輸出的圖像在解決色偏問題上有一定效果，但與真實圖像相比，其貼合度較低且結果的清晰度有待提高；相較于上述算法，本文結果更貼近于對應清晰圖像，不僅避免了增強不足或過度等問題，且清晰度較高。

圖4展示了真實數據集UIEBD下的測試結果。觀察結果可知：在真實環境下UDCP算法仍難以解決退化圖像的色偏問題；ICCB算法雖然能較好地解決色偏問題，但結果圖像出現光暈現象，導致部分信息丟失；ULV算法增強不徹底，且難以有效平滑圖像的曝光問題；基于深度學習的MLFcGAN和DLIFM算法雖然在恢復圖像顏色方面表現相對穩定，但MLFcGAN結果圖像過于模糊，易丟失紋理細節，DLIFM算法曝光嚴重，均難以穩定應用于真實海洋作業中；而本文算法不僅可以更好地恢復真實水下退化圖像，且未出現額外的色偏、光暈及曝光問題，表明所提算法魯棒性和泛化能力更優越。

2.2" 客觀評價

主觀評價僅通過人眼觀察對測試圖像進行分析，具有一定的主觀性，因此本節將對上述圖像進行客觀評價來進一步證明本文算法的優越性。

其中，有參考指標選用結構相似性（Structural Similarity Index Measurement System， SSIM）、峰值信噪比（Peak Signal?to?Noise Ratio， PSNR）[22]；而無參考指標則選用水下圖像質量評價（Underwater Image Quality Measure， UIQM）[23]指標、彩色圖像增強質量（Color Image Enhancement Quality， CIEQ）[24]指標及無參考圖像空間質量評估器（Blind/Referenceless Image Spatial Quality Evaluator， BRISQUE）來評價對于真實水下退化圖像的增強效果。UFO數據集下的測試結果如表2所示。可以看出，所提算法結果圖像的SSIM、PSNR、UIQM、CIEQ及BRISQUE分別達到0.88、21.86、3.42、3.72、36.33，綜合來看，表現均優于對比算法，盡管UIQM指標略遜于ICCB算法，但該算法的主觀測試整體質量較差。

綜上所述，相較于對比算法，本文算法在合成數據集下的表現更優秀，表明其學習能力更強，且有更好的魯棒性。

UIEBD數據集下的測試指標對比結果如表3所示。可觀察到，本文算法在真實數據集下的UIQM、CIEQ及BRISQUE指標分別為3.69、3.54、32.69，UIQM指標也達到次優值。

綜合上述實驗結果，本文算法不僅表現出卓越的學習能力，而且面對各種水下退化圖像時的魯棒性也顯著優于對比算法。此外，針對真實水下退化圖像也同樣有較好的泛化能力。這些結果均表明本文算法更適用于真實海洋工作場景。

2.3" 應用實驗

本節將對圖像進行細節對比、特征匹配[25]、梯度檢測[26]實驗來進一步證明本文算法在海洋工作下的優越性。

如圖5所示為本文算法和對比算法輸出圖像的細節對比結果，方框標注為放大區域。從對比結果可以看出，相較于其他算法，本文算法的輸出圖像在細節方面表現更為出色，尤其是在保持圖片中的文字細節方面。表明該模型在復雜的水下環境中可以更有效地保留圖像特征、紋理等關鍵信息，進而可以有效提高海洋工作效率。

圖6和圖7分別展示了本文算法的特征匹配結果以及梯度實驗結果。在圖6的左上角標注了特征匹配的數量。觀察圖6可以看出，經過本文算法的增強處理，特征匹配的數量明顯增加，表明本文算法處理后的結果可以進一步提升圖像后續識別的準確性和效率。由圖7的梯度實驗結果可以看出，經過本文算法的處理，可以完整地檢測出動物的輪廓以及船體上的文字，不僅顯著增強了圖像在紋理方面的可識別性，同時也驗證了本文算法在視覺表現上的卓越性能。綜上所述，通過增加特征匹配數量和提升圖像的可識別性，本文算法有效地增強了圖像信息，使其在后續基于機器視覺的實際應用中具有更高的利用價值。

3" 結" 論

本文針對現有水下圖像增強算法難以穩定恢復退化圖像，進而不足以提高海洋工作效率的問題，提出一種基于積極概率分布引導的水下圖像增強網絡。該網絡可以通過在混合樣本中估計清晰圖像的概率分布，引導模型穩定增強水下退化圖像。其中，提出的多分支信息提取架構可以穩定獲取輸入樣本的多維空間信息，提高特征利用程度；概率分布估計模塊從多維空間信息中估計增強概率分布，并引導測試環節網絡穩定增強退化圖像。實驗結果表明，本文網絡輸出圖像不僅主觀視覺上顏色自然、色彩明顯，且在合成及真實數據集中的測試指標均優于對比算法，應用實驗中也有力證明了本文方法對真實海洋工作的有效性。未來工作重點將進一步提高算法的穩定性，以期在實際應用中發揮更大的作用，推動海洋工作效率的進一步提升。

注：本文通訊作者為王雅鑫。

參考文獻

[1] 王晟澤，鮑凱辰，范習健.試論計算機視覺技術在工業領域中的應用[J].網絡安全技術與應用，2021（4）：146?147.

[2] 王海濤，林森，陶志勇.雙注意力機制與改進U?Net的水下圖像增強[J].電子測量技術，2023，46（1）：181?187.

[3] LI C， GUO J， GUO C， et al. A hybrid method for underwater image correction [J]. Pattern recognition letters， 2017， 94： 62?67.

[4] SONG W， WANG Y， HUANG D M， et al. Enhancement of underwater images with statistical model of background light and optimization of transmission map [J]. IEEE transactions on broadcasting， 2020， 66（1）： 153?169.

[5] ZHOU J C， ZHANG D H， ZHANG W S. Underwater image enhancement method via multi?feature prior fusion [J]. Applied intelligence， 2022， 52（14）： 16435?16457.

[6] WANG Y D， GUO J C， GAO H， et al. UIEC2?Net： CNN?based underwater image enhancement using two color space [J]. Signal processing： Image communication， 2021， 96： 116250.

[7] MU P， QIAN H T， BAI C. Structure?inferred bi?level model for underwater image enhancement [C]// Proceedings of the 30th ACM International Conference on Multimedia. New York： ACM， 2022： 2286?2295.

[8] GUO Y C， LI H Y， ZHUANG P X. Underwater image enhancement using a multiscale dense generative adversarial network [J]. IEEE journal of oceanic engineering， 2019， 45（3）： 862?870.

[9] SUAD A， MOHD S M K， EZLIN N Z， et al. S?type random k satisfiability logic in discrete hopfield neural network using probability distribution： Performance optimization and analysis [J]. Mathematics， 2023， 11（4）： 984.

[10] LIU Z Y， TANG J T， ZHAO P. Salient object detection via hybrid upsampling and hybrid loss computing [J]. The visual computer： International journal of computer graphics， 2020， 36（4）： 843?853.

[11] SOPHIE L. Approximating smooth functions by deep neural networks with sigmoid activation function [EB/OL]. [2020?10?13]. https：//arxiv.org/abs/2010.04596.

[12] QIN X， WANG Z L， BAI Y C， et al. FFA?Net： Feature fusion attention network for single image dehazing [C]// Proceedings of the AAAI Conference on Artificial Intelligence. [S.l.： s.n.]， 2020： 11908?11915.

[13] 楊振艦，李燦，王嬌，等.一種基于條件約束注意力生成對抗網絡的水下圖像增強模型[J].天津城建大學學報，2023，29（4）：274?280.

[14] FU Z Q， WANG W， HUANG Y， et al. Uncertainty inspired underwater image enhancement [C]// European Conference on Computer Vision. Heidelberg： Springer， 2022： 465?482.

[15] 胡雨航，趙磊，李恒，等.多特征選擇與雙向殘差融合的無監督水下圖像增強[J].電子測量與儀器學報，2023，37（9）：190?202.

[16] 王欣，石慧.DRHA?UIE：基于雙重殘差混合注意力模塊的水下圖像增強方法[J].電子學報，2023，51（9）：2398?2407.

[17] DREWS P， NASCIMENTO E， MORAES F， et al. Transmission estimation in underwater single images [C]// Proceedings of the IEEE International Conference on Computer Vision Workshops. New York： IEEE， 2013： 825?830.

[18] 王國霖，田建東，李鵬越.基于雙透射率水下成像模型的圖像顏色校正[J].光學學報，2019，39（9）：16?25.

[19] HAO Y， HOU G， TAN L， et al. Texture enhanced underwater image restoration via Laplacian regularization [J]. Applied mathematical modelling， 2023， 119： 68?84.

[20] LIU X D， GAO Z， CHEN B M. MLFcGAN： Multilevel feature fusion?based conditional GAN for underwater image color correction [J]. IEEE geoscience and remote sensing letters， 2020， 17（9）： 1488?1492.

[21] CHEN X， ZHANG P， QUAN L， et al. Underwater image enhancement based on deep learning and image formation model [EB/OL]. [2021?01?04]. https：//arxiv.org/abs/2101.00991v1.

[22] 李晨，許雪，郭業才.基于深度神經網絡的單幅圖像盲去噪算法[J].電子測量技術，2023，46（21）：183?192.

[23] PANETTA K， GAO C， AGAIAN S. Human?visual?system?inspired underwater image quality measures [J]. IEEE journal of oceanic engineering， 2016， 41（3）： 541?551.

[24] LIU X， WANG Z， WANG L， et al. A hybrid retinex?based algorithm for UAV?taken image enhancement [J]. IEICE transactions on information and systems， 2021， 104（11）： 2024?2027.

[25] 馬偉樂，肖騰，楊軍星，等.一種漸進式的魯棒特征匹配方法[J].測繪地理信息，2023，48（6）：56?61.

[26] 于新善，孟祥印，金騰飛，等.基于改進Canny算法的物體邊緣檢測算法[J].激光與光電子學進展，2023，60（22）：221?230.

作者簡介：朱立忠（1967—），男，遼寧沈陽人，碩士研究生，教授，主要研究方向為智能控制、圖像處理與融合。

王雅鑫（1999—），女，黑龍江哈爾濱人，碩士研究生，主要研究方向為深度學習、圖像處理。

郭寶仁（1963—），男，遼寧沈陽人，高級工程師，主要研究方向為機械智能化。