水下圖像增強方法研究綜述

嚴浙平，曲思瑜，邢文

（1.哈爾濱工程大學 智能科學與工程學院，黑龍江 哈爾濱 150001; 2.哈爾濱工程大學 青島創新發展基地，山東 青島 266000）

在陸地空間和資源壓力日益增大的條件下，對于水下空間的開發變得迫切起來，海底蘊藏著豐富的礦產資源與化石能源，能掌握高效的水下資源開發技術的國家必將在未來發展中占盡先機。高質量且清晰的水下圖像是海洋資源勘探和海洋安全監測等一系列水下作業任務的重要保證。但是，水下成像是不同于陸地上的成像機制，水下環境的成像是更為復雜的。首先，光線在水中的傳播衰減與陸地的傳播衰減是不同的，它是一種不均勻的且依賴于波長特性的衰減。紅光是可見光中波長最長的，在傳播時，紅光最先消失，然后是按照波長順序的橙光、綠光及藍光，這也是大多數水下的圖像都呈現出藍綠色調的原因。其次，水體中的溶解物也會對成像造成影響，水體中的粒子對于光有反射作用，當其反射的光到達相機時會對所成的像產生散射效果，散射使成像的細節變得模糊影響圖像的質量。不同深度、位置、季節、氣溫對于水體的影響是十分復雜的，加大了去除圖像中粒子散射效果的難度。最后，當達到一定的水深時，太陽光無法到達提供照明，必須引入輔助照明設備進行拍攝，此時，圖像中心區域會不可避免的出現亮斑，嚴重影響了圖像的對比度。由于光線的選擇性衰減與水中粒子散射問題，水下圖像會表現出顏色扭曲、細節模糊、對比度低的問題。

早期的水下圖像處理是應用硬件設備輔助進行的，如偏振器法[1-2]，該方法基于偏振器的原理實現了去除散射效應的目的。在偏振器后提出了用快速快門門限成像方法來去除水下圖像的散射或噪聲[3]，該方法利用具有超高快門速度的成像設備快速地打開和關閉快門實現了對散射光線的去除。Martin等[4]提出了立體成像先驗水下圖像增強方法，使用兩個攝像機以不同的角度對同一場景進行拍攝，進而建立起場景的立體結構，由于水下圖像的衰減與場景的立體結構是有關聯的，因此可降低場景成像的模糊程度。這些應用硬件的方法普遍存在效率低、成本高、無法用于深水、難攜帶等弊端，難以滿足現代海洋調查的需求。

隨著圖像處理技術的快速發展，利用光學成像進行水下探測展現出巨大的潛力和優勢。由于不同水體類型的光吸收特性、折射特性、透明度等參數具有顯著差異性，設計能夠在多種復雜條件下對水下圖像進行增強的算法是非常重要的。國內外研究學者相繼提出了許多新穎的算法和研究思路，本文將對不基于物理模型、基于物理模型與基于學習的3類水下增強算法進行總結，并梳理現有的水下圖像質量評價體系，最后，對水下圖像增強算法的未來發展趨勢進行分析和展望。

1 基于傳統圖像增強法

水下圖像增強技術是以成像系統獲取的數碼圖像為基礎，利用有效的圖像增強算法建立水下圖像自動增強模型，進而實現高效、準確的水下圖像增強[5]。圖像是攜帶信息最多的載體，圖像的處理技術伴隨著圖像的產生而產生，如今，出現了各種各樣的圖像增強方法，其中一部分可以被應用水下環境中。此外，國內外研究學者嘗試利用多種方法進行水下圖像的增強，基于非物理模型的方法是直接在像素級別進行操作的[6]，它在繼承傳統圖像增強方法的原理上進行改進。對于基于非物理模型的方法可以大致分為空間域、變換域以及綜合型的水下圖像增強方法。

1.1 空間域法

水下圖像與大氣中的圖像相比較具有高模糊、低對比度及顏色扭曲的特點，水下圖像增強方法必須針對該特點進行設計[7]。空間域的方法大多是指導像素空間進行指定的分布以獲得更好的視覺效果。如直方圖均衡與其改進算法，它在于指導各通道的像素按照指定的排列進行再分布，直方圖均衡算法在提高對比度上具有顯著的效果[8]，具體方法如下。

對于離散二維圖像，像素值的歸一化范圍為[0,1]，將其灰度級別定義為

式中：Pr表示灰度的分布；rk表示離散灰度；nk表示為rk的像素個數；n為全部像素個數；則nk與n的比值表示為頻數，也就是像素分布概率。經過上述的處理后，就可以對直方圖按照式(1)進行轉換：

直方圖轉換的函數可以是多種多樣的以期望達到滿意的效果[7]，該方法在圖像較亮或較暗區域的效果比較明顯。在水下圖像中，會有光照不充足產生曝光不足的情況，直方圖法能夠有效去除該現象。但是，直方圖均衡及其改進方法對于整體亮度較低的圖像進行增強時，會改變其整體顏色布局，色彩失真較為嚴重，而且沒有對數據的特性以及水下環境的特性關注，實際應用時魯棒性不強[8]。

伽瑪函數函數校正是指通過伽瑪函數對圖像的亮度進行調整[9]，劉志成等[10]提出了一種基于二維伽瑪函數的光照不均勻圖像自適應校正算法，利用多尺度高斯函數對場景的光照分量進行提取，把低曝光的區域調亮，同時也將過度曝光區域調暗，實現圖像的亮度平衡，設計了二維伽瑪函數：

式中：O(x,y)為校正后輸出圖像的亮度值；γ為校正增強的指數值；m為光照分量的亮度均值。水下圖像的衰減原因復雜，不僅僅是因為光照不均勻，還與多種因素相關，亮度的伽瑪校正難以實現水下圖像的增強。因此，伽瑪函數校正只能作為輔助方法。

1963年，Edwin.H.Land提出了Retinex理論，他將視網膜理論引入到圖像處理中，認為顏色是物體本身的屬性，光照無法對其改變，即物體的顏色一直保持一致[11]。該理論描述進入人眼的光為

對式 (2) 取對數就可以得到：

將照射圖假設為平滑圖像可進一步得到：

式中F(x,y)是為中心環繞函數，可表示為

其中 λ 和c分別表示尺度和環繞尺度，應當滿足條件：

由于Retinex理論是基于顏色一致性所設計，在色彩恢復上取得了一定的成就[11]。但是，水下圖像同時還面臨著細節模糊的情況，按照Retinex理論進行照射圖求取時需要高斯濾波，加重了圖像的模糊程度，因此該方法一般也是用作輔助方法。

1.2 變換域法

變換域是指將原圖像空間中的像素與位置信息變換到其他更利于對圖像進行處理的空間中，如傅里葉變換、小波變換等。小波變換是圖像處理中的常用方法[12]，本質上是將圖像分為高頻子帶和低頻子帶，圖像應用中，高頻子帶代表著細節以及噪聲的信息，而低頻子帶部分代表背景和紋理的信息。可以對感興趣的子帶進行放大，不感興趣的子帶進行抑制[13]，實現圖像的增強處理，基本小波變換的細節如下：

其中 ψ (t)是平方可積函數，若其為基本小波函數，則傅里葉變換必需滿足：

為了減少噪聲的影響，可以設置門限，將噪聲從中過濾掉，再經過重構即可得到增強圖像。因為其對噪聲的敏感特性，小波變換是作為水下圖像增強的輔助算法。

針對于水中懸浮的小顆粒及水深導致的光線衰減，Wang等[14]提出將圖像按照范數分解成細節、結構及光照分量，在細節分量中，小顆粒可以被當作噪聲干擾通過濾波算法去除。這樣的分解相比于直接的像素操作是更加準確且靈活，在此基礎上對3個分量獨立操作后給到自適應的權值后合成增強的圖像，該方法將范數特性與水下圖像特性連接到一起，對渾濁水體的圖像具有較好的效果，但增強過程消耗時間較長。

1.3 綜合法

水下圖像有著細節模糊、顏色扭曲的特性，單一方法難以實現水下圖像增強的操作[15]。隨著水下圖像增強技術的發展，諸多多種算法融合的增強算法被提出了，宋瑞霞等[16]將圖像轉換到HSI空間增強，對飽和度分量進行分段伽馬變換進行增強，對于亮度分量采用正交多小波變換分離出高低頻帶，在低頻子帶上進行Retinex調整，高頻子帶上應用模糊增強，經過上述操作后轉移回RGB空間得到增強的圖像。與其不同的是，賈芃等[17]在高頻子帶上使用多通道濾波方法同樣得到了較好的效果。田會娟等[18]提出將圖像轉移到YCbCr空間，對光照圖像分量應用伽瑪函數變換，再經過Retinex和多尺度細節增強得到最終的結果，驗證了空間轉換及綜合運用傳統圖像增強方法在水下圖像增強中的有效性。

應用空間濾波器對圖像進行處理的方法發展十分迅猛，郝志成等[19]提出一種雙邊紋理濾波的方法用于圖像的細節增強，使用多尺度雙邊紋理濾波把圖像分解，在此基礎上，使用類似于小波變換的多尺度自適應增強的方法得出一系列的增強細節圖像，最后求和即可得出增強圖像。

非物理模型的方法實現起來較為容易，但只考慮圖像本身的像素特性，不涉及水下的成像特性，面臨復雜多樣的水下圖像時表現不好，魯棒性差。

2 基于水下成像模型法

水下圖像的衰減是與水下環境的多種因素都相關的，如果可以掌握全部有關的衰減參數，可以根據衰減模型的逆過程將退化的水下圖像還原成清晰的高質量的圖像，這是屬于圖像復原范疇。根據Jaffe-McGlamey成像模型，水下場景進入相機的光線可由3個分量線性疊加：直接衰減分量、前向散射分量和后向散射分量，如圖1所示。其中，直接衰減分量是由所拍攝的場景直接反射的進入到攝像機鏡頭中的光線；前向散射是場景反射的光線經過微小粒子的再次折射后進入到攝像機鏡頭中的光線；后向散射是周圍光線經過水中粒子的折射后進入到攝像機鏡頭中的部分[20]。這兩項散射導致水下圖像呈現出低對比度與模糊，而且引入了噪聲。相對于后向散射而言，前向散射是比較容易去除的，通常情況下，在場景距離攝像機足夠近的時候，我們忽略前向散射帶來的影響。具體可以用式 (3) 對其成像進行描述[21]：

圖1 水下成像原理示意圖Fig.1 Schematic diagram of underwater imaging principle

其中 (l,m)為圖像的像素坐標。等式前后的4項分別代表最終形成的圖像、直接衰減分量、前向散射分量、后向散射分量。

而且由于水下成像模型與有霧圖像的成像模型有很大的相似性，可以根據有霧圖像的成像模型建立水下的成像模型：

式中：c是R、G、B通道中的一個；Ic是由攝像機直接拍攝的圖像；Dc是前向包含場景信息的圖像；Bc是后向散射。在這里，忽略掉了前向散射對于成像的影響，并且這兩個分量可以被假設為是指數型衰減的：

進而可被改寫成：

式中參數Z是場景距離攝像機的距離，而且不同波長的光線在水下衰減率是不同的。

2011年He等[22]在觀察大量有霧與無霧圖像時得出規律：在無霧圖像中，陰影應該存在于圖像中的絕大部分局部塊上，在某個通道中，至少存在某個像素的強度近似為0。

式中：Jc為圖像J中R、G、B 3個通道中一個；(x,y)是局部區域 Ω (x,y)中的位置。由于有霧圖像與水下圖像非常相似，暗通道先驗的方法在水下圖像增強方面也有一定的成就，2015年Galdran等[23]提出紅通道先驗方法，該方法針對于水下圖像由于光線衰減導致的低對比度的特點，通過恢復與短波長相關的顏色來恢復退化的圖像，將暗通道先驗假設應用到水下環境中，即在圖像某個區域應該有紅色像素值的存在，為暗通道先驗方法在水下圖像的應用開辟了道路。接下來，Drews等[24]提出了水下暗通道先驗法，是受暗通道先驗啟發結合水對于光的紅色通道快速衰減得出的一種先驗方法，該方法比紅通道先驗更進一步揭示了圖像去霧技術與水下圖像增強技術之間的聯系，但該類方法都十分依賴于傳輸圖像估計的準確程度，清澈的水質條件下效果較好。2019年Akkaynak等[25]提出一種移除水下圖像中有水效果的方法Sea-thru，目的是恢復水下圖像的準確顏色，在泳池中的水下圖像與清澈的海水中表現出色。其使用結構-運動方法獲得成像距離圖，然后根據模型可得出：

為了得到陸地上拍攝的效果，設Js為在陸地上所拍攝的照片：

式中：Wc表示相機環境光的白點，此時，Js為全局白平衡量。分別使用式(4)和式(5)對后向散射和衰減系數進行估計：

假設此時后向散射已從圖像中去除，借鑒局部空間平均顏色方法迭代估計局部空間平均顏色，然后再采用快速的灰色世界假設精確估計衰減系數的最終結果，該方法是依據衰減系數對于成像距離的強依賴性，實現了水下圖像去水功能。

Berman等[26]將水下顏色扭曲與低對比度兩個問題解耦合為單獨問題，其考慮水體類型與場景立體結構對于衰減效果的影響，通過添加兩個全局參數：藍紅通道衰減比例與藍綠通道衰減比例來恢復水下圖像色彩，進而使水下圖像增強退化為圖像去霧問題，由于未知水體類型，依照所有類型對圖像進行增強，然后自動選出最優的增強結果。首先利用邊緣探測工具選出沒有物體存在的光線平滑區域，選取區域內所有像素的平均值作為照射光，這對于去除散射是十分必要的。使用線性去霧模型得出傳輸圖像的估計，得到上述信息后，應用式(6)對場景進行恢復：

由于此時得到的多個衰減系數，我們應用全部的衰減系數對圖像進行復原，通過灰色世界假設得出最優的結果。Moghimi等[27]則將基于物理模型的圖像增強與基于深度學習的超分辨增強相結合，同樣是將水下圖像增強劃分為兩個階段。第一階段，通過藍、綠通道的衰減特性得到準確的傳輸圖像來達到水下圖像去霧的效果，然后依據成像模型進行顏色的恢復，采用直方圖拉伸增強圖像的對比度；第二階段，通過深度神經網絡對圖像進行超分辨率增強，在充分利用成像衰減模型的基礎上，引入了深度學習技術對增強過程進行補充，解決了圖像模糊的進一步增強問題。

3 基于深度學習法

在10年之前，傳統的圖像處理方法在水下圖像增強領域中一直是占據著主導地位，近年來，由于神經網絡技術的蓬勃發展及其在各個領域上所展現出的非凡成就[28]，基于學習的數據驅動的方法在水下圖像增強上開始大放異彩[29]。

由于卷積網絡擁有局部鏈接、權值共享、降采樣的特點，被認為是第一個真正的采用多層次結構網絡的具有魯棒性的深度學習方法[30]，如圖2所示，結構包括輸入層、卷積層、池化層、全連接層。卷積神經因為其權值共享的滑動卷積與降采樣特點能夠有效地提取圖像中的特征并進行理解。

圖2 卷積神經網絡示意圖Fig.2 Schematic diagram of convolutional neural network

生成對抗神經網絡中蘊含著零和博弈的思想[31]，網絡的主要結構是一個生成器和一個鑒別器，生成器的目的是生成具有給定域特征的圖像，而鑒別器則力求將生成器生成圖像的鑒別結果置為假，可以表示為

式中G和D分別表示生成器和鑒別器。自2014年被提出以來，生成對抗神經網絡的發展十分迅速。2018年，機視覺領域文獻的1/3都與生成對抗神經網絡相關[32]，特別是針對圖像風格遷移、超分辨率、語義生成及圖像增強領域[33]。

基于學習的增強算法按照其假設條件可以分為：基于衰減模型的學習和不基于衰減模型的學習，由于深度學習方法的不同網絡、不同模型、不同結構會對增強任務產生巨大差異，本文將著重討論不同算法對于水下圖像的增強效果。

3.1 基于衰減模型的學習

本文在第2節討論的水下成像衰減模型由于涉及參數多，需要強大的計算能力。神經網絡可以擬合各種函數，隨著網絡能力的不斷提升，對于衰減模型的估計難度降低。通常情況下，需要估計圖像的tc和Bc，可以通過式(7)確定Jc：

為了解決前文的水下圖像增強方法引入的假設條件在某些情況下無效的問題，Wang等[34]依據衰減模型假設設計了UIE-Net端到端的水下圖像增強網絡，使用卷積神經網絡進行傳輸圖像和3個通道衰減系數的估計，進而輸出增強后的圖像。框架中使用像素打亂策略來提升收斂的速度和準確性，這表示水下衰減模型可以和神經網絡技術結合以獲得更好的表現。根據衰減模型的特性，Cao等[35]提出用神經網絡來估計背景光圖像和深度圖像，從而能更準確恢復水下圖像的彩色與對比度。其分別使用5層卷積網絡和多尺度雙網絡去估計背景光和場景深度，設計了兩個任務的損失函數：

這個結構簡單的雙任務網絡實現了背景光圖像和深度圖像的準確估計，證明了使用神經網絡技術估計水下成像模型參數的可行性。

3.2 不基于衰減模型的學習

依據現有水下科學知識水平可能會產生水下成像衰減模型建立不準確的情況，基于此種可能，一些學者提出了不考慮成像模型而直接應用網絡實現端到端的圖像轉換，使網絡學習低質量域到高質量域的映射函數[3,36]。

徐巖等[37]應用小型的只有6層的卷積神經網絡實現了水下圖像的增強，網絡采用均方誤差作為損失函數優化整個網絡參數，網絡的更新過程為

該小型網絡成功實現了水下圖像的增強，驗證了卷積神經網絡在水下圖像處理應用上的強大泛化能力。Sun等[38]提出了編碼-解碼水下圖像增強網絡，在編碼器中使用卷積層過濾掉噪聲信號，在解碼器中用反卷積層和跳躍連接恢復上一步丟失的細節信號，該網絡僅使用一個損失函數：

而且，針對低照度圖像，江澤濤等[39]提出了一種U-Net結構的生成對抗網絡。由于深度學習技術需要大量的訓練數據支撐，Deng等[40]提出用泊松融合和塊結合的技術解決該問題。設計了端到端的水下圖像增強生成對抗網絡UCT-GAN，在均方誤差損失函數基礎上融合了亮度損失函數：

該損失函數可以用于校正增強圖像的亮度，同時也加入了LMCL損失計算分類損失以解決多種選擇的問題，網絡借鑒了DenseNet的網絡結構，但是損失函數設置上偏重于顏色與亮度信息，網絡輸出的增強結果出現細節丟失和場景模糊的情況。Zhang等[41]考慮到交叉熵損失函數在鑒別器鑒別時可能會產生的誤判情況，提出用最小二乘法代替交叉熵法從而提升鑒別器的鑒別質量：

同時，為了避免生成器頻繁產生模糊圖像，加入了梯度預測懲罰以生成細節更加清晰的圖像：

2017年，Zhu等[42]提出了CycleGAN，在一種無監督的條件下學習域到域的映射，如圖3所示，全局網絡是一種雙向結構的雙向學習設置，在生成目標域圖像的同時，添加了循環一致性損失使得網絡還能從該圖像還原為原域的圖像：

圖3 CycleGAN原理示意圖Fig.3 Schematic diagram of CycleGAN

CycleGAN成功實現了季節、物種、風格之間的轉換。Lu等[43]在此基礎上進行了改進，提出多尺度水下圖像恢復網絡MCycleGAN模型，應用暗通道先驗方法得到傳輸圖像，再將其輸入到多尺度網絡中，實現了暗通道先驗與CycleGAN的結合。之后Choi等[44]提出了可用于多域轉換的StarGAN模型，解決了多個域遷移中生成器繁多的問題，提高了圖像域遷移的可拓展性和魯棒性，類似的圖像域遷移學習對于水下圖像的增強有相當大的啟發。

成對的標簽訓練數據對于監督學習是必要的，而作為水下圖像是很難獲取標簽的，因此基于學習的水下圖像增強算法通常會選擇無監督學習方式，Li等[45]利用已有數據集中大氣圖像和深度圖像通過生成對抗網絡嚴格按照衰減模型合成水下圖像以提供給水下圖像復原網絡WaterGAN學習數據，WaterGAN按照任務類型可以分為兩個部分：深度估計網絡和顏色恢復網絡。將圖像的增強劃分為兩個任務會對圖像的質量產生一定的影響，如：第2步執行的顏色恢復任務可能會對第一步調整好的深度信息產生干擾，好處是兩步的操作可以分離訓練，增加了網絡結構的穩定性。WaterGAN獨特的生成訓練樣本的方式與令人滿意的增強結果對水下圖像增強的后續發展產生了很大的影響。同樣是將圖像增強分為兩個任務執行，Ye等[46]也提出聯合訓練估計深度圖像和顏色校正的網絡，在使用生成對抗網絡生成訓練數據時添加了內容損失與風格損失以獲得更加可靠的訓練數據：

與WaterGAN不同在于它使用兩個生成對抗網絡分別執行深度圖像估計和顏色校準任務，因為顏色對于深度信息的依賴，使得該網絡的增強效果明顯提升了。

不同于WaterGAN，Li依據大量的不成對的訓練數據提出了一種弱監督水下圖像恢復網絡，融合多個損失函數：

使用CycleGAN和PatchGAN分別作為生成器和鑒別器的網絡結構，經過多個損失函數的整合[47]，能夠準確學習到水下圖像域到清晰圖像域的映射。之后，Li提出了接納3個輸入的Water-Net水下圖像恢復網絡：

式中：Ien是網絡的增強結果；RWB、RHE以 及RGC分別表示經過白平衡算法、直方圖均衡算法、伽瑪函數校正算法的圖像分量；CWB、CHE、CGC則表示學習到的置信映射。同時也建立了UIEB水下圖像增強基準數據集，解決了該領域存在已久的增強效果評價沒有依據的局面。程宇等[48]使用編碼-解碼網絡結構，改變輸入為直方圖均衡派生圖、伽瑪變換派生圖、對數變換派生圖以及亮通道增強派生圖實現了低照度圖像的增強，得出了伽瑪變換與對數變換所造成的影響有相互重疊的部分，驗證了Li選擇輸入的合理性。

Guo等[49]提出在生成器中添加殘差多尺度密集連接模塊以提升網絡的性能，多尺度、密集連接和殘差學習分別能提升表現、保留更多細節以及充分利用前層特征，使得增強圖像的細節清晰。同樣是殘差學習架構，Liu等[50]提出引入超分辨率模型的殘差學習網絡URESNET，融合邊緣差異損失與均方誤差損失的多尺度損失函數：

根據這兩個損失函數，采用異步訓練的方式訓練該殘差學習網絡，該網絡在物體的邊緣增強上具有較出色的表現，Han等[51]在編碼-解碼網絡中使用殘差編碼、殘差解碼、殘差通道模塊代替傳統的基本卷積層以提取圖像的淺層特征與深層特征且使其更好的融合，該編碼-解碼網絡DS_RD_Net是深度全監督的學習網絡，采用L1、L2聯合損失保證全監督學習模式的生效。不同于CycleGAN生成訓練數據，該網絡使用UWGAN生成合成的水下圖像，因為其使用全監督模式進行網絡訓練，網絡的魯棒性表現一般，在面對數據集中沒有囊括的水體類型的圖像時，表現較差。

Wang等[52]在水下圖像增強的生成對抗網絡中引入了注意力模塊，提出水下圖像分級生成對抗網絡CA-GAN，在此之前，基于學習的水下圖像增強方法沒有考慮到水體類型因素對于增強效果的影響，而CA-GAN是多對一的水下圖像增強網絡，在生成器中加入了水體編碼模塊，而且為了校正由編碼器和解碼器所產生的誤差，引入了并行通道和空間注意特征融合塊，在均方誤差損失和對抗損失存在的情況下，增添特征級損失：

式中：F代表尺寸為C個通道的W×H卷積網絡輸出特征。由于注意力模塊的引入，放大了相關的特征并且抑制了無關的特征，水下圖像能夠得到準確的恢復，王越等[53]將金字塔注意力機制引入到用于水下圖像增強的生成網絡中，在各項指標上實現了不小的進步，Li等[54]考慮到注意力模塊在圖像增強中的作用，提出了監督學習的多尺度特征級注意力卷積神經網絡UDA-Net，根據多種信息與協同池化機制可產生通道注意力圖像定位差異較大的區域和像素注意力指導圖像像素的自適應生成：

式中： ρc是特征圖M的注意力圖像，損失函數是逐個計算像素點的恢復損失和感知損失：

因為其強監督的特性，在面對與訓練數據差距過大的水下圖像時，可能會產生較差的效果。在使用基于像素的損失函數的基礎上，針對于水下圖像存在的低對比度、顏色單調及內容模糊問題，Yang等[55]提出了一個監督學習與無監督學習相結合的水下圖像增強模型，首先輸入水下圖像進行有監督的色彩校正，得出色彩校正結果后輸入到無監督細節增強的子網絡中得出增強的結果，雖然增強結果的對比度及色彩鮮艷程度提高了，但是在圖像中呈現出了暖色調，不是十分的貼近真實場景。Wang等[56]認為把水下圖像的顏色校正和去霧當作一個整體過程是錯誤的，當第二階段任務執行時，勢必會對第一階段已經完成的任務造成影響。針對于水下無人機器人由于水下圖像的顏色扭曲和有霧而無法識別物體的問題，其提出為了防止進行顏色特征提取后對紋理與細節的特征造成損失，在對顏色校正時，每個色彩通道都有相應的網絡通道進行單獨的校正，避免不同通道的相互影響，采用卷積操作額外提取了圖像的基本特征，方便于后續的融合，最后通過迭代循環網絡的方式實現去霧，該方法在近距離的物體上效果較好，隨著距離的變遠與霧變厚，增強效果下降明顯。

對于無條件的生成模型，數據的生成是不可控的。然而通過給模型附件一些信息，就可以引導模型生成想要的數據，這也就是條件生成對抗網絡。由于附加的條件信息，條件生成對抗網絡相比于普通的生成對抗網絡具有更好的穩定性和更強的表征映射能力，這兩種能力尤其是在圖像增強及復原任務中展現的更加明顯，使得網絡能夠生成更加真實的圖像。為了對多種水體及多種顏色畸變的圖像都能起到增強效果，黃鐄等[57]設計了具有二分類功能鑒別器的生成對抗網絡用作圖像增強，通過交叉熵函數對輸入圖像進行分類，由于訓練數據涵蓋多種畸變色彩，對于水下圖像顏色的恢復具有一定的魯棒性。Liu等[58]提出了一個針對水下圖像顏色畸變的多尺度特征融合的條件生成對抗網絡MLFcGAN，生成器是多尺度編碼器-解碼器的結構，首先是提取局部特征，再使用全局特征增強局部特征以使網絡的訓練更有效率，假設局部特征fl的尺寸為hi×wi×ci，全局特征尺寸則為1 ×1×cg，定義Fconv、Fcopy、Freshape、Fconcat分別為卷積、復制、重塑以及連接操作，則特征融合過程可由式(8)表示：

其中W代表生成器的學習率，接下來，將fg1復制hi×wi次：

將fg2重塑尺寸為 (hi,wi,ci)：

此時，可將具有相同尺寸的兩種特征連接起來：

最后，經過跳躍連接輸入到相應的解碼器層中就完成了兩種特征的融合。鑒別器中，利用WANG-GP損失與L1損失作為對抗性損失進行網絡訓練：

該損失函數舍棄了普遍的像素差異損失，鑒別器的鑒別差異是以Wasserstein距離代表生成圖像與真實圖像的差異。多尺度特征融合能夠在進行顏色校正的同時，有效地對圖像的細節特征進行保持和加強。

Yang等[59]也做了相似的嘗試，設計了一個多尺度的生成對抗網絡以改善水下圖像的顏色畸變、不均勻照明、低對比度的狀態，其包含的多尺度特征提取模塊能對圖像的多個尺度特征進行提取，經過特征細化對有效特征進行加強，整體的殘差圖估計模塊保證特征傳遞不被丟失，而接受不同尺寸特征的雙鑒別器則能讓增強結果無論是在局部還是全局更加逼近真實圖像，雙鑒別器的增加使網絡整體能力得到了提升，但是為訓練加大了難度。Zong等[60]同樣使用全局鑒別器與局部鑒別器作為雙鑒別器提升網絡生成能力。而晉瑋佩提出將不同水下圖像的顏色信息作為Star-GAN[44]的條件信息[61]，同時生成器也加入了密集級聯和殘差連接以改善梯度消失現象，兩個鑒別器分別負責顏色類別和圖像真假的鑒別任務：損失函數方面在基本對抗損失和結構相似損失的基礎上加入感知損失LVGG、總變分損失函數LTV：

式中： ?j為第j個卷積層的激活值；N為圖像經過VGG19[62]后得到的特征圖數量，該損失可以約束增強圖像和輸入圖像的高維特征相似性，使圖像更符合人眼視覺特性。x? 為當前生成圖像，m、n分別為圖像某點坐標位置，總變分損失是為了解決感知損失和結構相似損失引入陰影的問題；由于有顏色類別鑒別器的增加，因此引入顏色損失Lcolor_G與Lcolor_D：

得益于顏色損失，生成圖像的顏色可以目標圖像的顏色保持一致,該網路通過多尺度和顏色恢復的結合使增強結果更加逼近地面圖像。Zhang等[63]也進行了生成對抗網絡的雙鑒別器研究，設置了恢復鑒別器和增強鑒別器以恢復水下圖像所遭受的各種衰減。首先，人為地對其他方法增強后的圖像進行清晰與不清晰的標簽，恢復鑒別器負責清晰部分的學習，增強鑒別器則負責不清晰部分的學習，最終，該網絡可以達到優于所有參考方法的效果。

4 水下圖像質量評價體系

截止到目前，針對于水下圖像的質量評價還有很多的空白需要補充，通用的圖像質量評價體系沒有考慮水下圖像的特有性質，它們的指標對于水下環境是不適用的，現有的水下圖像質量評價方法包含主觀評價與客觀評價。主觀評價依靠人眼對于圖像的觀察；客觀評價則是針對圖像的一些參數得出具體計算數值來衡量圖像的質量。

由于水下圖像專用評價標準的缺乏，通用圖像評價指標在水下圖像評價上的應用也十分廣泛。均方誤差 M SE 、峰值信噪比 P SNR、結構相似損失 S SIM 是十分普遍的用于測量圖像增強效果的指標：

上述指標都是有參考型指標，在使用合成數據集測試水下圖像增強算法時經常被使用，能夠明確反映算法的性能。但因為水下環境的特性，真實的水下圖像不可能獲取到清晰的參考圖像，這給圖像的評價帶來了不小的困難。

受人類視覺系統啟發，Panetta等[64]提出了一種非參考的水下圖像質量評價度量指標UIQM，它是一種融合指標，由UICM、UISM及UICONM融合而成，分別負責測量水下圖像的色彩、清晰度及對比度，并且每一個指標都可單獨用于對水下圖像質量的測量任務。UIQM與人類的視覺系統有著緊密的聯系，可以完整、全面、高效地對水下圖像進行度量。首先，UICM是由式(9)表達：

其中，RG=R-G及YB=Y-B，μ是非對稱的阿爾法修剪平均值，越接近0，意味著圖像白平衡的效果越好， σ2是統計方差，它表示的是每個色彩分量的像素行為。接著，清晰度評價指標UISM的表達如式(10)：

EME是被用于測量邊緣清晰度的量，并且通常情況下 λR=0.299、 λG=0.587、 λB=0.114是對于水下場景合適的參數值。最后，給出UICONM的表達：

AMEE是在傳統的熵增強中引入了類熵算法，具體表現為圖像局部區域的邁克爾遜對比度。

根據上列式子，則UIQM可以表示為

實驗證明，該指標在衡量水下圖像質量時有效，且應用非常廣泛。Yang等[65]以色度、飽和度和對比度為測量分量，通過線性的方式將測量分量組合，提出一種量化水下圖像的質量評價方法UCIQE：

該指標表明了圖像的劣化程度，例如由衰減、浮動粒子和照明引起的顏色偏差，模糊和噪聲等造成的圖像質量下降。它處理速度塊、實時性好。接下來，Li等[66]提出了一種基于水中顏色的選擇性衰減來測量水下圖像清晰度的方法，將圖像轉換到lα β空間進行金字塔分解，評價指標則為分解所得到的系數，再對其進行加權線性組合得到評價分數，是一種水下圖像的合理質量評測。色度、對比度、霧化度是水下圖像退化的一些特性，能夠描述水下圖像的退化程度，Wang等[67]以其為指標，并通過回歸模型確定其各自權重系數。表1給出了近3年來典型的水下圖像增強算法的模型特點、損失函數及使用的評估指標。除了主觀評價與客觀物理指標外，還有一些研究人員將增強后的水下圖像與未經增強的水下圖像用作目標監測算法與特征點匹配算法。由此，可得出增強后的水下圖像在計算機視覺應用中更加具有優勢的結論，也可以根據監測出的目標數目或匹配上的特征點數目得出定量指標。

表1 典型水下圖像增強算法質量評估Table 1 Quality evaluation index of typical underwater image enhancement algorithm

續表1

水下質量評價體系與水下圖像增強算法是相互促進的，準確的評價能夠推動增強算法的進步，而好的增強算法也可以作為評價體系的指標。水下增強算法需要進步，必須有質量評價體系的支撐，因此，應當優先發展水下質量評價體系，借助于評價體系的動力，穩步發展水下圖像增強算法。

5 結論

隨著成像技術和計算機視覺水平的提高，我國的水下圖像增強技術已經取得了不小的進步，但是未來存在的挑戰也不容小覷。在人工智能覺醒發展的有利時期，應該抓住發展機遇不斷探索，在現有理論基礎上開拓創新，立足于水下成像模型，利用大量的數據樣本進行增強算法的探索和驗證，提升水下圖像增強算法的智能化水平，在未來的工作中需要在以下幾個方面進一步加強：

1)水下圖像數據庫建設。在長期的海洋觀測調查中，我國積累了大量的水下圖像數據。但是由于研究單位分散，涉及不同海域、不同水體類型和不同季節、不同溫度及成像設備等因素，研究成果難以對比和共享，建議對現有的水下圖像數據進行統籌規劃，建立全國的共享水下圖像數據庫。

2)現有的水下圖像增強方法大多集中于圖像中低對比度、顏色扭曲及有霧的特點，而且適用水域的水質尚可，無大量懸浮顆粒干擾。在水下考察中，面對的環境是復雜的。因此，發展面向高渾濁度、低光照的水域增強方法對于實際應用具有重大意義。

2)水下圖像的評價體系。國內外目前已經發展了一些水下圖像質量評價體系，這些評價主要集中在主觀評價與客觀無參考評價，但還是無法滿足對于水下圖像增強迫切發展的要求，發展水下質量評價體系是水下增強技術發展的前提，在網絡訓練中，可以應用客觀評價指標作為損失來指導網絡的訓練。

3)增強算法魯棒性能力。現有的水下圖像增強算法大多對于處理圖像具有選擇性，因為水下圖像受到水體類型、溫度、季節及地理位置的影響，基于學習的增強方法嚴重依賴于給定的訓練數據，限制了增強算法的發展。應該立足于現有的深度學習理論體系，通過自監督、半監督等方式逐步探索增強算法魯棒性能力的方法。

4)提高算法的實時性。增強算法的計算時間限制了水下圖像增強算法的應用場景。快速的增強算法也是從圖像增強遷移到視頻增強應必備的能力。目前的水下增強算法結構復雜，體量龐大，處理圖像需要大量的計算時間。在確定增強算法的基礎上，想辦法節省計算時間，如縮小網絡結構，削減網絡參數，逐步使增強算法實現既快又準的要求。

5)與水下無人平臺的結合。水下圖像增強技術對于未來水下作戰、海底科考、海洋工程建設、海底資源勘探等具有重要的意義。目前水下機器人的載荷能力有了很大的提升，可以搭載高清攝影機、聲納、激光雷達等設備，但現有圖像增強算法需要轉移到水下視頻增強才能滿足工程需求，借助水下無人平臺觀測信息完備的技術優勢，進行實時性的水下環境觀測技術已經具備技術基礎。而且可以將聲納信號與攝像機捕捉信息進行結合從而獲得更加準確清晰的圖像。未來還可以利用水下無人平臺搭載輔助照明設備對深水區海底與周邊環境進行高精度的觀測，從而彌補我們對于水下環境掌握不充分的劣勢。