基于深度學(xué)習(xí)的水下圖像增強(qiáng)技術(shù)綜述

李樟榕

（福州大學(xué) 先進(jìn)制造學(xué)院，福建 泉州 362200）

0 引言

地球上海洋總面積約3.6 億km2，約占地球表面積的71%，平均水深約3 795 m。海洋是巨大的資源寶庫(kù)，是未來(lái)社會(huì)物質(zhì)生產(chǎn)的重要原料基地。現(xiàn)階段，世界各國(guó)都在競(jìng)相發(fā)展海洋高新技術(shù)，開(kāi)采海洋礦產(chǎn)資源，因此水下圖像在探索和保護(hù)水下世界中起著至關(guān)重要的作用。隨著視覺(jué)技術(shù)和網(wǎng)絡(luò)設(shè)備的蓬勃發(fā)展，關(guān)于水下圖像的視覺(jué)質(zhì)量相關(guān)話題備受關(guān)注。然而，由于惡劣、復(fù)雜的水下環(huán)境，水下原始圖像的質(zhì)量通常難以進(jìn)一步提高。水下圖像的主要特點(diǎn)是能見(jiàn)度差和顏色退化。例如，與藍(lán)光和綠光相比，紅色和橙色光的波長(zhǎng)被水吸收的速度要快得多，因此水下的圖像通常以藍(lán)綠色的色調(diào)出現(xiàn)。這些不利影響限制了水下圖像在海洋生物學(xué)、考古學(xué)和生態(tài)探索中的許多實(shí)際應(yīng)用。因此，提高水下圖像的可見(jiàn)性，要通過(guò)高級(jí)視覺(jué)算法進(jìn)行處理。傳統(tǒng)的水下圖像增強(qiáng)方法主要基于物理模型[1]和非物理模型[2]。基于物理模型的增強(qiáng)方法要依靠模型的先驗(yàn)方法。然而，先驗(yàn)知識(shí)在不同的水下場(chǎng)景中通常具有較弱的健壯性，導(dǎo)致嚴(yán)重的估計(jì)偏差。此外，水下深度和光傳播系數(shù)的基本參數(shù)也難以獲得。非物理模型沒(méi)有考慮水下圖像的物理退化機(jī)制。基于深度學(xué)習(xí)（Deep Learning，DL）的水下圖像增強(qiáng)技術(shù)可以有效地提高圖像的亮度、對(duì)比度、飽和度以及顏色平衡等方面的效果，并且相對(duì)于傳統(tǒng)算法效果更加顯著。

1 基于深度學(xué)習(xí)的水下圖像增強(qiáng)方法

1.1 基于卷積神經(jīng)網(wǎng)絡(luò)的水下圖像增強(qiáng)

深度學(xué)習(xí)，特別是卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN），已經(jīng)在水下圖像增強(qiáng)中取得了顯著的成功。它們自動(dòng)學(xué)習(xí)水下環(huán)境特征，提高圖像質(zhì)量，適用于各種水下任務(wù)。各種基于深度學(xué)習(xí)的水下增強(qiáng)網(wǎng)絡(luò)被提出。文獻(xiàn)[3]引入以CNN為模型的端到端框架UIE-Net，涉及去除霧霾和潤(rùn)色任務(wù)，用于改善水下視覺(jué)。文獻(xiàn)[4]提出了一種基于深度殘差框架的水下圖像增強(qiáng)解決方案，并提出了批歸一化的影響。文獻(xiàn)[5]提出了一種用于水下視覺(jué)恢復(fù)任務(wù)的三階段的CNN 結(jié)構(gòu)，其靈感來(lái)自通道間的相關(guān)性和扭曲的彩色視覺(jué)效果的獨(dú)特特性。在文獻(xiàn)[6]中，SONG S 等人提出了一種新的水下生物識(shí)別方法，將MSRCR 圖像增強(qiáng)算法與Mask R-CNN 相結(jié)合。WANG K 等人在文獻(xiàn)[7]中提出了一種獨(dú)特的聯(lián)合網(wǎng)絡(luò)方法，通過(guò)多次迭代改進(jìn)顏色校正和脫霧。文獻(xiàn)[8]提出了基于兩級(jí)水下圖像卷積神經(jīng)網(wǎng)絡(luò)（UWCNN-SD）的水下成像模型和結(jié)構(gòu)分解的特性。文獻(xiàn)[9]解釋了一種使用深度學(xué)習(xí)技術(shù)的水下圖像增強(qiáng)模型，結(jié)果表明所提算法可以學(xué)習(xí)優(yōu)化水下圖像的視覺(jué)效果。文獻(xiàn)[10]建立了一個(gè)用于水下場(chǎng)景重建的端到端深度網(wǎng)絡(luò)，包括通道級(jí)顏色特征提取和密集殘差特征提取兩個(gè)部分。LI C等人在文獻(xiàn)[11]提出了基于介質(zhì)傳輸引導(dǎo)的多顏色空間嵌入的水下圖像增強(qiáng)網(wǎng)絡(luò)Ucolor，結(jié)合注意機(jī)制來(lái)增強(qiáng)水下圖像。該網(wǎng)絡(luò)在場(chǎng)景適應(yīng)性、恢復(fù)精度和實(shí)時(shí)處理方面受到限制。CHEN 等人在這些方面做出改進(jìn)，在文獻(xiàn)[12]提出了融合網(wǎng)絡(luò)（MFFN）的水下感知場(chǎng)景圖像增強(qiáng)方法，設(shè)計(jì)了合并特征提取模塊、特征融合模塊和注意力重構(gòu)模塊的度量。

1.2 基于生成對(duì)抗網(wǎng)絡(luò)的水下圖像增強(qiáng)

由于生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）在圖像生成方面的巨大成功，基于GAN 的水下圖像增強(qiáng)方法得到了廣泛的研究。LI J等人設(shè)計(jì)的WaterGAN[13]是最早基于GAN 的水下圖像增強(qiáng)的嘗試，利用生成對(duì)抗網(wǎng)絡(luò)從空氣中的圖和深度圖生成人工合成的水下圖像數(shù)據(jù)集，并使用生成式數(shù)據(jù)集進(jìn)行訓(xùn)練，再使用校正網(wǎng)絡(luò)對(duì)未標(biāo)定的真實(shí)水下圖像進(jìn)行恢復(fù)。為了避免對(duì)成對(duì)訓(xùn)練數(shù)據(jù)的要求，LI C 在文獻(xiàn)[14]中提出了一種弱監(jiān)督的水下色彩校正網(wǎng)絡(luò)（UCycleGAN），然而未考慮到水下圖像深層網(wǎng)絡(luò)的健壯性問(wèn)題。GUO Y 等人[15]使用多尺度密集生成對(duì)抗網(wǎng)絡(luò)（MDGAN），利用密集連接以及殘差學(xué)習(xí)的方法來(lái)提高水下圖像增強(qiáng)的健壯性。為了解決脫霧、對(duì)比度調(diào)整和自動(dòng)顏色增強(qiáng)的挑戰(zhàn)，ISLAM M J 等人[16]設(shè)計(jì)了快速的水下圖像增強(qiáng)模型，這個(gè)基于GAN 的模型被命名為FUnIE-GAN。他們將問(wèn)題表述為圖像到圖像的轉(zhuǎn)換，假設(shè)在輸入和輸出之間，即失真和增強(qiáng)圖像之間，存在一個(gè)非線性映射。LIU R 等人[17]提出了雙對(duì)抗性對(duì)比學(xué)習(xí)的水下增強(qiáng)方法，在增強(qiáng)網(wǎng)絡(luò)中嵌入了一個(gè)任務(wù)感知反饋模塊，利用檢測(cè)器的相干梯度信息使得水下圖像增強(qiáng)的結(jié)果有利于檢測(cè)。

2 水下圖像質(zhì)量評(píng)價(jià)指標(biāo)

圖像質(zhì)量評(píng)價(jià)指標(biāo)是衡量圖像質(zhì)量高低的重要指標(biāo)。目前，基于深度學(xué)習(xí)的水下圖像質(zhì)量評(píng)價(jià)指標(biāo)主要分為主觀定性評(píng)價(jià)和客觀定量評(píng)價(jià)兩類。主觀定性評(píng)價(jià)是指評(píng)價(jià)者通過(guò)視覺(jué)感知對(duì)水下圖像的清晰度、色彩飽和度、亮度及對(duì)比度等做出視覺(jué)評(píng)價(jià)。評(píng)價(jià)結(jié)果的好壞取決于評(píng)價(jià)者的視覺(jué)感官，無(wú)法用數(shù)學(xué)模型進(jìn)行描述。客觀定量評(píng)價(jià)是指利用具體的計(jì)算公式計(jì)算出水下圖像在某個(gè)指標(biāo)上的值，從而實(shí)現(xiàn)對(duì)水下圖像的質(zhì)量評(píng)價(jià)。根據(jù)有無(wú)參考圖像，可以將水下圖像客觀定量評(píng)價(jià)分為全參考圖像質(zhì)量評(píng)價(jià)和無(wú)參考圖像質(zhì)量評(píng)價(jià)。下面將詳細(xì)介紹這兩類評(píng)價(jià)指標(biāo)。

2.1 全參考圖像質(zhì)量評(píng)價(jià)指標(biāo)

對(duì)于有高質(zhì)量參考圖像的配對(duì)數(shù)據(jù)集，常使用峰值信噪比（Peak Signal to Noise Ratio，PSNR）和結(jié)構(gòu)相似性（Structural Similarity，SSIM）作為全參考圖像質(zhì)量評(píng)價(jià)指標(biāo)。

壓縮后的圖像都會(huì)在某種程度上與原始圖像不同。通常使用PSNR 值來(lái)衡量經(jīng)過(guò)處理后的圖像質(zhì)量是否能讓人滿意。PSNR 數(shù)值越大表示圖像的失真程度越小。對(duì)于大小為m×n的圖像，其PSNR的計(jì)算公式為

式中：x表示網(wǎng)絡(luò)增強(qiáng)后的圖像，y表示高質(zhì)量的參考圖像，EMS是兩者的均方誤差。

PSNR是最普遍的評(píng)價(jià)圖像質(zhì)量高低的方法。不過(guò)，人眼的視覺(jué)感知會(huì)受到許多因素的影響，因此PSNR 的數(shù)值和人眼看到的視覺(jué)質(zhì)量不能保持完全一致。

通過(guò)亮度（luminance）、對(duì)比度（contrast）、結(jié)構(gòu)（structure）3 方面進(jìn)行評(píng)估的結(jié)構(gòu)相似性SSIM可以用來(lái)衡量?jī)煞鶊D像的相似性。SSIM 的取值范圍為0 ～1，其值越大，代表兩幅圖像之間的相似度越高。SSIM計(jì)算公式為

式中：x表示網(wǎng)絡(luò)增強(qiáng)后的圖像，y表示高質(zhì)量參考圖像，μx、μy分別為圖像x與圖像y的均值，σx2、σy2分別為圖像x與圖像y的方差，ci(i=1,2,3)則為避免除數(shù)為0 而引入的常數(shù)，其中c1=(0.01×255)2，c2=(0.03×255)2，c3=c2/2。為了簡(jiǎn)化形式，實(shí)際計(jì)算中，一般令α=β=γ=1，最后簡(jiǎn)化得

2.2 無(wú)參考圖像質(zhì)量評(píng)價(jià)指標(biāo)

對(duì)于沒(méi)有高質(zhì)量參考圖像的水下圖像，可通過(guò)采用水下圖像顏色質(zhì)量評(píng)估（Underwater Color Image Quality Evaluation，UCIQE）、水下圖像質(zhì)量 測(cè) 量（Underwater Image Quality Measurement，UIQM）和自然圖像質(zhì)量評(píng)估（Natural Image Quality Evaluation，NIQE）這3 種常見(jiàn)的無(wú)參考圖像質(zhì)量評(píng)價(jià)指標(biāo)進(jìn)行評(píng)價(jià)。

UCIQE 是由色度、飽和度和對(duì)比度組成的評(píng)價(jià)指標(biāo)。其中，色度、飽和度和對(duì)比度分別用于量化偏色、模糊和低對(duì)比度。UCIQE 的值越高，表示圖像質(zhì)量越好。UCIQE的計(jì)算公式為

式中：σc表示色度標(biāo)準(zhǔn)差，cl表示亮度對(duì)比度，μs表示飽和度的均值，c1、c2、c3均為加權(quán)系數(shù)。色度的方差與人類對(duì)感興趣的水下彩色圖像的感知具有良好的相關(guān)性，因此在UCIQE 中使用色度來(lái)量化色偏。對(duì)比度用于測(cè)量在統(tǒng)一背景下看到的單個(gè)目標(biāo)的局部對(duì)比度。飽和度的均值μs表示色彩純度，值越高表示色相越純。

UIQM 是由水下圖像色彩度測(cè)量（Underwater Image Colourfulness Measure，UICM）、水下圖像清晰度度量（Underwater Image Sharpness Measure，UISM）和水下圖像對(duì)比度度量（Underwater Image Contrast Measure，UIConM）組成的評(píng)價(jià)指標(biāo)。顏色均衡、偏差小的水下圖像，UICM 的值高；邊緣信息豐富的圖像，UISM 的值高；塊內(nèi)對(duì)比度高的水下圖像，UIConM 的值高。UIQM 的值越高，圖像質(zhì)量越好。UIQM 的計(jì)算公式為

式中：c1、c2、c3分別為這3 項(xiàng)指標(biāo)的權(quán)重系數(shù)。

自然圖像質(zhì)量評(píng)估是基于一組“質(zhì)量感知”特征，并將其擬合到MVG 模型中，通過(guò)計(jì)算被測(cè)量圖像與數(shù)據(jù)庫(kù)中高質(zhì)量圖像之間的MVG 模型差距來(lái)評(píng)估圖像質(zhì)量。NIQE 主要包含選取重要區(qū)域圖像塊、空間域特征提取（NSS）、特征化圖像塊、NIQE指標(biāo)設(shè)計(jì)以及MVG 模型構(gòu)建5 個(gè)部分。NIQE 的計(jì)算公式為

式中：v1、v2、C1、C2表示高質(zhì)量圖像的MVG 模型與待測(cè)圖像的MVG 模型的均值向量和協(xié)方差矩陣。這樣就可以得出高質(zhì)量圖像分布與待測(cè)圖像分別之間的距離。因此，NIQE 值越小，差值越小，待測(cè)圖像就越接近于高質(zhì)量圖像。

3 水下圖像數(shù)據(jù)集

由于水下環(huán)境的特殊性以及設(shè)備技術(shù)有限，很難獲得水下圖像數(shù)據(jù)集。在過(guò)去10 年中，很多水下圖像研究者利用各種方法去獲得水下圖像數(shù)據(jù)集。目前，基于深度學(xué)習(xí)的水下圖像增強(qiáng)相關(guān)文章中用到最多的數(shù)據(jù)集就是水下圖像增強(qiáng)基準(zhǔn)數(shù)據(jù)集（Underwater Image Enhancement Benchmark，UIEB）和增強(qiáng)水下視覺(jué)感知數(shù)據(jù)集（Enhancement of Underwater Visual Perception，EUVP）。下面介紹這兩種數(shù)據(jù)集，幫助讀者快速了解每個(gè)數(shù)據(jù)集的特征。

3.1 UIEB 數(shù)據(jù)集

UIEB 數(shù)據(jù)集的建立由數(shù)據(jù)收集和參考圖像生成兩個(gè)過(guò)程構(gòu)成。在數(shù)據(jù)集收集階段，為了收集涵蓋多種水下場(chǎng)景、不同質(zhì)量退化特征以及具有豐富圖像內(nèi)容的數(shù)據(jù)集，LI 等人從Google、Youtube、相關(guān)論文[18-21]及LI 等人拍攝得到的水下圖像中進(jìn)行收集。經(jīng)過(guò)數(shù)據(jù)細(xì)化，大部分收集到的圖像被淘汰，剩下大約950 張候選圖像。對(duì)于收集的水下圖像集，采用12 種圖像增強(qiáng)方法生成參考圖像。利用原始水下圖像和增強(qiáng)結(jié)果，邀請(qǐng)50 名志愿者對(duì)每張?jiān)嫉乃聢D像的12 個(gè)增強(qiáng)圖像進(jìn)行兩兩比較。兩兩比較獲勝的圖像將在下一輪再次比較，經(jīng)過(guò)11次后選出最好的增強(qiáng)圖像結(jié)果。最后，志愿者對(duì)最終得到的最好的增強(qiáng)圖像進(jìn)行檢查，并將其標(biāo)記為滿意或不滿意。如果超過(guò)一半的志愿者將該增強(qiáng)圖像標(biāo)記為滿意，則將其作為原始水下圖像的參考圖像；如果超過(guò)一半的志愿者將該增強(qiáng)圖像標(biāo)記為不滿意，則將其原始水下圖像作為具有挑戰(zhàn)性的圖像，并丟棄該增強(qiáng)圖像。最終獲得了890 張成對(duì)的原始圖像及其參考圖像，以及具有挑戰(zhàn)性的60 張?jiān)妓聢D像。此數(shù)據(jù)集可參考文獻(xiàn)[22]。

3.2 EUVP 數(shù)據(jù)集

EUVP 數(shù)據(jù)集包含大量成對(duì)和未成對(duì)的水下圖像。這些圖像具有較差和良好的感知質(zhì)量。這些圖像是在海洋探索和實(shí)驗(yàn)期間使用7 臺(tái)不同的相機(jī)在不同的能見(jiàn)度條件下拍攝的。數(shù)據(jù)集中包含一些從公開(kāi)的YouTube 視頻中提取到的圖像。這些圖像體現(xiàn)了不同的場(chǎng)景、照明條件及水體類型等。在此基礎(chǔ)上，研究者利用人類視覺(jué)觀察方法建立水下圖像的感知偏好模型，以區(qū)分圖像的質(zhì)量，從而準(zhǔn)備未配對(duì)的數(shù)據(jù)。參與者檢查了幾個(gè)圖像屬性（如顏色、清晰度和對(duì)比度）并考慮了場(chǎng)景的前景和對(duì)象是否可識(shí)別。因此，不成對(duì)的訓(xùn)練支持對(duì)水下圖像質(zhì)量的人類感知偏好建模。另外，基于CycleGAN[23]模型，通過(guò)學(xué)習(xí)將高質(zhì)量圖像轉(zhuǎn)換為失真圖像，從而訓(xùn)練配對(duì)數(shù)據(jù)。成對(duì)的數(shù)據(jù)集由underwater_dark、underwater_imagenet 和underwater_scenes 共3 個(gè)子集組成。underwater_dark 由5 550 對(duì)灰度失真圖像和彩色高質(zhì)量參考圖像組成。underwater_imagenet和underwater_scenes 分別由3 700 對(duì)和2 185 對(duì)彩色失真圖像和彩色高質(zhì)量參考圖像構(gòu)成。

4 結(jié)語(yǔ)

由于水下介質(zhì)和懸浮粒子對(duì)光線的吸收和散射等，水下圖像通常存在顏色失真、對(duì)比度低及細(xì)節(jié)丟失等問(wèn)題，嚴(yán)重影響了水下高級(jí)作業(yè)的開(kāi)展。因此，研究人員需要水下圖像增強(qiáng)的相關(guān)技術(shù)來(lái)提高水下圖像質(zhì)量。在深度學(xué)習(xí)快速發(fā)展的今天，這已經(jīng)成為研究的熱點(diǎn)之一。本文首先介紹了水下圖像增強(qiáng)的特點(diǎn)，其次討論了基于深度學(xué)習(xí)的水下圖像增強(qiáng)的各種方法和水下圖像質(zhì)量評(píng)價(jià)兩方面的研究進(jìn)展，最后提供了現(xiàn)在比較常用的水下圖像數(shù)據(jù)集，希望對(duì)讀者有所幫助。