門(mén)控融合對(duì)抗網(wǎng)絡(luò)的水下圖像增強(qiáng)

林 森，劉 旭

門(mén)控融合對(duì)抗網(wǎng)絡(luò)的水下圖像增強(qiáng)

林 森1，劉 旭2

(1. 沈陽(yáng)理工大學(xué)自動(dòng)化與電氣工程學(xué)院，遼寧 沈陽(yáng) 110159； 2. 遼寧工程技術(shù)大學(xué)電子與信息工程學(xué)院，遼寧 葫蘆島 125105)

針對(duì)水下成像中圖像存在的色彩失真、對(duì)比度低和霧化嚴(yán)重等問(wèn)題，提出一種門(mén)控融合對(duì)抗網(wǎng)絡(luò)的水下圖像增強(qiáng)方法。主要特點(diǎn)是使用生成網(wǎng)絡(luò)將圖像特征信息逐像素恢復(fù)，并通過(guò)門(mén)控融合形成清晰圖像。首先，利用多個(gè)并行子網(wǎng)絡(luò)對(duì)同幅圖像的不同空間特征信息進(jìn)行學(xué)習(xí)，提升網(wǎng)絡(luò)對(duì)圖像特征學(xué)習(xí)的多樣性。然后，通過(guò)門(mén)控融合，將不同子網(wǎng)絡(luò)學(xué)習(xí)到的圖像特征相融合。利用生成網(wǎng)絡(luò)與鑒別網(wǎng)絡(luò)進(jìn)行相互博弈，反復(fù)訓(xùn)練網(wǎng)絡(luò)，獲得增強(qiáng)的水下圖像。最后，在EUVP數(shù)據(jù)集和U45測(cè)試集上進(jìn)行實(shí)驗(yàn)對(duì)比。實(shí)驗(yàn)結(jié)果表明，該算法的關(guān)鍵點(diǎn)匹配與原圖相比平均高19個(gè)匹配點(diǎn)，UCIQE平均值為0.664 7，UIQM平均值為5.723 7，與其他經(jīng)典及最新算法相比具有優(yōu)勢(shì)，效果良好。

圖像處理；水下圖像；生成對(duì)抗網(wǎng)絡(luò)；多尺度輸入；門(mén)控融合

隨著深海資源的開(kāi)發(fā)與保護(hù)，各領(lǐng)域?qū)Ω哔|(zhì)量水下圖像的需求逐年增加。由于自然光在海水中發(fā)生散射，致使水下圖像具有色偏和細(xì)節(jié)缺失等問(wèn)題[1]，對(duì)海洋資源信息的傳遞和展示帶來(lái)了困難。因此，在海洋探索與開(kāi)發(fā)等領(lǐng)域，水下圖像增強(qiáng)算法具有重要的研究意義。

最近幾年，深度學(xué)習(xí)技術(shù)在水下圖像增強(qiáng)方面取得進(jìn)展。其中多分支的設(shè)計(jì)結(jié)構(gòu)得到了廣泛地應(yīng)用，WANG等[2]提出雙分支的網(wǎng)絡(luò)模型，對(duì)圖像分別進(jìn)行顏色校正與去模糊，經(jīng)融合得到增強(qiáng)的水下圖像；LU等[3]提出了多尺度循環(huán)生成對(duì)抗網(wǎng)絡(luò)(multi-scale cycle generative adversarial network，MCycleGAN)，加入多尺度SSIM損失函數(shù)改善圖像質(zhì)量；GUO等[4]提出用于水下圖像增強(qiáng)的多尺度密集生成對(duì)抗網(wǎng)絡(luò)(underwater image enhancement using a multiscale dense generative adversarial network，UWGAN)，利用密集連接模塊提高網(wǎng)絡(luò)魯棒性，并通過(guò)頻譜歸一化來(lái)限制判別器的Lipschitz常數(shù)，加快網(wǎng)絡(luò)收斂速度；LI等[5]構(gòu)建了水下圖像增強(qiáng)網(wǎng)絡(luò)(underwater image enhancement network，Water-Net)來(lái)消除圖像近景中的濃霧；LIU等[6]根據(jù)超分辨率重建(Ssuper-resolution reconstruction，SR)模型，提出基于殘差網(wǎng)絡(luò)的水下圖像增強(qiáng)框架(deep residual framework，UResnet)以解決水下圖像細(xì)節(jié)丟失及色偏問(wèn)題。

上述基于單分支或多分支網(wǎng)絡(luò)的水下圖像增強(qiáng)算法雖致力于提升圖像質(zhì)量，但多數(shù)方法由于僅依靠單一尺度特征融合，仍存在特征提取不充分、缺少細(xì)節(jié)特征等問(wèn)題。因此，本文提出一種門(mén)控融合對(duì)抗網(wǎng)絡(luò)的水下圖像增強(qiáng)算法(underwater image enhancement algorithm using gated fusion generative adversarial network，GF-GAN)，主要貢獻(xiàn)如下：

(1) 利用3條不同尺度的并行子網(wǎng)絡(luò)，學(xué)習(xí)同一圖像中的不同空間特征信息，進(jìn)而適應(yīng)多變的水下場(chǎng)景。

(2)將門(mén)控融合創(chuàng)新性地應(yīng)用于水下圖像處理，基于多尺度特征融合，改善圖像的色度、清晰度和對(duì)比度。

(3) 生成網(wǎng)絡(luò)并行子網(wǎng)絡(luò)中，加入與卷積對(duì)稱(chēng)的反卷積結(jié)構(gòu)，便于水下低質(zhì)量圖像恢復(fù)，同時(shí)加入跳躍連接加快網(wǎng)絡(luò)的訓(xùn)練速度。

本算法可以良好地解決色偏現(xiàn)象，增強(qiáng)圖像清晰度和細(xì)節(jié)特征。在數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，本文算法與其他經(jīng)典及新穎算法相比具有更好的視覺(jué)效果，可進(jìn)一步應(yīng)用于海洋資源開(kāi)發(fā)等工程實(shí)踐中。

1 基礎(chǔ)理論

1.1 卷積-反卷積對(duì)稱(chēng)結(jié)構(gòu)

隨著人工智能，特別是深度學(xué)習(xí)技術(shù)的發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)(convolutionalneural network，CNN)在計(jì)算機(jī)視覺(jué)領(lǐng)域[7-8]取得了良好成效。

在圖像增強(qiáng)時(shí)，卷積層(convolutional layer，Conv)能提取水下圖像的基本特征，但連續(xù)的卷積層會(huì)導(dǎo)致水下圖像的細(xì)節(jié)特征丟失。因此，SUN等[9]引入連續(xù)的反卷積層(deconvolutional layer，Deconv)來(lái)恢復(fù)圖像的細(xì)節(jié)特征，Conv和Deconv分別對(duì)輸入的特征映射執(zhí)行卷積和反卷積運(yùn)算。每個(gè)卷積層的輸出為

受文獻(xiàn)[9]的啟發(fā)，本文GF-GAN利用Conv- Deconv的對(duì)稱(chēng)結(jié)構(gòu)，設(shè)計(jì)3個(gè)不同尺度的并行子網(wǎng)絡(luò)作為生成網(wǎng)絡(luò)，提取并恢復(fù)同一圖像的不同特征。

1.2 生成對(duì)抗網(wǎng)絡(luò)

生成對(duì)抗網(wǎng)絡(luò)模型(generative adversarial networks，GAN)[10]通過(guò)學(xué)習(xí)樣本數(shù)據(jù)的分布情況來(lái)生成具有對(duì)抗性的逼真數(shù)據(jù)。GAN由生成網(wǎng)絡(luò)(generator，G)和鑒別網(wǎng)絡(luò)(discriminator，D)組成。

本文GF-GAN與GAN相似，通過(guò)D監(jiān)督G并結(jié)合兩者的相互博弈，使網(wǎng)絡(luò)具有良好的圖像增強(qiáng)能力，其目標(biāo)函數(shù)可以表示為

其中，為分布函數(shù)期望值；為隨機(jī)噪聲；()為判斷為真的概率；()為由隨機(jī)噪聲映射的生成數(shù)據(jù)；(())為()接近真實(shí)數(shù)據(jù)的概率。

2 GF-GAN水下圖像增強(qiáng)算法

首先對(duì)本文算法的效果進(jìn)行宏觀展示，并給出簡(jiǎn)要的分析說(shuō)明，更加直觀地顯示算法優(yōu)勢(shì)。然后，進(jìn)一步詳細(xì)闡述網(wǎng)絡(luò)的具體組成和結(jié)構(gòu)。

圖1通過(guò)傅立葉光譜圖可視化水下圖像的能量分布，展示GF-GAN算法的處理結(jié)果。

在圖1中，3幅原始傅里葉光譜圖中布滿(mǎn)暗點(diǎn)，表明其對(duì)比度和邊緣清晰度較低。Water-Net算法圖像中暗點(diǎn)數(shù)量未見(jiàn)明顯變化，相反在GF-GAN算法處理后圖像暗點(diǎn)減少，表明對(duì)比度和邊緣清晰度較原圖顯著增強(qiáng)，視覺(jué)感受良好。

GF-GAN包括2部分：①生成網(wǎng)絡(luò)，目的是生成水下清晰圖像；②鑒別網(wǎng)絡(luò)，用來(lái)區(qū)分生成圖像和目標(biāo)圖像。

2.1 生成網(wǎng)絡(luò)結(jié)構(gòu)

如圖2所示，GF-GAN算法的生成網(wǎng)絡(luò)由多尺度特征恢復(fù)模塊(feature refine module，F(xiàn)RM)，以及門(mén)控融合(gated fusion，GF)構(gòu)成。GF-GAN生成網(wǎng)絡(luò)結(jié)構(gòu)中，F(xiàn)RM類(lèi)似于YANG等[11]設(shè)計(jì)的特征提取模塊，由3組尺度不同的并行子網(wǎng)絡(luò)(parallel sub-network，PSn)構(gòu)成。

圖2 生成網(wǎng)絡(luò)結(jié)構(gòu)

PSn的編碼路徑和解碼路徑由2組連續(xù)的Conv-Deconv對(duì)稱(chēng)結(jié)構(gòu)組成。其中，3個(gè)PSn的卷積核大小分別為7×7，5×5和3×3。GF-GAN在對(duì)稱(chēng)結(jié)構(gòu)中間加入步長(zhǎng)為1 (stride=1)的Conv，以穩(wěn)固同一幅圖像不同像素點(diǎn)上的空間特征信息，其余步長(zhǎng)為2 (stride=2)的Conv與Deconv，分別完成特征提取和恢復(fù)任務(wù)。

GF-GAN在Conv與Deconv結(jié)構(gòu)后加入批標(biāo)準(zhǔn)化層(BatchNorm，BN)和激活層來(lái)加快網(wǎng)絡(luò)的收斂速度，并使用Leaky ReLU (圖2中簡(jiǎn)寫(xiě)為L(zhǎng)ReLU)作為激活函數(shù)，增加網(wǎng)絡(luò)的非線(xiàn)性。由于圖像的紋理細(xì)節(jié)可能會(huì)在Deconv解碼過(guò)程中丟失，GF-GAN在對(duì)稱(chēng)的Conv和Deconv中加入跳躍連接(skip connection)，使網(wǎng)絡(luò)具有更好的特征恢復(fù)能力。

GF-GAN通過(guò)FRM提取不同尺度的空間特征信息，有助于其后的門(mén)融合結(jié)構(gòu)進(jìn)行特征融合，并結(jié)合多種損失函數(shù)，獲得清晰圖像。

2.2 鑒別網(wǎng)絡(luò)結(jié)構(gòu)

鑒別網(wǎng)絡(luò)由5層Conv構(gòu)成(表1)，類(lèi)似于70×70的馬爾科夫鑒別器(PatchGAN)[12]。PatchGAN通過(guò)判斷圖像中各像素塊的平均真實(shí)率來(lái)分辨圖像真假，即只有當(dāng)所有圖像塊都具有良好的細(xì)節(jié)特征且真實(shí)性較高時(shí)，才會(huì)將生成的圖像視為真，因此其被廣泛應(yīng)用于不同任務(wù)的網(wǎng)絡(luò)框架[13-14]中。Sigmoid函數(shù)將輸出像素點(diǎn)的范圍映射到[0,1]，有利于鑒別圖像在某個(gè)區(qū)域內(nèi)的真假性。

表1 鑒別網(wǎng)絡(luò)參數(shù)

2.3 門(mén)控融合

由于門(mén)模塊[15](gated module，GM)在多模態(tài)融合中對(duì)重要特征提取具有顯著效果，本文所采用的GF，將不同子網(wǎng)提取到的空間特征信息進(jìn)行連接，并采用遞歸合并策略逐步融合特征。

圖3中門(mén)控融合模塊網(wǎng)絡(luò)由2個(gè)遞歸門(mén)構(gòu)成，其中，每個(gè)遞歸門(mén)中含有一個(gè)基本門(mén)模塊(basic gate block，BGB)，每個(gè)BGB由一個(gè)維度連接層(concatenate layer，Concat)、2個(gè)卷積核大小為3×3的Conv、1個(gè)卷積核大小為1×1的Conv以及PReLU函數(shù)構(gòu)成，PReLU函數(shù)可以表示為

其中，x為第層的正區(qū)間輸入信號(hào)；a為第層負(fù)區(qū)間的權(quán)系數(shù)。當(dāng)a趨于0時(shí)，PReLU在負(fù)數(shù)區(qū)間有很小的斜率，相較于ReLU在負(fù)數(shù)區(qū)間取值為0，選用PReLU可以避免ReLU梯度消失的問(wèn)題。

圖3 門(mén)控融合網(wǎng)絡(luò)

Fig. 3 Gated Fusion Network

由此，本算法采用一種遞歸策略，利用3個(gè)獨(dú)立分支的依賴(lài)性，進(jìn)行多尺度特征融合。

采用顏色直方圖和自相關(guān)函數(shù)三維圖像，對(duì)原圖、GF融合方式與Concat融合方式進(jìn)行對(duì)比，結(jié)果如圖4所示。

在圖4中，采用GF作為融合方式的圖像相較于原圖和Concat融合的顏色直方圖灰度級(jí)有顯著增強(qiáng)，RGB 3通道分布均勻；自相關(guān)函數(shù)三維圖像空間重復(fù)周期短，紋理顆粒度較小，紋理細(xì)致且鮮明。

本文所采用的GF是一個(gè)通用的圖像融合結(jié)構(gòu)，優(yōu)勢(shì)在于不依賴(lài)任何先驗(yàn)知識(shí)和預(yù)處理過(guò)程，可將FRM收集到的空間特征信息進(jìn)行融合，進(jìn)而得到生成網(wǎng)絡(luò)的最終圖像。

2.4 損失函數(shù)

(1) 對(duì)抗損失函數(shù)。GF-GAN是基于生成對(duì)抗網(wǎng)絡(luò)模型，對(duì)抗損失函數(shù)為

其中，為水下退化圖像；為水下目標(biāo)圖像；為數(shù)學(xué)期望。

圖4 顏色直方圖和自相關(guān)函數(shù)圖像對(duì)比圖((a)原始圖像；(b) GF融合結(jié)果；(b) Concat融合結(jié)果)

(2)1損失函數(shù)。選用1損失[12]來(lái)減少引入的偽影，即

其中，為像素；為該像素所代表的色塊；()與()分別為經(jīng)過(guò)處理后圖像色塊的像素值和真實(shí)圖像色塊的像素值。對(duì)抗損失函數(shù)和1聯(lián)合使用可減少輸出圖像噪聲等干擾因素。

(3) 感知損失函數(shù)。利用感知損失函數(shù)[16]進(jìn)行特征重建，即

其中，，，分別為圖像的通道數(shù)、寬度和高度，而表示Conv4_3層(VGG-19)的非線(xiàn)性變換。

(4) 整體損失。即上述3種損失的線(xiàn)性組合，以加快網(wǎng)絡(luò)參數(shù)收斂，具體為

3 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證GF-GAN的有效性，將GF-GAN與傳統(tǒng)算法和其他深度學(xué)習(xí)算法進(jìn)行對(duì)比。借助顏色恢復(fù)實(shí)驗(yàn)，展示GF-GAN在消除色偏方面的作用；通過(guò)比較不同渾濁度與不同色偏程度的水下圖像，體現(xiàn)GF-GAN在復(fù)雜環(huán)境下對(duì)圖像對(duì)比度以及紋理細(xì)節(jié)增強(qiáng)方面的作用；利用SURF關(guān)鍵點(diǎn)匹配實(shí)驗(yàn)，驗(yàn)證GF-GAN對(duì)圖像關(guān)鍵特征方面的增強(qiáng)程度。

3.1 數(shù)據(jù)集和訓(xùn)練方式及實(shí)驗(yàn)環(huán)境

使用從EUVP[17]數(shù)據(jù)集中得到的3種不同水下光照情況的underwater_dark，underwater_imagenet和underwater_scenes篩選出的5 000張配對(duì)圖像，其中，80%作為GF-GAN數(shù)據(jù)集，20%作為測(cè)試集，并加入U(xiǎn)45[18]數(shù)據(jù)集同樣作為測(cè)試集，來(lái)體現(xiàn)本文算法的拓展性。EUVP數(shù)據(jù)集是在各種可見(jiàn)度條件下，在不同位置進(jìn)行海洋探索和人機(jī)合作實(shí)驗(yàn)期間收集的具有代表性的水下數(shù)據(jù)集，包含大量已配對(duì)與不配對(duì)，且感知質(zhì)量良好的水下圖像。本文實(shí)驗(yàn)基于Ubuntu16.04系統(tǒng)，Tensorflow搭建的深度學(xué)習(xí)框架，硬件配置為 Intel? Core? i7-8750H CPU @ 3.6 GHz，32.0 GB RAM，NVIDIA TITAN Xp，對(duì)比實(shí)驗(yàn)的硬件配置相同。

3.2 主觀評(píng)價(jià)與分析

首先基于色卡恢復(fù)實(shí)驗(yàn)來(lái)驗(yàn)證GF-GAN在消除色偏與對(duì)比度提升方面的有效性。實(shí)驗(yàn)結(jié)果如圖5所示。

在圖5中，將本文算法與自適應(yīng)參數(shù)的顏色直方圖拉伸(relative global histogram stretching，RGHS)算法[19]、去霧網(wǎng)絡(luò)與方向?yàn)V波器(DehazeNet & HWD)算法[20]、Water-Net算法[5]以及UResnet算法[6]和可改善視覺(jué)感知的快速水下增強(qiáng)(fast enhancement for improved visual perception，F(xiàn)unIE)算法[17]進(jìn)行分析比較。

圖5 色卡恢復(fù)實(shí)驗(yàn)((a)原始圖像；(b) RGHS[19]；(c) DehazeNet&HWD[20]；(d) Water-Net[5]；(e) UResnet[6]；(f) FunIE[17]；(g) GF-GAN；(h)標(biāo)準(zhǔn)色卡)

從圖5中觀察可得，DehazeNet&HWD算法色卡色塊偏差較大，藍(lán)色、紫色等色塊對(duì)比度低，色卡整體顏色失衡。Water-Net算法色卡整體偏紅，相鄰色系區(qū)分度較低，尤其是紅色、淡黃色和橙色等暖色塊，顏色校正的整體效果較差。UResnet算法整體較為清晰，但土黃色與綠色塊對(duì)比度較低，難以區(qū)分。FUnIE算法色卡顏色較為準(zhǔn)確，但整體顏色偏暗，且圖像對(duì)比度沒(méi)有明顯提升。本文提出的GF-GAN與傳統(tǒng)的RGHS算法色卡圖像相比顏色鮮明，且黃色與淺綠色、藍(lán)色與紫色等同色系顏色對(duì)比度增強(qiáng)，結(jié)果圖像顏色與真實(shí)色卡接近，但GF-GAN相比RGHS算法對(duì)于圖像的對(duì)比度的提升更為明顯。

為驗(yàn)證GF-GAN在復(fù)雜環(huán)境下對(duì)圖像的對(duì)比度以及紋理細(xì)節(jié)增強(qiáng)方面的作用，對(duì)5幅具有代表性的不同渾濁度與不同色偏程度的水下圖像進(jìn)行實(shí)驗(yàn)，如圖6所示。

從圖6可以看出，DehazeNet & HWD算法可以有效地解決色偏問(wèn)題，如Image2和Image5，由于過(guò)度曝光及顏色補(bǔ)償，導(dǎo)致處理后的水下圖像普遍呈灰白色，且亮度較暗，但大部分紋理細(xì)節(jié)仍較為明顯。在Image1中，UResnet算法以及FUnIE算法對(duì)于圖像的霧化問(wèn)題基本無(wú)效，且得到的圖像有嚴(yán)重的色偏、色差等顏色問(wèn)題，得到的圖像清晰度也比較低，不利于分析觀測(cè)。在Image2中，RGHS算法對(duì)綠色色偏沒(méi)有任何改善，而DehazeNet & HWD算法和Water-Net算法未正確恢復(fù)沙土的顏色，且得到的圖像亮度偏暗，在Image3中同樣如此。在Image4中，RGHS算法和Water-Net算法有淺綠色偽影，DehazeNet & HWD和FUnIE算法有淺藍(lán)色偽影，UResnet算法處理過(guò)的圖像整體偏紅。在Image5中，RGHS算法，DehazeNet & HWD算法和GF-GAN算法能恢復(fù)出紅框中雕像軀體的紋理細(xì)節(jié)，并且對(duì)比度有顯著拉伸。相比之下，GF-GAN算法在對(duì)于圖像的色偏和色差、霧化、圖像紋理細(xì)節(jié)和對(duì)比度等方面，有顯著改善，且符合視覺(jué)效果。在Image1的紅色邊框中發(fā)現(xiàn)，GF-GAN算法對(duì)近景區(qū)域的圖像細(xì)節(jié)以及亮度有明顯增強(qiáng)。Image4中GF-GAN算法對(duì)于圖像整體亮度有明顯增強(qiáng)，且圖像整體紋理細(xì)節(jié)，相比UResnet算法，F(xiàn)UnIE算法更加清晰，對(duì)比度更強(qiáng)。相比之下，GF-GAN算法增強(qiáng)后的圖像更加鮮明和紋理細(xì)節(jié)特征更突出。

圖6 對(duì)比實(shí)驗(yàn)

3.3 客觀評(píng)價(jià)與分析

通過(guò)水下圖像質(zhì)量評(píng)價(jià)綜合指標(biāo)(underwater color image quality evaluation，UCIQE)[21]、水下圖像質(zhì)量測(cè)量指標(biāo)(underwater image quality measures，UIQM)[22]和加速魯棒特征(speeded up robust features，SURF)[23]對(duì)圖像質(zhì)量進(jìn)行客觀測(cè)評(píng)。

UCIQE利用CIELab空間的色度、飽和度與清晰度進(jìn)行線(xiàn)性加權(quán)組合，來(lái)測(cè)評(píng)水下圖像質(zhì)量的好壞程度。UCIQE值范圍為[0,1]，其值越大表示水下彩色圖像質(zhì)量越好，即

其中，1，2，3為加權(quán)系數(shù)，分別為色調(diào)方差、飽和度方差、清晰度。取值為1=0.4680，2=0.2745，3=0.2576[21]。

UIQM采用HVS模型，不需要參考圖像，但UIQM依賴(lài)于水下圖像的3種度量屬性：①圖像色度系數(shù)(UICM)；②清晰度系數(shù)(UISM)；③對(duì)比度系數(shù)(UIConM)。其表達(dá)式為

其中，1，2，3為加權(quán)系數(shù)，分別代表水下顏色校正程度、水下場(chǎng)景的能見(jiàn)度、水下圖像的對(duì)比度。取值為1=0.0282，2=0.2953，3=3.5753[22]。

表2和表3分別為不同算法處理下，圖6中5幅圖像的UCIQE與UIQM值，加粗字體為最優(yōu)值。通過(guò)式(12)分別計(jì)算UCIQE與UIQM測(cè)評(píng)提升均值

其中，V為GF-GAN算法測(cè)評(píng)均值；V為各個(gè)對(duì)比算法的測(cè)評(píng)均值。

由表2和表3可知，本文算法對(duì)不同水下環(huán)境皆有較高的測(cè)評(píng)值。其中，UCIQE值整體提升9.43%，UIQM值整體提升57.33%。表明GF-GAN算法能有效地消除水下圖像色偏，處理后的圖像色彩鮮明，視覺(jué)效果良好。

原始水下圖像和增強(qiáng)圖像的SURF關(guān)鍵點(diǎn)匹配試驗(yàn)圖如圖7所示，匹配結(jié)果見(jiàn)表4。

表2 UCIQE指標(biāo)評(píng)測(cè)結(jié)果

表3 UIQM指標(biāo)評(píng)測(cè)結(jié)果

圖7 原始水下圖像和增強(qiáng)圖像SURF關(guān)鍵點(diǎn)匹配試驗(yàn)

表4 SURF關(guān)鍵點(diǎn)匹配結(jié)果

圖像細(xì)節(jié)特征越清晰，其關(guān)鍵點(diǎn)匹配數(shù)目越多。由表4可知，經(jīng)本文GF-GAN算法處理的圖像，較原始圖像的關(guān)鍵點(diǎn)匹配數(shù)目有顯著提升，尤其在Image2中，GF-GAN較其他算法的特征匹配點(diǎn)數(shù)目大幅度領(lǐng)先。因此，證明本文算法對(duì)圖像細(xì)節(jié)特征有顯著改善，在后續(xù)特征匹配過(guò)程中具有明顯的實(shí)用效果。

4 結(jié) 論

本文針對(duì)水下圖像存在顏色失真，霧化程度高和低對(duì)比度等諸多問(wèn)題，提出了多尺度門(mén)控融合生成對(duì)抗網(wǎng)絡(luò)的水下圖像增強(qiáng)算法。首先，通過(guò)門(mén)模塊的改進(jìn)模型構(gòu)建了GF，自適應(yīng)地學(xué)習(xí)3條子網(wǎng)絡(luò)的不同空間特征信息。其次，利用多個(gè)不同尺度的子網(wǎng)絡(luò)對(duì)同幅圖像不同的空間特征進(jìn)行學(xué)習(xí)，并將對(duì)應(yīng)的輸出通過(guò)GF進(jìn)行融合。最后，加入感知損失函數(shù)以及1損失函數(shù)，增強(qiáng)圖像的視覺(jué)感知效果。實(shí)驗(yàn)結(jié)果表明，本文GF-GAN算法的UCIQE值平均為0.664 7，UIQM值平均為5.723 7，關(guān)鍵點(diǎn)匹配比原圖平均高19個(gè)匹配點(diǎn)，均優(yōu)于其他對(duì)比算法。證明GF-GAN能恢復(fù)出更多紋理細(xì)節(jié)，具有更好的色彩表現(xiàn)，圖像視覺(jué)信息豐富，同時(shí)能夠達(dá)到良好的去渾濁效果，適用于不同類(lèi)型的水下退化圖像。在后續(xù)工作中，考慮將雙鑒別器與此網(wǎng)絡(luò)結(jié)構(gòu)相結(jié)合，進(jìn)一步提高水下退化圖像增強(qiáng)的效率。

[1] 郭繼昌, 李重儀, 郭春樂(lè), 等. 水下圖像增強(qiáng)和復(fù)原方法研究進(jìn)展[J]. 中國(guó)圖象圖形學(xué)報(bào), 2017, 22(3): 273-287.

GUO J C, LI C Y, GUO C L, et al. Research progress of underwater image enhancement and restoration methods[J]. Journal of Image and Graphics, 2017, 22(3): 273-287 (in Chinese).

[2] WANG Y, ZHANG J, CAO Y, et al. A deep CNN method for underwater image enhancement[C]//2017 IEEE International Conference on Image Processing (ICIP). New York: IEEE Press, 2017: 1382-1386.

[3] LU J Y, LI N, ZHANG S Y, et al. Multi-scale adversarial network for underwater image restoration[J]. Optics & Laser Technology, 2019, 110: 105-113.

[4] GUO Y C, LI H Y, ZHUANG P X. Underwater image enhancement using a multiscale dense generative adversarial network[J]. IEEE Journal of Oceanic Engineering, 2020, 45(3): 862-870.

[5] LI C Y, GUO C L, REN W Q, et al. An underwater image enhancement benchmark dataset and beyond[J]. IEEE Transactions on Image Processing, 2020, 29: 4376-4389.

[6] LIU P, WANG G Y, QI H, et al. Underwater image enhancement with a deep residual framework[J]. IEEE Access, 2019, 7: 94614-94629.

[7] 黎智, 徐丹. 基于卷積神經(jīng)網(wǎng)絡(luò)的蠟染染色模擬[J]. 圖學(xué)學(xué)報(bào), 2020, 41(2): 196-203.

LI Z, XU D. Batik dyeing simulation based on convolutional neural network[J]. Journal of Graphics, 2020, 41(2): 196-203 (in Chinese).

[8] 王新穎, 王亞. 權(quán)值優(yōu)化集成卷積神經(jīng)網(wǎng)絡(luò)及其在三維模型識(shí)別中的應(yīng)用[J]. 圖學(xué)學(xué)報(bào), 2019, 40(6): 1072-1078.

WANG X Y, WANG Y. Weighted optimization integrated convolutional neural network and its application in 3D model recognition[J]. Journal of Graphics, 2019, 40(6): 1072-1078 (in Chinese).

[9] SUN X, LIU L P, LI Q, et al. Deep pixel-to-pixel network for underwater image enhancement and restoration[J]. IET Image Processing, 2019, 13(3): 469-474.

[10] GOODFELLOW I J, POUGET-ABADIE J, MIRZA M, et al. Generative adversarial nets[C]//The 27th International Conference on Neural Information Processing Systems. New York: ACM Press, 2014: 2672-2680.

[11] YANG M, HU K, DU Y X, et al. Underwater image enhancement based on conditional generative adversarial network[J]. Signal Processing: Image Communication, 2020, 81: 115723.

[12] HUANG G, LIU Z, VAN DER MAATEN L, et al. Densely connected convolutional networks[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE Press, 2017: 2261-2269.

[13] ISOLA P, ZHU J Y, ZHOU T H, et al. Image-to-image translation with conditional adversarial networks[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE Press, 2017: 5967-5976.

[14] ZHU J Y, PARK T, ISOLA P, et al. Unpaired image-to-image translation using cycle-consistent adversarial networks[C]// 2017 IEEE International Conference on Computer Vision (ICCV). New York: IEEE Press, 2017: 2242-2251.

[15] REN W Q, MA L, ZHANG J W, et al. Gated fusion network for single image dehazing[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2018: 3253-3261.

[16] ZHANG H, SINDAGI V, PATEL V M. Image de-raining using a conditional generative adversarial network[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2020, 30(11): 3943-3956.

[17] ISLAM M J, XIA Y Y, SATTAR J. Fast underwater image enhancement for improved visual perception[J]. IEEE Robotics and Automation Letters, 2020, 5(2): 3227-3234.

[18] ANWAR S, LI C Y. Diving deeper into underwater image enhancement: a survey[J]. Signal Processing: Image Communication, 2020, 89: 115978.

[19] HUANG D M, WANG Y, SONG W, et al. Shallow-water image enhancement using relative global histogram stretching based on adaptive parameter acquisition[C]//The 24th International Conference on MultiMedia Modeling. Heidelberg: Springer, 2018: 453-465.

[20] PAN P W, YUAN F, CHENG E. Underwater image de-scattering and enhancing using dehazenet and HWD[J]. Journal of Marine Science and Technology, 2018, 26(4): 531-540.

[21] YANG M, SOWMYA A. An underwater color image quality evaluation metric[J]. IEEE Transactions on Image Processing, 2015, 24(12): 6062-6071.

[22] PANETTA K, GAO C, AGAIAN S. Human-visual-system- inspired underwater image quality measures[J]. IEEE Journal of Oceanic Engineering, 2016, 41(3): 541-551.

[23] BAY H, TUYTELAARS T, VAN GOOI L. Surf: speeded up robust features[C]//European Conference on Computer Vision. Heidelberg: Springer, 2006: 404-417.

Underwater image enhancement algorithm using gated fusion generative adversarial network

LIN Sen1, LIU Xu2

(1. School of Automation and Electrical Engineering, Shenyang Ligong University, Shenyang Liaoning 110159, China; 2. School of Electronic and Information Engineering, Liaoning Technical University, Huludao Liaoning 125105, China)

An underwater image enhancement algorithm using gated fusion generative adversarial network was proposed for solving problems of underwater image color distortion, low contrast, and heavy fogging. The crucial element of this algorithm is that it recruited a generator to pixel-by-pixel restore image feature details and synthesized a clear image through gated fusion. First of all, to increase the variety of image feature learning by the network, several parallel sub-networks were employed to learn different kinds of spatial feature knowledge of the same image. The image features learned from different sub-networks were fused utilizing gated fusion. The generator and the discriminator were used for mutual games, and the network was repeatedly trained to obtain enhanced underwater images. Finally, using the EUVP dataset and the U45 testset, this paper performed a series of comparative experiments. The algorithm’s key point matching was 19 points higher than the raw image, according to the experimental results. The average UCIQE value was 0.664 7, while the average UIQM value was 5.723 7. It can achieve improvements over other classic and latest algorithms, demonstrating the algorithm’s extraordinary performance.

image processing; underwater image; generative adversarial network; multi-scale input; gated fusion

TP 391.4

10.11996/JG.j.2095-302X.2021060948

A

2095-302X(2021)06-0948-09

2021-01-18；

2021-04-16

國(guó)家重點(diǎn)研發(fā)計(jì)劃項(xiàng)目(2018YFB1403303)；遼寧省重點(diǎn)研發(fā)計(jì)劃資助項(xiàng)目(2019JH2/10100014)

林 森(1980-)，男，遼寧沈陽(yáng)人，副教授，博士。主要研究方向?yàn)閳D像處理與模式識(shí)別、機(jī)器視覺(jué)。E-mail：lin_sen6@126.com

18 January，2021；

16 April，2021

National Research Key Program of China (2018YFB1403303); Liaoning Provincial Research Foundation for Key Program of China (2019JH2/10100014)

LIN Sen (1980–), male, associate professor, Ph.D. His main research interests cover image processing and pattern recognition, machine vision. E-mail：lin_sen6@126.com