基于SK注意力殘差網(wǎng)絡(luò)的水下圖像增強(qiáng)

0 引言

由于陸地資源的匱乏,海洋資源的開(kāi)發(fā)利用越來(lái)越受到人們的重視[1]．獲取水下圖像也成為海洋資源開(kāi)發(fā)利用的關(guān)鍵．水下圖像與普通圖像成像不同,不同波長(zhǎng)的光在傳輸過(guò)程中有不同的能量衰減率．波長(zhǎng)越長(zhǎng),衰減速度越快．波長(zhǎng)最長(zhǎng)的紅光衰減速度較快,而藍(lán)光和綠光的衰減速度相對(duì)較慢,因此水下圖像大多呈現(xiàn)藍(lán)綠色偏．水下環(huán)境中微弱的暗光導(dǎo)致水下圖像對(duì)比度低,水中懸浮物的散射導(dǎo)致水下圖像細(xì)節(jié)模糊[2]．如何解決水下圖像的顏色失真、對(duì)比度低、細(xì)節(jié)模糊等問(wèn)題是當(dāng)前科研人員面臨的主要挑戰(zhàn)[3]．

這些水下圖像的解決方案可以分為兩類(lèi),一類(lèi)是基于傳統(tǒng)的增強(qiáng)方法,另一類(lèi)是基于深度學(xué)習(xí)的方法[4]．

傳統(tǒng)方法可分為兩類(lèi),即基于非物理模型的增強(qiáng)方法[5]和基于物理模型的增強(qiáng)方法[6]．非物理模型方法不需要考慮成像過(guò)程,這種方法主要包括直方圖均衡化、灰度世界算法、Retinex算法等．直方圖均衡化方法[7]能夠均勻分布圖像像素,在一定程度上提高了圖像質(zhì)量和清晰度．灰度世界算法[8],可以從圖像中消除環(huán)境光的影響,增強(qiáng)水下圖像．Fu等[9]提出基于Retinex的水下圖像增強(qiáng)方法,在校正水下圖像顏色的基礎(chǔ)上,采用Retinex方法獲得反射和照射分量,最終得到增強(qiáng)的水下圖像．Ghani等[10]提出瑞利拉伸有限對(duì)比度自適應(yīng)直方圖,對(duì)全局和局部對(duì)比度增強(qiáng)圖進(jìn)行歸一化處理,以增強(qiáng)低質(zhì)量的水下圖像．Zhang等[11]利用Retinex、雙邊濾波和三邊濾波在CIELAB顏色空間對(duì)水下圖像增強(qiáng)．Li等[12]采用最小化信息丟失和直方圖分布的策略來(lái)消除水霧,增強(qiáng)水下圖像的對(duì)比度和亮度．非物理模型的這類(lèi)算法,算法簡(jiǎn)單實(shí)現(xiàn)速度快,但存在過(guò)度增強(qiáng)、人工噪聲等問(wèn)題．物理模型法的目標(biāo)是建立退化模型,估計(jì)包含水下光和透射率的模型參數(shù),進(jìn)而反演退化過(guò)程對(duì)圖像進(jìn)行增強(qiáng)．最為經(jīng)典的暗通道先驗(yàn)(DCP)算法[13],研究人員根據(jù)霧圖像和成像模型之間的關(guān)系,得到光透射率和大氣光估計(jì)值,進(jìn)而對(duì)霧圖像實(shí)現(xiàn)增強(qiáng)．水下圖像一定程度上類(lèi)似于有霧圖像,因此DCP算法也被用于水下圖像增強(qiáng),但是此算法的應(yīng)用場(chǎng)景非常有限．因此研究者提出專(zhuān)門(mén)針對(duì)水下環(huán)境的水下暗通道(UDCP)算法[14],它考慮了光在水下的衰減特性,能更準(zhǔn)確地估計(jì)出光波在水中的透射率,實(shí)現(xiàn)水下圖像增強(qiáng)．Peng等[15]提出一種水下圖像復(fù)原方法,來(lái)處理水下圖像的模糊和光吸收問(wèn)題,該方法在大氣散射模型中引入景深,采用暗通道先驗(yàn)的方法求解更準(zhǔn)確的透射率,實(shí)現(xiàn)水下圖像增強(qiáng)．基于物理模型的這類(lèi)方法主要依賴(lài)于成像模型和暗通道先驗(yàn)知識(shí)[16],但由于水下環(huán)境的特殊性,導(dǎo)致這類(lèi)方法存在局限性．

近年來(lái),深度學(xué)習(xí)引起了廣泛的關(guān)注,它的出現(xiàn)彌補(bǔ)了傳統(tǒng)方法的不足[17]．深度學(xué)習(xí)的方法可以減少水下復(fù)雜環(huán)境對(duì)圖像的影響,達(dá)到更好的增強(qiáng)效果．基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)[18]的模型和生成對(duì)抗網(wǎng)絡(luò)(GAN)[19]的模型都需要大量成對(duì)或不成對(duì)的數(shù)據(jù)集．陳學(xué)磊等[20]提出了一種融合深度學(xué)習(xí)與成像模型的水下圖像增強(qiáng)方法,通過(guò)對(duì)背景散射光估計(jì),并結(jié)合成像模型進(jìn)行卷積運(yùn)算得到增強(qiáng)后的水下圖像．Islam等[21]提出了一種快速水下圖像增強(qiáng)模型(FUnIE-GAN),該模型建立了一個(gè)新的損失函數(shù)來(lái)評(píng)估圖像的感知質(zhì)量．Fabbri等[22]提出了一種基于生成對(duì)抗網(wǎng)絡(luò)(UGAN)的方法,該方法增強(qiáng)了水下圖像的細(xì)節(jié),但UGAN使用歐氏距離損失,從而產(chǎn)生了模糊的實(shí)驗(yàn)結(jié)果．上述基于深度學(xué)習(xí)的水下圖像增強(qiáng)算法,提升了算法的整體性能．由于水下圖像嚴(yán)重的色偏,在算法訓(xùn)練穩(wěn)定性,增強(qiáng)后圖像細(xì)節(jié)、清晰度和對(duì)比度方面,仍有待進(jìn)一步深入研究．

針對(duì)現(xiàn)有算法增強(qiáng)的水下圖像存在顏色失真、細(xì)節(jié)特征丟失和關(guān)鍵信息模糊的問(wèn)題,本文在生成對(duì)抗網(wǎng)絡(luò)基礎(chǔ)上,改進(jìn)了生成器結(jié)構(gòu),引入了殘差模塊和SK(Selective Kernel)注意力機(jī)制．殘差模塊能夠減少編碼器和解碼器之間的特征丟失,提取更多的圖形細(xì)節(jié)特征,增強(qiáng)圖像細(xì)節(jié)和校正圖像顏色．SK注意力機(jī)制能夠使網(wǎng)絡(luò)動(dòng)態(tài)融合不同尺度大小的特征圖,從而增強(qiáng)圖像的關(guān)鍵信息．采用參數(shù)修正線(xiàn)性單元(PReLU)來(lái)提高網(wǎng)絡(luò)在訓(xùn)練過(guò)程中的擬合能力．通過(guò)對(duì)比實(shí)驗(yàn)、消融實(shí)驗(yàn)、細(xì)節(jié)實(shí)驗(yàn)和應(yīng)用測(cè)試實(shí)驗(yàn)表明,本算法在主觀視覺(jué)和客觀評(píng)價(jià)指標(biāo)層面均有良好表現(xiàn)．

1 生成對(duì)抗網(wǎng)絡(luò)原理

生成對(duì)抗網(wǎng)絡(luò)是一種深度學(xué)習(xí)模型[19]．本文在此基礎(chǔ)上進(jìn)行改進(jìn),實(shí)現(xiàn)了水下圖像增強(qiáng)．生成對(duì)抗網(wǎng)絡(luò)包含兩個(gè)模型:生成器模型G和判別器模型D．生成器將生成的虛假圖像發(fā)送到判別器,而真實(shí)圖像也發(fā)送到判別器．判別器判斷輸入的虛假圖像和真實(shí)圖像,將真實(shí)圖像判斷為“1”,將虛假圖像判斷為“0”[19]．GAN的數(shù)學(xué)模型可表示為

Eh～Ph[log(1-D(G(h)))],

(1)

式中:V(G,D)為GAN的最終優(yōu)化目標(biāo);E為數(shù)學(xué)期望;f為真實(shí)的圖像;h為失真的圖像;Pf為真實(shí)的數(shù)據(jù)分布;Ph為失真圖像h下的數(shù)據(jù)分布;G(h)為生成器增強(qiáng)得到的圖像;D(f)為判別器對(duì)真實(shí)圖像和生成圖像的判定．GAN模型框架如圖1所示．

圖1 生成對(duì)抗網(wǎng)絡(luò)框架Fig.1 GAN framework

生成器和判別器交替迭代訓(xùn)練,相互博弈,最終達(dá)到納什均衡狀態(tài)．此時(shí),將失真的水下圖像輸入生成器,就可獲得增強(qiáng)的水下圖像．針對(duì)水下圖像顏色失真、細(xì)節(jié)特征丟失和關(guān)鍵信息模糊的問(wèn)題,本文在GAN基礎(chǔ)上改進(jìn)網(wǎng)絡(luò)．

2 本文方法

2.1 生成器網(wǎng)絡(luò)模型

本文算法的生成器結(jié)構(gòu)如圖2所示,整體類(lèi)似于U-Net[23]．主要包括編碼器、解碼器、殘差模塊[24]和SK(Selective Kernel)注意力機(jī)制[25]4個(gè)部分．為了緩解編碼器的低層特征和解碼器的高層特征之間的細(xì)節(jié)特征丟失,采用殘差模塊,從而使增強(qiáng)后的圖像細(xì)節(jié)紋理特征更清晰．為了更好地增強(qiáng)圖像關(guān)鍵信息,動(dòng)態(tài)融合不同尺度的特征圖,引入了SK注意力機(jī)制,在每個(gè)殘差模塊間加入SK注意力機(jī)制．首先,輸入水下圖像到編碼器,編碼器的前3層由卷積層、BN層和PReLU層組成,對(duì)圖像進(jìn)行下采樣操作,減小特征圖的大小．接著輸入到殘差模塊和SK注意力機(jī)制,提取更多的細(xì)節(jié)特征信息和關(guān)鍵信息．然后解碼器對(duì)圖像進(jìn)行上采樣操作,恢復(fù)真實(shí)圖像大小．

圖2 生成器網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Generator network

在卷積層的設(shè)計(jì)中,采用參數(shù)修正線(xiàn)性單元(PReLU)[26]來(lái)代替修正線(xiàn)性單元(ReLU)[27]．

參數(shù)修正線(xiàn)性單元可以提高網(wǎng)絡(luò)在訓(xùn)練過(guò)程中的擬合能力．參數(shù)修正線(xiàn)性單元和修正線(xiàn)性單元在式(2)中表示．

(2)

其中x是神經(jīng)網(wǎng)絡(luò)圖中上每個(gè)位置的特征值,a是可變參數(shù)．與修正線(xiàn)性單元(ReLU)相比,參數(shù)修正線(xiàn)性單元(PReLU)避免了x為負(fù)時(shí)梯度變?yōu)榱銠?quán)重不再更新的現(xiàn)象,使得網(wǎng)絡(luò)訓(xùn)練更加穩(wěn)定．

2.2 殘差模塊

水下圖像在下采樣過(guò)程中可以縮小特征圖的大小,減少參數(shù)的數(shù)量和計(jì)算量,但是會(huì)丟失圖像的空間位置和細(xì)節(jié).為了減少下采樣過(guò)程中的圖像細(xì)節(jié)損失,引入了殘差模塊[24]．編碼器特征是低級(jí)特征,解碼器特征是高級(jí)特征,2個(gè)不相融的特征直接融合會(huì)存在語(yǔ)義差異,因此添加殘差模塊,可以在2個(gè)特征融合前達(dá)到相同的深度,以便平衡編碼器和解碼器之間的語(yǔ)義差異,達(dá)到增強(qiáng)水下圖像細(xì)節(jié)特征的效果．

殘差模塊(ResPath)包含2個(gè)卷積(Conv)和2個(gè)激活(PReLU)操作．原來(lái)的3×3卷積不會(huì)直接傳輸?shù)降?層卷積,而是通過(guò)一個(gè)1×1卷積添加到連接中,引入了更多的非線(xiàn)性,減少了細(xì)節(jié)特征丟失．殘差模塊的具體結(jié)構(gòu)如圖3所示．

圖3 殘差模塊Fig.3 Residual path module

2.3 SK注意力機(jī)制

SK注意力機(jī)制[25]中的SK是Selective Kernel的縮寫(xiě),表示選擇性融合不同尺度大小的卷積核．SK注意力機(jī)制結(jié)構(gòu)如圖4所示,由Split、Fuse和Select 3部分組成．在Split部分分別對(duì)輸入圖像進(jìn)行3×3和5×5的卷積操作,得到U1和U22個(gè)特征圖．Fuse是計(jì)算2個(gè)卷積核權(quán)重的部分,將兩者的特征圖按元素求和,然后沿著H和W維度求平均值,得到一個(gè)C×1×1的一維向量,權(quán)重信息表示了各個(gè)通道信息的重要性．其公式為

圖4 SK注意力機(jī)制結(jié)構(gòu)Fig.4 SK attention structure

U=U1+U2,

(3)

其中U是通過(guò)全局平均池化(AvgPool)生成的通道統(tǒng)計(jì)信息．接著采用一個(gè)線(xiàn)性變換,將原來(lái)的C維信息映射成Z維信息,然后分別使用2個(gè)線(xiàn)性變換,從Z維變成原來(lái)的C維,這樣就完成了信息通道維度的提取．Select部分通過(guò)softmax函數(shù)進(jìn)行歸一化,計(jì)算出每一個(gè)channel對(duì)應(yīng)的權(quán)重分?jǐn)?shù),并將權(quán)重應(yīng)用到特征圖上,最后將2個(gè)新的特征圖進(jìn)行信息融合得到最終的輸出圖像．輸出圖像對(duì)比于輸入圖像,經(jīng)過(guò)信息通道的提煉,融合了更多的關(guān)鍵信息,增強(qiáng)了圖像關(guān)鍵信息．

2.4 判別器模塊

該算法中使用是馬爾可夫判別器[22]．判別器網(wǎng)絡(luò)中,前4層都使用3×3的卷積核,通過(guò)4層卷積核實(shí)現(xiàn)下采樣,減小特征圖大小．D網(wǎng)絡(luò)的前4層卷積層之后是BN層和LeakyReLU激活層．使用4個(gè)卷積層將256×256×6的輸入(真實(shí)和生成的圖像),轉(zhuǎn)換為16×16×1的輸出,最后取輸出矩陣的均值作為真或假的輸出．判別器網(wǎng)絡(luò)如圖5所示．

圖5 判別器網(wǎng)絡(luò)Fig.5 Discriminator network

2.5 損失函數(shù)

生成器通過(guò)判別器輸出的判別數(shù)據(jù)連續(xù)反向傳播,并在兩者之間交替優(yōu)化．損失函數(shù)是卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)化準(zhǔn)則,根據(jù)不同的優(yōu)化目標(biāo)設(shè)置不同的損失函數(shù)．根據(jù)優(yōu)化目標(biāo),本文算法定義了3個(gè)損失函數(shù)．

1)對(duì)抗損失:

Ladv(G,D)=EX～Y[logD(y)]+

EX～Y[log(1-D(x,G(x)))],

(4)

式中:Ladv(G,D)是生成器和判別器的最終優(yōu)化目標(biāo);x為輸入數(shù)據(jù);y為參考數(shù)據(jù);E表示期望;G表示生成器;D表示判別器;X表示真實(shí)數(shù)據(jù)的概率;Y表示偽數(shù)據(jù)的概率,它為生成器提供泛化功能．

2)L1損失:除了對(duì)抗性損失外,本文算法還引入了L1損失,保證了生成圖像與真實(shí)圖像內(nèi)容的一致性．損失如下:

L1=E[‖IC-G(ID)‖1],

(5)

其中:IC為真實(shí)圖像;ID是水下失真的圖像．如果L1損失是唯一的優(yōu)化目標(biāo),那么像素空間中像素的平均值將導(dǎo)致生成的圖像中出現(xiàn)模糊偽像．

3)針對(duì)L1損失導(dǎo)致生成圖像中模糊的問(wèn)題,本文還引入了感知損失函數(shù)[28]．感知損失基于卷積神經(jīng)網(wǎng)絡(luò)提取生成圖像的特征映射和目標(biāo)圖像的特征映射之間的差異[28]．使用感知損失可以減少高頻特征丟失造成的損失．增強(qiáng)的圖像細(xì)節(jié)紋理更接近真實(shí)圖像．感知損失的定義如下:

(6)

其中,Cj表示網(wǎng)絡(luò)的第j層,CjHjWj表示第j層特征映射的大小,φ是預(yù)訓(xùn)練VGG19網(wǎng)絡(luò)的最后一個(gè)卷積層提取的高級(jí)特征[28]．

Ltotal=Ladv+αL1+βLper,

(7)

其中α和β分別是L1損失函數(shù)和Lper感知損失函數(shù)的權(quán)重．

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)設(shè)置

本文的實(shí)驗(yàn)配置環(huán)境是Intel i5 10400F處理器,2.4 GHz主頻,16 GB內(nèi)存空間和GTX3060 GPU．采用Pytorch編程框架．本文選擇Adam作為優(yōu)化器[29],并將學(xué)習(xí)速率設(shè)置為0.000 2,批大小為1,式6中L1損失的權(quán)重α為100,感知損失的權(quán)重β為100．采用EUVP[21]數(shù)據(jù)集對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練．EUVP是一個(gè)大規(guī)模數(shù)據(jù)集,由underwater_dark、underwater_imageNet和underwater_scenes 3部分組成．其中underwater_dark是一個(gè)包含成對(duì)的灰度圖像和彩色圖像的水下圖像數(shù)據(jù)集,Underwater _imageNet和underwater_scenes都是包含成對(duì)的彩色低質(zhì)量圖像和高質(zhì)量圖像的水下圖像數(shù)據(jù)集．從EUVP數(shù)據(jù)集中隨機(jī)選取5 000對(duì)圖像進(jìn)行算法訓(xùn)練,8對(duì)圖像進(jìn)行算法測(cè)試．

3.2 對(duì)比實(shí)驗(yàn)

為了更好地驗(yàn)證算法的有效性,本文分別對(duì)合成數(shù)據(jù)集和真實(shí)數(shù)據(jù)集進(jìn)行驗(yàn)證,采用應(yīng)用測(cè)試實(shí)驗(yàn)、細(xì)節(jié)對(duì)比實(shí)驗(yàn)和消融實(shí)驗(yàn)進(jìn)一步驗(yàn)證網(wǎng)絡(luò)的增強(qiáng)效果,并從主觀和客觀指標(biāo)評(píng)價(jià)2個(gè)方面進(jìn)行效果分析．各種對(duì)比算法包括:3種傳統(tǒng)方法(文獻(xiàn)[8,14-15]);3種深度學(xué)習(xí)方法(文獻(xiàn)[20-21,30])．

3.2.1 水下合成數(shù)據(jù)集增強(qiáng)效果分析

水下合成圖像的測(cè)試數(shù)據(jù)集選自EUVP[21]數(shù)據(jù)集中的部分,本文算法與其他方法的比較如圖6所示．圖6顯示了通過(guò)幾種方法增強(qiáng)的水下圖像,這些合成圖像來(lái)自不同的場(chǎng)景．文獻(xiàn)8算法(GW)是最常用的顏色平衡算法,顏色平衡算法可以在一定程度上消除環(huán)境光的影響獲得原始圖像,同時(shí)也帶來(lái)了顏色的變化．文獻(xiàn)[8]算法處理后的圖像存在一定程度的紅移現(xiàn)象．文獻(xiàn)[14]為水下暗通道先驗(yàn)算法(UDCP),雖然該方法保留了圖像的紋理特征,但由于大氣光成分的存在,增強(qiáng)后的圖像比原圖像有更嚴(yán)重的藍(lán)綠色偏．文獻(xiàn)[15]算法(IBLA)處理的圖像顏色飽和度過(guò)高,加重了顏色色偏．與傳統(tǒng)方法相比,深度學(xué)習(xí)的方法增強(qiáng)的圖像清晰度更好.文獻(xiàn)[20]算法(Combining Deep Learning and Image Formation model)是一種融合圖像成像模型和卷積神經(jīng)網(wǎng)絡(luò)的方法,在一定程度上提高了圖像的亮度和清晰度,但同時(shí)產(chǎn)生了綠色色偏,且在圖像邊緣產(chǎn)生綠色偽影．文獻(xiàn)[21]算法(Funie-GAN)增強(qiáng)了圖像的真實(shí)色彩和清晰度,圖像亮度也有了很大的提高,但一定程度上出現(xiàn)了紅色偏差．文獻(xiàn)[30]算法(CycleGAN)是一個(gè)無(wú)監(jiān)督的網(wǎng)絡(luò),不需要成對(duì)的數(shù)據(jù)集,但增強(qiáng)的圖像顏色背景較暗圖像模糊,并且圖像中存在藍(lán)綠色偏差．與其他方法相比,本文提供的算法明顯提高了圖像的顏色、對(duì)比度和關(guān)鍵細(xì)節(jié)信息,在各種場(chǎng)景中的表現(xiàn)比較穩(wěn)定．

圖6 各算法在合成數(shù)據(jù)集上的增強(qiáng)效果對(duì)比Fig.6 Comparison of enhancement effect between various algorithms on synthetic datasets

本文選擇結(jié)構(gòu)相似性指數(shù)(SSIM)[31]、水下圖像質(zhì)量評(píng)價(jià)指標(biāo)(UIQM)[32]、水下彩色圖像評(píng)價(jià)指標(biāo)(UCIQE)[33]和信息熵(IE)[34]4種指標(biāo)進(jìn)行客觀評(píng)價(jià)．SSIM可以判斷增強(qiáng)的圖像和參考圖像的相似度,SSIM值越接近于1表示增強(qiáng)后的圖像與參考圖像更接近[31]．UIQM是專(zhuān)門(mén)針對(duì)無(wú)參考圖像的水下圖像評(píng)價(jià)指標(biāo),指標(biāo)越大增強(qiáng)效果越好[32];UCIQE是水下色彩圖像評(píng)價(jià)指標(biāo),主要包括圖像顏色色度、飽和度和對(duì)比度,其值是圖像顏色色度、飽和度和對(duì)比度的線(xiàn)性組合,值越大表示圖像的清晰度、飽和度和對(duì)比度越好．從表1中可知本文算法增強(qiáng)后的圖像在UIQM、UCIQE、IE和SSIM上指標(biāo)均優(yōu)于其他算法,說(shuō)明本文算法增強(qiáng)的圖像清晰度、對(duì)比度和細(xì)節(jié)特征更好．傳統(tǒng)的水下圖像增強(qiáng)方法與深度學(xué)習(xí)的方法相比效果略差．

表1 合成水下數(shù)據(jù)集參考指標(biāo)的評(píng)價(jià)結(jié)果

3.2.2 水下真實(shí)數(shù)據(jù)集增強(qiáng)效果分析

本文算法在真實(shí)水下圖像上的增強(qiáng)效果如圖7所示,真實(shí)水下測(cè)試圖像分別選自模糊場(chǎng)景和藍(lán)綠色場(chǎng)景．傳統(tǒng)方法(文獻(xiàn)[8,14-15])在增強(qiáng)模糊場(chǎng)景

和藍(lán)綠色場(chǎng)景時(shí),圖像的清晰度有所提高,但圖像分別出現(xiàn)了紅色、綠色和藍(lán)色色偏．深度學(xué)習(xí)方法(文獻(xiàn)[20-21,30])一定程度上去除了霧感影響,但是都出現(xiàn)了顏色色偏,只有本文算法增強(qiáng)后的圖像清晰度、色彩飽和度高,在模糊場(chǎng)景、藍(lán)色場(chǎng)景和綠色場(chǎng)景中都能清晰地修復(fù)圖像細(xì)節(jié)特征信息,圖像顏色得到校正．

為了對(duì)水下真實(shí)圖像增強(qiáng)效果的質(zhì)量進(jìn)行客觀評(píng)價(jià),本文選取UIQM、UCIQE和IE 3個(gè)指標(biāo)進(jìn)行分析．由于水下真實(shí)圖像沒(méi)有參考圖像,所以沒(méi)有選取SSIM等評(píng)價(jià)指標(biāo)．如表2所示,本文算法增強(qiáng)后的圖像在清晰度、色彩飽和度和信息熵含量上都優(yōu)于其他算法,其中本文算法中的UCIQE指標(biāo)遠(yuǎn)高于其他算法,并且得分均勻．從得分上看,深度學(xué)習(xí)的方法比傳統(tǒng)方法增強(qiáng)的效果更好．綜上所述,本文算法能夠?qū)崿F(xiàn)多種場(chǎng)景的增強(qiáng)任務(wù),有著出色的泛化性能．

表2 真實(shí)水下數(shù)據(jù)集非參考指標(biāo)的評(píng)估結(jié)果

3.3 消融實(shí)驗(yàn)

為了更好地驗(yàn)證殘差模塊和SK注意力機(jī)制對(duì)增強(qiáng)效果的影響,進(jìn)行了消融實(shí)驗(yàn),分別驗(yàn)證去除殘差模塊(ResPath)和SK注意力機(jī)制對(duì)評(píng)價(jià)指標(biāo)的影響．實(shí)驗(yàn)結(jié)果如表3所示．

表3 去除各個(gè)模塊對(duì)增強(qiáng)效果的影響

從表3可以看出,去除殘差模塊的圖像UIQM、UCIQE和IE指標(biāo)得分比去除SK注意力機(jī)制的圖像指標(biāo)分別低0.126、0.033和0.024．同時(shí)去除殘差模塊和SK注意力機(jī)制的指標(biāo)得分是最低的．采用殘差模塊和SK注意力機(jī)制的算法指標(biāo)得分是最高的．

3.4 細(xì)節(jié)對(duì)比實(shí)驗(yàn)

為了驗(yàn)證SK注意力機(jī)制對(duì)圖像關(guān)鍵信息的增強(qiáng)效果,進(jìn)行了細(xì)節(jié)對(duì)比實(shí)驗(yàn)．

圖8a是原始圖像,圖8b是去除SK注意力機(jī)制增強(qiáng)后的圖像,圖8c是本文算法增強(qiáng)后的圖像．通過(guò)對(duì)圖像中細(xì)節(jié)部分放大分析,發(fā)現(xiàn)去除SK注意力機(jī)制的圖像,細(xì)節(jié)增強(qiáng)效果較差,細(xì)節(jié)模糊．采用了SK注意力機(jī)制的本文算法,增強(qiáng)后的細(xì)節(jié)效果優(yōu)于沒(méi)有SK注意力機(jī)制的算法,關(guān)鍵細(xì)節(jié)信息更清晰．說(shuō)明SK注意力機(jī)制能夠動(dòng)態(tài)融合不同尺度的特征圖,提取圖像的關(guān)鍵信息,增強(qiáng)圖像關(guān)鍵信息．

圖8 細(xì)節(jié)對(duì)比Fig.8 Detail comparisons

3.5 應(yīng)用測(cè)試實(shí)驗(yàn)

本文采用Canny邊緣檢測(cè)[35]和SIFT特征點(diǎn)檢測(cè)與匹配[36]來(lái)檢驗(yàn)本文算法的增強(qiáng)效果．如圖9所示,通過(guò)本文方法恢復(fù)的圖像比原始圖像檢測(cè)到更多的邊緣信息,邊緣信息越多代表著細(xì)節(jié)特征越多．說(shuō)明殘差模塊能夠減少特征圖在下采樣過(guò)程中的特征丟失,增強(qiáng)了圖像細(xì)節(jié)特征,校正了圖像顏色,更好地保留了圖像內(nèi)容．通過(guò)SIFT特征點(diǎn)匹配實(shí)驗(yàn)可以發(fā)現(xiàn),原始圖像匹配到的特征點(diǎn)是5個(gè),增強(qiáng)后圖像匹配到的特征點(diǎn)38個(gè),多于原圖33個(gè),說(shuō)明了SK注意力機(jī)制能夠動(dòng)態(tài)融合不同尺度的特征圖,提取圖像關(guān)鍵信息．從這兩組應(yīng)用測(cè)試中,進(jìn)一步驗(yàn)證了殘差模塊和SK注意力機(jī)制在水下圖像增強(qiáng)上的作用．

圖9 應(yīng)用測(cè)試實(shí)驗(yàn)Fig.9 Application tests

4 結(jié)論

本文提出了一種基于SK注意力殘差網(wǎng)絡(luò)的水下圖像增強(qiáng)算法．為了減少編碼器與解碼器的細(xì)節(jié)特征丟失,在編碼器和解碼器間加入殘差模塊．為了使網(wǎng)絡(luò)可以動(dòng)態(tài)融合不同尺度的特征圖,產(chǎn)生更好的關(guān)鍵信息增強(qiáng)效果,在每個(gè)殘差模塊后加入SK注意力機(jī)制．采用參數(shù)修正線(xiàn)性單元,避免了梯度為零的現(xiàn)象,提高了網(wǎng)絡(luò)的擬合能力．在合成數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果,本文算法指標(biāo)均高于其他算法指標(biāo),其中UIQM、UCIQE、IE和SSIM分別至少提高0.352、0.011、0.088和0.059．在真實(shí)水下圖像數(shù)據(jù)上其指標(biāo)UIQM、UCIQE和IE分別至少提高0.262、0.043和0.014．本文算法在兩種數(shù)據(jù)集上均高于其他算法,說(shuō)明算法的有效性．在真實(shí)水下圖像數(shù)據(jù)集上對(duì)殘差模塊和SK注意力機(jī)制分別進(jìn)行消融實(shí)驗(yàn),本文算法比去除殘差模塊和SK注意力機(jī)制的算法,在UIQM、UCIQE和IE指標(biāo)上分別提高了0.556、0.091和0.213．采用合成數(shù)據(jù)集訓(xùn)練網(wǎng)絡(luò),沒(méi)有考慮真實(shí)水下環(huán)境的特殊因素,生成的圖像在一定程度上與真實(shí)水下圖像是有誤差的．