基于多模態(tài)融合的深度神經(jīng)網(wǎng)絡(luò)圖像復(fù)原方法

李偉偉　王麗妍　傅博　王娟　黃虹

摘要： 針對(duì)水下圖像成像環(huán)境復(fù)雜常受偏色等因素干擾而影響后續(xù)圖像分析的問題， 提出一種基于多尺度特征與三重注意力多模態(tài)融合的深度卷積神經(jīng)網(wǎng)絡(luò)圖像復(fù)原方法. 首先， 深度卷積神經(jīng)網(wǎng)絡(luò)在抽取圖像空間特征的基礎(chǔ)上， 引入圖像多尺度變換特征； 其次， 通過通道注意力、 監(jiān)督注意力和非局部注意力， 挖掘圖像特征的尺度間相關(guān)性、 特征間相關(guān)性； 最后， 通過設(shè)計(jì)多模態(tài)特征融合機(jī)制， 將上述兩類特征有效融合. 在公開的水下圖像測(cè)試集上進(jìn)行測(cè)試并與當(dāng)前主流方法進(jìn)行對(duì)比的實(shí)驗(yàn)結(jié)果表明， 該方法在峰值信噪比、 結(jié)構(gòu)相似性等定量對(duì)比以及顏色、 細(xì)節(jié)等定性對(duì)比上都優(yōu)于對(duì)比方法.

關(guān)鍵詞： 多模態(tài)融合； 深度神經(jīng)網(wǎng)絡(luò)； 三重注意力；? 圖像復(fù)原

中圖分類號(hào)： TP391文獻(xiàn)標(biāo)志碼： A文章編號(hào)： 1671-5489（2024）02-0391-08

Deep Neural Network Image Restoration MethodBased on Multimodal Fusion

LI Weiwei1， WANG Liyan2， FU Bo2， WANG Juan1， HUANG Hong1

（1. School of Information Engineering， Shandong Youth University of Political Science， Jinan 250103， China；2. School of Computer and Artificial Intelligence， Liaoning Normal University，Dalian 116081， Liaoning Province， China）

Abstract： Aiming at the problems of the complicated underwater image imaging environment resulted in the subsequent image analysis often being affected by color bias and other factors， we proposed a deep convolutional neural network image restoration method based on multi-scale features and triple attention multimodal fusion. Firstly， the deep convolutional neural network introduced the image multi-scale transformation feature on the basis of extracting the image spatial feature. Secondly， by using channel attention， supervised attention and non-local attention， the scale correlation and feature correlation of image features were mined. Finally， by designing a multimodal feature fusion mechanism， the above two types of features could be effectively fused. The proposed method was tested on the open underwater image test set and compared with the current mainstream methods. The results show that this method is superior to the comparison method in quantitative comparison such as peak signal-to-noise ratio and structural similarity， as well as qualitative comparison such as color and details.

Keywords： multimodal fusion; deep neural network; triple attention; image restoration

隨著人工智能技術(shù)的不斷發(fā)展， 深度學(xué)習(xí)中神經(jīng)網(wǎng)絡(luò)強(qiáng)大的自學(xué)習(xí)能力在圖像處理領(lǐng)域具有至關(guān)重要的作用， 目前已將其應(yīng)用于自然圖像處理［1］中， 并取得了顯著成果.在海洋能源勘探、 海洋環(huán)境保護(hù)以及海洋物種分析等領(lǐng)域， 水下圖像包含了大量的海洋資源視覺信息， 是人們觀察和探索海洋的重要載體. 但由于水下復(fù)雜的成像環(huán)境及光線吸收等各種干擾因素的影響， 真實(shí)水下圖像的獲取通常很困難. 在水下圖像采集過程中， 圖像視覺質(zhì)量常會(huì)降低， 例如圖像模糊、 偏色、 有噪聲等， 無法獲取有效且準(zhǔn)確的圖像視覺內(nèi)容， 進(jìn)而嚴(yán)重影響后續(xù)的圖像分析任務(wù). 因此， 通過水下圖像復(fù)原方法， 提升圖像清晰度、 豐富圖像細(xì)節(jié)信息， 對(duì)海洋資源的探索利用和海洋生物的分類識(shí)別等具有重要意義. 目前， 水下圖像復(fù)原方法已取得了許多研究成果. 早期傳統(tǒng)的水下圖像復(fù)原方法大多數(shù)是基于先驗(yàn)知識(shí)和物理模型的設(shè)計(jì)， 達(dá)到圖像恢復(fù)的效果. Trucco等［2］設(shè)計(jì)了一種自調(diào)諧圖像復(fù)原濾波器， 其基于簡(jiǎn)化的Jaffe-McGlamery水下成像模型設(shè)計(jì)， 對(duì)圖像局部對(duì)比度質(zhì)量判決函數(shù)進(jìn)行優(yōu)化， 進(jìn)而估計(jì)出濾波器中的參數(shù)值; Fan等［3］對(duì)解決水下圖像復(fù)原任務(wù)， 提出了新的點(diǎn)擴(kuò)散函數(shù)（PSF）和調(diào)制解調(diào)函數(shù)（MFT）， 圖像先經(jīng)過算數(shù)平均濾波后， 再用迭代盲反褶積方法得到去噪圖像的初始點(diǎn)擴(kuò)散函數(shù)的理想值， 最后得到圖像復(fù)原的效果； He等［4］針對(duì)有霧圖像提出了暗通道先驗(yàn)算法復(fù)原. 之后很多研究者都對(duì)暗通道進(jìn)行了研究， 并應(yīng)用于水下圖像復(fù)原. Galdran等［5］合理地利用水下圖像衰減與光波長(zhǎng)的關(guān)系， 提出了一種R通道復(fù)原方法用于處理水下圖像， 提高了圖像的顏色校正和清晰度； Cheng等［6］利用R通道先驗(yàn)， 通過分析PSF的物理特性， 提出了一種簡(jiǎn)單、 有效的低通濾波器復(fù)原水下圖像， 從而提高水下圖像的對(duì)比度和可見度； 張凱等［7］通過水下圖像亮度通道下的多尺度Retinex（MSR）算法處理， 提出了一種基于多尺度的Retinex算法， 對(duì)水下彩色圖像的全局視覺效果有很大提升； Sharanya等［8］分別使用了直方圖均衡、 噪聲降噪濾波器和基于二階方向?qū)?shù)的重復(fù)插值方法提高水下圖像質(zhì)量， 增強(qiáng)細(xì)節(jié)信息. 盡管上述傳統(tǒng)方法在一定程度上可以減少圖像模糊程度、 增強(qiáng)邊緣、 改善偏色， 但由于數(shù)據(jù)少導(dǎo)致模型的適用性較差， 并且模型中的參數(shù)需要手動(dòng)設(shè)置， 因此只適用于退化程度較小的圖像.

近年來， 基于深度學(xué)習(xí)的水下圖像復(fù)原方法逐漸成為主流. 例如： Li等［9］利用水下圖像及其深度學(xué)習(xí)數(shù)據(jù)訓(xùn)練一種可粗略地估計(jì)出水下場(chǎng)景深度的端到端網(wǎng)絡(luò)； Fabbri等［10］提出了一種UGAN網(wǎng)絡(luò)用于水下圖像復(fù)原， 首先采用CycleGAN網(wǎng)絡(luò)［11］將高質(zhì)量的水下圖像渲染為低質(zhì)量的水下圖像， 得到數(shù)據(jù)集后再通過網(wǎng)絡(luò)訓(xùn)練改善水下視覺場(chǎng)景質(zhì)量； Li等［12］提出了一種WaterNet網(wǎng)絡(luò)用于水下圖像， 構(gòu)建水下增強(qiáng)基準(zhǔn)以建立水下圖像增強(qiáng)網(wǎng)絡(luò)； Islam等［13］從圖像內(nèi)容、 顏色、 紋理細(xì)節(jié)等方面恢復(fù)水下圖像， 通過對(duì)目標(biāo)函數(shù)多方式調(diào)整提出了一種FUnIE-GAN網(wǎng)絡(luò). 但上述算法泛化能力較弱， 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)較淺， 網(wǎng)絡(luò)本身無法學(xué)習(xí)到圖像的全部特征.

無論是傳統(tǒng)算法還是基于深度學(xué)習(xí)的方法， 大多數(shù)是提取出單一的數(shù)據(jù)特征進(jìn)行處理， 從而達(dá)到圖像復(fù)原的效果. 盡管深度學(xué)習(xí)方法在去噪和去除偏色問題等各方面都表現(xiàn)出了明顯優(yōu)勢(shì)， 但單一的數(shù)據(jù)類型更多地限制了網(wǎng)絡(luò)學(xué)習(xí)圖像自身更多信息的能力， 無法關(guān)注到更多類型的數(shù)據(jù)特征. 因此， 本文提出一種新的水下圖像復(fù)原模型框架基于多尺度特征與三重注意力多模態(tài)融合的深度神經(jīng)網(wǎng)絡(luò)水下圖像復(fù)原方法. 該方法在深度學(xué)習(xí)框架下， 將圖像數(shù)據(jù)特征和小波數(shù)據(jù)特征有效融合， 學(xué)習(xí)更多的高低頻信息. 同時(shí)， 在網(wǎng)絡(luò)框架中采用3種注意力模塊， 可以同時(shí)去除噪聲和恢復(fù)圖像顏色， 挖掘圖像更多的細(xì)節(jié)特征， 有效提升圖像的視覺質(zhì)量.

1 圖像復(fù)原整體架構(gòu)

1.1 水下圖像成像模型

水下圖像的生成通常遵循以下模型：

I（x）=J（x）t（x）+A（1-t（x）），（1）

其中x表示水下圖像中第x個(gè)像素， I（x）表示退化后的原始圖像， J（x）表示清晰圖像， J（x）t（x）表示直接分量， A（1-t（x））表示背景散射分量， A表示水下環(huán)境光， t（x）表示場(chǎng)景光透射率.

式（1）根據(jù)Jaffe-MeGlamery［1］水下成像模型而得， 水下成像主要由相機(jī)接收到光線衰減后的直接分量、 前向散射分量、 后向散射分量三部分組成， 如圖1所示.

在神經(jīng)網(wǎng)絡(luò)框架下， 給定一個(gè)源域[WTBX]Y（退化后圖像）和期望域X（清晰圖像）， 可得到映射H： Y{I（x）}→X， 其中I（x）表示退化的水下圖像. 本文的目標(biāo)是學(xué)習(xí)該映射以實(shí)現(xiàn)水下圖像的自適應(yīng)復(fù)原， 可得深度學(xué)習(xí)框架下的目標(biāo)函數(shù)為argminX 1/2‖X-H（Y）‖22，（2）其中X為清晰的圖像， Y為復(fù)原后的圖像， 算法的目標(biāo)是尋找一種使函數(shù)最小化的映射H.

1.2 網(wǎng)絡(luò)模型整體架構(gòu)

本文提出的基于多模態(tài)數(shù)據(jù)融合的水下圖像復(fù)原網(wǎng)絡(luò)整體架構(gòu)主要包括三部分， 如圖2所示， 即淺層特征去噪部分、 小波特征融合部分和深度特征增強(qiáng)部分. 淺層特征去噪部分主要由一個(gè)[WTBZ]CN-Group組成， 其中在一個(gè)卷積層和ReLU激活層后嵌入了非局部注意力模塊（non-local attention module， NAM）. 在提取圖像淺層特征的同時(shí)， 非局部注意力模塊可較好地抑制噪聲以達(dá)到去噪的效果， 并可用于進(jìn)一步的深層特征增強(qiáng). 由于特征空間中不同的高低頻特征對(duì)圖像復(fù)原有重要的參考價(jià)值， 因此在小波特征融合部分網(wǎng)絡(luò)的初始階段采用小波分解變換， 準(zhǔn)確地分解出圖像的高低頻特征信息， 同時(shí)末端嵌入監(jiān)督注意力模塊（supervised attention module， SAM）， 以實(shí)現(xiàn)特征之間的漸進(jìn)學(xué)習(xí). 監(jiān)督注意力模塊以真實(shí)圖像作為監(jiān)督條件進(jìn)行約束， 同時(shí)輸出前一階段的注意力特征圖， 將學(xué)習(xí)到的高低頻信息傳遞給下一階段， 并與淺層去噪特征融合. 深度特征增強(qiáng)模塊是在淺層去噪特征和小波特征融合的基礎(chǔ)上進(jìn)一步挖掘圖像的細(xì)節(jié)特征， 進(jìn)行深層特征的增強(qiáng)和復(fù)原， 其由兩個(gè)卷積層、 兩個(gè)CC-Group、 長(zhǎng)短跳躍連接和一個(gè)反卷積層組成， 其中CC-Group包括兩個(gè)卷積層、 ReLU激活函數(shù)層和通道注意力模塊（channel attention module， CAM）. 采用通道注意力模塊可以關(guān)注通道之間的相關(guān)性， 從而挖掘深層特征進(jìn)行增強(qiáng). 因此， 基于該網(wǎng)絡(luò)框架， 本文將目標(biāo)函數(shù)形式化為求以下最小損失函數(shù)：min L（FNet（y;θ），x），（3）其中FNet表示本文提出模型的函數(shù)， L表示損失函數(shù)， y為網(wǎng)絡(luò)的輸入即退化圖像， x為真實(shí)的干凈圖像， 參數(shù)θ可通過訓(xùn)練網(wǎng)絡(luò)學(xué)習(xí)得到.

2 3種注意力模塊和小波分解模塊

本文提出的框架主要為解決圖像去噪和細(xì)節(jié)增強(qiáng)問題， 其中非局部注意力模塊用于圖像淺層特征去噪; 而通道注意力機(jī)制模塊用于圖像增強(qiáng)， 恢復(fù)更多圖像細(xì)節(jié)； 小波分解變換下的特征融合， 在整個(gè)網(wǎng)絡(luò)框架中具有核心的作用.

2.1 非局部注意力模塊

對(duì)于圖像去噪， 傳統(tǒng)的非局部均值（non-local means， NLM）［14］算法通過采用非局部濾波器進(jìn)行濾波操作， 計(jì)算所求像素值與圖像中所有點(diǎn)的相似度， 加權(quán)平均得到新的像素值， 從而達(dá)到去噪的效果. 其計(jì)算公式為u（x）=∑y∈Iw（x，y）v（y），（4）其中： v表示噪聲圖像； u表示去噪后的圖像； w表示加權(quán)平均的權(quán)重； x和y分別表示當(dāng)前像素和相關(guān)性像素的位置， 通過計(jì)算兩者相似程度賦以權(quán)重w（x，y）， 通常采用歐氏距離計(jì)算二者的相似度.

由于注意力機(jī)制可幫助卷積神經(jīng)網(wǎng)絡(luò)重點(diǎn)關(guān)注圖片的一些局部信息生成相應(yīng)的序列， 因此， 借鑒非局部均值的思想， 本文將非局部算子模塊化， 嵌入到CN-Group中， 形成非局部注意力模塊NAM， 如圖3所示. 在非局部注意力模塊中， 采用卷積操作和殘差連接實(shí)現(xiàn)該算法的思想， 可以隨意插入到任何網(wǎng)絡(luò)結(jié)構(gòu)中. 首先， 采用3個(gè)1×1大小的卷積層， 提取到3個(gè)特征矩陣θ，，g; 其次， 為減少計(jì)算量， 對(duì)輸出的特征進(jìn)行降維， 然后計(jì)算其中兩個(gè)輸出的特征相似性， 并對(duì)其進(jìn)行Softmax操作進(jìn)行歸一化; 最后， 將歸一化后的系數(shù)對(duì)應(yīng)乘回特征矩陣g中， 再經(jīng)過一個(gè)1×1大小卷積層得到相應(yīng)的通道數(shù)， 并與輸入做殘差連接， 從而得到與輸入大小一致的非局部結(jié)果，

2.2 監(jiān)督注意力模塊

在小波特征融合部分的末端， 嵌入監(jiān)督注意力模塊. 在網(wǎng)絡(luò)訓(xùn)練過程中， 中間特征的監(jiān)督具有一定的參考價(jià)值. 監(jiān)督注意力模塊不僅提供真實(shí)圖像作為監(jiān)督形成約束條件， 還將小波變換后學(xué)習(xí)到的特征更好地融入到淺層去噪特征中， 主要表現(xiàn)在生成注意力特征圖抑制當(dāng)前信息較少的特征， 只允許有用的特征傳遞給下一階段， 其結(jié)構(gòu)如圖4所示. 首先， 前一階段的輸入特征fin被一個(gè)3×3的卷積層卷積得到的特征疊加在退化圖像Input上， 通過真實(shí)圖像監(jiān)督計(jì)算Charbonnier損失， 從而得到中間輸出Inter_output. 然后， 中間輸出被一個(gè)1×1卷積層和Sigmoid函數(shù)激活后， 并與輸入特征fin經(jīng)過一個(gè)3×3的卷積層后的特征點(diǎn)乘， 其結(jié)果與輸入特征fin融合得到輸出的注意力特征圖fout， 并將其用于小波特征和淺層去噪特征的融合. 本文將此過程用網(wǎng)絡(luò)的形式描述為

2.3 通道注意力模塊

在深層特征增強(qiáng)部分中的CC-Group中， 本文嵌入了通道注意力模塊， 如圖5所示， 它可以更多關(guān)注重要的通道特征， 對(duì)深層特征的提取和增強(qiáng)有極大的辨識(shí)能力， 從而進(jìn)行網(wǎng)絡(luò)深層次特征增強(qiáng)和細(xì)節(jié)紋理恢復(fù). 將通道注意力模塊嵌入到CC-Group中， 同時(shí)伴有殘差連接， 即使在更深層次的網(wǎng)絡(luò)中， 也能利用通道之間的相互依賴關(guān)系， 提取有用的特征信息. 通道注意力模塊由一個(gè)平均池化層、 兩個(gè)卷積層、 ReLU激活函數(shù)和Sigmoid激活函數(shù)以及殘差連接組成. 首先， 輸入特征經(jīng)過一個(gè)池化層對(duì)其下采樣得到壓縮后的特征圖； 然后， 經(jīng)過兩次卷積和ReLU激活函數(shù)先后使通道降維再升維， 從而學(xué)習(xí)了多個(gè)通道之間的非線性相互作用； 最后， 被Sigmoid函數(shù)激活后， 其輸出與輸入相乘得到等大的輸出結(jié)果. 本文將此過程用網(wǎng)絡(luò)形式描述為

2.4 小波分解模塊

通過卷積得到的特征大多數(shù)存在顯著性. 因此， 本文引入小波變換將圖像分成低頻和高頻小波子帶， 然后將它們輸入到淺層去噪和深層增強(qiáng)部分進(jìn)一步學(xué)習(xí)和挖掘深層特征信息， 如圖2所示. 小波變換［15］有助于減少信息損失， 能較好地重構(gòu)原始圖像內(nèi)容， 采用離散小波變換（DWT）和整數(shù)小波變換（IWT）可以更好地將小波特征和淺層去噪特征融合. 本文采用Haar小波核， 用4個(gè)卷積核提取不同頻率分量， 分別表示直流、 橫向、 縱向、 斜向上的能量， 用公式表示為[WTHX]f[WTBX]LL=1/1

經(jīng)過DWT后， 大小為（B，C，H，W）的圖像可以變成大小為（B，4C，H/2，W/2）的小波帶， 其中B，H，W，C分別表示批次尺寸、 高度、 寬度和通道數(shù). 這樣可以降低計(jì)算成本， 有助于加快訓(xùn)練過程. 在網(wǎng)絡(luò)訓(xùn)練過程中， DWT后輸出的特征圖通道為12， IWT后輸出的特征圖通道數(shù)變?yōu)?6， 卷積層輸出的特征圖通道為64， 因此， 融合小波特征后的卷積層其輸入通道數(shù)為80， 輸出通道數(shù)為64. 特別地， 小波變換是雙向的， 能適用于端到端的網(wǎng)絡(luò)訓(xùn)練. 小波分解變化用公式表示為fout=DWT（Input）.（8）

2.5 損失函數(shù)

基于多模態(tài)數(shù)據(jù)融合的水下圖像復(fù)原網(wǎng)絡(luò)框架的整體損失函數(shù)如下：L=L1（Output，GT）+LCharbonnir（Inter_output，GT），（9）其中L1和LCharbonnir分別表示L1損失和Charbonnier損失函數(shù)［16］， GT表示真實(shí)水下圖像， Output表示整體網(wǎng)絡(luò)復(fù)原后的圖像， Inter_output表示經(jīng)過監(jiān)督注意力模塊得到的輸出圖像. Charbonnier損失進(jìn)行約束在于利用真實(shí)圖像監(jiān)督提取有用的特征， 其損失函數(shù)形式如下：LCharbonnir=‖Inter_output″-GT‖2+ε2.（10）為防止網(wǎng)絡(luò)梯度消失， 這里ε為常數(shù)， 經(jīng)驗(yàn)設(shè)置為10-3.

3 實(shí) 驗(yàn)

3.1 實(shí)驗(yàn)設(shè)置

本文算法的實(shí)驗(yàn)操作基于Windows 10操作系統(tǒng)、 PyTorch深度學(xué)習(xí)框架和NVIDIA GeForce RTX 3090 GPU. 采用EUVP中的Underwater Dark水下圖像數(shù)據(jù)集， 其中包括5 550對(duì)已配對(duì)的訓(xùn)練圖像和570張驗(yàn)證圖像. 在實(shí)驗(yàn)過程中， 本文選用5 550對(duì)已配對(duì)的訓(xùn)練圖像中的5 022對(duì)配對(duì)圖像對(duì)數(shù)據(jù)集進(jìn)行訓(xùn)練， 528對(duì)配對(duì)圖像對(duì)數(shù)據(jù)集進(jìn)行測(cè)試， 另570張圖像作為驗(yàn)證圖像.

網(wǎng)絡(luò)訓(xùn)練過程中， 參數(shù)batch_size設(shè)置為16， patch_size設(shè)置為48， 學(xué)習(xí)率設(shè)置為10-4， 采用Adam優(yōu)化器， 迭代次數(shù)epoch為300時(shí)網(wǎng)絡(luò)達(dá)到收斂， 同時(shí)采用最優(yōu)模型進(jìn)行測(cè)試. 此外， 為驗(yàn)證去噪效果， 在原有數(shù)據(jù)集上模擬高斯噪聲進(jìn)行訓(xùn)練和測(cè)試.

采用其他4種現(xiàn)有的深度學(xué)習(xí)圖像復(fù)原算法作為對(duì)比算法， 分別是CycleGAN［17］，F(xiàn)UnIE-GAN［11］，Shallow-UWnet［18］和RCAN［19］. 為保證實(shí)驗(yàn)的公平性和可靠性， 所有算法均采用與本文相同的訓(xùn)練集與測(cè)試集. 在評(píng)價(jià)圖像質(zhì)量上， 除主觀視覺觀察外， 還采用峰值信噪比（PSNR）和結(jié)構(gòu)化相似性（SSIM）兩個(gè)客觀評(píng)價(jià)指標(biāo).

3.2 實(shí)驗(yàn)結(jié)果分析

本文對(duì)所有算法均在統(tǒng)一測(cè)試集上進(jìn)行測(cè)試， 并且分別模擬了高斯噪聲強(qiáng)度為5，10和15的測(cè)試集， 對(duì)PSNR和SSIM分別進(jìn)行對(duì)比， 其量化結(jié)果列于表1. 由表1可見， 本文算法測(cè)試結(jié)果在PSNR和SSIM分?jǐn)?shù)上明顯突出. 為進(jìn)一步展示視覺效果， 在噪聲強(qiáng)度為10的情況下， 選擇測(cè)試集中6張不同的圖像進(jìn)行對(duì)比， 其復(fù)原結(jié)果如圖6所示.

由圖6可見， 相比于其他水下復(fù)原算法， 本文算法無論在去噪還是恢復(fù)圖像細(xì)節(jié)紋理上都有很大優(yōu)勢(shì)， 尤其是在解決偏色問題上更突出. 在6張對(duì)比圖像中， 前3張和后3張圖像處于不同顏色范圍， 前3張圖像均處于偏藍(lán)綠色， 而后3張圖像顏色更豐富， 本文提出的算法都能較好地解決偏色問題. 因此， 本文提出的基于多模態(tài)數(shù)據(jù)融合的水下圖像復(fù)原算法可較好地復(fù)原退化的水下圖像.

3.3 消融實(shí)驗(yàn)

為進(jìn)一步驗(yàn)證本文算法融合小波特征和3種注意力模塊的有效性， 對(duì)增加的不同模塊做消融實(shí)驗(yàn). 在噪聲強(qiáng)度為10的情況下， 增加不同模塊的量化結(jié)果列于表2.

具體實(shí)驗(yàn)內(nèi)容如下：? 1） 有小波分解模塊情況下， 只帶有通道注意力模塊;? 2） 有小波分解模塊情況下， 只帶有非局部注意力模塊; 3） 有小波分解模塊情況下， 只帶有通道注意力模塊和非局部注意力模塊; 4） 無小波分解模塊情況下， 帶有通道注意力模塊、 非局部注意力模塊和監(jiān)督注意力模塊; 5） 有小波分解模塊情況下， 帶有通道注意力模塊、 非局部注意力模塊和監(jiān)督注意力模塊. 消融實(shí)驗(yàn)視覺效果如圖7所示.

由表2和圖7可見， 方法1）～4）考慮了累加不同注意力模塊的表現(xiàn)情況， 而方法4）和5）驗(yàn)證了小波分解模塊的優(yōu)勢(shì). 因此， 無論是從視覺效果還是客觀評(píng)價(jià)結(jié)果都可得出結(jié)論： 本文算法在水下圖像的恢復(fù)方面與其他算法相比有一定的優(yōu)勢(shì).

綜上所述， 針對(duì)水下圖像偏色失真問題， 本文提出了一種基于多尺度特征與三重注意力多模態(tài)融合的深度卷積神經(jīng)網(wǎng)絡(luò)水下圖像復(fù)原方法， 突破了單模態(tài)對(duì)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的限制. 在使用深度卷積神經(jīng)網(wǎng)絡(luò)提取圖像空間特征時(shí)， 引入了圖像多尺度變換特征. 通過通道注意力、 監(jiān)督注意力和非局部注意力挖掘圖像特征的尺度間相關(guān)性和特征間相關(guān)性. 在公開的水下圖像測(cè)試集進(jìn)行測(cè)試， 并與其他方法進(jìn)行對(duì)比的實(shí)驗(yàn)結(jié)果證明了本文方法的優(yōu)越性.

參考文獻(xiàn)

［1］DONG C， LOY C C， HE K M， et al. Learning a Deep Convolutional Network for Image Super-resolution ［C］//European Conference on Computer Vision. Berlin： Springer， 2014： 184-199.

［2］TRUCCO E， OLMOS-ANTILLON A T. Self-tuning Underwater Image Restoration ［J］. IEEE Journal of Oceanic Engineering， 2006， 31： 511-519.

［3］FAN F， YANG K C， MIN X， et al. Underwater Image Restoration by Means of Blind Deconvolution Approach ［J］. Frontiers of Optoelectronics in China， 2010， 3： 169-178.

［4］HE K M， SUN J， TANG X O， et al. Single Image Haze Removal Using Dark Channel Prior ［J］. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2011， 33（12）： 2341-2353.

［5］GALDRAN A， PARDO D， PICN A， et al. Automatic Red-Channel Underwater Image Restoration ［J］. Journal of Visual Communication & Image Representation， 2015， 26： 132-145.

［6］CHENG C Y， SUNG C C， CHANG H H. Underwater Image Restoration by Red-Dark Channel Prior and Point Spread Function Deconvolution ［C］//2015 IEEE International Conference on Signal and Image Processing Applications （ICSIPA）. Piscataway， NJ： IEEE， 2015： 110-115.

［7］張凱， 金偉其， 裘溯， 等. 水下彩色圖像的亮度通道多尺度Retinex增強(qiáng)算法 ［J］. 紅外技術(shù)， 2011（11）： 14-18. （ZHANG K， JIN W Q， QIU S， et al. Multi-scale Retinex Enhancement Algorithm on Luminance Channel of Color Underwater Image ［J］. Infrared Technology， 2011（11）： 14-18.）

［8］SHARANYA R S， RAMESH R. Haze-Free Underwater Image Enhancement ［J］. International Journal of Innovative Research and Development， 2013， 2（3）： 533-543.

［9］LI J， SKINNER K A， EUSTICE R M， et al. WaterGAN： Unsupervised Generative Network to Enable Real-Time Color Correction of Monocular Underwater Images ［J］. IEEE Robotics and Automation Letters， 2017， 3（1）： 387-394.

［10］FABBRI C， ISLAM M J， SATTAR J. Enhancing Underwater Imagery Using Generative Adversarial Networks ［C］//2018 IEEE International Conference on Robotics and Automation （ICRA）. Piscataway， NJ： IEEE， 2018： 7159-7165.

［11］ZHU J Y， PARK T， ISOLA P， et al. Unpaired Image-to-Image Translation Using Cycle-Consistent Adversarial Networks ［C］//Proceedings of the IEEE International Conference on Computer Vision. Piscataway， NJ： IEEE， 2017： 2223-2232.

［12］LI C Y， GUO C L， REN W Q， et al. An Underwater Image Enhancement Benchmark Dataset and Beyond ［J］. IEEE Transactions on Image Processing， 2019， 29： 4376-4389.

［13］ISLAM M J， XIA Y， SATTAR J. Fast Underwater Image Enhancement for Improved Visual Perception ［J］. IEEE Robotics and Automation Letters， 2020， 5（2）： 3227-3234.

［14］BUADES A， COLL B， MOREL J. A Non-local Algorithm for Image Denoising ［C］//Computer Society Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2005： 60-65.

［15］LIU P J， ZHANG H Z， LIAN W， et al. Multi-level Wavelet Convolutional Neural Networks ［J］. IEEE Access， 2019， 7： 74973-74985.

［16］CHARBONNIER P， BLANC-FRAUD L， AUBERT G， et al. Two Deterministic Half-Quadratic Regularization Algorithms for Computed Imaging ［C］//Proceedings of 1st International Conference on Image Processing. Piscataway， NJ： IEEE， 1994： 168-172.

［17］ISLAM M J， XIA Y， SATTAR J. Fast Underwater Image Enhancement for Improved Visual Perception ［J］. IEEE Robotics and Automation Letters， 2020， 5（2）： 3227-3234.

［18］NAIK A， SWARNAKAR A， MITTAL K. Shallow-UWnet： Compressed Model for Underwater Image Enhancement ［C］//Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2021： 15853-15854.

［19］ZHANG Y L， LI K P， LI K， et al. Image Super-resolution Using Very Deep Residual Channel Attention Networks ［C］//IEEE Conference on Computer Vision and Pattern Recognition.? Piscataway， NJ： IEEE， 2018：? 294-310.

（責(zé)任編輯： 韓 嘯）

收稿日期： 2022-08-07.

第一作者簡(jiǎn)介： 李偉偉（1981—）， 女， 漢族， 碩士， 副教授， 從事圖形圖像與深度學(xué)習(xí)的研究， E-mail： lww@sdyu.edu.cn.

通信作者簡(jiǎn)介： 傅 博（1983—）， 男， 漢族， 博士， 副教授， 從事圖像處理與計(jì)算機(jī)視覺的研究， E-mail： fubo@lnnu.edu.cn.

基金項(xiàng)目： 國(guó)家自然科學(xué)基金（批準(zhǔn)號(hào)： 61702246）和山東青年政治學(xué)院博士科研啟動(dòng)基金（批準(zhǔn)號(hào)： XXPY21025）.