基于頻域分離的水下圖像增強(qiáng)模型

摘要：針對(duì)水體對(duì)不同波長(zhǎng)光線吸收造成的藍(lán)綠色偏色和低對(duì)比度問(wèn)題，文章提出了一種基于頻域信息分離的三階段水下圖像增強(qiáng)模型。模型首先通過(guò)特征提取網(wǎng)絡(luò)獲得圖像特征金字塔；接著，利用頻域分離模塊增強(qiáng)水下圖像的顏色校正和細(xì)節(jié)恢復(fù)；最后，通過(guò)輸出模塊融合增強(qiáng)后的特征，恢復(fù)為增強(qiáng)后的水下圖像。實(shí)驗(yàn)證明，相比于STSC算法，文章算法在UIQM和UCIQE指標(biāo)上均有顯著提升。

關(guān)鍵詞：水下圖像增強(qiáng)；深度學(xué)習(xí)；顏色校正；細(xì)節(jié)增強(qiáng)；頻域分離

中圖分類號(hào)：TP391文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2025）20-0008-04

0引言

使用水下無(wú)人設(shè)備進(jìn)行海洋勘察，已逐漸成為獲取水下圖像和研究水下環(huán)境的關(guān)鍵手段。然而，水中懸浮顆粒的散射導(dǎo)致水下成像模糊，呈現(xiàn)薄紗質(zhì)感。此外，水體對(duì)不同波段光線的吸收導(dǎo)致成像偏移，增加了水下成像的難度。因此，利用水下圖像增強(qiáng)（UIE）技術(shù)以降低水下成像特有的圖像退化，獲得高質(zhì)量的水下環(huán)境圖像信息受到廣泛關(guān)注。

自Jaff-McGlamery水下成像模型[1-2]提出以來(lái)，出現(xiàn)了許多水下圖像增強(qiáng)算法。目前的水下圖像增強(qiáng)模型往往過(guò)于關(guān)注圖像的某一方面信息，導(dǎo)致有些方法在增強(qiáng)細(xì)節(jié)的同時(shí)，未能充分校正水體引起的色偏；而部分方法雖然校正了色偏，卻使原始圖像中的細(xì)節(jié)信息變得模糊，從而降低了圖像的清晰度。

構(gòu)建一個(gè)能夠從數(shù)據(jù)集多角度獲取信息并進(jìn)行深入分析的模型，對(duì)于基于學(xué)習(xí)的水下圖像增強(qiáng)算法至關(guān)重要。Chen等[3]在圖像超分辨率任務(wù)的模型中引入圖像語(yǔ)義分割、深度估計(jì)的輸出，通過(guò)獲取多樣化信息，使模型能夠從多個(gè)維度進(jìn)行學(xué)習(xí)，提高了圖像超分辨率任務(wù)中對(duì)目標(biāo)邊緣信息的恢復(fù)能力。受此啟發(fā)，本文結(jié)合水下圖像增強(qiáng)中傳統(tǒng)算法的分頻方法，提出了一種基于頻域信息分離的三階段水下圖像增強(qiáng)模型。該模型通過(guò)將水下圖像增強(qiáng)任務(wù)的輸出按頻域進(jìn)行拆分，實(shí)現(xiàn)了對(duì)圖像色偏的校正，同時(shí)保持了圖像中的細(xì)節(jié)信息。

1相關(guān)工作

傳統(tǒng)的水下圖像增強(qiáng)技術(shù)主要通過(guò)從圖像中提取信息，推斷水下成像模型的關(guān)鍵參數(shù)，以優(yōu)化水下圖像[4-7]。一些研究根據(jù)水下圖像紅色通道的衰減調(diào)整各顏色通道。例如，Lin等[8]通過(guò)均值濾波提取水下圖像的細(xì)節(jié)信息，并與經(jīng)過(guò)顏色校正的圖像融合，從而實(shí)現(xiàn)了良好的增強(qiáng)效果。何笑等[9]引入小波變換優(yōu)化水下圖像增強(qiáng)的低頻信息，實(shí)現(xiàn)了有效的低頻信息修復(fù)。

近年來(lái)，水下圖像增強(qiáng)的研究開(kāi)始引入深度學(xué)習(xí)的方法。Wang等[10]通過(guò)在UNet中引入經(jīng)過(guò)預(yù)訓(xùn)練的語(yǔ)義分割模型來(lái)提取語(yǔ)義特征，對(duì)水下圖像增強(qiáng)網(wǎng)絡(luò)進(jìn)行優(yōu)化，從而提高了增強(qiáng)過(guò)程中對(duì)語(yǔ)義信息的利用，使增強(qiáng)效果獲得了有效提升。Qi等[11]通過(guò)對(duì)水下圖像進(jìn)行語(yǔ)義分割獲得不同目標(biāo)的分割掩膜，使用掩膜對(duì)不同的圖像區(qū)域進(jìn)行區(qū)域增強(qiáng)，有效提升了增強(qiáng)后圖像的細(xì)節(jié)清晰度。

2本文算法

為解決水下增強(qiáng)任務(wù)中校正水體色偏與保持圖像細(xì)節(jié)之間難以平衡的問(wèn)題，本文采用頻域分離策略，構(gòu)建了一個(gè)將圖像增強(qiáng)信息劃分為4個(gè)頻段進(jìn)行處理的水下圖像增強(qiáng)模型。該模型主要由特征提取階段、特征反應(yīng)階段和特征融合階段三部分組成，如圖1所示。

2.1基礎(chǔ)卷積模塊

本文構(gòu)建了一個(gè)由多組卷積塊組成的基礎(chǔ)卷積處理塊（CBlock），如圖2所示，其中卷積層由二維卷積層、層歸一化以及SiLU激活函數(shù)構(gòu)成。在CBlock中，特征輸入首先通過(guò)1×1卷積層進(jìn)行通道維度調(diào)整，隨后采用雙路并行多尺度卷積結(jié)構(gòu)提取局部細(xì)節(jié)與全局上下文特征，最后使用層歸一化與SiLU激活函數(shù)確保特征變換過(guò)程中的數(shù)值穩(wěn)定性。

2.2特征提取階段

在特征提取階段，模型主要由兩部分構(gòu)成：一部分為構(gòu)建不同尺寸圖像特征金字塔的主干網(wǎng)絡(luò)，另一部分為負(fù)責(zé)深層特征進(jìn)行頻域分離的頻域分離模塊。如圖3所示，特征提取模型主干由5個(gè)CBlock構(gòu)成，以此獲得下采樣的特征。

下采樣特征包含F(xiàn)2、F4、F8以及一個(gè)深度特征F1'6。為解決校正色偏與保持細(xì)節(jié)的平衡問(wèn)題，采用特征頻域分離模塊對(duì)F1'6進(jìn)行信息分離。F1'6經(jīng)過(guò)循環(huán)分離鏈路，被分解為高頻信息Fg和低頻信息Fl，運(yùn)算公式為：

式中：n表示第n次分離操作，第1次分離操作的輸入F1為深度特征F1'6，Avgpool表示對(duì)特征進(jìn)行邊緣擴(kuò)充為1、卷積步長(zhǎng)為1、卷積核大小為3的均值池化操作。通過(guò)池化操作分離深度特征F1'6的低頻信息，再與原始特征圖進(jìn)行差值操作，以獲取高頻特征，最終達(dá)到將特征分頻的效果。

為簡(jiǎn)化模型結(jié)構(gòu)，在獲得4個(gè)不同頻段的深度特征后，將其中3組高頻信息與頻域分離的輸入F1'6編為一組特征，輸入4組分組卷積中，獲得4組不同頻段的高頻特征組Fg。將剩余的低頻特征標(biāo)記為Fl，用于在特征反應(yīng)階段對(duì)Fg進(jìn)行處理時(shí)提供低頻信息引導(dǎo)。

2.3特征反應(yīng)階段

特征反應(yīng)階段對(duì)特征提取階段獲得的深度特征進(jìn)行進(jìn)一步處理與融合。本階段包含一個(gè)用于優(yōu)化低頻信息的深度特征注意力卷積模塊。該模塊利用雙路并行卷積結(jié)構(gòu)對(duì)不同特征進(jìn)行卷積操作，并使用從低頻信息中提取的全局信息作為背景信息，引導(dǎo)深度特征的提取。特征反應(yīng)網(wǎng)絡(luò)結(jié)構(gòu)圖如圖4所示。

在特征反應(yīng)階段，F(xiàn)l、Fg經(jīng)過(guò)三個(gè)雙路并行卷積塊后進(jìn)行維度拼接，得到組合特征信息，并使用兩個(gè)卷積塊對(duì)組合特征信息融合，獲得深度特F16。為充分利用低頻信息，雙路并行卷積塊包含兩個(gè)CBlock結(jié)構(gòu)，分別用于處理4組不同頻段的高頻信息和1組低頻信息。

此外，包含兩個(gè)低頻信息注意力提取卷積，對(duì)低頻信息Fl進(jìn)行1×1卷積，之后進(jìn)行全局平均池化，獲得兩組通道權(quán)重向量，分別引導(dǎo)兩組特征的提取。

2.4特征融合

如圖5所示，特征融合階段將深度特征F16通過(guò)內(nèi)容感知特征重組算子（CARAFE）[12]與其他特征進(jìn)行融合，以獲得增強(qiáng)信息。由于4種特征信息均經(jīng)歷了不同程度的下采樣處理，融合前須先進(jìn)行上采樣操作，將其恢復(fù)至相應(yīng)尺寸。上采樣融合過(guò)程如公式（3）所示：

式中：F'n表示融合輸出的結(jié)果，F(xiàn)n表示融合中大尺寸特征輸入，F(xiàn)2n表示融合中小尺寸輸入。小尺寸輸出經(jīng)卷積與內(nèi)容感知特征重組算子處理后，其尺寸擴(kuò)展1倍，與大尺寸特征輸入保持一致。隨后，經(jīng)過(guò)張量維度拼接，作為下一組處理的輸入，直至獲得與輸入尺寸一致的特征信息。最后，通過(guò)三組3×3卷積進(jìn)行通道維度調(diào)整，得到4組不同頻段的增強(qiáng)信息，將這些信息疊加后與輸入的水下圖像求和，即可得到模型預(yù)測(cè)的增強(qiáng)后的水下圖像。

2.5損失函數(shù)

如圖6所示，模型的損失函數(shù)由兩部分組成：圖像增強(qiáng)損失和分頻損失。其中，分頻損失的設(shè)計(jì)目的是確保模型在增強(qiáng)過(guò)程中能夠有效區(qū)分并處理不同頻段的信息。這樣一來(lái)，可以避免原有圖像信息在水體色偏校正時(shí)產(chǎn)生干擾，使模型能夠從水下圖像中提取更多有用特征進(jìn)行訓(xùn)練。此外，這一設(shè)計(jì)有助于模型在有限的數(shù)據(jù)集上更高效地利用參數(shù)，抑制過(guò)擬合現(xiàn)象。最終，分頻損失能夠提升模型對(duì)水下圖像增強(qiáng)的穩(wěn)定性和效果。

3實(shí)驗(yàn)與結(jié)果分析

3.1實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)過(guò)程中，模型在基于Pytorch2.0框架的NVIDIARTX4070TiGPU上進(jìn)行訓(xùn)練。優(yōu)化器為Adam。初始學(xué)習(xí)率設(shè)為0.0002，采用線性下降策略，訓(xùn)練共分為200個(gè)epoch，其中前50個(gè)epoch保持學(xué)習(xí)率不變，后150個(gè)epoch線性下降。

本文實(shí)驗(yàn)選取近年來(lái)具有代表性的5種深度學(xué)習(xí)水下圖像增強(qiáng)算法作為對(duì)比算法：UWCNN[13]、Water?Net[14]、Ucolor[15]、UIEC2Net[16]、STSC[10]。對(duì)水下增強(qiáng)結(jié)果進(jìn)行評(píng)價(jià)時(shí)，本文使用水下圖像質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)（UIQM）[17]、水下彩色圖像質(zhì)量評(píng)價(jià)指標(biāo)（UCIQE）[18]和信息熵（IE）[15]類組無(wú)參照水下質(zhì)量評(píng)估指標(biāo)。訓(xùn)練集選用文獻(xiàn)[11]提出的SUIM-E匹配數(shù)據(jù)集，SUIM-E訓(xùn)練集包含1525張真實(shí)水下圖像。對(duì)比實(shí)驗(yàn)在公開(kāi)可獲取的RUIE[19]、UFO120[20]數(shù)據(jù)集上進(jìn)行。

3.2方法比較

如圖7所示，在1500張圖片的UFO120數(shù)據(jù)中可以看出，本文算法通過(guò)將對(duì)圖像的不同頻段進(jìn)行分離，表現(xiàn)出穩(wěn)定校正水體色偏的效果，所得背景清晰，高頻細(xì)節(jié)保留受色偏校正影響較小，在第一張圖片中對(duì)巖石背景顏色的校正也未受到魚(yú)鰭顏色的影響。

由表1可知，本文算法在UFO120數(shù)據(jù)集上的UIQM和IE指標(biāo)均取得了最高分?jǐn)?shù)，UIQM相較于STSC算法實(shí)現(xiàn)了11.6%的提升，而在UCIQE指標(biāo)上的表現(xiàn)與STSC算法僅相差1.5%。值得注意的是，STSC、UIEC2Net及本文方法，在描述模型增強(qiáng)后圖像與數(shù)據(jù)集作者推薦增強(qiáng)圖像差異程度的峰值信噪比（PSNR）和結(jié)構(gòu)相似指數(shù)（SSIM）兩個(gè)指標(biāo)上，普遍不及較早提出的UColor算法。

對(duì)比UFO120數(shù)據(jù)集推薦圖片在水下圖像質(zhì)量指標(biāo)（UIQM）、水下彩色圖像質(zhì)量指標(biāo)（UCIQE）和信息熵（IE）上的得分發(fā)現(xiàn)，推薦圖像在這些無(wú)參照評(píng)價(jià)指標(biāo)上普遍低于近年涌現(xiàn)的深度學(xué)習(xí)方法。這導(dǎo)致峰值信噪比、結(jié)構(gòu)相似度得分較高的UColor模型在其余三個(gè)無(wú)參照指標(biāo)上表現(xiàn)較差。

造成這種現(xiàn)象的原因可能在于，近年來(lái)算法所用的訓(xùn)練數(shù)據(jù)和增強(qiáng)側(cè)重點(diǎn)，與UFO120數(shù)據(jù)集中推薦增強(qiáng)圖像所采用的傳統(tǒng)增強(qiáng)方法存在差異。

如圖8所示，在RUIE數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果中可以看出，UWCNN在第一幅和第二幅圖片中未能有效校正藍(lán)綠色偏，反而在圖像中引入了“鬼影”現(xiàn)象，導(dǎo)致整體清晰度下降。WaterNet雖然對(duì)藍(lán)綠色色偏有一定校正，但仍遺留明顯的藍(lán)色色偏，同時(shí)畫(huà)面對(duì)比度不足。Ucolor、UIEC2Net以及STSC同樣未能很好地解決藍(lán)綠色偏，沙地和石塊背景仍呈現(xiàn)藍(lán)色或淡藍(lán)綠色，影響了圖像的真實(shí)感和主觀質(zhì)量。相比之下，本文提出的算法在校正嚴(yán)重藍(lán)綠色偏后，能夠有效保留原始圖像中的細(xì)節(jié)信息，使沙地和石塊等背景區(qū)域更加清晰，顯著提升了圖像的整體觀感與質(zhì)量。

如表2所示，在RUIE數(shù)據(jù)集中，本文算法在UCIQE與IE兩項(xiàng)指標(biāo)上居于領(lǐng)先，三項(xiàng)客觀評(píng)價(jià)指標(biāo)均優(yōu)于STSC和UIEC2Net算法。

3.3消融實(shí)驗(yàn)

在消融實(shí)驗(yàn)中，采用了三種不同的結(jié)構(gòu)。其中，Model1表示未使用分頻輸出的模塊，模型輸出結(jié)果為一個(gè)三通道的水下增強(qiáng)圖像，而非分頻輸出，且在特征提取階段未對(duì)深度特征進(jìn)行頻域分離操作，也未使用特征反應(yīng)階段的低頻深度特征注意力卷積模塊；Model2表示模型的輸出為非分頻輸出，在圖像增強(qiáng)損失的基礎(chǔ)上加入了分頻損失，但在特征提取階段未對(duì)深度特征進(jìn)行頻域分離操作，也未在特征反應(yīng)階段使用低頻深度特征注意力卷積模塊；Model3為完整的網(wǎng)絡(luò)結(jié)構(gòu)。本文對(duì)三個(gè)模型在RUIE和UFO120數(shù)據(jù)集上進(jìn)行了測(cè)試。

如表3所示，在RUIE數(shù)據(jù)集中，Model1由于出現(xiàn)了較為明顯的偽影，導(dǎo)致其在UIQM中得分偏高，其余的UCIQE、IE指標(biāo)相比Model2表現(xiàn)較低。Model3在UCIQE和UIQM兩個(gè)指標(biāo)上均獲得了明顯提升，IE指標(biāo)僅降低0.08%，可以忽略不計(jì)。

如表4所示，在UFO120數(shù)據(jù)集上，Model2相較于Model1三項(xiàng)指標(biāo)均有不同程度的提升。Model3相較于Model2，在UCIQE和IE指標(biāo)上分別降低了0.4%和0.17%，但UIQM指標(biāo)提升了14.7%?？梢?jiàn)，模型的分頻輸出能夠提高模型的運(yùn)行穩(wěn)定性和增強(qiáng)效果，在特征提取過(guò)程中引入特征頻域分離以及低頻深度特征注意力卷積模塊，使得本文提出模型的水下增強(qiáng)能力進(jìn)一步提升。

4結(jié)論

針對(duì)當(dāng)前水下圖像增強(qiáng)模型在校正色偏與保持細(xì)節(jié)平衡方面的問(wèn)題，本文提出了一種基于頻域分離的水下圖像增強(qiáng)網(wǎng)絡(luò)。該網(wǎng)絡(luò)通過(guò)引入深度特征頻域分離模塊和低頻深度特征注意力卷積模塊，顯著提升了特征提取與反應(yīng)的性能。在RUIE和UFO120數(shù)據(jù)集上的測(cè)試結(jié)果顯示，本文算法能夠穩(wěn)定實(shí)現(xiàn)色偏校正和圖像細(xì)節(jié)保持，為水下圖像增強(qiáng)的研究提供了新的思路。

參考文獻(xiàn)：

[1]MCGLAMERYB.Acomputermodelforunderwatercamerasys?tems[C]//Proc.SPIE，OceanOpticsⅥ，1980：221-231.

[2]JAFFEJS.Computermodelingandthedesignofoptimalunder?waterimagingsystems[J].IEEEJournalofOceanicEngineering，1990，15（2）：101-111.

[3]CHENXH，ZHANGJN，XUC，etal.Better“CMOS”producesclearerimages：learningspace-variantblurestimationforblindimagesuper-resolution[C]//2023IEEE/CVFConferenceonComputerVisionandPatternRecognition1651-1661.（CVPR）.IEEE，2023：

[4]YAMASHITAA，F(xiàn)UJIIM，KANEKOT.Colorregistrationofun?derwaterimagesforunderwatersensingwithconsiderationoflightattenuationferenceonRoboticsandAutomation[C]//Proceedings2007.IEEEIEEEInternationalCon，2007：4570-4575.?

[5]BRYSONM，JOHNSON-ROBERSONM，PIZARROO，etal.Truecolorcorrectionofautonomousunderwatervehicleimagery[J].JournalofFieldRobotics，2016，33（6）：853-874.

[6]LICY，GUOJC，GUOCL，etal.Ahybridmethodforunderwa?terimagecorrection[J].PatternRecognitionLetters，2017（94）：62-67.

[7]趙鑫，焦博.基于視覺(jué)特性低照度水下圖像增強(qiáng)算法研究[J].電腦知識(shí)與技術(shù)，2023，19（12）：9-12.

[8]LINSJ，LIZ，ZHENGFH，etal.Underwaterimageenhancementbasedonadaptivecolorcorrectionandimprovedretinexalgo?rithm[J].IEEEAccess，2023（11）：27620-27630.

[9]何笑，王剛，賀歡.基于小波變換的水下低照度圖像增強(qiáng)算法[J].電腦知識(shí)與技術(shù)，2020，16（23）：173-175.

[10]WANGD，MAL，LIURS，etal.Semantic-awaretexture structurefeaturecollaborationforunderwaterimageenhance?menttomation[C]//（2022ICRAInternationalConferenceonRoboticsandAu）.IEEE，2022：4592-4598.?

[11]QIQ，LIKQ，ZHENGHY，etal.SGUIE-net：semanticatten?tionguidedunderwaterimageenhancementwithmulti-scaleperception[J].IEEETransactionsonImageProcessing，2023（32）：2384-2397.

[12]WANGJQ，CHENK，XUR，etal.CARAFE：content-awareRe?AssemblyofFEatures[C]//2019IEEE/CVFInternationalCon?ferenceonComputerVision（ICCV）.IEEE，2019：3007-3016.

[13]LICY，ANWARS，PORIKLIF.Underwaterscenepriorin?spireddeepunderwaterimageandvideoenhancement[J].Pat?ternRecognition，2020（98）：107038.

[14]LICY，GUOCL，RENWQ，etal.Anunderwaterimageen?hancementbenchmarkdatasetandbeyond[J].IEEETransac?tionsonImageProcessing，2019.

[15]BERMAND，LEVYD，AVIDANS，etal.Underwatersingleim?agecolorrestorationusinghaze-linesandanewquantitativedataset[J].IEEETransactionsonPatternAnalysisandMa?chineIntelligence，2021，43（8）：2822-2837.

[16]WANGYD，GUOJC，GAOH，etal.UIEC2-Net：CNN-basedunderwaterimageenhancementusingtwocolorspace[J].Sig?nalProcessing：ImageCommunication，2021（96）：116250.

[17]PANETTAK，GAOC，AGAIANS.Human-visual-system inspiredunderwaterimagequalitymeasures[J].IEEEJournalofOceanicEngineering，2015，41（3）：541-551.

[18]YANGM，SOWMYAA.Anunderwatercolorimagequalityevaluationmetric[J].IEEETransactionsonImageProcessing，2015，24（12）：6062-6071.

[19]LIURS，F(xiàn)ANX，ZHUM，etal.Real-worldunderwaterenhance?ment：challenges，benchmarks，andsolutionsundernaturallight[J].IEEETransactionsonCircuitsandSystemsforVideoTechnology，2020，30（12）：4861-4875.

[20]ISLAMMJ，F(xiàn)ULTONM，SATTARJ.Towardagenericdiver followingalgorithm：balancingrobustnessandefficiencyindeepvisualdetection[J].IEEERoboticsandAutomationLet?ters，2019，4（1）：113-120.

【通聯(lián)編輯：唐一東】