基于頻域分離的水下圖像增強模型

摘要：針對水體對不同波長光線吸收造成的藍綠色偏色和低對比度問題，文章提出了一種基于頻域信息分離的三階段水下圖像增強模型。模型首先通過特征提取網絡獲得圖像特征金字塔；接著，利用頻域分離模塊增強水下圖像的顏色校正和細節(jié)恢復；最后，通過輸出模塊融合增強后的特征，恢復為增強后的水下圖像。實驗證明，相比于STSC算法，文章算法在UIQM和UCIQE指標上均有顯著提升。

關鍵詞：水下圖像增強；深度學習；顏色校正；細節(jié)增強；頻域分離

中圖分類號：TP391文獻標識碼：A

文章編號：1009-3044（2025）20-0008-04

0引言

使用水下無人設備進行海洋勘察，已逐漸成為獲取水下圖像和研究水下環(huán)境的關鍵手段。然而，水中懸浮顆粒的散射導致水下成像模糊，呈現(xiàn)薄紗質感。此外，水體對不同波段光線的吸收導致成像偏移，增加了水下成像的難度。因此，利用水下圖像增強（UIE）技術以降低水下成像特有的圖像退化，獲得高質量的水下環(huán)境圖像信息受到廣泛關注。

自Jaff-McGlamery水下成像模型[1-2]提出以來，出現(xiàn)了許多水下圖像增強算法。目前的水下圖像增強模型往往過于關注圖像的某一方面信息，導致有些方法在增強細節(jié)的同時，未能充分校正水體引起的色偏；而部分方法雖然校正了色偏，卻使原始圖像中的細節(jié)信息變得模糊，從而降低了圖像的清晰度。

構建一個能夠從數(shù)據集多角度獲取信息并進行深入分析的模型，對于基于學習的水下圖像增強算法至關重要。Chen等[3]在圖像超分辨率任務的模型中引入圖像語義分割、深度估計的輸出，通過獲取多樣化信息，使模型能夠從多個維度進行學習，提高了圖像超分辨率任務中對目標邊緣信息的恢復能力。受此啟發(fā)，本文結合水下圖像增強中傳統(tǒng)算法的分頻方法，提出了一種基于頻域信息分離的三階段水下圖像增強模型。該模型通過將水下圖像增強任務的輸出按頻域進行拆分，實現(xiàn)了對圖像色偏的校正，同時保持了圖像中的細節(jié)信息。

1相關工作

傳統(tǒng)的水下圖像增強技術主要通過從圖像中提取信息，推斷水下成像模型的關鍵參數(shù)，以優(yōu)化水下圖像[4-7]。一些研究根據水下圖像紅色通道的衰減調整各顏色通道。例如，Lin等[8]通過均值濾波提取水下圖像的細節(jié)信息，并與經過顏色校正的圖像融合，從而實現(xiàn)了良好的增強效果。何笑等[9]引入小波變換優(yōu)化水下圖像增強的低頻信息，實現(xiàn)了有效的低頻信息修復。

近年來，水下圖像增強的研究開始引入深度學習的方法。Wang等[10]通過在UNet中引入經過預訓練的語義分割模型來提取語義特征，對水下圖像增強網絡進行優(yōu)化，從而提高了增強過程中對語義信息的利用，使增強效果獲得了有效提升。Qi等[11]通過對水下圖像進行語義分割獲得不同目標的分割掩膜，使用掩膜對不同的圖像區(qū)域進行區(qū)域增強，有效提升了增強后圖像的細節(jié)清晰度。

2本文算法

為解決水下增強任務中校正水體色偏與保持圖像細節(jié)之間難以平衡的問題，本文采用頻域分離策略，構建了一個將圖像增強信息劃分為4個頻段進行處理的水下圖像增強模型。該模型主要由特征提取階段、特征反應階段和特征融合階段三部分組成，如圖1所示。

2.1基礎卷積模塊

本文構建了一個由多組卷積塊組成的基礎卷積處理塊（CBlock），如圖2所示，其中卷積層由二維卷積層、層歸一化以及SiLU激活函數(shù)構成。在CBlock中，特征輸入首先通過1×1卷積層進行通道維度調整，隨后采用雙路并行多尺度卷積結構提取局部細節(jié)與全局上下文特征，最后使用層歸一化與SiLU激活函數(shù)確保特征變換過程中的數(shù)值穩(wěn)定性。

2.2特征提取階段

在特征提取階段，模型主要由兩部分構成：一部分為構建不同尺寸圖像特征金字塔的主干網絡，另一部分為負責深層特征進行頻域分離的頻域分離模塊。如圖3所示，特征提取模型主干由5個CBlock構成，以此獲得下采樣的特征。

下采樣特征包含F(xiàn)2、F4、F8以及一個深度特征F1'6。為解決校正色偏與保持細節(jié)的平衡問題，采用特征頻域分離模塊對F1'6進行信息分離。F1'6經過循環(huán)分離鏈路，被分解為高頻信息Fg和低頻信息Fl，運算公式為：

式中：n表示第n次分離操作，第1次分離操作的輸入F1為深度特征F1'6，Avgpool表示對特征進行邊緣擴充為1、卷積步長為1、卷積核大小為3的均值池化操作。通過池化操作分離深度特征F1'6的低頻信息，再與原始特征圖進行差值操作，以獲取高頻特征，最終達到將特征分頻的效果。

為簡化模型結構，在獲得4個不同頻段的深度特征后，將其中3組高頻信息與頻域分離的輸入F1'6編為一組特征，輸入4組分組卷積中，獲得4組不同頻段的高頻特征組Fg。將剩余的低頻特征標記為Fl，用于在特征反應階段對Fg進行處理時提供低頻信息引導。

2.3特征反應階段

特征反應階段對特征提取階段獲得的深度特征進行進一步處理與融合。本階段包含一個用于優(yōu)化低頻信息的深度特征注意力卷積模塊。該模塊利用雙路并行卷積結構對不同特征進行卷積操作，并使用從低頻信息中提取的全局信息作為背景信息，引導深度特征的提取。特征反應網絡結構圖如圖4所示。

在特征反應階段，F(xiàn)l、Fg經過三個雙路并行卷積塊后進行維度拼接，得到組合特征信息，并使用兩個卷積塊對組合特征信息融合，獲得深度特F16。為充分利用低頻信息，雙路并行卷積塊包含兩個CBlock結構，分別用于處理4組不同頻段的高頻信息和1組低頻信息。

此外，包含兩個低頻信息注意力提取卷積，對低頻信息Fl進行1×1卷積，之后進行全局平均池化，獲得兩組通道權重向量，分別引導兩組特征的提取。

2.4特征融合

如圖5所示，特征融合階段將深度特征F16通過內容感知特征重組算子（CARAFE）[12]與其他特征進行融合，以獲得增強信息。由于4種特征信息均經歷了不同程度的下采樣處理，融合前須先進行上采樣操作，將其恢復至相應尺寸。上采樣融合過程如公式（3）所示：

式中：F'n表示融合輸出的結果，F(xiàn)n表示融合中大尺寸特征輸入，F(xiàn)2n表示融合中小尺寸輸入。小尺寸輸出經卷積與內容感知特征重組算子處理后，其尺寸擴展1倍，與大尺寸特征輸入保持一致。隨后，經過張量維度拼接，作為下一組處理的輸入，直至獲得與輸入尺寸一致的特征信息。最后，通過三組3×3卷積進行通道維度調整，得到4組不同頻段的增強信息，將這些信息疊加后與輸入的水下圖像求和，即可得到模型預測的增強后的水下圖像。

2.5損失函數(shù)

如圖6所示，模型的損失函數(shù)由兩部分組成：圖像增強損失和分頻損失。其中，分頻損失的設計目的是確保模型在增強過程中能夠有效區(qū)分并處理不同頻段的信息。這樣一來，可以避免原有圖像信息在水體色偏校正時產生干擾，使模型能夠從水下圖像中提取更多有用特征進行訓練。此外，這一設計有助于模型在有限的數(shù)據集上更高效地利用參數(shù)，抑制過擬合現(xiàn)象。最終，分頻損失能夠提升模型對水下圖像增強的穩(wěn)定性和效果。

3實驗與結果分析

3.1實驗環(huán)境

實驗過程中，模型在基于Pytorch2.0框架的NVIDIARTX4070TiGPU上進行訓練。優(yōu)化器為Adam。初始學習率設為0.0002，采用線性下降策略，訓練共分為200個epoch，其中前50個epoch保持學習率不變，后150個epoch線性下降。

本文實驗選取近年來具有代表性的5種深度學習水下圖像增強算法作為對比算法：UWCNN[13]、Water?Net[14]、Ucolor[15]、UIEC2Net[16]、STSC[10]。對水下增強結果進行評價時，本文使用水下圖像質量評價標準（UIQM）[17]、水下彩色圖像質量評價指標（UCIQE）[18]和信息熵（IE）[15]類組無參照水下質量評估指標。訓練集選用文獻[11]提出的SUIM-E匹配數(shù)據集，SUIM-E訓練集包含1525張真實水下圖像。對比實驗在公開可獲取的RUIE[19]、UFO120[20]數(shù)據集上進行。

3.2方法比較

如圖7所示，在1500張圖片的UFO120數(shù)據中可以看出，本文算法通過將對圖像的不同頻段進行分離，表現(xiàn)出穩(wěn)定校正水體色偏的效果，所得背景清晰，高頻細節(jié)保留受色偏校正影響較小，在第一張圖片中對巖石背景顏色的校正也未受到魚鰭顏色的影響。

由表1可知，本文算法在UFO120數(shù)據集上的UIQM和IE指標均取得了最高分數(shù)，UIQM相較于STSC算法實現(xiàn)了11.6%的提升，而在UCIQE指標上的表現(xiàn)與STSC算法僅相差1.5%。值得注意的是，STSC、UIEC2Net及本文方法，在描述模型增強后圖像與數(shù)據集作者推薦增強圖像差異程度的峰值信噪比（PSNR）和結構相似指數(shù)（SSIM）兩個指標上，普遍不及較早提出的UColor算法。

對比UFO120數(shù)據集推薦圖片在水下圖像質量指標（UIQM）、水下彩色圖像質量指標（UCIQE）和信息熵（IE）上的得分發(fā)現(xiàn)，推薦圖像在這些無參照評價指標上普遍低于近年涌現(xiàn)的深度學習方法。這導致峰值信噪比、結構相似度得分較高的UColor模型在其余三個無參照指標上表現(xiàn)較差。

造成這種現(xiàn)象的原因可能在于，近年來算法所用的訓練數(shù)據和增強側重點，與UFO120數(shù)據集中推薦增強圖像所采用的傳統(tǒng)增強方法存在差異。

如圖8所示，在RUIE數(shù)據集的實驗結果中可以看出，UWCNN在第一幅和第二幅圖片中未能有效校正藍綠色偏，反而在圖像中引入了“鬼影”現(xiàn)象，導致整體清晰度下降。WaterNet雖然對藍綠色色偏有一定校正，但仍遺留明顯的藍色色偏，同時畫面對比度不足。Ucolor、UIEC2Net以及STSC同樣未能很好地解決藍綠色偏，沙地和石塊背景仍呈現(xiàn)藍色或淡藍綠色，影響了圖像的真實感和主觀質量。相比之下，本文提出的算法在校正嚴重藍綠色偏后，能夠有效保留原始圖像中的細節(jié)信息，使沙地和石塊等背景區(qū)域更加清晰，顯著提升了圖像的整體觀感與質量。

如表2所示，在RUIE數(shù)據集中，本文算法在UCIQE與IE兩項指標上居于領先，三項客觀評價指標均優(yōu)于STSC和UIEC2Net算法。

3.3消融實驗

在消融實驗中，采用了三種不同的結構。其中，Model1表示未使用分頻輸出的模塊，模型輸出結果為一個三通道的水下增強圖像，而非分頻輸出，且在特征提取階段未對深度特征進行頻域分離操作，也未使用特征反應階段的低頻深度特征注意力卷積模塊；Model2表示模型的輸出為非分頻輸出，在圖像增強損失的基礎上加入了分頻損失，但在特征提取階段未對深度特征進行頻域分離操作，也未在特征反應階段使用低頻深度特征注意力卷積模塊；Model3為完整的網絡結構。本文對三個模型在RUIE和UFO120數(shù)據集上進行了測試。

如表3所示，在RUIE數(shù)據集中，Model1由于出現(xiàn)了較為明顯的偽影，導致其在UIQM中得分偏高，其余的UCIQE、IE指標相比Model2表現(xiàn)較低。Model3在UCIQE和UIQM兩個指標上均獲得了明顯提升，IE指標僅降低0.08%，可以忽略不計。

如表4所示，在UFO120數(shù)據集上，Model2相較于Model1三項指標均有不同程度的提升。Model3相較于Model2，在UCIQE和IE指標上分別降低了0.4%和0.17%，但UIQM指標提升了14.7%。可見，模型的分頻輸出能夠提高模型的運行穩(wěn)定性和增強效果，在特征提取過程中引入特征頻域分離以及低頻深度特征注意力卷積模塊，使得本文提出模型的水下增強能力進一步提升。

4結論

針對當前水下圖像增強模型在校正色偏與保持細節(jié)平衡方面的問題，本文提出了一種基于頻域分離的水下圖像增強網絡。該網絡通過引入深度特征頻域分離模塊和低頻深度特征注意力卷積模塊，顯著提升了特征提取與反應的性能。在RUIE和UFO120數(shù)據集上的測試結果顯示，本文算法能夠穩(wěn)定實現(xiàn)色偏校正和圖像細節(jié)保持，為水下圖像增強的研究提供了新的思路。

參考文獻：

[1]MCGLAMERYB.Acomputermodelforunderwatercamerasys?tems[C]//Proc.SPIE，OceanOpticsⅥ，1980：221-231.

[2]JAFFEJS.Computermodelingandthedesignofoptimalunder?waterimagingsystems[J].IEEEJournalofOceanicEngineering，1990，15（2）：101-111.

[3]CHENXH，ZHANGJN，XUC，etal.Better“CMOS”producesclearerimages：learningspace-variantblurestimationforblindimagesuper-resolution[C]//2023IEEE/CVFConferenceonComputerVisionandPatternRecognition1651-1661.（CVPR）.IEEE，2023：

[4]YAMASHITAA，F(xiàn)UJIIM，KANEKOT.Colorregistrationofun?derwaterimagesforunderwatersensingwithconsiderationoflightattenuationferenceonRoboticsandAutomation[C]//Proceedings2007.IEEEIEEEInternationalCon，2007：4570-4575.?

[5]BRYSONM，JOHNSON-ROBERSONM，PIZARROO，etal.Truecolorcorrectionofautonomousunderwatervehicleimagery[J].JournalofFieldRobotics，2016，33（6）：853-874.

[6]LICY，GUOJC，GUOCL，etal.Ahybridmethodforunderwa?terimagecorrection[J].PatternRecognitionLetters，2017（94）：62-67.

[7]趙鑫，焦博.基于視覺特性低照度水下圖像增強算法研究[J].電腦知識與技術，2023，19（12）：9-12.

[8]LINSJ，LIZ，ZHENGFH，etal.Underwaterimageenhancementbasedonadaptivecolorcorrectionandimprovedretinexalgo?rithm[J].IEEEAccess，2023（11）：27620-27630.

[9]何笑，王剛，賀歡.基于小波變換的水下低照度圖像增強算法[J].電腦知識與技術，2020，16（23）：173-175.

[10]WANGD，MAL，LIURS，etal.Semantic-awaretexture structurefeaturecollaborationforunderwaterimageenhance?menttomation[C]//（2022ICRAInternationalConferenceonRoboticsandAu）.IEEE，2022：4592-4598.?

[11]QIQ，LIKQ，ZHENGHY，etal.SGUIE-net：semanticatten?tionguidedunderwaterimageenhancementwithmulti-scaleperception[J].IEEETransactionsonImageProcessing，2023（32）：2384-2397.

[12]WANGJQ，CHENK，XUR，etal.CARAFE：content-awareRe?AssemblyofFEatures[C]//2019IEEE/CVFInternationalCon?ferenceonComputerVision（ICCV）.IEEE，2019：3007-3016.

[13]LICY，ANWARS，PORIKLIF.Underwaterscenepriorin?spireddeepunderwaterimageandvideoenhancement[J].Pat?ternRecognition，2020（98）：107038.

[14]LICY，GUOCL，RENWQ，etal.Anunderwaterimageen?hancementbenchmarkdatasetandbeyond[J].IEEETransac?tionsonImageProcessing，2019.

[15]BERMAND，LEVYD，AVIDANS，etal.Underwatersingleim?agecolorrestorationusinghaze-linesandanewquantitativedataset[J].IEEETransactionsonPatternAnalysisandMa?chineIntelligence，2021，43（8）：2822-2837.

[16]WANGYD，GUOJC，GAOH，etal.UIEC2-Net：CNN-basedunderwaterimageenhancementusingtwocolorspace[J].Sig?nalProcessing：ImageCommunication，2021（96）：116250.

[17]PANETTAK，GAOC，AGAIANS.Human-visual-system inspiredunderwaterimagequalitymeasures[J].IEEEJournalofOceanicEngineering，2015，41（3）：541-551.

[18]YANGM，SOWMYAA.Anunderwatercolorimagequalityevaluationmetric[J].IEEETransactionsonImageProcessing，2015，24（12）：6062-6071.

[19]LIURS，F(xiàn)ANX，ZHUM，etal.Real-worldunderwaterenhance?ment：challenges，benchmarks，andsolutionsundernaturallight[J].IEEETransactionsonCircuitsandSystemsforVideoTechnology，2020，30（12）：4861-4875.

[20]ISLAMMJ，F(xiàn)ULTONM，SATTARJ.Towardagenericdiver followingalgorithm：balancingrobustnessandefficiencyindeepvisualdetection[J].IEEERoboticsandAutomationLet?ters，2019，4（1）：113-120.

【通聯(lián)編輯：唐一東】