999精品在线视频,手机成人午夜在线视频,久久不卡国产精品无码,中日无码在线观看,成人av手机在线观看,日韩精品亚洲一区中文字幕,亚洲av无码人妻,四虎国产在线观看 ?

基于退化分布感知的迭代式水下圖像增強網絡

2025-09-28 00:00:00周圓周浩岳李碩士
湖南大學學報·自然科學版 2025年8期

中圖分類號:TP391.41 文獻標志碼:A

Abstract: Underwater images from diferent scenes often exhibit complex and non-uniform degradation due to factors such as lightabsorption by water and the scattering effcts of suspended particles.Even within the same image,the degradation degree varies across regions dueto diferences in scene depth.The most existing underwater image enhancement methods fail to specifically address the non-uniform degradation,leading to poor enhancement results.To solve this issue,this paper proposes an iterative underwater image enhancement network (IUIENet) based on degration distribution perception.IUIENet consists of three modules:a pre-enhancement module,a degradation distribution estimation module and an image refinement module.The pre-enhancement module initially estimates the enhancement result,while the degradation distribution estimation moduleandthe image refinement module optimize the enhancementresults using iterativecooperation.Experimental results demonstrate that IUIENet outperforms the compared methods in both visual qualityand quantitative metrics on the UIEB,EUVP,and LSUI

benchmarkdatasets.

Key Words :underwater image enhancement;deep learning; degradation distribution perception; iterative opti. mization;gatingmechanism

水下圖像作為重要的信息載體在水下視覺任務中發揮著重要的作用.但是,拍攝的水下圖像往往質量比較低,存在細節模糊、色偏、低亮度等缺陷.兩個主要的原因導致了水下圖像的退化.首先,水對不同波長的光吸收特性不同,光的波長越長,水對光的吸收作用越強.因此,獲得的水下圖像通常呈現明顯的藍色或綠色色調.其次,懸浮顆粒的散射效應會導致水下圖像對比度低、場景模糊等問題.根據水下成像模型,傳感器接收的光強可以表示為:

Ic(x)=Jc(x)tc(x)+Bc(1-tc(x))

式中: Ic(x) 是觀測到的退化圖像; Jc(x) 表示清晰的水下圖像; Bc 是背景光; 是圖像的透射率,其取值范圍為 [0,1] ,表示光在傳播過程中的衰減程度; ∣c∣ 表示紅(R)綠(G)藍(B)三個通道.透射率 可表示為一個和波長相關的指數衰減函數:

tc(x)=e-βd(x)

式中: β 表示水的衰減系數; d(x) 表示場景與相機之間的距離.該公式揭示了兩個關鍵的物理約束:1)透射率同時受波長1和深度 d(x) 影響,導致不同顏色通道、不同區域的衰減呈現顯著差異;2)退化程度與場景深度呈指數關系,使得相同水體環境中近景與遠景區域的退化程度截然不同.

為了提高水下退化圖像的視覺質量,研究人員提出了多種水下圖像增強(UIE)方法.早期,UIE任務主要采用傳統方法.這些傳統方法根據是否使用物理模型可以分成無模型的方法和基于模型的方法.無模型的方法[2-4]嘗試使用簡單的圖像處理技術變換圖像的像素值.此類方法基于自然圖像先驗知識改變圖像的像素強度,無法適應水下圖像的復雜退化.考慮到水下成像的物理機理,研究人員開發了基于模型的方法,手動設計各種物理先驗[5-8估計水下成像模型中的未知參數,進而增強退化的水下圖像.然而,這類基于模型的方法依賴先驗知識以估計模型中的未知參數,由于水下環境復雜多變,先驗或假設可能會失效.因此這些基于模型的方法在真實的水下場景中表現出較差的泛化性能,達不到理想的效果.

近年來,基于深度學習的圖像增強和恢復方法在各個領域都表現出了卓越的性能,包括圖像超分辨率[9-13]、圖像去霧[14-18]和低光圖像增強[19-21]等.這些進步也被擴展到UIE的任務中[22-24].一些方法[25-26]將深度學習與物理模型相結合,利用卷積神經網絡(CNN)強大的特征提取能力來估計水下成像模型中的未知參數并反演獲得增強的圖像.例如, ΔMu 等人2提出了一種基于透射圖和顏色引導的水下圖像增強網絡.該方法將物理先驗估計的透射率輸入模型中,為增強過程提供額外的先驗知識,進而提升了模型增強的效果.Wu等人[27設計了一種基于結構分解和水下成像特征的兩級水下增強網絡,利用神經網絡特征的擬合能力估計成像模型中的未知參數,將估計的參數代入成像模型中獲得增強結果.該方法進一步考慮到水下環境的復雜性,以兩階段的形式逐步增強圖像的視覺質量.Cong等人[28]設計了一種基于物理模型引導的水下圖像增強網絡.該方法設計了一種退化參數估計模塊,通過引入物理模型以約束水下圖像增強的過程.最終增強結果具有良好的場景適應性.總體而言,這類方法能夠在一定程度上通過估計未知參數來區別不同區域的退化程度,但它們的前提是假設水下成像模型在所有水下場景中都能保持準確性.然而,真實的水下環境復雜多變,影響光傳播的因素(如水質、場景深度、光照條件等)使得水下成像模型并不總是適用,從而導致這類方法在實際應用中的增強效果不理想.另一些方法[23-24]不引入物理模型,直接學習從退化到增強圖像端到端的映射.例如,Li等人[2提出了一種介質傳輸引導的多色空間嵌入網絡,充分利用不同顏色空間的信息互補性,以提升水下圖像增強效果.Peng等人[30提出了一種U形水下圖像增強網絡,通過精心設計專門的模塊來提取水下退化圖像的特征,并設計了一種多色空間損失函數來矯正顏色和提升對比度.Sharma等人[3i提出了一種基于波長分布的水下圖像增強網絡,針對不同顏色通道設計了不同的感受野特征提取操作,并結合空間和通道注意力機制進一步融合來自不同顏色通道的特征.該方法有效矯正了水下圖像的色偏問題.總的來說,這類方法的優化目標是全局的,缺乏對水下圖像非均勻退化特征的顯式建模.模型無法充分捕捉水下圖像中的非均勻退化特征,導致在復雜水下場景中的增強效果有限.

為了解決上述提到的問題,本文創新性地提出了一種新的水下圖像增強框架,命名為:基于退化分布感知的迭代式水下圖像增強網絡(IUIENet).該網絡由預增強模塊、退化分布估計模塊和圖像精細化模塊協同作用,進行迭代優化,逐步提升水下圖像的質量.預增強模塊對輸入的退化圖像進行粗增強,輸出初始的增強圖像.為了進一步提升增強效果,網絡設計了迭代優化階段.在每次迭代中,退化分布估計模塊會基于當前增強結果和原始退化圖像,估計圖像的退化分布圖;圖像精細化模塊隨后根據該分布圖對增強結果進行進一步優化,逐步改善增強結果.經過若干次迭代后,IUIENet最終輸出高質量的增強圖像.本文的貢獻總結如下:

1)提出了一種新的水下圖像增強網絡,名為IUIENet.該網絡將退化分布感知和水下圖像增強任務融合到一個整體的框架中.該網絡包含預增強模塊、退化分布估計模塊和圖像精細化模塊三個部分,退化分布估計模塊和圖像精細化模塊通過迭代合作的方式逐步獲得高質量的增強結果.

2)為了有效捕捉水下退化場景中不同尺寸物體的特征,提出了一種動態感受野特征提取模塊.該模塊能夠自適應地根據輸入特征,使用兩種不同的處理方式捕獲不同感受野的特征,同時從局部和全局的角度對不同感受野的特征進行交互.

3)在UIEB、EUVP和LSUI三個基準數據集上進行的廣泛實驗表明,本文提出的IUIENet在視覺質量和定量指標方面都達到了卓越的性能.此外,一系列的消融實驗驗證了所提出的IUIENet中各個組件的有效性.

1網絡構建

1.1網絡整體架構

如圖1所示,IUIENet包括了預增強模塊、退化分布估計模塊和圖像精細化模塊三個部分.

圖1網絡整體架構

Fig.1Overall network architecture

給定一張退化圖像 I, 預增強模塊 Npre(?) 估計得到初始的增強結果 J0 ,該過程可以表示為

J0=Npre(I)

然后,退化分布估計模塊 Ndeg(?) 與圖像精細化模塊 Nrefine 以合作迭代的方式工作.在每一次迭代中, Ndeg(?) 基于現有增強結果和輸入的退化圖像,對

輸入圖像的退化分布進行估計,該過程可以表示:

Hn=Ndeg(I,Jn

式中: n=0,1,…,T-1,T 是迭代次數; Jn 表示第 n 次迭代過程中得到的增強圖像; Hn 是基于 Jn 所估計的退化分布圖.在得到 Hn 后, Nrefine 基于 Hn 對 Jn 進行優化,得到 Jn+1 ,該過程可以表示為:

Jn+1=Nrefine(I,Hn,Jn

其中, n=0,1,…,T-1,T 是迭代次數.經過 T 次迭代優化后,模型最終預測得到增強圖像 J?T. 下面將分別對預增強模塊、圖像精細化模塊與退化分布估計模塊進行詳細介紹.

1.2預增強模塊

如圖2所示,預增強模塊首先從退化圖像中提取多尺度特征,然后根據多尺度特征預測初始增強圖像.具體步驟如下.

1)多尺度特征提?。喝鐖D2所示,給定一張退化的水下圖像,預增強模塊使用編碼器提取多尺度特征.為了有效提取退化特征,采用圖像分類網絡EfficientNet-BO的前五個階段作為特征提取的編碼器.隨后,本文使用 3×3 卷積和動態感受野特征提取模塊進一步從編碼器輸出的多尺度特征中提取特征.其中 3×3 卷積用于調整特征的維度,動態感受野特征提取模塊用于進一步提取特征.

2)多尺度特征融合:通過特征融合塊集成多尺度特征,其中包括逐點卷積和上采樣組件.逐點卷積旨在將多尺度特征的通道數標準化為統一的32,而上采樣旨在將三個不同特征上采樣為一致的維度,維度為輸人圖像大小的四分之一.這些多尺度特征通過逐元素相加進行集成,產生融合特征.

3)初始增強圖像預測:使用三個空間自適應特征提取塊和一個上采樣模塊輸出初始增強特征 F0 最后采用兩個 3×3 卷積用于特征映射模塊,將 F0 映射到初始增強圖像 J0

圖2預增強模塊

Fig.2 Pre-enhancement module

1.3動態感受野特征提取模塊

水下退化場景多樣,包含了不同大小的對象,增強不同的對象類型所需的感受野應該不同.因此,本文提出了一種新的動態感受野特征提取模塊,如圖2所示,該模塊包含三個步驟:特征分組、特征提取和特征細化.

1)特征分組:首先將輸入特征(表示為 X) 進行歸一化,然后沿通道進行分割操作.該過程將輸入 X 分成了兩個不同的分量,分別表示為 X1 和 X2

2)特征提取:對于 X1 和 X2 ,本文采用兩種不同的處理方式捕獲不同感受野的特征.對于 X1 ,應用5×5 卷積和通道注意力模塊提取局部特征,記作 X1 對于 X2 ,應用卷積核大小為 7×7 膨脹率為2的擴張卷積拓寬感受野,經過通道注意力模塊獲得的特征記作 X2. 隨后將 X1 和 X2 沿通道維度串聯起來獲得組合特征.接下來引入通道自注意力機制用于對不同通道的特征進行全局交互,并同時從局部和全局的角度實現信息交互.

3)特征細化:在最后階段,利用層歸一化和 3×3 的卷積層進一步細化特征,并將細化的特征與輸入特征 X 進行殘差連接,從而獲得模塊最終的輸出.

1.4退化分布估計模塊

從人類視覺的角度出發,考慮到水下圖像的退化原因來自光吸收和懸浮顆粒的散射作用,這會導致圖像的整體對比度降低、細節模糊和亮度變化.本文對退化圖像與其對應的參考圖像的亮度通道進行了比較.結果如圖3所示.

圖3退化圖像與參考圖像亮度通道圖 Fig.3 Brightness channel of the degraded image and reference image

圖3中,第一行表示輸入的退化圖像在YCbCr顏色空間的亮度圖,第二行表示對應參考圖像在YCbCr顏色空間的亮度圖.從圖中可以清晰地觀察到,參考圖像的Y通道細節清晰,圖像的對比度高,圖像的邊緣信息豐富.相比之下退化圖像的Y通道表現出低對比度且有顏色失真.

為了量化退化的分布情況,可以通過計算參考圖像與退化圖像在亮度通道上的逐像素差值來表示不同區域的退化程度.給定退化圖像1與其對應的增強圖像 G ,退化分布圖 H 可以表示為:

1.5圖像精細化模塊

整體結構:在估計的水下退化分布的引導下,圖像精細化模塊對增強圖像進行進一步優化.如圖1所示,圖像精細化模塊由門控融合模塊、殘差密集塊、特征增強模塊、自適應 U-net 以及兩個卷積層組成.首先,使用門控融合模塊將上一次迭代過程中生成的增強圖像的特征與退化圖像的特征進行門控融合,并使用兩個殘差密集塊對融合后的特征進行特征提??;然后,特征增強模塊在退化分布圖 Hn 的引導下對所提取的特征進行增強;最后,使用自適應U-net與兩個卷積層,從增強后的特征中估計出增強圖像Jn+1·

門控融合模塊:如圖1所示,首先,使用一個卷積層與兩個殘差密集塊從退化圖像中提取特征;然后,使用兩個卷積層與一個Sigmoid層,將上一次迭代得到的增強圖像映射為權重圖,從而對上一次迭代生成的特征進行加權;最后,將加權后的特征與退化圖像特征逐像素位置相加,得到門控融合模塊的輸出.

特征增強模塊:如圖4所示,特征增強模塊主要包含特征加權、特征聚合與特征增強三個步驟

圖4特征增強模塊

Fig.4Featureenhancementmodule.

步驟1:特征加權.以退化分布圖 H 作為引導信息求取輸入特征 Fin 的權重圖,從而突出退化嚴重區域的特征,加權后的特征可以表示為:

Fw=Fin?fw(H)

式中 為權重圖映射函數,由兩個卷積核大小為3、輸出通道為16的卷積與一個卷積核大小為3、輸

出通道為1的卷積級聯組成.

步驟2:特征聚合.將 Fin 與 Fw 以加權求和的方式進行自適應聚合.聚合后的特征 Ff 可以表示為:

Ff=α?Fin+(1-α)?Fw

式中:權重 α 由 Fin 與 Fw 映射而來.該映射過程可以表示為:

α=Sigmoid(fc2(fc1(GA([Fin,Fw]))))

式中:[·]表示沿通道維度進行特征堆疊; GA(?) 表示全局平均池化; fc1(?) 與 fc2(?) 均為全連接層; Sigmoid(?) 表示Sigmoid激活函數.

步驟3:特征增強.使用兩個卷積核大小為3的卷積層,對 Ff 進一步特征提取,得到增強 Fin 所需的殘差特征 Fres 然后,將 Fres 與 Fin 相加,得到增強后的特征.

自適應 U-net :將特征 Fout 輸入一個簡單的U-net網絡中以進一步細化增強特征.本文使用的U-net編碼器由三個殘差密集塊與兩個下采樣層組成,三個殘差密集塊的輸出通道數分別為16、32和64.解碼器的結構與編碼器相對應,由三個殘差密集塊與兩個上采樣層組成,編解碼器之間使用上文提到的特征增強模塊自適應融合編碼器和解碼器的特征.

1.6損失函數

本文對預增強模塊及迭代優化過程中生成的各個增強結果和退化分布圖同時進行了監督.模型的最終損失可以表示為:

式中: T 表示迭代次數,設置為 2;Lpre 表示預增強模塊的損失函數; LRi 表示第 i 次迭代過程中所得的增強結果的損失.對于前 T-1 次迭代輸出的增強結果、退化分布圖以及預增強模塊所估計的增強結果,使用 L1 損失來衡量增強結果與真實值之間的差異.

LRT=L1+0.5?LSSIM

LssIM=1-SSIM(X,Y)

對于最終的增強結果,如式(12)所示,本文使用L1 損失和SSIM損失聯合監督,其中 L1 損失的權重設為1,SSIM損失的權重設為0.5.

2實驗結果分析

2.1實驗設置及數據集

訓練細節:本文算法基于開源框架PyTorch實現,運行環境為Ubuntu20.04,訓練設備為單張NvidiaGeForceGTX3090GPU.所有數據集均采用Adam優化器進行訓練,其中, Adam[32] 優化器中的超參數 β1 與 β2 分別設置為默認值0.9與0.999.模型的初始學習率設為0.0001,并采用poly策略進行調整,學習率衰減系數為0.9.模型訓練周期(epoch)設置為200個epoch.圖像塊大小為 256×256 ,批尺寸為8.為了將多樣性引入訓練數據集并增強模型的穩健性,本文結合了 90°,180°,270° 的隨機旋轉,以及垂直和水平翻轉的數據增強方式擴展原始數據集.

實驗數據集:本文在三個公共的水下圖像數據集上訓練并測試所提出的模型,包括UIEB[33]EUVP[34]和LSUI[30].下面對各個數據集稍作介紹.

UIEB數據集:UIEB數據集包含多種不同退化場景的水下圖像,參考圖像是由12種水下圖像增強算法生成的、經過志愿者投票的方式選出的視覺質量最佳的圖像.整個數據集包含890張原始水下圖像及其相應的高質量參考圖像,我們隨機選擇800張圖像子集作為訓練集,其余90張成對的水下圖像和60張不成對的水下圖像用于測試,表示為T90和C60.

EUVP數據集:EUVP數據集中的參考圖像是由預訓練的CycleGAN從退化圖像映射獲得,本文使用水下場景子集中的2185張成對的水下圖像用于訓練和測試模型,這些圖像被隨機分成包含1985張圖像的訓練集和包含200張圖像的測試集.

LSUI數據集:LSUI數據集與UIEB數據集的構建方式一樣,相比之下,LSUI數據集包含了更多的水下退化場景.具體而言,[LSUI]數據集包含了4279張成對的水下圖像,我們從中隨機劃分出3479張圖像用于模型訓練,500對圖像用于測試.

對比方法與評價指標:本文將提出的IUIENet與幾種最先進的方法進行比較,其中包括UDCP[35](13'ICCVW)、FunIE-Net[34](20'LRA)、Ucolor[29](21'TIP)、PUIE- -Net[36] ( 22 ECCV)、 NU2Net[37] (23’AAAI)、U-shape[30](23’TIP)、Spectroformer[38](24'WACV)和PixMamba[39](24'ACCV).與此同時,本文使用了多種廣泛認可的指標來評估水下圖像質量.其中,全參考質量評價指標包括PSNR和SSIM.對于不成對的水下圖像,本文使用無參考質量評價指標以評估增強結果的質量.具體而言,本文使用了UIQM和UCIQE指標,其中,UIQM指標從顏色平衡、清晰度和對比度三個角度評估圖像的質量,得分越高圖像質量越高.UCIQE指標根據色彩密度、飽和度和對比度三個方面量化水下圖像的質量,得分越高表示人類視覺感知越好.

2.2定性實驗

圖5展示了本文算法與不同對比方法在UIEB數據集上測試的部分結果.可以觀察到UDCP算法能夠改善退化圖像中的模糊問題,但是圖像整體偏暗,不能有效恢復圖像的顏色.FunIE-Net算法能夠在一定程度上改善退化圖像的顏色,但是不夠徹底,增強圖像依舊存在一定的色偏(如圖中第三幅圖像整體的顏色偏紅).Ucolor算法整體增強效果較好,但是在圖像細節恢復方面表現一般,部分圖像存在偽影.PUIE-Net、NU2Net和U-shape三個算法增強的圖像在一些區域無法有效恢復圖像的顏色.Spectroformer算法雖然能夠出色地恢復圖像的顏色,但是不能有效增強圖像的邊緣細節.PixMamba算法能夠有效增強圖像的細節,但是在圖像場景較深的區域增強效果不佳.總體而言,本文提出的算法在逆轉退化圖像的色偏的同時出色地增強了圖像的邊緣細節,與參考圖像最接近.

圖5T90數據集增強結果對比圖

Fig.5Comparison of enhancement results on the T9O dataset

圖6展示了本文算法與其他算法在EUVP數據集上測試的部分結果.可以觀察到UDCP算法增強的圖像亮度低,無法有效恢復圖像的顏色.FunIE-Net算法增強效果較好,但是圖像中引入了一定的偽影.Ucolor、PUIE-Net、NU2Net和Spectroformer算法增強的圖像偏白,出現了過度增強的問題.U-shape算法顏色恢復不徹底,增強的圖像存在一定的色偏問題.PixMamba算法相比前幾種算法,在圖像顏色風格的改善上有一定優勢,但是對比度提升效果有限,增強效果仍然存在模糊的問題.總體來說,本文提出的算法有效恢復了圖像的顏色,增強的圖像最接近參考圖像.

圖6EUVP數據集增強結果對比圖

Fig.6 Comparison of enhancement resultson theEUVPdataset

圖7展示了本文算法與其他算法在LSUI數據集上測試的部分結果.由圖7可看出:UDCP、FunIE-Net、U-shape算法增強的圖像無法有效矯正退化圖像的顏色.Ucolor、PUIE-Net、NU2Net算法的增強結果仍然保留了退化圖像的顏色風格.除此之外,由于在設計網絡的過程中沒有考慮到圖像細節信息的保留,因此增強的圖像細節信息丟失嚴重.Spectroformer算法增強的圖像出現了嚴重的過度增強問題,增強的結果不自然.PixMamba算法在顏色恢復和對比度提升方面表現較為均衡,能夠有效緩解部分退化區域的顏色偏差.然而,從圖7中可以觀察到,其在復雜場景的水下圖像中無法有效增強圖像的邊緣細節.

圖7LSUI數據集增強結果對比圖

Fig.7Comparison of enhancement resultsontheLSUIdataset

除了在成對的數據集上進行實驗以外,本文還在不成對的數據集C60上進行測試,圖8展示了本文方法與不同對比方法在C60數據集上的部分測試結果.從圖8中可以觀察到,UDCP、FunIE-Net、U-shape算法不能有效恢復圖像的顏色,圖像整體偏暗.而

Ucolor、PUIE-Net、NU2Net、Spectroformer 和 Pix-Mamba算法由于缺少對圖像不同區域退化分布的建模,在場景深度較大的嚴重退化區域不能有效增強.相比之下,本文提出的方法通過有效建模圖像的退化分布,增強的圖像表現出自然且逼真的效果.

圖8C60數據集增強結果對比圖

Fig.8 Comparison of enhancement results onthe C6O dataset

2.3定量實驗

本文將對比的水下圖像增強方法在UIEB、EUVP和LSUI三個基準數據集上進行了定量結果的對比,其中UIEB數據集包含成對的數據(T90)和非成對的數據(C60).如表1和表2所示,本文使用的評價指標有SSIM↑、PSNR↑、UIQM↑、UCIQE↑,其中↑值越大意味著結果越好.可以觀察到本文算法在T90、EUVP和LSUI三個成對數據集中都表現優秀.特別是在LSUI數據集中,本文算法在PSNR指標上相比于次優的PixMamba算法提升了近2dB.同時本文在不成對數據集C60上進行測試,結果表明:本文算法在UIQM和UCIQE兩個無參考質量評價指標中表現出最優的結果.如表3所示,本文算法相較于其他對比方法在參數量和運行速度方面展現出較為平衡的優勢.尤其在運行速度上,幾乎接近最優的NU2Net.在模型參數量方面,本文算法獲得了次優的結果.這表明本文算法具備高效的處理能力的同時,能夠適應實際應用中對計算資源要求較高的場景.

2.4消融實驗

為了驗證IUIENet各模塊的有效性以及超參數的合理性,設計了一系列消融實驗,所有的消融實驗都是在UIEB數據集上進行的.

迭代次數對結果的影響:為驗證迭代次數對結果的影響,將IUIENet的迭代次數分別設置為0、1、2、3,具有不同迭代次數的模型分別記作IUIENet-0、IUIENet-1、IUIENet-2和IUIENet-3.當迭代次數為0時,表示僅使用預增強模塊對結果進行估計.使用與IUIENet相同的損失函數與訓練方式在UIEB數據集

表1成對數據集上的PSNR與SSIM指標對比

Tab.1ComparisonofPSNRandSSIMmetricsonthe paireddataset

表3各對比方法參數量與運算時間對比

對兩個變體進行訓練,各個模型的性能如表4所示.可以看到,隨著迭代次數的增加,模型的性能不斷提升,但是提升的幅度在逐漸減小.其中,IUIENet-1的PSNR指標比IUIENet-O高出 1.5dB 以上,這充分說明了引入迭代機制的有效性.為了避免過多的訓練成本,減少模型的推理時間,本文將迭代次數設置為2.

表4具有不同迭代次數的IUIENet客觀評價結果Tab.4 ObjectiveevaluationresultsofIUIENetwithdifferentiterationnumbers

圖像精細化模塊各組件的有效性:本部分對圖像精細化模塊中的門控融合模塊的有效性進行了驗證.為此,考慮IUIENet的以下變體:a)移除退化分布估計模塊與圖像細化模塊中的特征增強模塊,從而驗證引入退化分布估計給模型帶來的增益,此變體記作IUIENet-D;b)移除門控融合中的門控機制,將上一次迭代所得特征與本次迭代中的特征以相加的方式直接融合,此變體記作IUIENet-GF.所有的變體采用與IUIENet相同的方式進行訓練,各模型在UIEB數據集上的性能如表5所示.無論移除退化分布估計模塊還是門控融合模塊,均會使模型出現一定程度的性能下降,這充分說明了這兩個模塊的有效性.

表5具有不同精細化模塊的IUIENet的客觀評價結果

Tab.5ObjectiveevaluationresultsofIUIENetwith different refinementmodules

動態感受野特征提取模塊的有效性:為驗證所提出的動態感受野特征提取模塊的有效性,本文將提出的特征提取模塊與現有的常見特征提取塊進行了比較,所比較的特征提取塊如下.

a)殘差塊:由兩個卷積層和一個殘差操作組成.

b)殘差密集塊:利用殘差連接和密集連接操作, RDB的卷積數量設為4,增長率為16

c)特征注意力模塊:殘差塊的變體,在殘差塊的基礎上增加了通道注意力和空間注意力機制.

使用上述模塊替換預增強模塊中的動態感受野特征提取模塊,由此得到的模型分別命名為IUIENet-RB、IUIENet-RDB和IUIENet-FAB.使用與IUIENet相同的方式對各個模型進行訓練,各模型在

UIEB數據集上的客觀評價指標如表6所示.由表6可知,使用本文提出的動態感受野特征提取模塊有著最佳的PSNR和SSIM指標.這些結果說明了動態感受野特征提取模塊的有效性.

表6具有不同特征提取模塊的IUIENet的客觀評價結果

Tab.6ObjectiveevaluationresultsofIUIENetwith differentfeatureextractionmodules

3結論

受到水體深度、光吸收和顆粒散射等因素影響,水下圖像的退化具有非均勻特性.然而,現有水下圖像增強方法缺少對處理非均勻退化的針對性設計,從而限制了其增強效果.針對這一問題,本文提出了基于退化分布感知的迭代式水下圖像增強網絡(IUIENet).IUIENet將退化分布估計和圖像精細化模塊構建于一個統一的框架中,采用迭代優化的方式逐步感知圖像的退化分布情況,并基于圖像退化的分布情況恢復出高質量清晰圖像.在UIEB、EUVP和LSUI三個水下圖像數據集上的實驗結果表明,IUIENet在視覺質量和定量指標上均顯著優于所對比的方法,所提出的迭代優化機制可以顯著提升模型處理非均勻退化的能力.

參考文獻

[1] NARASIMHAN S,NAYAR S.Vision and the atmosphere[J]. International Journal ofComputerVision,2002,48:233-254.

[2] HUMMEL RA.Histogrammodification techniques[J].Computer Graphicsand ImageProcessing,1975,4(3):209-224.

[3] PIZER S M,AMBURN EP,AUSTINJD,et al.Adaptive histogram equalization and itsvariations[J].ComputerVision, Graphics,and Image Processing,1987,39(3):355-368.

[4] REZAA M.Realization of thecontrast limited adaptive histogram equalization (CLAHE)for real-time image enhancement[J]. Journal of VLSI Signal Processing Systems for Signal,Imageand VideoTechnology,2004,38(1):35-44.

[5]LIANGZ,DINGXY,WANGYF,etal.GUDCP:generalization ofunderwaterdarkchannelpriorforunderwaterimagerestoration [J].IEEE Transactions on Circuits and Systems for Video Technology,2022,32(7):4879-4884.

[6]LI C Y,GUO JC,CONG R M,et al.Underwater image enhancement by dehazing with minimum information loss and histogram distribution prior[J].IEEE Transactions on Image Processing,2016,25(12):5664-5677.

[7]ZHUANG P X,WUJM,PORIKLI F,et al.Underwater image enhancement with hyper-Laplacian reflectance priors[J]. IEEE Transactions on Image Processing,2022,31:5442-5455.

[8]WUJJ,LIUXL,LUQH,et al.FW-GAN: Underwater image enhancement using generative adversarial network with multiscale fusion[J]. Signal Processing:Image Communication,2022, 109:116855.

[9]SUJN,GAN M,CHENGY,et al.Global learnable attention for single image super-resolution[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2023,45(7):8453-8465.

[10]ZHANG K K,ZHAO T S,CHEN W L,et al. Perception-driven similarity-claritytradeoffforimagesuper-resolutionquality assessment [J].IEEE Transactions on Circuits and Systems for Video Technology,2024,34(7):5897-5907.

[11]CHEN W L,CAI BQ,ZHENG SM,et al. Perception-andcognition-inspired quality assessment for sonar image superresolution[J]. IEEE Transactions on Multimedia,2024,26: 6398-6410.

[12]CHENGY,WENGWD,SUJN,et al.Dynamic degradation intensity estimation for adaptive blind super-resolution:a novel approach and benchmark dataset [J]. IEEE Transactions on Circuits and Systems for Video Technology,2024,34(6) :4762- 4772.

[13]SU JN,GAN M,CHENGY,et al.High-similarity-pass attention for single image super-resolution[J]. IEEE Transactions on Image Processing,2024,33:610-624.

[14]楊燕,陳陽.基于雙支特征聯合映射的端到端圖像去霧算法 [J].湖南大學學報(自然科學版),2024,51(6):10-19. YANGY,CHEN Y.End-to-end image dehazing algorithm based on joint mapping of two-branch features[J].Journal of Hunan University(Natural Sciences),2024,51(6):10-19.(in Chinese)

[15]鄔開俊,丁元.寬型自注意力融合密集型殘差網絡的圖像去 霧[J].湖南大學學報(自然科學版),2023,50(8):13-22. WU KJ,DING Y. Wide self-attention mechanism fusion dense residual network image dehazing[J].Journalof Hunan University (Natural Sciences),2023,50(8):13-22.(in Chinese)

[16]楊燕,武旭棟,杜康.基于小波變換及注意力機制的T型圖像 去霧網絡[J].湖南大學學報(自然科學版),2022,49(10): 61-68. YANGY,WU XD,DU K.T-shaped image dehazing network based on wavelet transform and attention mechanism[J]. Journal of Hunan University(Natural Sciences),2022,49(10) :61-68. (in Chinese)

[17]LI S S,ZHOU Y,REN W Q,et al. PFONet: a progressive feedback optimization network for lightweight single image dehazing[J]. IEEE Transactions on Image Processing,2023,32: 6558-6569.

[18]ZHU X S,LI SS,GAN Y D,et al. Multi-stream fusion network with generalized smooth L1 loss for single image dehazing[J]. IEEE Transactions on Image Processing,2021,30:7620-7635.

[19] ZHU Z J,YANG XG,LU R T,et al. Ghost imaging in the dark :a multi-illumination estimation network for low-lightimage enhancement[J]. IEEE Transactions on Circuits and Systems for Video Technology,2025,35(2):1576-1590.

[20]SHECY,HANFJ,WANG LD,et al. MPC-net:multi-prior collaborative network for low-light image enhancement[J].IEEE Transactions on Circuitsand Systems for Video Technology,2024, 34(10):10385-10398.

[21]王文韞,舒晨洋,朱龍濤,等.基于Retinex和Gamma變換的低 照度圖像增強方法[J].湖南大學學報(自然科學版),2024,51 (10):136-144. WANG W Y,SHU CY,ZHU L T,et al.Low-illumination image enhancementmethodbased onRetinexandGammatransformation [J].Journal of Hunan University (Natural Sciences),2024,51 (10):136-144.(inChinese)

[22]ZHOU Y,YAN K M,LI XF.Underwater image enhancement via physical-feedback adversarial transfer learning[J].IEEE Journal of Oceanic Engineering,2022,47(1):76-87.

[23]HUANG SR,WANGK Y,LIU H,et al. Contrastive semisupervised learning for underwater image restoration via reliable bank[C]//2O23 IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR).Vancouver,BC,Canada.IEEE, 2023:18145-18155.

[24]ZHOU JC,LI B S,ZHANG D H,et al. UGIF-net:an efficient fullyguided information flow network for underwater image enhancement[J]. IEEE Transactions on Geoscience and Remote Sensing,2023,61:4206117.

[25]YAN K,LIANG L Y,ZHENG Z Q,et al. Medium transmission map matters for learning to restore real-world underwater images [J].Applied Sciences,2022,12(11):5420.

[26]MU P,FANG J,QIAN HT,et al.. Transmission and color-guided network for underwater image enhancement [C]//2023 IEEE International Conference on Multimedia and Expo(ICME). Brisbane,Australia.IEEE,2023:1337-1342.

[27]WU SC,LUO T,JIANG GY,et al.Atwo-stage underwater enhancement network based on structure decompositionand characteristics of underwater imaging[J].IEEE Journal of Oceanic Engineering,2021,46(4):1213-1227.

[28]CONGRM,YANGWY,ZHANGW,etal. PUGAN: physical model-guided underwater image enhancement using GAN with dual-discriminators[J]. IEEE Transactions on Image Processing, 2023,32:4472-4485.

[29]LI C Y,ANWAR S,HOUJ H,et al. Underwater image enhancement via medium transmission-guided multi-color space embedding[J]. IEEE Transactions on Image Processing,2021,30: 4985-5000.

[30]PENG L T,ZHU C L,BIAN L H.U-shape transformer for underwater image enhancement [C]//Computer Vision-ECCV 2022 Workshops. Cham: Springer Nature Switzerland,2023: 290-307.

[31]SHARMA P,BISHTI,SUR A.Wavelength-based atributed deep neural network for underwater image restoration[J].ACM Transactions on Multimedia Computing,Communications,and Applications,2023,19(1):1-23.

[32]KINGMAD P,BAJ,HAMMAD M M.Adam:a method for stochastic optimization[EB/OL].htps://arxiv.org/abs/1412.698 0v9.

[33]LICY,GUO C L,REN WQ,et al.An underwater image enhancementbenchmark datasetandbeyond [J].IEEE Transactions on Image Processing,2019,29:4376-4389.

[34]ISLAM M J,XIA Y Y,SATTAR J.Fast underwater image enhancement for improved visual perception[J].IEEE Robotics and Automation Letters,2020,5(2): 3227-3234.

[35]DREWS Jr P,DO NASCIMENTO E,MORAES F,et al. Transmission estimation in underwater single images [C]//2013 IEEE International Conference on Computer Vision Workshops Sydney,NSW,Australia.IEEE,2013:825-830.

[36]FU Z Q,WANG W,HUANG Y,et al.Uncertainty inspired underwater image enhancement [M]//Computer vision-ECCV 2022.Cham:Springer Nature Switzerland,2022:465-482.

[37]GUO CL,WU RQ,JINX,et al. Underwater ranker:learn which isbetter and how tobe better[J].Proceedings of the AAAI Conference on Artificial Intelligence,2023,37(1):702-709.

[38]KHAN MR,MISHRAP,MEHTAN,et al. Spectroformer:multidomain query cascaded transformer network for underwater image enhancement [C]//O24IEEE/CVFWinter Conferenceon Applications of ComputerVision(WACV).Waikoloa,HI,USA. IEEE,2024:1443-1452.

[39]LINWT,LINYX,CHENJW,et al.PixMamba:leveraging state space models in a dual-level architecture for underwater image enhancement[C]//Proceedings of the Asian Conference on ComputerVision.2024:3622-3637.

主站蜘蛛池模板: 日本欧美在线观看| 久久久久国色AV免费观看性色| 国产精品林美惠子在线播放| 欧美午夜久久| 91成人在线观看| 久久一色本道亚洲| 国产欧美另类| 亚洲三级影院| 18禁黄无遮挡网站| 任我操在线视频| 99热最新网址| 热这里只有精品国产热门精品| 国产丰满大乳无码免费播放| 国产黑丝视频在线观看| 精品伊人久久久香线蕉| 美女亚洲一区| 免费一级成人毛片| 97影院午夜在线观看视频| 国产二级毛片| 首页亚洲国产丝袜长腿综合| 成年片色大黄全免费网站久久| 亚洲AV无码乱码在线观看代蜜桃| 免费av一区二区三区在线| 国产爽妇精品| 亚洲欧美一区二区三区蜜芽| 久久香蕉国产线看精品| 最新精品久久精品| 国产成人综合久久精品尤物| 国产成人综合网| 午夜小视频在线| 99久久无色码中文字幕| 成年看免费观看视频拍拍| 国产精品爽爽va在线无码观看| 中文字幕中文字字幕码一二区| 99热这里只有免费国产精品 | 国产特级毛片| 另类综合视频| 亚洲香蕉在线| 午夜国产精品视频| 2021国产精品自产拍在线观看| 亚洲精品大秀视频| 任我操在线视频| 91久草视频| 波多野结衣无码中文字幕在线观看一区二区| 欧美日韩一区二区在线播放| 日韩大片免费观看视频播放| 欧美成人日韩| 亚洲欧美极品| 高清大学生毛片一级| 国产无码制服丝袜| 欧美区一区| 亚洲性影院| 丁香五月激情图片| 日本91在线| 免费人成黄页在线观看国产| 午夜毛片免费观看视频 | 国产精品无码一区二区桃花视频| 国产美女一级毛片| 亚洲欧美国产视频| 国产h视频免费观看| 四虎影视8848永久精品| 伊人久热这里只有精品视频99| 制服丝袜在线视频香蕉| 欧美午夜在线观看| 亚洲精品另类| 精品91视频| 国产无码在线调教| 国产亚洲男人的天堂在线观看| 欧美日韩午夜| 精品久久高清| 国产靠逼视频| 毛片久久久| 亚洲成人在线免费| 国产性猛交XXXX免费看| 久久综合色天堂av| 亚洲精品成人福利在线电影| 三上悠亚一区二区| 免费高清自慰一区二区三区| 久久a毛片| 乱色熟女综合一区二区| 欧美v在线| 久久久久国产一区二区|