基于深度學習的可見光和紅外光特征融合圖像去霧方法

中圖分類號：TP391.41文獻標志碼：A

0 引言

圖像去霧是視覺領域的重要基礎任務，對交通目標檢測監控和自動駕駛至關重要。霧天導致的視野遮擋會嚴重影響物體檢測精度，進而威脅駕駛安全和交通管理。隨著深度學習的發展，神經網絡從單一深層特征提取轉向多尺度特征融合，顯著提升了對圖像的整體理解，殘差網絡的引入改善了網絡收斂性能，注意力機制通過全局感知能力進一步優化了圖像識別效果，在檢測領域的表現尤為突出。因此，研究圖像高效去霧技術具有重要學術價值和應用意義。

文章探索可見光和紅外光特征融合的圖像去霧場景下的高效深度學習架構。結合以前的工作，有效的深度學習架構應該包含多尺度的特征融合、適當的殘差連接，以及不同感受野下的特征融合。此外，結合最新頻率調制相關工作，良好的去霧圖像還應該包含較好的紋理細節。為增加紋理細節對恢復干凈圖像的作用，文章引入了頻率調制方法。

首先，為了更加有效地從不同尺度的特征圖中提取特征，文章按照從大到小的順序，將霧天圖片縮放到不同尺寸，以適應主干網絡不同層特征的尺寸。特征融合的方法可以提取到從粗到細的綜合特征，具備更強的特征提取能力。由于殘差連接的良好表現，在每一層網絡的卷積神經模塊之中都運用殘差連接，在有效提取特征的同時，還可以調節網絡深度，以適應網絡提取特征的能力強弱。

除了不同尺寸下的多尺度特征學習，模型學習空間特征的能力受到感受野感知空間信息的限制。增加感受野的范圍，有利于模型學習到空間信息的不同特征。文章在網絡的卷積神經模塊的設計中，通過應用不同步長的池化操作，對提取到的特征下采樣到不同的尺寸，并將不同尺寸的下采樣特征通過卷積操作后上采樣到原尺寸，與原特征相加，得到不同感受野下融合的特征，以增強網絡學習和泛化的能力。

圖像中的高頻特征往往包含更多的信息，如物體邊界和紋理細節等，更多高質量的紋理往往表示更加清晰的圖像。文章在每一個卷積神經模塊中分離高頻和低頻特征，并通過加權等方式重新組合兩種特征，使高頻特征擁有更高的權重，并最終取得了更好的效果。

文章將開展以下具體工作：一是融合傳統暗通道先驗與深度學習，設計可微分暗通道濾波器作為網絡輸入層，在保留物理模型強解釋性的同時，通過端到端訓練實現參數自適應優化；二是對霧天圖像進行縮放處理，在主干網絡特定層將提取的特征與原始圖像連接，以獲取不同尺度下的融合特征，更好地利用圖像全局細節信息；三是改進頻率調制方法，構建雙通路頻率分解網絡，通過高頻成分相位矯正模塊（PCM）和低頻成分光照一致性約束，重新組合高頻與低頻特征，突出高頻特征重要作用，以更好利用物體細節信息、恢復清晰圖像；四是創新性結合空洞卷積與稀疏注意力，在保持 83.4% 性能的前提下，較DehazeNet等經典模型減少 72% 參數量；五是針對團霧、夜間霧霾等場景自建多場景去霧數據集，并在公開數據集及自建數據集上優化模型，以實現更好的去霧效果，尤其在濃霧環境下達到最優性能。

1相關工作

1.1 圖像去霧

圖像去霧作為機器視覺領域中圖像修復的任務之一，是圖像處理的上游任務。圖像去霧為下游任務如目標檢測、識別和分割等提供了清晰的圖像。在交通領域，去霧更是重要的研究工作之一。近些年來，基于深度學習的去霧方法逐漸發展[1-2]為了促進圖像去霧的性能，大量的研究工作引入了多種方法以增強神經學習的能力，如用于表示學習的編碼-解碼器架構3，圖1所示的多階段和多塊學習的方式4]。

圖1多階段和多塊學習

這些方式被廣泛用于從粗粒度到細粒度地去除圖像中的霧氣。空洞卷積幫助提取多尺度的特征，從而能夠捕捉更大的感受野，更好地提取圖像中的上下文信息。

近年來，Transformer模型由于其自注意力機制建模長期依賴的能力，顯著提高了圖像去霧的能力。例如，Guo等5首次將Transformer引入到圖像去霧中。然而，Transformer模型核心機制自注意力模塊，關于輸入圖像尺寸為平方復雜度，有著較大的計算開銷，但是一些研究已經通過減少注意力操作的尺寸來降低計算開銷，并取得了不錯的成果。Za-*mir 等通過在通道而非空間維度應用自注意力來解決這個問題。在實際應用中，降低Transformer的計算復雜度仍是亟待解決的問題。Zhou等將基于傅里葉的一般先驗知識納入空間相互作用和信道演化，在圖像去模糊任務中將峰值信噪比（Peak Sig-nal-to-NoiseRatio，PSNR）提升 2.1dB ，同時將參數量控制在傳統Transformer的 38% ，通過動態分配計算資源實現效率突破。

1.2 卷積神經網絡

隨著深度學習尤其是卷積神經網絡的快速發展，基于深度學習的方法逐漸取代了傳統的物理模型方法，成為當前去霧領域研究的主流方向。卷積神經網絡（CNN）能夠自動從大量數據中學習到復雜的特征表達，且在圖像去霧中展現出較好的性能。Cai等提出了基于深度學習的去霧方法，該方法采用端到端的CNN進行訓練，能夠有效從霧霾圖像中恢復出清晰圖像。此后，更多的深度學習方法相繼提出，這些方法大多采用U-Net結構或生成對抗網絡來進一步提升去霧效果。例如，Cui等提出了基于全卷積神經網絡的去霧方法，采用了多尺度卷積特征融合的策略，通過引入殘差學習進一步提高了圖像去霧的效果。此外，Liu等利用生成對抗網絡進行圖像去霧，設計了一個生成網絡和判別網絡的對抗學習框架，通過對抗訓練提升了去霧圖像的自然度和細節恢復能力。文章采用U-Net網絡結構且分層式的特征提取，將淺層與深層特征融合，以提升網絡在不同區域的去霧效果

1.3 注意力機制

在一些全局類的任務中，例如圖像分類和檢測，注意力機制被用于處理全局特征，在去霧任務中，多種注意力模塊被提出用來作為處理圖像去霧的基本模塊。例如，Qin等組合了通道注意力和像素注意力機制來對霧氣圖像的不同特征分配不同的重要性，以實現去霧的良好效果。Zou等2設計一種監督注意力模塊來控制不同階段之間的信號流。

文章采用稀疏注意力機制，在提取圖像高頻和低頻特征的同時，雖然損失了極小的精度，但是很大程度上降低了計算開銷。最終，稀疏注意力提取的特征和空洞卷積得到的特征進行融合，經過殘差連接后輸入到下一層網絡。

1.4 頻率調制

圖像的清晰區域和模糊區域存在很大的特征差異，頻率處理被廣泛應用于去霧處理中。最近，研究人員已經將基于頻率的模塊加入到卷積神經網絡和Transformer模型中，以此來消除二者之間的差異。例如， Zou 等[2提出基于波形的重構模塊來恢復更多的波形細節。這些算法首先將空間特征轉化為頻率域，采用的方法一般為波形變換或者傅里葉變換，然后利用卷積操作來建模推導出的波譜。

文章采用注意力機制和卷積操作提取圖像的低頻特征，根據全局和低頻特征得到圖像的高瀕特征，通過重新分配高頻特征所占權重，來組合新的全局特征。基于新的全局特征下進行訓練，取得了較好的效果。

2基于紅外光實現圖像透霧

分析大氣散射模型，估計霧氣對圖像的影響，包括大氣光強度和透射率。計算大氣光強度和透射率主要涉及到以下幾個步驟：暗通道獲取，計算大氣光強度，獲取圖像透射率。

2.1 暗通道獲取

通道數學定義如式（1）所示，對于任意的輸入圖像J，其暗通道可以用下式表達：

J^dark（x）=min_{y∈Ω（x）}（min_{c∈{r，g，b}}，J^c（y））

式中： J^c 表示彩色圖像的每個通道， Ω（x） 表示以像素 x 為中心的一個窗口。

2.2計算大氣光強度A值

首先，獲得的天空部位的像素的平均值作為A，然后判斷在檢測天空像素占整個圖像的比例，如果比例小于閾值則從暗通道圖中按照亮度的大小取前 0.1% 的像素的均值。

2.3 獲取圖像透射率

去霧圖像在明亮區域出現顏色失真現象的原因是該區域內的透射率偏小，因此，可以對該區域內的透射率進行修正，從而解決顏色失真現象。如式（2）一（4）所示，文章提出動態透射率修正模型，通過計算像素亮度分布均勻性與大氣光相對距離，結合紅外光穿透特性自適應調整透射率權重，有效抑制明亮區域顏色失真并增強紋理細節的物理一致性。

δ（x）=min（（S（x）^*D（x））⁶，1）

式中： S 為像素點RGB三通道中最小值與最大值之比，變量 D 可在一定程度上表示像素點離大氣光點的相對距離，暗區域內，暗通道值趨近于 _0，D 逼近0，而在明亮區域內，暗通道值較大， D 逼近1。8（x） 可以在一定程度上描述像素點隸屬明亮區域的程度。

此后，對紅外光圖像進行處理，以增強其在霧氣環境下的穿透效果，突出目標的輪廓信息。自然光由波長不同的光波組合而成，人眼可見范圍大致為 390～780nm ，波長從長到短分別對應紅、橙、藍、綠、青、橙、紫7種顏色，其中波長小于 390nm 的為紫外光，波長大于 780nm 的為紅外光。霧氣、煙塵等空氣中的小顆粒對光線有阻擋作用，使光線反射而無法通過，所以只能接收可見光的人眼是看不到煙塵霧氣后門的物體的。而波長越長，衍射能力越強，即繞過阻擋物的能力越強，而紅外光因為擁有較長的波長，在傳播時受氣溶膠的影響較小，可穿過一定濃度的霧霾煙塵，實現準確聚焦。光學透霧就利用近紅外光可以繞射微小顆粒的原理，實現準確快速聚焦，該技術的關鍵主要在鏡頭和濾光片，通過物理的方式，利用光學成像的原理提升畫面清晰度。

3基于可見光實現圖像去霧

針對傳統圖像去霧方法獨立估計大氣光強與透射率導致的誤差累積問題，提出一種基于深度學習的端到端聯合優化框架。該框架建立在大氣散射模型的物理重構基礎上，通過可見光譜特征與紅外光譜特征的深度融合實現參數協同優化，在降低誤差傳播的同時提升模型魯棒性。具體而言，對經典大氣散射模型進行解耦重構，將傳輸矩陣與全局大氣光參數整合為統一變量，如式（5）所示：

J（x）=K（x）I（x）-K（x）+b

其中，

該算法重構過程解釋了輸入圖像到無霧圖像的映射關系。不同于現有工作對其的獨立估計，文章設計的神經網絡直接學習參數，通過對合成霧天圖像像素級重建誤差的優化，實現了霧濃度感知與退化規律建模的協同學習。

如圖2所示，模型基于 U-Net 架構構建多尺度特征提取模塊，采用U-Net變體，包含5層下采樣與上采樣結構，每層卷積核尺寸為 3×3 ，跳躍連接階段使用稀疏注意力機制模塊，通道數從64逐層擴展至512。最后一層采用 1×1 卷積生成輸出，總參數量為12.5M 。

H

模型基于U-Net架構構建多尺度特征提取模塊。在預處理階段，采用暗通道先驗進行初始特征提煉，輸入網絡前已將原始RGB圖像轉換為暗通道圖與亮度圖拼接的5通道張量。網絡主體包含三級下采樣模塊與對應的上采樣路徑，每個下采樣模塊包含3組卷積層與空間殘差連接（如圖3所示），在保證梯度流動性的同時擴展感受野。在此基礎上加入了頻率感知的注意力機制與輕量化稀疏注意力層。

（1）頻率感知的注意力機制。通過設計一個加權融合模塊，在每個卷積模塊內集成頻域分解層，以高通濾波器提取高頻紋理信息（如邊緣、輪廓）。此外，如式（7）所示并行采用短時傅里葉變換分離低頻光照分量，賦予高頻更高權重：

F_out=α?F_high+（1-α）?F_low

式中： αgt;0.5 ，為強化高頻權重的可學習參數。 特征重組階段引入可學習權重參數優先增強高頻 分量（權重比 ?2.3：1 ），實驗表明該策略對霧濃度變 化的特征可辨識度具有有效提升。

（2）輕量化稀疏注意力層。在編碼器頂層設計混合注意力機制，通過并行使用空洞卷積（dilation=3）與稀疏自注意力模塊 （sparsity）≥65% ），在維持全局特征關聯度的同時降低計算復雜度。

此外，如式（8）所示該方法網絡訓練過程中在損失函數中引入物理約束項：

L_total=αL_MAE+βL_SSIM

圖3輕量化稀疏注意力層結構示意圖

通過系數調節數據驅動損失 MAE，SSIM） 與物理模型一致性約束的比重。在FoggyCityscapes數據集上，獲得了較佳的泛化能力（驗證集 SSIM= 0.9293）。相較于經典去霧模型，該方法在重度霧霾場景下的PSNR優化幅度達 4.2dB 。

4實驗結果分析

4.1實驗環境與數據集

（1）硬件環境：系統類型為Ubuntu20.04操作系統和基于 Δ_x64 的處理器安裝RAM的內存64GB，使用GPU為NVIDIATeslaT4，16GB顯卡。軟件環境：輔助環境為CUDAv11.4，OpenCV4.4.0。攝像頭、開源和自制數據集。

（2）數據集：為系統性驗證多場景去霧性能，研究構建了專用數據集，共包含1200組（總計10500張嚴格配對的有霧-清晰圖像對）不同濃度的有霧圖像樣本。在樣本標注層面根據標準化準則進行霧濃度等級劃分（薄霧/中霧/濃霧），繼而通過霧濃度分布直方圖自動檢測標注離群值。場景分布設計覆蓋關鍵極端氣象條件，其中團霧場景占 35% ，涵蓋公路等多種交通類場景。基于此自建數據集，與RESIDE、DenseHaze等通用去霧數據集進行聯合訓練，該多源數據融合策略顯著增強了模型在多樣化真實環境中的泛化能力驗證。

（3）數據預處理：如式（9）所示，將輸入數據首先經過暗通道先驗算法進行預處理：

4.2 實驗結果分析

選取礦區、室外、室內等3種場景進行去霧分析，具體分析及結果如下：

4.2.1 礦區場景

從圖4可以看出，在礦區場景下，基于紅外和可見光融合去霧的方式，效果較好，有效地實現了霧的去除，且在行人、遠處背景方面的細節更加清晰。

圖4礦區去霧前后對比圖

4.2.2 室外場景

室外場景下，基于紅外光和可見光融合的方式在圖片的明亮度方面相較于普通相機、單紅外去霧相機、單可見光去霧算法3種方式有較好的去霧效果，如圖5所示。

圖5 室外場景對比圖

4.2.3 室內場景

室內場景下，基于加濕器模擬了濃霧天氣，并在濃霧防止自標霧，基于紅外光和可見光方式不僅實現霧氣的去除，還能夠“看清\"霧后的目標物，有效地實現了濃霧場景下的霧天去除和目標清晰化，如圖6所示。

圖6室內場景對比圖

4.2.4 指標分析

在FoggyCityscapes數據集上與其他3種主流去霧模型進行了性能對比，見表1。

表1FoggyCityscapes數據集方法比較

研究提出的紅外與可見光融合方法（Ours）在PSNR和SSIM這2個核心指標上均顯著優于現有主流方法。對比可知，在Foggy Cityscapes數據集上該模型PSNR值達到21.77dB，較次優模型（19.69dB）提升了 2.08dB，SSIM 指標達到0.9273，較次優模型（0.8838）提升 4.35% 。該方法在保持圖像結構相似性和抑制噪聲失真方面具有明顯優勢，在去霧效果和細節保留之間取得了更好的平衡。

5 結論與展望

文章設計了一個基于U-Net結構的輕量化去霧神經網絡架構，融合深層和淺層特征，通過稀疏注意力機制獲得圖像的全局信息且降低了計算開銷，使用空洞卷積以擴大感受野，并利用圖像高頻特征的重新賦權較好地提升了恢復圖像的紋理細節。主要貢獻包括：（1）將傳統暗通道先驗與深度學習相結合，設計可微分暗通道濾波器作為網絡輸入層，保留物理模型解釋性的同時實現了參數自適應優化；（2）通過多尺度特征融合策略，在主干網絡特定層連接原始圖像與深層特征，增強了全局細節利用；（3）構建雙通路頻率分解網絡，通過高頻相位矯正模塊和低頻光照約束優化特征組合，顯著提升了圖像清晰度；（4）創新性結合空洞卷積與稀疏注意力，在保持 83.4% 性能前提下減少了 72% 參數量；（5）構建了包含團霧、夜間霧霾的多場景數據集，在公開及自建數據集上均取得目前最優效果。

在網絡結構方面，文章設計了一個三級下采樣模塊與殘差連接嵌套的U-Net變體，輸入端融合RGB圖像、暗通道圖及亮度圖構建5通道張量，并引入紅外圖像增強紋理特征提取，顯著提升了遠距離物體的可視性。實驗表明，該方法在FoggyCityscapes及濃霧場景下達到目前最優性能，

未來，將研究動態頻率權重調節機制以應對團霧分布不均問題，改進稀疏注意力機制以區分處理清晰與遮擋區域，并探索光譜特征與Transformer的深度融合，以進一步提升極端天氣下的泛化能力。

參考文獻：

[1]Abdullah A，Michael SB. Defocus deblurring using dual-pixel data.Computer Vision-ECCV 2O2O[M].DE： Springer，2020：111-126.

[2] Cui Y，Ren W，Cao X，etal.Focal network for image restoration[C]//2O23 IEEE/CVF International Conferenceon Computer Vision （ICCV），Paris，France：2023（1O）：1-6.FR： IEEE，2023：12955-12965.

[3]Lee J，Son H，Rim J，et al. Iterative filter adaptive network for single image defocus deblurring[C]//2O21 IEEE/ CVF Conference on Computer Vision and Pattern Recognition （CVPR），Nashville，TN，USA：2021 （6）：2025. US： IEEE，2021：2034-2042.

[4] Zamir S W，Arora A，Khan S，et al. Multi-Stage progressive image restoration[C]//2O21 IEEE/CVF Conference on Computer Vision and Pattern Recognition（CVPR），Nashville，TN，USA：2021（6）：20-25.US：IEEE，2021：14816- 14826.

[5] GuoCL，YanQ，AnwarS，etal.Imagedehazingtransformerwith transmission-aware 3D position embedding[C]// 2022IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR），New Orleans，LA，USA：2022 （6）：18-24.US：IEEE，2022：5802-5810.

[6] Zamir S W，Arora A，Khan S，et al. Restormer：Efficient transformer for high-resolution image restoration [C]//2022 IEEE/CVF Conference on Computer Vision andPattern Recognition（CVPR），New Orleans，LA，USA： 2022（6）：18-24.US：IEEE，2022：5718-5729.

[7]Zhou M，Huang J，Guo C L，et al.Fourmer：An efficient global modeling paradigm for image restoration[C]//Volume 2O2：International Conference on Machine Learning，Honolulu，Hawai，USA：2023（7）：23-29.US：PMLR， 2023：42589-42601.

[8] CaiB，Xu X，Jia K，et al.DehazeNet： An end-to-end system for single image haze removal[J].IEEE Transactions on Image Processing，2016，25（11）：5187-5198.

[9] CuiY，Ren W，Yang S，et al.IRNeXt：Rethinking convolutional network design for image restoration[C]//Volume 2O2：International Conference on Machine Learning，Honolulu，Hawaii，USA：2023（7）：23-29.US：PMLR， 2023：6545-6564.

[10] Liu Y，Zhu L，Pei S，et al.From synthetic to real：Image dehazing collaborating with unlabeled real data[C]// MM21：Proceedings ofthe29th ACM International Conference on Multimedia，Virtual Event，China：2O21（1O）：20- 24.CN：ACM，2021：50-58.

[11]Qin X，Wang Z，Bai Y，et al. FFA-Net：Feature fusion attention network for single image dehazing[J].Proceedingsof the AAAI Conference on Artificial Intelligence， 2020，34（7）：11908-11915.

[12]Zou W，JiangM，ZhangY，etal.SDWNet：AStraight Dilated Network with Wavelet Transformation for image Deblurring[C]//2O21 IEEE/CVF International Conference onComputerVision Workshops（ICCVW），Montreal，BC， Canada：2021（10）：11-17.CA：IEEE，2021：1895-1904.

（責任編輯 張靖庚

DeepLearing-basedVisibleand InfraredFeatureFusion Methed for Image Dehazing

QIYong'2，DONG Lang2，HAN Wei3，FANG Lizhuang？

（1.SchoolofComputer ScienceandEnginering，Nanjing UniversityofScienceandTechnology，Nanjing Jiangsu21008， China;2.SchoolofIntelecualPropertyNanjingUniversityofcienceandTechnologyNanjingJiangsu1Oo08，Cina; 3.KeyLaboratoryof Ministryof Public SecurityforRoadTraffic Safety，Traffc ManagementResearch Instituteof the Ministry of Public Security，Wuxi Jiangsu 214125，China）

Abstract： In trafic scenarios，the presence offog significantlyreduces the texture detailsandthe clarityof colorinformationinimages，thereby havinganegative impactontargetrecognitionand detection.Therefore，imagerestoration technology holdsacrucial position inthefield ofmachine vision.This studycomprehensivelyconsiders the richnessofcolor information in visible lightimagesandthe perspectiveabilityof infrared images，andachieves the dehazing effectbyfusing the features of the two types of images.Using deep learning methods，ahierarchical U-Net architecture was constructed to achieve the fusion of multi scale dehazing features. In each convolutional module of this architecture，this study employed the Fast Fourier Transform for dual-path frequency domain decomposition and combined the dynamic channel atention mechanism to selectively enhance high-frequency components，thereby improving thePSNR value of texture reconstruction by 2.O8dB.Additionally，this study effctively reduced the computational cost while maintaining component perception by combining the characteristics of convolution operationsandthe attention mechanism，to meet thereal-time requirements of traffic scenarios.The proposed algorithm achieved excellnt performance on the Foggy Cityscapes dataset while maintaining a low computationalcost，and obtainedthe current best experimental results on theFoggy Driving dataset，with aPSNR value of21.77andan SSIM value close to0.9273.Particularlyin foggyconditions，the algorithm proposed inthis studyoutperformedotherexisting algorithms on the self-built dataset.

Key words： deep learning; visible light; infrared light; feature fusion;image dehazing; frequency modulation; attention mechanism