









摘要:針對當前去霧算法效率不高、細節恢復較差等問題,提出一種改進多尺度AOD-Net(all inone dehazing network)的去霧算法。通過增加注意力機制、調整網絡結構和改變損失函數這3 方面的改進,增強網絡的特征提取和恢復能力。模型的第1 層增加空間金字塔注意力 (spatial pyramidattention,SPA)機制,使網絡在特征提取過程中避免冗余信息。將網絡改成拉普拉斯金字塔型結構,使模型能夠提取不同尺度的特征,保留特征圖的高頻信息。使用多尺度結構相似性 (multi-scalestructural similarity,MS-SSIM)+L1損失函數替換原有的損失函數,提高模型保留結構的能力。實驗結果表明,本方法去霧效果更好,細節更豐富。在定性可視化評價方面,去霧圖像效果優于原網絡。在定量評估層面,與原網絡相比PSNR 值提升了2.55 dB,SSIM 值提升了0.04,IE 熵值增加了0.18,這些數值指標充分驗證了本算法的出色去霧效果和穩定性。
關鍵詞:去霧處理;AOD-Net;注意力機制;拉普拉斯金字塔;損失函數
中圖分類號:TP391 文獻標志碼:A 文章編號:1000-582X(2025)02-050-12
在霧、霾等惡劣天氣影響下,空氣中存在大量的懸浮顆粒物,使光線在傳播過程中產生折射和散射現象,造成觀測到的圖像顏色偏灰,大量的細節丟失。霧天條件下得到的圖像難以辨認特征,嚴重影響各類依賴光學成像儀器的系統工作,比如:航拍系統、室外監控、智能駕駛、目標識別系統等[1-2]。因此,對此類圖像去霧確保各系統后續正常運行是一項重要任務。
目前的去霧算法眾多,大致可以分為基于傳統數字圖像處理的去霧法[3]和基于深度學習的去霧法2 大類。其中,基于傳統數字圖像處理的方法又可分為2 種。一種是基于圖像增強的去霧算法,有Land 等[4]的Retinex 算法、直方圖均衡化算法[5]等。此類方法通過改變圖像的顏色等方式去增強圖像效果以降低霧對圖像的影響。單尺度的Retinex 算法不能完善地處理圖像細節,恢復出的圖像存在光斑問題。直方圖均衡化方法則容易產生曝光,色彩還原失真。這些問題常常通過調整參數以改善去霧效果,不適應實際環境下的去霧。另一種是基于物理模型的去霧算法[6?7],典型算法有He 等[7]提出的暗通道先驗去霧算法,該算法分析總結了霧天成像的物理模型,通過模型推導得出去霧后的圖像。暗通道先驗對大氣光的計算精度波動較大,在細化透射率的過程中存在嚴重耗時的問題。同時,暗通道先驗方法在處理天空區域時存在塊狀偏色效應[8],難以應用于實際場景。由此可見,基于傳統數字圖像處理的去霧算法需要針對不同的霧天圖片調整參數,否則會造成部分復原圖像效果失真,缺少魯棒性。
隨著發展,深度學習逐漸應用于圖像去霧領域,相較于傳統圖像處理的方法,該方法具備更強的魯棒性,適應各種場景的霧天圖像恢復。基于深度學習的去霧算法也可以分為兩類,一類是用深度學習生成大氣散射模型所需要的參數,再通過該模型和訓練出的參數恢復清晰圖像的去霧算法,比如Cai 等[9]提出的Dehaze-Net 去霧算法。另一類是根據清晰圖與原圖的關系,通過卷積神經網絡直接從模糊圖像生成清晰圖像的方法。例如Qin 等[10]提出的去霧網絡FFA-Net 以及Li 等[11]提出的AOD-Net,其中,AOD-Net 通過卷積神經網絡學習圖像的全局和局部特征,直接從模糊圖像生成清晰圖像從而去除霧霾?;谏疃葘W習的方法能做到還原大部分場景的霧天圖像,但受特征提取能力影響,會造成部分細節的缺失。
基于圖像增強的方法效果顯著,但由于復雜的去霧環境,恢復出來的顏色與真實色彩差異較大?;谖锢砟P偷姆椒苋コ蟛糠值撵F氣,但是受環境影響較大,常出現還原效果失真等現象。因此,選取基于物理模型的深度學習方法,對模型進行改進以還原更好的細節與色彩。在眾多深度學習去霧模型中,AOD-Net的網絡結構輕巧,同時相較于傳統的數字圖像處理去霧方法更穩定,適合與圖像檢測、識別等其他高級深度模型進行無縫銜接,具有較大研究價值。由于AOD-Net 網絡層數較淺,導致特征提取能力較弱,去霧后效果一般,細節還原較弱。針對以上問題,算法對AOD-Net 進行3 方面的改進。主要工作如下:
1)利用注意力機制在深度學習的任務中有優秀的效果與即插即用的便利性[12],在AOD-Net 的基礎上加入SPA[13]注意力機制,該注意力機制能結合空間與通道上不同像素位置的權重信息,并對特征圖進行自適應更新,進一步細化特征,減少網絡對重復特征的提取。
2)將AOD-Net 的特征提取模塊改進成拉普拉斯型金字塔型結構[14],使模型能夠提取不同尺度的特征圖信息,強化特征提取的同時保留了采樣過程中丟失的高頻信息。
3)將原網絡的MSE 損失函數替換為MS-SSIM+L1 損失函數[15],使模型更好保留圖像的結構及色彩特征,恢復出更符合人眼直觀感受的圖片。
1 去霧原理及算法
霧天圖像的形成主要考慮光的散射和衰減,其中大氣散射模型是描述霧、霾等圖像生成最經典的模型。