基于AOD-Net改進的單幅圖像去霧算法研究

金彬峰 黃金煒 趙慧勐

摘? 要：針對霧天拍攝圖像不清晰的問題，提出了一種基于改進AOD-Net的單幅圖像去霧算法。即在已有AOD-Net去霧算法的基礎上，針對其存在的參數估計不均導致累計誤差，從而使得去霧后的圖像色彩失真以及低照度下效果不佳等缺陷，對AOD-Net去霧算法的損失函數進行了改進，同時引入一個低照度增強模塊。由實驗結果可知，改進的方法在真實圖像和人工合成圖像上去霧效果都有了較大的提升，有效地提高了圖像質量，在PSNR和SSIM指標上均優于其他對比算法。

關鍵詞：圖像去霧；AOD-Net；低照度增強模塊；PSNR；SSIM

中圖分類號：TP391? 文獻標識碼：A? ? 文章標號：2096-4706（2023）01-0080-04

Research on Improved Single Image Defogging Algorithm Based on AOD-Net

JIN Binfeng， HUANG Jinwei， ZHAO Huimeng

（School of Computer Science and Engineering， Anhui University of Science and Technology， Huainan? 232001， China）

Abstract： In order to solve the problem of unclear images taken in fog， a single image defogging algorithm based on improved AOD-Net is proposed. That is， based on the existing AOD-Net defogging algorithm， the loss function of AOD-Net defogging algorithm is improved， and a low illumination enhancement module is introduced at the same time， aiming at the defects that the uneven parameter estimation leads to cumulative error， which leads to the color distortion of the image after defogging and the poor effect under low illumination. From the experimental results， we can see that the improved method has greatly improved the defogging effect in both real images and synthetic images， and effectively improved the image quality， and is superior to other comparison algorithms in terms of PSNR and SSIM indicators.

Keywords： image defogging; AOD-Net; Low illumination enhancement module; PSNR; SSIM

0? 引? 言

近年來，工業的蓬勃發展一方面提高了人們生活質量，另一方面也給社會帶來了一定程度的負面影響，汽車尾氣排放和工業污染的加重導致PM2.5濃度上升，霧霾天氣也出現得越來越頻繁。霧霾不僅會對人的身心健康造成嚴重的危害，還會加劇交通事故的發生，對社會生產生活也有廣泛的影響。因此對圖像去霧技術的研究逐漸成為計算機視覺領域不可缺少的課題。

為了降低霧霾對圖像質量產生的影響，從20世紀末開始研究者提出許多不同方法。目前，對霧天圖像處理的方法主要分為三類：

（1）基于圖像增強的去霧算法，這類算法不用考慮圖像退化的原因，主要是通過提高細節信息以及對比度來提高圖像視覺質量，代表性的算法有基于Retinex理論的方法[1]、直方圖均衡化方法[2]和頻域濾波等方法，但這類方法容易造成圖像失真或過增強現象。

（2）基于圖像復原的去霧算法，這類算法主要依靠大氣散射模型，對大氣散射作用進行建模，實現復原。代表性的算法有何凱明博士的暗通道去霧算法[3]，以及后續的基于導向濾波的暗通道去霧算法[4]，但這類算法過于依賴于對模型參數進行有效估計。

（3）基于深度學習的去霧算法，近年來，卷積神經網絡在計算機視覺和圖像處理方向取得了很大的進展，也出現了大量的基于CNN的去霧算法。大致分為兩類，第一類還是基于大氣退化模型，通過卷積神經網絡估計模型中的參數，早期的方法基本都是依據這種思想。第二類直接以有霧圖像為輸入，直接輸出無霧圖像，即深度學習中的端到端。基于CNN代表性的算法有Cai等人提出的端到端的去霧網絡-DehazeNet[5]、多尺度卷積神經網絡（Multi Scale CNN， MSCNN）[6]、多尺度融合的一體化網絡（All in One Dehazing Network， AOD-Net）[7]，雖然這類算法同傳統的算法相比去霧效果有了顯著的提高，但仍存在著一些不足。

針對以上算法存在的不足，本文基于深度學習，提出了一種基于改進AOD-Net的單幅圖像去霧算法，以原有AOD-Net作為主干網絡，對其損失函數進行改進，并且引入一個亮度增強模塊，實驗結果表明，本文算法得到的去霧圖像視覺效果更好，圖片更加自然飽滿。

1? 基本原理

1.1? AOD-Net去霧算法

AOD-Net提出了一種使用卷積神經網絡（CNN）構建的圖像去霧模型，稱為多合一去霧網絡（AOD-Net），網絡結構如圖1所示，它是根據重新制定的大氣散射模型設計的。AOD-Net不像以前大多數模型那樣分別估計傳輸矩陣和大氣光，而是直接通過輕量級CNN生成干凈的圖像。

AOD-Net算法主要由以下五個步驟組成：

步驟一：大氣散射模型轉換及公式更改。在計算機視覺中，大氣散射模型可表示為以下公式：

I（x）=J（x）t（x）+A（I-t（x））? ? ? ? ? ? ? ? ? ? ? ? （1）

其中I（x）表示待去霧的圖像（原始圖像），J（x）表示去霧后的圖像，A表示無窮遠處的大氣光成分，t（x）表示透射率，要恢復無霧圖像，則必須精準估計其他參數的值，AOD-Net核心思想就是將（1）中的I（x）和A兩個未知量統一成一個參數，即K（x），K（x）的變換公式如式（2）所示，直接在圖像像素域上最小化重建誤差，得到簡化的大氣散射模型如式（3）所示：

（2）

J（x）=K（x）I（x）-K（x）+b? ? ? ? ? ? ? ? ? ? ? ? （3）

步驟二：AOD-Net為了增強特征提取能力，采用了一種多尺度特征融合方式。在AOD-Net的網絡層中，結構如圖1所示，concat1層連接了來自conv1和conv2層的特征。同樣地，concat2連接來自conv2和conv3的特征，concat3連接了來自conv1、conv2、conv3和conv4的特征。這種多尺度的設計通過不同尺度捕獲特征，其中它的中間連接層也彌補了卷積過程中的信息損失，同時，AOD-Net每個卷積層都只用了3個過濾器，這是該模型輕量的原因。這樣的網絡結構分明，也有利于更好地進行運算。

步驟三：創建合成數據集。AOD-Net通過設置不同大氣光值，統一選擇通道，把NYU2數據集拓展成含有不同濃度的有霧圖像數據集。

步驟四：使用了均方誤差損失函數，如式（4）：

LMSE=（Ji-F（Xi））2? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（4）

其中Xi表示有霧圖像，Ji表示合成的無霧圖像，F（Xi）表示通過網絡后得到的去霧圖像。

步驟五：通過訓練后，AOD-Net網絡可以得到訓練好的網絡各層的權值，通過加載權值，用AOD-Net網絡讀取有霧圖像，直接獲得去霧圖像。

1.2? 損失函數的改進

雖然AOD-Net同傳統的去霧算法相比，在去霧效果上有了顯著的提升，但是對于部分圖片仍有去霧效果不佳、對比度過高、對于一些邊緣細節處理不完善等缺陷。本文保留AOD-Net原本的網絡結構，對其損失函數進行改進，以達到提升去霧的效果。

SSIM作為衡量圖片相似程度的指標，公式如式（5）：

（5）

其中μx是x的平均值，σx2是x的方差，σxy是x和y的協方差，μx和σx是x對于亮度和對比度的估值。（ p）和cs（ p）是x像素和y像素亮度以及對比度的相似性測量，根據x和y的變化對其結構相似性進行評價。

SSIM損失函數如式（6）：

（6）

但是在現實情況下，SSIM函數的訓練效果并不會很穩定，會受到參數的影響，導致去霧效果差等問題。引入了一種多尺度SSIM損失函數，使用M個級別的σ值對SSIM進行改進，多尺度SSIM如式（7）：

（7）

其中lM是l（ p）以M為刻度定義的，csj是cs（ p）以j為刻度定義的，把α和β設置為1，使用中心像素? 近似計算區域損失為：

（8）

式（8）轉換為導數形式得到式（9）：

（9）

對比于AOD-Net使用的均方誤差函數，使用該損失函數能夠減少與清晰圖片的差異，無論是對比度還是細節處都有明顯的提升。

1.3? 低照度增強模塊

針對輸入圖像在照度低的情況下成像不清晰，以及AOD-Net去霧后可能導致亮度和清晰度明顯降低的問題。在AOD-Net模塊中加入一個低照度增強模塊，在對比文獻中，發現Zhu等提出的一種新的三分支全卷積神經網絡RRD-Net[8]的效果較好，它不需要任何先前的圖像示例或先前的訓練，而是通過將輸入圖像分解為三個分量：照明、反射和噪聲，通過對loss進行迭代來有效估計出噪聲和恢復光照，從而明確預測噪聲以達到去噪的目的。RRD-Net在提升圖像亮度和清晰度的同時，也避免了過度曝光，RRD-Net如圖2所示。

首先進行分解，由三個分支輸出組成：分量反射率圖R、照度圖S和噪聲圖N，公式如式（10）：

I（x）=R（x）S（x）+N（x）? ? ? ? ? ? ? ? ? ? ? ? ?（10）

分別對應估計反射分量、光照及噪聲。反射分量和光照通過sigmoid函數層結束，保證強度范圍能在[0，1]之間。特殊的是，為了讓加性噪聲更加擬合，在其結尾使用了tanh層，能保證噪聲值范圍在[-1，1]之間。

其次是進行恢復，經過伽馬變換光照分量可以調整為式（11）：

（11）

這中間γ表示一個預定義的參數，將輸入圖減去噪聲圖N并除以S后進行變換得到估計的反射圖。公式如式（12）：

（12）

根據調整后的光照強度以及無噪聲的反射率，最后可以計算得到其需要恢復的結果。公式如式（13）：

（13）

選取了夜間的圖片對RRD-Net進行了實驗，原圖和增強后的對比如圖3所示。

通過對比可以看出RRD-Net的一些優點：能較好地增強低光照圖像，也不存在過度曝光或者局部曝光等現象。

2? 實驗過程與結果分析

本文選取有霧圖像RESIDE的公開數據集，RESIDE是一個由真實霧霾和人工合成霧霾組成的一個數據集，由五個子集構成，其每個子集根據不同的需求來進行訓練以及評估，實驗選取了ITS以及搜集到的霧天圖像進行訓練和測試。良好的硬件和軟件對訓練模型起著至關重要的作用，本文訓練的硬件環境為CPU：Intel Corei7-11370H，GPU：Nvdia RTX 3060，內存16 GB。軟件環境為：操作系統：Windows 11，深度學習框架：Pytorch，Python 3.7。采用圖像去霧領域最廣泛使用的評價指標峰值信噪比PSNR（Peak Signal-to-Noise Ratio）以及結構相似性SSIM（Structural Similarity）對實驗進行客觀評價，其值越高，證明霧度去除效果越佳。

實驗分為合成有霧圖和真實場景有霧圖進行，并與傳統的去霧算法、DCP、雙邊濾波，以及基于深度學習的DehazeNet、AOD-Net算法進行比較。

2.1? 合成有霧圖去霧測試

因為還要考慮低照度下的圖像成像，所以選取了一些照度低的有霧圖像進行測試，其對合成有霧圖去霧結果如圖4所示。各個算法PSNR及SSIM實驗結果如表1所示，可以看出本文算法在評價指標上都優于對比算法。

2.2? 真實場景有霧圖去霧測試

由于合成數據集的霧氣是人為添加的，所以可能存在著部分偏差。為了更好地驗證改進算法的效率，圖5是在真實環境下對有霧圖像進行去霧的結果。明顯能看出DCP表現最差，光暈嚴重。雙邊濾波去霧后圖像有點失真，DehazeNet去霧效果不錯，但是對比度偏高，AOD-Net去霧效果一般，部分細節還是沒處理好，且亮度較暗，對比之下，本文改進的算法不僅在圖像去除霧方面得到了不錯的提升，對于低照度的圖片也有較好的增強效果。

3? 結? 論

針對AOD-Net去霧算法存在的一些不足，本文提出的基于改進AOD-Net的單幅圖像去霧算法，引入新的損失函數和低照度增強模塊進行了優化，從PSNR、SSIM上與其他經典算法進行比較，本文改進的算法在對比中比經典算法具有更好的去霧效果。基于深度學習的去霧算法目前在公共安全以及交通管理方面也有很大的前景，在接下來的工作中也將研究去霧算法在此類環境下的應用。

參考文獻：

[1] RAHMAN Z，JOBSON D J，WOODELL G A. Multi-scale Ret-inex for color image enhancement [C]//Proceedings of 3rd IEEE International Conference on Image Processing.Lausanne：IEEE，1996：1003-1006.

[2] THANH L T，THANH D N H，HUE N M，et al. Single image dehazing based on adaptive histogram equalization and linearization of gamma correction [C]//2019 25th Asia－Pacific Conference on Communications（APCC）．Ho Chi Minh City：IEEE，2019：36-40．

[3] HE K M，SUN J，TANG X O，et al. Single image haze removal using dark channel prior [EB/OL].[2022-08-29].https：//www.docin.com/p-824571919.html.

[4] HE K M，SUN J，TANG X O. Guided image filtering [J].IEEE transactions on pattern analysis and machine intelligence，2013，35（6）：1397-1409.

[5] CAI B L，XU X M，JIA K，et al. DehazeNet：An End-to-End System for Single Image Haze Removal [J].IEEE Transactions on Image Processing，2016，25（11）：5187-5198.

[6] ZHANG J，TAO D C． FAMED－Net：AFast and Accurate Multi-Scale End－to-End Dehazing Network [J].IEEE Transactions on Image Processing，2020，29（1）：72-84.

[7] LI B Y，PENG X L，WANG Z Y，et al． AOD-net：All-in-one dehazing network [C]//2017 IEEE International Conference on Computer Vision（ICCV）.Vision：IEEE，2017：4770－4778.

[8] ZHU A Q，ZHANG L，SHEN Y，et al.Zero-Shot Restoration of Underexposed Images via Robust Retinex Decomposition [J].2020 IEEE International Conference on Multimedia and Expo（ICME）.London：IEEE，2020：1-6.

作者簡介：金彬峰（1997—），男，漢族，浙江湖州人，碩士在讀，研究方向：圖像處理；黃金煒（1999—），男，漢族，江蘇南通人，碩士在讀，研究方向：圖像處理；趙慧勐（2000—），男，漢族，山東濟寧人，碩士在讀，研究方向：圖像處理。

收稿日期：2022-09-22