改進AOD-Net的端到端圖像去霧實驗研究

馬學條

（杭州電子科技大學電子信息學院，杭州 310018）

0 引言

常用的圖像去霧算法有基于對比度增強、基于物理模型和基于卷積神經網絡等。基于對比度增強的去霧算法和基于物理模型的去霧算法，兩種傳統數字圖像去霧算法比較依賴參數的估計，并且無法調用硬件設備進行算法加速，當圖像尺寸較大、樣本數量較多時，圖像去霧處理效率會顯著下降。

基于變形大氣散射模型的快速去霧網絡AODNet，是一種使用卷積神經網絡構建的端到端的圖像去霧模型，通過將大氣散射模型需要分別計算的大氣光值和投射率整合為一個中間未知量，簡化了去霧模型，大幅度提升了去霧的處理速度，但是該算法進行去霧處理時容易出現圖像色調丟失和圖像偏暗等現象［1］。隨著深度學習在圖像處理領域的快速發展，卷積神經網絡憑借高效的特征提取效率，使其在圖像去霧領域得到了廣泛的應用。

本文針對AOD-Net去霧圖的細節信息丟失問題，提出一種基于改進AOD-Net 的端到端圖像去霧算法，從網絡結構和損失函兩個方面對算法進行了改良，擬有效提升了霧圖細節的處理能力。

1 圖像去霧數學模型

1.1 霧天圖像大氣散射模型

Mc Cartney提出的大氣散射模型由入射光衰減模型（attenuation model）和大氣光成像模型（airlight model）兩部分組成［2］。

（1）入射光衰減模型

式中：E0為入射光在距離為0 的地方的光照強度；d為場景深度；β為單位體積內大氣中的微粒對光線散射的能力，即散射系數。

（2）大氣光成像模型

式中，A表示大氣光值，通常是全局上的常量。

大氣光值模型也為有霧圖像的成像退化模型，其表達式為2 個衰減模型的總和，即：

式中，N為有霧圖像素點個數。為方便，定義EN=I（x），E0=J（x），e-βd=t（x），可得：

式中：I（x）為有霧圖像；J（x）為待恢復的無霧圖像；t（x）為投射率。

1.2 AOD-Net去霧模型

將式（4）進行變形整理，得到待恢復的無霧圖像表達式為

將式（4）中的大氣光值和投射率整合為1 個中間未知量K，定義為K值估計模型，其表達式為

式中，b為常數偏置，默認值為1。

根據大氣散射模型原理，將估計得到的K（x）代入式（5），可得清晰無霧圖片生成模型

AOD-Net去霧模型算法由K值估計模型和清晰無霧氣圖片生成模型2 部分組成，AOD-Net 算法的去霧框架如圖1 所示。

圖1 AOD-Net去霧框架

K值估計模型的網絡結構由5 個卷積層和3 個連接層組成，如圖2 所示。

圖2 K值估計模型的網絡結構

K值估計模型中，卷積層采用不同大小的卷積核來獲取圖像特征，每個卷積層都使用了3 個卷積核［3］。為了將不同卷積層獲取到的特征相結合，網絡結構在不同的卷積層間加入了連接層。第1 個連接層將第1 個和第2 個卷積層提取到的特征相結合，第2個連接層將第2 個和第3 個卷積層提取到的特征相結合，第3 個連接層將第1 個、第2 個、第3 個和第4 個卷積層提取到的特征相結合［4］。網絡模型利用連接層實現了從低層特征到高層特征的平滑轉換，又補償了在卷積過程中的信息損失［5］。

2 改進AOD-Net去霧算法

2.1 多尺度網絡結構設計

AOD-Net算法采用單尺度的網絡結構進行特征提取，對圖像的紋理和細節恢復程度較差［6］。本文采用高斯圖像金字塔模型設計了3 個尺度圖像的網絡結構，提升去霧圖像的邊緣細節質量，使其更加符合人眼視覺感受，改進AOD-Net 多尺度網絡結構如圖3所示。

圖3 改進AOD-Net多尺度網絡結構

多尺度網絡結構中將原尺度輸入圖片B1進行2次下采樣操作，獲得2 倍下采樣圖片B2和4 倍下采樣圖片B3，B1、B2、B3的尺寸分別為640 ×480、160 ×120、40 ×30。將B3輸入到小尺度網絡結構的K值估計模型得到該尺度的特征圖，結合無霧圖片生成模型提取該尺度的無霧圖S3［7］。將S3進行2 倍上采樣，恢復至與中尺度網絡結構輸入圖一致的尺寸，將恢復后的S3與B2進行通道合并后輸入到中尺度網絡結構的K值估計模型，類似操作得到無霧圖S2［8］。最后，將進行2 倍上采樣S2的與B1合并輸入到大尺度網絡結構，獲得最終的無霧圖S1。由于小尺度、中尺度的輸出圖會合并到中尺度、大尺度K值估計模型的輸入端，因此這2 個尺度網絡結構的輸入通道數為6。

2.2 損失函數設計

常見的損失函數一般是基于L1和L2進行設計，它們也被稱為MAE和MSE。L1損失函數是比較像素差異后將像素相減取絕對值，L2損失函數是比較像素差異后將對應像素相減取平均值，L1損失函數和L2損失函數的表達式分別為：

式中：P為圖像塊；p為圖像塊中的像素點；N為圖像塊中的像素數；x（p）表示生成的無霧圖的像素值；y（p）表示有霧圖的像素值。

本文在設計網絡損失函數時將結構相似性（Structural Similarity，SSIM）的差異值作為損失函數的一部分加入網絡訓練［9］。由于SSIM 值是越大越好，因此取1-SSIM 的值作為損失函數，其損失函數表達式為

由于損失函數通常配合卷積網絡使用，因此計算損失函數時只需要計算中央像素的損失，其表達式為

式中：α為損失函數的權重系數；G為像素的高斯分布系數。

3 實驗結果及分析

3.1 評價指標

（1）SSIM 評價指標。SSIM是衡量2 幅圖像相似度的指標，其指標越大代表對比圖的3 個指標越接近標準清晰圖。給定2 個圖像x和y，其結構相似性。

式中：μx為x的平均值；μy為y的平均值；為x的方差；為y的平均值；σxy為x和y的協方差；c1和c2為用來維持穩定的常數。

（2）PSNR評價指標。峰值信噪比（Peak Signal to Noise Ratio，PSNR）代表了圖像峰值信號的能量與圖像噪聲的平均能量之比，用來衡量處理圖的失真程度，兩幅圖像間的PSNR越大，則越相似［10］。它是原圖像與被處理圖像之間的均方誤差相對于（2n-1）2的對數值，其表達式為

（3）Entropy評價指標。圖像熵Entropy表示圖像信源的平均信息量，Entropy 值越大圖像去霧效果越好，圖像灰度值的出現概率pij和圖像熵Eij表達式分別為：

式中：f（i，j）為灰度圖像在坐標（i，j）處的灰度值；pij為每一灰度級出現的概率；M為圖像尺度。

（4）BRISQUE 評價指標。BRISQUE 是一個經典的利用自然場景統計進行無參考圖像評價的模型，其值越小圖片質量越高。算法總體原理是從圖像中提取均值減去對比度歸一化（MSCN）系數，將MSCN系數擬合成非對稱性廣義高斯分布，提取擬合的高斯分布的特征，輸入到支持向量機中做回歸，從而得到圖像質量的評估結果。

（5）圖像均值Mean 評價指標。圖像均值反映圖像的亮度，均值越大反應圖像亮度越大，均值越大說明圖像的質量越好，其表達式為

式中：xi為像素值為圖像像素均值；N為像素個數。

3.2 損失函數權重系數分析

本文選用NYU 霧氣數據集進行訓練［11］，數據集含有1449 張清晰圖和27531 張合成霧圖，訓練時將合成霧圖按8∶1∶1的比例分為訓練集、測試集和驗證集。為了確定本文設計的混合損失函數的權重系數α，采用了一種范圍縮小的方法進行取值確定，訓練迭代次數為1000。設置α=0.1 ～0.9，間隔為0.1，使用式（11）混合損失函數對網絡進行訓練，計算改進AOD-Net算法生成圖與標準圖之間的SSIM 和PSNR值，如圖4 所示為其圖像指標變化曲線。由圖4 可知，權重系數α=0.7 ～0.8，SSIM 和PSNR 的值同時為最大值，因此，可確定最優取值在0.7 ～0.8 之間，繼續以0.01為間隔，使用式（11）混合損失函數對網絡進行訓練。改進的AOD-Net 算法SSIM 和PSNR 曲線如圖5所示。

圖4 α為0.1 ～0.9時改進AOD-Net算法圖像指標變化曲線

圖5 α為0.71 ～0.79時改進AOD-Net算法圖像指標變化曲線

由圖5 可知，綜合SSIM和PSNR兩種評價指標，α的取值為0.77 最適合本文霧氣數據集的訓練。

α=0.77 時，式（11）的混合損失函數對改進AODNet網絡模型訓練時的Loss走勢曲線如圖6 所示。由圖可知，當訓練1000 輪時曲線已處于收斂狀態。

圖6 改進AOD-Net算法損失函數曲線

3.3 合成霧圖實驗結果分析

本文所提出的基于改進AOD-Net 的端到端去霧算法與幾種經典的去霧算法進行了主觀視覺質量和客觀評價指標的對比，包括2 種傳統數字圖像去霧算法（CAP 和DCP）、1 種基于卷積神經網絡去霧算法（AOD-Net）。

在合成有霧數據集上進行去霧效果實驗，通過主觀視覺感受分析各算法的優劣，再結合SSIM 和PSNR 2 個評價指標從客觀數值上系統性的評價各算法的去霧效果［12］。如圖7 所示為4 種去霧算法在室內辦公室、室內廚房、室外馬路和室外建筑物4 幅合成霧圖上的去霧效果。表1 所示為4 種去霧算法在室內辦公室、室內廚房、室外馬路和室外建筑物4 幅合成霧圖上的SSIM和PSNR指標平均值。

表1 4 種去霧算法在4 幅合成霧圖上的SSIM和PSNR平均值

圖7 展示了各算法在NYU 合成霧圖上的去霧效果。由圖7（c）可見，CAP算法處理的圖像去霧效果不佳，圖像對比度過高；由圖7（d）可見，DCP算法處理的圖像略微偏暗，圖像細節存在一定的失真情況；由圖7（e）可見，AOD-Net算法處理的圖像整體偏暗，過于簡單的損失函數使得圖像細節恢復效果不理想；由圖7（f）可見，改進的AOD-Net 算法去霧后的圖像較為清晰，去霧圖的細節和色調均與清晰無霧圖十分接近［13］。

由表1 可見，改進的AOD-Net算法在合成霧圖上的SSIM 和PSNR 平均數值相較CAP、DCP、AOD-Net算法均有一定幅度的提升，實驗數據表明改進的AODNet算法去霧后的圖像與標準清晰圖像的相似度更接近，同時也驗證了本文所提出的改進方式是有效的。

3.4 真實霧圖實驗結果分析

對自然環境中拍攝的真實霧圖進行去霧實驗，通過主觀視覺感受分析各算法的優劣，再結合Entropy、Brisque、Mean 3 個數值從客觀上分析各算法的去霧效果［14］。如圖8 所示為CAP、DCP、AOD-Net、改進AODNet 4 種算法在室外建筑群、室外景點、室外山水和室內餐廳4 幅真實霧圖上的去霧效果。表2 所示為各去霧算法在室外建筑群、室外景點、室外山水和室內餐廳4 幅真實霧圖上的Entropy、Brisque和Mean指標平均值。由圖8 可見，各算法在真實霧圖上去霧效果與合成霧圖上的效果基本類似。由圖8（b）可見，CAP算法去霧效果不佳；由圖8（c）可見，DCP 算法容易出現圖像失真情況；由圖8（d）可見，AOD-Net 算法處理的圖像整體亮度偏暗，圖像細節恢復質量不佳；由圖8（e）可見，改進的AOD-Net算法較為有效地去除了圖像中的霧氣，去霧后的圖像也較為清晰。

表2 去霧算法在4 幅真實霧圖上的Entropy、Brisque和Mean平均值

圖8 3種去霧算法對4幅真實霧圖的去霧效果對比（從左到右依次為室外建筑群、室外景點、室外山水和室內餐廳）

由表2 可知，改進的AOD-Net 算法在真實霧圖上的Entropy和Mean平均數值相較DCP、CAP、AOD-Net算法均有一定幅度的提升，表明改進的AOD-Net 算法在圖像去霧效果、圖像細節保留程度和圖像對比度等方面有著更好的表現［15］。改進的AOD-Net 算法在真實霧圖上，Brisque 平均數值較DCP 算法雖然有小幅的上升，但從圖8 展示的去霧效果分析可知，該算法出現了嚴重的圖像失真；改進的AOD-Net算法在真實霧圖上，Brisque平均數值相較CAP 和AOD-Net 算法均有一定幅度的下降，實驗數據表明改進的AOD-Net 算法在圖像去霧效果、圖像細節保留程度和圖像對比度等方面有著很好的表現，再次驗證了本文所提出的改進方式是有效的［16］。

4 結語

本文從網絡結構和損失函數兩部分對AOD-Net去霧算法進行了改進，提出了改進AOD-Net 去霧算法，該算法在合成霧圖上的SSIM和PSNR平均數值分別為0.9401 和24.6914，在真實霧圖上的Entropy、Brisque和Mean平均數值分別為7.2693、39.5154 和168.2491，相比其他算法，在圖像去霧效果等方面有著更優秀的表現。后續將繼續增加數據集的圖片數量和更多的霧天場景，進一步提高去霧效果，為應用于霧天環境的智能輔助駕駛奠定基礎。