基于并聯卷積神經網絡的圖像去霧

陳清江 張雪

霧霾天氣情況下,懸浮在大氣中的微小顆粒對光線的散射和吸收作用,導致采集到的圖像對比度與飽和度降低,色調偏移,嚴重影響了戶外視覺系統的效用.因此,霧天圖像的清晰化處理成為計算機視覺領域中的一個重要問題.現有的圖像去霧方法主要有兩種,其一是基于圖像增強的方法,這種方法不考慮圖像退化的原因,會造成圖像信息的損失.如基于顏色恒常性的Retinex 理論[1?2]、基于路徑Retinex 算法[3?4]和迭代形式的Retinex 算法[5],這些算法都存在參數調整困難且算法復雜度高的問題.其二是基于圖像復原的方法,此方法利用圖像退化的先驗知識和假設來恢復圖像,去霧圖像信息缺失較基于物理模型的圖像復原方法少,去霧效果自然.如He 等[6]提出了一種基于暗原色先驗知識統計(Dark channel prior,DCP)的方法.但He 的暗通道先驗方法過高估計霧的濃度,導致去霧后圖像整體亮度偏暗,且天空區域常出現失真現象.Zhu等[7]提出了顏色衰減先驗(Color attenuation prior,CAP).盡管上述算法取得了很大的進步,但它們仍然依賴于各種先驗知識,具有一定的局限性.

近些年來,隨著深度學習理論在語義分割[8]、目標識別[9]、圖像超分辨率重建[10]等方面的不斷發展,一些學者將該理論用于圖像去霧領域也獲得了較好的效果.如Cai 等[11]提出的DehazeNet 訓練預測的傳輸圖.Ren 等[12]設計了多尺度卷積神經網絡(Multi-scade convolutionalneuralnetwork,MSCNN) 估計了場景的透射率.Li 等[13]提出了Cascaded CNN,該網絡分別估計大氣光值和傳輸圖.由于這幾種基于卷積神經網絡的方法是分別估計介質傳輸圖和大氣光值的,所以增加了恢復去霧圖像的累計誤差.為此,我們的目標是通過直觀地最大化預測圖像和無霧圖像之間的視覺相似性來訓練一個去霧卷積神經網絡.

與以往的估計介質傳輸圖方法不同的是,我們直接利用霧天圖像和清晰圖像訓練卷積神經網絡.為此,本文提出了一種基于并聯卷積神經網絡的單幅圖像去霧算法.首先,使用霧天RGB 圖像YUV變換的Y、U 和V 分量構建并聯卷積神經網絡,自適應獲得霧霾特征;其次,利用多尺度卷積提取霧霾特征與重建,并且跳躍連接減少了網絡參數,提高了網絡訓練速度;最后,采用遞歸雙邊濾波,對去霧后的RGB 圖像進行濾波,可以得到更加清晰的無霧圖像.

1 相關理論

1.1 大氣散射模型

在計算機視覺領域中,通常使用大氣散射物理模型[14]來描述霧天圖像的退化過程,該模型廣泛用于圖像去霧技術的研究,用公式可表示為

其中,I(x) 為采集到的霧天圖像,J(x) 為清晰圖像,t(x)為介質傳輸圖,A為大氣光值.當大氣同質時,介質傳輸圖可以定義為

其中,β為散射率,當大氣均勻時,在一定時刻對于整幅圖像來說散射率是一個定值,d(x) 為場景對象到傳感器的距離,即場景深度.

1.2 理論分析

由式(1)可知,傳輸圖可表示為

霧霾天氣的大氣光照導致RGB 色彩空間發生一定的變化,近似認為RGB 色彩空間存在白色霧霾.在向量空間中,它表示為

結合式(1)可知

為了使 ?H(x) 主要集中在同一通道上,將?H(x)從RGB 顏色空間轉換為YUV 顏色空間.它們之間的傳遞函數可以表示為

其中,

由于區域內均勻介質 ?H(x) 的存在,使得RGB 顏色空間中容易出現純白色,因此 ?H r(x) ,?H g(x),?H b(x)三個平衡分量近似相等,接近RGB 顏色空間模型的最大值.因此,近似得到

因此,由式(7)和式(8)知

在YUV 顏色空間中,霧天圖像與其對應的清晰圖像之間的總誤差可表示為

其中,x表示每個像素的位置,N為圖像的像素總數.式(10)證明了 ?H(x) 主要投射在亮度通道上.也就是說,將投影在RGB 顏色空間模型灰度軸線上的H(x) 轉換為亮度通道進行除霧.當天氣變壞時,H(x) 的三種成分會導致不平衡.因此,一小部分偏差可以投射到另外兩個色度通道上.

2 圖像去霧算法

經過統計實驗發現在霧天圖像的RGB 色彩空間中,大氣光照對各個分量都具有顯著的影響,而在YUV 色彩空間中,有霧區域主要集中在亮度通道,色度通道和飽和度通道較少,并且,隨著霧霾濃度的增加,亮度通道變化越明顯.因此,本文將主要在亮度通道進行去除霧霾,提出的去霧網絡是一個相對簡單的網絡結構,具有較快的收斂速度,而且恢復的去霧圖像具有良好的效果.

2.1 網絡結構

并聯卷積神經網絡的結構設計考慮了霧天圖像與清晰圖像YUV 各個通道之間的關系,網絡主要由兩個卷積神經網絡組成,較深網絡用來預測亮度通道,較淺網絡用來預測色度通道和飽和度通道,圖1 為本文提出的并聯卷積神經網絡結構圖.

圖1 本文網絡結構Fig.1 The network structure of this paper

第1 層采用多尺度卷積進行明亮度通道的特征提取,多尺度卷積能夠獲取更多的與霧相關的特征,捕獲更加豐富的統計屬性和結構屬性,去除多尺度空間下的霧霾影響,得到更好的去霧效果,提高捕獲圖像內部信息的魯棒性和有效性.詳細參數如表1所示.其中,卷積核尺寸為fi×f i×n i,f i為卷積核的大小,n i為卷積核的數量.

表1 多尺度卷積模型Table 1 Multi-scale convolution model

多尺度卷積操作為

其中,Wsi(i1,2,3,4) 表示第s層的第i組卷積核,Fsi表示第s層輸出的第i組特征圖,Y表示輸入圖像,“?”表示卷積操作.

本文選用參數修正線性單元(PReLU)作為網絡結構的激活函數,除了最后一層,其余每個卷積層與反卷積層的末端都接入此激活函數.PReLU 公式為

式中,x i為第i層的正區間輸入信號,a i為第i層的負區間的權系數.所以卷積層的最終輸出為

其中,Bs為第S層的偏置.

2.2 跳躍連接

中間層部分由兩個相同的全卷積結構組成,單個全卷積結構包括三個卷積層和兩個跳躍連接.首先,采用3×3×64 的卷積核大小,3×3 的卷積核是最小的能夠捕獲圖像的上下左右和中心概念的尺寸,而且相比于大尺寸,它的參數更少,可降低運算復雜度.接著用1×1×16 的卷積核大小,可以有效降低參數大小和計算復雜度,達到降維的作用,提高訓練精度.最后用3×3×32 的卷積核大小進行卷積.將第1 層與第2 層的特征圖進行合并,這種連接方式大幅提升了卷積輸出特征圖的數量,減少了每層所需特征圖的數量,且網絡層數較淺,能夠加快網絡訓練速度,防止網絡陷入局部最優,同時保證圖像細節信息的有效傳遞.

2.3 多尺度重建

多尺度重建在圖像超分辨率重建[10]和目標識別[9]、圖像去霧[15]等方面都得到了較好的效果,因此,在網絡最后一層,采用多尺度卷積進行重建,多尺度卷積不僅能夠提取與霧相關的特征,而且能夠提高圖像的清晰度.

由于霧霾在色度通道和飽和度通道較少,采用三層的卷積神經網絡預測清晰圖像的色度通道和飽和度通道,網絡結構主要由三層卷積和跳躍連接組成,第1 層與第2 層的卷積核大小均為3×3×16,將第1 層與第2 層的特征圖進行合并,得到更多的與霧相關的特征圖,最后一層的卷積核大小為3×3×1,卷積核參數較少,可以提高網絡訓練速度,達到較優的去霧結果.

在網絡訓練過程中,使用均方誤差損失函數(Mean square error,MSE)用來計算輸入霧天圖像與預測的無霧圖像兩者差值平方的期望值,即

其中,Oi表示第i組清晰圖像值,P i表示網絡結構第i組的輸出值,N為樣本訓練數目.利用隨機梯度下降法(Stochastic gradient descent,SGD)和網絡反向傳播算法來最小化MSE以調整網絡參數,網絡權重的更新過程為

其中,?k為第k層的權重更新值,s為層數,k為網絡的迭代次數,η為學習率,為第s層的第k次迭代時的權重.

3 實驗與結果分析

本節描述了實驗數據的獲取、實驗設置與實驗步驟,并且將本文算法的去霧結果與傳統的經典去霧算法:DCP 算法[6]和CAP 算法[7],以及基于卷積神經網絡的SRCNN(Super-resolution convolutional neural network)算法[16],DehazeNet 算法[11]和MSCNN 算法[12]分別在合成霧天圖像數據集和真實自然霧天圖像數據集上進行主觀與客觀的對比分析.

3.1 實驗數據、實驗設置與實驗步驟

1)實驗數據.采用數據集Middlebury Stereo Datasets 和Make3DLaser+Image data,選出160幅清晰圖像以及所對應的深度圖,將這160 幅圖像通過大氣散射模型[14]建立霧天圖像數據集.其中,散射率隨機設置為0.75,1.5,大氣光值隨機設置為(0.7,1.0).圖2 展示了清晰圖像,霧天圖像與預測的無霧圖像的YUV 顏色空間的各個分量的圖像.

圖2 YUV 顏色空間的各個分量對比圖像Fig.2 Each component of the contrast images of YUV color space

2)實驗設置.利用Caffe 框架實現網絡,每層的權重均采用Xavier 分布進行隨機初始化,網絡模型采用固定的學習率,設置為0.0001,動量參數設置為0.9,迭代次數為 106次,利用隨機梯度下降法(SGD)和反向傳播算法進行網絡優化,完成網絡模型的訓練與收斂.

3)實驗步驟.

步驟 1.采用數據集Middlebury Stereo Datasets 和Make3D Laser+Image data 通過大氣散射模型獲取霧天圖像數據集;

步驟 2.將霧天RGB 圖像數據集與清晰RGB圖像數據集轉換為YUV 通道的圖像;

步驟 3.依照本文提出的并聯卷積神經網絡,對霧天圖像與清晰圖像的YUV 各個通道分別進行網絡模型的訓練與測試;

步驟 4.經過YUV 逆變換恢復出預測的清晰RGB圖像;

步驟 5.將卷積神經網絡預測的清晰RGB 圖像采用遞歸雙邊濾波進行增強,得到最終的恢復的去霧圖像;

步驟 6.基于合成霧天圖像數據集的去霧結果與分析;

步驟 7.基于真實霧天圖像數據集的去霧結果與分析.

本文算法流程如圖3 所示.

圖3 本文算法流程圖Fig.3 Algorithm flow chart in this paper

3.2 基于合成霧天圖像數據集的去霧結果與分析

為驗證本文算法對合成霧天圖像的去霧效果,將本文算法與其他算法進行比較.在圖4 ～ 6 中,展示了從數據集中選取的3 幅合成霧天圖像的去霧結果對比.

圖4 不同算法對霧天圖像Dolls 的去霧結果Fig.4 Different algorithms to defog results of fog image Dolls

通過主觀評價可看出,DCP 算法去霧圖像易產生過度飽和的現象,使得場景不真實;CAP 算法產生了色彩過度飽和的結果;基于CNN 的幾種方法都有明顯的去霧能力,但是,在某些區域仍然有少量的霧霾.而本文算法的去霧圖像更加平滑,細節和紋理更加明顯,色彩無偏移,而且更加接近真實清晰圖像.

為了定量地評價這些方法,從數據集Middlebury Stereo Datasets 和Make3D Laser+Image data 分別隨機抽取15 幅合成霧天圖像,使用均方根誤差(Root mean square error,RMSE)[15]、信息熵(Information entropy)[15]、色調還原度(Tone reduction)[17]、平均梯度(Average gradient)[15]、結構相似度(Structural similarity index,SSIM)[15]和峰值信噪比(Peak signal to noise ratio,PSNR)[15]重要的圖像評價標準來衡量去霧圖像的質量,如表2所示.圖7 為以上所展示的三幅圖像的評價指標對比結果.

各個評價指標的數學公式分別為:

1)均方根誤差

其中,n是圖像像素總數,Y是清晰無霧圖像,X是去霧圖像.均方誤差越小,表示去霧圖像和參考圖差異越小,去霧效果越好.

2)信息熵

其中,X表示隨機變量,P(X) 表示輸出概率函數.變量的不確定性越大,熵也就越大.信息熵反映了圖像包含信息量的大小,是衡量圖像信息豐富程度的一個重要指標.

3)色調還原程度

其中,L為直方圖矢量的維數,q i和s i為歸一化值.

4)平均梯度定義

其中,M ×N為圖像的大小,和分別表示水平方向和垂直方向的梯度.平均梯度即圖像的清晰度,反映圖像對細節對比的表達能力.

圖5 不同算法對霧天圖像Trees 的去霧結果Fig.5 Different algorithms to defog results of fog image Trees

圖6 不同算法對霧天圖像Reindeer 的去霧結果Fig.6 Different algorithms to defog results of fog image Reindeer

5)SSIM

6)PSNR

式中,fin為清晰無霧圖像,fout為去霧圖像.峰值信噪比是最普遍和使用最廣泛的一種圖像客觀評價標準,如果PSNR 值越大,圖像的失真就越小.這意味著圖像質量越高,去霧性能越好.

在客觀評價指標中,從表2 以及圖7 可看出,DCP 算法的評價指標值相對較差,CAP 算法的評價指標值屬于中等,基于卷積神經網絡的算法評價指標值相對較高,而本文算法的評價指標值相對是最高的,并且在圖像Dolls 中,本文算法的PSNR值達到了25.9057(d B),其他對比算法最高僅有25.8972(d B),SSIM 值達到了0.9506,其他算法最高僅有0.9473,這說明了基于卷積神經網絡的去霧算法的有效性,也進一步說明了本文去霧算法的優越性.

圖7 不同算法的峰值信噪比和結構相似度的對比結果Fig.7 Comparison results of PSNR and SSIM of different algorithms

表2 30 幅合成霧天圖像的RMSE,色調還原度,平均梯度,信息熵,PSNR,SSIM 的平均結果Table 2 The average results of RMSE,tone reduction,average gradient,information entropy,PSNR,SSIM for the 30 synthetic foggy images

3.3 基于真實霧天圖像數據集的去霧結果與分析

本文討論了霧天圖像的一些去霧算法,以驗證本文所提供算法的有效性.首選現實世界中經常使用的霧天圖像,將所提出的方法與其他算法進行比較,如圖8 和圖9 所示.

圖8 自然霧天圖像House 的去霧結果對比Fig.8 Comparison of defogging results of natural foggy images House

圖9 自然霧天圖像Pumpkin 的去霧結果對比Fig.9 Comparison of defogging results of natural foggy images Pumpkin

通過對比以上自然霧天圖像數據集的去霧結果,DCP 算法高估了霧霾的厚度,出現了色彩過度增強的現象,因此,恢復的圖像顏色存在失真情況,如圖像Pumpkin 的去霧結果;CAP 算法、SRCNN 算法和DehazeNet 算法的結果在霧霾區域都有顯著改善,但去霧圖像仍有一些殘留的霧霾;

DehazeNet 算法和MSCNN 算法在圖House 中,樹葉部分有過度增強的現象;而本文方法的去霧圖像更加平滑,細節和紋理更加明顯,具有良好的清晰度與對比度,提高了圖像的可見性.

為了進一步驗證本文算法處理自然霧天圖像的有效性,采用圖像均值(Av er age)[15],標準差(Standard deviation)[15],信息熵(Information entropy)[15],對比度(Contrast)[17]和平均梯度(Average gradient)[15]五個重要的無參考圖像評價標準對自然霧天圖像去霧結果進行對比.圖像均值反映了圖像的平均明暗程度,標準差反映了灰度均值的離散程度.如表3、表4 和圖10 所示.

圖10 不同算法的對比度和平均梯度的對比結果Fig.10 Comparison results of Contrast and average gradient of different algorithms

表3 圖像House 采用不同算法去霧后評價指標結果Table 3 Evaluation indicators results by different defogging algorithms for image House

表4 圖像Pumpkin 采用不同算法去霧后評價指標結果Table 4 Evaluation indicators results by different defogging algorithms for image Pumpkin

各個評價指標的數學表達式分別為:

1)均值

其中,M ×N為像素總個數.

2)標準差

其中,M ×N表示圖像的大小,I(i,j) 表示第i行第j列的像素值,u表示均值.

3)對比度

其中,δ(i,j)|i ?j|,即相鄰像素間灰度差,Pδ(i,j)為相鄰像素間的灰度差為δ的像素分布概率.

由以上可知,無論哪一個評價指標,本文算法都具有較高的值,表明本文算法對于真實自然霧天圖像的去霧處理較好,圖像質量高.因此,綜合主觀評價和客觀評價指標值可知,本文提出的去霧算法在視覺方面有一定的提高,清晰度與對比度均優于其他對比算法,并且由表5 不同算法的運行時間對比結果知,本文算法運行時間快,可應用于實際.

表5 不同算法的運行時間對比結果(s)Table 5 The run time comparison results of different algorithms(s)

4 結論

本文提出的基于并聯卷積神經網絡的圖像去霧算法,其網絡結構的設計充分考慮了霧天圖像與清晰圖像YUV 各個通道之間的關系,兩個子網絡的分別預測有效地提高了網絡模型的預測精度,而且無論是在去霧圖像色彩自然,具有良好的清晰度與對比度,且運行時間快,能應用于實際.但算法在濃霧區域去霧效果較一般,隨后的研究內容將放在濃霧區域的去霧上,以獲得更優的去霧效果.