基于顏色衰減先驗的小波融合圖像去霧

張 敏，張一凡，王園宇

太原理工大學 計算機科學與技術學院，山西 晉中 030600

1 引言

霧天會造成圖像的色彩飽和度降低，對比度與清晰度下降。這給諸如圖像分割、圖像識別等工作造成困難。因此對圖像進行去霧處理具有重要意義。當前的去霧算法主要分為兩類，一類是圖像增強的方法，典型的有Kim等的直方圖均衡方法[1]，基于顏色恒常理論Retinex的去霧算法[2]，以及同態濾波法[3]。此類方法沒有考慮霧圖像的成因，只是通過提高圖像對比度，改善了圖像的視覺效果，這種方法不能從根本上對圖像進行去霧，而且容易丟失圖像信息[4]。另一類是圖像恢復的方法，根據大氣散射物理模型，通過尋找先驗知識，求解模型中的未知量，獲得清晰圖像。Tan等[5]發現，清晰圖像的對比度相對于霧圖像要高，并假設區域內大氣值平滑，通過提高局部圖像的對比度獲取清晰圖像，但該方法恢復出的圖像過飽和。He等[6]通過對大量清晰無霧圖像的統計，發現暗通道先驗知識，以此提出一種簡單的估計透射率的方法，并用軟摳圖算法對透射率進行細化，恢復出清晰圖像。由于暗通道先驗在天空等白色區域失效，導致估計出的透射率不準確，而且軟摳圖算法的時間復雜度較高，許多學者在其基礎上進行了改進。隨后He等[7]提出了引導濾波，它是一種能夠在對圖像進行平滑的同時，保持圖像邊緣的濾波器，引導濾波方法在很大程度上提高了暗通道去霧算法的去霧速度。Tarel等[8]通過雙邊濾波器估計圖像透射率，該方法恢復出的圖像在景深突變的地方halo現象明顯。Zhu等[9]發現霧圖像的亮度飽和度與圖像景深信息之間存在線性關系，據此提出顏色衰減先驗知識，建立景深信息關于圖像飽和度、亮度的模型，通過監督學習的方法解出景深信息，從而對圖像進行去霧，該方法簡單有效，但容易受訓練樣本的影響，且大氣消光系數β的選擇對去霧效果影響較大。

本文在顏色衰減先驗知識的基礎上，建立透射率關于圖像亮度與飽和度的線性回歸模型，通過機器學習中的線性回歸算法對透射率進行訓練，避免了對參數消光系數β的人工選擇。在此基礎上應用小波變換圖像融合算法對透射率進行細化，提高了透射率的準確性。圖像恢復過程實現了參數的自動計算，得到的恢復圖像質量好、速度快。

2 大氣散射物理模型

去霧過程中廣泛采用的是Narasimhan等[10-11]提出的大氣散射物理模型：

式中，I(x)表示霧圖像在位置x的像素值，J(x)表示無霧條件下的圖像的像素值，即要恢復的清晰圖像，A表示大氣光值，t(x)表示介質透射率，β表示大氣消光系數，d(x)表示景深信息。其中只有I(x)是已知的，去霧的實質就是求出t(x)和A的值，代入式（1）中解得J(x)。且由式（2）看出，d(x)→∞時，t(x)→0，此時式（1）能簡化為：

也就是A的值可以由景深最遠處霧圖像的像素值估計，去霧的關鍵就是求解透射率t(x)。

3 去霧算法

3.1 大氣光值估計

常用的估計大氣光值的方法有四叉樹算法[12-13]，和文獻[6]中提到的算法。由于四叉樹算法的穩定性強且收斂速度快，本文采用四叉樹算法估計大氣光值A。四叉樹算法的步驟是，計算霧圖像在三個通道上的最小值圖像，求取最小值圖的過程可以避免引入噪聲。將通道最小值圖像分割成四塊，計算這四塊的亮度均值，選出其中亮度均值最大的塊，再分割為四塊，選其中亮度最大的塊。一直重復該過程，直到分割的圖像小于設定閾值，這里的閾值設置為30×30像素。

將得到的A值和后續估計出的透射率代入式（1）中即可得到清晰圖像，為了避免透射率過低造成圖像失真，給透射率設定一個下限0.1，得到的去霧公式如下：

3.2 粗估計透射率

3.2.1 建立透射率關于圖像亮度飽和度的線性模型

隨著霧濃度增加，圖像亮度增加而飽和度劇烈下降，而且很明顯霧濃度與圖像的景深信息成正比關系。據此文獻[9]提出了顏色衰減先驗知識，即景深d(x)與圖像亮度v(x)飽和度s(x)之間的差值成正比，即d(x)∝v(x)-s(x)。對式（2）兩邊同時取對數，可得lnt=-βd(x),β在霧天條件下，可看作一個常數[14]。由此看出lnt(x)與圖像的景深信息成反比即lnt(x)∝-d(x)，于是建立一個(x)=lnt(x)，關于 v(x)和 s(x)的線性模型：

式中ε(x)是一個誤差項，用來代替模型的隨機誤差，假設其服從均值為0，方差為σ2的正態分布ε(x)～N(0,σ2)根據正態分布的性質：

解出其中的參數θ0、θ1、θ2、σ2就可以得到粗估計透射率的值。

3.2.2 訓練樣本的生成

訓練樣本的準確性，決定了線性回歸算法的有效性[15]。文獻[9]中，為每幅清晰圖像構造一個同樣大小的取值為(0,1)之間的隨機圖像作為景深信息，并且在RGB三個通道上設定不同的A值，作為圖像的大氣光值。用其訓練結果進行去霧處理，恢復出的圖像會帶有隨機噪聲，如圖1（b）所示，而且，如果三個通道上的A取相同的值，恢復出的圖像在密集區域失真，如圖1（c）所示。

圖1 訓練樣本對去霧結果的影響

Saxena等人[16-18]為了研究3D建模，用紅外設備測量了大量戶外圖像的景深信息，可信度高，據此能產生準確的訓練樣本[19]。從該數據集中得到的是圖像的景深d(x)，為獲得透射率t(x)，需要β值，本文采用統計學的規律獲得β的取值區間，具體步驟如下：

（1）暗通道先驗[6]估計出圖像的透射率；

（2）顏色衰減先驗[9]估計出圖像的景深；

（3）將透射率和景深代入式（2）中，得到 β值。在Google等搜索引擎中收集500幅霧圖像，通過計算得到β的分布直方圖，如圖2。由圖2看到，β∈(0,2.5)，且在[1.1，1.2]區間分布密集。將數據集中的清晰圖像J(x)，景深 d(x)，以及 β 的分布情況，代入式（1）、（2）中，并為每幅圖像隨機產生一個A值，A∈(0.85,1)[9，19]，得到訓練樣本。具體產生訓練樣本的過程如圖3所示。

圖2 β的取值分布

圖3 訓練樣本的生成過程

式中i代表像素點，使式（7）取最大值的參數值，就是所求值，將式（7）兩邊取對數，可以將乘積運算轉化為加法運算：

3.2.3 學習策略

t1(x)滿足正態分布，得到其聯合密度函數，如式（7）所示：

σ可以看作一個常量，于是求式（8）的最大值，可以化為求下式的最小值：

使式（8）取最大值的σ值為：

此時只需用梯度下降算法求式（10）的最小值。分別對式（10）中的參數求偏導數得到：

本文的訓練過程如下：

fort=1:n n是迭代次數

forj=1:k k為圖像數

fori=1:l l為每幅圖像的像素數

temp=t1(i)-(θ0+θ1v(i)+θ2s(i))

S=S+temp；

vS=vS+v(i)*temp；

sS=sS+s(i)*temp；

end

σ2=S2/n；

θ0=θ0+S；θ1=θ1+vS；θ2=θ2+sS ；

end

end

將所有的像素點循環一次作為一次循環，輸入t1(x)、v(x)、s(x)的值，輸出訓練參數的值，t1(x)與 v(x)-s(x)成反比，參數的初始值設置為θ0=0，θ1=-1，θ2=1。

經過大約10億左右像素點進行訓練，得到的最佳訓練結果是 θ0=0.171 8,θ1=-1.231 8,θ2=1.068 2,σ2=0.016 7 ，將參數值代入式（5）中得到 t1(x)，進而得到粗估計透射率t1(x)，用t1(x)對圖像進行去霧，對薄霧圖像效果明顯，但對霧濃區域的處理效果不理想。霧濃的區域，圖像亮度很高，趨于最大值，飽和度極低，接近最小值，此時兩者之間的差值趨于恒定，代入式（5）中計算出的透射率無法體現原有差異，因此恢復出的圖像，層次感不明顯。如圖4所示，圖4（b）圖像整體呈現灰白，尤其遠處的物體，看不見輪廓，去霧不徹底。

圖4 粗估計透射率去霧

3.3 圖像灰度圖反轉圖作為透射率進行去霧

霧天氣條件下，彩色圖像的亮度和飽和度發生了變化，導致視覺效果不佳，如果轉化為灰度圖像，能顯示出被霧掩蓋的細節。但圖像灰度圖也是受霧氣影響的圖像，因此嘗試將圖像灰度圖取反作為透射率對圖像進行去霧處理，取反的過程，削弱了霧氣對圖像的影響。實驗結果表明，將圖像的灰度圖反轉圖記為t2(x)，作為透射率可對圖像進行去霧處理。如圖5所示，圖5（b）中遠處的景物清晰，與圖4（b）相比，去霧效果提升明顯，但恢復出的圖像顏色偏暗。

3.4 透射率融合

圖5 圖像灰度圖反轉圖去霧

將粗估計透射率與霧圖像灰度圖的反轉圖融合，可以在體現圖像透射率信息的同時，攜帶原圖像的細節，提高透射率的準確性。基于小波變換的圖像融合能夠最大限度地保留兩幅圖像的特征，因此本文采用小波融合的方法對兩個透射率進行融合，對透射率進行細化。小波融合的過程中首先對圖像進行分解，第一層小波分解會得到水平、垂直、對角線3個方向上的高頻信息，1個低頻信息，高頻帶部分體現像素變化快的邊緣信息，低頻帶部分體現圖像的整體輪廓。進行第二層分解時，只對第一層分解得到的低頻帶重復以上分解，以此類推，經N層小波分解后會產生3N+1個頻帶，3N個高頻帶，一個低頻帶。分別對其中的高頻、低頻部分采用以下融合規則：

（1）高頻部分，選擇絕對值大的系數：

式中，hF是融合后的高頻系數，hF1、hF2分別是小波分解后t1、t2的高頻系數。

（2）低頻部分，將兩個系數進行加權平均：

式中，lF是融合后的高頻系數，lF1、lF2分別是小波分解后t1、t2的低頻系數。

經兩者融合后去霧的效果如圖6所示。可以看到圖6（b）中，遠處的景物清晰，圖像對比度適中。

圖6 融合后的透射率去霧

將得到的大氣光值A和細化后的透射率代入式（4）中，即可得到清晰圖像，本文的去霧流程圖如圖7所示。

圖7 去霧流程圖

4 實驗結果分析與比較

為了驗證本文算法的有效性，將實驗結果與經典的去霧算法進行比較，從主觀、客觀兩個方面對本文去霧方法進行評價。本文實驗在MATLABR2012b平臺上進行，計算機配置為Intel?CoreTMi7-4790 CPU 3.6 GHz，RAM 4 GB，操作系統為64位Windows 8。

4.1 去霧效果分析

為了驗證本文算法的有效性，分別與He[6]、Tarel[8]、Zhu[9]等的去霧算法進行了比較，如圖8所示。從圖中看出He的方法在景深突變的區域會出現白色的殘留，圖像亮度低；Tarel的方法，halo效應明顯，而且淺色物體的色彩嚴重失真；Zhu的方法恢復出的圖像亮度低；本文算法恢復出的圖像景深突變區域過渡自然，而且結合了原圖像的特點，色彩與原圖相似度高。

4.2 去霧客觀評價

4.2.1 去霧質量分析

為了客觀驗證算法的有效性，引入了質量評價函數的概念，分別從直方圖相似度d、亮度v、方差σ2，三個指標對圖像進行量化評價，它們的定義如下：

圖8 不同算法去霧結果比較

式中，H1、H2分別表示霧圖像和去霧后圖像的直方圖中bin的個數和；N表示圖像像素個數，vi表示每個像素的亮度值；xi表示每個像素的像素值，xˉ表示整幅圖像的像素平均值。d體現出兩幅圖像的結構相似性；v體現出圖像亮度大小；σ2體現出圖像對比度高低。本文算法與He[6]、Tarel[8]、Zhu[9]等的算法的客觀比較數據，如表1所示。從表1可以看出，本文算法恢復出的圖像與原圖像的直方圖相似度高、亮度高、對比度適中。

表1 不同去霧算法的質量客觀比較

4.2.2 去霧時間分析

本文算法是在顏色衰減先驗的基礎上，求取透射率的過程是一個簡單的線性求和，耗時少。Zhu等[9]用顏色衰減先驗估計出粗估計透射率后，優化投射率的過程中首先對粗估計透射率進行分塊，取每一塊的最小透射率作為整塊區域的透射率，這樣得到的景深信息塊效應明顯，最后用引導濾波對上一步的運算結果進行處理，本文中優化過程是對透射率進行了小波融合。這兩個過程所需時間差異不大。He[6]算法中耗時最多的是計算暗通道，求取暗通道的過程是一個循環運算，隨著圖像的增大，耗時成倍增加，Tarel[8]的算法在圖像增大到1 200×1 600時，去霧時間需要4 min以上，達不到實時去霧。本文算法的去霧時間穩定，與Zhu[9]的方法效率持平。表2是本文算法與以上去霧算法時間比較。

表2 不同去霧算法的效率客觀比較 s

5 結束語

本文首先依據顏色衰減先驗知識建立透射率關于亮度飽和度的線性模型，并用線性回歸算法求解模型中的參數，得到粗估計透射率。產生訓練樣本的過程中使用的數據相對準確，訓練出的模型更具普適性。最后用小波分解融合的方法，將粗估計透射率與圖像灰度圖的反轉圖相融合，將融合后的圖像作為透射率進行去霧處理。本文在顏色衰減去霧的基礎上，避免了大氣散射系數的選擇，自動化程度高，而且結合了原圖像的固有特性，表現出強的魯棒性，恢復出的圖像彩色自然。

[1]Kim T K，Paik J K，Kang B S.Contrast enhancement system using spatially adaptive histogram equalization with temporal filtering[J].IEEE Transactions on Consumer Electronics，1998，44（1）：82-87.

[2]李菊霞，余雪麗.霧天條件下的多尺度Retinex圖像增強算法[J].計算機科學，2013，40（3）：299-301.

[3]Seow M J，Asari V K.Letters：Ratio rule and homomorphic filter for enhancement of digital colour image[J].Neurocomputing，2006，69（7/9）：954-958.

[4]唐美玲.單幅圖像去霧算法的研究與應用[D].長沙：湖南大學，2014.

[5]Tan R T.Visibility in bad weather from a single image[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition，2008：l-8.

[6]He Kaiming，Sun Jian，Tang Xiaoou.Single image haze removal using dark channel prior[C]//IEEE Conference on Computer Vision and Pattern Recognition，2009：1956-1963.

[7]He Kaiming，Sun Jian，Tang Xiaoou.Guided image filtering[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2013，35（6）：1397-1409.

[8]Tarel J P.Fast visibility restoration from a single color or gray level image[C]//Proceedings of IEEE International Conference on Computer Vision，2009：2012-2208.

[9]Zhu Qingsong，Mai Jiaming，Shao Ling.A fast single image haze removal algorithm using color attenuation prior[J].IEEE Transactions on Image Process，2015，24（11）：3522-3533.

[10]Narasimhan S G，Nayar S K.Vision and the atmosphere[J].International Journal on Computer Vision，2002，48（3）：233-254.

[11]Narasimhan S G，Nayar S K.Contrast restoration of weather degraded images[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2003，25（6）：713-724.

[12]曾浩，尚媛園，丁輝，等.基于暗原色先驗的圖像快速去霧[J].中國圖象圖形學報，2015，20（7）：914-921.

[13]馬書一，郝巧紅，管慶吉，等.基于特征融合的快速圖像去霧方法[J].吉林大學學報：理學版，2016，54（1）：100-106.

[14]Narasimhan S G，Nayar S K.Vision and the Atmosphere[J].International Journal of Computer Vision，2002，48（3）：233-254.

[15]王力冠，馮瑞.基于霍夫森林和半監督學習的圖像分類[J].計算機工程與應用，2016，52（20）：20-25.

[16]Saxena A，Chung S H，Ng A Y.Learning depth from single monocular images[J].Advances in Neural Information Processing Systems，2005，18：1161-1168.

[17]Saxena A，Chung S，Ng A.3D depth reconstruction from a single still image[J].International Journal of Computer Vision，2008，76（1）：53-69.

[18]Ashutosh S，Sun M，Andrew Y N.Learning depth from single monocular images[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2009，30（5）：824-840.

[19]麥嘉銘，王美華，梁云，等.特征學習的單幅圖像去霧算法[J].中國圖象圖形學報，2016，21（4）：464-474.