基于暗原色先驗去霧算法的研究與改進

聶 寧, 吳四九, 朱 明, 程衛東

(1.成都信息工程學院電子工程學院,四川成都610225;2.成都信息工程學院信息中心,四川成都610225;3.成都信息工程學院控制工程學院,四川成都610225)

0 引言

近些年霧霾天氣給人們生產生活帶來了很大影響,在霧天戶外作業時,由于空氣折射散射等因素的影響,采集到的圖像質量降低,一般很模糊,使得后續工作很難進行。這給戶外監測、視頻監控、目標跟蹤、圖像處理等方面帶來了很大困難。因此對霧天圖像進行去霧處理成為近些年的研究熱點。

近年來國內外許多專家學者在圖像去霧方面都做了大量研究。國外對圖像去霧方面研究比較早,早期的許多去霧方法都是對同一場景進行長年觀測[1-5],得到多幅圖像,通過這些圖像對比,得到該區域的景深,能見度等參數,利用這些參數進行去霧,這種方法主要用于理論研究,在生產生活方面利用還不是很廣泛。近幾年主要是針對單一圖像進行去霧分析[6-7],只有圖像本身信息,主要方法是利用增強圖像對比度來去霧,真正利用霧霾成因和大氣散射物理模型的不多,進展也不大。文獻[8]是用直方圖均衡化來處理霧天圖像,將圖像所在區域的灰度進行非線性拉伸,通過均衡圖像像素來抑制霧霾影響。文獻[9]是對直方圖均衡化進行改進,通過局部部分區域進行有目地直方圖增強,可以改善部分圖像區域,但是需要人工參與區域的選取。文獻[10]利用晴天對比度較霧天高的先驗,提出通過增強圖像的局部對比度來進行去霧,這種方法在薄霧情況下效果很好,圖像的細節和結構能較好的恢復,但圖像有時候會因為不連續而出現許多空的塊。文獻[11]是利用大氣調制轉移函數估計大氣對圖像影響并且得到圖像的景深,通過得到圖像距離,對衰減的霧天圖像進行有目地的補償以達到去霧目的。文獻[12]則是通過對物體散射和輻射等方面的具體研究得到物體的反射率,再結合環境光影響得到景深等參數恢復圖像,但是其應用條件有限。文獻[13-14]是基于同態濾波進行去霧,將霧天環境影響分為照射分量和反射分量,通過對其進行對數運算,濾波去霧,在實際過程中還是不能很好的區分照射分量和反射分量。何凱明等人提出基于暗原色先驗去霧方法[15],通過對大量有霧圖像進行分析,得出所有有霧圖像都存在暗原色區域,通過對該區域分析可以估計環境光和大氣光,從而恢復出原圖像,但其運算速度太慢,不能對圖像進行實時性處理。文獻[16-17]分別是將暗原色先驗去霧算法用于航拍和遙感去霧圖像處理。論文將介紹暗原色先驗去霧算法并加以改進。

1 霧天條件下的圖像增強

1.1 大氣散射物理模型

何凱明[15]的暗原色先驗去霧方法是基于文獻[18]的大氣物理散射模型(如圖1、圖2所示)進行的,該模型在計算機視覺和計算機圖形中被廣泛使用。

圖1 衰減模型

圖2 環境光模型

根據衰減模型和環境光模型可以得到:

I(x)指平時拍攝到的有霧圖像,J(x)為要恢復的無霧圖像,A(x)環境光成分,t(x)是透射率,圖像去霧就是通過估算環境光A(x),透射率t(x),求出無霧圖像J(x)。方程中的第一項J(x)t(x)為衰減模型,第二項A(x)(1-t(x))是環境光模型。

1.2 暗原色先驗

何凱明通過對500多幅無霧圖像進行觀察實驗對比得到:大多數無霧圖像在其(R,G,B)3個通道至少有一個顏色通道具有像素值很低的區域,也就是說,區域光的強度值是一個很小的數,對于圖像J,定義為:

Jc是J的顏色通道,Ω(x)是暗原色區域,研究表明,圖像的暗原色區域強度接近為0。J代表無霧圖像,Jdark是無霧圖像J的暗原色,將以上圖像顏色通道存在低像素的規律統稱為暗原色先驗。

1.3 暗原色去霧算法

因為任何圖像都要受到周圍環境影響,其大氣光A不可能為0,并且同一區域的透射率基本相同,對(1)式兩邊同時取最小值,可得:

對R,G,B三通道進行最小值運算,可得:

又因為無霧圖像的暗原色趨近于0,即:

又因為Ac總為正數,故得出

將(6)式代入(4)式中,可得到透射率和t:

在去霧過程中,完全去霧會使圖像看起來不是很真實,而且會失去深度感,因此在(7)式中引入一個常數 ω(0＜ω＜1),保留部分遠處的霧,(7)式變為:

通過(8)式可以得到折射率的基本估算方法,但它并不是很精確,何凱明在其文獻中用了軟摳圖來求圖像的透射率分布函數t(x),通過解方程可得到透射率t。

λ為引入的參數,L是拉普拉斯描圖矩陣,算出透射率t(x)以后,只要再估算出大氣光A的值,將透射率和A值代入(1)式中就可恢復出J(x):

大氣光A的估計方法:在原圖像中,將各像素點亮度遞減排列,取前0.1%的點所在位置處的最大值做為A值。

2 常見的各種去霧效果比較

基于物理模型和非物理模型在去霧思路上大為不同,非物理模型本質上是增強圖像的對比度和對圖像的顏色進行較正,它并沒有針對霧天圖像的形成機理進行有效補償,去霧效果有限。后者是基于大氣物理散射的規律建立圖像還原模型,但要知道大氣光和環境光,場景深度、空氣折射率等參數[19]。

圖3 圖像大小為320*240的去霧比較

圖4 圖像大小為640*480的去霧比較

圖5 圖像大小為800*600的去霧比較

通過上面3組實驗圖片對比可以看到直方圖均衡化方法對于薄霧天氣下的圖像恢復還是不錯的,如圖5(b)所示,細節等方面也比較接近現實,但是在濃霧條件下,圖像大部分顯示為灰色,使得原始有用信號對比度降低,而且用直方圖均衡化時,灰度拉伸到整個圖像區間,圖3(b)中,圖像經過處理以后出現了明顯的飽和失真,于是尋找更好的濾波方法。同態濾波方法對于薄霧圖像恢復也可以,圖像中有霧部分變化比較緩慢,可以看成是圖像的低頻部分,通過降低低頻成分,增強高頻成分可以達到到去霧效果。但是濃霧條件下它的效果很差,許多情況下圖像過于飽和,有些區域會出現圖像失真,如圖5(c)。通過對上面3組圖像的對比,可以看出暗原色先驗去霧后的圖像色彩較為真實,細節更為豐富,整體上來說比較令人滿意。

文獻[15]通過對圖像進行分析,發現了暗原色這一規律,在實際過程中用暗原色先驗去霧時發現,該方法最大的問題在于對透射率t的計算并優化。在計算圖像的暗原色區域時需要對圖像的每一個像素點進行比較,該方法比較耗時。具體實驗過程中,通過對每個相素對比得到暗原色區域,運算量較大,文中將對暗原色先驗算法進行改進,結合小波分解去除低頻方法進行快速去霧。

3 暗原色先驗算法改進

由式(1)可以得到:

其中式子左邊I(x)是輸入的有霧圖像,即平時所觀察到的圖像,式子右邊第一項J(x)t(x)為圖像衰減模型,第二項A(x)(1-t(x))為環境光模型;

將(11)式中的環境光設為V(x),即:

(11)式改寫為:

如果能估算出環境光V(x)和大氣光A,則我們可以得到復原圖像:

何凱明[15]認為無霧圖像的暗原色區域所在的某一個色彩通道的像素值近似為0,因為有霧的影響,這一部分區域所在的某一個色彩通道為0的像素值被霧霾值所替代。

霧霾會在圖像中表現出一定的特性:色彩過渡趨于平緩,像素值變化不大,而且在頻率上屬于圖像的低頻部分。因此如果將霧天圖像分為霧霾圖像和目標原圖像兩部分,其霧霾圖像在頻域上的分布狀況應是集中分布在極低的低頻域區,而目標原圖像應是較為均衡的分布在相對較高的頻域區上。因此可以將霧近似看成圖像的低頻,而將要恢復的目標區域看成圖像的高頻,這樣通過抑制低頻,放大高頻,就可以去除霧霾的影響。

對有霧圖像來說,有霧部分色調變化比較平緩,紋理結構比較簡單,可以將霧影響部分看成圖像低頻部分,為很好的得到霧影響部分區域,可以對圖像進行小波變換,圖像經過小波變換后,可通過在分解的低頻圖像上,識別出霧區域,即環境光V(X)。下面將采用Mallat算法[20]進行小波分解,并將其原理表述如下:

定義3個“二維小波”如式(15)所示,其中v2j(j∈Z)是L2(R2)的可分離多分辨分析,并且令 φ(x,y)=φ(x)φ(y)是對應二維尺度函數,而 φ(x)是與尺度函數對應的一維標準正交小波。

則:

分別是L2(R2)內的標準正交基。設f=f(x,y)∈v2j為待分析圖像信號,其二維逼近圖像為:

根據小波函數和尺度變換正交性,由(15)、(16)、(17)式可得:

引入矩陣算子,二維Mallat分解算法為:

二維Mallat小波分解算法結構框圖如圖6所示,從圖中可以看出,小波變換就是把圖像信號分解成多個低頻子帶分量,并且每一層小波分解都將上一層圖像分解成4個子帶圖像,即,低頻信息子圖(亮度分量圖像)和3幅高頻子圖(水平邊緣、垂直邊緣和對角線邊緣子圖)。這樣逐級分解就會形成塔形分解結構。圖7是圖像三級小波分解示意圖。通過該金字塔結構能很好地將表示圖像內容的低頻信息與表示圖像細節的高頻信息分離出。因此,小波變換能用不同的方法,并且在不同的尺度上增強不同頻率范圍內圖像的細節分量。

圖6 二維Mallat小波分解算法示意圖

圖7 圖像三級小波分解示意圖

在圖像的各層分解子圖中,低頻子圖具有最大的均值、方差和一階熵。圖像的方差越大,說明子圖含有的信息越多,反之,子圖含有的信息越少。圖像的信息主要集中在低頻子圖中,隨著頻率的升高,它所包含的能量越小,這也說明小波系數的能量集中程度較好,通過多次分解可使低頻包含霧霾和少量圖像信息,對其余圖像信息進行增強。圖8是小波分解結合暗原色先驗與原算法的效果對比。

暗原色先驗去霧與文中所用方法效果對比:

圖8 圖像大小為320*240的去霧比較

圖9 圖像大小為640*480的去霧比較

圖10 圖像大小為800*600的去霧比較

在實驗中分別將3組圖在操作系統為Windows XP,CPU為酷睿2雙核3.30GHZ,內存8GB RAM的PC上進行測試。

所用時間如表1所示。

表1 算法處理時間對比(單位:s)

從表1可以看出,利用小波變換的多分辨率分解可以有效區分圖像的低頻和高頻部分,將圖像中含霧的低頻分離出來,得到圖像的高頻透射區域圖像,對圖像低頻進行濾波的同時,對圖像高頻透射區域進行增強。基于小波分解的暗原色先驗去霧算法比文獻[15]去霧效果更好更明顯,圖像細節更加豐富,色彩更加真實,并且在圖片的清晰度和運算速度有了很大的改進。

4 結束語

文中算法的主要優點是在速度快、方法簡單的條件下取得了較好的去霧效果。但是算法本身也存在一定的不足,如在估計環境光時的精確度偏低以及對濃霧情況下恢復的圖像效果欠妥,小波分解所采用的層數過多過少都會影響后期去霧效果,今后將進一步改進算法,以尋找更有效更適合的模型和參數使其效果更好。

[1] Narasimhan S G,Nayar S K.Vision and atmosphere[J].International Journal of Computer vision 2002,48(3):233-254.

[2] Narasimhan S G,Nayar S K.Contrast restoration of weather degraded images[J].Pattern Anal Mach Intell.2003,25(6):713-724.

[3] Narasimhan S G,Nayar S K.Interactive weathering of image using physical model[EB/OL].Http://www.cs.columbia.edu.

[4] Narasimhan S G,Nayar S K .Vision in bad weather in Proceedings of the 7th International Conference on Computer Vision,1999:128-134.

[5] Narasimhan S G,Nayar S K Chromatic Framework for Vision in Bad Weather[J].In Proceedings of the IEEE Coference on Computer Vision and Pattern Recognition 2000:235-240.

[6] 王勇,單幅霧天降質圖像復原方法研究[D].合肥工業大學,2010:66-69.

[7] 祝培,朱虹,錢學明,等.一種有霧天氣圖像景物影像的清晰化方法[J].中國圖像圖形學報,2004,9(1):126-130.

[8] Oakly J P,Satherley B L.Improving image quality in poor visibility condition using a physical model for contrast degradation[J].IEEE Transactions On Image Processing,1998,7(2):167-179.

[9] Joung-Youn Kim,lee-Sup Kim,Seung-Ho Hwang.An advanced Contrast Enhancement using patrially overlapped Sub-Block Histogram Equalization[J].IEEE Transactions on Circuits and systems for Video Technology,2001,11(4):475-484.

[10] R.Tan.Visibility in bad weather from a single image[C].In IEEE Conference on Computer Vision and Pattern Recognition.CVPR,2008.

[11] Fatttal R.Single image dehazing[J].ACM transactions on Graphics,SIGGRAPH,2008,3(27):1-9.

[12] Schechner Y Y,Narasimhan S G,Nayar S K.Instant Dehazing of Images Using Polarization[J].Proc of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Kauai USA,2001,1:325-332.

[13] 陳功,王唐,周荷琴.基于物理模型的霧天圖像復原新方法[J].中國圖象圖形學報,2008,13(5):888-893.

[14] Yang Wei,Xiao Zhi Tao,Wang Qing Jie,et al.A Method for Improving the Definition of Scene in Fog Image[C].Proc of International Conference on Computational Intelligence and Software Engineering.IEEE,2009.

[15] He kai ming,Sun Jian,Tang xiao ou.Single image haze removal using dark charnel erprior[C].proceedings of IEEE Conference on Computer Vision and Pattern Recognition(CVPR).miami,FL,USA:IEEE Computer Society,2009;1956-1963.

[16] 嵇曉強,戴明,尹傳歷,等.航拍降質圖像去霧處理技術[J].光學精密工程,2011,19(7):1660-1668.

[17] 王時震,萬惠瓊.應用暗原色先驗規律的遙感影像去霧技術[J].測繪科學技術學報,2011,28(3):183-189.

[18] Mc Cartney E J.Optics of Atmosphere:scattering by Molecules and Particles[M].New York:John Wiley and Sons,1976:23-32.

[19] 桑梓勤,丁明躍,張天序,雨霧天氣下的戶外場景成像[J].電子學報,2000,28(3):131-133.

[20] Mallat S.A theory for multiresolution signal decomposition:The wavelet representation[J].IEEE Trans,PAMI,1989,11(7):674-693.