基于一種圖像去霧改進(jìn)算法的客觀評(píng)價(jià)與識(shí)別

宋東輝, 劉紋巖, 陳虹麗

(1.浙江大學(xué) 控制科學(xué)與工程學(xué)院，杭州 310007； 2.上海衛(wèi)星工程研究所，上海 200240；3.哈爾濱工程大學(xué) 自動(dòng)化學(xué)院，哈爾濱 150001)

0 引 言

圖像去霧技術(shù)是圖像處理與計(jì)算機(jī)視覺領(lǐng)域研究的重要課題之一。霧霾天氣下，嚴(yán)重影響圖像的特征提取，以及以此為基礎(chǔ)的目標(biāo)檢測(cè)和目標(biāo)跟蹤，這很大程度上降低了圖像的利用價(jià)值，因此，對(duì)霧霾圖像的處理就是極為重要的了。

文獻(xiàn)[1-5]中需要利用同一場(chǎng)景滿足不同條件下的多幅圖像獲得有效信息；但是，在現(xiàn)實(shí)條件下，通常無法同時(shí)滿足這樣的條件。文獻(xiàn)[6]中假設(shè)霧霾圖像的局部區(qū)域的大氣光恒定不變，并且對(duì)比度明顯地增加，在馬爾科夫隨機(jī)場(chǎng)(Markov Random Field,MRF)模型的框架下，構(gòu)造了關(guān)于圖像邊緣強(qiáng)度的代價(jià)函數(shù)，使用圖分割理論估計(jì)最理想的大氣光值，但由此導(dǎo)致的圖像顏色過度飽和失真無法避免，同時(shí)伴有光暈。文獻(xiàn)[7]中需要大量的物理色彩信息，然而，在濃霧條件下的圖像已經(jīng)丟失了大量的色彩信息，此時(shí)估計(jì)霧霾圖像的透射率值，偏差一般很大。文獻(xiàn)[8]中實(shí)際上是一種大規(guī)模的稀疏線性方程組的推導(dǎo)過程，具有很高的時(shí)間和空間復(fù)雜度[9]，同時(shí)，僅利用最小濾波獲得透射率，會(huì)導(dǎo)致去霧圖像出現(xiàn)光暈效應(yīng)和黑斑效應(yīng)。He等[10]提出暗原色先驗(yàn)(Dark channel prior)原理，但是該算法空間復(fù)雜度和時(shí)間復(fù)雜度高；文獻(xiàn)[11]中用雙邊濾波代替圖像摳圖，稍許降低了算法的時(shí)間復(fù)雜度，但是透射率圖的精度降低，實(shí)用價(jià)值不高。Gibson等[12]提出用中值濾波獲得透射率圖的算法，在一定程度上損壞了去霧圖像的細(xì)節(jié)；進(jìn)而，張小剛等[13]提出了雙區(qū)域的算法優(yōu)化了中值濾波獲得透射率圖像，但是該算法對(duì)圖像細(xì)節(jié)的保持作用有限，圖像細(xì)節(jié)精細(xì)度降低。文獻(xiàn)[14]中提出用開運(yùn)算優(yōu)化透射率圖像，但其中的腐蝕運(yùn)算對(duì)圖像細(xì)節(jié)損害嚴(yán)重。劉海波等[15]提出結(jié)合形態(tài)學(xué)和Retinex獲取透射率圖的混合算法，然后用雙邊濾波優(yōu)化，該算法復(fù)雜度高，且可行性受到多個(gè)因素的限制，存在多次高斯濾波導(dǎo)致的圖像高頻細(xì)節(jié)損失，細(xì)節(jié)精度低，去霧圖像易包含噪聲，且對(duì)包含天空區(qū)域和白色物體的圖像去霧效果不理想[16]。

雖然，He的算法是公認(rèn)最好的圖像去霧算法，但是由于暗原色原理自身的局限，導(dǎo)致了一系列問題，如不適用于天空區(qū)域。綜上，本文基于圖分割提出了改進(jìn)暗原色先驗(yàn)的去霧算法。

1 本文算法

本文提出的去霧算法主要分為3個(gè)步驟：①估計(jì)大氣光值；②粗估計(jì)透射率圖，改進(jìn)天空區(qū)域的透射率；③優(yōu)化透射率圖像，得到最終去霧圖像。

1.1 估計(jì)天空亮度

本文提出分割理論應(yīng)用于圖像去霧，主要有2個(gè)原因：①?gòu)膱D1可以看出，對(duì)于含有高亮度的霧霾圖像，He總存在一定概率誤估計(jì)大氣光值，而基于分割得到候選天空區(qū)域估計(jì)大氣光值則不存在該問題；②基于候選天空區(qū)域，可以更精確的改進(jìn)圖像天空區(qū)域的透射率。

圖1 He算法估計(jì)的天空亮度分布圖

本文改進(jìn)算法從實(shí)效性考慮，把已知圖像I(x)從RGB空間轉(zhuǎn)換到LAB空間；然后采用k均值分割算法獲得候選天空區(qū)域，實(shí)驗(yàn)結(jié)果見圖2，記為It(x)。

(a)原圖 (b)候選天空?qǐng)D

圖2 不同霧霾濃度的分割效果

從圖2(b)可以看出，候選的天空區(qū)域并不精細(xì)，為了進(jìn)一步減小誤估計(jì)的概率，本文提出了新的算法估計(jì)天空亮度。這里設(shè)計(jì)一個(gè)簡(jiǎn)單的識(shí)別，先統(tǒng)計(jì)天空區(qū)域像素值在150以上的數(shù)目，若少于總像素?cái)?shù)的0.05，則認(rèn)為不含有天空區(qū)域，本文采用He的算法估計(jì)天空亮度；否則，對(duì)候選的天空區(qū)域進(jìn)行最小值濾波，即灰度腐蝕操作：

其中，It(x)為It(x)的R、G、B三原色通道，Ω(x)是以像素點(diǎn)x為中心的方形區(qū)域。

為增加天空亮度估計(jì)的準(zhǔn)確性，降低誤分割的非天空區(qū)域的影響，增強(qiáng)本文算法的容錯(cuò)性，本文定義天空亮度為候選的天空區(qū)域的均值，其公式如下：

A=mean(Itmin(x))

1.2 粗估計(jì)透射率

本文采取順序統(tǒng)計(jì)濾波，修正了張定義的暗區(qū)域。在暗區(qū)域采取順序統(tǒng)計(jì)濾波，可以消弱Halo效應(yīng)，增強(qiáng)圖像的對(duì)比度；在非暗區(qū)域，考慮到最小值濾波對(duì)圖像細(xì)節(jié)保持度高，可以更好地保留圖像的邊緣，抑制塊效應(yīng)，采用最小值濾波。該算法函數(shù)定義如下：

上式表示當(dāng)像素點(diǎn)位于暗區(qū)域時(shí)，對(duì)該像素點(diǎn)采用最小值濾波；否則，采用順序統(tǒng)計(jì)濾波，結(jié)果取鄰域三原色通道的最小值的中值和最小值之間的值；其中w∈[0.8,1)，可以得到較滿意的結(jié)果，本文取為0.8。

至此，本文提出對(duì)天空區(qū)域的透射率的初步優(yōu)化如下：基于前文獲得的候選的天空區(qū)域，把天空區(qū)域的像素值高于天空亮度的估計(jì)值的點(diǎn)對(duì)映到暗通道的相應(yīng)點(diǎn)，然后把天空亮度值賦給該點(diǎn)。這樣既可以保證此像素點(diǎn)為天空區(qū)域，還可以加大容錯(cuò)率，減小誤分割的天空區(qū)域造成的不良影響。從圖3的直方圖可以看出，本文改進(jìn)的透射率圖更加滿足He的暗原色原理。

(a)原圖 (b)He暗通道直方圖(c)本文暗通道直方圖

圖3 清晰圖像的暗通道圖像及其直方圖

1.3 利用導(dǎo)向?yàn)V波優(yōu)化透射率圖

本文得到的透射率圖像細(xì)節(jié)依然比較粗糙，故需要對(duì)粗糙的透射率進(jìn)行優(yōu)化處理。由于透射率僅是關(guān)于景深d(x)的函數(shù)，對(duì)透射率的粗估計(jì)進(jìn)行區(qū)域平滑操作，保持圖像景深突變處的邊緣細(xì)節(jié)，這可以看作一個(gè)濾波問題。軟摳圖具有很高的時(shí)間和空間復(fù)雜度，雙邊濾波優(yōu)化效果也不理想[17]。綜合考慮，本文采用導(dǎo)向?yàn)V波，導(dǎo)向?yàn)V波可以根據(jù)引導(dǎo)圖像的特性有選擇的對(duì)圖像優(yōu)化，因此可以有效保持圖像邊緣。實(shí)驗(yàn)結(jié)果見圖4。

(a)優(yōu)化前的透射率(b)優(yōu)化后的透射率

圖4 導(dǎo)向?yàn)V波的優(yōu)化效果

1.4 實(shí)驗(yàn)比較與分析

以本校校園景色的霧霾圖像為主，結(jié)合部分經(jīng)典圖像，對(duì)不同場(chǎng)景的霧圖進(jìn)行實(shí)驗(yàn)比較，見圖6。

從圖6可以看出，He的算法和本文算法，都獲得了不錯(cuò)的去霧效果[18-19]；He的結(jié)果對(duì)天空區(qū)域處理不理想，且對(duì)遠(yuǎn)景的細(xì)節(jié)保持度有限；總體而言，本文算法在對(duì)各種類型的霧霾圖像處理中都獲得了很好的效果。

2 去霧圖像的客觀評(píng)價(jià)

本文使用3ds Max 2013，構(gòu)建了具有代表性的60幅霧霾圖像和60幅清晰圖像的訓(xùn)練庫(kù)，其可細(xì)分為4個(gè)部分：清晰圖像，去霧圖像，霧霾圖像，特效渲染的霧霾圖像。

2.1 基于特效渲染霧霾圖像的去霧特征分析和評(píng)價(jià)

本文基于3ds Max 2013對(duì)清晰圖像進(jìn)行云霧大氣環(huán)境的特效渲染，以備后續(xù)的客觀評(píng)價(jià)體系的測(cè)試之用。

該軟件提供的場(chǎng)景特效能夠創(chuàng)建云霧、山霧等大氣環(huán)境，在霧霾的作用下，景物消失在霧霾里，如同原場(chǎng)景處于霧霾天氣里，景物覆了一層均勻的霧霾。本文通過設(shè)置可見度、霧霾濃度等參數(shù)，創(chuàng)建了不同霧霾濃度的圖像。圖7顯示，特效渲染構(gòu)建的霧霾圖像和真實(shí)的霧霾圖像極為相似。

(a)原圖 (b)中濃度霧 (c)較高濃度霧 (d)高濃度霧

圖7 構(gòu)建的霧霾圖像

接著，文中運(yùn)用特效渲染構(gòu)建的圖像訓(xùn)練庫(kù)對(duì)客觀評(píng)價(jià)體系[20-21]進(jìn)行了驗(yàn)證，結(jié)果顯示：均值、標(biāo)準(zhǔn)差、對(duì)比度、熵、基于形態(tài)學(xué)的可見邊緣強(qiáng)度和暗通道強(qiáng)度可以反映圖像的霧霾濃度。

運(yùn)用訓(xùn)練庫(kù)對(duì)上述的6個(gè)圖像特征進(jìn)行了依次的驗(yàn)證，結(jié)果證明了這些特征參數(shù)對(duì)霧霾圖像和清晰圖像分辨作用的可行性。對(duì)圖6的實(shí)驗(yàn)結(jié)果顯示：He的算法在所有參數(shù)中都偏低；本文結(jié)果穩(wěn)定，所有參數(shù)都良好，且通過增加圖像的均值，提高了圖像的整體亮度，是相對(duì)最為普適性的去霧算法。

為進(jìn)一步對(duì)去霧算法進(jìn)行客觀評(píng)價(jià)，對(duì)特效渲染的霧霾圖像進(jìn)行去霧；另一方面還可以把去霧圖像和清晰的原圖進(jìn)行主觀和客觀的比較，結(jié)論更具有說服力，見圖8。

(a)霧霾圖 (b)原圖 (c)He的結(jié)果 (d)文中結(jié)果

圖8 去霧圖像

表1為圖8的測(cè)試數(shù)據(jù)，理論上，數(shù)值越大，圖像越清晰。從數(shù)據(jù)中可以得到，He的結(jié)果均值偏小，表明圖像較為灰暗，對(duì)比度較低，部分參數(shù)與原圖相差較大；總體而言，本文算法的特征參數(shù)和原圖的最為接近，并且對(duì)比度更高，圖像的細(xì)節(jié)更加精致。

表1 去霧圖像的特征表

另外，圖像的霧霾濃度越低，其灰度分布與原圖像越相似，這可以證明去霧效果好的圖像的灰度分布應(yīng)與原圖直方圖保持一致[21]。以圖8中的圖像R分量為例進(jìn)行比較，見圖9；可以看出，本文的算法得到更好的結(jié)果。

(a)第1行圖像(b)第2行圖像

圖9R分量的直方圖

2.2 基于SOFM神經(jīng)網(wǎng)絡(luò)的圖像識(shí)別

本小節(jié)基于圖像的紋理特征，建立去霧圖像的識(shí)別系統(tǒng)，將為以后的去霧圖像質(zhì)量評(píng)價(jià)體系奠定堅(jiān)實(shí)的基礎(chǔ)。

本文設(shè)定SOFM神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)效率呈線性遞減至0，鄰域數(shù)也是呈線性遞減，在訓(xùn)練的后四分之一的周期內(nèi)，鄰域數(shù)恒為1。這樣，一方面可以保證神經(jīng)元在初始階段的有較大的活動(dòng)范圍，避免局部最優(yōu)，并使全體都趨向于輸入尺量出現(xiàn)的區(qū)域；一方面也可以讓學(xué)習(xí)效率在一個(gè)較長(zhǎng)的時(shí)間內(nèi)衰減，使神經(jīng)元可以足夠的展開。

SOFM網(wǎng)絡(luò)的學(xué)習(xí)過程大體如下：①網(wǎng)絡(luò)權(quán)值初始化。設(shè)定神經(jīng)元數(shù)目和輸入端數(shù)目，歸一隨機(jī)化處理初始權(quán)值。②計(jì)算獲勝的神經(jīng)元。③調(diào)整權(quán)值。④調(diào)整學(xué)習(xí)效率及更新鄰域神經(jīng)元參數(shù)。⑤結(jié)束判斷。

由于評(píng)價(jià)體系的特征參數(shù)有6個(gè)，故輸入端值設(shè)為6；輸出端設(shè)置為2，清晰圖像用二進(jìn)制的10表示，霧霾圖像用二進(jìn)制的01表示；隨機(jī)選擇100個(gè)樣本為訓(xùn)練數(shù)據(jù)，其他20個(gè)為測(cè)試數(shù)據(jù)。分別選取了(36個(gè)競(jìng)爭(zhēng)神經(jīng)元，訓(xùn)練1 000次；25個(gè)競(jìng)爭(zhēng)神經(jīng)元的網(wǎng)絡(luò)，訓(xùn)練了5 000次)，表明，基于SOFM神經(jīng)網(wǎng)絡(luò)的圖像識(shí)別算法在實(shí)際運(yùn)用中識(shí)別效果很好。在增加競(jìng)爭(zhēng)神經(jīng)元和訓(xùn)練次數(shù)的后續(xù)實(shí)驗(yàn)中，試驗(yàn)結(jié)果成功率可以達(dá)到98%。

3 結(jié) 語(yǔ)

(1)文中提出的改進(jìn)暗原色先驗(yàn)原理的大氣耗散函數(shù)的估計(jì)方案，不僅細(xì)節(jié)保持度很好，而且抑制了Halo效應(yīng)，并且沒有中值濾波造成的黑斑效應(yīng)，獲得了更好的視覺效果。

(2)基于3ds max軟件對(duì)清晰圖像進(jìn)行霧霾特效渲染，獲得了不同濃度的霧霾圖像，并構(gòu)建了本文的圖像訓(xùn)練庫(kù)。

(3)對(duì)圖像的紋理特征進(jìn)行了統(tǒng)計(jì)分析，驗(yàn)證了部分可以反應(yīng)圖像霧霾濃度的特征參數(shù)。

(4)對(duì)不同的去霧算法獲得的去霧圖像進(jìn)行了合理且系統(tǒng)的客觀評(píng)價(jià)和比較。

(5)基于SOFM網(wǎng)絡(luò)提出了識(shí)別霧霾圖像和清晰圖像的算法。目前還沒有權(quán)威的去霧圖像的質(zhì)量評(píng)價(jià)體系，這很大程度上限制了去霧圖像的實(shí)用價(jià)值，因此，本文初步探索去霧圖像的評(píng)價(jià)體系具有重大的實(shí)際意義。

[1] Schechner Y Y,Narasimhan S G,Nayar S K.Instant dehazing of images using polarization[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Washington D.C.,USA:IEEE,2001：325-332.

[2] Shwartz S,Namer E,Schechner Y Y.Blind haze separation[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Washington D.C.,USA:IEEE,2006：1984-1991.

[3] Narasimhan S G,Nayar S K. Chromatic framework for vision in bad weather[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.New York,USA:IEEE,2000：598-605.

[4] Nayar S K,Narasimhan S G.Vision in bad weather[C]//Proceedings of the 7th IEEE International Conference on Computer Vision.Kerkyra,Greece: IEEE,1999：820-827.

[5] Narasimhan S G,Nayar S K. Contrast restoration of weather degraded images[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003,25(6):713-724.

[6] Tan R T.Visibility in bad weather from a single image[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Anchorgae,USA:IEEE,2008.

[7] Fattal R. Single image dehazing[J].ACM Transactions on Graphics, 2008, 27(3):1-9.

[8] Tomasi C, Manduchi R.Bilateral-ltering for gray and color images[C]//Proceedings of the 6th International Conference on Computer Vision Bombay. India:IEEE,1998：839-846.

[9] Xu H R,Guo J M,Liu Q,etal. Fast image dehazing using improved dark channel prior[C]//Proceedings of the IEEE International Conference on Information Science and Technology. Hubei,China:IEEE,2012：663-667.

[10] He Kai-Ming,Sun Jian,Tang Xiao-Ou.Single image haze removal using dark channel prior[C]//In:Proceeding of IEEE Conference on Computer Vision and Pattern Recognition. Washington D.C.,USA:IEEE,2009.1956-1963.

[11] 禹 晶，李大鵬,廖慶敏.基于物理模型的快速單幅圖像去霧方法[J].自動(dòng)化學(xué)報(bào),2011,37(2):143-149.

[12] Gibson K B,Vo D T,Nguyen T Q.An investigation of dehazing effects on image and video coding[J]. IEEE Transactions on Image Processing,2012,21(2): 662-673.

[13] 張小剛，唐美玲,陳 華,等.一種結(jié)合雙區(qū)域?yàn)V波和圖像融合的單幅圖像去霧算法[J].自動(dòng)化學(xué)報(bào),2014,40(8):1733-1739.

[14] Kumar Y, Gautam J, Gupta A,etal. Single image dehazing using improved dark channel prior[J].IEEE Signal Processing and Integrated Networks,2015:564-569.

[15] 劉海波，楊 杰，吳正平，等. 基于暗通道先驗(yàn)和Retinex理論的快速單幅圖像去霧方法[J].自動(dòng)化學(xué)報(bào)，2015,41(7):1264-1273.

[16] 陳書貞，任占廣，練秋生. 基于改進(jìn)暗通道和導(dǎo)向?yàn)V波的單幅圖像去霧算法[J].自動(dòng)化學(xué)報(bào)，2016,42(3):455-465.

[17] He Kai-Ming,Sun Jian,Tang Xiao-Ou.Guided image filtering[J]. IEEE Transaction on Pattern Analysis and Machine Intelligence,2013,35(6): 1397-1409.

[18] 宋東輝,夏曉靖,陳虹麗. 一種暗原色先驗(yàn)的圖像去霧改進(jìn)算法[J].應(yīng)用科技,2016(6):7-11+23.

[19] 郭 璠，蔡自興.圖像去霧算法清晰化效果客觀評(píng)價(jià)方法[J].自動(dòng)化學(xué)報(bào)，2012,38(9):1410-1419.

[20] 南 棟，畢篤彥，馬時(shí)平，等.基于分類學(xué)習(xí)的去霧后圖像質(zhì)量評(píng)價(jià)算法[J].自動(dòng)化學(xué)報(bào)，2016，46(2):270-278.

[21] 李大鵬，禹 晶，肖創(chuàng)柏.圖像去霧的無參考客觀質(zhì)量評(píng)測(cè)方法[J].中國(guó)圖象圖形學(xué)報(bào)，2011,16(9):1753-1757.