改進暗通道先驗的航空圖像去霧

韓昊男，錢 鋒，呂建威，張 葆*

(1. 中國科學(xué)院大學(xué)，北京 100049；2. 中國科學(xué)院 長春光學(xué)精密機械與物理研究所，吉林 長春 130033)

1 引 言

航空光電成像設(shè)備在外場工作時，不可避免地會受到天氣的影響。在霧霾天氣條件下，大氣介質(zhì)中懸浮著大量的水汽、塵埃等顆粒對大氣中傳播的光線進行散射和吸收，導(dǎo)致航空光電成像設(shè)備所采集圖像質(zhì)量下降。大氣中浮質(zhì)顆粒的降質(zhì)機理主要包括：衰減和大氣光。場景目標反射的光線在大氣傳播過程中將隨著傳播距離的增加而發(fā)生顯著衰減；同時，大氣中浮質(zhì)顆粒的散射光線也將摻雜進物體的反射光線中，形成大氣光。受這兩種機理的影響，降質(zhì)后的圖像表現(xiàn)為：圖像對比度降低，紋理模糊不清以及場景顏色的偏移。在霧霾天氣件下捕獲的航空圖像，圖像質(zhì)量較差，不利于人眼的觀察，也會影響到航空光電成像系統(tǒng)后端的定位、跟蹤、識別等各類智能化技術(shù)的正常運行[1-3]。因此，研究圖像去霧增強技術(shù)對提升圖像質(zhì)量，突破設(shè)備的使用天氣條件限制及提高設(shè)備整體工作性能有著重要的研究意義和應(yīng)用價值。

最近，單幅圖像去霧方法取得了重大進展。顏色衰減先驗(Color Attenuation Prior,CAP)[4]憑經(jīng)驗的觀察發(fā)現(xiàn)有霧圖像的亮度和飽和度之差和霧的濃度有相關(guān)性，其用亮度和飽和度之差來估計霧的濃度，經(jīng)過學(xué)習(xí)的方法得到有霧圖像的深度圖，并用其來去霧。非局部先驗(Non-Local Prior,NLP)[5-6]經(jīng)過實驗發(fā)現(xiàn)無霧圖像的顏色可以在RGB空間中聚類，這些像素在霧的影響下會聚類成以大氣光為原點的一條條霧霾線，在一條霧霾線中像素到大氣光的距離和霧的濃度深深相關(guān)，用其進行去霧。He提出了一種基于暗通道先驗(Dark Channel Prior,DCP)[7]的去霧方法。首先粗估計出原始傳輸圖，然后利用軟摳圖原理[7]或者引導(dǎo)濾波[8]對原始傳輸圖進行優(yōu)化，該算法是常用的普遍去霧算法，許多去霧算法都是基于該算法提出的[9-16]。然而，這些方法存在一個共同的缺點，即去霧后圖像容易產(chǎn)生光暈效應(yīng)或者色彩嚴重失真現(xiàn)象。

本文依據(jù)暗通道先驗原理，對大氣光估計以及引導(dǎo)濾波進行了改進。通過對非重疊的暗通道使用四叉樹細分的方法來求得更精確的大氣光值，并對引導(dǎo)濾波提出一種自適應(yīng)權(quán)重因子的方法對傳輸圖進行優(yōu)化以減弱光暈現(xiàn)象的問題。實驗結(jié)果，該方法既能實現(xiàn)良好的去霧效果，又能改善暗通道先驗針對大面積白色物體的適用缺陷，從而擴大了暗通道先驗實現(xiàn)圖像去霧的范圍，并且可以減弱光暈現(xiàn)象。

2 暗通道原理

2.1 大氣散射模型

在計算機視覺中，廣泛應(yīng)用于有霧圖像的大氣散射模型[17-19]為：

I(x)=J(x)t(x)-A(1-t(x)),

(1)

其中：x是像素坐標，I(x)是觀察到的有霧圖像，J(x)是無霧圖像，A是全局大氣光，t(x)是大氣傳輸圖。

2.2 暗通道先驗

He等[7]基于對大量無霧圖像(不包括天空區(qū)域)統(tǒng)計觀察發(fā)現(xiàn)，無霧圖像中大多數(shù)的局部區(qū)域包含著一些強度值很低或者強度值接近于零的像素。基于此，他提出了暗通道先驗?zāi)Ｐ?，即對于任意一幅無霧圖像，暗通道可以被計算為在一個局部區(qū)域全部像素的最小值：

(2)

其中：Ω是以x為中心的一個方形窗口，Jc是J的一個確定了的RGB顏色通道，Jdark是暗通道圖像。

暗通道和霧的濃度深深相關(guān)，He等挑選暗通道最亮的0.1%像素，這些像素就是霧最濃的像素，并從這些像素中挑選原圖像I中強度最大的像素作為大氣光的估計值。然而，受白色物體的影響，暗通道選擇霧最濃的區(qū)域可能會失效。

(3)

若是將式(3)直接代入式(1)中，去霧圖像會出現(xiàn)明顯的塊效應(yīng)，因此He等采用軟摳圖[7]對其進行優(yōu)化，后來將軟摳圖換成引導(dǎo)濾波[8]用來對原始傳輸圖進行保邊平滑。然而，當圖像平滑和保邊同時應(yīng)用時，由于固定的正則化參數(shù)，邊緣可能會無法避免地被平滑，會產(chǎn)生光暈效應(yīng)。

本文中，針對上述兩個問題，提出了一種改進的大氣光估計方法，以解決大氣光估計不準確的問題。并提出一種改進的引導(dǎo)濾波對傳輸圖進行優(yōu)化以解決光暈效應(yīng)。利用優(yōu)化后的傳輸圖t(x)，去霧圖像J(x)可表示為：

(4)

式中t0是一個防止分母為0的一個下限值，本文中取值為0.1。

3 本文算法

3.1 大氣光估計

He等[7]首先在暗通道中選取最亮的0.1%像素，然后從其中選取強度最高值作為大氣光估計值。然而，受白色物體的影響，暗通道可能會錯誤的選取霧最濃的區(qū)域，從而導(dǎo)致錯誤的大氣光估計值，這樣去霧圖像可能會產(chǎn)生顏色扭曲現(xiàn)象。Kim等[20]對有霧圖像進行四叉樹細分，并從分成的子塊中選取最大平均值的子塊，再將該子塊進行四叉樹細分，重復(fù)該過程直至達到預(yù)先設(shè)定好的次數(shù)為止。然后在最后的子塊中，選取一個和(255,255,255)最小的距離的顏色向量作為大氣光的估計值。然而，如果圖像中包含明亮區(qū)域，這個方法可能會錯誤的估計大氣光值，如圖1(b)所示。為了更加可靠的選取大氣光值，本文假定大氣光彌漫在有霧圖像的大部分區(qū)域，而且在局部區(qū)域它的強度值是最高的。通過假定大氣光的這兩個方面，本文通過對一個改進后的暗通道圖像進行四叉樹細分。該改進的暗通道與原始暗通道的區(qū)別在于該改進后的暗通道將圖像分成各個不重疊的子塊L(x)，對每個子塊中選取這個子塊中最小值代替這個子塊中所有的值，從而得到改進的暗通道：

(5)

該子塊大小根據(jù)準確性和可靠性兩方面來憑經(jīng)驗的選取為30×30，圖1(c)展示了通過式(5)改進后的暗通道。從圖中可以發(fā)現(xiàn)，改進后的暗通道比原始圖像子塊平均值有著更低的強度值，在該提出的方法中，四叉樹細分方法可以選取更加可靠的用來估計大氣光的候選區(qū)域?？梢詮膱D1(c)看出，提出的方法選取天空區(qū)域作為最終的候選區(qū)域，該方法沒有受到圖像底部白色建筑物的干擾。在最終候選區(qū)域的像素中，本文通過選取一個和(255,255,255)最小距離的顏色向量作為大氣光的估計值，即‖(r,g,b)-(255,255,255)‖。通過最小化與純白色(255,255,255)的距離，可以估計更可靠的大氣光估計值。

圖1 圖像中填滿紅色區(qū)域為最終選定區(qū)域Fig.1 Blocks filled with red color are finally selected region

3.2 引導(dǎo)濾波的改進

引導(dǎo)濾波[8]可以平滑圖像和保持圖像邊緣信息，其最大的特點是計算速度快，近幾年出現(xiàn)了一些基于引導(dǎo)濾波的去霧算法[21-22]。引導(dǎo)濾波的關(guān)鍵假設(shè)是局部線性模型：

qi=akIi+bk,?i∈ωk，

(6)

其中：I是引導(dǎo)圖像，q是濾波輸出，ωk是以像素k為中心r為半徑的一個方形窗口，ak和bk是兩個在窗口ωk下的線性系數(shù)，假定為常數(shù)。

局部線性模型保證了只有當引導(dǎo)圖像I有邊緣時，對應(yīng)的輸出圖像q也會有該邊緣。引導(dǎo)濾波是一個快速保邊平滑濾波器。它對比雙邊濾波，不僅其速度比雙邊濾波快，而且引導(dǎo)濾波可以避免出現(xiàn)梯度反轉(zhuǎn)效應(yīng)。引導(dǎo)濾波的線性系數(shù)ak和bk可以通過最小化代價函數(shù)E(ak,bk)來得到：

(7)

其中正則化參數(shù)λ用來防止ak過大。然而，由于引導(dǎo)濾波的λ參數(shù)是固定的，當引導(dǎo)濾波用于平滑圖像時，其也會同樣地平滑邊緣，這樣以來，光暈效應(yīng)就會無法避免的產(chǎn)生。為了減弱光暈效應(yīng)，本文引入了一個自適應(yīng)權(quán)重φi來解決這個問題，自適應(yīng)權(quán)重因子可以根據(jù)不同的情況來調(diào)整正則化參數(shù)。理想的權(quán)重模型需要當像素在邊緣時有個大的權(quán)重，而在非邊緣時有個小的權(quán)重。而圖像的梯度信息可以滿足這個思想。所以自適應(yīng)權(quán)重因子φi被設(shè)計為：

(8)

其中：CGi是引導(dǎo)圖像I在像素i點的顏色梯度值[23]，k是閾值，其值被取為0.05×L，閾值k是用來決定是否像素點在邊緣區(qū)域。L是輸入圖像的動態(tài)范圍，ε是一個小的正常數(shù)，用來防止分母為0。

CGi能根據(jù)當前像素點的灰度突變程度公正的決定該像素點邊緣信息放大力度。當像素位于圖像邊緣時，邊緣信息越顯著，權(quán)值φi越大，表現(xiàn)為對邊緣信息敏感；當像素不在邊緣時，權(quán)值φi較小，表現(xiàn)為對邊緣信息不敏感。

將自適應(yīng)權(quán)重因子應(yīng)用在代價函數(shù)中：

(9)

引導(dǎo)濾波的線性系數(shù)ak和bk可以被計算為：

(10)

(11)

(12)

由于暗通道先驗的簡易性和有效性，原始傳輸圖根據(jù)暗通道先驗來估計。原始傳輸圖可以進一步被式(9)來平滑，得到最終的傳輸估計圖。根據(jù)已求得的大氣光值A(chǔ)和傳輸圖t(x)將其代入式(4)即可求得無霧圖像J(x)，如圖2所示。

圖2 運用改進后的引導(dǎo)濾波來精細傳輸圖的圖解Fig.2 Illstration of the proposed improved GIF by using it to refine the transmission map of a haze image

4 實驗結(jié)果

為了證明提出的方法的有效性，通過現(xiàn)階段的去霧算法對多個不同的有霧圖像進行了實驗比較，實驗結(jié)果由兩部分組成，第一部分討論去霧效果圖比較。第二部分展現(xiàn)了各個去霧效果圖的客觀評價標準的比較。

4.1 主觀評價

在本節(jié)，提出的濾波器與引導(dǎo)濾波以及加權(quán)引導(dǎo)濾波[24]在去霧領(lǐng)域進行了比較，為了公平起見，除了濾波器不同，其余參數(shù)均為相同。從圖3可以看出本文提出的濾波器在天安門屋檐處的光暈效應(yīng)得到了有效減弱，保護細節(jié)比引導(dǎo)濾波和加權(quán)引導(dǎo)濾波更好。接下來，提出的算法與三種現(xiàn)階段較新的去霧算法進行航空圖像實驗效果比較，所有的參數(shù)設(shè)置選取全都與這些算法原文中設(shè)置的最佳參數(shù)相同。從圖4(b)可以看出顏色衰減先驗在霧不濃的情況下去霧效果還行，但在霧濃的情況下去霧效果較差。這是因為α和線性模型系數(shù)的值都是固定的，這些值應(yīng)該根據(jù)輸入圖像的霧的濃度來自適應(yīng)調(diào)整。從圖4(c)可以看出暗通道先驗由于引導(dǎo)濾波的過度平滑，導(dǎo)致圖像去霧效果不清晰。從圖4(d)可以看出非局部先驗去霧效果比其他去霧算法更好，但其可能發(fā)生錯誤的將像素聚類到霧霾線的情況，這將導(dǎo)致顏色失真。可以看出本文算法產(chǎn)生了更好的去霧效果，去霧圖像顏色更為可靠，光暈更少。

圖3 引導(dǎo)濾波，加權(quán)引導(dǎo)濾波和我們的濾波器處理后的去霧圖像比較Fig.3 Comparison of GIF, WGIF and proposed algorithm

圖4 提出的去霧算法和文獻[5-7]三個去霧算法的比較Fig.4 Comparison of the proposed haze removal algorithm and the haze removal algorithms in [5-7] via three haze images

4.2 客觀評價

表1展示了提出的方法和現(xiàn)階段去霧算法的客觀評價指標[25]比較，從中可以看出提出的算法有最好的e，r和IVM，對于σ，提出算法的結(jié)果不是最好就是第二好的結(jié)果。從客觀評價指標對比來看，提出的算法無論是邊緣細節(jié)還是可視性來說，都比現(xiàn)階段算法效果好，但對于某些圖像去霧后飽和度略差。

表1 客觀評價指標比較

5 結(jié) 論

在本文中，對暗通道先驗算法進行了改進。首先，提出的方法對有霧圖像的暗通道進行改進，改為不重疊區(qū)域，將不重疊的暗通道進行四叉樹細分來估計大氣光值。其次，本文提出了引入了一個自適應(yīng)權(quán)重到引導(dǎo)濾波中，提出的濾波器保邊效果更好，光暈現(xiàn)象較小且不出現(xiàn)過度平滑現(xiàn)象。本文方法產(chǎn)生了視覺上非常令人滿意的結(jié)果，因此更加有利于在航空圖像成像系統(tǒng)中的應(yīng)用。此外，除了單幅圖像去霧，改進后的濾波器還可以應(yīng)用到許多其它的領(lǐng)域，比如去噪、細節(jié)增強、高動態(tài)范圍壓縮、摳圖等等領(lǐng)域的研究。我們將在未來的科研中研究這些領(lǐng)域的應(yīng)用。