基于自適應(yīng)大氣光校正的圖像去霧方法

全 雪 峰

(南陽(yáng)醫(yī)學(xué)高等專科學(xué)校衛(wèi)生管理系 河南 南陽(yáng) 473061)

0 引 言

霧霾天氣下拍攝的戶外圖像模糊不清，直接影響圖像在視頻監(jiān)控、目標(biāo)識(shí)別、智能交通等方面的應(yīng)用，因此霧霾圖像清晰化處理至關(guān)重要。

目前主流的圖像去霧技術(shù)可以分為兩大類：一類是基于圖像增強(qiáng)的方法，另一類是基于物理模型的方法[1]。前者包括直方圖均衡化[2]和Retinex算法[3]，這類方法通過(guò)提高有霧圖像的對(duì)比度或突出圖像特征來(lái)實(shí)現(xiàn)圖像清晰化，但是容易造成圖像細(xì)節(jié)丟失；后者通過(guò)研究大氣懸浮顆粒對(duì)光的散射作用，建立霧天圖像的物理模型[4]，進(jìn)一步反演恢復(fù)出清晰圖像。基于同一場(chǎng)景下有霧圖像的對(duì)比度比無(wú)霧圖像的對(duì)比度低這一先驗(yàn)知識(shí)，Tan[5]提出最大化有霧圖像的局部對(duì)比度來(lái)實(shí)現(xiàn)去霧目的，但是存在去霧圖像顏色失真問(wèn)題。Kim等[6]通過(guò)最小化代價(jià)函數(shù)來(lái)提高圖像對(duì)比度，但存在去霧后圖像的細(xì)節(jié)信息丟失等問(wèn)題。Fattal[7]假設(shè)入射光強(qiáng)度與物體表面反射特性不相關(guān)，計(jì)算透射率并求出去霧圖像, 但對(duì)濃霧圖像去霧效果不佳。Tarel等[8]利用中值濾波估計(jì)大氣散射函數(shù)實(shí)現(xiàn)圖像去霧，其去霧效果一般。He等[9]提出暗通道先驗(yàn)算法并獲得了良好的去霧效果，但不適于天空區(qū)域，而且由

于使用了軟摳圖致使算法處理速度較慢，不適合實(shí)時(shí)處理。導(dǎo)向?yàn)V波算法[10]雖然解決了軟摳圖實(shí)時(shí)性能不好的問(wèn)題，但是恢復(fù)圖像仍然存在光暈。針對(duì)暗通道先驗(yàn)算法的不足，人們提出了一些改進(jìn)算法[11-14]，并取得了一定的效果。

本文針對(duì)暗通道先驗(yàn)算法存在的問(wèn)題，提出了一種自適應(yīng)大氣光校正方法，以避免由于大氣光值不準(zhǔn)而造成估計(jì)的透射率偏差大，導(dǎo)致去霧圖像出現(xiàn)光暈等；提出了一種針對(duì)天空等明亮區(qū)域的透射率自適應(yīng)補(bǔ)償方法，使這些區(qū)域的色彩失真得以校正。本文提出的算法不需要進(jìn)行透射率細(xì)化。實(shí)驗(yàn)結(jié)果表明，本文算法可以有效避免光暈和顏色失真等問(wèn)題，而且處理速度較快。

1 暗通道先驗(yàn)去霧算法

1.1 大氣散射模型

在計(jì)算機(jī)視覺(jué)和圖像處理領(lǐng)域，常用下式來(lái)描述霧天圖像：

I(x)=J(x)t(x)+A(1-t(x))

(1)

式中：x為圖像像素；A為全球大氣光強(qiáng)度；I表示采集的霧天圖像強(qiáng)度；J表示場(chǎng)景輻射，即去除霧干擾后的清晰圖像強(qiáng)度；t是介質(zhì)傳輸透射率，在大氣均勻情況下，t(x)=e-βd(x)，這里的β為大氣散射系數(shù)，d(x)為場(chǎng)景深度。式(1)表明，在RGB顏色空間若能事先估計(jì)出A和t，代入式(1)便可復(fù)原出無(wú)霧圖像J。

1.2 暗通道先驗(yàn)去霧基礎(chǔ)

He等[9]通過(guò)對(duì)大量戶外無(wú)霧圖像觀察統(tǒng)計(jì)，發(fā)現(xiàn)在大多數(shù)圖像里，對(duì)于非天空區(qū)域來(lái)說(shuō)，某些像素至少一個(gè)顏色通道其強(qiáng)度非常低，接近于0。基于這一發(fā)現(xiàn)，He等提出暗通道概念。對(duì)于任意圖像J，其暗通道Jdark由下式給出：

(2)

式中：Ω(x)表示以像素x為中心的一個(gè)局部區(qū)域 (通常取7×7或15×15的方形矩陣)；Jc表示圖像J的一個(gè)顏色通道。如果J為戶外無(wú)霧圖像，在天空以外的區(qū)域，J的暗通道Jdark的值很小，趨近于0。

假設(shè)Ac為大氣光A在c通道的值，局部區(qū)域Ω(x)內(nèi)透射率t(x)不變，式(1)可變形為：

(3)

對(duì)式(3)兩邊進(jìn)行兩次最小運(yùn)算，可得：

(4)

將式(2)代入式(4)，并由Jdark(x) → 0，可得：

(5)

為了使去霧后的圖像更符合人眼視覺(jué)效果，在式(5)中引入?yún)?shù)ω(0≤ω≤1，通常取0.95)，得到：

(6)

將式(6)代入式(1)，得到：

(7)

為防止分母為0，在式(7)中引入常數(shù)t0(t0為很小的常數(shù)，通常取0.1)，最終的圖像恢復(fù)公式如下：

(8)

2 算法設(shè)計(jì)

本文對(duì)暗通道先驗(yàn)去霧算法進(jìn)行以下四個(gè)方面的改進(jìn)：(1) 利用四叉樹(shù)算法搜索濃霧區(qū)域求取大氣光并進(jìn)行自適應(yīng)校正；(2) 利用均值濾波代替最小值濾波求取暗通道；(3) 對(duì)估計(jì)的透射率不再進(jìn)行細(xì)化，而是直接用于圖像恢復(fù)；(4) 對(duì)去霧圖像的亮度進(jìn)行調(diào)節(jié)，以提高輸出圖像的視覺(jué)效果。本文算法流程如圖1所示。

圖1 本文算法流程

2.1 估計(jì)大氣光值

2.1.1 初步估計(jì)大氣光

由式(1)可知，大氣光A在圖像去霧過(guò)程起著舉足重要的作用。He等[9]選取暗通道圖中前0.1%的亮度最大的像素，將這些像素對(duì)應(yīng)有霧圖像中像素的最大值作為大氣光值。大氣光應(yīng)是霧濃度最大的地方，但是最亮點(diǎn)有時(shí)并不是霧濃度最大的地方，而可能是場(chǎng)景中的白色汽車等高亮物體，此時(shí)仍然選取全局亮度最大值作為大氣光值顯然錯(cuò)誤。為了準(zhǔn)確估計(jì)大氣光，基于圖像中天空區(qū)域的像素值方差較小，本文采用四叉樹(shù)搜索法[6]來(lái)初步估計(jì)大氣光，方法如下：將原圖像劃分為4個(gè)大小相同的矩形區(qū)域，記每一區(qū)域像素的均值與標(biāo)準(zhǔn)差之差為Score[i] (i=1,2,3,4)，選取Score[i]值最高的區(qū)域繼續(xù)劃分為4個(gè)更小的區(qū)域，再次計(jì)算Score[i]，如此迭代進(jìn)行，直到選取區(qū)域滿足預(yù)先設(shè)定的閾值，以最后選取區(qū)域的最亮點(diǎn)作為大氣光的初步估計(jì)值。具體選擇過(guò)程如圖2所示，圖中黑色方塊區(qū)域?yàn)樽罱K選取的區(qū)域，設(shè)定的閾值為長(zhǎng)×寬=200像素。

圖2 四叉樹(shù)搜索算法選擇圖像塊過(guò)程

2.1.2 自適應(yīng)大氣光校正

測(cè)試發(fā)現(xiàn)，對(duì)于一些天空區(qū)域較小的圖像，采用文獻(xiàn)[6]的四叉樹(shù)搜索法求得的大氣光值往往偏低，造成最終去霧能力下降。為解決這一問(wèn)題，本文提出如下自適應(yīng)大氣光校正方法。

以最后選定區(qū)域的最亮點(diǎn)作為初步估計(jì)的大氣光A0的值，利用下式對(duì)A0值進(jìn)行校正。

A=(1+max(0,log(vw))>A0

(9)

式中：w=7+9e-20v，稱參數(shù)v為自適應(yīng)大氣光校正因子，表示輸入圖像中非天空或景深突變區(qū)域的大小。這里采用max的目的是設(shè)定一個(gè)校正閾值0，當(dāng)log(vw)>0時(shí)，給大氣光A適量的增加，而當(dāng)log(vw)<0時(shí)，不進(jìn)行校正，從而避免了A值不增反降。測(cè)試發(fā)現(xiàn)，絕大多數(shù)圖像中v≤0.85的區(qū)域?qū)儆诜翘炜栈蚓吧钔蛔儏^(qū)域，故本文取v=0.85，這樣即可自動(dòng)確定w的值，并最終得到校正后的大氣光值A(chǔ)。v和w間的關(guān)系如圖3所示。

圖3 v和w間的關(guān)系曲線圖

對(duì)圖4(a)所示有霧圖像分別采用文獻(xiàn)[9]方法、文獻(xiàn)[6]方法和本文方法求取大氣光，所得大氣光值如表1所示，去霧效果如圖4(b)-(d)所示。

圖4 不同方法求取大氣光后的去霧效果

文獻(xiàn)[9]方法文獻(xiàn)[6]方法本文方法(v=0.83)A(255,248,245)(181,186,185)(212,218,217)

由表1可以看出，由文獻(xiàn)[9]方法所得大氣光值偏高，由文獻(xiàn)[6]方法所得大氣光值偏低，本文方法對(duì)四叉樹(shù)搜索法所得大氣光值進(jìn)行了較好的校正。比較圖4(b)-(d)可以發(fā)現(xiàn)，利用本文提出的大氣光自適應(yīng)校正方法求得的大氣光恢復(fù)的圖像去霧效果較好。

2.2 透射率估計(jì)

2.2.1 暗通道均值

He等[9]在求取暗通道過(guò)程中使用了最小值濾波。本文利用均值濾波代替最小值濾波對(duì)暗通道先驗(yàn)公式修訂如下[14]：

(10)

式中：稱JdarkM(x)為暗通道均值。

分別利用He[9]的方法和本文方法對(duì)圖5(a)求取暗通道如圖5(b)和圖5(c)所示。比較圖5(b)和圖5(c)可以看出，由最小值濾波得到的暗通道顏色呈塊狀分布，計(jì)算透射率時(shí)容易產(chǎn)生較大的誤差，由均值濾波得到的暗通道圖更為平滑，而且保持了圖像原有的細(xì)節(jié)。

圖5 不同算法所得暗通道

2.2.2 透射率估計(jì)

對(duì)式(3)先進(jìn)行最小運(yùn)算，再進(jìn)行均值濾波，即：

(11)

應(yīng)用第1節(jié)討論的大氣散射物理模型和暗通道先驗(yàn)?zāi)Ｐ停墒?6)可知，基于上述暗通道均值的透射率描述如下：

(12)

式中：ω(0≤ω≤1)為常數(shù)，本文取ω值為0.95。

對(duì)圖5(a)所示圖像分別采用引導(dǎo)濾波[10]和本文算法估計(jì)透射率，所得結(jié)果如圖6所示。圖中：(a)為引導(dǎo)濾波細(xì)化后的透射率；(b)為本文算法未細(xì)化的透射率；(c)為對(duì)應(yīng)圖6(b)中黑色方框區(qū)域放大圖；(d)為本文算法用引導(dǎo)濾波細(xì)化后的透射率；(e)為對(duì)應(yīng)圖6(d)中黑色方框區(qū)域放大圖；(f)為對(duì)應(yīng)圖6(a)為去霧圖；(g)為對(duì)應(yīng)圖6(b)的去霧圖；(h)為對(duì)應(yīng)圖6(g)黑色方框區(qū)域放大圖；(i)為對(duì)應(yīng)圖6(d)的去霧圖；(j)為對(duì)應(yīng)圖6(i)黑色方框區(qū)域放大圖。

圖6 不同方法所得透射率和去霧效果

對(duì)比圖6(a)和圖6(b)可以看出，本文算法得到的透射率更加精確，這也可以從相應(yīng)的去霧圖像圖6(f)和圖6(g)得到驗(yàn)證。此外，對(duì)比圖6(b)和圖6(d)，以及圖6(g)和圖6(i)可以看出，由本文算法得到的透射率無(wú)需進(jìn)行細(xì)化操作，如果采用引導(dǎo)濾波對(duì)透射率進(jìn)行細(xì)化，去霧效果反而不好，這可從圖6(c)和圖6(e)，以及對(duì)應(yīng)的去霧圖像圖6(h)和圖6(j)到驗(yàn)證。本文算法得到的透射率無(wú)需細(xì)化的原因是，由本文算法得到的大氣光更精確，因而由式(12)求得的透射率也更精確，此時(shí)若再用引導(dǎo)濾波進(jìn)行細(xì)化，由于引導(dǎo)濾波在保留圖像細(xì)節(jié)的同時(shí)，也保留了不必要的圖像紋理細(xì)節(jié)[11]，這樣反而降低了圖像去霧效果。

2.3 天空等明亮區(qū)域的透射率自適應(yīng)補(bǔ)償

補(bǔ)償后的透射率t(x)可表示為：

t(x)=tM(x)+Δt(x)

(13)

式中：Δt(x)表示補(bǔ)償函數(shù)，其定義為：

Δt(x)=e-ktM(x)

(14)

其中，參數(shù)k=7+9e-20u，u為透射率補(bǔ)償因子，表示有霧圖像中天空或雪地等明亮區(qū)域的大小。根據(jù)前述自適應(yīng)大氣光校正因子ν的含義可知，u與v的關(guān)系為u=1-v。

對(duì)式(14)求導(dǎo)，得到該凹函數(shù)的最小值點(diǎn)在平面tM-t的坐標(biāo)(tp,tmin)，即：

(15)

顯然，天空區(qū)域的景深為整個(gè)圖像的最遠(yuǎn)處，該區(qū)域的透射率是整個(gè)透射率圖中的最小值[11]。因此，對(duì)補(bǔ)償后的透射率t(x)設(shè)置一個(gè)下限tmin，得到最終補(bǔ)償后的透射率：

(16)

圖7給出了u取不同值時(shí)透射率的補(bǔ)償情況。由圖7可以看出，通過(guò)本文提出的自適應(yīng)透射率補(bǔ)償方法，對(duì)于天空區(qū)域這種透射率較小的地方，其透射率得到了較多的補(bǔ)償；對(duì)于透射率較大的地方，給予的補(bǔ)償較小。通過(guò)調(diào)整u值，進(jìn)而調(diào)整k值，可以使補(bǔ)償曲線接近預(yù)期。

圖7 不同k值補(bǔ)償前后的透射率tM和t間的關(guān)系曲線圖

2.4 恢復(fù)去霧場(chǎng)景

得到透射率t(x)和大氣光A之后，將其代入式(1)就可恢復(fù)無(wú)霧圖像。為防止分母為0，本文借鑒文獻(xiàn)[9]的處理方法，為透射率設(shè)定一個(gè)下限值t0，取值為0.1，最終復(fù)原圖像表達(dá)式為：

(17)

2.5 圖像亮度調(diào)整

在霧天采集的圖像，由于受大氣光的作用，圖像整體偏白，通過(guò)上述步驟得到的無(wú)霧圖像整體偏暗。為提高圖像的視覺(jué)效果，本文采用下面的調(diào)整函數(shù)來(lái)調(diào)整圖像亮度，同時(shí)修正色偏。

(18)

式中：L0(x)和L(x)分別表示調(diào)整前后圖像；α為調(diào)整因子，值越大圖像亮度越高，本文取α=4。

3 實(shí)驗(yàn)結(jié)果與分析

為檢驗(yàn)本文算法的有效性，本文對(duì)大量室外圖像進(jìn)行了測(cè)試，測(cè)試圖像來(lái)源于互聯(lián)網(wǎng)或所附文獻(xiàn)，所使用的硬件平臺(tái)為：2.50 GHz AMD Sempron (tm) X2 190 CPU，8 GB內(nèi)存；軟件平臺(tái)為：Qt5.9，Opencv3.4，Windows 7 64位系統(tǒng)。

3.1 不同參數(shù)值對(duì)去霧效果的影響

圖8所示為不同參數(shù)對(duì)去霧效果的影響。由圖8可以看出，不同的u值、ν值對(duì)去霧效果有較大影響。通常對(duì)于包含天空的圖像或存在景深突變的圖像，一般設(shè)置μ值為0.10 ～ 0.15去霧效果最佳，過(guò)大的u值可能出現(xiàn)色偏或光暈；對(duì)于不包含天空或僅包含很小部分天空的圖像，一般設(shè)置u值為0.15 ～ 0.20即可。

圖8 不同參數(shù)對(duì)去霧效果的影響

3.2 去霧視覺(jué)效果對(duì)比

下面從視覺(jué)感受上比較引導(dǎo)濾波算法[10]、Kim算法[6]和本文算法的去霧效果。圖9-圖12給出了比較典型的室外有霧圖像的去霧效果。

圖9 不同算法去霧效果比較

圖10 不同算法去霧效果比較

圖11 不同算法去霧效果比較

圖12 不同算法去霧效果比較

從圖9這種含有較大面積天空區(qū)域圖像的去霧效果可以看出，引導(dǎo)濾波算法在圖像的天空區(qū)域出現(xiàn)較嚴(yán)重的色彩失真和光暈，這是由于引導(dǎo)濾波算法對(duì)天空區(qū)域的透射率估計(jì)過(guò)小，通過(guò)式(8)還原無(wú)霧圖像時(shí)，因?yàn)榉帜负苄。瑪U(kuò)大了RGB三通道之間原有的差異，從而產(chǎn)生色彩失真和光暈。Kim算法和本文算法的去霧效果明顯優(yōu)于引導(dǎo)濾波方法。從細(xì)節(jié)上講，本文算法的去霧效果又優(yōu)于Kim的去霧效果，如圖9(c)白色方框區(qū)域仍有薄薄的一層殘霧。這是因?yàn)楸疚乃惴ǚ謩e對(duì)大氣光和天空部分的透射率進(jìn)行了一定程度的增強(qiáng)，所以基本不會(huì)出現(xiàn)引導(dǎo)濾波算法和Kim算法存在的現(xiàn)象。

從圖10這種普通有霧圖像的去霧結(jié)果看，三種算法均取得了較好的去霧效果，但從色彩豐富度上看，本文算法和Kim算法要優(yōu)于引導(dǎo)濾波算法。

從圖11這種存在景深突變圖像的去霧效果看，引導(dǎo)濾波和Kim算法在景深突變的邊緣均存在光暈，引導(dǎo)濾波算法尤其明顯，而本文算法能保持比較清晰的景深邊緣，不存在任何光暈。

從圖12這種含有遠(yuǎn)景區(qū)域圖像的去霧效果看，引導(dǎo)濾波算法恢復(fù)的圖像比Kim算法和本文算法效果較好。這是因?yàn)檫h(yuǎn)景部分的像素值一般跟大氣光接近，具有較大的通道最小值[15]，利用本文算法去霧時(shí)，該區(qū)域的透射率將得到一定量的提升，高于真實(shí)的透射率，從而導(dǎo)致對(duì)該區(qū)域的去霧能力降低。但從近景 (如圖12(b)和圖12(c)中白色方框區(qū)域) 看，引導(dǎo)濾波方法和Kim算法恢復(fù)的圖像均存在一部分殘霧，而本文算法不存在殘霧，圖像清晰。

3.3 去霧效果的客觀評(píng)價(jià)

下面分別從色調(diào)保真度、新增可見(jiàn)邊之比、平均梯度比以及基于視覺(jué)感知的CNC綜合評(píng)價(jià)體系等方面對(duì)不同算法的去霧效果進(jìn)行客觀比較。

圖像的色調(diào)保真度[16]是一種基于圖像統(tǒng)計(jì)特征的度量參數(shù)，定義為：

(19)

式中：abs(·)表示對(duì)所有元素取絕對(duì)值；mean(·)表示對(duì)所有元素取均值；Hin(x)和Hout(x)分別表示輸入、輸出圖像在HSV空間的色調(diào)分量。一般來(lái)說(shuō)，H值越小，圖像的色調(diào)保真度越高。

(20)

(21)

基于視覺(jué)感知的CNC (Contrast-Naturalness-Colorfulness) 綜合評(píng)價(jià)體系是郭璠等[18]提出的一種圖像質(zhì)量評(píng)價(jià)體系。該評(píng)價(jià)體系以人眼視覺(jué)感知特性為依據(jù)，從對(duì)比度、色彩豐富度和色彩自然度3個(gè)方面綜合評(píng)價(jià)去霧圖像的質(zhì)量。CNC評(píng)價(jià)體系的總體框架如圖13所示，其中x表示有霧圖像，y表示去霧圖像。

圖13 CNC評(píng)價(jià)體系總體框架

CNC評(píng)價(jià)體系利用x與y的可見(jiàn)邊求出圖像的對(duì)比度增強(qiáng)指標(biāo)e′，并分別計(jì)算去霧圖像y的色彩豐富度指標(biāo)CCI(Color Colorfulness Index)和色彩自然度指標(biāo)CNI(Color Natural Index)，最后運(yùn)用這三個(gè)指標(biāo)構(gòu)造一個(gè)綜合評(píng)價(jià)函數(shù)，并用該函數(shù)對(duì)去霧結(jié)果進(jìn)行客觀、定量評(píng)定。CNC綜合評(píng)價(jià)函數(shù)為：

(22)

表2給出了圖9-圖12所示4幅圖像在不同去霧算法下各指標(biāo)值的大小。

表2 不同算法去霧效果客觀比較

由表2可以看出，在色調(diào)保真度方面，本文算法對(duì)“娃娃”圖像的處理低于引導(dǎo)濾波算法，稍次于Kim算法；在新增可見(jiàn)邊之比和平均梯度比方面，本文算法對(duì)“城市”圖像的處理次于引導(dǎo)濾波算法，但本文算法的平均梯度比高于Kim算法，而且相比于原有霧圖像仍有較大改善；在CNC綜合評(píng)價(jià)方面，本文算法對(duì)“城市”圖像的處理效果介于引導(dǎo)濾波算法和Kim算法之間，對(duì)其他圖像則均優(yōu)于這兩種算法；在處理時(shí)間上，相對(duì)于引導(dǎo)濾波算法本文算法并未引入明顯的時(shí)間開(kāi)銷，且相比于Kim算法有較大減少。總的來(lái)說(shuō)，本文算法在提高圖像清晰度的同時(shí)也具有較快的處理速度。

4 結(jié) 語(yǔ)

本文提出了一種基于暗通道先驗(yàn)去霧的新的改進(jìn)方法。本文利用提出的自適應(yīng)校正大氣光方法對(duì)由四叉樹(shù)搜索法得到的大氣光進(jìn)行校正，得到了更為準(zhǔn)確的大氣光；利用均值濾波代替最小值濾波得到一種更為平滑的暗通道。基于本文方法估計(jì)的透射率無(wú)需進(jìn)一步細(xì)化。針對(duì)暗通道先驗(yàn)不適用于天空等明亮區(qū)域問(wèn)題，本文提出一種無(wú)需天空分割的自適應(yīng)透射率補(bǔ)償方法，有效改善了天空區(qū)域的顏色失真。實(shí)驗(yàn)結(jié)果表明，相比于傳統(tǒng)的去霧算法，本文算法恢復(fù)出來(lái)的圖像細(xì)節(jié)突出，具有更好的視覺(jué)效果。本文算法的局限是對(duì)于少數(shù)一些含有遠(yuǎn)景區(qū)域的有霧圖像，對(duì)遠(yuǎn)景區(qū)域的去霧能力稍弱。接下來(lái)的工作是進(jìn)一步改進(jìn)算法，以更加有效和快速地處理霧霾對(duì)圖像的影響。