基于三區(qū)域劃分的單幅圖像去霧算法

郭新運(yùn),孫丕波2，盧 瀟,高 尚,劉曉欣，范 迪

(1.山東科技大學(xué) 電子信息工程學(xué)院，山東 青島 266590； 2.青島酒店管理職業(yè)技術(shù)學(xué)院 信息工程技術(shù)學(xué)院，山東 青島 266100)

在霧、霾天氣條件下，由于大氣中水汽、煙塵、微水滴等微粒子的散射、吸收作用，物體表面的反射光在到達(dá)成像設(shè)備的過程中發(fā)生較大的、隨機(jī)的衰減，致使所拍攝的圖像整體模糊、對比度低、色彩退化。霧致退化給后續(xù)圖像在目標(biāo)識別[1]、視頻監(jiān)控[2]、遙感航拍[3]等領(lǐng)域的應(yīng)用帶來困難。

目前，圖像去霧算法主要分為圖像增強(qiáng)類算法和圖像復(fù)原類算法。前者不考慮降質(zhì)圖像退化原因，而是通過圖像增強(qiáng)技術(shù)突出場景細(xì)節(jié)，提高圖像對比度，從而提升圖像質(zhì)量；后者分析圖像成像機(jī)理，構(gòu)建霧霾天氣圖像退化的數(shù)學(xué)模型，然后還原出清晰無霧圖像。自適應(yīng)直方圖均衡化、Retinex算法、大氣耗散函數(shù)算法及暗通道先驗去霧算法是常見的去霧算法[4]。自適應(yīng)直方圖均衡化算法是對圖像的局部進(jìn)行操作，通過局部操作增強(qiáng)圖像的細(xì)節(jié)信息[5]。單尺度Retinex算法(single-scale Retinex，SSR算法)是將有霧圖像與中心環(huán)繞函數(shù)卷積得到入射光，通過對數(shù)運(yùn)算獲得反射光圖像，從而實現(xiàn)去霧效果[6]，后續(xù)發(fā)展形成了多尺度Retinex(multi-scale Retinex，MSR)算法[7]、帶顏色保持的多尺度Retinex(multi-scale Retinex with color restoration，MSRCR)算法[8]。Tarel等[9]將大氣散射模型中的大氣光模型定義為大氣耗散函數(shù)，通過中值濾波估計出大氣耗散函數(shù)來實現(xiàn)圖像去霧，但該方法容易出現(xiàn)Halo效應(yīng)。因此，劉子兵等[10]使用像素級融合和濾波的方法、陳丹丹等[11]使用引入修正函數(shù)的方法對大氣耗散函數(shù)進(jìn)行優(yōu)化，復(fù)原圖像效果進(jìn)一步提高。范迪等[12]提出一種結(jié)合大氣散射模型與顏色衰減先驗的去霧復(fù)原模型，復(fù)原后的圖像清晰度和對比度都得到了較大的提高。He等[13]通過對大量室外無霧圖像進(jìn)行統(tǒng)計得出了暗通道先驗理論(dark channel prior, DCP)，利用該理論估計場景透射率后由大氣散射模型恢復(fù)圖像。為解決暗通道先驗算法在天空區(qū)域色彩失真以及處理速度較慢問題，有學(xué)者先后提出了改進(jìn)方法。提璇等[14]提出將有霧圖像分割成天空區(qū)域和非天空區(qū)域，對不滿足暗通道先驗理論的天空區(qū)域引入容差參數(shù)修正透射率；李堯羿等[15]使用一種新的天空區(qū)域特征先驗知識將圖像進(jìn)行分割處理，對天空區(qū)域利用暗通道先驗和全變分模型進(jìn)行透射率估計，基于大氣散射模型獲得去霧后的圖像；Tan等[16]對天空區(qū)域和景物區(qū)分別估計出初略透射率圖，然后聯(lián)合自適應(yīng)中值濾波和雙邊濾波對其快速修正細(xì)化。

目前的去霧算法還存在著天空區(qū)域效果不理想，天空和景物交界處容易出現(xiàn)虛假邊緣等問題。本研究在綜合分析現(xiàn)有方法基礎(chǔ)上，提出對圖像進(jìn)行三分區(qū)并針對各區(qū)域的特點采用適合的去霧算法，最后對去霧結(jié)果進(jìn)行組合獲得最終去霧結(jié)果，本算法去霧效果在整體上優(yōu)于常見算法。

1 三區(qū)域去霧算法

常用的幾種去霧算法的去霧效果在某些方面不太理想。暗通道先驗去霧算法在非天空區(qū)域去霧效果比較好，但是對天空及亮度較高的區(qū)域去霧效果差。Retinex算法尺度選擇比較困難，圖像細(xì)節(jié)恢復(fù)方面欠佳?？紤]到圖像中不同區(qū)域間的差異，提出一種基于暗通道先驗理論和單尺度Retinex算法的三區(qū)域劃分的單幅圖像去霧算法，算法框架如圖1所示。

算法中，圖像分為天空、非天空及過渡區(qū)三個區(qū)域，并根據(jù)各區(qū)域的特點，分別采用不同的去霧算法進(jìn)行去霧。在天空區(qū)域，采用大尺度的Retinex去霧算法，在去霧的同時避免出現(xiàn)光暈。在非天空區(qū)域，細(xì)節(jié)比較豐富，采用帶透射率優(yōu)化的暗通道去霧算法，以恢復(fù)和增強(qiáng)圖像細(xì)節(jié)。在過渡區(qū)，分別采用中尺度Retinex去霧算法及暗通道去霧兩種方法處理，并對兩個去霧結(jié)果進(jìn)行加權(quán)融合獲得去霧圖像。把三個區(qū)域的去霧結(jié)果組合形成初步去霧圖像，再進(jìn)行自適應(yīng)直方圖增強(qiáng)得到最終的去霧圖像。

1.1 非天空區(qū)域去霧

非天空區(qū)域去霧采用暗通道方法，是基于大氣散射模型和暗通道先驗的一種去霧算法。大氣散射模型[17]可表示為：

I(x)=J(x)t(x)+A(1-t(x))。

(1)

其中，I(x)為觀察到的有霧圖像，J(x)為場景光線強(qiáng)度即無霧圖像，t(x)為透射率，A為大氣光亮度值。去霧的目標(biāo)就是從I(x)中恢復(fù)出無霧圖像J(x)。

圖1 三區(qū)域圖像去霧算法框架Fig.1 Three-area image dehazing algorithm framework

暗通道先驗是He等[12]通過統(tǒng)計大量戶外無霧圖像發(fā)現(xiàn)的，即非天空區(qū)域至少有一個通道像素值非常小且接近0。其數(shù)學(xué)表達(dá)為：

(2)

其中，Jdark(x)表示無霧圖像的暗通道值，Ω(x)是以像素x為中心的一個局部區(qū)域，Jc(y)表示彩色圖像J(y)的c顏色通道，c可取R、G、B三種顏色，min(·)是求最小值的函數(shù)。

對式(1)的大氣散射模型兩邊同時求暗通道值可得：

Idark(x)=t(x)Jdark(x)+Ac(1-t(x))≈Ac(1-t(x))，

(3)

其中Idark(x)表示有霧圖像的暗通道圖。分析暗通道先驗理論，在使用最小值濾波時，濾波窗口越大，該理論越適用，但是濾波窗口過大，會導(dǎo)致暗通道圖中景深突變處出現(xiàn)邊緣外溢現(xiàn)象。造成這種現(xiàn)象的原因是在景深突變處像素值相差較大，求取暗通道時會選擇該區(qū)域較小的像素值作為該區(qū)域的暗通道圖，從而拉低了亮度較高區(qū)域的像素值。濾波窗口越小，暗通道圖細(xì)節(jié)信息越豐富，但是由于高亮度區(qū)域不存在暗像素，會導(dǎo)致求取的暗通道圖像素值偏高，從而影響圖像的恢復(fù)效果。由此可見，濾波窗口的選擇是求取暗通道圖的關(guān)鍵。本研究使用圖像寬和高的百分之一作為濾波半徑，根據(jù)不同圖像的大小自適應(yīng)調(diào)整濾波窗口半徑。圖2展示了三種不同濾波半徑下的暗通道圖。從圖中可以看出，濾波半徑越大，邊緣擴(kuò)張現(xiàn)象越嚴(yán)重，使用本研究提出的自適應(yīng)算法求取的暗通道圖在兼顧細(xì)節(jié)信息的同時，沒有出現(xiàn)邊緣擴(kuò)張現(xiàn)象。

將式(2)代入式(3)中，并引入小于1的系數(shù)ω以保持遠(yuǎn)處景物的真實度，可得到透射率t(x)的粗估計：

t(x)=1-ωIdark(x)/Ac。

(4)

將式(4)代入到式(1)中，可得去霧圖像J(x)為：

(5)

其中，為了防止出現(xiàn)t(x)趨于零而導(dǎo)致復(fù)原圖像過亮的問題，為t(x)設(shè)置下限t0，一般取值為0.1。全局大氣光值A(chǔ)可利用有霧圖像估計，首先在Idark(x)中提取亮度前0.1%的像素, 然后在原始有霧圖像中找到其對應(yīng)位置的最高亮度作為A值。非天空區(qū)域去霧算法如圖3所示。首先由非天空區(qū)域圖像根據(jù)式(2)得到暗通道圖，通過暗通道圖估計大氣光值A(chǔ)和粗估計透射率，采用引導(dǎo)濾波對透射率進(jìn)行優(yōu)化，最后根據(jù)式(5)獲得去霧圖像。

圖2 不同濾波半徑暗通道圖Fig.2 Dark channel diagram with different filter radius

圖3 非天空區(qū)域去霧Fig.3 Defogging in the non-sky area

1.2 天空區(qū)域去霧

天空區(qū)域不符合暗通道先驗理論，且天空區(qū)域整體灰度變化平緩，細(xì)節(jié)少。鑒于此，采用大尺度Retinex算法對圖像進(jìn)行去霧。Retinex算法基于如下成像模型[18]：

S(x,y)=R(x,y)·L(x,y)，

(6)

其中：S(x,y)為表示觀察到的圖像，R(x,y)為反射分量，L(x,y)為光照分量。Retinex算法認(rèn)為反射分量是景物本身，是恒常無霧的，其去霧方法是從原圖像S(x,y)中去除光照分量L(x,y)，從而得到反射分量R(x,y)。光照分量L(x,y)可由原始圖像S(x,y)和環(huán)繞函數(shù)F(x,y)卷積估計，即：

L(x,y)=S(x,y)*F(x,y)，

(7)

(8)

為方便起見，對式(6)兩邊取自然對數(shù)并整理可得：

g(x,y)=s(x,y)-l(x,y)，

(9)

其中，g(x,y)=lnR(x,y)，s(x,y)=lnS(x,y)，l(x,y)=lnL(x,y)。

將式(7)和式(8)代入式(9)中可得：

g(x,y)=lnS(x,y)-ln[F(x,y)·S(x,y)]。

(10)

則圖像的反射分量為：

R(x,y)=eg(x,y)。

(11)

尺度參數(shù)C大小的選取與單尺度Retinex的處理效果密切相關(guān)。參數(shù)C較小時，復(fù)原圖像局部細(xì)節(jié)較為突出，圖像動態(tài)范圍壓縮能力越強(qiáng)，但會出現(xiàn)顏色失真問題；C較大時，圖像色彩保持度較好，算法的動態(tài)范圍壓縮能力有所損失，導(dǎo)致圖像的細(xì)節(jié)信息保留較少。對大氣散射模型深入分析可知，圖像透射率越大，霧氣濃度越小，進(jìn)入成像設(shè)備的光線越多，拍攝的圖像越清晰，反之圖像越模糊。建立透射率和SSR算法尺度之間的分段函數(shù)，如式(12)所示。在兼顧動態(tài)壓縮范圍以及色彩保持度的同時，可以根據(jù)不同的霧氣濃度選擇合適的去霧尺度。

(12)

其中：T表示圖像的平均透射率；c′表示基本尺度，經(jīng)過大量實驗發(fā)現(xiàn)，取280時去霧效果最好。

1.3 過渡區(qū)去霧

為了使天空區(qū)和非天空區(qū)兩個去霧圖像更好的銜接，考慮到兩區(qū)交界附近圖像的特殊性，特分出過渡區(qū)并采用一套與之適合的去霧算法進(jìn)行處理。過渡區(qū)包含小部分天空和非天空內(nèi)容，在該區(qū)域暗通道先驗理論不完全成立，且存在一定量的細(xì)節(jié)，因此使用中尺度Retinex算法和暗通道先驗算法分別對之進(jìn)行去霧處理，再采用線性加權(quán)融合的方法把兩幅圖像融合起來。融合方法為：

Jtransition(xj)=w1,j×Jdcp(xj)+w2,j×Jssr(xj)。

(13)

其中，Jdcp(xj)為暗通道算法的第j列去霧圖像，Jssr(xj)為中尺度Retinex算法的第j列去霧圖像。Jtransition(xj)表示兩圖像融合后的第j列結(jié)果，w1,j，w2,j表示兩圖像的權(quán)重系數(shù)，且w1,j+w2,j=1，兩權(quán)重隨著空間位置變化而變化。權(quán)重系數(shù)計算方法如式(14)所示，其中kj表示過渡區(qū)第j列的寬度，以像素個數(shù)為單位，過渡區(qū)第j列從最上邊界處為1開始，隨著距離的增加i值依次加1。

(14)

2 實驗結(jié)果與分析

實驗是在Windows7操作系統(tǒng)、MATLAB 2017a開發(fā)平臺上進(jìn)行。選用五幅有霧圖像為處理對象進(jìn)行去霧實驗，并與He算法[12]、Tarel算法[9]、MSR算法[7]和文獻(xiàn)[14]算法從主客觀兩個方面進(jìn)行對比。

2.1 本算法的去霧實驗結(jié)果及分析

表1列出了一幅有霧圖像及其三個區(qū)域的去霧結(jié)果。從原圖可看到，霧使得遠(yuǎn)處的建筑及天空模糊不清。從最終去霧結(jié)果可看出，天空均勻清晰無光暈，非天空區(qū)域的建筑、綠植和船只都非常清晰，尤其是在原圖中模糊的建筑經(jīng)處理后細(xì)節(jié)清晰可辨。在天空和非天空交界處過渡自然無虛假邊緣。

2.2 與其他算法的對比

對五幅圖像分別采用He算法[12]、Tarel算法[9]、MSR[7]算法、文獻(xiàn)[14]算法以及本算法進(jìn)行對比實驗，結(jié)果如表2所示。從表中第二列可以看出，He算法處理后的圖像天空區(qū)域整體呈現(xiàn)橘紅色，顏色失真嚴(yán)重；Tarel算法處理后天空區(qū)域失真不嚴(yán)重，但樹葉部分細(xì)節(jié)模糊，“小亭子”沒有恢復(fù)出來；MSR算法(尺度分別為80、120和180)處理后天空區(qū)域出現(xiàn)光暈現(xiàn)象，圖像整體偏暗；文獻(xiàn)[14]算法處理后非天空區(qū)域恢復(fù)效果較好，但天空區(qū)域和非天空交界處出現(xiàn)偏色問題；本算法處理后天空區(qū)域均勻且顏色正常，樹葉部分比較清晰，圖像整體對比度高。從第三列可以看出，He算法處理后的圖像天空區(qū)域失真，樓房的紋理不清晰；Tarel算法處理后樓房之間的天空出現(xiàn)色彩紊亂現(xiàn)象；MSR算法(尺度分別為80、120和180)處理后天空部分區(qū)域出現(xiàn)白色光斑，非天空區(qū)域偏暗；文獻(xiàn)[14]算法處理后天空和非天空交界處顏色偏紅；本算法處理后樓房紋理清晰，細(xì)節(jié)信息豐富，圖像顏色整體自然。從第四列可以看出，He算法處理后天空區(qū)域去霧效果不明顯，非天空區(qū)域綠色植物模糊嚴(yán)重；Tarel算法處理后樓房頂部出現(xiàn)黑色色塊，天空整體呈現(xiàn)灰色；MSR算法(尺度分別為80、120和180)處理后天空部分區(qū)域出現(xiàn)大面積光斑，水面顏色偏暗；文獻(xiàn)[14]算法處理后圖像整體效果較好，但遠(yuǎn)處的建筑物沒有恢復(fù)出來；本算法處理后天空區(qū)域無光斑、光暈和色彩紊亂的問題，船頭部分和建筑物細(xì)節(jié)清晰，圖像整體層次感更加分明，場景真實自然。從第五列可以看出，He算法處理后圖像整體亮度偏低；Tarel算法處理后圖像亮度較He算法有所提高，但整體去霧效果不佳；MSR算法處理后天空區(qū)域出現(xiàn)亮斑，山峰部分去霧不太徹底；文獻(xiàn)[14]算法處理后圖像去霧徹底，整體效果較好，但樹木和山峰交界處出現(xiàn)了失真現(xiàn)象；本算法處理后，圖像亮度偏高，天空和非天空區(qū)域顏色自然。從第六列可以看出，He算法、Tarel算法、MSR算法處理后的圖像整體偏暗；文獻(xiàn)[14]算法處理后非天空部分去霧徹底，但天空區(qū)域出現(xiàn)白色色塊；本算法處理后天空區(qū)域顏色均勻自然，船、建筑物等清晰可見，圖像整體層次感分明。

表1 本算法實驗結(jié)果
Tab.1 Experimental results of the algorithm

表2 與其他算法的對比試驗結(jié)果
Tab.2 Comparison of experimental results with other algorithms

e=(nr-n0)/n0，

(15)

(16)

σ=ns/(dimx×dimy)。

(17)

其中：n0代表原圖像I(x)中的可見邊數(shù)量，nr代表去霧圖像J(x)中的可見邊數(shù)量，φr為無霧圖像J(x)中的可見邊集合，Pi為無霧圖像J(x)中可見邊的第i個像素，ri為無霧圖像J(x)和有霧圖像I(x)在Pi處的梯度之比，ns為純黑色或純白色的像素點個數(shù)，dimx和dimy分別表示圖像的寬和高。

表3 圖像質(zhì)量客觀評價Tab.3 Objective evaluation of image quality

3 結(jié)束語

針對暗通道去霧在天空區(qū)域出現(xiàn)色彩失真，以及Retinex算法圖像細(xì)節(jié)恢復(fù)不佳問題，本研究提出了一種三區(qū)域劃分并基于暗通道先驗和單尺度Retinex算法分區(qū)進(jìn)行去霧處理的算法框架。在天空區(qū)域采用大尺度Retinex算法去霧，在非天空區(qū)域采用暗通道方法去霧，在過渡區(qū)把兩種算法的去霧結(jié)果進(jìn)行融合。三區(qū)域去霧圖像組合后采用自適應(yīng)直方圖均衡化增強(qiáng)圖像亮度，最終獲得去霧結(jié)果。實驗結(jié)果表明，本算法處理后的去霧結(jié)果，天空區(qū)域無色彩失真和光斑，非天空區(qū)域場景細(xì)節(jié)豐富清晰、對比度強(qiáng)、去霧效果良好，過渡區(qū)無虛假邊緣、過渡自然。與不同算法的對比及客觀評價看，本算法能獲得比較好的去霧效果，整體上優(yōu)于常見算法。雖然本算法取得了較好的去霧效果，但對不同圖像的天空區(qū)處理時使用固定尺度，下一步工作將根據(jù)霧的濃度自適應(yīng)選擇去霧尺度以及根據(jù)圖像大小分割出不同大小的過渡區(qū)。