結(jié)合天空區(qū)域分割和暗通道先驗(yàn)的去霧算法

尹 靜，何金玉，羅榮鑫，俞文靜

(廣州軟件學(xué)院，廣東 廣州 510990)

0 引 言

霧霾[1]對(duì)人們的交通出行和身體健康都造成了十分嚴(yán)重的影響。霧霾不僅會(huì)降低物體的能見度，使采集到的戶外圖像嚴(yán)重降質(zhì)，還會(huì)對(duì)人們的身體健康造成很大的危害，導(dǎo)致疾病傳播的風(fēng)險(xiǎn)增高。圖像去霧也一直是計(jì)算機(jī)視覺的熱點(diǎn)問題，因此，探索一種有效的去霧方法具有重要的研究?jī)r(jià)值。

圖像去霧算法主要分為圖像增強(qiáng)和圖像復(fù)原兩類[2-3]，經(jīng)過國(guó)內(nèi)外學(xué)者多年的研究，出現(xiàn)了眾多有效的圖像去霧算法。例如，Jobson等[4]在SSR算法的基礎(chǔ)上提出了MSR(多尺度Retinex)算法，該算法可以實(shí)現(xiàn)圖像顏色恒常性，增強(qiáng)圖像的色彩；He等[5]提出了一種簡(jiǎn)單且有效的去除單幅霧霾圖像的方法，即暗通道先驗(yàn)算法，該算法使用大氣散射模型和軟摳圖插值方法復(fù)原圖像，但在處理天空區(qū)域時(shí)，白邊效應(yīng)十分明顯；Xu等[6]在對(duì)天空區(qū)域進(jìn)行分割的基礎(chǔ)上，針對(duì)不同區(qū)域分別估算大氣光值和透射圖，最后利用優(yōu)化后的合成全局圖生成去霧圖像。

針對(duì)暗通道先驗(yàn)算法去除天空區(qū)域霧霾效果不理想、大氣誤提取以及傳統(tǒng)閾值分割需要多次觀測(cè)獲取分割閾值的問題，提出了一種結(jié)合透射率圖的單閾值分割和暗通道先驗(yàn)的方法，將輸入的霧霾圖像分割為天空區(qū)域和非天空區(qū)域，從天空區(qū)域提取大氣光值，對(duì)非天空區(qū)域使用暗通道先驗(yàn)算法處理，最后合并天空區(qū)域圖像和非天空區(qū)域圖像，獲得清晰的復(fù)原圖像。

1 研究基礎(chǔ)

1.1 圖像閾值分割

圖像分割就是把圖像中具有獨(dú)特性質(zhì)的區(qū)域區(qū)分開并提取出目標(biāo)區(qū)域的技術(shù)[7]，該文采用單閾值分割算法對(duì)輸入霧霾圖像的天空區(qū)域和非天空區(qū)域進(jìn)行分割。

閾值分割法[8]是一種基于區(qū)域的圖像分割方法，其結(jié)果很大程度上取決于閾值的選擇，其原理是：通過設(shè)定不同的特征閾值，把圖像像素點(diǎn)分為若干類。設(shè)(x,y)為二維數(shù)字圖像的平面坐標(biāo)，圖像灰度級(jí)的取值范圍是G={0,1,…,L-1},0表示最暗的像素點(diǎn)，L-1表示最亮的像素點(diǎn)，位于坐標(biāo)點(diǎn)(x,y)上的像素點(diǎn)的灰度值為f(x,y)。設(shè)t∈G為分割閾值，單閾值分割方法就是確定一個(gè)分割閾值t，若取b0=0(黑)，b1=1(白),則表示圖像的二值圖，于是圖像函數(shù)g(。,。)在閾值t上的分割結(jié)果表示為[7]：

(1)

閾值分割的計(jì)算簡(jiǎn)單、高效且實(shí)用，在圖像的信息處理、挖掘和視覺效果改善應(yīng)用廣泛，具有很大的研究?jī)r(jià)值和研究意義。

1.2 暗通道先驗(yàn)算法理論

暗通道先驗(yàn)[5]基于大量戶外無霧圖像的觀察提出：在大多數(shù)非天空局部區(qū)域中，至少有一個(gè)顏色通道的像素值很低，甚至接近于0。其數(shù)學(xué)表達(dá)式如下：

(2)

其中，Jc表示顏色通道，Ω(x)表示一個(gè)以x為中心、大小為15×15的局部區(qū)域子塊，Jdark表示圖像J的暗通道，無霧圖像非天空區(qū)域的暗通道趨于0。

第一步：估計(jì)透射率。

在處理原圖像時(shí)應(yīng)保留少量霧霾，可引入如下數(shù)學(xué)表達(dá)式達(dá)到圖像自然的效果：

(3)

第二步：軟摳圖。

采用軟摳圖算法[9]來改善傳輸。

(4)

其中，L是Levin[9]提出的拉普拉斯矩陣，λ是正則化參數(shù)。第一項(xiàng)是平滑項(xiàng)，第二項(xiàng)是數(shù)據(jù)項(xiàng)。

第三步：恢復(fù)場(chǎng)景輻射亮度。

大氣散射模型的數(shù)學(xué)模型如下[10]：

I(x)=J(x)t(x)+A(1-t(x))

(5)

利用透射率圖，根據(jù)方程式(5)可以恢復(fù)場(chǎng)景輻射。但是，當(dāng)透射率t(x)接近于0時(shí)，直接衰減項(xiàng)J(x)t(x)可能非常接近于0，直接恢復(fù)的場(chǎng)景輻射易受噪聲影響。因此，將透射率t(x)限制在下限t0,在非常密集的霧霾區(qū)域保留少量霧霾。最終場(chǎng)景輻射J(x)通過以下方程式恢復(fù)：

(6)

t0通常取值為0.1。因?yàn)閳?chǎng)景輻射亮度通常不如大氣光明亮，所以消除霧霾的圖像看起來很暗。因此，增加J(x)的曝光度來顯示。

第四步：選擇暗通道中最亮的10%像素估計(jì)大氣光值。

2 算法思路及設(shè)計(jì)

2.1 輸入霧霾圖像的處理

暗通道先驗(yàn)算法和傳統(tǒng)閾值分割在處理天空區(qū)域時(shí)存在以下問題：

(1)暗通道先驗(yàn)算法對(duì)天空區(qū)域并不適用。

(2)暗通道先驗(yàn)算法會(huì)錯(cuò)誤地從非天空區(qū)域中選取大氣光值。

(3)傳統(tǒng)閾值分割算法在分割不同圖像的天空區(qū)域時(shí)需要人為變換算法以及通過大量的手動(dòng)調(diào)試和對(duì)比才能確定閾值。

針對(duì)以上問題，該文提出一種分割天空區(qū)域的方法，利用透射率圖中非天空域的透射率值大于天空透射率值的特點(diǎn)進(jìn)行分割。為了避免非天空區(qū)域出現(xiàn)誤分割的現(xiàn)象，將透射率圖進(jìn)行初次分割，一部分為包含天空和天空與非天空交界處圖像，使用改進(jìn)的MSR算法降低透射率值后，再進(jìn)行二次分割，另一部分為非天空?qǐng)D像，將其透射率值均設(shè)為255；最后，合并這兩部分圖像形成二值圖，并據(jù)此二值圖分割，從天空域提取大氣光值用于非天空域進(jìn)行去霧，最終合并輸出復(fù)原圖像。算法流程設(shè)計(jì)如圖1所示。

圖1 算法流程設(shè)計(jì)

2.2 基于透射率圖的霧霾圖像分割

2.2.1 透射率圖的特點(diǎn)分析

暗通道先驗(yàn)算法在處理天空區(qū)域圖像時(shí)不理想，根據(jù)公式計(jì)算出的天空透射率偏小，其平均透射率趨近于0，而非天空區(qū)域的平均透射率值大于0.5，經(jīng)引導(dǎo)濾波細(xì)化后的透射率圖呈現(xiàn)以下特點(diǎn)：

(1)透射率圖的直方圖顯示，天空區(qū)域的像素值主要集中在0～50這一低閾值范圍內(nèi)，并在視覺上呈現(xiàn)較為黑暗[11]，如圖2所示。

圖2 透射率圖及其直方圖

(2)在天空區(qū)域和非天空區(qū)域的交界處，選取小部分區(qū)域進(jìn)行觀察。豎直和水平方向上看：從天空區(qū)域到非天空區(qū)域，像素的變化從低到高，天空區(qū)域和非天空區(qū)域交界處的像素值差值比較明顯；并且在天空區(qū)域中遠(yuǎn)離交界處的像素值都在0～10這個(gè)范圍內(nèi)，而靠近交界處的像素值雖然大于10，但與非天空區(qū)域的像素值依然存在明顯的差值，如圖3所示。

圖3 天空區(qū)域和非天空區(qū)域交界處像素值局部圖

2.2.2 使用改進(jìn)的MSR算法處理透射率圖

受文獻(xiàn)[12-13]啟發(fā)，該文利用透射率圖中天空透射率遠(yuǎn)低于非天空透射率的特點(diǎn)，采用Retinex算法中將圖像轉(zhuǎn)換為對(duì)數(shù)域的思想處理透射率圖[13]，即將透射率值變換到對(duì)數(shù)域的負(fù)數(shù)區(qū)域后乘以h系數(shù)進(jìn)行縮小，最后再反變換到實(shí)數(shù)域中進(jìn)行歸一化，使得天空區(qū)域透射率值在歸一化過程中，由于天空區(qū)域的透射率值過小而被近似計(jì)算為0，從而達(dá)到將天空區(qū)域的透射率值降低至約為0的目的。其計(jì)算公式如下：

(7)

其中，T(x,y)為經(jīng)引導(dǎo)濾波處理的透射率圖，其像素值的范圍是0～255，h為該公式用于縮小透射率的系數(shù)，取值為3。若T(x,y)=0則直接將像素值置為0，若T(x,y)≠0則轉(zhuǎn)換到對(duì)數(shù)域中乘以系數(shù)h進(jìn)行縮小。

經(jīng)改進(jìn)MSR算法處理后透射率圖呈現(xiàn)以下特點(diǎn)：

經(jīng)改進(jìn)MSR算法處理后的透射率圖，整幅圖像的像素值會(huì)降低，這樣可以使天空區(qū)域0～10的像素值降低到趨近于0或等于0，而在天空區(qū)域和非天空區(qū)域的交界處像素值都大于0，如圖4所示。

圖4 改進(jìn)的MSR算法處理后天空區(qū)域和非天空區(qū)域交界處像素值局部圖

依據(jù)透射率圖和經(jīng)改進(jìn)MSR算法處理的透射率圖的特點(diǎn)，該文設(shè)計(jì)出一種新的天空區(qū)域分割算法，具體步驟如下：

(1)輸入霧霾圖像，將其轉(zhuǎn)換為透射率圖。

(2)將透射率圖分割為上下兩部分，分割的原理為：天空區(qū)域的上部分圖像的像素值均小于50，非天空區(qū)域的下部分像素值的均值大于50。

(3)對(duì)天空區(qū)域上部分使用改進(jìn)的MSR算法處理，選取閾值為0進(jìn)行分割。

(4)將非天空區(qū)域下部分的像素值全部設(shè)置為255。

(5)整合天空區(qū)域上部分圖像和非天空區(qū)域下部分圖像，形成二值圖，如圖5所示。

(6)天空區(qū)域和非天空區(qū)域的分割完成。

圖5 分割結(jié)果

2.3 大氣光值A(chǔ)的選取

為避免從暗通道錯(cuò)誤地選取大氣光值[14]，可以從分割后的天空區(qū)域圖像提取大氣光值，具體步驟如下：

隨后，“嘉賓報(bào)告”環(huán)節(jié)主題論壇正式拉開，論壇由MM新自動(dòng)化與驅(qū)動(dòng)雜志執(zhí)行主編李崢主持，各位行業(yè)專家圍繞改革開放40年中國(guó)制造的發(fā)展與展望做了精彩的主旨演講。

(1)統(tǒng)計(jì)天空區(qū)域各個(gè)灰度級(jí)對(duì)應(yīng)的像素?cái)?shù)目，并求其總和為S。

(2)計(jì)算灰度級(jí)為0的像素?cái)?shù)目，并計(jì)算其占S的百分比，若在0%～1%內(nèi)，則在灰度級(jí)為0的像素?cái)?shù)目的基礎(chǔ)上繼續(xù)累加灰度級(jí)為1的像素?cái)?shù)目，并繼續(xù)計(jì)算其占S的百分比，以此類推，直到其占S的百分比在1%以上，最終得到滿足條件的計(jì)算比例kj的集合,從該集合中取最小灰度級(jí)j作為大氣光值。

此計(jì)算可以較為準(zhǔn)確地獲得大氣光值，以下為大氣光值A(chǔ)的計(jì)算公式[15]：

(8)

其中，kj表示灰度級(jí)為j的計(jì)算比例，xi表示灰度級(jí)為i的像素?cái)?shù)目，xt表示灰度級(jí)為t的像素?cái)?shù)目。

3 實(shí)驗(yàn)結(jié)果與分析

對(duì)大量戶外霧霾圖像進(jìn)行實(shí)驗(yàn)驗(yàn)證，這里隨機(jī)展示4組由不同去霧算法處理得到的結(jié)果，如圖6所示。

圖6 各方法處理對(duì)比圖

圖(a)為原始霧霾圖像；圖(b)為采用直方圖均衡化算法得到的結(jié)果；圖(c)為經(jīng)引導(dǎo)濾波處理后的暗通道先驗(yàn)去霧算法得到的結(jié)果；圖(d)為采用文中算法得到的結(jié)果。

為了進(jìn)一步驗(yàn)證該算法的復(fù)原效果，采用均方誤差(MSE)、峰值信噪比(PSNR)和結(jié)構(gòu)相似性(SSIM)、運(yùn)行時(shí)間這四項(xiàng)評(píng)價(jià)性能指標(biāo)對(duì)圖中的4組圖像進(jìn)行客觀評(píng)價(jià)，數(shù)據(jù)結(jié)果見表1。

表1 各方法不同性能指標(biāo)比較

由表1可以得出，文中算法在均方誤差、峰值信噪比、結(jié)構(gòu)相似性這三個(gè)方面，大體優(yōu)于傳統(tǒng)暗通道先驗(yàn)算法。根據(jù)實(shí)驗(yàn)測(cè)試數(shù)據(jù)，可以得出以下結(jié)論：

(1)以MSE作為評(píng)測(cè)指標(biāo)，圖(1)、圖(3)經(jīng)過文中算法處理后，其指標(biāo)值均低于經(jīng)直方圖均衡化算法處理的圖像，文中算法處理的4幅圖像的指標(biāo)值均低于經(jīng)暗通道先驗(yàn)算法處理的圖像，這表明文中算法預(yù)測(cè)模型描述實(shí)驗(yàn)數(shù)據(jù)具有更好的精確度。

(2)從PNSR的測(cè)試數(shù)據(jù)來看，文中算法復(fù)原的圖(1)優(yōu)于直方圖均衡化算法，而所復(fù)原的圖(2)、圖(3)、圖(4)要低于直方圖均衡化算法，不過文中算法與暗通道先驗(yàn)算法相比，其PNSR值均大于暗通道先驗(yàn)算法，即文中算法的PNSR基本處于暗通道先驗(yàn)和直方圖均衡化算法之間，說明文中算法有效減少了圖像失真的情況，改善了傳統(tǒng)暗通道先驗(yàn)算法的不足。

(3)分析測(cè)得的SSIM的數(shù)據(jù)，圖(1)、圖(2)、圖(3)均優(yōu)于直方圖均衡化算法，而圖(4)略低于直方圖均衡化算法，4幅圖像的SSIM指標(biāo)值均高于傳統(tǒng)的暗通道先驗(yàn)算法。

(4)從運(yùn)行時(shí)間的結(jié)果來看，文中算法運(yùn)行時(shí)間最長(zhǎng)，為經(jīng)引導(dǎo)濾波細(xì)化后的暗通道先驗(yàn)算法的3倍，直方圖均衡化算法的15倍。

實(shí)驗(yàn)結(jié)果和測(cè)試數(shù)據(jù)均證實(shí)了文中算法的可行性與有效性，尤其在處理輕度和中度霧霾時(shí)，具有很強(qiáng)的適用性。通過分析實(shí)驗(yàn)數(shù)據(jù)，相較于傳統(tǒng)的暗通道先驗(yàn)算法，文中算法在去霧性能和效果上得到了提升；從視覺上看，文中算法不但避免了直方圖均衡化算法處理霧霾圖像后其對(duì)比度過高或過低導(dǎo)致圖像不自然的缺點(diǎn)，而且解決了傳統(tǒng)的暗通道先驗(yàn)算法在處理天空區(qū)域不理想以及大氣光值誤提取的問題，但從運(yùn)行時(shí)間上看，文中算法的運(yùn)行速度比前兩種傳統(tǒng)的去霧算法慢，因此，降低文中算法的時(shí)間復(fù)雜度，將是下一步研究的重點(diǎn)。

4 結(jié)束語

結(jié)合閾值分割法和暗通道先驗(yàn)算法，針對(duì)暗通道先驗(yàn)算法在處理帶有天空區(qū)域的霧霾圖像不理想的問題，提出并設(shè)計(jì)了一種結(jié)合天空區(qū)域分割和暗通道先驗(yàn)的方法。實(shí)驗(yàn)結(jié)果表明：

(1)該算法有效解決了暗通道先驗(yàn)算法處理天空區(qū)域效果不佳的問題，在均方誤差、峰值信噪比、結(jié)構(gòu)相似性等方面均優(yōu)于傳統(tǒng)的暗通道先驗(yàn)算法。

(2)結(jié)合閾值分割法、多尺度Retinex算法(MSR)、暗通道先驗(yàn)算法對(duì)輸入的霧霾圖像進(jìn)行處理，其中只對(duì)圖像的上部分使用改進(jìn)的MSR算法，盡可能地減少改進(jìn)的MSR算法對(duì)非天空區(qū)域的影響，減少圖像的誤分割。

(3)傳統(tǒng)的閾值分割法需要多次觀察和測(cè)試以確定分割閾值，該文使用改進(jìn)的MSR算法對(duì)透射率圖做處理，使透射率圖呈現(xiàn)天空區(qū)域等于0或趨近于0，非天空區(qū)域大于0的特點(diǎn)，將分割閾值限制為0，可以使用同樣的閾值進(jìn)行分割，增大了閾值分割的效率。

(4)對(duì)于天空區(qū)域和非天空區(qū)域交界處，由于存在遠(yuǎn)景和近景，在改進(jìn)的MSR算法處理后的透射率圖中，遠(yuǎn)景的像素值先變?yōu)?，這樣就會(huì)產(chǎn)生誤分割。

相較于傳統(tǒng)的去霧算法，該算法無論是復(fù)原圖像的清晰度還是各項(xiàng)評(píng)價(jià)性能指標(biāo)均取得不錯(cuò)的結(jié)果，但是也存在很多的不足，對(duì)于分割出來的天空區(qū)域圖像仍需進(jìn)一步研究，且該算法的時(shí)間復(fù)雜度相對(duì)較大，算法的實(shí)時(shí)性有待提高。