基于光照估計(jì)和快速引導(dǎo)濾波的夜間圖像去霧算法

段柳

（四川大學(xué)計(jì)算機(jī)學(xué)院，成都610065）

0 引言

夜間有霧低照度條件下，由于人造光源、霧霾、捕獲設(shè)備等因素的影響，圖像采集設(shè)備所捕獲的圖像常伴隨低光照、光照不均勻、對(duì)比度下降、顏色失真、部分信息丟失等情況，嚴(yán)重影響戶外計(jì)算機(jī)視覺系統(tǒng)的應(yīng)用，如視頻監(jiān)控、目標(biāo)識(shí)別、智能交通分析及自動(dòng)駕駛等。因此，復(fù)原夜間圖像對(duì)計(jì)算機(jī)視覺系統(tǒng)有著重要的研究?jī)r(jià)值。

目前對(duì)于夜間霧天圖像去霧主要有以下研究：Pei等人[1]提出一種基于顏色轉(zhuǎn)換和暗原色先驗(yàn)的方法，首先利用顏色轉(zhuǎn)換技術(shù)作為夜間圖像去霧的預(yù)處理，把顏色映射到白天有霧圖像中，然后利用改進(jìn)的暗通道先驗(yàn)方法去霧，由于顏色轉(zhuǎn)換沒有使用有效的物理模型，導(dǎo)致復(fù)原后的顏色不真實(shí)。Zhang 等人[2]引入一種新的夜間霧天圖像退化模型，模型中首次考慮了夜晚圖像的不均勻光照和顏色失真現(xiàn)象，并利用Retinex 和暗原色先驗(yàn)等技術(shù)反解該模型得到復(fù)原圖像，該方法的處理結(jié)果真實(shí)自然，對(duì)比度明顯提升，但在人造光源區(qū)域存在輝光現(xiàn)象。Li 等人[3]把人造光源加入到大氣散射模型中，該算法首先利用基于相對(duì)平滑約束的層次分解算法分離并去除輝光項(xiàng)，然后采用暗原色先驗(yàn)進(jìn)行去霧。該方法對(duì)因輝光較大遮擋住圖像細(xì)節(jié)的夜晚霧天圖像有很好的適應(yīng)力，但在噪聲抑制方面處理欠佳。Zhang 等人[4]通過(guò)對(duì)大量白天無(wú)霧圖像塊進(jìn)行統(tǒng)計(jì)并提出最大反射先驗(yàn)理論，利用其進(jìn)行夜間圖像去霧，該算法處理結(jié)果整體偏暗且存在很大的噪聲。Yang 等人[5]將超像素分割引入大氣光和透射率的估計(jì)中，使圖像保留更多的細(xì)節(jié)信息，但處理結(jié)果仍存在噪聲被放大的問(wèn)題。

綜上分析，本文提出了一種基于光照估計(jì)和快速引導(dǎo)濾波的夜間圖像去霧算法，包括四個(gè)步驟：輝光分解、圖像增強(qiáng)、亮度補(bǔ)償、去噪。實(shí)驗(yàn)表明，本文提出的算法具有很好的夜間霧天圖像清晰化效果，使去霧后的圖像整體協(xié)調(diào)自然，細(xì)節(jié)更加豐富。

1 夜間霧天模型

1.1 Retinex理論

Retinex 理論認(rèn)為人眼對(duì)物體亮度的感知取決于照明環(huán)境和物體表面對(duì)照射光的反射，將原圖像看成是照射光分量和反射光分量的組成，這一過(guò)程可由圖1描述，其中照射光分量會(huì)影響圖像整體的亮度，對(duì)圖像的動(dòng)態(tài)范圍起決定性作用，反射光分量表示圖像中目標(biāo)本來(lái)的細(xì)節(jié)信息，如式（1）：

圖1 Retinex 原理圖

其中I（x）表示相機(jī)捕獲的圖像，L（x）表示照射分量，R（x）表示反射分量。

1.2 新模型

我們注意到在夜間霧天環(huán)境中，夜晚環(huán)境光占主導(dǎo)因素，周圍環(huán)境的可視度較低。在某些情況下環(huán)境光的存在致使我們看不見附近的物體，為了提高可視性，首先要盡可能消除人造光源的影響。于是在Retinex 理論的基礎(chǔ)上引入人造光源發(fā)光因子項(xiàng)建立新模型，如圖2 所示。

圖2 基于Retinex的夜晚霧天新模型

由新模型可知，捕獲的圖像由兩部分組成，即去掉輝光層的新霧天圖像（Iˉ(x)）和發(fā)光因子項(xiàng)圖像（G(x)），I(x)為相機(jī)所捕獲的圖像。借此本文提出的算法步驟為：首先進(jìn)行輝光層分解盡最大可能減少人造光的影響，其次針對(duì)低光照問(wèn)題進(jìn)行圖像增強(qiáng)，伽馬光補(bǔ)償，最后利用快速引導(dǎo)濾波進(jìn)行保邊去噪得到最終結(jié)果，算法流程圖如圖3 所示。

圖3 本文算法基本流程圖

2 新模型求解

2.1 輝光層分離

由公式（2）可知捕獲的場(chǎng)景圖由新霧天圖像和輝光層圖像兩部分構(gòu)成，所以去除夜晚輝光G（x）就變成層分離問(wèn)題。夜間霧霾下的發(fā)光具有“短尾”效應(yīng)，并且輝光圍繞光源多次散射后逐漸平穩(wěn)，因此我們可以利用這種平滑特性和“短尾”效應(yīng)建立模型，使目標(biāo)函數(shù)層分離出來(lái)，環(huán)境光層光滑，把較大梯度的光留在新霧天圖像中：

其中f1,2是雙向一階導(dǎo)數(shù)濾波器，f3是二階拉普拉斯濾波器，計(jì)算符“*”表示卷積，第二項(xiàng)G 使用?2范數(shù)正則化來(lái)處理環(huán)境光的梯度，由于G(x)=I(x)-Iˉ(x)，這將促使環(huán)境光層能夠平滑的輸出，第一項(xiàng)使用魯棒函數(shù)r（s）=min（s2,i），該函數(shù)將保留輸入圖像在得到的新霧天圖像中最大梯度的存在。同時(shí)還增加了一個(gè)不等式約束來(lái)確保解決方案處于適當(dāng)?shù)姆秶鷥?nèi)，然而由于這個(gè)約束被獨(dú)立的應(yīng)用于每個(gè)顏色通道，在對(duì)夜間霧霾圖像測(cè)試時(shí)，易導(dǎo)致顏色的偏移。受顏色恒常性假設(shè)的啟發(fā)，添加了第二個(gè)約束條件來(lái)控制顏色的偏移問(wèn)題。將兩個(gè)約束條件結(jié)合在一起，就可以得到具有較少的顏色偏移的環(huán)境光的分離結(jié)果，式（4）可通過(guò)Li等人[7]提出的半二次分解算法來(lái)進(jìn)行求解，分離出的環(huán)境光如圖4 所示。

從實(shí)驗(yàn)結(jié)果圖4 可以看出，輸入的夜間圖像在去除圖4（b）輝光層后，展現(xiàn)了圖像更多的細(xì)節(jié)信息，圖像整體的清晰度也得到了提高，圖4（c）分別是兩組圖像輝光層分離后得到的新霧天圖像。

圖4 輝光層分離結(jié)果圖

2.2 圖像增強(qiáng)

得到的新霧天圖像具有低照度特性，利用Guo 等人[6]對(duì)低照度圖像的思考進(jìn)行圖像增強(qiáng)，該方法建立在Retinex 基礎(chǔ)之上，表示為：

Iˉ表示去除輝光層的新霧天圖像，R 表示理想中得到的圖像，L（L?）表示光照?qǐng)D，運(yùn)算符“*”表示各元素相乘。在該算法中，對(duì)于彩色圖像，三個(gè)顏色通道假設(shè)使用相同光照?qǐng)D，用L（L?）來(lái)同時(shí)表示單通道和三通道，在式（5）中新的霧天圖像分解為兩部分，希望得到的復(fù)原圖像和光照?qǐng)D。我們的目的僅是增強(qiáng)低光照?qǐng)D像，所以求出L 才是關(guān)鍵因素，Iˉ/L 就是我們最終所求結(jié)果。

（1）光照估計(jì)

我們采用局部估計(jì)法來(lái)獲得更準(zhǔn)確的局部光照?qǐng)D，表示如下：

對(duì)于每一個(gè)像素點(diǎn)x，亮度值是在某一確切位置三通道的最大值，得到的L?(x)確保了復(fù)原結(jié)果不會(huì)飽和，因此：

為了避免分母為零，e 是一個(gè)很小的常數(shù)。

這些改進(jìn)中的大多數(shù)方法皆是通過(guò)考慮目標(biāo)像素周圍小區(qū)域內(nèi)的相鄰像素來(lái)估計(jì)照明的局部一致性。為了同時(shí)保留整體結(jié)構(gòu)特征和平滑紋理細(xì)節(jié)，依據(jù)最初的光照?qǐng)D，可通過(guò)以下公式求解：

a 是平衡這兩項(xiàng)的系數(shù)，‖ ‖*F和‖ ‖*1分別是Frobenious 和?1范式。W 是權(quán)重矩陣，?L 是一階導(dǎo)濾波器，它包括水平方向的?hL 和垂直方向的?vL。在式（8）中，第一項(xiàng)關(guān)注的是初始光照?qǐng)D和改進(jìn)后L 的保真度，第二項(xiàng)關(guān)注的是平滑結(jié)果。

細(xì)看式（8），最初的迭代進(jìn)程是稀疏加權(quán)梯度項(xiàng)‖ ‖W °?L1，范數(shù)?1與L 上的梯度同時(shí)運(yùn)算使其有些復(fù)雜。顯然下面的關(guān)系是成立的：

雖然目標(biāo)函數(shù)與原始函數(shù)相比發(fā)生了變化，但從初始照明估計(jì)T?中提取照明結(jié)構(gòu)的目標(biāo)與原始圖像一致。當(dāng)很小時(shí)，值會(huì)被抑制。換句話說(shuō)，目標(biāo)L 被約束以避免產(chǎn)生初始照明梯度圖中的小幅度梯度。相反，當(dāng) ||?dL?(x) 值很大時(shí)，上述抑制會(huì)減弱。

問(wèn)題式（10）僅涉及二次項(xiàng)，可通過(guò)以下方式求解：

（2）權(quán)重選擇

對(duì)于初始光照?qǐng)D的結(jié)構(gòu)性修復(fù)，權(quán)重W 的設(shè)計(jì)很關(guān)鍵。受相對(duì)總變分（RTV）的啟發(fā)，權(quán)重可通過(guò)以下方式設(shè)置：

Gs（x,y）由高斯核和標(biāo)準(zhǔn)差s 產(chǎn)生，表示為：

Dist（x,y）函數(shù)用于測(cè)量空間歐幾里德距離。我們知道，不同于RTV，此處的權(quán)重矩陣是根據(jù)L?構(gòu)造的，而不是利用L 迭代更新，這意味著W 只需計(jì)算一次。

根據(jù)重新定義的光照?qǐng)DT，我們可通過(guò)式（3）恢復(fù)R，效果如圖5（c）所示，與圖5（b）相比，利用光照估計(jì)后得到的實(shí)驗(yàn)結(jié)果圖細(xì)節(jié)信息更加突出。了多張具有代表性的圖片，利用剛提到的三種先進(jìn)的夜間去霧算法與文本算法進(jìn)行實(shí)驗(yàn)對(duì)比，實(shí)驗(yàn)結(jié)果如圖6。

圖5 整個(gè)算法處理結(jié)果圖

2.3 亮度補(bǔ)償

在去除輝光層，利用光照估計(jì)的方法進(jìn)行圖像增強(qiáng)后，仍存在圖像整體亮度偏暗問(wèn)題，因此，利用伽馬矯正方法來(lái)提高圖像整體亮度，表示如下：

通過(guò)對(duì)比圖5（c）和（d）我們可以看出，亮度補(bǔ)償后的圖像在暗區(qū)域的細(xì)節(jié)信息得以更加突出，整體視覺效果也得到了改善。

2.4 快速引導(dǎo)濾波

我們發(fā)現(xiàn)圖像去除輝光層、利用光照估計(jì)算法增強(qiáng)、伽馬光補(bǔ)償后，仍存在一定的噪聲，針對(duì)這一問(wèn)題，通過(guò)采用具有保邊去噪效果的濾波算法進(jìn)行細(xì)化處理。為了在去噪的同時(shí)提高算法效率，本文采用了He等人[10]提出的快速引波濾波算法圖5（e）為利用快速引導(dǎo)濾波的處理結(jié)果，從圖中可以看出，相比原夜晚霧天圖像，噪聲得到極大抑制。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 主觀評(píng)價(jià)

為了進(jìn)一步說(shuō)明本文算法的有效性，從網(wǎng)上收集

圖6 本文算法與三種算法的夜間去霧結(jié)果對(duì)比圖

從實(shí)驗(yàn)結(jié)果對(duì)比圖6 我們可以看出，Zhang 算法1去除了夜晚霧霾圖像大部分霧霾和一些人造光，但光源周圍仍存在可見的輝光偽影以及被放大了的噪聲。Li 算法消除了大部分人造光源的影響，但仍存在噪聲被放大的特點(diǎn)。Zhang 的另一算法2 雖比他之前提出的效果好，但仍沒有解決輝光偽影問(wèn)題，并存在噪聲放大、圖像整體亮度偏暗的問(wèn)題。本文提出的算法很好地避免了并不適用于夜晚的白天大氣成像模型和基于白天高清無(wú)霧提出的暗通道先驗(yàn)方法，利用以Retinex為基礎(chǔ)的增強(qiáng)方法，并考慮了輝光現(xiàn)象、亮度以及噪聲問(wèn)題，可以很好地解決夜晚圖像去霧問(wèn)題。同時(shí)我們分別對(duì)部分圖像處理結(jié)果進(jìn)行局部放大處理，如圖6，通過(guò)對(duì)比局部放大區(qū)域，可以發(fā)現(xiàn)對(duì)比其他三種方法，本文算法處理結(jié)果細(xì)節(jié)更突出，并有效抑制了噪聲。

3.2 客觀評(píng)價(jià)

為了客觀說(shuō)明去霧結(jié)果的優(yōu)劣，本文采用了4 種客觀評(píng)價(jià)標(biāo)準(zhǔn)進(jìn)行驗(yàn)證，即無(wú)參考的霧感知濃度指標(biāo)（Fog Aware Density Evaluator，F(xiàn)ADE）、平均梯度、標(biāo)準(zhǔn)差和信息熵。FADE 值越小代表圖像霧密度越低，去霧效果較好。平均梯度反映了圖像的清晰度和紋理變化，平均梯度越大說(shuō)明圖像越清晰，標(biāo)準(zhǔn)差反映了圖像像素值與均值的離散程度，數(shù)值越大說(shuō)明對(duì)比度越高，圖像質(zhì)量越好。信息熵反映圖像信息量，值越大，表明圖像信息越多。

根據(jù)上述4 個(gè)評(píng)價(jià)指標(biāo)，表1-4 分別給出了基于圖6 各算法的評(píng)價(jià)結(jié)果，表中加粗部分為各評(píng)價(jià)結(jié)果對(duì)應(yīng)的最優(yōu)分值。

由表1 可知，四種算法FADE 值均小于輸入圖像，表明在一定程度上進(jìn)行了去霧操作，Li 等人算法的處理結(jié)果優(yōu)于Zhang 等人提出的兩種算法，這是因?yàn)長(zhǎng)i算法針對(duì)夜間霧天圖像進(jìn)行了輝光去除，有效避免了人造光對(duì)圖像去霧的阻礙。本文算法FADE 值取得最優(yōu)結(jié)果，這是由于在去除輝光的同時(shí)還進(jìn)行了圖像增強(qiáng)、伽馬光補(bǔ)償和快速引導(dǎo)濾波去噪等處理，使得本文算法相比其他三種算法結(jié)果更優(yōu)。

由表2-4 可知，與原有霧圖像相比，經(jīng)各算法處理結(jié)果后的圖像在各個(gè)評(píng)價(jià)指標(biāo)上均得到不同程度的提升。其中本文算法的去霧結(jié)果在平均梯度、標(biāo)準(zhǔn)差上皆明顯優(yōu)于Zhang 算法和Li 算法，在信息熵上明顯優(yōu)于Li 算法，略優(yōu)于Zhang 算法。由此更加客觀地說(shuō)明利用本文算法進(jìn)行夜間圖像去霧能得到細(xì)節(jié)更清晰的無(wú)霧圖像。

表1 圖6 中各算法去霧結(jié)果的FADE 值客觀評(píng)價(jià)

表2 圖6 中各算法去霧結(jié)果的平均梯度客觀評(píng)價(jià)

表3 圖6 中各算法去霧結(jié)果的標(biāo)準(zhǔn)差客觀評(píng)價(jià)

表4 圖6 中各算法去霧結(jié)果的信息熵客觀評(píng)價(jià)

4 結(jié)語(yǔ)

本文提出了一種基于光照估計(jì)和快速引導(dǎo)濾波的單幅夜間霧天圖像去霧算法。首先針對(duì)夜間輝光效應(yīng)可能造成圖像信息被嚴(yán)重遮擋的問(wèn)題，進(jìn)行輝光層的分解以提升圖像清晰度，接著對(duì)夜晚低能見度問(wèn)題在Retinex 基礎(chǔ)上通過(guò)估計(jì)光照?qǐng)D進(jìn)行圖像增強(qiáng)，從而避免使用并不適用于夜晚的在白天基礎(chǔ)上總結(jié)的暗原色先驗(yàn)規(guī)律，然后對(duì)圖像整體進(jìn)行光補(bǔ)償，最后對(duì)圖像中存在的噪聲利用快速引導(dǎo)濾波進(jìn)行處理，在抑制噪聲的同時(shí)還提高了效率。將本文提出的算法與多種先進(jìn)的夜間去霧算法進(jìn)行實(shí)驗(yàn)對(duì)比，主客觀分析，驗(yàn)證了本文算法的優(yōu)越性。但本文算法仍有待進(jìn)一步完善，夜間圖像成像模型條件復(fù)雜，本文建立的新模型將其劃為兩大部分，但在實(shí)際場(chǎng)景中會(huì)更細(xì)雜，因此在對(duì)夜間圖像成像模型的構(gòu)建上可做更加深入的研究。