基于引導濾波和自適應容差的圖像去霧算法

金仙力，張威，劉林峰

（南京郵電大學計算機學院，江蘇 南京 210023）

1 引言

近年來，計算機視覺系統在智能駕駛、人臉識別、交通檢測等領域已得到廣泛應用。然而，霧霾天氣下得到的圖像往往會出現對比度下降、色彩失真、可視性下降和細節模糊等圖像降質問題。圖像降質對計算機視覺系統的目標識別和特征提取等后期處理過程產生了極大影響。因此，對圖像進行有效的去霧具有重要的研究價值。

在霧霾天氣下，受到大氣中雜質分子的影響，拍攝圖像存在嚴重的降質現象，許多細節信息丟失，這種現象在景深較大區域尤其明顯。如圖1(a)所示，近景處水面上的鵝雖然也變得模糊，但是相對來說可以看清，而景深處人物和樹木則幾乎完全被霧霾掩蓋。經過對大量帶霧圖像的灰度直方圖進行研究，如圖1(b)所示，其中，縱坐標表示灰度值，橫坐標表示灰度值對應的像素點的個數。相較于晴朗天氣下拍攝的圖像，霧霾天氣拍攝的圖像灰度值分布集中，這說明霧霾天氣拍攝的圖像的大量有效信息丟失，且圖像的色彩會變得不夠豐富。

圖1 霧霾天氣拍攝的圖像及其灰度直方圖

當前主流去霧算法可分為兩類，一類是基于非物理模型的去霧算法，另一類是基于物理模型的去霧算法。常見的基于非物理模型的去霧算法，有全局、局部直方圖均衡化算法[1]以及基于Retinex 原理[2]的去霧算法，此類基于非物理模型的去霧算法均是從帶霧圖像本身出發，并沒有分析霧霾天氣下圖像出現退化的原因，因此在去霧的過程中，圖像會損失大量細節信息[3]，同時存在對比度降低等問題[4]。基于物理模型的去霧算法對霧霾天氣圖像降質的原因進行分析并建立數學模型，據此復原出無霧圖像，此類方法不易出現圖像信息丟失的現象，復原圖像更加接近真實圖像[5]。已有多種基于多幅圖像的去霧算法被提出[6-8]，但是這類方法需要多幅圖像處在單一場景下，所以在實際應用中效果欠佳且穩健性較差。文獻[9]根據無霧圖像比有霧圖像有較大對比度這一先驗條件來完成圖像去霧處理，但該方法復原出的圖像的局部區域會出現過飽和問題。文獻[10]假設場景物體表面遮光部分與局部透射率不相關，并以此來估計透射率。但該方法處理濃霧時通常會出現失真現象。文獻[11]通過假設大氣耗散函數在某區域與最大值相近來完成圖像去霧，但該方法在景深突變區域去霧能力較差。文獻[12]提出了基于暗通道先驗的圖像去霧算法，該方法效率較低且在天空等明亮區域去霧后會出現失真。此外，研究人員還提出了暗通道去霧的改進算法。文獻[13]引入了一種容差機制來解決復原圖像天空失真的問題，但是該方法存在非明亮區域的誤補償以及過度補償等問題。文獻[14]提出了引導濾波來解決去霧圖像邊緣細節保持不夠充分的問題，該方法雖然提高了去霧算法的效率，但去霧后圖像在天空區域仍存在失真現象。此外，文獻[15]根據天空區域的像素特點對天空區域進行識別提取，調整了天空區域的透射率，該方法耗時較長，且會出現天空區域誤分割的情況。文獻[16]定義了雙透射率水下成像模型，在拓展暗通道算法應用場景的同時增強了算法的穩健性。文獻[17]基于大氣散射模型和卷積神經網絡，提出了AOD-Net（all-in-one dehazing network）模型，通過輕量級的卷積神經網絡直接生成清晰圖像。文獻[18]根據McMs-CNN（multi-channel multi-scale convolutional neural network）生成暗通道中估計場景的傳輸率，從而實現對單幅圖像的去霧。此外，一種端到端的對抗生成網絡算法也被提出用于單幅圖像去霧[19]，該方法也是直接復原圖像而不考慮透射率的計算等問題。文獻[20]提出了一種可訓練的卷積神經網絡用于對圖像進行去霧，相較于手工預處理，該方法能取得更好的效果，同時在一定程度上緩解了常規多尺度方法遇到的問題，減少了復原圖像的偽影現象。文獻[21]基于卷積神經網絡，通過比較器完成對透射率的估計，但對環境光值的估計存在偏差。此類基于深度學習的方法往往需要大量數據的支持，且難以在不同數據的泛化性上保證效果。此外，圖像去霧算法已經應用于多個實際場景中[22-23]。

針對上述問題，本文提出一種基于引導濾波和自適應容差的圖像去霧算法（IDAFT,image defogging algorithm based on guided filtering and adaptive tolerance）。引導濾波器是快速的邊緣保持濾波器之一，可以使輸出圖像與引導圖像的邊緣保持一致，因此其可以用于代替軟摳圖來降低算法的時間復雜度。自適應容差能夠根據圖像天空區域的大小確定不同的容差參數，解決了引導濾波不能解決的天空區域去霧后的失真問題，修正該類區域的透射率值，得到更加準確的透射率，從而復原出更加優質的去霧圖像。首先，通過求取不同尺寸鄰域窗口的暗通道圖和透射率圖，對兩幅透射率圖進行線性擬合，得到相對準確的透射率圖。然后，利用引導濾波，將帶霧圖像的灰度圖作為引導圖像，對透射率進一步細化。此外，為了解決復原圖像的天空等區域的失真問題，提出一種自適應容差機制，對這些區域的透射率進行修正，使此類區域的透射率更加準確。最后，將圖像從RGB 顏色空間轉換到HSV顏色空間，對圖像的亮度和對比度進行補償，最終轉換到RGB 顏色模型完成圖像復原。

2 暗通道算法原理

2.1 大氣散射模型

大氣散射模型被廣泛應用于圖像去霧領域[12]，簡化后的大氣散射模型可用于描述霧霾天氣圖像成因，具體如式(1)所示。

其中，I(x)和J(x)分別表示帶霧圖像和無霧圖像；t(x)表示透射率；A表示大氣光值；J(x)t(x)表示直接衰減項，可描述為光線在透射介質中的輻射和衰減；表示環境光成像，是大氣散射現象的結果?；谠撐锢砟Ｐ偷膱D像去霧工作實際上是根據已知的帶霧圖像I(x)以及強力的先驗知識或假設條件，得出A和t(x)，進而復原出J(x)的過程。

2.2 暗通道算法原理

暗通道先驗可描述為在絕大多數非天空局部區域內，某些像素總會有至少一個顏色通道具有很低的值。其數學表述為

其中，Jdark為暗通道，Ω(x)為以x像素為中心的方形鄰域窗口，Jc為帶霧圖像J的R、G 和B 這3個顏色通道。由暗通道先驗理論可知，在非天空區域Jdark一般很小，甚至趨近于0。

在假設A已知的情況下，對式(1)進行變換可得

其中，θ取值范圍為(0,1)。

將暗通道圖中所有像素按亮度大小進行排序，選取亮度最大的前0.1%的像素點，在帶霧圖像中找到對應的像素點，將亮度最大的像素點取出，作為大氣光值A。

根據式(1)復原出無霧圖像。在圖像去霧過程中，為了防止t(x)趨近于0 導致復原圖像整體白場過度，為透射率設定一個下限值t0=0.1，最終得到復原圖像為

2.3 暗通道算法存在的問題

暗通道算法中窗口大小的選取對結果有重要的影響，文獻[12]對去霧圖像進行了統一尺寸處理，然后選取固定的鄰域窗口。在實際應用中，往往要處理尺寸各異的圖像。一方面，如果選取的鄰域窗口過大，那么窗口中出現暗通道的概率較大，但是在景深突變區，得到的暗通道和透射率圖存在塊效應，使復原圖像存在白邊缺陷。另一方面，如果選取的鄰域窗口過小，則會因為較多區域不存在暗通道使復原圖像出現色彩偏移。

此外，在暗通道算法中引入軟摳圖對透射率進行細化，雖然去霧圖像白邊缺陷得到了較好的解決，但是因為軟摳圖要涉及大型矩陣的計算，因此算法效率低下。

在天空等明亮區域中，像素點的3 個通道值都很大，不存在暗通道，此時根據式(3)計算像素點的真實透射率，且有，這就導致此類區域真實透射率大于計算所得透射率。因為透射率的錯誤估計，導致復原后的這些區域出現失真現象，如圖2 所示。這嚴重影響了復原圖像的視覺效果。此外，暗通道算法去霧后的復原圖像還存在整體偏暗的問題。

圖2 暗通道算法去霧后天空區域失真現象

3 IDAFT

本節提出一種基于引導濾波和自適應容差的圖像去霧算法，首先利用雙窗口擬合和引導濾波得到細化的透射率，然后利用自適應容差的方法修正天空等區域的透射率，最后基于HSV 顏色模型對圖像亮度和對比度進行調整，得到最終的復原圖像。

3.1 雙窗口擬合優化透射率

在暗通道去霧算法中，計算暗通道圖時鄰域窗口大小的選取對圖像去霧的效果有著重要影響。本文采用一種雙窗口分別求取初始透射率，隨后進行線性擬合的方法。首先分別選取15×15 和3×3 這2種尺寸大小的鄰域窗口，根據式(2)分別求取2 種窗口對應的暗通道圖。然后根據式(4)分別得到鄰域窗口為15×15 和3×3 的透射率t15(x)和t3(x)。最后由式(6)對2 幅透射率圖進行線性擬合得到透射率t(x)。

其中，γ為調節因子，本文設置γ=0.5。

未擬合和擬合后的透射率結果如圖3 所示。

圖3 不同情況下的透射率結果

IDAFT與暗通道先驗算法求取大氣光值A的方法類似，求取鄰域窗口大小為15×15 的暗通道圖，選取亮度最大的前0.1%的像素點，在帶霧圖像中找到對應的像素點。不同的是IDAFT 將這前0.1%的像素點的每個顏色通道的平均值作為大氣光值A，取平均值是為了避免小面積白色非天空區域的影響，使取得的大氣光值A能夠更加趨近于真實值。

3.2 引導濾波細化透射率

雖然線性擬合得到的透射率相較于單一窗口的穩健性得到了提高，但是在邊緣細節保持方面仍然顯得不足，且算法復雜度仍然較高，為了解決此問題，IDAFT 采用引導濾波對透射率進行細化。

引導濾波假設引導圖像I和輸出圖像q在以像素k為中心的方形窗口區域ωk內存在局部線性關系，即

由式(7)可知，q與I的梯度呈線性關系。在窗口ωk中代價函數可表示為

其中，ε為正則化參數，用于避免線性系數ak過大。ak和bk可以通過線性回歸求解代價函數得到，即

IDAFT 將帶霧圖像的灰度圖作為引導濾波的引導圖像，通過引導濾波得到細化后的圖像透射率。圖4 為引導濾波細化后的透射率結果。

圖4 引導濾波細化后的透射率結果

3.3 針對天空區域的透射率補償

為了解決圖像去霧后天空區域出現失真的問題，在處理天空等明亮區域時，提出一種自適應容差機制，使容差參數能夠根據圖像包含天空等區域的大小來自適應地進行取值，這樣使天空等明亮區域的透射率得到修正，而對于其他區域則保持原來的透射率。這種自適應調節機制既能夠保證去霧后天空等明亮區域不會出現失真，也不會使大量非天空區域的透射率得到誤補償，從而能復原出質量更高的去霧圖像。

在IDAFT 中，首先定義容差調節圖為

其中，I c(x)為輸入的帶霧圖像，α為調節因子，本文設置α=0.95。

其中，Stol為容差調節圖中所有像素大于0 的元素集合，Snum為集合Stol中元素的總個數。

同時，定義容差參數為

其中，Ic(x)num表示輸入圖像中所有元素的個數。為容差參數設定上限，避免容差參數過大而導致非天空區域被誤判為天空區域，從而減少非天空區域誤補償帶來的影響。但是該上限值不宜過大，如果該值過大，則會導致大部分區域被判斷為天空區域，使得到的透射率不準確，經過多次實驗，當透射率取0.3 時，處理天空區域都能取得較好的效果，本文取該上限值為0.3。通過式(14)，即可得到自適應的容差值K。圖5 為不同場景下的帶霧圖像，圖5(a)包含極少的天空區域，圖5(b)則包含大量的天空區域。圖6 為圖5 中2 幅圖像的容差參數K隨調節因子α的變化曲線。

圖5 不同場景下的帶霧圖像

圖6 容差參數K 隨調節因子α 的變化曲線

引入容差機制為

根據自適應容差修正透射率，具體步驟如算法1 所示。

算法1自適應容差修正透射率

輸入輸入圖像I，透射率t(x)，大氣光值A，容差調節參數α，容差參數閾值β

輸出透射率t(x)

根據已經得到的大氣光值、透射率圖和已知的帶霧圖像，通過式(1)對圖像進行去霧，即可得到初始復原圖像。

3.4 顏色補償

在霧霾天氣下，受到空氣中顆粒物對光的吸收和散射作用的影響，通常得到的圖像像素點的亮度要比晴朗天氣下的大。去霧后的初始復原圖像整體偏暗，因此要對復原后的無霧圖像進行色彩補償。IDAFT 基于HSV 顏色模型對復原圖像進行顏色補償，流程如圖7 所示。

圖7 復原圖像顏色補償流程

首先，將得到的復原圖像作為輸入圖像，將圖像轉換到HSV 顏色模型，對圖像的S 和V 分量進行調整。然后，將調整后的圖像轉換到RGB顏色模型，輸出圖像即為顏色補償后的最終復原圖像。

4 實驗結果與分析

為了驗證IDAFT 的有效性，分別對若干幅霧霾天氣圖像進行實驗，對去霧后的圖像采用主觀視覺評價和客觀量化指標這2 種方式進行分析。實驗的運行環境主要配置參數為64 位Windows10 操作系統，CPU 為Core i5-6300HQ@2.30 GHz，內存為8 GB。仿真實驗的軟件平臺為Matlab R2018a。主要仿真參數如表1 所示。

表1 主要仿真參數

求取透射率調節參數θ是為了保留遠處少部分的霧，這是因為霧的存在是人感知深度的一個基本因素[12]。θ的存在使去霧后的圖像更加真實，θ越小，保留的霧就越多，通常取θ=0.95[12]。γ越大，擬合后的圖像與大窗口得到的透射率圖越相似；反之，與小窗口得到的透射率圖越相似。γ在[0.4,0.6]范圍時擬合效果較好，本文取γ=0.5。經過多次實驗可知，當α在[0.93,0.96]范圍時有較好的效果，本文取α=0.95。γ取值對去霧效果的影響與處理圖像的尺寸有關，本文取r=60像素。ε是一個很小的數[14]，ε在(0,0.01]范圍時都能取得較好的實驗結果，本文取ε=0.001。

4.1 主觀視覺評價

分別選取不含天空區域、含較少天空區域、含較多天空區域和含大量天空區域的帶霧圖像進行實驗，不同場景下各算法去霧效果比較如圖8 所示。圖8 中前三行的圖像均來自He[12]主頁，圖8(d1)～圖8(d6)和圖9 來自Flickr.com 和百度圖片搜索引擎，為包含大量天空區域的圖像。通過仿真實驗，分別對每幅圖像使用文獻[12]算法、文獻[14]算法、文獻[21]算法、文獻[24]算法以及IDAFT 進行去霧處理。

通過將去霧圖像與帶霧圖像進行比較可以看出，5 種算法都有一定的去霧效果。在不含天空區域、含較少天空區域和含較多天空區域的場景下，5 種算法都能夠對圖像完成有效的去霧，IDAFT 在景深突變區過渡更加自然，色彩還原度更高，在遠景處能取得更好的效果。在包含較多天空區域的場景下，文獻[12]算法和文獻[14]算法在天空區域去霧后出現了失真現象，這種情況在包含大量天空區域的圖像中尤其明顯，而文獻[21]算法、文獻[24]算法和IDAFT 在這些區域沒有出現失真現象，能夠很好地對圖像進行去霧，而且從圖8(d)可以看出，IDAFT 復原圖像整體的色彩還原度更高。此外，由圖9 可以直觀地看出，IDAFT 在對天空等區域的處理也能得到很好的處理效果。

圖8 不同場景下各算法去霧效果比較

圖9 包含大范圍天空區域場景下各算法去霧效果比較

4.2 量化指標比較

為了更加全面地測試各算法的去霧效果，選取包括平均梯度、可見邊的規范化梯度均值[25]、信息熵和算法運行時間作為評價指標對算法進行量化的比較。

平均梯度反映了圖像的細節，平均梯度越大，表明圖像的輪廓信息越清晰。

其中，M和N分別為圖像的寬和高，ΔIx和ΔIy分別為水平方向的梯度和垂直方向的梯度。

可見邊的規范化梯度均值反映了去霧后圖像邊緣對比度的變化，可見邊的規范化梯度均值越大，表明圖像的去霧效果越好。

其中，nr表示去霧后圖像的可見邊數目[25]，Pi表示可見邊上的像素點，? r表示去霧圖像所有可見邊的集合，zi表示可見邊的相關系數。

信息熵反映了圖像的信息量，信息熵越大，表明圖像包含的信息越多，去霧效果越好。

其中，M和N分別表示圖像的寬和高，L表示圖像的最高灰度級，Hw表示灰度級為w的像素的個數。

算法運行時間反映了算法運行所耗時間，時間越少，表明算法的效率越高，算法執行代價越低。5 種算法對不同圖像的去霧能力比較如表2 所示。

從表2 中可以看出，IDAFT 的運行時間與文獻[24]算法時間相近，遠低于文獻[12]算法，略高于文獻[14]算法，且有較高的效率。這是因為文獻[12]算法利用軟摳圖的方式優化透射率，而軟摳圖涉及大型拉普拉斯矩陣的運算，該矩陣的大小為去霧圖像大小的平方，因此算法效率低；文獻[14]算法通過引導濾波優化透射率，算法效率較高；本文同樣運用引導濾波，并且對天空等區域的透射率進行了再一次細化，同時對圖像色彩進行補償，因此IDAFT 運行時間要略大于文獻[14]算法。文獻[21]算法因為要進行模型訓練，此過程需要大量時間，遠高于其他4 種算法，因此在表2 中沒有記錄。文獻[12]算法、文獻[14]算法、文獻[24]算法及IDAFT運行時間隨圖像尺寸變化曲線如圖10 所示。

圖10 4 種算法運行時間隨圖像尺寸變化曲線

表2 5 種算法對不同圖像的去霧能力比較

同時從表2 也可以看出，對于圖8(a1)～圖8(a6)、圖8(b1)～圖8(b6)和圖8(c1)～圖8(c6)，IDAFT 在除算法運行時間外的其他各個評價指標相較于其他4種算法都有更好的表現。圖8(d1)～圖8(d6)中，IDAFT 的平均梯度和可見邊的規范化梯度均值整體優于其他4 種算法。在信息熵方面，對于包含較多天空區域的圖8(d1)～圖8(d6)，IDAFT 得到的圖像信息熵要低于其他4 種算法，這與其他4 種算法在天空去霧后出現失真后引入了噪聲有關，同時這也說明IDAFT 在針對天空區域透射率的修正是更加有效的。

為了更全面地對算法進行比較，從Flickr.com和百度等圖片搜索引擎中獲取包含較多天空區域的帶霧圖像，并與He 主頁帶霧圖像構成圖像集。然后將該圖像集的圖像根據包含天空區域面積的大小再均分（包含圖片數量相等）為3 個圖像集：不包含或者包含極少天空的圖像組成圖像集1，包含少量天空區域的圖像組成圖像集2，包含大范圍天空區域的圖像組成圖像集3。

對3 個圖像集的所有圖像分別用5 種算法進行去霧處理，得到平均梯度、可見邊的規范化梯度均值、信息熵這3 項量化指標各自的平均值，分別如圖11～圖13 所示。

圖11 平均梯度指標比較

從平均梯度指標來看，IDAFT 在圖像集1 的表現優于其他4 種算法，在圖像集2 和圖像集3 的表現與文獻[24]算法相近，低于文獻[21]算法，優于其他2 種算法。從可見邊的規范化梯度均值指標來看，IDAFT 除了在圖像集3 的表現略差于文獻[24]算法之外，相較于其他算法均有更好的表現。從信息熵指標來看，IDAFT 在圖像集1 和圖像集2 的整體表現優于其他4 種算法，在圖像集3 得到的結果低于其他4 種算法，這與其他算法在該類區域去霧后失真引入噪聲等因素有關。因此，通過實驗可以證明，IDAFT 是可行且有效的。

圖12 可見邊的規范化梯度均值指標比較

圖13 信息熵指標比較

5 結束語

本文針對暗通道算法圖像去霧后存在天空區域失真等問題，提出一種基于引導濾波和自適應容差機制的圖像去霧算法。首先，分別計算不同尺寸窗口暗通道和透射率圖，對兩幅透射率圖進行線性擬合，得到了更加精確的透射率。然后，將灰度圖作為引導圖像對透射率進行引導濾波，在解決景深突變區塊效應的同時，提高了圖像去霧算法的效率。特別地，通過自適應容差機制，可以對天空區域的透射率進行修正，解決了此類區域去霧后出現的失真問題。最后，基于HSV 顏色模型對去霧圖像進行顏色補償。仿真實驗結果表明，IDAFT 得到的復原圖像亮度更高，色彩更加鮮艷，圖像的整體視覺效果更佳，對于天空和非天空區域都能夠取得較好的去霧效果，在平均梯度、可見邊的規范化梯度均值、信息熵量化指標也有很好的表現。