采用暗態點光源模型的夜間去霧算法

張競陽，嚴利民，陳志恒

采用暗態點光源模型的夜間去霧算法

張競陽，嚴利民，陳志恒

（上海大學 微電子研究與開發中心，上海 200444）

針對夜間霧、霾場景下的去霧圖像存在顏色失真、紋理損失、亮度低等缺陷，本文提出了一種采用暗態點光源模型的夜間去霧算法，通過構建夜間霧、霾場景的暗態點光源模型，利用聯合雙邊濾波、限制對比度自適應直方圖均衡化等算法對降質圖像進行處理，結合大氣散射模型得到去霧圖像。實驗結果表明，該算法的處理速度快、夜間去霧效果較好，較對比算法在對比度、平均梯度以及信息熵上均有一定程度地改善，有效解決了去霧圖像的顏色失真、紋理損失、亮度低等缺陷。

夜間去霧；暗態點光源模型；聯合雙邊濾波；限制對比度自適應直方圖均衡化；大氣散射模型

0 引言

近年來，日益加劇的霧、霾天氣嚴重干擾了戶外視覺采集系統的正常工作與運行，降低了所獲圖像、視頻的信息質量。此類天氣情況下采集得到的圖像、視頻往往存在畫面模糊、對比度低、細節丟失嚴重等問題[1-3]。目前面向白天降質環境的去霧算法研究已經日益成熟，而對夜間降質圖像的去霧算法研究則相對較少。因此，研究如何在夜間霧、霾場景下對降質圖像進行有效去霧，具有一定的研究意義和應用價值。

為實現夜間降質圖像的有效去霧，Zhang J.[4]提出了一種基于最大反射率先驗理論的快速夜間去霧算法，利用最大反射率先驗理論來對夜間降質場景下的大氣光分布進行有效估計，然后結合夜間去霧模型實現去霧，該算法去霧效果較好、紋理損失少，但去霧圖像存在一定顏色失真；同時，Li Y.[5]提出了一種全新的大氣光模型用于夜間圖像去霧，通過線性計算剝離降質圖像的輝光項，利用局部編碼估算大氣光分布，結合散射模型實現去霧，該算法具備一定的去霧效果，但去霧圖像存在一定的紋理細節損失；而Yu T.[6]則提出了一種結合像素級alpha混合算法的夜間去霧算法，以亮度感知權值為導向，對夜間降質場景下的非光源與光源區域的透射率估計進行有效融合，利用信號差分引導濾波來有效估算大氣光分布，結合大氣散射模型進行去霧，該算法去霧效果較好、顏色一致性強，但場景亮度較低。

針對現有夜間降質圖像去霧算法存在的顏色失真、紋理損失、亮度低等缺陷，本文在He K.M[7]的暗通道先驗去霧算法的基礎上，提出了一種采用暗態點光源模型的夜間去霧算法，利用最小值濾波、伽馬變換等算法建立暗態點光源模型，然后使用暗態點光源模型與聯合雙邊濾波等算法有效估計夜間降質圖像的大氣光分布、透射率分布，最后結合大氣散射模型實現去霧。實驗結果表明，該算法處理速度快、去霧效果好，有效減少了去霧圖像的顏色失真、紋理損失、亮度低等缺陷。

1 基于暗通道先驗理論去霧算法

在數字圖像處理領域，McCartney的大氣散射模型被廣泛應用于去霧處理，其數學表達式為：

(,)＝(,)(,)＋[1－(,)] (1)

式中：(,)為圖像的橫縱坐標；(,)為降質圖像；(,)為去霧圖像；(,)為透射率分布；為大氣光值。推導數學公式(1)，即可得到透射率分布(,)的數學表達式為：

He K. M.[7]等人在對不包含天空區域的無霧圖像觀察統計中發現，無霧圖像某一顏色通道下的像素值總是接近于零的現象。基于該觀察結果，他提出了暗通道先驗理論，即對于任意無霧圖像的非天空區域，至少存在一個顏色通道下的像素值是接近于零的，該理論的數學表達式為：

式中：d(,)為(,)的暗通道圖像；c(,)為顏色通道各自對應的灰度值；(,)為濾波窗口。假設大氣光值已知，則透射率分布(,)的獲取方式為：

式中：d(,)為(,)的暗通道圖像；為霧氣權值系數，用作在去霧圖像中保留少量霧氣以保持圖像的視覺真實性，一般取作0.95，為大氣光值，一般取為(,)像素值降序排列前0.1%的像素平均值。

結合求得的透射率分布(,)、大氣光值以及公式(1)，即可得到去霧圖像：

該算法對白天霧、霾天氣下的降質圖像具備較好的去霧效果，但直接應用于夜間降質圖像，則會因為降質場景亮度過低等因素，出現算法失效的情況。

2 本文去霧算法

為解決夜間降質圖像去霧算法存在的顏色失真、紋理損失、亮度低等缺陷，本文基于He K. M.[7]的暗通道先驗去霧算法，提出了一種采用暗態點光源模型的夜間去霧算法。算法流程為：首先，利用最小值濾波、伽馬變換、高斯濾波算法建立暗態點光源模型，利用最大值濾波獲取降質圖像(,)的亮度分布b(,)；再使用暗態點光源模型、亮度分布b(,)和聯合雙邊濾波算法有效估計降質圖像(,)的大氣光分布(,)；然后根據已知的大氣光分布(,)和暗通道圖像d(,)獲取降質圖像的透射率分布(,)，并利用聯合雙邊濾波對其進行紋理細化；最后結合改進后的大氣散射模型進行去霧處理，并利用限制對比度直方圖均衡化算法進行圖像增強。算法實現過程如圖1所示。

圖1 本文算法的實現過程

2.1 暗態點光源模型

為有效估計夜間霧、霾天氣下降質圖像的大氣光分布(,)，本文提出了一種暗態點光源模型。暗態點光源模型的獲取流程如圖2(a)所示：首先，對降質圖像(,)進行最小值濾波獲取暗通道圖像d(,)；然后用伽馬變換對暗通道圖像d(,)進行灰度矯正，處理公式如下：

式中：a稱為灰度縮放系數，用于整體拉伸圖像灰度，通常取值為1；g為伽馬值，伽馬變換可以有效增強圖像的明暗對比，進一步增強暗通道圖像的明暗對比，進而有效地分割降質圖像的光源區域與非光源區域；Vp(x, y)為暗態點光源模型，對其再進行高斯濾波即可得到估算大氣光分布所需的最終點光源模型。多數伽馬變換都是手動設置伽馬系數，為全局變量，對于夜間圖像的增強效果并不理想。所以本文采用文獻[8]中的方法，首先，采用多尺度高斯函數的方法來提取光照不均勻場景中的光照分量，對各個光照分量進行加權，得到光照分量的估計值。然后利用圖像的光照分量的分布特性自適應地調整二維伽馬函數的參數，提高光照不均勻圖像整體質量。

在獲取了暗態點光源模型p(,)后，即可根據公式(7)獲取降質圖像(,)的亮度分布b(,)：

考慮到夜間霧、霾天氣情況下，降質場景的光源多為點光源，與白天的面光源不同，點光源的照射條件決定了夜間去霧的主要對象為點光源光線覆蓋范圍內的降質場景。如果簡單地將亮度分布作為大氣光分布用于降質圖像的去霧，會導致去霧圖像出現圖像失真、去霧場景過暗等問題，所以如何得到一個合理的點光源模型，用于大氣光分布的估計，成為了夜間去霧算法的一個難點。

由于聯合雙邊濾波器具備與引導濾波器相同的濾波效果，即可通過輸入引導圖像對目標圖像進行引導濾波，而且濾波后的圖像具備更好的邊緣保持效果。因此本文將暗態點光源模型p(,)作為目標圖像，將亮度分布b(,)作為引導圖像，利用聯合雙邊濾波器的引導特性[9]，模擬生成夜間點光源的光線照射路線，從而對夜間的大氣光分布進行有效估計，處理過程如圖2(b)所示。根據公式(7)得到降質圖像亮度分布b(,)，再對亮度分布b(,)進行高斯濾波處理，最后以暗態點光源模型p(,)為目標圖像、以亮度分布b(,)為引導圖像進行聯合雙邊濾波處理，即可得到最終所需的大氣光分布(,)。此時的大氣光分布(,)中所保留的亮度信息主要為點光源及其光線覆蓋范圍內的亮度信息，將該大氣光分布用作后續降質圖像的去霧處理，可以有效解決圖像失真、去霧場景過暗等問題。

2.2 透射率分布的精確估計

根據2.1節得到的大氣光分布(,)，結合暗通道圖像d(,)即可改進透射率估計公式(4)為：

式中：t′(x, y)為I(x, y)的粗透射率分布；w為霧氣權值系數；Id(x, y)為I(x, y)的暗通道圖像；A(x, y)為I(x, y)的大氣光分布。粗透射率分布的處理結果如圖3(b)所示，由圖可知，此時的粗透射率分布t′(x, y)紋理細節損失嚴重，若用該透射率分布對降質圖像（圖3(a)）去霧，處理結果會因為透射率的不準確估計，而存在紋理細節缺失、光暈效應、顏色失真等缺陷。考慮到聯合雙邊濾波具備細化圖像紋理的作用，本文利用其對粗透射率t′(x, y)進行精細化處理，得到的細透射率分布如圖3(c)所示，記作t2(x, y)。該透射率分布估值準確、細節明顯，可以有效解決紋理細節缺失、光暈效應、顏色失真等缺陷。

2.3 夜間降質圖像去霧

在得到細透射率分布2(,)以及大氣光分布(,)以后，即可對公式(5)進行去霧改進處理得到：

式中：(,)為去霧圖像；(,)為降質圖像；(,)為大氣光分布；2(,)為細透射率分布；0為防止分母為零而引入的系數，本文取作0.1。

3 實驗結果與分析

本文算法的所有實驗均在CPU為Intel(R) Core i7-9700K @3.60GHz、內存為32GB、操作系統為Windows 10的計算機上運行所得，開發語言為C＋＋和OpenCV 3.4.6，開發軟件平臺為Visual Studio 2019，測試軟件平臺為Matlab 2018。實驗所用的夜間降質圖像為本實驗室自行建立的降質圖庫。為驗證本文算法的去霧效果和處理速度，本文將從主觀對比和客觀對比兩個角度進行實驗對比。

3.1 主觀對比

本文從降質圖庫中隨機選取了4幅具有夜間霧、霾天氣代表性的降質圖像，分別采用不同的夜間去霧算法進行去霧處理，得到的實驗結果如圖4所示。

由圖4可知，相比于白天有霧圖像的去霧算法和專門針對夜間有霧圖像的去霧算法，本文所提的算法清晰化效果比較明顯，在對比度、色彩和細節信息等方面都做了適度增強。

3.2 客觀對比

為了進一步對比不同算法的處理效果，本文使用信息熵（Information Entropy, IE）、平均梯度（Average Gradient，AG）和對比度（Contrast）對圖4中4張圖各個算法的處理結果進行客觀評價，如表1所示。可以看出，經過本文算法處理過后的圖像的質量普遍有較為明顯的改善，主要表現在信息熵值的提高，說明處理后的夜間圖像所包含的信息量比較豐富；平均梯度的提升說明處理后的夜間圖像在清晰度提高了；對比度的提高說明有效增強了夜間圖像的明暗對比度。由此可見，本文所提算法在夜間有霧圖像的去霧效果上取得了比較好的結果。

表1 圖4的客觀評價結果

4 結語

為有效解決現有夜間降質圖像去霧算法存在的顏色失真、紋理損失、亮度低等缺陷，本文提出了一種采用暗態點光源模型的夜間去霧算法。該算法通過引入暗態點光源模型，結合聯合雙邊濾波、高斯濾波、最大值、最小值濾波等算法對夜間降質場景的大氣光分布、透射率分布進行了有效估計，最后改進大氣散射模型對夜間降質圖像進行有效去霧。實驗結果表明，該算法的處理速度快、夜間去霧效果好，能夠有效減少去霧圖像的顏色失真、紋理損失，且去霧場景亮度得到一定程度的保留，同時在對比度、平均梯度以及信息熵上均有一定提高，可應用于城市交通監控系統的夜間去霧。

[1] 余順園, 朱虹. 夜間有霧圖像的光照模型構建及去霧[J]. 光學精密工程, 2017, 25(3): 729-734.

YU S Y, ZHU H, Illumination model construction and defogging of night foggy image[J]., 2017, 25(3): 729-734.

[2] 郭璠, 鄒北驥, 唐琎. 基于多光源模型的夜晚霧天圖像去霧算法[J]. 電子學報, 2017, 45(9): 2127-2134.

GUO P, ZOU B J, TANG J. Defogging algorithm of night fog image based on multi light source model[J]., 2017, 45(9): 2127-2134.

[3] 左健宏, 藺素珍, 祿曉飛, 等. 基于霧線暗原色先驗的紅外圖像去霧算法[J]. 紅外技術, 2020, 42(6): 552-558.

ZUO J H, LIN S Z, LU X F, et al. Infrared image defogging algorithm based on fog line dark primary color prior[J]., 2020, 42(6): 552-558.

[4] ZHANG J, CAO Y, FANG S, et al. Fast haze removal for nighttime image using maximum reflectance prior[C]//, 2017: 7418-7426.

[5] LI Y, TAN R T, Brown M S. Nighttime haze removal with glow and multiple light colors[C]//, 2015: 226-234.

[6] YU T, SONG K, MIAO P, et al. Nighttime Single Image Dehazing via Pixel-Wise Alpha Blending[J]., 2019(7): 114619-114630.

[7] HE K, SUN J, TANG X. Single image haze removal using dark channel prior[J]., 2010, 33(12): 2341-2353.

[8] 劉志成, 王殿偉, 劉穎, 等. 基于二維伽馬函數的光照不均勻圖像自適應校正算法[J]. 北京理工大學學報, 2016, 36(2): 191-196, 214.

LIU Z C, WANG D W, LIU Y, et al. Adaptive correction algorithm for uneven illumination image based on two dimensional gamma function[J]., 2016, 36(2): 191-196, 214.

[9] 陳志恒, 嚴利民, 陸斌. 一種快速高效的實時視頻去霧算法[J/OL]. 激光與光電子學進展: 1-12. [2020-11-24]. http://kns.cnki.net/kcms/detail/ 31.1690.TN.20191217.1447.008.html.

CHEN Z H, YAN L M, LU B. A fast and efficient real time video defogging algorithm[J/OL].: 1-12. [2020-11-24]. http://kns.cnki.net/kcms/detail/31.1690.TN.20191217.1447. 008.html.

Nighttime Fog Removal Using the Dark Point Light Source Model

ZHANG Jingyang，YAN Limin，CHEN Zhiheng

(Microelectronics R & D Center, Shanghai University, Shanghai 200444, China)

Toaddressimage distortion, texture loss, and low brightness in nighttimefog scenes, this paper proposes a nighttime defoggingalgorithm based on a dark point light source model. The dark point light source model was first constructed and the degraded image was processed by analgorithm that utilizes both bilateral filtering and limited contrast adaptive histogram equalization. Then, the defogging image was obtained by combining with the atmospheric scattering model. The experimental results show that this algorithm has a fast processing speed, a better effect of nighttime fogging, and a certain degree of improvement in terms of contrast, average gradient, and information entropywhen compared with the contrast algorithm. This model can therefore effectively address image distortion, texture loss, and low brightness of fogging images.

nighttime fog removal, dark point light source model, combined bilateral filtering, limited contrast adaptive histogram equalization, atmospheric scattering model

TP391

A

1001-8891(2021)08-0798-06

2020-11-24；

2020-12-25.

張競陽（1996-），女，安徽省亳州市人，碩士研究生，研究領域為數字圖像處理。E-mail: Azjy5566@163.com。

嚴利民（1971-），男，博士，副教授，研究領域為集成電路設計及系統集成、新型顯示技術和計算機視覺。E-mail: yanlm@shu.edu.cn。

國家自然科學基金（61674100）。