一種改進(jìn)的透射率分布估計(jì)的夜間圖像去霧算法

薛 楠，嚴(yán)利民,2

一種改進(jìn)的透射率分布估計(jì)的夜間圖像去霧算法

薛 楠1，嚴(yán)利民1,2

（1. 上海大學(xué) 機(jī)電工程與自動(dòng)化學(xué)院，上海 200444；2. 上海大學(xué) 微電子研究與開(kāi)發(fā)中心，上海 200444）

針對(duì)基于暗通道先驗(yàn)理論（dark channel prior, DCP）的去霧算法在處理夜間有霧圖像時(shí)細(xì)節(jié)信息缺失、光源區(qū)域的紋理受損嚴(yán)重的問(wèn)題，本文提出了一種改進(jìn)的透射率分布估計(jì)的夜間圖像去霧算法。通過(guò)引入暗態(tài)點(diǎn)光源模型、暗通道可信度權(quán)值因子和偽去霧圖像，結(jié)合夜間圖像成像模型，獲取改進(jìn)的透射率分布，對(duì)夜間降質(zhì)圖像進(jìn)行去霧處理。實(shí)驗(yàn)結(jié)果表明，經(jīng)本文算法處理后的圖像在紋理細(xì)節(jié)上損失小、圖像清晰度高，圖像明暗對(duì)比度得到較好的拉伸，可以實(shí)現(xiàn)夜間有霧圖像的有效去霧。

夜間圖像去霧；暗通道先驗(yàn)；透射率分布估計(jì)

0 引言

夜間高分辨率圖像被廣泛應(yīng)用于安防安保監(jiān)控系統(tǒng)、航天航空軍事制導(dǎo)、對(duì)地檢測(cè)衛(wèi)星遙感以及汽車自動(dòng)駕駛等領(lǐng)域。然而，有霧的夜間圖像經(jīng)增強(qiáng)處理后呈現(xiàn)出對(duì)比度低，細(xì)節(jié)模糊等特征，不易辨識(shí)。目前最廣泛使用的基于暗通道先驗(yàn)理論（dark channel prior, DCP）的去霧算法[1]對(duì)白天降質(zhì)圖像進(jìn)行去霧時(shí)具有較好的效果，但對(duì)夜間降質(zhì)圖像進(jìn)行去霧后，圖像在人工光源區(qū)域存在嚴(yán)重的顏色失真[2]，暗區(qū)域的亮度不夠[3]。

目前，基于DCP算法的夜間圖像去霧算法的研究已經(jīng)取得了較大的進(jìn)展：陳志恒提出了一種自適應(yīng)全局亮度補(bǔ)償算法[4]，自適應(yīng)調(diào)節(jié)夜間有霧圖像的全局亮度，提高了夜間降質(zhì)圖像待去霧區(qū)域的可視度，但對(duì)微弱光源的夜間圖像去霧效果有待改進(jìn)；皮燕燕將夜間有霧圖片分為結(jié)構(gòu)層和紋理層，利用DCP算法得到結(jié)構(gòu)層的無(wú)霧反射光圖像，對(duì)紋理層進(jìn)行增強(qiáng)后得到夜間去霧圖像[5]，但對(duì)圖像天空部分的去霧存在失真；王柳哲針對(duì)夜晚環(huán)境的光照不均勻會(huì)影響暗通道的大氣光估計(jì)，采用中值濾波與加權(quán)正則化模型對(duì)環(huán)境光進(jìn)行優(yōu)化的方法來(lái)估計(jì)大氣光值[6]，改進(jìn)了去霧圖像的色偏現(xiàn)象，但是不能很好地去除光暈。

針對(duì)現(xiàn)有算法存在的圖像顏色失真、微弱光源圖像去霧效果差、光暈不能很好去除等問(wèn)題，本文提出了采用暗態(tài)點(diǎn)光源模型的夜間有霧圖像去霧算法，針對(duì)傳統(tǒng)圖像透射率分布估計(jì)不準(zhǔn)導(dǎo)致顏色失真的問(wèn)題，通過(guò)暗通道可信度權(quán)值因子對(duì)粗透射率分布進(jìn)行修正，再利用邊窗導(dǎo)向?yàn)V波對(duì)粗透射率分布進(jìn)行細(xì)化。實(shí)驗(yàn)結(jié)果表明，本文算法去霧效果好、在微弱光源處還原性好，有效減少了還原圖像的光暈與顏色失真。

1 基于暗通道先驗(yàn)理論的去霧算法

He通過(guò)統(tǒng)計(jì)發(fā)現(xiàn)，晴朗天氣圖像的暗通道圖像中至少86%以上的灰度值集中分布在[0,16]的灰度空間范圍之內(nèi)，且在無(wú)天空區(qū)域圖像的R、G、B通道中，至少存在一個(gè)通道的灰度值是趨近于0的[1]。He將這一結(jié)果定義為暗通道先驗(yàn)，用式(1)進(jìn)行表示：

式中：dark(,)表示無(wú)霧圖像的暗通道圖像；c(,)表示無(wú)霧圖像的RGB通道中的某一通道；(,)表示濾波的窗口大小。

通過(guò)計(jì)算大氣光值和透射率分布2(,)解得無(wú)霧圖像(,)的表達(dá)式如式(2)所示：

然而，當(dāng)透射率分布2(,)趨近于零時(shí)，會(huì)導(dǎo)致還原后的去霧圖像(,)包含大量的噪聲，表現(xiàn)出復(fù)原的圖像整體偏白。為避免該類情況的發(fā)生，在實(shí)際處理中，給透射率分布設(shè)置一個(gè)下限0，復(fù)原后的降質(zhì)圖像可以表示為式(3)：

式中：0一般取作0.1，相當(dāng)于去霧圖像仍然保留了少量的霧層。

DCP算法對(duì)白天圖像進(jìn)行處理時(shí)具有較好的去霧效果，去霧結(jié)果顏色真實(shí)自然。但對(duì)夜間圖像進(jìn)行去霧時(shí)，處理后的圖像在人工光源區(qū)域產(chǎn)生嚴(yán)重的顏色失真，暗區(qū)域的亮度不夠?qū)е录?xì)節(jié)信息缺失，光源區(qū)域的紋理受損嚴(yán)重。

2 基于暗態(tài)點(diǎn)光源模型的夜間有霧圖像去霧算法

針對(duì)夜間有霧圖像的紋理細(xì)節(jié)保持、色彩保持等問(wèn)題，本文在DCP算法的基礎(chǔ)上，提出了一種采用暗態(tài)點(diǎn)光源模型的夜間有霧圖像去霧算法。算法實(shí)現(xiàn)過(guò)程如圖1所示，主要由夜間環(huán)境光分布估計(jì)、透射率分布估計(jì)以及顏色校正3個(gè)模塊組成，具體過(guò)程如下：

圖1 采用暗態(tài)點(diǎn)光源模型的夜間圖像去霧算法流程

2.1 夜間環(huán)境光分布估計(jì)

利用最小值濾波算法、自適應(yīng)伽馬變換算法建立暗態(tài)點(diǎn)光源模型，并利用最大值濾波算法獲取夜間降質(zhì)圖像的亮度分布。使用暗態(tài)點(diǎn)光源模型、亮度分布以及聯(lián)合雙邊濾波算法估計(jì)夜間降質(zhì)圖像的環(huán)境光分布[7]。

2.2 透射率分布估計(jì)

通過(guò)顏色空間轉(zhuǎn)換、HSV通道分離，對(duì)降質(zhì)圖像的亮度通道和飽和度通道分別進(jìn)行最大值濾波、最小值濾波處理，利用聯(lián)合雙邊濾波對(duì)其進(jìn)行細(xì)化處理，得到暗通道可信度權(quán)值因子。然后，建立扇形模型，利用高斯均值函數(shù)、邊界約束、均值不等關(guān)系，獲取“偽”去霧圖像，再結(jié)合夜間環(huán)境光分布，將獲取的暗通道可信度權(quán)值因子和偽去霧圖像作為修正參數(shù)，改進(jìn)透射率分布的求取公式，獲取夜間降質(zhì)圖像的透射率分布。最后利用邊窗導(dǎo)向?yàn)V波細(xì)化紋理，得到精細(xì)化透射率分布，再對(duì)降質(zhì)圖像進(jìn)行還原后獲取去霧圖像。

2.3 顏色校正

根據(jù)輸入圖像通道的最大灰度值，計(jì)算輸入圖像的景深圖像，將其與輸入圖像通道、通道的最大灰度值做減法，求取景深差分圖像DDF。再利用、兩個(gè)校正參數(shù)分別對(duì)圖像通道和通道進(jìn)行色偏校正，再將處理后的3個(gè)通道進(jìn)行融合，得到顏色校正的圖像。

3 改進(jìn)透射率分布的獲取

3.1 暗通道可信度權(quán)值因子的獲取

暗通道可信度權(quán)值因子獲取流程如圖2所示，將夜間降質(zhì)圖像(,)轉(zhuǎn)換至HSV顏色空間，并進(jìn)行通道分離得到飽和度通道(,)、亮度通道(,)圖像，分別對(duì)其進(jìn)行最大值濾波、最小值濾波，得到max(,)和min(,)。

圖2 暗通道可信度權(quán)值因子獲取流程

max(,)和min(,)圖像自身邊緣信息損失嚴(yán)重，需用聯(lián)合雙邊濾波對(duì)其進(jìn)行紋理細(xì)化，得到細(xì)化結(jié)果min￠(,)和min￠(,)，處理過(guò)程如式(4)所示：

此時(shí)以細(xì)化后max￠(,)和min￠(,)為處理對(duì)象，對(duì)暗通道可信度權(quán)值因子進(jìn)行求取，求取過(guò)程如式(5)、(6)所示。

＝1×2(6)

式中：(,)表示夜間環(huán)境光分布；1表示飽和度系數(shù)；2表示亮度系數(shù)；表示暗通道可信度權(quán)值因子。暗通道可信度權(quán)值因子會(huì)隨著max￠(,)的增加、min￠(,)的減少而出現(xiàn)大幅度下降；1和2表示sigmoid函數(shù)的縮放系數(shù)，當(dāng)1＝8、2＝20時(shí)，具備較好的實(shí)驗(yàn)效果。

3.2 夜間偽去霧圖像的獲取

本文通過(guò)邊緣最值約定對(duì)min(c(,))的范圍進(jìn)行約束，構(gòu)建如圖3所示的扇形模型，由圖可知：min(c(,))的最優(yōu)解存在于min(cmin(,))與min(cmax(,))之間的陰影區(qū)域中。

圖3 扇形模型幾何表示

采用不等式逼近對(duì)陰影區(qū)域內(nèi)的最優(yōu)解min(c(,))進(jìn)行求取。采用較為劇烈的衰減2處理上邊界min(cmax(,))，對(duì)下邊界min(cmax(,))采用較為平和的衰減1對(duì)其進(jìn)行估值，以防止逼近過(guò)程中產(chǎn)生溢出現(xiàn)象。得到扇形區(qū)域兩側(cè)邊界的估計(jì)值如式(7)所示：

3.3 改進(jìn)透射率分布的獲取

式中：￠(,)為粗透射率分布；為暗通道可信度權(quán)值因子；為霧層保留參數(shù)，用作去霧圖像中少量霧氣的保留，以保證圖像的視覺(jué)真實(shí)性，對(duì)于夜間霧圖的處理中，一般取作0.65。

3.4 透射率分布的精細(xì)化處理

為減小去霧后出現(xiàn)的光暈現(xiàn)象，本文根據(jù)文獻(xiàn)[9]提出的邊窗導(dǎo)向?yàn)V波技術(shù)對(duì)粗透射率分布進(jìn)行紋理細(xì)化處理，以提升圖像邊緣信息的保持能力。通過(guò)對(duì)邊窗的濾波核函數(shù)進(jìn)行加權(quán)操作，并將其應(yīng)用在{L, R, U, D, NW, NE, SW, SE}8個(gè)窗口類型上，從輸出的8個(gè)結(jié)果中，找出與輸入最接近的邊窗類型，將其濾波結(jié)果作為最終的邊窗濾波結(jié)果，得到精細(xì)化透射率分布2(,)。

4 算法實(shí)驗(yàn)結(jié)果與分析

在得到夜間環(huán)境光分布(,)以及細(xì)透射率分布2(,)以后，對(duì)式(3)進(jìn)行改進(jìn)得到式(10)：

為驗(yàn)證本文算法的去霧效果，本文將從主觀和客觀兩個(gè)評(píng)價(jià)角度進(jìn)行實(shí)驗(yàn)對(duì)比。

4.1 主觀對(duì)比

本文以重度霧霾下的城市夜景實(shí)拍等夜間降質(zhì)圖像建立降質(zhì)圖庫(kù)，隨機(jī)選取了4幅具有低照度夜間特征代表性的降質(zhì)圖像，基于低照度夜間增強(qiáng)算法對(duì)其處理之后，分別采用基于暗通道先驗(yàn)理論去霧算法與本文算法對(duì)其進(jìn)行去霧處理，得到結(jié)果如圖4所示。

圖4 本文算法的去霧結(jié)果對(duì)比

可以看到，采用基于暗通道先驗(yàn)理論的去霧圖像在人工光源區(qū)域有嚴(yán)重的光暈效應(yīng)，而本文的去霧算法的去霧結(jié)果中圖像中的霧氣得到有效去除，去霧后的圖像顏色自然，符合人眼視覺(jué)觀感。

4.2 客觀對(duì)比

使用圖像信息熵、平均梯度和對(duì)比度對(duì)經(jīng)過(guò)文獻(xiàn)[1]、[6]、[10]中算法與本文算法的處理結(jié)果進(jìn)行客觀評(píng)價(jià)。統(tǒng)計(jì)其客觀評(píng)價(jià)結(jié)果如表1～表3所示，其中，表1為圖像信息熵的統(tǒng)計(jì)結(jié)果，表2為圖像平均梯度的統(tǒng)計(jì)結(jié)果，表3為圖像對(duì)比度的統(tǒng)計(jì)結(jié)果。表中，算法1為傳統(tǒng)DCP算法[1]，算法2為基于多光源模型與暗通道先驗(yàn)的去霧算法[6]，算法3為基于暗通道補(bǔ)償與大氣光值改進(jìn)的去霧算法[10]。

表1 圖像信息熵統(tǒng)計(jì)結(jié)果

表2 圖像平均梯度統(tǒng)計(jì)結(jié)果

表3 圖像對(duì)比度統(tǒng)計(jì)結(jié)果

可以看出，經(jīng)過(guò)本文算法處理過(guò)后的圖像的質(zhì)量普遍有較為明顯的改善，主要表現(xiàn)在圖像的信息熵值、平均梯度以及對(duì)比度均高于對(duì)比算法，說(shuō)明處理后的夜間有霧圖像所包含的信息量更為豐富，在紋理細(xì)節(jié)上損失較小、圖像清晰度高，同時(shí)夜間降質(zhì)圖像的明暗對(duì)比度得到較好地拉伸。

5 結(jié)論

為解決基于暗通道先驗(yàn)理論的去霧算法在處理夜間有霧圖像時(shí)細(xì)節(jié)信息缺失、光源區(qū)域的紋理受損嚴(yán)重的問(wèn)題，本文提出采用暗態(tài)點(diǎn)光源模型的夜間有霧圖像去霧算法。同時(shí)通過(guò)暗通道可信度權(quán)值因子和“偽”去霧圖像對(duì)圖像粗透射率分布進(jìn)行修正，再利用邊窗導(dǎo)向?yàn)V波對(duì)其進(jìn)行細(xì)化，提高了透射率分布估算結(jié)果的準(zhǔn)確度。實(shí)驗(yàn)結(jié)果表明，本文算法處理后的圖像在微弱光源處還原性好，有效減少了還原圖像的光暈與顏色失真且在去霧前經(jīng)過(guò)視見(jiàn)度增強(qiáng)處理，降質(zhì)圖像的亮度得到一定程度的保留，可視性較好。

[1] HE K, SUN J, TANG X. Single image haze removal using dark channel prior[J]., 2010, 33(12): 2341-2353.

[2] ZHANG J, CAO Y, WANG Z F. Nighttime haze removal based on a new imaging model[C]//, 2014: 4557-4561.

[3] PEI S C, LEE T Y. Nighttime haze removal using color transfer pre-processing and dark channel prior[C]//(ICIP), 19, 2012: 957-960.

[4] 陳志恒, 嚴(yán)利民, 張競(jìng)陽(yáng). 采用自適應(yīng)全局亮度補(bǔ)償?shù)囊归g去霧算法[J]. 紅外技術(shù), 2021, 43(10): 954-959.

CHEN Zhiheng, YAN Limin, ZHANG Jingyang. Nighttime dehazing algorithm with adaptive global brightness compensation[J]., 2021, 43(10): 954-959.

[5] 皮燕燕, 王遠(yuǎn)明, 王興嶺. 基于圖像分層與暗通道先驗(yàn)的夜間圖像去霧算法[C]//慣性技術(shù)發(fā)展動(dòng)態(tài)發(fā)展方向研討會(huì)文集, 2018: 132-135.

PI Yanyan, WANG Yuanming, WANG Xingling. Night-time image dehazing algorithm based on image stratification and dark channel prior[C]//, 2018: 132-135.

[6] 王柳哲. 基于多光源模型與暗通道先驗(yàn)的夜間圖像去霧[D]. 北京: 北京交通大學(xué), 2018.

WANG Liuzhe. Night Image Defogging Based on Multiple Light Source Models and Dark Channel Priors[D]. Beijing: Beijing Jiaotong University, 2018.

[7] 張競(jìng)陽(yáng), 嚴(yán)利民, 陳志恒. 采用暗態(tài)點(diǎn)光源模型的夜間去霧算法[J]. 紅外技術(shù), 2021, 43(8): 798-803.

ZHANG Jingyang, YAN Limin, CHEN Zhiheng. Nighttime fog removal using the dark point light source model[J]., 2021, 43(8): 798-803.

[8] ZHANG J, CAO Y, FANG S, et al. Fast haze removal for nighttime image using maximum reflectance prior[C]//, 2017: 7016-7024.

[9] YIN Hui, GONG Yuanhao, QIU Guoping. Side window guided filtering[J]., 2019, 165(C): 315-330.

[10] 高強(qiáng), 胡遼林, 陳鑫. 基于暗通道補(bǔ)償與大氣光值改進(jìn)的圖像去霧方法[J]. 激光與光電子學(xué)進(jìn)展, 2020, 57(6): 150-156.

GAO Qiang, HU Liaolin, CHEN Xin. Image dehazing method based on dark channel compensation and improvement of atmospheric light value[J]., 2020, 57(6): 150-156.

Nighttime Image Dehazing Algorithm Based on Improved Transmittance Distribution Estimation

XUE Nan1，YAN Limin1,2

(1.,,200444,;2.,,200444,)

This paper presents an improved transmittance distribution estimation algorithm for nighttime image dehazing to solve lack of detailed information and serious damage to the texture of light source areas when the dark channel prior dehazing algorithm processes foggy images at night. An improved transmittance distribution was obtained by introducing a dark state point light source model, a dark channel credibility weight factor, and a pseudo dehazing image, combined with a nighttime image imaging model, and the dehazed image at night was dehazed. The experimental results showed that the image processed by using the proposed algorithm had little loss in texture details and high image definition, and the contrast between the light and dark of the image was better stretched, which effectively dehazed a foggy image at night.

nighttime image dehazing,dark channel prior,transmission distribution estimation

TP391

A

1001-8891(2022)10-1089-06

2022-01-02；

2022-03-24.

薛楠（2001-），男，本科生，研究領(lǐng)域?yàn)閳D像處理及計(jì)算機(jī)視覺(jué)。E-mail：wilson_xue@outlook.com。

嚴(yán)利民（1971-），男，博士，副教授，研究領(lǐng)域?yàn)榧呻娐吩O(shè)計(jì)及系統(tǒng)集成、新型顯示技術(shù)和計(jì)算機(jī)視覺(jué)。E-mail：yanlm@shu.edu.cn。