基于暗原色先驗的快速視頻去霧優化算法

張萬緒，袁永德，閆　陽，茹　懿，孟虹岐

(西北大學 信息科學與技術學院, 陜西 西安　710127)

?

·信息科學·

基于暗原色先驗的快速視頻去霧優化算法

張萬緒，袁永德，閆陽，茹懿，孟虹岐

(西北大學 信息科學與技術學院, 陜西 西安710127)

對目前高分辨率視頻圖像去霧算法實時性差,天空及大量明亮區域處理不理想等問題,提出一種基于暗原色先驗的快速視頻去霧優化算法。針對視頻圖像,采用導向濾波和幀差法,實現快速視頻去霧。根據經典大氣散射物理模型,首先,利用暗原色先驗估計大氣光值和透射率圖;然后,下采樣透射率圖并用導向濾波得到優化的透射率圖后，上采樣并改善透射率圖;最終,得到去霧視頻幀。與帶顏色恢復的多尺度Retinex算法(MSRCR)和He算法進行對比,實驗結果表明,所提優化算法能有效提高視頻去霧速度,改善去霧效果。

視頻去霧;導向濾波;幀差法

霧霾是一種常見的自然現象[1],該天氣導致能見度降低,對比度差[2],影響視頻系統的正常工作。因此，實時視頻去霧在航拍、視頻監控等領域有重要的實際意義。

當前基于圖像處理的增強技術和基于物理模型的復原技術[3]是去霧技術的兩類主要方法,基于圖像處理的增強方法有同態濾波、直方圖均衡化、Retinex算法等,該類方法適用范圍廣,但對有霧圖像中突出部分恢復效果差。基于物理模型的復原方法針對性強,得到去霧圖像更自然。Tan[4]采用最大化局部對比度的方法來達到單幅圖片去霧的目的,但去霧圖片易產生顏色偏移。Fattal[5]基于數據的統計特性無法得到正確的傳播圖像,因此去霧圖像失真較大。He[6]等人提出基于暗原色先驗的去霧方法,并通過軟摳圖改善透射率圖,得到自然的去霧圖像,但對于大量天空區域該算法失效,而且整個算法的空間和時間復雜度高,實時性差,影響其在對實時性要求高的領域中的應用。

本文針對含有大量天空區域的有霧場景,提出一種快速視頻去霧的優化算法。首先,為了實時處理更高分辨率視頻幀,下采樣優化前的透射率圖,并采用導向濾波對透射率圖去噪，對去噪后的透射率圖上采樣;然后,針對大面積天空區域存在的失真進行修正;最后,獲得清晰視頻幀。實驗結果表明利用幀差法能有效提高視頻去霧效率,加快去霧速度。

1　大氣散射模型

Narasimhan[7]提出的經典大氣散射模型被應用于去霧研究,描述為

I(x)=J(x)t(x)+A(1-t(x))。

(1)

式(1)中,x表示圖像中像素空間位置;J為去霧后的清晰圖像;t為當前場景下的透射率圖;A是當前場景全局大氣光值;J(x)·t(x)為場景中清晰物體在經過透射媒介衰減后到達攝像設備的部分;A(1-t(x))為場景中大氣光對成像的影響。

由式(1)可得去霧后圖像J(x)為

(2)

2　圖像去霧優化算法

2.1暗原色先驗規律

文獻[8]統計大量無霧戶外清晰圖像后,發現在非天空區域的小域中至少存在一個顏色通道，其強度值極低。圖像暗通道可表示為

(3)

其中,Jdark為圖像J的暗通道;x表示像素在圖像中的坐標位置;Ω(x)為在圖像中以x像素所在位置為中心的方形小區域;y是該小區域中像素點位置;Jc是無霧圖像中RGB的一個通道。

2.2估計大氣光值

圖像無窮遠處濃霧區域的細節信息受大氣光值A的影響。He算法對含有大量白色區域的圖像不能準確地估計A值。本文對A的估計過程如下:

1) 天空區域一般位于視頻幀的上半部分,對視頻幀前1/2進行下采樣,得到分辨率較小的天空部分Ic(x)。

2) 求Ic(x)的暗通道圖Idark

(4)

3) 在Idark中找到最亮的像素點,將下采樣后視頻幀的對應位置作為中心,作半徑為1/30行的最大值濾波,在最大值位置取RGB三通道中最大值作為大氣光值A。

2.3透射率t的粗估計

對式(1)兩邊求最小值運算可得

(5)

將式(3)代入式(5),并將Ω(x)區域大小選為1×1,可得

(6)

其中,Idark為有霧視頻幀的暗通道圖。為了去霧后視頻幀效果更加自然,引入一個常數ω(0<ω≤1),本文中ω取0.9,則

(7)

2.4導向濾波優化透射率

由于去霧后的視頻幀易出現光暈現象。因此本文利用文獻[8]提出的一種快速保邊去噪的導向濾波方法。導向濾波基于局部線性模型的假設,對于輸入圖像p,引導圖I和輸出圖q,在以像素k為中心的圖像I的一個窗口ωk中，存在線性表達式

qi=akIi+bk。

(8)

其中,ak，bk為窗口ωk中線性常系數。對式(8)兩邊求導,可知引導圖與輸出圖具有相同梯度變化趨勢,即實現保邊特性。

若輸入圖像p中噪聲為n,則

qi=pi-ni。

(9)

通過最優化輸入圖像p和輸出圖像q可解得ak，bk的值。

(10)

式(10)中,ε是為了防止ak過大的正則化系數，對式(10)可解出:

(11)

(12)

在保持去霧效果的前提下,為了提高實時性,本文采取下采樣粗透射率圖的方法，使用導向濾波優化下采樣的透射率圖后，再用線性插值的方法得到原來像素大小的透射率圖。

(13)

3　視頻去霧方法

在動態環境中，幀差法適應力較強[2]，因此本文采用幀差法處理有霧視頻。具體過程如下:

1)對第n幀圖像利用本文圖像去霧算法進行去霧,得到第n幀去霧圖像以及該幀的大氣光值和透射率圖。

2)根據幀差法,對第m幀與第n幀做差，若兩幀圖像中像素的灰度值之差大于閾值Th，則認為該處像素發生突變，否則視為該處像素沒有突變，若突變像素個數與該幀圖像像素總個數之比大于閾值D,跳到步驟4);否則執行步驟3)。

3)利用第n幀所得的大氣光值和透射率圖,以第m幀的灰度圖作為引導圖,計算第m幀去霧幀。m=m+1,轉到步驟2)。

4)令n=m,轉到步驟1)繼續執行。

去霧的流程圖如圖1所示。

圖1　視頻去霧流程圖Fig.1　Flowchart for video defogging

4　實驗結果和分析

用本文算法對4個不同的圖像進行測試，并與帶顏色恢復的多尺度Retinex算法(multi-scale Retinex with color restoration, MSRCR)和He算法進行對比,去霧效果如圖2所示。第1列為4幅原圖，第2列、第3列和第4列分別為通過MSRCR算法、He算法和本文算法的去霧效果。

4.1主觀視覺

對圖2進行主觀上的分析可知,本算法去霧效果自然,對大面積天空區域沒出現顏色畸變。而MSRCR算法去霧效果偏白，He算法在去霧圖像邊緣出現光暈現象。

4.2客觀質量評價

本文從平均梯度和信息熵這兩個圖像評價標準對不同算法圖像去霧后的質量進行對比。平均梯度反映圖像細節清晰度,圖像平均梯度越大,其細節越清晰。信息熵反映圖像信息豐富程度，圖像信息熵越大,信息量越豐富,質量越好。以圖2(a)中4幅不同的圖為例(將4幅原圖分別稱為a，b，c，d)，表1和表2為評價指標的結果。

圖2　3種方法去霧效果對比Fig.2　Comparison of defogging effection for three methods

表1　3種算法的平均梯度對比

表2　3種算法的信息熵對比

對表1和表2分析可知，3種算法處理后的圖像的平均梯度和信息熵都有所提高,而本文算法和其他兩種算法相比,平均梯度和信息熵更高。表3為3種算法處理不同分辨率有霧圖像的時間,可知本算法縮短了單幅圖像的處理時間。

表3　3種算法的時間對比

4.3視頻去霧實驗結果

針對霧霾天氣的視頻處理效果對比如圖3所示,視頻來源陜西西安地區。圖3中(a),(d),(h)為原視頻幀，(b),(e),(i)為逐幀處理結果，(c),(f),(j)為幀差法處理結果。該視頻共有214幀,以25fps的播放速度播放時長為8.6s,每幀的尺寸為1 024*768,從圖3的視頻處理效果來看,視頻圖像色彩恢復自然和清晰,在天空區域沒有出現顏色畸變。對整個連續視頻進行逐幀法處理,其速度為9.9幀/s,采用幀差法處理速度可達13.9幀/s。

圖3　逐幀和幀差法處理結果對比Fig.3　Comparison of the processing results for frame and frame difference

5　總結和展望

對于目前視頻去霧實時性差的問題,本文基于大氣散射模型,采用暗原色先驗和幀差法進行視頻去霧,提高了視頻去霧效率和效果。在高分辨率的視頻中,處理速度還不能達到人眼分辨的時間,采用專用圖像處理芯片實現快速視頻處理有重要意義。除此之外,在對視頻幀中感興趣部分進行針對性的處理,也很有實用價值。

[1]畢娟.基于FPGA的單幅圖像去霧算法研究及其實現[D].西安：西安電子科技大學,2012.

[2]楊國強.圖像和視頻去霧技術的研究[D].天津：天津大學,2010.

[3]郭璠,蔡自興,謝斌，等.圖像去霧技術研究綜述與展望[J].計算機應用,2010,30(9):2419-2421.

[4]TAN R T. Visibility in bad weather from a single image[C]∥Proceeding of the 2008 IEEE Conference on Computer Vision and Pattern Recognition. Washingten, DC:IEEE Computer Society,2008,12 (5):1-8.

[5]FATTAL R. Single image dehazing[J]. ACM Transactions on Graphics, 2008, 27(3):1-9.

[6]He K,SUN J,TANG X. Single image haze removal using dark channel prior[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2011,33(12):2341-2353.

[7]SRINIVASA G,SHREE K. Contrast restoration of weather degraded images[J].IEEE Transactions on Patter Analysis and Machine Intelligence,2003,25(6):713-724.

[8]He K,SUN J,TANG X. Guided on image filtering[J]. IEEE Transactions on Patter Analysis and Machine Intelligence,2013,35(6):1-13.

(編輯李靜，曹大剛)

Fasting video haze removal algorithm using dark channel prior

ZHANG Wan-xu, YUAN Yong-de, YAN Yang, RU Yi, MENG Hong-qi

(College of Information Science and Technology, Northwest University, Xi′an 710127， China)

To overcome the defects of the existing algorithms in the high resolution video, such as the poor real-time performance, bad effect in sky area dehazed image, a fasting video haze removal algorithm which is based on the dark channel prior was proposed. For video images, the frame difference method and guided filtering are combined to fast video defogging. According to the classical atmospheric scattering physical model, the dark channel prior is used to estimate atmospheric light and initial transmittance. Secondly, the method of guided filtering was used to refine the down-sampled rough transmission map. refined transmission map was upsampled and corrected to obtain the final transmission map. Finally, the clear video frames were got. Comparison experiments with other two kind of methods were given, including MSRCR (Multi-Scale Retinex with Color Restoration) and He. The experimental results show that the proposed method can improve the processing speed of video defogging, and the quality of video defogging is improved.

video defogging; guided filtering; frame difference

2015-03-10

國家自然科學基金資助項目(61503300)

張萬緒,男,山西運城人,西北大學副教授,從事智能控制與測試和電視信號處理研究。

TP751.1

ADOI：10.16152/j.cnki.xdxbzr.2016-01-008