基于非局部全變分正則化優(yōu)化的單幅霧天圖像恢復新方法

何人杰 樊養(yǎng)余 WANG Zhiyong FENG David

?

基于非局部全變分正則化優(yōu)化的單幅霧天圖像恢復新方法

何人杰*①②樊養(yǎng)余①WANG Zhiyong②FENG David②

①(西北工業(yè)大學電子信息學院陜西省信息獲取與處理重點實驗室 西安 710129)②(悉尼大學信息技術學院 悉尼 2006)

該文針對無霧圖像具有高灰度對比度且大氣遮罩局部平滑的特性，提出一種基于非局部全變分正則化優(yōu)化的單幅霧天圖像恢復新方法。先構建一種基于非局部全變分正則化的有約束優(yōu)化算法對大氣遮罩進行估計，然后通過優(yōu)化Bregman分離迭代法求解非局部Rudin-Osher-Fatemi模型獲得準確的大氣遮罩，進而從霧天場景圖像恢復出場景圖像。實驗結果表明，所提新方法可以有效地對霧天降質圖像進行復原，對多紋理復雜區(qū)域的恢復效果也較好。

圖像處理；圖像去霧；對比度增強；正則化優(yōu)化

1 引言

在戶外條件下，可見光成像系統(tǒng)往往受到大氣懸浮顆粒物散射的影響，導致采集到的圖像產生對比度下降、顏色失真以及模糊等退化現象[1]。并且，這種退化往往導致目標識別、特征提取、道路監(jiān)控等相關機器視覺算法不能高效地運行，甚至嚴重影響飛機著陸、汽車與輪渡駕駛。在霧霾異常嚴重的當今，先進圖像降霧技術的研究的重要性和迫切性尤為突出。實際上，基于單幅圖像的去霧方法的研究目前已經受到圖像處理和機器視覺領域科研人員的高度重視。

單幅圖像去霧技術可大致分為基于圖像增強的恢復方法[2,3]與基于物理模型的恢復方法兩大類。其中，基于圖像增強的恢復方法利用較成熟的圖像處理算法對霧天降質圖像進行有針對性的增強，例如提高圖像對比度，突出場景特定邊界特征等。然而，這類方法往往導致場景信息的丟失與恢復圖像的失真。基于物理模型的方法一般通過分析圖像退化的物理過程，根據假設或者先驗知識對其建模和求解。由于建立了霧天條件下的成像模型，這類方法相較于基于圖像增強的恢復方法在復雜場景下可得到更好的去霧效果。

現有物理模型將霧天條件下獲取的圖像看成場景反射光的衰減并與大氣光的疊加[8]。然而，從該模型中直接恢復場景圖像需要求解一個病態(tài)方程。近年來許多算法通過引入先驗知識對模型進行求解。文獻[9]指出場景無霧圖像的亮度對比度遠高于有霧圖像的，并利用馬爾可夫隨機場恢復出大氣光，從而顯著改善了降質圖像。然而，由于該方法本質上并未通過物理模型恢復場景圖像，恢復的圖像往往出現光暈效應以及飽和度過高的缺點。文獻[10]基于場景顏色統(tǒng)計特性提出表面返照率與色度系數不相關的先驗信息，并用獨立成分分析對圖像進行恢復。然而，由于該算法基于對彩色圖像的統(tǒng)計信息，在濃霧區(qū)域由于色彩信息缺失可能導致算法失效。文獻[1]基于無霧圖像的統(tǒng)計特性提出了暗原色先驗方法，利用軟摳圖算法對求得的大氣介質透射率進行細化并恢復出場景圖像。但是，該方法得到的結果可能在明亮區(qū)域產生顏色失真。文獻[11]提出了大氣遮罩(atmospheric veil)的概念并通過中值濾波得到大氣遮罩，進而恢復出場景圖像。該方法具有較高的計算效率，但由于中值濾波不能很好地保持圖像邊緣特征，恢復的圖像中往往存在光暈或假輪廓。

本文基于無霧圖像具有高對比度且大氣遮罩局部平滑的特性，提出了一種基于非局部全變分正則化優(yōu)化的對比度增強算法對大氣遮罩進行估計，進而恢復霧天場景圖像的方法。我們首先推導出大氣遮罩的理論邊界，并采用優(yōu)化Bregman分離迭代法求解非局部Rudin-Osher-Fatemi(ROF)[12]模型，從而獲得準確的大氣遮罩并進而獲得最終的恢復圖像。

2 霧天成像模型

在計算機視覺領域中，Koschmieder模型[8]被廣泛地用于描述霧天條件下場景的成像過程：

由于式(3)是一個非凸的優(yōu)化問題，直接求解十分困難，Tarel等人采用改進的中值濾波進行求解。由于中值濾波并不能很好地保持圖像邊緣信息，因此文獻[11]的方法往往導致恢復圖像產生殘留霧氣和圖像邊界處光暈效應明顯地出現[13]。

3 本文方法

為了準確地估算大氣遮罩，本文基于無霧圖像具有亮度對比度高且大氣遮罩局部平滑的特性，提出使用非局部全變分函數構建正則化函數，并進而用基于Bregman分離迭代的優(yōu)化算法對霧天圖像大氣遮罩進行估計，從而實現從霧天圖像恢復無霧場景圖像的新方法。本節(jié)主要論述基于非局部全變分正則化優(yōu)化的大氣遮罩估計和場景圖像恢復。

3.1基于非局部全變分正則化優(yōu)化的大氣遮罩估計

由式(2)可知，大氣遮罩估計的性能直接影響著恢復圖像的精確度。由于文獻[11]使用的基于灰度世界的白平衡算法對于色彩數量較少的圖像或單一色彩區(qū)域有一定的局限性。為了克服這一問題，我們首先使用文獻[14]中算法獲取準確的大氣光值。

為了避免使用中值濾波而產生的殘霧和光暈，我們通過求解式(4)中的等效優(yōu)化問題來估計大氣遮罩：

在很小的局部圖像塊中，大氣介質透射率一般可看作為常數并且其值僅在景深邊緣處發(fā)生較大變化[1]。由大氣遮罩物理意義和定義可知，大氣遮罩在局部圖像塊中一般具有接近常數的特性，在景深邊緣處則可能發(fā)生較大變化，也就是說，大氣遮罩在局部區(qū)域內具有平滑性。因此，要求正則化函數既要能保持大氣遮罩的平滑性，也要能保留大氣遮罩在景深邊界處的跳躍性。為此，我們提出采用非局部全變分(NLTV)函數作為正則化函數。相較于經典的局部全變分函數(LTV)，非局部全變分能夠克服LTV局部操作所導致的圖像細節(jié)被過度平滑的現象。而且，由于利用了圖像塊之間相似性的非局部操作，NLTV在保證的平滑性的同時還能更好地保持圖像的邊界信息。非局部全變分函數NLTV可定義為

引入非局部全變分以及邊界約束后式(4)可寫為

當選取全變分的函數為正則項時，式(8)可看作為標準Rudin-Osher-Fatemi(ROF)模型，并可以通過Chambolle投影算法進行優(yōu)化求解。本文采用作為正則項，則式(8)變?yōu)榉蔷植縍OF模型，從而可采用優(yōu)化Bregman分離迭代算法進行迭代求解如式(9)。

3.2場景圖像恢復

盡管大多數情況下利用式(12)可以得到一個令人滿意的無霧場景圖像，然而，由于在成像過程中不可避免會引入噪聲，當霧較濃時或者場景距離觀察者很遠時，大氣遮罩的值往往很大。直接使用式(12)恢復場景圖像會導致噪聲被放大。我們可通過式(13)說明這個過程，當越大時越趨近于0，噪聲可能會被放大數十倍。

為了避免這一現象，現有大部分單幅圖像去霧算法往往通過設定大氣介質透射率的下界為來防止恢復出的圖像中產生顏色失真。在本文中，為了便于與現有算法進行對比，我們令來避免由于過大所造成的噪聲干擾。

4 實驗結果與分析

為了驗證本文算法的有效性，我們選取了最具代表性的4種單幅圖像去霧方法(見文獻[1]，文獻[9]，文獻[10]，文獻[11])進行對比。本文算法所用平臺為Windows 7, Intel Xeon E3 3.3 GHz, 8 G內存，仿真軟件為Matlab R2013。若圖像中的像素總數為且鄰域中像素數為，通過分析可知本文算法的復雜度為。設置最大迭代次數為50，對于大小為800600的圖像，本文方法的平均處理時間為3.74 s。文中選取了去霧算法中具有代表性的House, Manhattan, Yosemite和Cones 4幅測試圖像進行對比實驗。其中，House為去霧算法中的經典測評圖像，Manhattan與Yosemite圖像中場景深度變化較大，Cones中的霧氣濃度較大。我們首先對實驗結果進行了主觀評述，并采用了圖像質量評價指標對不同算法結果進行了客觀評估。

4.1主觀評估

我們將本文試驗結果分別與上述文獻中4種算法結果進行了對比，結果如圖1~圖4所示。圖(a)分別為觀察到的霧天降質圖像，圖(b)~圖(f)分別為采用文獻[1]，文獻[9]，文獻[10]，文獻[11]算法的結果以及采用本文方法的結果。圖1中，場景紋理較復雜，并且包含了景深漸變和突變的區(qū)域。仔細觀察可知，4種算法都可以恢復出較為滿意的結果。文獻[1]算法顏色自然，但是對于大氣介質透射率較小的區(qū)域則不能很好地恢復景物細節(jié)。文獻[9]算法可以顯著地增強圖像的對比度與細節(jié)信息，然而由于是基于對比度增強處理，放大圖像(如圖1(i))產生了明顯的顏色飽和，并且在景深突變處產生了光暈。從圖1(j)中可以看出，文獻[10]算法在景深變化平緩區(qū)域能取得很好的結果，但在霧氣較濃的區(qū)域，則不能完全消除霧氣。文獻[11]算法則在霧氣較濃的區(qū)域產生了色彩偏差，并且不能很好地對細節(jié)豐富的多紋理區(qū)域進行恢復，其恢復結果在紋理邊緣處也產生了明顯的光暈。

圖1 House實驗結果

圖2 Manhattan實驗結果

圖3 Yosemite實驗結果

觀察圖2~圖4的結果亦可得到相似的結論。其中，圖4相較于其他圖像，霧氣濃度更大。由于文獻[1]限制大氣介質透射率的最小值為0.1，因此在濃霧情況下文獻[1]方法恢復的圖像亮度較低。本文提出的新方法的實驗結果則較好地保持了恢復圖像的亮度。

圖4 Cones實驗結果

4.2客觀評估

目前，圖像去霧質量的評估尚未有統(tǒng)一的客觀評價標準。針對去霧前后圖像可能存在的差異，本文選用了無參考圖像質量評價(BRISQUE)[15]以及對比度增強評價函數集[16]作為評價指標。對比度增強評價函數集包含了新增可見邊緣數比例，可見邊緣規(guī)范化梯度均值以及極限亮度像素數量百分比3個指標，分別定義為

表1給出了圖1~圖4中各種方法的恢復結果的客觀指標。從表1中我們可以發(fā)現在絕大多數指標中本文算法都具有最優(yōu)的結果。在圖4的結果對比中，雖然文獻[10]方法具有最好的與值，但是其恢復結果卻產生了嚴重的顏色偏差。

表1圖像恢復結果的評價指標對比

5 結束語

針對無霧圖像具有較高的對比度且大氣遮罩局部平滑的特性，本文提出了一種基于非局部全變分正則化優(yōu)化的單幅霧天圖像恢復新方法。我們首先構建了一種基于非局部全變分正則化的有約束優(yōu)化模型對大氣遮罩進行估計，然后通過優(yōu)化Bregman分離迭代法求解非局部ROF模型并獲得準確的大氣遮罩，進而通過霧天成像模型復原出場景無霧圖像。對實驗結果的主觀和客觀評估表明，本文方法可以有效地對霧天圖像進行復原，且對多紋理復雜區(qū)域也有很好的復原效果。我們發(fā)現在絕大多數指標中本文所提出的新方法都具有最優(yōu)的結果，即具有最好的與值，和顏色保值特性。本文為了簡化圖像的恢復過程，并未針對噪聲對恢復結果產生的影響進行詳細探討。在未來的研究中，我們將針對去霧過程中的降噪問題進行深入研究。

參考文獻

[1] HE Kaiming, SUN Jian, and TANG Xiaoou. Single image haze removal using dark channel prior[J]., 2011, 33(12): 2341-2353. doi: 10.1109/TPAMI.2010.168.

[2] 畢篤彥, 葛淵, 李權合, 等. 單幅圖像去霧方法研究[J]. 空軍工程大學學報: 自然科學版, 2013, 14(6): 46-53. doi: 10.3969/j.issn.1009-3516.2013.06.012.

BI Duyan, GE Yuan, LI Quanheng,. A research on defogging methods with single image[J].:, 2013, 14(6): 46-53. doi: 10.3969/j.issn.1009-3516.2013.06.012.

[3] MI Z, ZHOU H, ZHENG Y,. Single image dehazing via multi-scale gradient domain contrast enhancement[J]., 2016, 3(10): 206-214. doi: 10.1049/iet-ipr. 2015.0112.

[4] HE R, WANG Z, FAN Y,. Combined constraint for single image dehazing[J]., 2015, 51(22): 1776-1778. doi: 10.1049/el.2015.0707.

[5] WANG Dan and ZHU Jubo. Fast smoothing technique with edge preservation for single image dehazing[J]., 2015, 9(6): 950-959. doi: 10.1049/iet-cvi.2015.0063.

[6] WANG Jinbao, HE Ning, ZHANG Lulu,. Single image dehazing with a physical model and dark channel prior[J]., 2015, 149(PB): 718-728. doi: 10.1016/j.neucom.2014.08.005.

[7] WANG Zhongliang and FENG Yan. Fast single haze image enhancement[J].&, 2014, 40(3): 785-795. doi: 10.1016/j.compeleceng.2013.06. 009.

[8] NARASIMHAN S and NAYAR S. Vision and the atmosphere[J]., 2002, 48(3): 233-254. doi: 10.1023/A:1016328200723.

[9] TAN R. Visibility in bad weather from a single image[C]. IEEE Conference on Computer Vision and Pattern Recognition, Alaska, USA, 2008: 1-8.

[10] FATTAL R. Single image dehazing[J]., 2008, 27(3): 1-9. doi: 10.1145/1399504.1360671.

[11] TAREL J and HAUTIERE N. Fast visibility restoration from a single color or gray level image[C]. IEEE International Conference on Computer Vision, Kyoto, Japan, 2009: 2201-2208.

[12] RUDIN L, OSHER S, and FATEMI E. Nonlinear total variation based noise removal algorithms[J]., 1992, 60(1): 259-268. doi: 10.1016/ 0167-2789(92)90242-F.

[13] 吳迪, 朱青松. 圖像去霧的最新研究進展[J]. 自動化學報, 2015, 41(2): 221-239. doi: 10.16383/j.aas.2015.c131137.

WU Di and ZHU Qingsong. The latest research progress of image dehazing[J]., 2015, 41(2): 221-239. doi: 10.16383/j.aas.2015.c131137.

[14] SULAMI M, GELTZER I, FATTAL R,. Automatic recovery of the atmospheric light in hazy images[C]. IEEE International Conference on Computational Photography, Santa Clara, USA, 2014: 1-11.

[15] MITTAL A, MOORTHY A, and BOVIK A. No-reference image quality assessment in the spatial domain[J]., 2012, 21(12): 4695-4708. doi: 10.1109/TIP.2012.2214050.

[16] HAUTIERE N, TAREL J, and AUBERT D. Blind contrast enhancement assessment by gradient ratioing at visible edges[J].&, 2008, 27(2): 87-95. doi: 10.5566/ias.v27.p87-95.

Novel Single Hazy Image Restoration Method Based on Nonlocal Total Variation Regularization Optimization

HE Renjie①②FAN Yangyu①WANG Zhiyong②FENG David②

①(,,,’710129,)②(,,2006,)

Based on the property that the scene radiance is of high contrast and the atmospheric veil is locally smooth, a novel single hazy image restoration method based on nonlocal total variation regularization optimization is proposed in this paper. In order to obtain the atmospheric veil of a hazy image, a constrained nonlocal total variation regularization is firstly applied. Then, the accurate atmospheric veil is estimated using a nonlocal Rudin- Osher-Fatemi model, which is solved by a modified split Bregman method. Experimental results demonstrate that the proposed approach is capable of recovering the scene radiance from a single hazy image effectively, especially for the regions with multi-texture.

Image processing; Image dehazing; Contrast enhancement; Regularization optimization

TP391

A

1009-5896(2016)10-2509-06

10.11999/JEIT160208

2016-03-07；改回日期：2016-07-14；網絡出版：2016-08-26

何人杰 davidhrj@163.com

國家自然科學基金(61420106007)，陜西省科技統(tǒng)籌創(chuàng)新項目

The National Natural Science Foundation of China (61420106007), Shaanxi Science & Technology Co-ordination & Innovation Project

何人杰： 男，1986年生，博士生，研究方向為圖像增強與恢復、圖像去霧與去湍流、機器視覺及其應用.

樊養(yǎng)余： 男，1960年生，教授，博士生導師，主要研究方向為圖像處理與虛擬現實技術.

WANG Zhiyong： 男，講師，主要研究方向為圖像與視頻處理、多媒體技術.

FENG David： 男，教授，主要研究方向為生物醫(yī)學與多媒體信息技術.