霧天降質圖像的快速復原

吳笑天，魯劍鋒，賀柏根，吳 川，2，朱 明，2

（1.中國科學院長春光學精密機械與物理研究所，吉林長春130033；2.中國科學院長春光學精密機械與物理研究所航空光學成像與測量中國科學院重點實驗室，吉林長春130033）

霧天降質圖像的快速復原

吳笑天1，2*，魯劍鋒1，賀柏根1，吳 川1，2，朱 明1，2

（1.中國科學院長春光學精密機械與物理研究所，吉林長春130033；2.中國科學院長春光學精密機械與物理研究所航空光學成像與測量中國科學院重點實驗室，吉林長春130033）

針對在雨霧霾天氣條件下，大氣介質的散射和吸收作用導致光電成像系統接收的圖像對比度降低，細節模糊不清及顏色偏移，提出通過快速圖像復原來解決此類圖像退化問題。基于大氣成像光學模型，在暗通道先驗的理論基礎上，提出了一種基于形態學濾波器的快速估算暗通道圖像的方法，并采用參數自適應調整方法來抑制暗通道先驗不滿足時的大片天空/白墻區域的顏色失真現象。實驗結果表明，該算法能夠有效快速復原雨霧天氣條件下的降質圖像，對于600×400大小的圖像，其Matlab復原仿真時間僅為0.4 s，復原后的圖像主觀視覺質量明顯提升，其大片天空/白墻區域的顏色失真得到有效抑制。

降質圖像；圖像復原；暗通道先驗；形態學濾波器

1 引 言

光電成像設備是工程中獲取圖像信息的重要設備，廣泛應用在安防、交通、國防等諸多領域。在外場工作條件下，光電成像設備將不可避免地受到天氣的影響，尤其在雨霧霾天氣條件下，大氣介質中懸浮著的大量水蒸氣、塵埃等顆粒對光線的散射和吸收作用會使場景的反射光在直線傳播的光路發生顯著衰減，同時大氣背景光也會受到上述懸浮顆粒的散射作用而摻雜進該直線傳播的光路中。兩者的共同作用使得光電成像系統在雨霧霾天氣條件下獲取的圖像質量出現不同程度的降質，具體表現為：圖像對比度降低，紋理模糊不清以及場景顏色偏移。所以，在雨霧霾天氣條件下捕獲的外景圖像質量較差，不利于人眼觀察。由于現代化的光電成像設備后端往往配有各類功能的圖像智能化處理器［1］，并針對不同的應用場景，配以不同的圖像處理方法［4-7］。因此，雨霧霾的天氣條件也會影響到光電成像系統后端的跟蹤、識別［8］、配準［9］等各類智能化算法的正常運行。所以，研究霧天降質圖像的復原算法以及其工程化的簡化算法具有一定的工程價值。

霧天降質的圖像復原問題是一個典型的病態問題［3］。早先的霧天復原算法往往基于多幅圖像或依賴其他附加信息［10-12］，工程局限性大，逐漸不為人們所使用。Tan以最大化局部差異度的方法實現了單幅圖像的去霧算法［13］。Fattal基于場景表面與傳輸參數的局部不相關性的假設實現了霧天降質圖像的復原［14］。上述兩種方法由于算法復雜性原因沒有在工程實踐中得以應用。

He于2009年發表在CVPR的論文中［3］首次提出了“暗通道”先驗，并從統計的角度闡述了“暗通道”先驗的合理性，進而利用了“暗通道”先驗實現了去單幅霧天圖像的復原算法。He提出的復原算法大體流程是：首先基于“暗通道”先驗求取降質圖像的“暗通道”圖像，再利用前后背景分離算法中的Soft Matting算法求取出精細化的傳輸參數圖像，最終利用傳輸參數圖像復原出原始圖像［2-3］。該文中的Soft Matting算法復雜，內存消耗量較大。國內一些學者在此應用背景下研究了Soft Matting的替代算法，比較可行的濾波方法有Guided Image Filter［15-16］，快速雙邊濾波器［17］等。

本文提出一種基于形態學濾波的方法來快速求取暗通道圖像。實驗結果表明，形態學濾波方法在場景突變邊緣具有很好的邊緣保持效果，即暗通道估計圖像相對精確，因此不再需要使用Soft Matting方法對傳輸參數圖像進一步優化，從而省去了大量繁瑣的優化運算，顯著降低了霧天降質圖像的算法復雜度。由于在實際試驗中發現當待處理圖像中包含大面積的天空或白墻區域時，這些區域的暗通道先驗明顯不存在，即暗通道圖像估計在這些區域不正確，因此導致了這些區域的復原效果出現嚴重的顏色失真，對此，本文應用了一種參數自適應調整方法有效抑制了該顏色失真的現象。

2 大氣成像光學模型和暗通道先驗

2.1 大氣成像光學模型

He［2-3］，Tan［13］，Fattal［14］在其論文中均使用式（1）所示的大氣成像光學模型，其示意圖如圖1。該模型從物理上描述了霧天降質圖像的降質過程，在文獻［12］中有更為詳細的敘述：

在該光學模型中，O（x，y）表征光電成像設備接收到的圖像；J（x，y）表示原始圖像信息，即場景的反射光在沒有大氣衰減吸收散射的理想情況下的成像圖像；t（x，y）是傳輸參數圖像；A是大氣背景光估計，可以認為是已知量，可利用接收圖像的數據估算出A的值，本文中A取整幅圖像中R、G、B空間中的最大值，并假設大氣背景光的R、G、B空間比例關系為1∶1∶1。式（1）所描述的大氣成像光學模型可以認為由兩個部分組成。J（x，y）·t（x，y）部分可以稱之為“直接衰減”部分，反應了場景反射光在直線傳播中的衰減過程；A［1-t（x，y）］部分可以稱之為“大氣滲透”部分，反映了在直線光路中，大氣背景光由于懸浮顆粒的散射作用而滲透進直線光路的部分。

圖1 大氣成像光學模型Fig.1 Atmospheric opticalmodel

為了計算的便捷性，假設光電成像系統成像時大氣介質是均勻且各向同性的，接收圖像的每一個像素位置對應的傳輸參數可以統一用如下的表達式描述：

式中，β為大氣介質的散射系數。由于上文中提出了均勻且各向同性的假設，因此β在R、G、B任意空間的任意位置數值固定。d（x，y）是圖像像素點的二維位置（x，y）所對應場景信息在三維空間中與光電成像設備鏡頭的距離，可以認為是深度信息。

2.2 外景圖像的暗通道先驗

暗通道先驗首先由He在文獻［2-3］中提出。暗通道先驗是指在大部分外景圖像中的局部圖塊中，在R，G，B空間中以很大的概率存在灰度極低點，稱之為暗點（Dark Pixel）。當對這些外景圖塊做最小空間（圖像每一像素位置取R、G、B空間的最小值所形成的圖像空間，稱為最小空間）的最小值濾波時，這些暗點將會擴散至整個圖塊中去。式（3）描述了暗通道的求取過程。

暗通道先驗在外景圖像中發生的概率很大，在文獻［2-3］中，He做了大量的統計實驗以支撐該先驗假設的合理性。在場景無霧對場景圖像求取暗通道時，圖像將由于暗點的擴散作用使得整體為零，即直接衰減部分為零，大氣滲透部分亦為零。但當外景圖像有霧存在時，直接衰減部分由于暗通道先驗的假設，可以認為仍然保持為零；大氣滲透圖像不為零，此時可以利用該不為零的性質估算出傳輸參數圖像。He基于暗通道先驗的算法步驟大體如下（由于本文中大氣背景光估計A的處理與He略有不同，因此在具體的公式推導與He的原文亦略有差別）：

（1）求取暗通道圖像

對霧天降質圖像的求取暗通道圖像時，相當于在大氣成像光學模型的兩端同時先執行一次最小值比較以提取最小空間，再在最小空間執行最小值濾波以提取暗通道圖像。

式中，A［1-t（x，y）］項沒有參與上述暗通道的求取操作是因為原降質圖像R、G、B空間中的每一個像素所在的鄰域范圍內，A［1-t（x，y）］項為固定值。基于暗通道先驗，直線衰減部分為零，即：

因此，此時傳輸參數可以直接按式（4）和式（5）整理出：

式中，w為人為引入的常量，用于為霧天降質圖像的復原效果適度保留一些霧氣，以防止整幅圖像的復原效果缺乏層次感。

（2）利用Soft Matting方法求取傳輸參數圖像

在式（6）中，獲取了相對粗略的傳輸參數圖像t（x，y），基于Soft Matting方法，進一步可利用全局優化的方法求取其精確的傳輸參數圖像t?（x，y），式（7）反應了該優化過程。

Soft Matting的全局優化方法相對復雜，本文不再細述，詳見文獻［2-3，14］。

（3）獲得最終復原結果

利用優化的傳輸參數圖像，結合式（1），即可以復原出場景圖像，式（8）反應了該復原過程。

式中，t0可以認為是傳輸參數圖像設置的下限域值，用于人為為復原圖像保留一些霧氣，其意義同式（6）中的w。

3 基于形態學方法的快速圖像復原

3.1 形態學開操作與暗通道圖像

Tarel［19］曾提出一個針對暗通道圖像的優化目標函數，如式（9）所示：

式中，由于Veil（x，y）=A［1-t（x，y）］，且基于式（5）的暗通道先驗信息，可知Veil圖像其實就是霧天降質圖像的暗通道圖像。在式（9）中，目標函數中的保真項對Veil圖像的梯度加以懲罰，當懲罰力度較大時，Veil圖像呈分片光滑態，趨向于圖像鄰域范圍中的最小值，同時又在場景深度信息突變處具有很強的邊緣保持性效果。

如果將暗通道的求取過程在圖像中某一列的一維數據上體現，則其示意性效果如圖2所示。在圖2中，橫坐標為觀測數據的位置，縱坐標為該位置對應的像素值，黑色實線為最小空間圖像數據，即原始數據；Tarel構造的Veil圖像最優化的曲線將如虛線所示；式（4）所示的暗通道曲線如實線所示。從圖中可以看出，實線在場景信息突變處與Tarel構造的最優解相去甚遠。

值得注意的是：由2.2節式（4）所示，對最小空間圖像做最小值濾波過程非常類似于形態學處理中的形態學腐蝕過程。因此，可以使用形態學腐蝕過程代替式（4）的最小值濾波過程，式（10）描述了這一過程。

圖2 用形態學方法求取暗通道圖像過程示意圖Fig.2 Illustration of estimating dark channel image usingmorphology filter

式中，Θ代表形態學腐蝕操作，在此處特指灰度圖像的形態學腐蝕；b為形態學腐蝕的結構元素，其形狀可為任意形狀，在式（4）中執行的最小值濾波相當于結構元素為正方形。為了使得暗通道圖像的邊緣具有圓形保持效果，本文將b設置為圓形，尺度大小為15×15。最小空間經形態學腐蝕后的曲線亦是圖2中的藍色實線。基于直觀的理解，對形態學腐蝕后的曲線再執行一次最大值濾波，即用相同的結構元素做一次形態學膨脹，即可在一定程度上矯正暗通道圖像的估計，使其在場景深度信息突變處更好地逼近Tarel構造的最優解曲線。由于之前先執行了形態學腐蝕過程，再對腐蝕的結果執行形態學膨脹操作，兩者可以合為形態學開操作。式（11）描述了這一過程：

式中，?為形態學開操作運算符，b為結構體元素，與式（9）相同。經形態學開操作的輸出曲線大體如圖2綠色實線所示。經形態學開操作獲得的暗通道估計圖像具有良好的邊緣保持效果，不再需要Soft Matting進行優化。因此，經式（11）整理出的傳輸參數圖像可直接代入式（8）中實現霧天降質圖像的復原。

用本文所述方法實現的霧天降質圖像復原效果如圖3所示，圖中從左至右分別是霧天降質圖像，最小空間圖像、最小空間圖像的形態學腐蝕輸出、最小空間圖像的形態學開操作輸出，以及利用形態學開操作的處理結果實現的復原效果。

圖3 用形態學方法復原霧天圖像Fig.3 Haze-degraded image restoration usingmorphology filter

3.2 自適應參數的調整

大量實驗表明，當待處理圖像中含有大面積的天空或白墻等暗通道先驗不成立的區域時，對這些區域的暗通道圖像估計將不正確，由此導致復原圖像在這些區域出現嚴重的顏色失真。對此，改進文獻［20-22］的自適應參數調整方法，可以有效抑制該區域的復原顏色失真。如2.2節中式（8）所示，復原公式中對傳輸參數圖像人為地設定了一個下限域值t0。在文獻［3］中，將該值設定為0.1。在本文中，將該下限域值t0設定為自適應參數，式（12）描述了該自適應過程。

采用本節所述的自適應參數調整方法的實驗效果如圖4所示。圖4中左側是霧天降質圖像；中間為固定域值為0.1時的復原結果，可見其在天空區域出現明顯顏色失真；右側是采用本節所述方法的處理結果，可見其天空區域的顏色失真明顯改善。需要指出的是，采用本節所述的方法雖能明顯抑制大面積的天空或白墻區域的顏色失真，但卻是以犧牲一定程度的透霧效果為代價的。

圖4 固定下限參數與動態參數調整的對比Fig.4 Comparison between fixed parameter and self-adaptive Haze parameter

3.3 實驗結果與分析

采用本文所述方法的更多實驗結果如圖5所示。

圖5 霧天圖像復原效果Fig.5 Restoration results of haze-degraded image

在圖5中，上側的圖像均為霧天降質圖像，下側為其對應的復原圖像。從圖中的結果可以看出，采用本文所述方法能夠很好地復原場景信息，主觀視覺效果顯著提升，整體效果自然而無失真。

圖6展示了本文方法的實驗結果與He方法的對比。由于本文方法在大氣背景光A的估計方法上與He不同。因此，整體復原色彩與He略有差別。場景信息復原效果與He大體類似，但是在樹枝等較細小的遠近交接處存在一定的霧氣殘留，不如He的方法在這些區域的優化效果自然。

圖6 本文方法與He方法的對比Fig.6 Comparison with He′s work

由于本文所述方法采用了形態學濾波方法，其算法復雜度遠低于Soft Matting的優化效果。在主機Intel（R）Core（TM）i5-3210M CPU@2. 50GHz軟件Matlab的運行環境上，本文針對圖6所示的600×400的圖像處理時間僅為0.4 s，遠低于Soft Matting法的處理時間，約為He的Guided Image Filter的1/4的代碼運行時間。在同一硬件環境下，本文選用的形態學去霧方法與He的Guided Image Filter去霧方法的運行時間比較見表1。

表1 代碼運行時間比較Tab.1 Time consum ing com parison

4 結 論

本文基于大氣成像光學模型和暗通道先驗理論，提出了一種基于形態學濾波方法的快速霧天降質圖像的復原方法，并采用一種參數自適應調整方法有效降低了大片天空/白墻等暗通道先驗不成立區域的顏色失真現象。實驗結果表明，本文算法能夠有效復原雨霧霾天氣條件下的降質圖像，雖然在遠近交接細節處的霧氣去除略有殘留，但整體主觀視覺質量與He方法大體相同，主觀圖像質量明顯提升，復原效果自然而無失真。本算法的核心濾波過程為形態學濾波，復雜度低，對于600×400大小的圖像，其Matlab仿真時間僅為0.4 s。若將該算法經優化后移植于嵌入式平臺中，可以作為圖像增強設備用于光電成像設備，可在一定程度上提升光電成像系統的魯棒性。

本文所述的形態學濾波方法運算簡單，基于本文方法研究霧天降質圖像的硬件化設備將是后續研究工作。

［1］ 宋建中.圖像處理智能化的發展趨勢［J］.中國光學，2011，4（5）：431-441. SONG JZH.Development trend of image processing intelligence［J］.Chine Optics，2011，4（5）：431-441.（in Chinese）

［2］ HE K M，SUN J，TANG X O.Single image haze removal using dark channel prior［J］.IEEE，2011，33（12）：2341-2353.

［3］ HE K M，SUN J，TANGX O.Single image haze removal using dark channel prior［C］.Proceeding of IEEEConference on Computer Vision and Pattern Recognition Miami，USA，20-25 June，2009：1956-1963.

［4］ 趙金宇，吳元昊，賈建祿，等.基于實時波前信息的圖像復原［J］.光學精密工程，2012，20（6）：1350-1356. ZHAO JY，WU Y H，JIA J L，et al..Image restoration based on real time wave-front information［J］.Opt.Precision Eng.，2012，20（6）：1350-1356.（in Chinese）

［5］ 王建立，汪宗洋，王斌，等.相位差異散斑法圖像復原技術［J］.光學精密工程，2011，19（5）：1165-1170. WANG JL，WANG Z Y，WANG B，etal..Image restoration by phase-diverse speckle［J］.Opt.Precision Eng.，2011，19（5）：1165-1170.（in Chinese）

［6］ 李慶波，許志高，陳守謙，等.探測器噪聲對波前編碼成像系統圖像復原過程影響的理論研究［J］.光學與光電技術，2011，9（6）：14-20. LIQ B，XU ZH G，CHEN SH Q，etal..Detector noise in thewavefront coding imaging system recovery process［J］.Opt. Optoelectronic Technol.，2011，9（6）：14-20.（in Chinese）

［7］ 張威，楊克成，范泛，等.基于模糊度量的激光水下圖像復原的盲去卷積方法［J］.光學與光電技術，2011，9（2）：27-32. ZHANGW，YANG K CH，FAN F，et al..Blind deconvolution approach based on blurmetric method for laser underwater image restoration［J］.Opt.Optoelectronic Technol.，2011，9（2）：27-32.（in Chinese）

［8］ 郝志成，高文.多模跟蹤技術在輪式偵察車圖像處理器的應用［J］.中國光學，2011，4（5）：480-488. HAO ZH CH，GAOW.Application ofmuti-pattarn tracking technique in image processor ofwheel type scout car［J］.Chinese Optics，2011，4（5）：480-488.（in Chinese）

［9］ 韓廣良.高頻信息矢量匹配實現異源圖像配準［J］.中國光學，2011，4（5）：468-474. HAN G L.Alignmentbetween differentsource images by high frequency vectormatching［J］.Chinese Optics，2011，4（5）：468-474.（in Chinese）

［10］ SCHECHNER Y Y，NARASIMHAN SG，NAYAR SK.Instant dehazing of images using polarization［J］.IEEE Conference on Computer Vision and Pattern Recognition，2001：1-325.

［11］ SHWARTZ S，NAMER E，SCHECHNER Y Y.Blind haze separation［J］.IEEE Conference on Computer Vision and Pattern Recognition，2006，2：1984-1991.

［12］ NARASIMHAN SG，NAYAR SK.Contrast restoration ofweather degraded images［J］.IEEE Transactionson Pattern A-nalysis and Machine Intelligence，2003，25：713-724.

［13］ TAN R.Visibility in bad weather from a single image［J］.IEEEConference on Computer Vision and Pattern Recognition，2008.

［14］ FATTAL R.Single image dehazing［J］.SIGGRAPH，2008，27（3）：1-9.

［15］ HE K M，SUN J，TANG X O.Guided image filtering［J］.Proc.11th Eur.Conf.Comput.Vis.Part I，2010，6311：1-14.

［16］ HE K M，SUN J，TANG X O.Guided image filtering［J］.IEEE，2012，35（6）：1397-1409

［17］ PORIKLIF.Constant time O（1）bilateral filtering［J］.IEEE，2008：1-8.

［18］ LEVIN A，LISCHINSKID，WEISSY.A closed form solution to natural imagematting［J］.IEEE Conference on Computer Vision and Pattern Recognition，2006，1：61-68.

［19］ TAREL JP，HAUTI`ERE N.Fast visibility restoration from a single color or gray level image［J］.IEEE，2009，2201-2208.

［20］ WU X T，DING X H，XIAO Q.A modified haze removal algorithm using dark channel prior［J］.Advanced Materials Research，2012，1397：457-458.

［21］ 吳笑天，丁興號，吳奎.基于暗通道理論的霧天圖像復原的快速算法［J］.長春理工大學學報，2012，35（1）：100-104. WU X T，DING X H，WU K.A fasthaze removal algorithm using dark channel prior［J］.J.Changchun University of Science and Technology（Natural Science Edition），2012，35（1）：100-104.（in Chinese）.

［22］ 嵇曉強，戴明，尹傳歷，等.航拍降質圖像的去霧處理［J］.光學精密工程，2011，19（7）：1659-1668. JIX Q，DAIM，YIN CH L，et al..Haze removal for aerial degraded images［J］.Opt.Precision Eng.，2011，19（7）：1659-1668.（in Chinese）

Fast restoration of haze-degraded image

WU Xiao-tian1，2*，LU Jian-feng1，HE Bai-gen1，WU Chuan1，2，ZHU Ming1，2
（1.Changchun Institute of Optics，Fine Mechanics and Physics，Chinese Academy of Sciences，Changchun 130033，China；2.Key Laboratory of Airborne Optical Imaging and Measurement，Changchun Institute of Optics，Fine Mechanics and Physics，Chinese Academy of Sciences，Changchun 130033，China）
*Corresponding author，E-mail：wuzeping1893@163.com

Under haze，fog，and rain weather conditions，the image received by a photoelectric imaging system will lose the contrast and color fidelity owing to the absorption and scattering in atmosphere.To overcome the image degradation mentioned above，this paper proposes a new dark channel image estimation method usingmorphology filter based on the analysis of the atmospheric opticalmodel and the dark channel priority.It further utilizes a dynamic parameter strategy to solve the color distortion in a large area of sky or white wall. Results on a variety of outdoor haze images show that the proposed method can effectively restore a haze-degraded image and improve the image quality.As for the imagewith 600 pixel×400 pixel，the restoration simulation time by Matlab is only 0.4 s.The dynamic parameter strategy is simple buteffective to reduce the color distortion phenomenon.

degraded image；image restoration；dark channel priority；morphologic filter

TP391.4

A

10.3788/CO.20130606.0892

吳笑天（1986—），男，吉林長春人，研究實習員，2009年于吉林大學獲得學士學位，2012年于廈門大學獲得碩士學位，主要從事嵌入式系統設計、計算機視覺、機器學習等方面的研究。E-mail：wuzeping1893@163.com

吳 川（1974—），男，博士，副研究員，2006年于中國科學院長春光學精密機械與物理研究所獲得博士學位，主要從事圖像融合、目標識別、目標跟蹤方面的研究。E-mail：wuchuan0458@sina.com

魯劍鋒（1978—），男，吉林長春人，副研究員，2001年于吉林大學獲得學士學位，主要從事嵌入式系統的設計、圖像模式識別等方面的研究。E-mail：pc80586@ sina.com

朱 明（1964—），男，江西南昌人，研究員，博士生導師，1985年于南京航空航天大學獲得學士學位，1991年于中國科學院長春光學精密機械與物理研究所獲得碩士學位，主要從事圖像處理和光電成像測量技術以及目標識別與電視跟蹤技術方面的研究。E-mail：zhu_minca@163. com

賀柏根（1983—），男，山西人平遙人，助理研究員，2007年于吉林大學獲得學士學位，2012年于中國科學院長春光學精密機械與物理研究所獲博士學位，主要從事模式識別、景象匹配、視頻跟蹤等方面的研究。E-mail：hebaigen@sohu.com

1674-2915（2013）06-0892-08

2013-09-11；

2013-11-13

中國科學院航空光學成像與測量重點實驗室開放基金資助項目（No.Y2HC1SR125）