暗原色先驗與NL-CTV模型相結合的圖像去霧方法

趙勝楠，魏偉波，潘振寬，李 帥

ZHAO Shengnan,WEI Weibo,PAN Zhenkuan,LI Shuai

青島大學 計算機科學技術學院，山東 青島 266071

School of Computer Science and Technology,Qingdao University,Qingdao,Shandong 266071,China

1 引言

霧是一種常見的自然現象，它會使大氣的能見度降低，拍攝的景物圖像發生退化，這一現象會影響戶外識別、跟蹤、智能交通等系統的正常工作。因此，如何在有霧天氣下獲得清晰圖像，對大氣退化圖像的復原和景物細節信息的增強有著非常重要的現實意義。霧天圖像復原方法是基于大氣退化物理模型的方法[1-2]，先建立退化模型，反演退化過程，補償退化過程造成的失真，以獲得未經干擾退化的無霧圖像或無霧圖像的最優估計值，從而改善霧天圖像的質量。

基于先驗信息的霧天圖像復原方法中，He等[3]通過對大量無霧圖像統計特征的觀察，發現暗原色先驗統計規律，即在無霧的非天空區域，若把圖像分為多個子塊，則每個子塊至少在一個顏色通道上有亮度很小的像素點，其暗原色圖像各像素點的值接近于0。運用這一先驗，找出圖像局部子塊的暗原色，并粗略估算大氣透射率。Levin等[4]提出了軟摳圖（Soft Matting）算法來細化和平滑透射率圖，但求解拉普拉斯矩陣方程，計算量龐大。He等[5]提出用導向濾波算法來細化透射率，該方法運算快，實用性強。

基于色彩恒常理論（Retinex）的去霧算法[6]是現階段圖像增強方法中的主流算法，對去除薄霧具有很好的應用效果。文獻[7]提出了一種基于暗通道先驗和Retinex理論的快速單幅圖像去霧方法，該方法通過簡化大氣散射模型和色調調整得到復原圖像，能有效提高復原圖像的清晰度和對比度。

基于偏微分方程的霧天圖像復原方法中，TV（Total Variation）去噪模型[8-9]最為經典，已廣泛應用于圖像處理方面。對霧天圖像的處理，可借助大氣散射模型（Monochromic Atmospheric Scattering Model，MASM）[10]，建立戶外圖像全局去霧和局部去霧的能量優化模型。彩色圖像可以看作多層灰度圖像，可以直接將灰度圖像噪聲去除的變分模型用于各層圖像，但是由于各層圖像邊緣處的擴散強度不一致造成邊緣模糊。為此，Blomgren等[11]提出了一種層與層之間耦合關系的CTV規則項，該規則項具有良好的彩色圖像邊緣保持效果。大量實驗[12]表明，基于非局部算子的CTV模型同樣可以實現彩色圖像的邊緣保持和紋理保持。

本文結合暗原色先驗信息和偏微分方程的優點，提出暗原色先驗與NL-CTV模型相結合的新型去霧模型，最大程度地實現圖像清晰化和保持圖像的紋理、邊緣等特征。

2 暗原色先驗和NL-CTV模型的相關背景知識

2.1 暗原色先驗

Narasimhan和Nayar等[13-14]基于McCarteny的散射模型和環境光模型，提出了單色大氣散射模型來建模霧天條件下的圖像退化過程，其數學表達式為：

式中，第一項為直接衰減項，第二項為大氣衰減項。I為退化圖像；J是輸出圖像，即待恢復的無霧圖像；A是大氣光強度，其值可以借助于暗原色先驗知識來獲取；t為大氣傳輸函數，即透射率。顯然，這是一類典型的病態反問題，因此需要一些先驗知識。

暗原色先驗統計規律[3]表明，在無霧的非天空區域，若把圖像分為多個子塊，則每個子塊至少在一個顏色通道上有亮度很小的像素點，并且其暗原色圖像各像素點的值接近于0。

式中，Jc表示彩色圖像J的每個通道；Ω(x)表示以像素X為中心的一個窗口。根據文獻[3]，暗原色分量與傳輸分量t?(x)存在如下關系：

通過式（3）便可粗略求得透射率圖。式中，ω∈(0,1]是一個常數，引入因子的目的是保留一定程度的霧，使結果圖像看起來更加自然。最終，暗原色模型復原圖像公式如式（4）所示：

式中，t0是為避免除數為0而設置的一個常數。

2.2 非局部算子

根據文獻[15-17]，設u(x):Ω→R為噪聲去除后的圖像，非局部方法以圖像中包含當前像素點的小鄰域（片）與包含其他像素點的小鄰域（片）的相似度為基礎，該相似度定義為：

式中，σ為高斯核函數的寬度參數；h表示相似度的閾值。從而可以定義非局部梯度為：

對于非局部矢量v(x,y)，定義其內積：

從而x點處非局部梯度的模為：

非局部矢量之非局部散度的定義為：

從而非局部Laplacian為：

2.3NL-CTV模型

彩色圖像可以看作多層灰度圖像，因此可以將灰度圖像去霧的變分模型用于各層圖像，但由于不同圖像層的耦合，容易引起圖像的虛假邊緣。采用一次范數L1能保持邊緣，但可能會產生分片現象，而二次范數L2不會產生分片現象，但可能會導致邊緣模糊。文獻[11]提出了一種層與層之間的耦合關系的規則項來替代TV模型的規則項，表達恢復后圖像光滑程度的先驗知識。因此，紋理保持的彩色圖像NL-CTV模型為：

式中，λ是懲罰參數；是數據項，表示觀測圖像與恢復后圖像的接近程度。

3 本文提出的算法

本文結合暗原色先驗和NL-CTV模型的優點，嘗試從全變分的角度建立帶霧圖像的變分能量模型。先利用暗原色先驗精確估算出大氣光值和透射率分布，推導包含大氣光值A和大氣傳輸函數t的能量泛函，再通過NL-CTV模型中規則項與數據項的約束，復原不同場景深度的圖像部分，最大程度地實現圖像清晰化和保持圖像的紋理、邊緣等特征。構建的新型去霧模型如下：

其中，λ是懲罰參數，可以控制復原圖像的清晰程度；I為帶霧圖像；J為待去霧圖像。

3.1 大氣光值的估測

文獻[18]直接采用最亮像素值估計大氣光值，但結果容易受高亮度噪聲或白色物體的影響。文獻[3]在暗原色圖中按亮度的大小取前0.1%的像素點，對照這些位置，找出原始帶霧圖像I中對應位置的像素點，滿足條件的所有像素點的最大像素點值即為A的值。但是若圖像中天空區域小于暗原色求取中濾波窗口的尺寸，則錯誤地濾除了天空區域。因此，采用文獻[19]中提出的大氣光估測方法，首先選取有霧圖像暗通道值較大的前30個像素點顏色值的平均值作為環境光的初始估計值，即然后根據大氣光一般總偏向白色的特點，調整選取的像素點個數，進一步校正大氣光，使其滿足如下條件：

這里Bmax取0.01，以盡量減少噪聲對大氣光估算的影響，致使恢復的圖像不會出現顏色失真，同時環境光又不至于過大導致最終恢復的圖像偏暗。

3.2 精確透射率的獲取

軟摳圖算法實質上是采取差值算法來細化和平滑透射率圖，其作用是把輸入圖像的前景部分從整個圖像中分離出來，由于需要求解大型拉普拉斯矩陣方程，計算量龐大。本文采用導向濾波算法[5]取代軟摳圖來細化透射率t，該方法主要依靠簡單的方框模糊效應，運算較快。

3.3 模型的求解

求解該模型的方法很多，由交替優化方法、梯度下降方法及半隱式迭代等可得到關于主變量的解，如對偶算法[20]、Augmented Lagrangian 算法[21]和 split Bregman算法[20]等，這些算法都避免了運算TV規則項里復雜的曲率，實現快速迭代。鑒于非局部復雜的迭代模式，根據參考文獻[17]，本文采用split Bregman快速算法來求解該模型，在很大程度上提高了收斂速度。先引入非局部矢量wi和非局部Bregman迭代參數bi：

式中，k代表迭代次數。令來簡化計算過程，從而可將式（12）轉化為如下split Bregman迭代優化格式：

可得到關于Ji的Euler-Lagrange方程為：

及關于wk+1的近似軟閾值公式為：

4 實驗仿真及數據分析

本文實驗在Intel?CoreTMi5-4590 CPU 3.30 GHz，4.00 GB內存的PC機上進行，采用的編程環境為Matlab R2010b。本文算法中的參數t0=0.1,ω=0.95,τ=0.125。圖1為λ選取不同值時的效果圖，從圖1可見，隨著λ值的減小，圖像越來越清晰。根據圖1的實驗結果，以下3組實驗均取λ=0.001。

圖1 λ取不同值的效果圖

為了驗證提出算法的優越性，將該算法與He算法、暗原色先驗和Retinex相結合算法[7]進行比較，選取了以下3組代表實驗。

圖2是航拍圖像及各算法去霧的效果圖。圖2（a）是原始圖，像素為297×257，其特點是圖像以薄霧為主，景深變化平緩，景物紋理復雜，有大量深度相等的物塊；圖2（b）是He算法的效果圖，近景處圖像去霧效果自然，但遠景部分細節沒有得到增強，且圖像處理顏色偏暗；圖2（c）是暗原色先驗和Retinex相結合的算法效果圖，顏色對比度增強明顯；圖2（d）是本文算法的效果圖。對比可看出圖2（d）處理效果最好。

圖2 航拍圖像和各算法的去霧效果圖

圖3 花園圖像和各算法去霧的效果圖

圖4 大橋圖像和各算法去霧的效果圖

表1 各算法質量評價的對比

圖3是花園圖像及各算法去霧的效果圖。圖3（a）是原始圖像，像素為442×433，其特點是薄霧，且房屋帶有紋理；圖3（b）中去霧效果較好，但植物與房屋交匯處出現了光暈；圖3（c）對比度有所增強，但邊緣保持效果并不是很理想；圖3（d）不僅去霧效果自然，而且邊緣、紋理也保持較好，從視覺上看效果優于圖3（b）和圖3（c）。

圖4是大橋圖像及各算法去霧的效果圖。圖4（a）是原始圖，像素為496×324，其特點是濃霧，景深較大，且色調偏紫；圖4（b）中近景部分細節得到了增強，但總體色調偏暗；圖4（c）提高了對比度，但邊緣處理效果一般；圖4（d）處理效果最為自然。

上述3組實驗結果表明，He等[3]算法能復原不同霧濃度和場景深度的圖像，去霧效果自然，但對遠處景物的對比度增強不足，且處理效果普遍偏暗；暗原色先驗和Retinex相結合的算法可以獲得較好的清晰度和對比度，但邊緣保持效果并不是很理想；本文算法不僅使圖像去霧效果最為自然，而且最大程度地保持了圖像紋理和邊緣的特征。

為了客觀說明本文算法的去霧性能，從兩個角度對各個算法處理的效果圖進行測評：第一個是采用MSE和PSNR作為圖像質量的客觀評價指標，針對每個像素，對比原圖像和去霧后圖像，評估兩者之間在像素上的差異。MSE的值越接近0，PSNR越大，說明處理后圖像失真小。第二個采用的是SSIM（Structural Similarity）結構相似性，它分別從亮度、對比度、結構三方面度量圖像相似性。SSIM取值范圍[0，1]，其值越大，表示圖像失真越小，其公式如下所示。

5 結束語

依據帶霧圖像的物理特性，將NL-CTV模型與暗原色先驗相結合，提出了一種針對單幅彩色圖像的去霧算法。實驗結果表明，利用改進的大氣光估測方法，精確估計大氣光值，可以克服圖像背景中白色物體的干擾；通過規則項和數據項的約束，使處理結果色彩更加自然，無色偏或者偽影效應；采用split Bregman快速算法來求解該模型，可以在很大程度上提高收斂速度。本文算法可以較好地恢復彩色帶霧圖像，視覺效果良好，并且能較好地保持紋理特征，但運算量龐大，時間和空間復雜度較高，去霧算法的復雜度還有待降低。