基于非線性擴散均值漂移的Retinex霧天圖像清晰化算法

張洪坤， 薛模根， 周浦城

（解放軍陸軍軍官學院軍用光電技術與系統重點實驗室，安徽 合肥 230031）

在霧天條件下，光學成像系統獲取的圖像質量將會產生退化，給戶外監控、交通運輸等領域帶來很大困難。因此，能夠從霧天降質圖像中有效增強景物信息具有重要的現實意義[1]。

已有的霧天圖像清晰化技術大致可以分為兩大類：一類是基于物理模型的圖像復原方法；另一類是基于圖像增強的方法。其中，基于圖像增強的方法只是將霧天圖像中感興趣的特征有選擇地突現出來，而衰減其不重要的特征，無須考慮霧天圖像降質的具體原因和構建退化模型，因此具有應用范圍廣、適應性強等特點。在基于圖像增強的霧天清晰化技術中，Retinex算法處理后圖像中的景物具有銳化、顏色恒常等特性，因而受到廣泛關注[2-4]，但這類算法均需涉及采用高斯平滑估算入射光照，而高斯濾波器在處理圖像的高對比度邊緣時容易出現光暈偽影現象。為此，Choi等[5]提出一種基于恰辨差異的非線性濾波器，使得該算法具有各向異性；Kimmel等[6]提出一種變分模型的Retinex方法來抑制光暈偽影現象；胡韋偉等[7]提出利用帶有邊緣保存功能的雙邊濾波器來估算圖像入射光照分量，但雙邊濾波器在處理光照突變的圖像邊緣區域時易出現過增強現象。針對傳統Retinex算法在處理霧天圖像時存在的不足，本文提出了一種基于局部非線性擴散均值漂移(mean shift)的Retinex霧天圖像清晰化新算法（以下簡稱LNDMSR算法），實現了較為理想的霧天圖像清晰化效果。

1 基于Retinex的霧天圖像清晰化原理

根據Land[8]理論，一幅圖像I主要由兩部分構成，分別是入射光照分量e和反射光照分量r，而景物與成像系統的空間位置不予考慮，用公式表達為：

Retinex圖像清晰化的基本原理就是通過消除入射光照分量e對圖像I的影響來獲得物體的反射光照分量r，從而還原出物體的本來面貌。將式（1）引入對數空間域，則反射光照分量r可表示為：

傳統的Retinex霧天圖像清晰化算法假設霧表現為低頻成分，并采用高斯平滑來估算圖像的入射光照分量e(x,y)，進而通過計算原始圖像I(x,y)與e(x,y)的差來獲得景物的反射光照分量r(x,y)，即

其中，i∈{R,G,B}是顏色通道；wn為權值，滿足∑wn=1；ei,n(ui)是在尺度n下的光照估計。

傳統的Retinex霧天圖像清晰化方法主要存在以下幾點不足：① 在估算入射光照分量時，是根據周圍像素的不同位置和距離賦予不同的權重，易在高對比邊緣區域產生光暈現象；② 由于原始光照能量的消失，使圖像上一些能量很低的點被淹沒，加上在對數空間域進行計算，導致景物周邊區域出現陰影；③直接對彩色圖像的三通道單獨進行處理易造成景物顏色失真和色飽和度損失。

2 改進的霧天圖像清晰化算法

針對傳統Retinex霧天圖像清晰化算法存在的不足，提出的LNDMSR算法首先采用局部非線性擴散均值漂移濾波器來估算入射光照分量，進而獲得景物反射光照分量，然后基于從圖像本身提取的相關參數對反射光照信息進行校正，最后在lαβ顏色空間對色飽和度進行補償。

2.1 基于局部非線性擴散均值漂移平滑的入射光照估算

鑒于小波分析具有良好的時頻域局部化特性，因此，首先采用具有很強細節表達能力的Harr小波對霧天圖像進行預處理，以便豐富和增強景物細節信息。經小波分解后的圖像重構表達式為：

為了能突出代表景物反射光照信息的高頻成分，對式（5）引入權重系數a和b，其表達式為：

得到經小波預處理的圖像之后，通過構造局部非線性擴散均值漂移濾波器對圖像進行平滑來估算入射光照，亦即對圖像上每一點在定義的空間域和值域帶寬內進行線性加權求平均[9]

由于受光源明暗強度、色彩以及方向等因素的影響，會使背景光照存在不連續分布的現象，采用均值漂移容易造成景物邊緣和輪廓細節成份的丟失，使處理后的圖像出現景物亮度分布不均勻和邊緣區域景物對比度下降。為此，這里采用非線性擴散框架[10]來改變均值漂移算法的帶寬權重。

其中，w1(x1,x2)和w2(x1,x2)分別為環繞中心數據點最近鄰域網格點和第二鄰域網格點的非線性擴散系數，其計算表達式為：

其中，||?1,2I||表示最近鄰域網格或第2鄰域網格的梯度幅值；g||?1,2I(x1,x2)||表示邊緣停止函數。

為進一步增強景物輪廓信息和克服邊界區域的模糊現象，這里對圖像進行局部化處理，并采用中值濾波對圖像中的景物噪點進行抑制。對于圖像上的每個像素點，算法描述如下：

2）若||m(xj)-xj||＜μ，則結束循環，并記為否則，返回第1步；

3）將第2歩得到的結果賦值給模板子塊mask，并更新計數數組count：

4）移動和記錄mask模板中每個像素點的運算次數，將輸出的灰度值正比于相應的運算次數，結合中值濾波器對噪點進行抑制，得到入射光照信息：

2.2 基于主成分分析的反射光照校正

根據Retinex理論，反射光照分量r可以用公式表達為：

在此基礎上，將r分解為一系列向量稀疏的線性組合，并把包含圖像信息最多的向量方向作為其主成分方向進行校正，具體步驟如下：

1）對I和r進行協方差矩陣轉換，轉換結果記為矩陣L，并分別計算圖像I的最大值Imax、最小值Imin及平均值Iaverage以及r分量的平均值Raverage；

2）計算L的特征值集合D、特征向量V及圖像特征指數t

3）計算特征向量V的主成分貢獻率a1、a2，初步得到景物的主成分反射光照W

4）對主成分補償后的反射光照W進行校正

2.3 色飽和度補償

平滑處理往往會造成圖像的色飽和度過低，使得景物色彩不夠鮮艷、生動。為此，在lαβ顏色空間對處理后的圖像進行色飽和度補償，具體步驟如下：

1）將增強后的圖像從RGB顏色空間轉換到lαβ顏色空間來計算光照、色度和飽和度：

為減少顏色空間轉換引起的數據歪斜，將LMS空間數據引入對數域，即：

2）通過計算增強前后圖像的色飽和度差異，對調整后的飽和度進行線性補償：

其中，CL,max代表平滑后圖像中亮度分量最大值，CI,max代表平滑前圖像中亮度分量最大值。

3 實驗與結果分析

為驗證提出的LNDMSR算法的可行性和有效性，利用多組霧天圖像數據進行驗證，并與單尺度Retinex（Single Scale Retinex，簡稱SSR）和多尺度Retinex（Multi-Scale Retinex，簡稱MSR）霧天降質圖像清晰化方法進行比較。

圖1(a)～圖1(d)所示是對一組具有典型高對比度邊緣區域的霧天圖像（實驗1）進行處理的結果。可以看出，經SSR算法處理后景物圖像對比度雖有所提升，但景物邊緣區域的光暈偽影現象嚴重，亮度分布不均，場景細節信息無法得到較好體現；MSR算法和LNDMSR算法在處理圖像中景物的紋理信息和整體的人眼直觀感受上要更好一些。但是，MSR算法處理結果中顏色失真現象比較嚴重，譬如近處景物顏色失真和遠處景物信息模糊，嚴重影響了人們對圖像中景物的識別和判斷，而LNDMSR算法在顏色保持和細節成份提取方面效果明顯強于前者。

圖1 霧天圖像清晰化對比效果I

為了進一步驗證LNDMSR算法的有效性，圖2給出了另一組從不同角度拍攝得到的霧天圖像（實驗2）進行對比的結果。從整體視覺效果來看，利用LNDMSR算法得到的圖像增強效果較為理想，處理后的圖像在清晰度方面有了明顯改善，能夠有效地消除高對比度邊緣區域的光暈偽影現象，并且通過色飽和度補償使處理后的景物顏色更加亮麗、自然；文獻[11]給出的處理結果中景物對比度雖有所提升，但圖像整體的動態范圍分布變低，導致一些景物細節信息被衰減變得模糊不清；而MSR算法處理效果不僅偏暗且看不清楚，顏色失真也較為嚴重。

除采用以上直觀定性的實驗比較外，下面利用能夠反映圖像景物整體信息水平的圖像熵和梯度均值率作為評價指標進行定量分析，其中，梯度均值率是一種衡量圖像處理后景物可視信息的質量評價函數[12]，能夠反映圖像的可視清晰度，定義為：

其中，nr表示增強后圖像的可視邊緣集合基數，ri表示增強后圖像可視邊緣梯度率。

對上述兩組實驗結果進行定量分析計算的結果如表1所示。可以看出，LNDMSR算法處理后的圖像熵明顯高于MSR、文獻[11]和原始圖像，說明處理后的圖像細節信息更豐富，而梯度均值率越大說明圖像邊緣細小特征保留的越多，圖像整體的層次感和對比度就越高。通過上述客觀評價結果表明，LNDMSR算法處理后的圖像質量更好。

圖2 霧天圖像清晰化對比效果II

表1 不同霧天圖像清晰化處理效果客觀評價結果

4 結 論

在Retinex框架下，通過局部非線性擴散均值漂移濾波器對霧天圖像進行平滑來估算入射光照，結合小波分析實現了不同尺度下景物信息的增強和調整，并利用原始圖像的特征信息有效校正反射光照和補償因圖像增強所造成的色飽和度損失。實驗結果表明，提出的LNDMSR算法在霧天景物細節增強、顏色保持和消除光暈現象等方面均取得了良好的效果。

[1]周浦城, 薛模根, 張洪坤, 等. 利用偏振濾波的自動圖像去霧[J]. 中國圖象圖形學報, 2011, 16(7):1178-1183.

[2]Rahman Z, Jobson D J, Woodell G A. Retinex processing for automatic image enhancement [J].Journal of Electronic Imaging, 2004, 13(1): 100-110.

[3]李權合, 畢篤彥, 馬時平, 等. 基于Retinex和視覺適應性的圖像增強[J]. 中國圖象圖形學報, 2010,12(15): 1728-1732.

[4]楊萬挺, 汪榮貴, 方 帥, 等. 濾波器可變的Retinex霧天圖像增強算法[J]. 計算機輔助設計與圖形學學報, 2010, 6(22): 995-971.

[5]Doo H C, Ick H J. Color image enhancement based on single-scale retinex with a JND-based nonlinear filter[C]//Proc. of IEEE Int. Symp. Circuits and Syst, New Orleans, 2007: 3948-3951.

[6]Kimmel R, Elad M, Shaked D. A variational framework for retinex [J]. International Journal of Computer Vision, 2003, 52(1): 7-23.

[7]胡韋偉, 汪榮貴, 方 帥, 等. 基于雙邊濾波的Retinex圖像增強算法[J]. 工程圖學學報, 2010, 2(2):104-109.

[8]Land E. The retinex [J]. American Scientist, 1964,52(2): 247-264.

[9]Dorin C, Peter Meer. Mean shift: A robust approach toward feature space analysis [J]. IEEE Trans. On Pattern Analysis and Machine Intelligence, 2002,24(5): 603-619.

[10]Danny B, Dorin C. A common framework for nonlinear diffusion, adaptive smoothing, bilateral filtering and mean shift [J]. Image and Vision Computing, 2004, 22(1): 73-81.

[11]He Kaiming, Sun Jian, Tang Xiaoou. Single image haze removal using dark channel prior [C]//Proc of CVPR, 2009.

[12]Hautiere N, Tarel J P, Aubert D, et al. Blind contrast enhancement assessment by gradient ratio at visible edges [J]. Image Analysis & Stereology Journal, 2008,27(2): 87-95.