基于視覺物理模型的去霧算法

馬時平，李權合，馬紅強，畢篤彥

?

基于視覺物理模型的去霧算法

馬時平，李權合，馬紅強，畢篤彥

(空軍工程大學航空航天工程學院，陜西 西安 710038)

針對現有圖像去霧算法不能有效增強復雜大氣環境下退化圖像的問題，結合單色大氣散射模型、大氣傳輸函數(ATF)以及Retinex提出了一種基于視覺物理模型(VPM)的圖像去霧算法。新模型可同時描述非均勻光照退化、霧霾退化以及噪聲退化等復雜大氣環境下的圖像退化。模型求解過程首先使用變分法消除環境光退化，然后引入馬爾科夫隨機場將場景反射率求解問題轉換為了最大后驗概率問題，最后利用對比度抑制自適應直方圖均衡來校正場景反射率亮度，從而實現圖像去霧。實驗結果表明VPM能夠指復雜大氣環境下退化圖像的增強，使其物理保真度和視覺愉悅性得到有效改善。

圖像去霧；人類視覺機制；單色大氣散射模型；視網膜皮質模型；大氣傳輸函數

根據去霧技術路線劃分，可以分為基于增強的算法和基于模型的算法。基于模型的算法以求解圖像退化的物理模型為目的，利用退化要素的相關先驗和假設，分析、求解物理模型中的相關參數，繼而恢復場景反射率，盡可能再現真實場景[1]。基于復原的去霧算法近年來取得了很大進展，實現了從依賴多幅圖像到單幅圖像直接去霧的跨越，先后涌現出文獻[2]提出的基于多幅圖像的算法、文獻[3]提出的基于偏振濾波的算法、文獻[4-8]提出的單幅圖像去霧算法。

目前，用于圖像處理的模型大致可分為模擬視覺機制的模型和物理模型，但都存在一定的局限性。例如，Retinex模型建模之初是用于描述外部乘性光照不同而引起成像的亮度和色彩差異的，可以指導圖像增強前后保持色彩恒常，在描述霧霾退化圖像時不易于從視覺認知角度理解[9-10]；ATF(atmospheric transmission function)是一個用以描述場景反射率到視覺感光強度間映射關系的函數，該模型對人眼視覺的認知過程建模，但并沒有考慮到成像背后的物理機制[11]；單色大氣散射模型(monochrome atmospheric scattering model，MASM)針對單一光源、單次散射條件下的霧霾退化圖像建模，但實際物理過程往往存在復雜光照、多次散射，甚至會隨著景深的變大引入湍流退化；雙色大氣散射模型[12]的復雜度較高，而且同樣沒有考慮可能存在的湍流退化。雖然上述諸多模型能夠較好的用于指導霧霾退化圖像的增強，但去霧結果有的對低照度或者光照不均圖像的能見度提升效果欠佳，有的遠景仍然存在較為嚴重的模糊。文獻[13]引入變分求解大氣傳輸圖像的基礎上，對景深進行約束，有效緩解了遠景模糊現象，但是算法在求解時尚未考慮圖像中的噪聲。文獻[14]利用深度學習的方法對霧天圖像進行紋理、顏色特征提取，得到霧天條件下紋理結構特征及顏色特征與場景深度間的映射關系，并估算出有霧圖像的場景深度圖；最后結合大氣散射模型，根據場景深度圖復原無霧圖像。該方法雖具有一定的普適性，但是對于霧氣分布極度不均勻的圖像去霧效果并不理想。究其原因是因為現有模型所涵蓋的大氣退化要素還不足以描述復雜大氣環境下的圖像退化，故而針對復雜大氣環境(包括混濁介質、復雜光照、湍流介質、噪聲等)下的圖像去霧，需要對現有模型進行改進。

本文從多種模型融合，以及在已有模型中融入更多退化要素兩個方面對現有模型進行了改進，并基于改進后的模型設計了去霧算法。首先，為了兼顧霧霾天氣、低照度、非均勻光照及噪聲退化[15-16]，結合MASM、ATF和Retinex提出了一種改進模型，這里稱之為視覺物理模型(visual-physical model，VPM)。新模型包含兩部分：場景反射光衰減項和外部光照疊加項，前者描述低照度和非均勻光照退化，后者可描述霧霾和噪聲退化。模型求解過程首先采用變分法消除外部環境光，然后引入馬爾科夫隨機場求解場景反射率，最后采用對比度抑制自適應直方圖均衡(contrast limited adaptive histogram equalization，CLAHE)調節場景反射率的亮度，得到VPM的最終求解結果。

1 視覺物理模型

1.1 ATF模型

綜上，可以得出L是經大氣散射干擾之后的L，L=hL，而且光源是非單一光源。至此，可得到改進后的模型表達式為

式(2)即為VPM，為了區別已有模型，式中()為場景反射率；()為大氣環境光；()為大氣散射率。模型的實質是：進入人眼的光強為被場景反射部分和被大氣散射部分的大氣環境光加和，也即退化圖像由場景反射光衰減項和外部光照疊加項構成，前者描述低照度和非均勻光照退化，后者可描述霧霾退化和噪聲退化。與Retinex算法和ATF算法關系見表1。

表1 Retinex算法、ATF算法與VPM算法比較

1.2 VPM模型

大氣環境光()作為場景的背景亮度，造成真實場景的色彩偏移和光照不均，具有局部光滑的屬性，在模型求解過程中首先要消除()對圖像造成的退化，考慮到非均勻、非單一光源，VPM引入變分法對其求解；消除大氣環境光退化之后再對大氣散射率進行粗估計，之后為了抑制噪聲干擾，將場景反射率恢復問題轉換為已知大氣散射率估計前提下的最大后驗概率問題；最后對場景反射率進行亮度校正，得到最終去霧結果。

將VPM另寫為

通過Kimmel算法[18]求解上式，估計大氣環境光，即

2 消除環境光退化

2.1 場景反射率恢復

其中，表示圖像中所有像素點構成的集合，函數(·)同噪聲的概率密度分布函數相關；為計算噪聲分布函數時所選擇的窗口大小。計算過程中，VPM將噪聲分布假定為高斯分布，即()=2。先驗項H_通過懲罰相鄰像素間的亮度差值較大項，約束恢復圖像的平滑性，其表達式為

式(8)所描述的能量函數可以歸納為

另外，對于彩色圖像而言，需在3個色彩通道獨立求解式(8)，得到不同色彩通道的場景反射率。

2.2 亮度校正

這里通過對圖像的直方圖進行均衡化操作來調節上述求解結果的亮度。由于全局直方圖均衡容易造成圖像中的噪聲放大，細節丟失，以及偽輪廓效應，而局部直方圖均衡，又稱為自適應直方圖均衡(adaptive histogram equalization，AHE)，也存在將同一區域內噪聲過度放大的問題。所以，VPM選用CLAHE算法調節圖像亮度，其能夠適應圖像不同區域的灰度差異，且處理結果的全局灰度分布較為協調，兼具全局直方圖均衡和局部直方圖均衡的優點，算法步驟歸納為文獻[21]：

步驟1. 將輸入圖像分割為連續不重疊的子塊。

步驟2. 對每個子塊進行灰度剪切，以抑制灰度直方圖均衡后出現尖峰，將該步驟形象的稱為對比度受限。計算子塊內每個灰度級上分配的平均像素數，即

其中，,分別為子塊的行和列數目；S表示第個子塊內灰度級數。然后得到剪切閾值

其中，為剪切系數。設第個子塊內由剪切閾值確定的被剪掉的像素個數為M，那么該子塊內每個像素被均分的“剪切”像素數為

計算剩余像素的分配步長，即

其中，S表示剩余像素的灰度區間長度。

按B規定的步長從最小到最大灰度級開始搜索，像素小于剪切閾值的位置，則分配一個剩余像素。搜索完畢后如果仍有剩余像素，則重新計算分配步長，并重新搜索，直到剩余像素分配完為止。

步驟3. 將對比度受限后的每個子塊進行直方圖均衡，并提取均衡后每個子塊的中心點作為樣本點。

步驟4. 對樣本點以外的像素點進行灰度插值，按照像素點所在圖像中的位置不同，分為3類像素點；第1類是4個角的像素，第2類是僅有一個臨近外圍樣本點的像素，第3類是臨近4個樣本點的像素。不同像素點的插值原則如下：

第1類：用臨近樣本點灰度值計算；

第2類：用臨近兩個樣本點的灰度進行線性插值；

第3類：采用式(16)進行插值

其中，,為權值；I(),I(),I(),I()分別表示被插值像素左上方、左下方、右上方和右下方的樣本點灰度值。

3 實驗和分析

實驗選取遠景處存在噪聲干擾的圖像、非均勻光照圖像和霧霾濃度不均圖像，使用基于VPM的去霧算法進行處理，證明VPM算法的有效性。然后對比He和Tarel的算法分析VPM算法存在的優勢和不足。

3.1 有效性分析

圖1(a)為遠景處存在噪聲干擾的圖像，圖1(b)為含低照度區域的非均勻光照圖像，圖1(c)為霧霾濃度不均的圖像；1~4行分別為原如圖像、VPM算法、大氣環境光圖及大氣散射率估計圖。從實驗結果可知，VPM算法去霧效果明顯，對比度提升顯著，霧霾基本去除，結果不存在明顯噪聲，圖像亮度得到很好的均衡，低照度區域的目標得以顯現。另外，大氣環境光圖像很好的反映了圖像的亮度信息，而大氣散射率圖像則同景深和霧霾濃度的相關性強，進一步印證了模型的實際物理意義。

圖1 VPM算法去霧結果示意圖

3.2 對比實驗

依次選取大景深圖像、存在低照度區域的非均勻光照圖像、霧霾濃度不均的圖像和遠景存在噪聲干擾的圖像，使用VPM、He和Tarel算法進行去霧實驗對比。圖2~5為相應的對比實驗結果。

從圖2的大景深圖像去霧結果可知，He和VPM算法較Tarel算法去霧結果優勢明顯，對比度更大，VPM較He的算法清晰度則更高，尤其是遠景處的目標更容易觀察。

從圖3存在低照度區域的非均勻光照圖像去霧結果可知，Tarel和VPM算法優于He的算法，因為前兩者的去霧結果對比度較高，且亮度得到很好的均衡，VPM較Tarel算法更為自然，既無顆粒感，也無偽輪廓現象。

圖2 大景深圖像去霧結果

圖3 存在低照度區域的非均勻光照圖像去霧結果

圖4 霧霾濃度不均的圖像去霧結果

圖5 遠景存在噪聲干擾的圖像去霧結果

從圖4霧霾濃度不均的圖像去霧結果可知，He和VPM算法去霧較Tarel算法徹底，不存在個別區域有霧殘存的問題，He算法去霧結果最為自然，不存在天空區域變為黃色的問題，而Tarel和VPM算法去霧結果的天空區域，3個色彩通道的差異被放大，導致天空變為黃色。但He的算法存在信息丟失的問題，如圖4中藍框框住的霧霾濃度較大的區域，相比之下VPM和Tarel算法去霧結果的場景信息得到較好的恢復。

從圖5遠景存在噪聲干擾的圖像去霧結果可知，Tarel算法去霧結果模糊不清，He和VPM算法具有較好的對比度和清晰度，但遠景處He算法具有較強的噪聲干擾，而VPM算法則相對平滑，圖6是He和VPM算法去霧結果遠景處的放大圖，VPM算法去霧結果噪聲明顯小于He算法的去霧結果。

圖6 He算法和VPM算法去霧結果的遠景放大圖

目前，國內外研究者在圖像去霧算法方面開展了大量的研究工作，但對于去霧效果的客觀評價則關注較少。在為數不多的去霧效果評價方法中，應用最廣的是基于可見邊的對比度增強評估方法[22]。文獻[23]提出一種基于分類學習的去霧后圖像質量評價算法。該算法通過分析去霧后圖像本身所蘊含的質量特征，提取出基于圖像增強、圖像復原、統計先驗以人類視覺系統(human visual system，HVS)的度量指標。并在本文數據庫基礎上，利用支持向量機(support vector machine，SVM)將質量評價問題轉換為分類問題。但是該算法計算復雜度高、耗時較長，且數據庫有限，對于多幅去霧后圖像的質量評價問題，還只能利用“冒泡法”解決。鑒于此，本文仍選用可見邊梯度法對上述實驗結果進行客觀質量評價，評價結果見表1。HAUTIERE等[24]依據Jourlin和PHinoli的對數圖像處理(logarithmic image processing，LIP)模型提出了可見邊梯度法，該方法可從不同角度對去霧效果進行客觀評價，具體包括以下3個指標

表2 圖2~5基于可見邊梯度的評價結果

4 結論和討論

通過對比實驗可知，基于VPM的算法具有一定的噪聲抑制性能，對非均勻霧霾、非均勻光照、含低照度區域的退化圖像能夠有效提升能見度。由圖4可見，VPM算法處理后的天空區域存在嚴重的色偏，對比分析去霧前后天空區域3個通道的像素值，發現去霧前后天空區域3個通道像素值的相對大小順序沒有改變，故而可以認為天空區域色彩本來就是黃色的，但飽和度很低，VPM算法處理過后色彩飽和度提高，原有色彩變的顯而易見了。因此，VPM在提升圖像對比度、色彩飽和度方面效果顯著，但會存在色彩過飽和的現象，這種現象在天空區域尤為明顯，后續可以考慮通過白平衡或者分割天空區域和其他背景的算法消除。

另外，VPM處理結果的遠景仍然存在模糊現象，導致這種模糊的原因除了有部分未消除的霧霾之外，還有光線間的相互干擾、光波相位的畸變[25]，這種退化可以歸結到大氣湍流退化當中。因此，下一步工作將在現有MASM中融入湍流介質退化要素，以減少遠景處的模糊。

[1] KRATZ L, NISHINO K. Factorizing scene albedo and depth from a single foggy image [C]//Proceedings of IEEE International Conference on Computer Vision. New York: IEEE Press, 2009: 1701-1708.

[2] SCHECHNER YY, NARASIMHAN S G, NAYAR SK. Instant dehazing of images using polarization [C]// Proceedings fo IEEE International Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2001: 33-256.

[3] NAMER E, SCHECHNER Y Y. Advanced visibility improvement based on polarization filtered images [J]. Proceedings of SPIE-The International Society for Optical Engineering, 2005, 5888: 36-45.

[4] FATTAL R. Single image dehazing [J]. ACM Transactions on Graphics, 2008, 27(3): 1-9.

[5] TAN R. Visibility in bad weather from a single image [C]// Proceedings of 26th IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2008: 1-8.

[6] KOPF J, NEUBERT B, CHEN B, et al. Deep photo: model-based photograph enhancement and viewing [J]. ACM Transactions on Graphics, 2008, 27(5): 1-10.

[7] HE K M, SUN J, TANG X O. Single image haze removal using dark channel prior [C]//Proceedings of 27th IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2009: 1956-1963.

[8] 唐寧, 呂洋. 基于物理模型的快速單幅圖像去霧方法[J]. 電視技術, 2015, 39(9): 36-39.

[9] 李明, 楊艷屏. TV-Retinex:一種快速圖像增強算法[J]. 計算機輔助設計與圖形學學報, 2010, 22(10): 1778-1782.

[10] 譚小勇. 基于Retinex理論的紅外熱成像增強算法研究[D]. 長沙: 中南大學, 2011.

[11] 李慶菲, 朱志超, 方帥. 大氣湍流退化圖像的復原研究[J]. 合肥工業大學學報: 自然科學版, 2011, 34(1): 80-83.

[12] NARASIMHAN S G, NAYAR S K. Chromatic framework for vision in badweather [C]//Proceedings of IEEE conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2000: 855-874.

[13] 南棟, 畢篤彥, 馬時平, 等. 基于景深約束的單幅霧天圖像去霧算法[J]. 電子學報, 2015, 43(3): 500-504.

[14] 麥嘉銘, 王美華, 梁云, 等. 特征學習的單幅圖像去霧算法[J]. 中國圖象圖形學報, 2016, 21(4): 464-474.

[15] MILANFAR P. Removal of haze and noise from a single image [J]. Proceedings of SPIE-the International Society for Optical Engineering, 2012, 8296(3): 17.

[16] BUADES A, COLL B, MOREL JM. A non-local algorithm for image denoising [C]//Proceedings of IEEE International Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2005: 60-65.

[17] 畢篤彥, 葛淵, 李權合, 等. 單幅圖像去霧算法研究[J]. 空軍工程大學學報: 自然科學版, 2013, 14(6): 46-53.

[18] DESAI N, CHATTERJEE A, MISHRA S, et al. A fuzzy logic based approach to de-weather fog-degraded images [C]//Proceeding of the 6th International Conference on Computer Graphics, Imaging and Visualization. New York: IEEE Press, 2009: 383-387.

[19] CARAFFA L, TAREL J P. Markov random field model for single image defogging [C]//Proceedings of 2013 IEEE Intelligent Vehicles Symposium (IV). New York: IEEE Press, 2013: 994-999.

[20] BOYKOV Y, VEKSLER O, ZABIH R. Fast approximation energy minimization via graph cuts [J]. IEEE Transanctions on PAMI, 2001, 23(11): 1222-1239.

[21] 張璞, 王英, 王蘇蘇. 基于CLAHE變換的低對比度圖像增強改進算法[J]. 青島大學學報: 工程技術版, 2011, 26(4): 57-60.

[22] 郭璠, 蔡自興. 圖像去霧算法清晰化效果客觀評價方法[J]. 自動化學報, 2012, 38(9): 1410-1419.

[23] 南棟, 畢篤彥, 馬時平, 等. 基于分類學習的去霧后圖像質量評價算法[J]. 自動化學報, 2016, 42(2): 270-278.

[24] HAUTIERE N, TAREL J P, AUBERT D, et al. Blind contrast enhancement assessment by gradient ratioing at visible edges [J]. Image Analysis and Stereology Journal, 2008, 27(2): 87-95.

[25] 李慶菲, 朱志超, 方帥. 大氣湍流退化圖像的復原研究[J]. 合肥工業大學學報: 自然科學版, 2011, 34(1): 80-83.

The Dehazing Algorithm Based on Visual-Physical Model

MA Shiping, LI Quanhe, MA Hongqiang, BI Duyan

(Aeronautics and Astronautics Engineering College, Air Force Engineering University, Xi’an Shaanxi 710038, China)

Aiming at the problem that the existing image dehaze algorithm can not effectively enhance degraded images in complex atmospheric environment, animage dehaze algorithm based on visual physical model (VPM) is proposed bycombiningmonochrome atmospheric scattering model (MASM), atmospheric transmission function (ATF) and retinex. The model can describethe image degradation under complex atmospheric conditions such as non-uniform light degradation, haze degradation, and noise degradation. Environmental light degradation is first obtained though variational method. And then, markov random field is introduced to convert the problem of scene reflection rate to the maximum posterior probability. Finally, the brightness of scene reflectance is adjustedwith adaptive histogram equalization, and this is the final dehazed image. Experimental results show that VPM can enhance degraded images under complex atmospheric environment and has better physical fidelity and visual pleasure compared.

image dehaze; human visual system; monochrome atmospheric scattering model; retinex; atmospheric transmission function

TP 391

10.11996/JG.j.2095-302X.2018020269

A

2095-302X(2018)02-0269-09

2017-07-10；

2017-08-05

馬時平(1976–)，男，四川綿竹人，副教授，博士。主要研究方向為圖像處理、模式識別。E-mail：mashiping@126.com