基于人眼視覺機理的霧霾圖像質量提升算法

周理，畢篤彥，何林遠，柏航

?

基于人眼視覺機理的霧霾圖像質量提升算法

周理，畢篤彥，何林遠，柏航

(1. 空軍工程大學航空航天工程學院，陜西西安，710038；2. 中國人民解放軍63981部隊計量測試隊，湖北武漢，430000)

針對目前主流去霧算法結果尚未達到人眼視覺愉悅度且消耗計算資源大等不足，以人眼視覺特性規律為指導，運用亞當斯區域曝光理論與非下采樣Contourlet多尺度分析工具，在HSV彩色空間中提出一種霧霾背景下的彩色圖像質量提升算法。該算法采用最大視覺顯著度作為中度灰基準，模擬人眼控制瞳孔曝光程度，適度拉伸亮度分量的動態范圍；鑒于霧霾遮掩圖像大量細節特征，仿照人眼多頻信道分解特性，將處理后的亮度分量納入改進的非下采樣Contourlet濾波器組以凸顯圖像邊緣信息；依據顏色恒常性原理，色調分量保持不變，通過統計彩色圖像各分量間的先驗信息，融合亮度與色調分量，構造線性變換以校正飽和度分量，使各顏色分量間維持良好的相關性。實驗結果表明：本文算法能有效提升霧霾圖像的視覺效果，具有較好的實用性和較少的計算資源消耗。

圖像去霧; 人眼視覺機理; 亞當斯區域曝光理論；非下采樣Contourlet變換；線性變換

近幾年，霧霾天氣從局部地區開始向全國各地蔓延，這不但對居民健康危害極大，而且使國家安全防務陷入了重大的隱患之中。由于攝像頭無法穿透厚實的霧霾顆粒層實施監控，這便使得國家斥巨資搭建的覆蓋各重點地區的監控系統形同虛設，安全形勢令人堪憂。圍繞霧霾背景下提高監控系統可視能力的研究，顯然是解決目前國家安全隱患的重中之重。單幅霧霾圖像處理技術從一開始就受到國內外計算機視覺領域眾多學者的青睞，他們開展了階段性的實驗研究[1?2]。當前，對于霧霾背景下圖像質量提升問題的解決途徑可歸納為兩大類。其中一類是基于圖像復原的去霧方法，例如Tan等[3?5]提出的極具代表性的算法。該類算法在很大程度上依賴于大氣散射模型的恰當建立，通過分析大氣粒子的散射作用對成像的影響，采用某種有效的方式借助圖像本身所包含的信息構造場景反照率和景深的約束條件，進而估算大氣耗散函數。另一類是基于圖像增強的去霧方法，代表算法有Retinex[6]與小波變換[7]。此類方法的主要特點是不以物理模型為基礎，依據人眼視覺感受，提升圖像質量，有選擇地突出圖像中感興趣的特征或者抑制圖像中某些不需要的特征，使圖像與視覺響應特性相匹配。現有相關文獻研究表明，影響監控設備成像的霾顆粒的光學特性與霧氣中的水分子的光學特性大不相同，甚至不同類型霾其散射特性亦不盡相同。在物理模型建立的過程中需大幅修改或徹底重寫大氣傳遞圖，且需進行大量計算機模擬實驗和很大范圍的實地測試。因此，基于物理模型的方法尚且不能滿足霧霾消除的時效性要求，摒棄建立大氣物理模型約束的圖像增強類去霧技術則成為研究者突破難題的首選方案。其中，Retinex算法是一種經典的人眼視覺模型，闡述了色彩恒常性的相關原理，由此衍生了多種性能頗佳的去霧算法，Kimmel[8]變分框架模型則是其較成功的變異算法之一。雖然該方法取得了良好的反演效果，但仍存在顏色失真和局部光暈現象，且偏微分方程求解困難，計算量較大。而小波變換種類繁多，具有良好的多尺度和時頻局部特性，在圖像去霧方面應用十分廣泛。此方法充分借鑒了小波良好的多尺度和時頻局部特性，針對霧天頻譜集中的特性進行處理，從而達到提高視見度的目的。盡管小波變換理論基礎強，但現有算法仍存在全局或局部對比度低、偏色等問題。鑒于以上分析，在考量霧霾圖像時頻特性基礎上，依據人眼對邊緣特征敏感的特性，本文提出一種基于人眼視覺機理的單幅霧霾彩色圖像增強算法，在充分利用亞當斯區域曝光理論對亮度分量的動態范圍進行拉伸的同時，結合改進的非下采樣Contourlet后小波變換突出邊緣細節，并將結果納入飽和度分量調整的約束條件中，保持各顏色分量間的相關性，取得了較好的效果。

1 人眼視覺機理特性

單純將人眼比作照相機是不確切的，因為它并不是普通意義上的光學系統，還受到視覺中樞的調節，所以，將其比作能夠進行圖像處理的智能電視攝像機則比較合適。當觀察圖像時，人眼呈現出的反應特性可歸納如下[9]。

1) 瞳孔具有一定幾何尺寸，能夠控制光通量的大小，進而調節視網膜上錐狀細胞和桿狀細胞所受的激勵強度。依靠這種機制，視覺細胞在不同狀態下做出的感知反應就能更好地辨別外界的色彩信息。

2) 人眼對亮度的響應具有對數非線性性質，以達到其亮度的動態范圍。由于人眼對亮度響應的這種非線性，在平均亮度大的區域，人眼對灰度誤差不敏感。

3) 人眼存在同時對比效應，使得人眼對某個區域的亮度感覺既與自身屬性有關，又與周圍的背景亮度有關。

4) 在處理圖像的過程時，人眼可類比為一個具有多頻信道分解特性的信號處理模型。視網膜上存在許多獨立的線性帶通濾波器，使圖像分解成不同頻率段，且它們在對數尺度上是等寬度的。頻段的帶寬與分辨率息息相關，帶寬越窄，分辨率越高。

5) 人的外周腦及視皮層對顏色處理實際上是三原色及四色對立學說的辯證統一過程。這實際上指出了人眼所具有的色覺向度特性，從根本上說，人對顏色的知覺是一種主觀心理視覺。當人眼受到光激勵時，將引起具有色調、亮度以及飽和度這3種心理性向度構成的色覺經驗。其中，色調完全是由光的波長決定的，而亮度則與光的波幅與波長皆有關系。飽和度是指顏色的純度，其值越大，對應的色彩越鮮艷。

2 本文霧霾圖像質量提升算法

通過對比前人的研究成果，本文以人眼視覺機理為指導思想，結合霧霾圖像頻譜分布規律，在亮度區域適應性調整、高頻亮度方向特征抽取以及飽和度校正等方面進行研究，提出了一種高效穩定的單幅霧霾圖像增強算法。具體算法流程見圖1。

圖1 本文質量提升算法框架

2.1 亮度分量增強策略

2.1.1 區域適應性調整

光波在穿透霧霾時，某些波段會出現嚴重的衰減。這種濾波效果降低了大氣透射比，剩余的輻射波近似被全反射，引起了視線模糊。文獻[10]實驗證明：在霧霾出現前后，對同一景物拍攝對比發現前景亮度明顯減弱，背景亮度卻有所加強，景物圖像的整體灰度級大幅度提升，從而導致圖像泛白。鑒于此，根據前文的人眼視覺特性1)，本算法模擬瞳孔對光通量調節機制，運用亞當斯區域曝光理論將亮度圖像合理調整，提升景物真實亮度特征。具體步驟如下。

1) 依據顯示器光強分配原理，定義各個像素點的光強大小。不妨設光強分為級，光強表達式為Y，它們構成公比為的等比數列，其中1的取值范圍(0.01, 0.03)，Y=1。對于256灰度級的圖像而言，即=256，當1=0.02時，借助等比數列公式，各個像素點的光強唯一確定。因此，進入瞳孔的光通量可以通過計算×圖像的光強之和求得，如下式所示：

2) 根據人眼視覺特性2)，人眼亮度感覺與實際亮度呈對數關系，如下式所示：

式中：為實際亮度；為人眼感覺亮度；與0為常數。因而，借助式(2)可將實際亮度轉化為人眼的感覺亮度。

3) 考慮到人眼視覺特性3)，選取中心?周圍二者差最大的亮度為視覺顯著度基準，為后續動態調整亮度范圍作準備。選取3×3鄰域為自身感覺亮度，擴展的5×5與3×3鄰域之間覆蓋范圍為周邊亮度，由于亮度空間具有線性伸縮性，自身與周邊亮度感知差與亮度歐式距離成正比，利用下式計算自身與周邊亮度差異性：

(4)

其中：為中心區域貢獻度系數；(，)為中心區域各點亮度；(，)為周圍區域各點亮度；表示中心區域像素與其耦合區域的歐氏距離。按照式(4)對鄰域內亮度差值進行高斯歸一化，即為區域亮度顯著性最大的灰度。

4) 按照亞當斯區域曝光理論[11]，黑白照片的灰調可以用分區標尺表示，如圖2所示。它是由一系列連續變化的11個不同的影調組成，標記為0區到10區。由于光強與灰度存在相互對應關系，按照平均法對所有像素點亮度所對應的灰度劃分為11個區。其中，5區為中性灰(反光率為18%的灰板表現出的灰色階調)，3區代表有細節的陰影部分，7區則為有細節的強光部分。

圖2 亞當斯分區標尺圖

5) 仿照人眼視覺注意機制原理，以區域亮度顯著性最大的灰度為中性灰，將各像素點灰度采用分區標尺度量，然后進行灰度拉伸，具體公式為

當像素點的灰度為中性灰時，該點將被賦予5區的灰色階調；當像素點灰度大于或者小于中性灰時，更新后的像素灰度保留與中性灰的灰度差，同時右移或左移1.5區階調。這樣，通過灰度的增減實現曝光的調整，繼而控制全域內光通量，還原真實景物的亮度信息。

2.1.2 高頻方向特征抽取

由于圖像大量信息隱藏于霧霾背景下，根據人眼視覺特性4)進行多尺度分解后，便可求得圖像景物的邊緣及拐點信息。因而，選擇一種合適的多尺度分析工具模擬人眼多頻信道分解特性顯得十分重要。非下采樣Contourlet變換[12](non-subsampled contourlet transform, NSCT變換) 是一種后小波工具，它繼承了Contourlet變換的多尺度、多方向以及良好的空域和頻域局部特性，變換后能量更加集中，能夠更好地捕捉和跟蹤圖像中重要的幾何特征。同時，NSCT變換又摒棄了Contourlet變換的采樣環節，避免頻率混疊，得到的各級子帶圖像與源圖像具有尺寸相同特性，更容易找到各個子帶之間的對應關系。然而，NSCT變換也存在以下不足：一方面，信息含量與分辨率成正比，在分解方向時應予以區分，以獲得更多更高效的方向信息；另一方面，變換后的特征是由拉普拉斯金字塔分解后的每一層經方向濾波得到的，即濾波后的方向特征為拉普拉斯特征，帶有一定的局限性。為此，本算法對高頻亮度圖像處理時進行如下改進。

1) 分辨的方向隨層數減少。對原始圖像分解形成的金字塔進行方向分解時，摒棄各尺度固定方向數的分解方法，利用扇形及象限濾波器組對每一層圖像分量進行精細化劃分，每層一次劃分的方向數目分別為16，8及4，且所有層的方向將所在平面均等劃分。此依照各層分辨率的高低不同區別處理，考慮了圖像信息量對濾波器方向設計的制約，不僅提高了特征信息的獲取，而且增強了算法的魯棒性和準確性。

2) 方向特征由拉普拉斯、一階及二階導數組成，以貢獻度加權重。為更好尋求圖像細節尤其是邊緣信息，在原有拉普拉斯特征基礎上增加高斯金子塔中水平及垂直方向的一階及二階導數特征系數構成特征金字塔進行NSCT方向濾波。該特征金字塔描述奇異點的三維特征信息向量，包括一階導數、二階導數以及拉普拉斯特征。其中：和分別為水平和垂直方向一階導數；和分別為水平和垂直方向二階導數；為高斯金字塔的第層圖像分量；，；平滑模板。考慮特征重要程度不一，應對其施以不同權重來表征其貢獻度。而通過方向濾波后的系數表征邊緣信息的強弱，強邊緣對視覺敏感，故增加權重，反之降低。

顯然，這種改進型多尺度分析工具在濾波時分辨的方向數目由分辨率與金字塔尺度共同決定，同時新增的三維特征向量按照貢獻度加權，更精細劃分邊緣細節特征，克服了原始NSCT變換的不足。改進型NSCT采用非下采樣特征金字塔濾波器(non-subsampled feature pyramid, NSFP)對圖像進行多尺度分解，捕獲包含三維特征信息的奇異點，然后由非下采樣方向濾波器組(non-subsampled direction filter bank, NSDFB)將奇異點進行既定數目的方向分解，使分布在同方向上的點合成1個系數，繼而連成線形結構，從而捕捉圖像中的輪廓，如圖3所示。此外，將通過變換后的多特征加權系數施以反變換，得到具備更多細節的亮度圖像，并融合匹配顏色信息得到HSV圖像，為后續飽和度分量處理作準備。

圖3 改進型NSCT變換結構圖

2.2 飽和度分量校正策略

由人眼視覺特性5)可知：色彩空間除了亮度屬性，還包含了色調與飽和度分量。顏色恒常性理論表明物體自身顏色與外界條件無關，由其反射屬性決定。在對顏色處理時色調分量不必調整，主要對飽和度分量適量調整。文獻[13]指出：關于人類視覺顏色感知的研究和統計結果顯示，大量人眼顏色感知較好的圖像，其色彩分量之間有很強的相關性。故在色度和亮度分量確定的前提下，可構造一種線性變換，將圖像的飽和度分量進行變換，使其分量間的相關系數矩陣與標準圖像庫的統計值相匹配以達到最佳視覺識別效果，確保圖像顏色鮮艷，避免圖像色偏失真。因此，為了有效提升圖像的飽和度，提出了以下調整方案。

1) 統計30組視覺效果良好的×彩色圖像，求出HSV各分量相關系數矩陣，并作為后續的參考值，見式(10)。其中，矩陣中2個分量和的相關系數定義如式(11)所示。

其中：為2階單位矩陣，為待定參數。

3) 待校正圖像的顏色分量間協方差矩陣與校正后圖像分量間協方差矩陣滿足：。顯然，2個協方差矩陣是正定對稱陣，可采用平方根法分解為：與，易求得。

4) 校正后圖像分量間協方差矩陣可認為是，而待校正圖像的求解可根據方差的定義，分別計算圖像像素的自相關函數與數學期望，具體為

5) 在獲得與后，結合步驟(3)相關參數之間的關系式，通過求解包含3個未知參數的方程組(14)可得到變換矩陣。

6) 由分量將原圖像的飽和度分量校正，然后將其他2個分量與之合成，最終構成符合人眼視覺特性的彩色校正圖像。

經本算法得到的飽和度分量對圖像顏色分布描述更準確，速度更快，在一定程度上解決了色彩失真的問題，使得校正后的飽和度分布更接近人主觀視覺 感知。

3 仿真及結果分析

在VC2010中依據算法流程對4幅霧霾彩色測試圖進行了實驗，對比分析本算法與Kimmel和He這兩類經典方法在視覺質量及處理速度方面的差異。從圖4可見：本文方法比Kimmel及He算法恢復的結果更自然真實，整體色彩效果很好地滿足人眼視覺愉悅性。其主要原因為Kimmel算法由于采用均勻平滑濾波與偏微分方程框架結合，不僅伴有圖像細節扭曲與偽影效應現象，而且對于霧霾濃度較厚區域的效果并不明顯，如圖4(b)和(d)所示。He算法利用黑體的吸光特性提出暗原色理論，針對不同霧霾條件均需要估計大氣傳輸圖，造成算法魯棒性較差，跟隨性能不好，使得畫面色彩整體偏暗，如圖4(a)和(c)所示。而本文算法依據人眼視覺機理對亮度及飽和度分量分而治之：對亮度分量進行區域適應性調整，較好地拉伸亮度的動態范圍，處理結果中的前景普遍明亮，整體亮度適中；抽取亮度分量的方向特征，凸顯被霧霾掩蓋的景物細節信息；統計圖像顏色先驗知識，構造線性變換校正飽和度，恢復景物豐富的自然色彩信息。因此，這種并行融合處理各顏色分量，獲得了較理想的結果。表1所示為各算法處理單幅霧霾圖像的耗時量，對比發現Kimmel算法的用時高達1 021 ms，He算法用時與之比縮短為其0.2倍，但依然保持在231 ms。本文算法則避免類似Kimmel算法里的偏微分方程求解環節，也無需He算法中時空復雜度較高的摳圖算子，在整個處理過程中采用諸如分區標尺、NSCT以及線性變換等簡潔的分析工具，使得計算成本大幅縮減，基本維持在100 ms以內。

表1 算法處理耗時量統計

(a) 海濱測試圖；(b) 小區測試圖；(c) 城鎮測試圖；(d) 鄉村測試圖

此外，本文從圖像整體和局部角度出發，分別采用圖像熵[14]與平均梯度[15]作為客觀質量評價指標。圖像熵表征了圖像中灰度分布的聚集特征所包含的信息量，它反映了圖像中平均信息量，計算式如式(15)所示。其中：為圖像中像素值為的像素點在圖像中所占的比例。平均梯度是指圖像邊界兩側附近像素值的變化率，它反映了圖像微小細節反差變化的速率，計算式如式(16)所示。

其中：(，)為圖像的(，)像素值。統計各算法結果的質量評價值，將其繪制成圖，橫坐標表示四幅測試圖的序號，縱坐標則分別代表圖像熵和平均梯度等評價指標，單位為“比特”和“1”，如圖5所示。從圖5可見：兩組對比算法對于圖像質量的改善程度有限，均保持在0.5~1.0倍，而本文算法的提升效果最高達到3倍，處理性能遠遠領先對照組。其次，從各曲線的走勢可明顯看出：兩類指標反映的結果幾乎一致，即利用本文方法處理效果明顯優于Kimmel及He算法，從而佐證了主觀評價結論。

1—原始圖；2—Kimmel算法；3—He算法；4—本文算法

4 結論

1) 利用人眼視覺注意機制中視覺顯著度作為亞當斯區域曝光的中度灰基準拉升亮度分量的動態范圍，其效果與視覺感受有較高的吻合度。

2) 改進的NSCT分析工具很好的凸顯霧霾圖像的細節信息，滿足人眼對邊緣特征敏感的需求。

3) 利用彩色圖像先驗知識糾正飽和度分量，使處理結果色彩更顯自然，無色偏或者偽影效應。

4) 算法流程簡單，處理速度具有明顯的優勢，能夠達到工程應用的實時性要求。但是，由于景深越大，霧霾濃度越厚，圖像信息被掩蓋程度也隨之加重，所以，本文算法對于遠景霧霾區域的提升效果并不明顯，這是下一步工作的重點研究方向。

[1] Jeong S, Lee S. The single image dehazing based on efficient transmission estimation[C]//IEEE International Conference on Consumer Electronics (ICCE). Las Vegas, NV: IEEE, 2013: 376?377.

[2] 禹晶, 李大鵬, 廖慶敏.基于物理模型的快速單幅圖像去霧方法[J]. 自動化學報, 2011, 37(2): 144?149.YU Jing, LI Dapeng, LIAO Qingmin. Physics-based fast single image fog removal[J]. Acta Automatica Sinica, 2011, 37(2): 144?149.

[3] Tan R. Visibility in bad weather from a single image[C]//IEEE Conference on Computer Vision and Pattern Recognition. Anchorage, Alaska: IEEE, 2008: 1?8.

[4] Fattal R. Single image dehazing[J]. Proceedings of SIGGRAPH, 2008, 27(3): 1?9.

[5] He K, Sun J, Tang X. Single image haze removal using dark channel prior[C]//Proc of 27th IEEE Conference on Computer Vision and Pattern Recognition. Washington DC, USA: IEEE, 2009: 1956?1963.

[6] JIN Xuebo, BAO Jia, DU Jingjing. Image enhancement based on selective-Retinex fusion algorithm[J]. Journal of Software, 2012, 7(6): 1187?1195.

[7] 遲健男, 張闖, 張朝暉. 基于反對稱雙正交小波重構的圖像增強方法[J]. 自動化學報, 2010, 36(4): 476?487. CHI Jiannan, ZHANG Chuang, ZHANG Chaohui. Image enhancement based on anti-symmetrical biorthogonal wavelet reconstruction[J]. Acta Automatica Sinica, 2010, 36(4): 476?487.

[8] Kimmel R, Elad M, Shaked D, et al. A variational framework for Retinex[J]. International Journal of Computer Vision, 2003, 52(1): 7?23.

[9] Granrath D J. The role of human visual models in image processing[J]. Proceedings of the IEEE, 1981, 69(5): 552?561.

[10] Kil T H, Lee S H, Cho N I. A dehazing algorithm using dark channel prior and contrast enhancement[C]//IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). Vancouver, BC: IEEE, 2013: 2484?2487.

[11] LIAO Yuyi, LIN Jzausheng, TAI Shenchuan. Color balance algorithm with Zone system in color image correction[C]//International Conference on Computer Sciences and Convergence Information Technology (ICCIT). Seogwipo: IEEE, 2011: 167?172.

[12] TONG Ying, ZHAO Meirong, WEI Zilong. Adaptive threshold nonlinear image enhancement algorithm based on NSCT transform[C]//The Proceedings of the Second International Conference on Communications, Signal Processing, and Systems Lecture Notes in Electrical Engineering. Switzerland: Springer International Publishing, 2014: 279?286.

[13] Tsagaris V, Anastassopoulos V. Multispectral image fusion for improved RGB representation based on perceptual attributes[J]. International Journal of Remote Sensing, 2005, 26(15): 3241?3254.

[14] 楊作廷, 阮萍, 翟波. 基于圖像熵的高動態范圍場景的自動曝光算法[J]. 光子學報, 2013, 42(6): 742?746. YANG Zuoting, RUAN Ping, ZHAI Bo. Auto-exposure algorithm for scenes with high dynamic rang based on image entropy[J]. Acta Photonica Sinica, 2013, 42(6): 742?746.

[15] GONG Hu, SHI Qiang. Image quality assessment based on the mean gradient of edge preserve index[C]//2011 International Conference on Information, Services and Management Engineering. Wuhan, China: Scientific Research Publishing, 2011: 1436?1441.

Lifting hazy image quality algorithm based on the human visual mechanism

ZHOU Li1, BI Duyan1, HE Linyuan1, BO Hang2

(1. Engineering College, Air Force Engineering University, Xi’an 710038, China; 2. Measurement Test Team, 63981 Troops of the Chinese People’s Liberation Army, Wuhan 430000, China)

Since the results of mainstream defogging algorithms are far to reach human visual enjoyment and exhaust plenty of computing resource, a lifting color image quality algorithm based on the human visual mechanism was put forward in HSV color space through the Adams zone system and the non-subsampled contourlet transform under hazy weather. According to the algorithm, by imitating the process of papilla exposure, the maximum visual saliency was considered as medium grey standard to pull up dynamic ranges of the V component properly. Large amounts of detail features covered under fog and haze were given, the V component was then brought into non-subsampled contourlet filters to outstand image edge information according to the multi-frequency channel decomposition of human eyes. The H component remained unchanged because of the color constancy theory, but the S component merging together with the other adjusted-well components was revised by linear transform which relied on the prior statistics of color image components to keep them in good correlation. The simulation reveals that the novel algorithm not only improves visual effects of hazy images, but also provides higher practicability and less computing consumption.

image defogging algorithm; human visual mechanism; adams zone system; non-subsampled contourlet transform; linear transform

10.11817/j.issn.1672-7207.2015.10.024

TP391.41

A

1672?7207(2015)10?3726?07

2015?03?13；

2015?06?20

國家自然科學基金資助項目(61372167)(Project (61372167) supported by the National Natural Science Foundation of China)

周理，博士研究生，從事圖像增強、圖像分割研究；E-mail：zhouli_5120801@163.com

(編輯 陳愛華)