亮度保持和細節增強的紅外圖像增強方法

凡遵林，畢篤彥，馬時平，何林遠

?

亮度保持和細節增強的紅外圖像增強方法

凡遵林，畢篤彥，馬時平，何林遠

(空軍工程大學航空航天工程學院，陜西西安，710038)

針對紅外圖像對比度低和細節信息少的特性，提出一種能保持亮度和增強細節的方法。改進的自適應雙邊濾波將圖像分成基本層和細節層，在基本層利用基于高斯混合模型的直方圖規定化實現亮度保持，在細節層利用人眼視覺特性自適應選取增強函數來增強較弱細節并保護原圖像中的清晰邊緣不失真，再恢復到原來灰度空間。研究結果表明：該算法可保持整體明暗視覺效果，同時，原圖像中較暗和較亮處的細節都可得到有效增強。

紅外圖像；雙邊濾波；高斯混合模型；亮度保持；細節增強

隨著紅外技術的不斷發展和進步，紅外成像系統以其較強的抗干擾能力、遠距離及晝夜工作適應性、良好的隱蔽性等優點被廣泛應用在目標探測、精確制導、光學遙感、夜間導航及其他民用領域。然而紅外圖像的低對比度嚴重影響了紅外圖像對目標的探測和識別精度，成為了限制紅外技術進一步發展與應用的瓶頸，尋求有效的技術手段破解該難題成為紅外成像領域的重要發展方向[1]。目前，對紅外圖像增強方法可分為傳統的空域和頻域圖像增強處理、基于直方圖的增強處理以及新型圖像增強處理。傳統的空域圖像增強處理是對圖像灰度空間分布實現細節增強，是直觀易理解的處理方法。ZOU等[2]提出了基于UM (unsharpen mask)方法，采用非線性濾波器的圖像基頻細節分離技術，將細節圖像自適應地增強，但存在過增強和細節部分的噪聲被放大等問題。傳統頻域圖像增強處理是通過頻域高通濾波器提取屬于圖像高頻成分的目標邊沿或輪廓細節，進行增強處理提升對比度。劉濤等[3]在貝葉斯最大后驗推論和最小均方誤差準則下提出了一種基于卡爾曼濾波的紅外圖像增強方法，在去除非均勻噪聲同時提高了對比度，但過度的高頻增強會使圖像產生偽像。傳統的HE(histogram equalization)方法的作用是從統計學的觀點為提高圖像對比度，改變圖像中灰度概率分布，使其均勻化。對圖像中由少量相近灰度像素組成的小目標或細節紋理特征無法實現有效的增強，且易造成細節信息的損失甚至丟失潛在的目標，因此，很多學者提出了基于HE算法的改進方法。謝文達等[4]對HE改進方法系統地歸納為3大類：1) 方程式改良型。呂宗偉等[5]提出基于直方圖亮度保持算法，利用累積分布函數將直方圖分割成幾個子直方圖進行均衡，但對于較好對比度圖像的增強效果不明顯。2) 概率密度函數重塑類型。吳成茂[6]從圖像最優化對比度出發，提出直方圖均衡化的最優化數學模型及其增強方法，改變直方圖概率密度函數的形態，更具有普適性，但仍然存在低對比度細節丟失的問題。3) 空間處理類型。對比度抑制自適應直方圖均衡[7](contrast limited adaptive histogram equalization, CLAHE)能夠把平坦區域的細節部分也凸顯出來，但存在過度增強的現象。近年來，模擬人眼視覺特性的新型圖像處理方法取得了較好的效果，這也是未來紅外圖像增強重要的研究方向。蔣敏等[8]針對人眼的敏感性與空間頻率相關的特點，保留了小波變換多尺度的特性且具有更好的方向辨識能力，對低對比度的影像特征也具有較好的細節增強效果。金小賢等[9]分析人類視覺系統的全局和局部自適應調節原理及人眼視網膜神經節細胞感受野的傳輸特性，提出一種仿生圖像增強算法，該算法可有效地提升區域亮度對比和亮度梯度信息。針對紅外圖像特性和模擬人眼視覺特性在增強方面的優越性，本文作者提出一種新的自適應雙邊濾波，將原圖像分成基本層和細節層，基于混合高斯模型將基本層分成幾個子圖像分別進行直方圖規定化來保持整體亮度，在細節層利用人眼視覺特性自適應增強圖像紋理和細節，形成一種有效的紅外圖像增強算法。

1 傳統的HE算法及分析

一幅數字圖像，其離散的表達形式為

式中：灰度級范圍為[0，?1]；r為第級灰度；n為圖像中灰度為r的像素個數；P(r)為第級灰度級上的概率密度。

數字圖像的直方圖均衡變換函數s可表示為

處理后，圖像像素灰度的動態范圍增加，圖像的對比度和視覺效果得到提高，但會帶來以下缺點。

1) 均衡后圖像的平均亮度與輸入圖像的亮度無關。變換后圖像的灰度級G范圍為[0，G?1]，均衡后的圖像中各灰度級G有近似均勻的概率密度：，則變換后的平均亮度為

其中：(?)為數學期望，式(3)表明均衡后的亮度均值與輸入圖像亮度無關，總是在其灰度范圍的中值附近。

2) HE法對圖像對比度呈現全局性拓展，故在細微部分的處理上容易丟失部分原圖細節。當直方圖均衡化時，相鄰灰度級r和r+1合并到增強后的圖像的灰度級上。假設，

(4)

式(5)與式(4)的結論相矛盾，即假設不成立。當直方圖均衡時，小細節被合并到其他灰度級時，圖像的信息熵必然會減少，后面的實驗數據也能證明。

2 本文算法

直方圖均衡又可分為全局直方圖和局部直方圖2大類。全局直方圖增強是一對一的，即原圖中灰度級相同的像素映射為同一結果，其優點是計算速度快，能保持很好的整體明暗視覺效果，但會造成信息丟失；局部直方圖增強不是一對一映射，比全局映射更靈活，可以增強所有局部對比度，如CLAHE算法，幾乎保持所有的可視細節信息，但不會關注整體明暗效果，甚至會添加不同程度的噪聲。人眼對場景中細節信息非常敏感，而整體的明暗印象通過圖像的整體統計信息來解決明暗對比度更為合理。為此，提出一種將空間信息與統計信息相結合的算法。

2.1 自適應雙邊濾波器

給人帶來接近真實場景的視覺感受，既要保持可視細節信息，又要體現整體明暗視覺效果，但這是矛盾的要求，而雙邊濾波能較好地分解兩者之間的矛盾。它是一種非線性邊緣保持濾波器，輸出結果為輸入像素的加權平均，每個像素的權值同時依賴于空間域中的高斯函數和灰度域中的影響函數[10]。對于像素來說，雙邊濾波輸出結果為：

其中：為鄰域Ω內的像素；I為像素值；W為權值核函數和的歸一化系數；設和分別為高斯函數和的偏差，性能測試中取2和1。

其中：R(，)為輸入的原始紅外圖像的灰度值，r(，)為對R(，)進行以10為底的對數運算后的圖像灰度值；F(?)為式(6)的雙邊濾波運算；為輸出結果作為基本層，細節層定義為原圖像與基本層灰度值之差。經過雙邊濾波將原圖像分解基本層和細節層，基本層表示整體亮度，細節層表示局部的細節信息。在圖像變化平緩的區域，鄰域的亮度相差不大，雙邊濾波轉化為高斯濾波；在圖像變化劇烈的區域，由于亮度變化很大的像素被降低了權重，所以，輸出結果是中心點附近亮度相近于像素點的亮度平均。與高斯函數相比，雙邊濾波輸出的結果，既實現了圖像的平滑處理，又能夠保持圖像的邊緣信息。這樣可以將較大的對比度留在基本層，而細節層僅保留局部較小對比度的信息。

但是文獻[10]采用固定的對數底進行處理，會導致處理后圖像亮區和暗區的細節丟失。為了使輸入的灰度級[0,1]在對數變換輸出實現圖像灰度級映射的合理變化，應當構建不同底數的對數函數，圖1所示為不同底數的對數映射曲線。從圖1可以看出：當像素處于暗區，用小的底數可以映射輸出較寬范圍的對數值(左圖最上面的曲線)；像素處于亮區應該壓縮其幅度，使用較大的底數(右圖最下面的曲線)。基于上述思想，提出如下把像素點亮度作為輸入變量的底數計算公式：

其中：max和min用來確定底數的范圍，分別取2和10；I為像素的亮度；max和min為圖像的像素最大和最小值。修改式(8)得

(12)

(a) 暗區；(b) 亮區

2.2 基于GMM的直方圖規定化

由于紅外圖像的直方圖有明顯的峰存在，多數情況下為單峰或雙峰[11]。但文獻[11]采用單一的高斯函數實現直方圖規定化，導致原紅外圖像的直方圖為多峰或者不存在的峰值時，會出現嚴重的失真。采用高斯混合模型(Gauss mixture model, GMM)，其概率分布模型(|)[12]為

其中：為正系數，且；，為高斯分布密度，稱為第個分模型。通過迭代條件模式(iterative condition model, ICM)求解基于馬爾科夫隨機場模型(Markov random field，MRF)進行圖像分割優化問題，可以將一幅圖像分割成個子圖像，對每個子圖像進行直方圖規定化。根據原子圖像的信息求出灰度平均值和方差，并通過這2個參數估計輸出子圖像的灰度平均值和方差，并根據和構成高斯函數規定化輸出子圖像的直方圖，即：

式中：0定義為擴展系數，增強細節0應大于1，取值太大會導致細節過增強，本文0取為1.5，其他參數與式(1)具有相同的物理意義。對個子圖像按式(14)和式(15)進行規定化，再將規定化后的個子圖像合并。當=1時，亮度保持效果與文獻[11]有相同的處理效果，只考慮灰度直方圖單峰的情況；當為無窮大時，變換成為像素點運算，不具有亮度保持的優勢，所以取為6。

2.3 基于視覺特性的局部對比度增強函數

在背景光強度為的均勻光照區域，若存在1個亮度為+Δ的光斑，則這個光斑能被人眼察覺的條件是Δ大于某個值，這個剛好能被人眼分辨的亮度差叫做剛可分辨亮度差(just noticeable difference, JND)，Δ和的比叫做閾值亮度比(threshold versus intensity, TVI)。在低背景亮度和高背景亮度之間的相當寬的背景亮度范圍內滿足韋伯定律，Δc/稱為韋伯比，其中Δc為在背景亮度為的條件下可辨別亮度增量的50%。Δc/較小表示可辨別強度較小的百分比變化，意味著亮度辨別能力較好，Δc/較大則反之。lg(Δc/)作為的對數函數，其通常形狀如圖2所示。由圖2可以看出：在低照度情況下，韋伯比較大，亮度辨別力差，隨著照度增加，韋伯比下降，亮度分辨力得到改善。因此，模擬人眼主觀視覺有區別地處理不同亮度背景下的細節，能解決強邊緣處過增強和平坦區欠增強的問題。

圖2 JND與背景亮度的關系

基于雙邊濾波的自適應細節增強為

利用韋伯比曲線模擬構造局部細節調整函數，目的是根據背景光照分量進行相應的細節增強，擬合相似的細節調整函數曲線，根據圖3所示，取0.85。

考慮到在實際圖像增強中，對于原本梯度大的地方，視覺效果本身就比較清楚而不需要增強，對于原圖像梯度小的地方，才是真正需要強調的信息，故而進一步防止邊緣過增強，構造以細節層取值強度為變量的對比度限制函數(，)，用1個隨著細節層信息增大而衰減的關系來描述，但不能小于 1。

其中：1＞0反映了細節的最大放大倍數, 而2＞0反映了放大系數隨細節增大的衰減速度。

為綜合考慮圖像背景亮度和細節信息，最終的局部對比度提升函數為細節調整函數和對比度限制函數的乘積為

采用模擬人眼視覺特性和抑制細節過增強的局部對比度增強函數，可使高對比度地方增強較少，增強圖像結果總體比較柔和，視覺效果不至于太銳化，對處于暗區和亮區且細節不明顯的像素點具有較強的增強，同時可抑制細節的過增強。和分別為和歸一化后的變量。

3 實驗結果與分析

從FLIR System網站上選擇3幅典型紅外圖像進行實驗，從上至下分別為具有復雜背景的紅外圖像、暗區細節少的紅外圖像及亮區細節少的紅外圖像，如圖4所示。從亮度保持和細節增強2方面將本文算法與其他增強算法相比較，包括傳統的HE算法、反銳化掩模算法(UM)以及文獻[7]的CLAHE算法。

(a) 具有復雜背景聽原圖；(b) 圖4(a)的HE算法處理效果；(c) 圖4(a)的UM算法處理效果；(d) 圖4(a)的文獻[7]算法處理效果；(e) 圖4(a)的本文算法處理效果；(f) 暗區細節少的原圖；(g) 圖4(f)的HE算法處理效果；(h) 圖4(f)的UM算法處理效果；(i) 圖4(f)的文獻[7]算法處理效果；(j) 圖4(f)的本文算法處理效果；(k) 亮區細節少的原圖；(l) 圖4(k)的HE算法處理效果；(m) 圖4(k)的UM算法處理效果；(n) 圖4(k)的文獻[7]算法處理效果；(o) 圖4(k)的本文算法處理效果

3.1 亮度保持

用AMBE(absolute mean brightness error)[13]衡量亮度保持的效果，計算公式為(X為輸入圖像的亮度，Y為輸出圖像的亮度)。對上述4組圖像的測試結果如表1所示為AMBE的計算結果。從表1可以看出：UM算法和本文算法都能較準確地保持輸入圖像的亮度，HE算法的保持效果最差，尤其是其中存在大量暗區或亮區的圖像，而本文算法亮度保持效果較好的原因是對其基本層進行基于GMM的直方圖規定化。

表1 圖4中各分圖的AMBE和熵

3.2 細節增強

4 結論

1) 提出了一種自適應的雙邊濾波，在分解的基本層和細節層分別進行基于混合高斯模型的直方圖規定化和基于韋伯比曲線特性的細節增強，解決了保持整體明暗視覺效果和增強可視細節信息的矛盾。

2) 通過與經典增強算法的比較驗證了本文算法具有亮度保持和細節增強的優點，處理后圖像的整體對比度得到顯著提高，不存在淹沒和模糊化暗區和亮區細節的現象，提升了細節的清晰度，適用于低噪聲的紅外圖像。但本文沒有對具有較大噪聲的紅外圖像增強進行研究，增強紅外圖像同時抑制強噪聲是接下來重要的研究方向。

[1] DAI Shaosheng, LIU Qiang, TANG Huaming, et al. Study on an infrared image enhancement algorithm by using lateral inhibition of human visual system[J]. Applied Mechanics and Materials, 2014, 696(2): 92?98.

[2] ZOU Chao, CHEN Qian, LIU Ning, et al. Display and detail enhancement for high-dynamic-range infrared images[J]. Optical Engineering, 2011, 50(12): 154?163.

[3] 劉濤, 趙巨峰, 徐之海. 基于卡爾曼濾波的紅外圖像增強算法[J]. 浙江大學(工學版), 2012, 46(8): 1534?1539. LIU Tao, ZHAO Jufeng, XU Zhihai. Enhancement algorithm for infrared images based on Kalman filter[J]. Journal of Zhejiang University (Engineering Science), 2012, 46(8): 1534?1539.

[4] 謝文達, 邱竣鴻, 王壘. 實際且快速的圖像對比度增強方法[J]. 計算機研究與發展, 2013, 50(4): 787?799. XIE Wenda, QIU Junhong, WANG Lei. A practical and efficient contrast enhancement method[J]. Journal of Computer Research and Development, 2013, 50(4): 787?799.

[5] 呂宗偉, 唐治德, 周林. 利用累計分布函數的亮度保持均衡算法[J]. 計算機輔助設計與圖形學學報, 2011, 23(9): 1495?1503. LU Zongwei, TANG Zhide, ZHOU Lin.Brightness preserving histogram equalization based on cumulative distribution function[J].Journal of Computer Aided Design & Computer Graphics, 2011, 23(9): 1495?1503.

[6] 吳成茂. 直方圖均衡化的數學模型研究[J]. 電子學報, 2013, 3(3): 598?602. WU Chengmao.Studies on mathematical model of histogram equalization[J]. Acta Electronica Sinica, 2013, 3(3): 598?602.

[7] 魏銳, 徐亮. 受限直方圖均衡化的低頻DCT系數重變換算法[J].實驗室研究與探索, 2015, 34(5): 16?20, 35.

WEI Rui, XU Liang. Low frequency DCT coefficients retransformed algorithm of contrast limited adaptive histogram equalization[J]. Research and Exploration in Laboratory, 2015, 34(5): 16?20, 35.

[8] 蔣敏, 劉士建, 李丹. 鏡像曲波掌部靜脈影像增強方法[J]. 紅外與毫米波學報, 2012, 31(1): 57?60. JIANG Min, LIU Shijian, LI Dan. Palm vein image enhancement based on mirror-extended curvelet transforms[J]. Journal of Infrared and Millimeter Waves, 2012, 31(1): 57?60.

[9] 金小賢, 李衛軍, 王守覺, 等.一種基于視覺特性的仿生圖像增強算法[J]. 計算機輔助設計與圖形學學報, 2010, 22(3): 534?537. JIN Xiaoxian, LI Weijun, WANG Shoujue, et al. An algorithm for biomimetic image enhancement based on human visual property[J]. Journal of Computer Aided Design & Computer Graphics, 2010, 22(3): 534?537.

[10] AN S J, BOUSSAID F, BENNAMOUN M, et al. Quantitative error analysis of bilateral filtering[J].IEEE Signal Processing Letters, 2015, 22(2): 202?206.

[11] LO T Y, SIM K S, TSO C P. Infrared image enhancement using adaptive trilateral contrast enhancement[J]. Pattern Recognition Letters, 2015, 54: 103?108.

[12] ABDOLI M, SARIKHANI H, GHANBARI M, et al. Gaussian mixture model-based contrast enhancement[J]. IET Image Processing, 2015, 9(7):569?577.

[13] LU Y A, XIE F Y, LIU T L, et al. No reference quality assessment for multiply-distorted images based on an improved bag-of-words model[J].IEEE Signal Processing Letters, 2015, 22(10): 1811?1815.

(編輯 劉錦偉)

Method for infrared image with brightness preservation and detail enhancement

FAN Zunlin, BI Duyan, MA Shiping, HE Linyuan

(Institute of Aeronautics and Astronautics, Air Force Engineering University, Xi’an 710038, China)

To alleviate the problems of low contrast and less detail of infrared images, a novel algorithm for infrared image enhancement was proposed. An adaptive bilateral filter was employed to extract a base component and a detail component from the original image. Then luminance on the base component was adaptively modified based on Gauss mixture model to persevere brightness. Meanwhile, the detail component was enhanced by a scale adaptive strategy that could emphasize features with low contrast and protect the strong contrast features from distortions. The results show that by the proposed algorithm, the details in both brighter and darker regions of the original images are enhanced and preserved.

infrared image; bilateral filter; Gauss mixture model; brightness preservation; detail enhancement

10.11817/j.issn.1672-7207.2016.06.020

TP391

A

1672?7207(2016)06?1967?06

2015?06?15；

2015?07?30

國家自然科學基金資助項目(61372167)(Project(61372167) supported by the National Natural Science Foundation of China)

畢篤彥，博士，從事圖像處理、模式識別和人工智能；E-mail：biduyan@126.com