一種結合單尺度Retinex與引導濾波的紅外圖像增強方法

程鐵棟，盧曉亮，易其文，陶征亮，張志釗

〈圖像處理與仿真〉

一種結合單尺度Retinex與引導濾波的紅外圖像增強方法

程鐵棟，盧曉亮，易其文，陶征亮，張志釗

（江西理工大學 電氣工程與自動化學院，江西 贛州 341000）

針對傳統紅外圖像增強算法中圖像對比度低、細節信息丟失與過度增強等問題，提出了一種單尺度Retinex與引導濾波相聯合的紅外圖像增強方法。首先根據Retinex算法，利用主特征提取法獲取原始圖像的照射分量和反射分量，對照射分量采用平臺直方圖增強其對比度；然后利用局部方差加權引導濾波將反射分量分解為基本層和細節層，對兩層分量的圖像分別進行對比度和細節增強操作；最后將各個層次的結果按照合適的權重因子進行融合得到增強紅外圖像。實驗結果表明，相比于其他增強算法，本文所提方法能更有效地提高紅外圖像的整體對比度，突出其細節特征，增強后的3組圖像的信息熵和平均梯度平均值分別為9.7373和5.6922，相較于原圖像分別提升了2.7499和3.8296。

紅外圖像；圖像增強；單尺度Retinex；引導濾波；主特征提取

0 引言

隨著紅外技術的迅速發展，紅外熱成像儀在國防軍事、民用、工業等領域的應用愈來愈廣泛[1]。但在實際應用中，紅外熱輻射信號容易受大氣環境的影響，導致獲得的紅外圖像目標細節模糊、整體對比度低、噪聲大[2]。這種視覺效果差的紅外圖像滿足不了實際的應用需求。因此，突顯紅外圖像細節特征，提升對比度，抑制噪聲等操作顯得尤為關鍵。

傳統的紅外圖像增強算法主要歸納為基于空間域和頻率域的圖像增強算法[3]。空間域增強算法主要有基于直方圖均衡、Retinex的增強算法等。直方圖均衡（histogram equalization，HE）通過調整紅外圖像中的像素灰度，使其均勻分布，從而提高了圖像的整體對比度[4]。然而經過HE處理后的紅外圖像往往噪聲也得到了增強，且場景目標的細節信息有所丟失。為此學者們提出了多種改進算法，如平臺直方圖均衡[5]（plateau histogram equalization，PHE）、對比度受限自適應直方圖均衡[6]（contrast limited adaptive histogram equalization，CLAHE）等。這些算法通過分割圖像和設置閾值等操作來改善HE算法中噪聲放大和細節丟失的情況，取得了良好的效果。但是直方圖類的圖像增強算法未考慮圖像的邊緣特征，導致處理后的圖像視覺效果較差，過于生硬[7]。基于Retinex的增強算法能夠凸顯出圖像中較暗場景的細節，降低過亮場景的灰度，但處理后的圖像會出現“光暈”現象[8]。頻率域增強算法主要包括基于傅里葉變換、小波變換[9]的增強算法等，這類算法能夠有效地增強圖像的結構特征，但經過其增強后的圖像目標細節還是較為模糊。2009年Branchitta和Francesco提出了一種基于圖像動態范圍分割的圖像增強方法[10]，此后學者們提出了與之類似的圖像分層增強方法，使得這種方法在紅外圖像增強方面的應用越來越廣泛[11]。圖像動態范圍分割方法的思想是利用具有保持圖像邊緣能力的濾波器將輸入圖像分解為基礎層與細節層分量，然后對兩層分量分別進行對比度拉伸與細節增強，最后選擇合適的權重值將處理后的兩層分量進行融合。圖像分層模式的方法處理，在突顯紅外圖像邊緣細節信息的同時提高了圖像的整體對比度，常用的保邊濾波器有雙邊濾波器[12]、引導濾波器等。但是傳統引導濾波（guided image filtering，GIF）對圖像每個區域采用相同的線性模型和規整化因子[13]，并不能適應圖像不同區域間的紋理特征差異。針對傳統GIF的缺陷，Li Z.[14]等人提出了一種基于局部方差的加權引導濾波（weighted guided image filtering，WGIF），該算法構造了一種能夠自適應調整的規整化因子，從而提高了邊緣保持能力，將其應用于圖像濾波分層增強方法的框架中，可以更精確地分解圖像。

本文在圖像分層方法的基礎上提出了一種基于單尺度Retinex[15]（Single-Scale Retinex，SSR）與WGIF的紅外圖像增強方法，該方法充分發揮了SSR在圖像灰度調節方面的良好性能與WGIF對圖像細節的提取能力，達到了增強原圖像中的大動態背景信息和突出其小動態目標細節信息的目的，實現了紅外圖像的目標與細節增強。

1 基于SSR與WGIF的紅外圖像增強

通過研究基于視覺特性的單尺度Retinex算法和基于局部方差的加權引導濾波算法，本文提出了一種結合SSR和WGIF的紅外圖像增強方法。針對紅外圖像對比度低、細節紋理缺失和視覺效果不佳等問題，該方法采用SSR和WGIF算法將紅外圖像分解為不同層次的分量，并對各個分量進行相應的增強處理，最后選擇一定的權重因子進行融合得到增強圖像。方法的具體操作流程分為3個模塊，如圖1所示。模塊一，基于SSR的圖像分層處理；模塊二，基于WGIF的圖像分層處理；模塊三，各個層次分量的圖像增強與融合。

圖1 本文方法流程

1.1 基于SSR的圖像分層處理

在Retinex理論中，圖像信息由圖像本身的反射性質與圖像周圍的光照強度這兩個因素決定，而不均勻的光照會造成圖像的退化。根據該理論，一幅紅外圖像可以被分解為反射分量和照射分量，其中可視為影響圖像質量的關鍵因素，而則被看作反映圖像固有屬性的分量，不受外界環境的影響。其數學模型可表示為：

＝×(1)

式中：可以將照射分量視為附加在本質圖像上的乘性噪聲，因此該理論的思路就是從紅外圖像中去除的影響，還原圖像的本質信息，從而實現增強圖像的目的。傳統SSR算法采用高斯濾波估計輸入圖像的照射分量，再轉化到對數域，計算出反射分量：

但高斯濾波在圖像邊緣處的估計容易產生偏差，從而出現“光暈”現象。鑒于此，本文采用主特征提取法估計照射分量，該方法能更好地保留圖像的主要邊緣信息，從而減弱在邊緣信息豐富區域出現的“光暈”現象。Xu L.[16]等人在2012年提出的主特征提取模型如下：

式中：是輸出的主特征圖像，為像素索引；是權重參數，用于調節主特征圖像的光滑程度，可通過增大來增加圖像的光滑度；是一個接近0的正數，以避免分母為0；D()和D()為像素在和方向上變化的函數：

圖2給出了基于主特征提取法的SSR算法對一幅紅外圖像的分解結果，圖2(b)為照射分量(,)，從圖中可看出，由于主特征提取法具有較好的保邊能力，因此圖像的大致邊緣輪廓都被保留了下來。圖2(c)為反射分量(,)，與原圖像相比，原來的暗場景細節都被突顯出來，如圖像上方的樹枝。圖像整體的視覺效果有所提升，為了進一步擴大圖像的灰度級分布，需要對(,)進行進一步的增強處理。

圖2 SSR算法對圖像的分解結果

1.2 基于WGIF的圖像分層處理

引導濾波是一種以局部線性模型為基礎的圖像平滑濾波器。該算法的基本思想是將圖像內的每個像素點與其相鄰像素點假定為線性關系，求出各個像素的線性模型，從而獲得和原始圖像梯度相似的基礎層圖像。設輸入圖像為，引導圖像為，輸出圖像為，則其數學模型表示為：

由于傳統GIF對圖像中各個區域采用固定的規整化因子，因此在圖像的邊緣區域會因為較大的而產生“光暈”現象。鑒于此問題，WGIF通過引入一個邊緣權重因子G來自適應調整規整化因子，以此獲得對圖像各區域的自適應，從而提高了濾波效果。權重因子G和新的系數a如式(11)、式(12)所示。

通過WGIF獲得包含大動態信息的基本層(,)可表示為：

式中：WGIF[?]表示局部方差加權引導濾波的過程。然后通過反射分量(,)減去基本層(,)得到細節層(,)：

(,)＝(,)－(,) (14)

圖3給出了利用WGIF來分解反射分量的結果。圖3(b)為基本層圖像，從圖中可以看出，經過WGIF的處理，圖像中的大量細節和噪聲被濾除，但由于WGIF考慮了圖像中各個區域間的紋理差異，避免了“光暈”現象的產生。圖3(c)為細節層圖像，圖中存在大量的亮點和暗點，因此需要對其進行去噪和細節增強處理。

圖3 WGIF對反射分量的分解結果

1.3 各個層次分量的圖像增強與融合

通過主特征提取法獲得的照射分量(,)對比度與原始圖像相差不大，因此采用PHE算法增強其對比度和邊緣細節[17]：

￠(,)＝PHE[(,)] (15)

式中：￠(,)為經過PHE增強后的照射分量。

因基本層(,)整體對比度較低，且該圖像包含的細節信息較少，所以采用HE算法對其進行處理：

BE(,)＝HE[(,)] (16)

式中：BE(,)為經過HE處理后的基本層。細節層(,)中不僅包含了圖像的紋理細節和邊緣信息，還含有一些噪聲信息。因此本文先利用中值濾波抑制圖像的噪聲，再采用gamma變換（＝0.7）對去噪后的細節層進行處理，進一步突出其紋理細節。

將圖像BE(,)和增強后的細節層￠(,)進行合并：

式中：1和2是調節參數，用于調節基本層和細節層的融合比例，1通常選擇1，2選擇2～5；￠是增強后的反射圖像。最后，將圖像￠(,)和￠(,)進行合并，獲得高對比度且細節紋理突出的高質量紅外圖像￠(,)：

式中：為調節參數，用來調節增強圖像中照射分量的強度，本文方法中取0.1～0.3，為避免增強后的紅外圖像光照強度過大而導致過度增強。

2 實驗分析

為測試本文所提出方法的性能，選取3組紅外場景圖像進行仿真實驗分析。采用直方圖均衡（HE）、對比度受限自適應直方圖均衡（CLAHE）和雙邊濾波（BF）圖像分層增強算法，從主、客觀兩方面與本文所提方法進行對比。第一個場景圖像大小為240×320，第二個和第三個場景圖像大小均為512×640。實驗的軟件環境是MATLAB R2016a和Windows10，硬件環境是Intel(R) Core(TM) i5-9400 CPU @2.9GHz和8GB內存的電腦。

2.1 主觀評價

圖4～圖6所示為3組不同場景的紅外圖像，及其經過不同算法增強后的圖像。圖4(a)為場景一的原始圖像，圖中包含人物、樹木、房屋和草地，圖像整體的對比度較低，目標細節也模糊不清，圖4(b)～圖4(e)分別為經過HE、CLAHE、BF和本文所提方法增強后的紅外圖像。對比圖4(a)與圖4(b)可知，經過HE算法增強后的圖像整體對比度有了明顯提高，但是該圖像顯現出過度增強的現象，人物只留下高亮的輪廓，其衣服、頭發等紋理特征幾乎全都丟失，該現象是由于HE算法在增強對比度的同時會抑制圖像中灰度級像素數量較少的細節信息[4]。CLAHE算法是對HE算法的優化，從圖4(c)可以看出，該算法能夠在一定程度上克服HE算法中紋理細節丟失的問題，但細節特征還是不夠突出。BF算法的增強結果如圖4(d)所示，該算法在圖像的細節和對比度增強方面都表現出較好的效果。圖4(e)為經過本文所提方法增強后的圖像，相比于其他3種算法的增強結果，圖4(e)中人物、樹木和草地等細節更加清晰，同時圖像的整體對比度也得到了更大的提高。

圖5(a)為場景二的原始圖像，由該圖可以看出，圖中包含路燈、樹木、房屋、車和道路，而圖像中的樹木、車等目標較為模糊，難以辨別其細節。從圖5(b)至圖5(d)可以看出，經過HE算法處理后的圖像，樹木的紋理特征被凸顯出來，但是路燈、房屋、車的細節特征反而受到抑制，且屋頂與道路出現了高亮的塊狀現象。CLAHE與BF算法的增強效果比較柔和，圖像對比度和細節未得到明顯改善。圖5(e)為經過本文方法增強后的圖像，相比于圖5(a)，圖像中樹木和房屋等目標的紋理細節變得更加豐富，圖像的整體視覺效果變得更佳。圖6的場景和增強結果與圖5較為相似，綜上所述，相對于3種傳統紅外圖像增強算法，本文提出的方法能夠更有效地增強圖像對比度與細節清晰度，改善場景的視覺效果。

2.2 客觀評價

本文采用信息熵、平均梯度這兩個客觀指標來衡量不同算法對紅外圖像的增強效果。圖像信息熵是一個用來評價圖像信息量的指標，該值越大，圖像信息量越多，圖像質量越高。信息熵計算方法為：

圖5 不同方法對紅外圖像的增強結果（場景二）

圖6 不同方法對紅外圖像的增強結果（場景三）

式中：()是紅外圖像中灰度為的密度；為圖像的灰度級。圖像的平均梯度反映圖像多維方向上微小細節的變化，該值越大，圖像細節清晰度則越高。平均梯度計算方法為：

式中：和是圖像的長和寬；(,)為圖像中像素點(,)的灰度值。

表1和表2分別為選取的3個場景及其增強后圖像的信息熵和平均梯度。從表中數據可以看出，本文所提方法增強后的3組圖像的信息熵和平均梯度平均值分別為9.7373和5.6922，相較于其他算法，其增強后的圖像信息熵和平均梯度都取得了更大的提升。由此表明，經過本文方法處理后的圖像細節信息更加豐富、清晰度更高。

3 結論

針對傳統紅外圖像增強算法中存在的缺陷，提出了一種基于Retinex算法和引導濾波圖像分層的紅外圖像增強方法。該方法采用主特征提取法來獲取原始圖像的照射分量，能夠準確地估計圖像強邊緣處的光照信息，避免“光暈”現象的產生；采用基于局部方差的加權引導濾波對圖像進行平滑濾波，可以較好地保留圖像的邊緣信息。在不同場景下，將本文所提方法與3種傳統紅外圖像增強算法進行了仿真實驗與對比分析，從視覺效果的主觀感受來看，本文所提方法能夠更有效地提升紅外圖像的對比度，突顯圖像中弱小目標的細節特征；由信息熵和平均梯度的客觀數據可知，其增強后的紅外圖像清晰度更高，內容更加豐富，質量更佳。

表1 不同方法增強結果的信息熵

表2 不同方法增強結果的平均梯度

[1] 汪子君, 羅淵貽, 蔣尚志, 等. 基于引導濾波的自適應紅外圖像增強改進算法[J]. 光譜學與光譜分析, 2020, 40(11): 3463-3467.

WANG Zijun, LUO Yuanyi, JIANG Shangzhi, et al. An improved algorithm for adaptive infrared image enhancement based on guided filtering[J]., 2020, 40(11): 3463-3467.

[2] 路皓翔, 劉振丙, 郭棚躍, 等. 多尺度卷積結合自適應雙區間均衡化的圖像增強[J]. 光子學報, 2020, 49(10): 158-172.

LU Haoxiang, LIU Zhenbing, GUO Pengyue, et al. Multi-scale convolution combined with adaptive bi-interval equalization for image enhancement[J]., 2020, 49(10): 158-172.

[3] 葛朋, 楊波, 韓慶林, 等.一種基于引導濾波圖像分層的紅外圖像細節增強算法[J]. 紅外技術, 2018, 40(12): 1161-1169.

GE Peng, YANG Bo, HAN Qinglin, et al. Infrared image detail enhancement algorithm based on hierarchical processing by guided image filter[J]., 2018, 40(12): 1161-1169.

[4] 丁暢, 董麗麗, 許文海. “直方圖”均衡化圖像增強技術研究綜述[J]. 計算機工程與應用, 2017, 53(23): 12-17.

DING Chang, DONG Lili, XU Wenhai. Review of "histogram" equalization technique for image enhancement[J]., 2017, 53(23): 12-17.

[5] 徐超, 何利民, 王霞, 等. 紅外偏振成像系統高速處理模塊設計[J]. 紅外與激光工程, 2017, 46(2): 133-140.

XU Chao, HE Limin, WANG Xia, et al. Design of high speed processing module for infrared polarization imaging system[J]., 2017, 46(2): 133-140.

[6] 楊衛中, 徐銀麗, 喬曦, 等. 基于對比度受限直方圖均衡化的水下海參圖像增強方法[J].農業工程學報, 2016, 32(6): 197-203.

YANG Weizhong, XU Yinli, QIAO Xi, et al. Method for image intensification of underwater sea cucumber based on contrast limited adaptive histogram equalization[J].2016, 32(6): 197-203.

[7] 李佳, 李少娟, 段小虎, 等. 基于Retinex理論與概率非局部均值的紅外圖像增強方法[J]. 光子學報, 2020, 49(4): 187-196.

LI Jia, LI Shaojuan, DUAN Xiaohu, et al. Infrared image enhancement based on Retinex and probability nonlocal means filtering[J]., 2020, 49(4): 187-196.

[8] 王衛星, 趙恒. 結合改進Retinex及自適應分數階微分的霧霾公路交通圖像增強[J]. 光學精密工程, 2020, 28(8): 1820-1834.

WANG Weixing, ZHAO Heng. Haze traffic image enhancement based on improved retinex and adaptive fractional differential[J]., 2020, 28(8): 1820-1834.

[9] 王曉柱, 鈕賽賽, 張凱, 等. 基于小波變換與特征提取的紅外弱小目標圖像融合[J]. 西北工業大學學報, 2020, 38(4): 723-732.

WANG Xiaozhu, NIU Saisai, ZHANG Kai, et al. Image fusion of infrared weak-small target based on wavelet transform and feature extraction[J]., 2020, 38(4): 723-732.

[10] Branchitta F, Diani M, Corsini G, et al. New technique for the visualization of high dynamic range infrared images[J]., 2009, 48(9): 096401-1-9.

[11] 葛朋, 楊波, 洪聞青, 等. 一種結合PE的高動態范圍紅外圖像壓縮及細節增強算法[J]. 紅外技術, 2020, 42(3): 279-285.

GE Peng, YANG Bo, HONG Wenqing, et al. Dynamic range compression and detail enhancement algorithm combined with PE for high dynamic range infrared images[J].2020, 42(3): 279-285.

[12] 周志強, 汪渤, 李立廣, 等. 基于雙邊與高斯濾波混合分解的圖像融合方法[J]. 系統工程與電子技術, 2016, 38(1): 8-13.

ZHOU Zhiqiang, WANG Bo, LI Liguang, et al. Image fusion based on a hybrid decomposition via bilateral and Gaussian filters[J]., 2016, 38(1): 8-13.

[13] HE Kaiming, SUN Jian, TANG Xiaoou. Guided image filtering[J]., 2013, 35(6): 1397-1409.

[14] LI Zhengguo, ZHENG Jinghong, ZHU Zijian, et al. Weighted guided image filtering[J]., 2015, 24(1): 120-129.

[15] 張慶宇, 范玉剛, 高陽. 基于單尺度Retinex與改進的K-均值聚類的渦流熱成像缺陷檢測[J]. 紅外技術, 2020, 42(10): 1001-1006.

ZHANG Qingyu, FAN Yugang, GAO Yang. Defect detection of eddy-current thermography based on single-scale Retinex and improved K-means clustering[J]., 2020, 42(10): 1001-1006.

[16] XU Li, YAN Qiong, XIA Yang, et al. Structure extraction from texture via relative total variation[J].(TOG), 2012, 31(6): 1-10.

[17] 李紅, 吳煒, 楊曉敏, 等. 基于主特征提取的Retinex多譜段圖像增強[J]. 物理學報, 2016, 65(16): 61-76.

LI Hong, WU Wei, YANG Xiaomin, et al. Multispect ral image enhancement based on Retinex by using structure extraction[J]., 2016, 65(16): 1-16.

Research on Infrared Image Enhancement Method Combined with Single-scale Retinex and Guided Image Filter

CHENG Tiedong，LU Xiaoliang，YI Qiwen，TAO Zhengliang，ZHANG Zhizhao

(School of Electrical Engineering and Automation, Jiangxi University of Science and Technology, Ganzhou 341000, China)

This study proposes an infrared image enhancement method combined with single scale Retinex and guided image filtering to eliminate the problems of low image contrast, loss of detail information, and excessive enhancement in traditional infrared image enhancement algorithms. First, a structure extraction algorithm is used to obtain the incident and reflected components of the original image according to the Retinex algorithm. The platform histogram is used to enhance the contrast of the incident component. Then, the reflected component is decomposed into the base layer and detail layer by the weighted guided image filter based on variance and by performing contrast and detail enhancement operations on the images of the two components, respectively. Finally, the results of each level are fused according to the appropriate weight factors to obtain an enhanced infrared image. The experiments in this study show that the proposed method can improve the overall contrast of infrared images and highlight their detailed features more effectively than other enhancement algorithms. The information entropy and average gradient of the three groups of images after enhancement are 9.7373 and 5.6922, respectively, which are 2.7499 and 3.8296 higher than the original image.

infrared image, image enhancement, single-scale Retinex, guided image filter, main structure extraction

TN219

A

1001-8891(2021)11-1081-08

2020-12-09；

2021-01-30.

程鐵棟（1975-），男，江西宜春人，副教授，博士，主要研究方向為人工智能裝備。E-mail: Chengtiedong@126.com。

江西省科技計劃聯合資助項目（20192BBEL50042）；江西理工大學高層次人才科研啟動項目（205200100522）。