高動(dòng)態(tài)范圍紅外圖像壓縮與細(xì)節(jié)增強(qiáng)算法

劉永江，楊耿煌，董 建，劉 易

（天津職業(yè)技術(shù)師范大學(xué)自動(dòng)化與電氣工程學(xué)院，天津300222）

在現(xiàn)代光學(xué)成像系統(tǒng)中，可見(jiàn)光成像技術(shù)可以獲取細(xì)節(jié)豐富、空間分辨率高的圖像，但易受低照度、霧霾、雨雪等惡劣環(huán)境的影響[1]。利用紅外成像技術(shù)測(cè)量物體向外輻射的熱量，可將場(chǎng)景中紅外波段的信息轉(zhuǎn)換成人眼可見(jiàn)的紅外圖像，從而抵消無(wú)關(guān)信息特征干擾[2]。因此，紅外成像技術(shù)現(xiàn)已廣泛應(yīng)用于軍事及民用環(huán)境，常見(jiàn)于夜間軍事行動(dòng)、小區(qū)安防、工業(yè)測(cè)溫等。現(xiàn)階段，針對(duì)紅外成像技術(shù)的研究主要集中在高動(dòng)態(tài)范圍壓縮與細(xì)節(jié)增強(qiáng)方向。該方向能夠解決如下問(wèn)題：①工程上常用的紅外探測(cè)器，如紅外焦平面探測(cè)器，通常將采集的信息構(gòu)建為14位16 384灰度級(jí)的圖像，而人體視覺(jué)系統(tǒng)僅能識(shí)別8位256灰度級(jí)的圖像[3]，并且許多模擬和數(shù)字視頻接口要求8位數(shù)據(jù)精度，在人機(jī)交互時(shí)存在技術(shù)障礙，因此將高位階圖像動(dòng)態(tài)限制到低位階尤為重要；②在動(dòng)態(tài)圖像壓縮過(guò)程中存在細(xì)節(jié)丟失、噪聲放大、梯度翻轉(zhuǎn)等問(wèn)題，需要對(duì)紅外圖像進(jìn)行細(xì)節(jié)增強(qiáng)，并以此來(lái)保留信息特征，以防特征值失效。

針對(duì)紅外圖像灰度級(jí)集中分布在一小塊區(qū)域，導(dǎo)致圖像亮度較暗問(wèn)題，文獻(xiàn)[4]提出基于直方圖均衡化（histogram equalization，HE）紅外圖像增強(qiáng)方法，有效提高紅外圖像對(duì)比度，然而此方法對(duì)紅外圖像弱小細(xì)節(jié)增強(qiáng)的效果不夠明顯，易出現(xiàn)局部過(guò)亮或過(guò)暗現(xiàn)象。針對(duì)紅外圖像壓縮過(guò)程中圖像細(xì)節(jié)丟失問(wèn)題，文獻(xiàn)[5-6]提出基于圖像分層處理的增強(qiáng)方法，有效突出圖像細(xì)節(jié)，但這樣會(huì)給背景層引入噪聲，時(shí)間復(fù)雜度較高。針對(duì)紅外圖像增強(qiáng)過(guò)程中引入噪聲問(wèn)題，本文提出了一種基于對(duì)比度限制直方圖均衡（contrasted limited adaptive histogram equalization，CLAHE）的動(dòng)態(tài)范圍紅外圖像壓縮及細(xì)節(jié)增強(qiáng)算法，以解決紅外圖像壓縮過(guò)程中出現(xiàn)的光暈、細(xì)節(jié)丟失、噪聲放大等問(wèn)題。

1 分層處理的圖像增強(qiáng)

為了突出紅外圖像背景層中的目標(biāo)，本文用分層思想對(duì)紅外圖像進(jìn)行處理。首先，利用導(dǎo)向?yàn)V波對(duì)深度為14 bit的紅外圖像進(jìn)行處理，獲得低空間頻率層（low spatial frequency layer，LSFL）；其次，將原始圖像與低空間頻率層對(duì)應(yīng)像素相減生成高空間頻率層（high spatial frequency layer，HSFL）；最后，對(duì)壓縮后的LSFL和銳化后的HSFL進(jìn)行線性疊加，得到細(xì)節(jié)增強(qiáng)的8 bit圖像，該算法框圖如圖1所示。

圖1 基于CLAHE的紅外圖像動(dòng)態(tài)壓縮和細(xì)節(jié)增強(qiáng)算法框圖

傳統(tǒng)算法使用雙邊濾波器（bilateral filter，BF）[7]進(jìn)行圖像分層，但由于經(jīng)過(guò)BF處理過(guò)的圖像邊界會(huì)出現(xiàn)梯度翻轉(zhuǎn)、光暈等現(xiàn)象，本文使用導(dǎo)向?yàn)V波（guided filter，GF）進(jìn)行分層處理。GF是一種保邊平滑濾波器[8]，其原理是利用引導(dǎo)圖像與輸入圖像在局部特征上呈現(xiàn)的線性關(guān)系，采用最小二乘法，使輸出圖像逼近原圖像，引入?yún)⒄請(qǐng)D像可以有效保持邊緣，避免梯度翻轉(zhuǎn)，降低時(shí)間復(fù)雜度。其計(jì)算式為

式中：qi為輸出像素的值；Ii為參照像素的值；ak和bk均為當(dāng)窗口中心位于k時(shí)，該線性函數(shù)的系數(shù)。

為實(shí)現(xiàn)輸出與參照?qǐng)D像差異盡可能小，對(duì)系數(shù)（ak，bk）求解，轉(zhuǎn)化成回歸問(wèn)題，利用最小二乘法解得差異最小的系數(shù)

式中：μk為圖像Ii在窗口ωk中的平均值為待濾波圖像P在窗口ωk中的均值；σk2為I在窗口ωk中的方差；ω為窗口ωk中像素的數(shù)量；?為正則化系數(shù)。

當(dāng)以待濾波圖像作為導(dǎo)向圖時(shí)，系數(shù)（ak，bk）可簡(jiǎn)化成為

由式（3）可知，導(dǎo)向?yàn)V波器作為保邊平滑濾波器的原因在于：對(duì)于相對(duì)平滑的區(qū)域，窗口內(nèi)的方差σk2遠(yuǎn)小于正則化系數(shù)?，從而ak近似于0，bk近似于pˉk，相當(dāng)于對(duì)平滑區(qū)域進(jìn)行均值濾波；對(duì)于邊緣區(qū)域，方差σk2遠(yuǎn)大于正則化系數(shù)?，從而ak近似于1，bk近似于0，相當(dāng)于在邊緣區(qū)域保持原有梯度。導(dǎo)向?yàn)V波過(guò)程中重要的是濾波窗口的半徑和正則化系數(shù)的設(shè)置，本文設(shè)置濾波窗口半徑ω=4，ω=8；正則化系數(shù)?=0.01，?=0.04和?=0.16，通過(guò)兩兩組合，一共6種排列，不同排列情況的濾波圖像如圖2所示。

圖2 不同半徑和正則化系數(shù)的導(dǎo)向?yàn)V波結(jié)果

從圖2可知，隨著濾波窗口和正則化系數(shù)的增大，濾波效果增強(qiáng)，大部分的背景和細(xì)節(jié)信息被濾除。為了保證后續(xù)的處理，本文選擇窗口半徑ω=8，正則化系數(shù)?=0.04進(jìn)行導(dǎo)向?yàn)V波處理。

2 低空間頻率層的壓縮及去噪

14 bit紅外圖像經(jīng)過(guò)導(dǎo)向?yàn)V波得到對(duì)比度較低的LSFL后，需要?jiǎng)討B(tài)范圍壓縮，由于AHE算法[9]會(huì)過(guò)度提高對(duì)比度，導(dǎo)致出現(xiàn)局部噪聲放大現(xiàn)象，本文使用CLAHE算法限制對(duì)比度提高程度，解決AHE算法出現(xiàn)的問(wèn)題。對(duì)比度與像素點(diǎn)概率分布直方圖成比例，在計(jì)算像素周邊累積直方圖函數(shù)（cumulative distribution function，CDF）前，預(yù)先設(shè)定閾值，將大于一定閾值的部分平均裁剪到直方圖其他灰度級(jí)上，達(dá)到限制放大幅度效果，其主要步驟為：①將紅外圖像分成M×N個(gè)圖像塊，計(jì)算所有圖像塊的分辨率、微調(diào)水平和垂直像素尺寸，實(shí)現(xiàn)圖像整除。②設(shè)定紅外圖像的灰度取值范圍，建立映射表（look up table，LUT），映射范圍為0～255，實(shí)現(xiàn)14 bit紅外圖像壓縮到8 bit灰度級(jí)，并以此為基礎(chǔ)，對(duì)每個(gè)圖像塊建立直方圖。③對(duì)圖像塊直方圖進(jìn)行歸一化處理，設(shè)定裁剪閾值，取值范圍0～1，對(duì)每個(gè)圖像塊進(jìn)行直方圖裁剪。④對(duì)算法進(jìn)行插值計(jì)算，加快計(jì)算速度，得到經(jīng)過(guò)壓縮的紅外圖像。

經(jīng)過(guò)CLAHE算法后，14 bit紅外圖像轉(zhuǎn)換為8 bit，灰度直方圖如圖3所示，CLAHE算法后以及均值濾波后紅外圖像如圖4所示。

圖3 紅外圖像直方圖

圖4 CLAHE算法后以及均值濾波后紅外圖像

為了避免高頻成分對(duì)背景層的影響，對(duì)經(jīng)過(guò)CLAHE壓縮后得到的8 bit紅外圖像進(jìn)行均值濾波處理[10]，選取3×3模板，用中間像素點(diǎn)鄰域內(nèi)像素點(diǎn)算數(shù)平均值替換突變像素點(diǎn)，實(shí)現(xiàn)紅外圖像的增強(qiáng)。從圖4可以看出，經(jīng)過(guò)平滑濾波后的紅外圖像濾除掉了一些細(xì)節(jié)信息。

3 高空間頻率層的細(xì)節(jié)銳化

高空間頻率層由原始紅外圖像和低空間頻率層圖像相減得到，像素值有正有負(fù)，需要進(jìn)行去像素負(fù)值操作。并且拉普拉斯算子對(duì)噪聲敏感，易出現(xiàn)過(guò)度放大噪聲現(xiàn)象，因此在使用拉普拉斯算子銳化圖像之前要進(jìn)行噪聲濾除。

中值濾波是一種基于統(tǒng)計(jì)理論的、利用排序算法的、能夠有效消除噪聲的非線性圖像處理技術(shù)[11]。中值濾波常用于存在椒鹽噪聲的圖像，本文中生成高空間頻率層像素值有正有負(fù)，類似于椒鹽噪聲，因此先使用3×3窗口的中值濾波對(duì)高空間頻率進(jìn)行處理。

拉普拉斯算子屬于邊緣檢測(cè)范疇，在工程應(yīng)用中用來(lái)做空間銳化濾波器，可增強(qiáng)圖像中灰度值突變區(qū)域的紋理細(xì)節(jié)，減弱灰度值變化緩慢的區(qū)域[12]。拉普拉斯算子為二階微分線性算子，相對(duì)于一階微分線性算子，二階微分算子在處理圖像紋理細(xì)節(jié)信息時(shí)邊緣定位能力更強(qiáng)，銳化效果更好，其差分形式為

根據(jù)式（6），將拉普拉斯算子表示成掩膜版（filtermask，F(xiàn)M）的形式，由于拉普拉斯是各向同性濾波器，即圖像旋轉(zhuǎn)后，濾波效果不變，這就要求掩膜版是對(duì)稱的。

使用拉普拉斯算子的掩膜版在經(jīng)過(guò)中值濾波后的紅外圖像上逐行移動(dòng)，用FM中的數(shù)值和圖像中對(duì)應(yīng)的像素相乘求和，賦值給與FM中心重合的像素點(diǎn)，對(duì)圖像的第一和最后的行列無(wú)法進(jìn)行卷積計(jì)算的像素值賦0，最終得到拉普拉斯銳化過(guò)的圖像，原始高空間頻率層和銳化濾波后的高空間頻率層如圖5所示。

圖5 原始高空間頻率層和銳化濾波后的高空間頻率層

4 低空間和高空間頻率層合成

經(jīng)過(guò)平滑處理的LSFL和銳化處理的HSFL需要進(jìn)行合成，合成圖像的灰度級(jí)應(yīng)為0～255。對(duì)LSFL和HSFL分配權(quán)重進(jìn)行線性融合，低空間頻率層權(quán)重設(shè)置為k（0＜k＜1），則高空間頻率層設(shè)置為1-k，表達(dá)式為

式中：Iout為合成圖像；ILSFL為低空間頻率層圖像；IHSFL為高空間頻率層圖像。

低空間頻率層和高空間頻率層加權(quán)融合過(guò)程中，重要的是權(quán)重參數(shù)的設(shè)置，本文設(shè)置3組權(quán)重參數(shù)并進(jìn)行融合圖像觀察，分別為k=0.2，k=0.5，k=0.8，3種不同權(quán)重的融合圖像如圖6所示。

圖6 3種不同權(quán)重的融合圖像

通過(guò)融合圖像發(fā)現(xiàn)，隨著低空間頻率層權(quán)重的增加，融合圖像中的信息越來(lái)越豐富，但是引入了大量的干擾信息，通過(guò)綜合考量，本文選擇權(quán)重參數(shù)k=0.5進(jìn)行低空間頻率層和高空間頻率層的融合。

低空間頻率層和高空間頻率層在融合過(guò)程中會(huì)降低圖像的亮度，本文使用Gamma變換對(duì)輸入圖像灰度值進(jìn)行非線性亮度提高[13]，使輸出圖像與輸入圖像灰度值呈指數(shù)關(guān)系，其公式為

式中：Vout為輸出灰度級(jí)水平；Vin為輸入灰度級(jí)水平，取值范圍0～1，先進(jìn)行歸一化操作，再進(jìn)行指數(shù)操作；A為常數(shù)，一般值為1。

Gamma變換通過(guò)非線性變換，將相機(jī)曝光或曝光不足的圖像進(jìn)行矯正，經(jīng)過(guò)Gamma變換后輸入和輸出圖像的灰度值如圖7所示。

圖7 Gamma分布密度函數(shù)圖像

圖7中，黑色曲線代表Gamma的值為1，即原圖；當(dāng)Gamma的值小于1時(shí)，圖像中較亮的區(qū)域灰度被壓縮，較暗的區(qū)域灰度被拉升，圖像整體變亮；當(dāng)Gamma的值大于1時(shí)，圖像較亮的區(qū)域灰度被拉升，較暗的區(qū)域灰度被壓縮，圖像整體變暗。

根據(jù)Gamma變換的特性以及本文合成的紅外圖像對(duì)比度降低現(xiàn)象，設(shè)γ=0.2，γ=0.4，γ=0.6，γ=2.5，γ=5，實(shí)驗(yàn)結(jié)果如圖8所示。

圖8 Gamma變換圖像

從圖8可以看出，當(dāng)Gamma的值小于1時(shí)，圖像對(duì)比度明顯提高；當(dāng)Gamma的值大于1時(shí)，圖像對(duì)比度下降。通過(guò)綜合考量，本文選取Gamma值為0.6。

5 實(shí)驗(yàn)結(jié)果及分析

為了驗(yàn)證本文算法的有效性，使用Riad博士[14]公開(kāi)的OTCBVS紅外圖像/視頻數(shù)據(jù)集進(jìn)行算法驗(yàn)證，使用Matlab R2018進(jìn)行仿真，硬件環(huán)境為Windows 10，CPU為CORE i7，主頻2.6 GHz，運(yùn)行內(nèi)存8 G。通過(guò)選取不同場(chǎng)景下的14 bit原始紅外圖像，與平臺(tái)直方圖均衡、基于小波變換的圖像增強(qiáng)、基于雙邊濾波的圖像增強(qiáng)方法進(jìn)行對(duì)比，對(duì)比圖像如圖9所示。

圖9 不同增強(qiáng)算法效果對(duì)比

從人眼主觀角度評(píng)價(jià)不同算法的增強(qiáng)效果，經(jīng)過(guò)PE[15]算法處理后的紅外圖像，圖像對(duì)比度得到提高，但是圖像中潛在的弱小細(xì)節(jié)增強(qiáng)不明顯；基于小波變換算法處理后的紅外圖像，較原始圖像改善效果不明顯；基于雙邊濾波算法和本文算法處理后的紅外圖像，圖像對(duì)比度都得到顯著提高，但是本文算法得到的圖像質(zhì)量明顯優(yōu)于雙邊濾波，并且弱小細(xì)節(jié)得到有效突出。如場(chǎng)景1中門框上的條紋，道路兩邊的路燈清晰可見(jiàn)；場(chǎng)景2中路面的磚塊，夜空的云彩顯示效果明顯好于雙邊濾波；場(chǎng)景3中馬路上的廣告牌、行人、車輛等輪廓明顯。

為了定量評(píng)價(jià)算法增強(qiáng)效果，本文從標(biāo)準(zhǔn)差、平均梯度和信息熵3種指標(biāo)對(duì)不同算法的增強(qiáng)效果進(jìn)行客觀評(píng)價(jià)，如表1所示。

表1 不同增強(qiáng)算法客觀評(píng)價(jià)指標(biāo)

從表1可以看出，本文算法在標(biāo)準(zhǔn)差、平均梯度、信息熵指標(biāo)均取得最大值，證明本文算法可以有效改善紅外圖像的對(duì)比度并能突出弱小細(xì)節(jié)。

6 結(jié)語(yǔ)

本文采用基于分層處理的圖像增強(qiáng)算法，針對(duì)動(dòng)態(tài)范圍壓縮及細(xì)節(jié)增強(qiáng)過(guò)程中存在的一系列問(wèn)題，提出了一種基于CLAHE的動(dòng)態(tài)范圍紅外圖像壓縮及細(xì)節(jié)增強(qiáng)算法。通過(guò)分層處理，對(duì)低空間頻率層進(jìn)行動(dòng)態(tài)壓縮，對(duì)高空間頻率層進(jìn)行銳化，有效解決了梯度翻轉(zhuǎn)、細(xì)節(jié)丟失問(wèn)題。通過(guò)主觀和客觀評(píng)價(jià)，對(duì)比其他增強(qiáng)算法，本算法可以有效突出紅外圖像中隱藏的細(xì)節(jié)，在動(dòng)態(tài)范圍壓縮過(guò)程中有效增強(qiáng)了對(duì)比度、削弱了噪點(diǎn)，紅外圖像的質(zhì)量得到有效改善。