弱環(huán)境輻射下中短波雙波段紅外圖像融合方法

張潤琦，楊 波，夏麗昆，趙燦兵，蘇俊波

弱環(huán)境輻射下中短波雙波段紅外圖像融合方法

張潤琦1，楊 波1，夏麗昆2，趙燦兵1，蘇俊波1

（1. 昆明物理研究所，云南 昆明 650223；2. 陸軍裝備部駐重慶地區(qū)軍事代表局駐昆明地區(qū)第一軍事代表室，云南 昆明 650032）

本文介紹了一種用于弱環(huán)境輻射下紅外中、短波雙波段的紅外圖像融合方法。該方法先采用單尺度Retinex（Single Scale Retinex，SSR）方法處理短波圖像，分別對處理后的短波圖像和中波圖像采用均值濾波和雙邊濾波得到細(xì)節(jié)層和背景層，再利用基于Spectral Residual（SR）顯著性和引導(dǎo)濾波的權(quán)重映射，對短波圖像和中波圖像的細(xì)節(jié)層和背景層進(jìn)行加權(quán)融合，得到融合圖像。經(jīng)過實驗仿真，并與基于小波、拉普拉斯金字塔的多種算法做了比較，該方法在各場景下的主觀與客觀評價均表現(xiàn)良好。

中短波紅外，圖像融合，雙波段，弱環(huán)境輻射，引導(dǎo)濾波

0 引言

隨著科技的不斷發(fā)展，各國對紅外探測成像技術(shù)的要求也越來越高。由于傳統(tǒng)單波段紅外成像技術(shù)難以解決復(fù)雜背景下真?zhèn)文繕?biāo)識別等難題，雙波段及多波段紅外技術(shù)成了未來的發(fā)展方向。其中融合算法是多波段成像技術(shù)中極為重要的一部分，在這一領(lǐng)域，國內(nèi)外學(xué)者已進(jìn)行了大量的研究工作，包括像素級、特征級及決策級融合算法。像素級融合主要方法有基于金字塔變變換、小波變換和神經(jīng)網(wǎng)絡(luò)方法等，特征級融合算法包括基于聚類分析、信息熵的方法等，決策級融合算法包括基于神經(jīng)網(wǎng)絡(luò)、貝葉斯估計等的方法[1]。

這些方法有效但需要針對應(yīng)用場景加以改進(jìn)，在制定融合策略時需要根據(jù)波段特性進(jìn)行設(shè)計。相對于中長波紅外融合領(lǐng)域，中短波融合研究較少，且短波紅外與中、長波有很大的成像效果差異。短波紅外的波長范圍為0.75～3mm，其主要利用環(huán)境中的輻射成像，而自然環(huán)境中的輻射源主要為太陽輻射及反射，成像效果類似于可見光圖像，擁有更多的紋理細(xì)節(jié)，但對比度在環(huán)境輻射弱的時候較低。中波紅外的波長范圍為3～5mm，其主要靠物體自身輻射成像，在濕熱環(huán)境下探測能力更強，熱目標(biāo)更明顯[2]。圖1展示了中短波雙波段探測器在下午3:00采集到的一組圖片，此時自然環(huán)境中輻射較強，可以看出短波圖像擁有更多的紋理細(xì)節(jié)，圖片內(nèi)包含的更多是太陽輻射反射帶來的信息，效果和可見光類似。中波圖像缺少紋理信息，但對熱目標(biāo)更敏感。圖2展示了同一臺紅外探測器在傍晚7:30采集到的圖像，此時自然環(huán)境中輻射非常弱，短波圖像細(xì)節(jié)信息較白天弱了很多，對比度也降低了很多，而中波圖像目標(biāo)和背景輪廓更鮮明。針對以上中短波特性，本文提出了一種針對弱背景輻射條件下的中短波雙波段融合算法。

1 算法分析

根據(jù)人眼成像特點，Edwin Land通過研究其逆過程，提出了Retinex理論，并成功用于圖像增強、去霧等多個領(lǐng)域[3]。對比傳統(tǒng)直方圖均衡的方法，基于Retinex理論的方法克服了原始圖像多個灰度級在處理過程中合成一個灰度造成細(xì)節(jié)丟失的問題。Retinex模型中，將圖像分解為亮度圖像和反射圖像，通過改變亮度圖像和反射圖像之間的比例來達(dá)到圖像增強的目的[4]。基于Retinex理論的增強算法已在可見光圖像增強領(lǐng)域中廣泛使用，短波圖像與可見光圖像相似，擁有更多的細(xì)節(jié)，但在外界輻射光源較微弱的時候，總體像素值普遍偏低，呈現(xiàn)畫面較暗對比度較低，因此適合采用單尺度Retinex圖像增強算法做融合前的增強處理。灰度圖SSR實現(xiàn)原理如公式(1)、(2)、(3)所示：

(,)＝ln(,)－ln[(,)*(,)] (1)

弱背景輻射下的短波圖像經(jīng)過SSR處理后如圖3所示，可以看到原圖在經(jīng)過SSR增強后，圖像對比度有了較大改善，左上角物體和右側(cè)細(xì)節(jié)更為清晰地展現(xiàn)在了人眼面前，經(jīng)過SSR增強后的短波圖像更有利于提取顯著性特征以及高頻細(xì)節(jié)信息。

分別對短波圖像和中波圖像濾波提取高頻細(xì)節(jié)圖層和低頻背景圖層，對短波圖像采取均值濾波，但由于中波圖像缺乏細(xì)節(jié)但具有更分明的輪廓信息，因此對中波圖像采用雙邊濾波。如高斯濾波等傳統(tǒng)濾波器在濾波的同時會濾除為高頻信號的圖像邊界，因此圖像包括邊界在內(nèi)的整體都會模糊。雙邊濾波則同時關(guān)注濾波窗口中心點與其他點之間的灰度相似程度，同時也關(guān)注他們之間幾何鄰近度，因此雙邊濾波具有良好的保邊特性。雙邊濾波定義表達(dá)式如公式(4)、(5)、(6)、(7)所示：

圖1 白天短波（左）和中波（右）圖像對比

Fig.1 Short wave by daylight(left) and medium wave(right) contrast

圖2 傍晚短波（左）和中波（右）圖像對比

圖3 短波圖像原圖（左）與經(jīng)過SSR增強后的圖像（右）

式中：

上面方程中，＝(1,2)為區(qū)域中心像素點位置坐標(biāo)；＝(1,2)為區(qū)域相鄰像素點位置坐標(biāo)；BF()為輸出圖像；權(quán)重d(,)和r(,)分別度量了區(qū)域中心像素點與鄰近像素點的幾何鄰近度與灰度相似度；d和r分別為空間距離權(quán)系數(shù)參數(shù)和圖像灰度權(quán)系數(shù)，d,r為歸一化系數(shù)[6]。

對中波原圖和經(jīng)過SSR增強后的短波圖像進(jìn)行顯著性分析，本文采用的顯著性計算模型是由上海交大侯曉迪在CVPR上提出的SR模型[7]，該模型核心思想如下：人們的視覺對信號的變化部分更為敏感，視覺系統(tǒng)抑制頻繁出現(xiàn)的特征，但對非常規(guī)的特征保持敏感，圖像可分解為如公式(8)所示兩個部分。

(原圖)＝(非常規(guī)變化)＋(常規(guī)變化) (8)

侯曉迪[7]發(fā)現(xiàn)在圖像樣本非常大的時候，經(jīng)過傅里葉變換后的振幅譜取對數(shù)平均值正比于它們的頻率，因此單獨一幅圖像的振幅譜取對數(shù)后減去大量圖像樣本平均振幅譜取對數(shù)的值即為該圖像的顯著性部分。

對獲得的兩幅顯著性圖像每個像素點都取兩個矩陣中大的值，就得到了一幅顯著值圖，再用這兩個圖分別和這個顯著值圖去比較，如果某點的像素值相等，那顯著權(quán)重圖就是1，否則就是0，得到二值顯著權(quán)值圖像。使用二值顯著權(quán)值作為引導(dǎo)圖像，分別對中波原圖和經(jīng)過SSR增強的短波圖像進(jìn)行引導(dǎo)濾波得到兩個波段的權(quán)重圖。He等人在2010年首次提出了引導(dǎo)濾波（Guide Filter）算法[8]，2013年Li等人也將基于顯著性的引導(dǎo)濾波用于圖像融合[9]。引導(dǎo)濾波將濾波過程當(dāng)作一個加權(quán)和過程，可由公式(9)表示：

式中：為輸出圖像；為引導(dǎo)圖像；為輸入圖像。

將引導(dǎo)圖像和輸出圖像用一個線性模型表示，如公式(10)所示：

R＝aI＋b,"∈w(10)

式中：w表示以像素點為中心，大小為(2＋1)×(2＋1)的窗口。,的值由公式(11)所示的代價函數(shù)(a,b)進(jìn)行窗口w最小化所確定，由公式(11)可以解出公式(12)和公式(13)：

式中：||為窗口內(nèi)的像素個數(shù)；和2為輸入圖像在窗口內(nèi)的均值和方差；為平滑因子；為濾波輸入圖像[10-11]。

使用二值顯著圖作為引導(dǎo)圖像引導(dǎo)濾波得到的權(quán)重圖對低頻背景圖層和高頻細(xì)節(jié)層加權(quán)和，得到最終融合圖像。該算法總體流程框架如圖4所示。

2 仿真及結(jié)果分析

本文采用320×256中短波雙波段紅外探測器，采集到了4組較為典型的場景圖片進(jìn)行仿真展示，場景一為下午3:00陽光充足背景輻射較強時所拍攝的天空與建筑圖片，此時短波圖像細(xì)節(jié)豐富，天空云層次分明。場景二為與場景一相近場景于晚上8:30所拍攝到的圖片，此時太陽完全落山，環(huán)境輻射極弱，由于短波成像特點，此時短波圖像對比度極低，細(xì)節(jié)損失極大。場景三為下午6:30所拍攝到的建筑群及屋頂?shù)奶柲馨搴吞柲軣崴鳎藭r太陽已快落山，環(huán)境輻射較白天弱，可以看到中波和短波由于成像機理差異，太陽能板和太陽能熱水器上所呈現(xiàn)的像素值截然相反。場景4同樣為晚上8:30所拍攝的照片，短波圖像基本失去清晰成像能力。

作為對比所使用的融合算法包括小波融合算法（Wavelet Fusion），基于Retinex的拉普拉斯金字塔融合算法（Single Scale Retinex Laplacian）[12]，拉普拉斯金字塔（Laplacian Pyramid）融合方法和基于五株采樣的提升小波融合法（Lifting Scheme Quincunx）[13]，分別簡稱為“WF”、“SSRL”、“LELP”與“LISQ”。上述算法與本文提出算法融合圖像在4個場景下效果對比如圖5，圖6，圖7和圖8所示。

圖4 本文算法總體流程框架

圖5 場景一融合效果對比

圖6 場景二融合效果

圖7 場景三融合效果

圖8 場景四融合效果

從上面圖像觀感對比可以看出，相較于其他算法，本文算法處理得到的融合圖像細(xì)節(jié)豐富，對比度較大，且圖像灰度過渡均勻。在場景一中，可以看出在白天陽光充足背景輻射強時，各算法表現(xiàn)均良好，由于本文算法短波圖像經(jīng)過SSR增強處理，在對比度和細(xì)節(jié)上表現(xiàn)更好一些。但在場景二中，此時環(huán)境輻射弱，短波圖像只有少部分太陽能熱水器的信息，除了本文算法和傳統(tǒng)小波算法，其他融合均出現(xiàn)了因融合灰度巨大反差形成的灰度過渡不均勻現(xiàn)象，但傳統(tǒng)小波融合由于其本身融合機理，呈現(xiàn)塊效應(yīng)。本文融合算法則很好地保留了中波圖像的邊界輪廓信息，圖像看上去更加自然。場景三和場景四本文算法相比其他算法輪廓更清晰，對比度更大，圖像更均勻，場景與目標(biāo)過渡也更自然。

目前為止，沒有一種可以全方位評價融合圖像質(zhì)量的客觀指標(biāo)，且單一指標(biāo)也無法適用于所有目標(biāo)場景。因此下面使用了7個常用的圖像融合的客觀評價指標(biāo)來評價上面5種算法好壞，包括相對標(biāo)準(zhǔn)差（RelativeStandard Deviation）、信息熵（Entropy）、均方根誤差（Mean-root-square Error）、峰值信噪比（Peak Signal-to-noise Ratio）、互信息（Mutual Information）、結(jié)構(gòu)相似性（Structural Similarity）和交叉熵（Cross Entropy），分別記為“RSTD”、“IE”、“MSE”、“PSNR”、“MI”、“SSIM”和“CE”。相對標(biāo)準(zhǔn)差與均方誤差反映了融合圖像與源圖像灰度相似程度，評價值越小，說明融合圖像越相似。信息熵用于衡量融合圖像中信息豐富程度，評價值越大說明融合圖像信息越豐富。峰值信噪比用于衡量有效信息與噪聲之間的比率，評價值越大說明圖像有效信息更多。結(jié)構(gòu)相似度衡量融合圖像與源圖像的相似性，評價值越大說明融合圖像亮度、對比度和結(jié)構(gòu)越相似，融合質(zhì)量越好。交叉熵反映了融合圖像與源圖像所含信息量的相對衡量，評價值越大，融合圖像與源圖像相似性越大。互信息度量了融合圖像保留了源圖像信息量的多少，評價值越大說明融合效果越好[14]。4個場景各個融合算法的上述7個客觀評價指標(biāo)統(tǒng)計如表1，表2，表3和表4所示。

表1 場景一各評價指標(biāo)

表2 場景二各評價指標(biāo)

表3 場景三各評價指標(biāo)

表4 場景四各評價指標(biāo)

可以看出，在以上所拍攝的試驗場景中，本文融合算法的信息熵、結(jié)構(gòu)相似度、互信息、均方誤差、峰值信噪比幾個指標(biāo)較其他算法有明顯優(yōu)勢，說明本文算法更好地獲取了兩個波段的細(xì)節(jié)，尤其在弱環(huán)境輻射背景下比其他算法有著更多的信息。

3 結(jié)論

隨著當(dāng)今成像技術(shù)向著雙波段甚至多波段、多光譜趨勢發(fā)展，多種雙波段及多波段的融合算法也相繼被提出，但這些算法針對弱環(huán)境輻射下的紅外中短波雙波段較少。本文基于紅外中短波兩個波段的圖像特點，提出了一種適用于弱環(huán)境輻射的圖像融合方法，該方法原理簡單，并使用中短波碲鎘汞紅外探測器實際采圖，與其他算法做了對比試驗。實驗結(jié)果表明，該方法較好地保留了兩個波段各自的顯著性特點，增強了融合圖像中的短波細(xì)節(jié)，擴大了整體對比度，保留了中波圖像輪廓信息，且不會產(chǎn)生基于拉普拉斯相關(guān)融合算法在有些場景出現(xiàn)融合效果不自然的現(xiàn)象。

[1] 李朝陽. 紅外多波段圖像融合算法研究[D]. 成都: 中國科學(xué)院大學(xué)(中國科學(xué)院光電技術(shù)研究所), 2018.

LI Zhaoyang. Research on multi band infrared image fusion algorithm[D]. Chengdu: University of Chinese Academy of Sciences(Institute of Optics and Electronics, Chinese Academy of Sciences), 2018.

[2] 朱小紅. 多波段紅外圖像差異特征形成機理研究[D]. 太原: 中北大學(xué), 2016.ZHU Xiaohong. Research on the forming mechanism of multi-band infrared images’difference features[D]. Taiyuan: North University Of China, 2018.

[3] Jobson D J, Rahman Z, Woodell G A. Properties and performance of acenter/surround retinex[C]//,, 2002, 6(3): 451-462.

[4] Meylan L , Süsstrunk, Sabine. Color Image Enhancement Using A Retinex-Based Adaptive Filter[C]//, 2004: 359-363

[5] 付國文. 基于Retinex的圖像增強算法研究及實現(xiàn)[D]. 上海: 上海交通大學(xué).

FU Guowen. Research of Image Enhancement Algorithms Based On Retinex And Implementation[D]. Shanghai: Shanghai Jiao Tong University.

[6] 蔣輝. 雙邊濾波理論及其在遙感圖像處理中的應(yīng)用研究[D]. 成都: 西南交通大學(xué), 2014.

JIANG Hui. Research For Bilateral Filtering Theory And ItsApplication In Remote Sensing Image Processing[D]. Chengdu: Southwest JiaoTong University, 2014.

[7] HOU Xiaodi, ZHANG Liqing. Saliency Detection: A Spectral Residual Approach[C]//,, 2007, 17(27): 1063-6919.

[8] HE K, SUN J, TANG X.[M]. Berlin: Computer Vision–ECCV Springer Berlin Heidelberg, 2010.

[9] LI S, KANG X, HU J. Image Fusion With Guided Filtering[C]//, 2013, 22(7): 2864-2875.

[10] 姚吉. 基于引導(dǎo)濾波的NSCT域圖像融合方法研究[D]. 南昌: 南昌航空大學(xué), 2018.

YAO Ji. Research on Image Fusion Based on Guide Filter in NSCT domain[D]. Nanchang: Nanchang Hangkong University, 2018.

[11] 李甜甜.基于導(dǎo)向濾波和多尺度分析的圖像融合算法研究[D]. 西安: 西安電子科技大學(xué), 2015.

LI Tiantian. Image fusion based on Guided filter and Multi-scale analysis[D]. Xi’an: Xidian University, 2015.

[12] WU R, YU D, WU H, et al. An Improve Fusion Method For Infrared And Low-Light Level Visble Image [R]. ICCWAMTIP, 2017.8301467

[13] 祝青, 劉斌. 提升五株形小波在多光譜圖像融合中的應(yīng)用[J].計算機工程與應(yīng)用, 2012, 48(11): 170-177.

ZHU Qing, LIU Bin. Application of lifting quincunx in multispectral image fusion[J]., 2012, 48(11): 170-177.

[14] 張小利, 李雄飛, 李軍.融合圖像質(zhì)量評價指標(biāo)的相關(guān)性分析及性能評估[J]. 自動化學(xué)報, 2014, 40(2): 306-315.

ZHANG Xiaoli, LI Xiongfei, LI Jun. Validation and Correlation Analysis of Metrics for Evaluating Performance of Image Fusion[J]., 2014, 40(2): 306-315.

Infrared Image Fusion Method for Medium-wave and Short-wave Images in Weak Ambient Radiation

ZHANG Runqi1，YANG Bo1，XIA Likun2，ZHAO Canbing1，SU Junbo1

(1.,650223,; 2.,650032,)

This study introduces a method of infrared image fusion for the infrared medium- and short-wave dual band. This method uses the single scale retinex(SSR) method for processing the short-wave image. Following this, the short-wave and medium-wave images are processed to obtain the details and background layers by average filtering and bilateral filtering, respectively. Using the weight map based on spectral residual significant and guided filter, the background and details layers of the short-wave and medium-wave images are fused to obtain the final fused image. From the results of the experimental simulation and a comparison with various fusion algorithms based on wavelet and the Laplacian pyramid, the method proposed in this work is observed to be simple and performs well in most scenarios.

medium and short wave infrared image, image fusion, dual band, low environmental radiation, guided filter

TP391.41

A

1001-8891(2020)05-0440-07

2019-09-05；

2020-04-26.

張潤琦（1994-），男，碩士研究生，研究方向為紅外圖像處理。E-mail: 451404920@qq.com。