基于NSST與引導(dǎo)濾波相結(jié)合的紅外與可見(jiàn)光圖像融合方法研究

曹宇彤，李向陽(yáng)，陳笑，宦克為

（長(zhǎng)春理工大學(xué) 物理學(xué)院，長(zhǎng)春 130022）

圖像融合技術(shù)通過(guò)使用特定的算法來(lái)處理多個(gè)傳感器的數(shù)據(jù)信息，進(jìn)而形成更加適合人類(lèi)視覺(jué)認(rèn)知系統(tǒng)的新圖像，其主要應(yīng)用于軍事監(jiān)視、目標(biāo)跟蹤、遙感探測(cè)、生物監(jiān)測(cè)等多種領(lǐng)域［1-2］。當(dāng)前，紅外與可見(jiàn)光圖像融合技術(shù)是圖像融合技術(shù)的研究熱點(diǎn)之一［3］。紅外熱成像系統(tǒng)通過(guò)測(cè)量目標(biāo)的熱輻射來(lái)獲得紅外圖像，相比于可見(jiàn)光圖像，其不受天氣等因素影響。可見(jiàn)光圖像具有豐富的細(xì)節(jié)信息，但無(wú)法實(shí)現(xiàn)全天候工作。因此，紅外和可見(jiàn)光圖像融合技術(shù)可以提取兩者之間的優(yōu)勢(shì)信息，彌補(bǔ)彼此的不足。

基于傳統(tǒng)的融合方法如基于金字塔變換、小波變換等方法在各個(gè)單項(xiàng)性能表現(xiàn)整體較為良好，但也沒(méi)有特別突出的融合性能。多尺度變換方法能夠更好地提取源圖像的重要信息，從而被廣泛地應(yīng)用到圖像融合領(lǐng)域之中。Nunes等人提出二維經(jīng)驗(yàn)?zāi)B(tài)分解（Bidimensional Empirical Mode Decomposition，BEMD）算法提升了紅外光和可見(jiàn)光的融合質(zhì)量，其融合效果優(yōu)于離散小波變換［4］。Arthur等人提出非下采樣輪廓波變換（Nonsubsampled contourlet transform，NSCT）方法來(lái)實(shí)現(xiàn)圖像融合，改善了輪廓波平移時(shí)易發(fā)生變化的缺陷，提高了融合圖像的質(zhì)量［5］。非下采樣剪切波變換（Non-subsampled Shearlet Transform，NSST）具有較高的方向靈敏度，能夠更加高效地分解源圖像，減少算法的運(yùn)算量［6-8］。對(duì)于多尺度圖像融合方法，融合圖像質(zhì)量與圖像低頻、高頻的融合規(guī)則密切相關(guān)。主成分分析、稀疏表示等算法常被用作圖像融合的融合規(guī)則，提升融合圖像的質(zhì)量。基于圖像的低頻部分，曹義親等人［9］使用壓縮感知（Compressed Sensing，CS）算法快速地獲取紅外光與可見(jiàn)光圖像特征信息，節(jié)省了運(yùn)算時(shí)間。Rahman等人［10］利用模糊邏輯（Fuzzy Logic，F(xiàn)L）算法解決了圖像背景、邊緣、輪廓等不確定的問(wèn)題，突出了紅外圖像的目標(biāo)，最大限度地提高了圖像對(duì)比度。

綜上，為解決融合圖像技術(shù)存在著圖像邊緣細(xì)節(jié)等信息保留不理想的問(wèn)題，本文提出NSST結(jié)合引導(dǎo)濾波的紅外與可見(jiàn)光圖像融合算法。通過(guò)引導(dǎo)濾波充分考慮信息的局部相關(guān)性，在目標(biāo)圖像的不同位置產(chǎn)生濾波核，在增強(qiáng)圖像的邊緣細(xì)節(jié)信息的同時(shí)，能夠更突出圖像目標(biāo)信息，提供豐富的背景細(xì)節(jié)信息，同時(shí)在融合過(guò)程中保留圖像邊緣信息，使融合的圖像更符合人眼視覺(jué)系統(tǒng)。

1 非下采樣剪切波變換

非下采樣剪切波變換主要是由非下采樣金字塔（No Subsampled Pyramid，NSP）和剪切波濾波器組（Shearlet Filter，SF）構(gòu)成，具有多尺度、多方向、平移不變性、運(yùn)算時(shí)間短等特性，能夠快速、準(zhǔn)確地提取源圖像的重要信息［9］。NSST（Nonsubsampled Shearlet Transform）變換多尺度多方向分解過(guò)程如圖1所示，即利用非下采樣金字塔濾波器組多尺度的分解源圖像，得到低頻和多層高頻子帶系數(shù)，再通過(guò)改進(jìn)的剪切波濾波器組多方向地分解不同層次的高頻子帶系數(shù)，進(jìn)而獲得多尺度、多方向的高頻子帶系數(shù)［11-15］。

圖1 NSST多尺度多方向分解過(guò)程

2 自適應(yīng)引導(dǎo)濾波

引導(dǎo)濾波是一種保持圖像邊緣的濾波器，具有良好地去除噪聲、保持邊緣等特性，被廣泛應(yīng)用于圖像去噪、圖像融合等領(lǐng)域之中。其主要通過(guò)引導(dǎo)圖像對(duì)輸入圖像進(jìn)行濾波處理，從而得到具有與引導(dǎo)圖像相似的紋理輸出圖像。在一個(gè)二維窗口內(nèi)的線(xiàn)性模型公式如下：

其中，Ii、qi分別為輸入、輸出圖像的像素；ak和bk是當(dāng)窗口位于中心時(shí)該線(xiàn)性函數(shù)的系數(shù)。如若將輸入圖像作為引導(dǎo)圖像，并對(duì)雙邊求取梯度，可以得到：

當(dāng)引導(dǎo)圖像出現(xiàn)梯度變化時(shí)，輸出圖像也會(huì)出現(xiàn)類(lèi)似的梯度變化。即在引導(dǎo)圖像出現(xiàn)邊緣時(shí)，輸出圖像也會(huì)出現(xiàn)類(lèi)似的邊緣。

為了求解線(xiàn)性系數(shù)ak和bk，并滿(mǎn)足輸入和輸出圖像之間差別最小。根據(jù)無(wú)約束圖像復(fù)原方法可以轉(zhuǎn)化為求最優(yōu)化問(wèn)題。函數(shù)為：

式中，ε為正則化參數(shù)。當(dāng)源圖像自身為引導(dǎo)圖，求出線(xiàn)性系數(shù)ak和bk的解為：

其中，μk是圖像I在窗口ωk中像素的平均值；是I在窗口ωk中像素的方差。

3 融合算法

3.1 算法模型

提出了一種NSST與引導(dǎo)濾波相結(jié)合的紅外與可見(jiàn)光圖像融合算法，其步驟如下：

（1）利用引導(dǎo)濾波提取源圖像的輪廓信息，細(xì)節(jié)圖像可通過(guò)原圖像與濾波后圖像的差分獲得。

（2）利用NSST算法將圖像分解成低頻子帶系數(shù)和多個(gè)高頻子帶系數(shù)。

（3）利用模糊邏輯算法使濾波后圖像的低頻信息融合，得到低頻融合圖像，利用區(qū)域能量最大化方法將圖像高頻融合得到新的高頻圖像。

（4）通過(guò)NSST重構(gòu)得到融合圖像。

NSST與引導(dǎo)濾波相結(jié)合的圖像融合算法模型如圖2所示。

圖2 NSST與PCNN相結(jié)合的圖像融合算法模型

3.2 自適應(yīng)引導(dǎo)濾波

從引導(dǎo)濾波模型可知，正則化參數(shù)大小對(duì)引導(dǎo)濾波的濾波效果起著重大作用。參數(shù)ε過(guò)小不利于圖像在非邊緣區(qū)域的平滑，過(guò)大則不利于圖像邊緣保持原有梯度。正則化參數(shù)也影響著圖像信息熵。隨著其正則化參數(shù)的不斷增大，紅外和可見(jiàn)光的近似圖像的信息熵先保持不變，后逐漸減小，而融合圖像的信息熵也呈類(lèi)似變化。在兼具考慮融合圖像信息熵最大化的同時(shí)，也要考慮正則化參數(shù)不宜過(guò)小，從而保持圖像的光滑程度。因此，提出了一種基于自適應(yīng)的引導(dǎo)濾波算法來(lái)確定參數(shù)ε的大小，具體步驟如下：

（1）利用引導(dǎo)濾波對(duì)紅外圖像進(jìn)行濾波處理，設(shè)定其正則化參數(shù)的初始值εIR=0，再以0.1大小步長(zhǎng)逐漸增大εIR，直到近似紅外圖像的信息熵發(fā)生變化為止。此時(shí)，選取紅外圖像的正則化參數(shù)大小ε1，取值為（εIR-0.1）。同理，可見(jiàn)光圖像的正則化參數(shù)ε2也如上述方法取得。

（2）選取ε1、ε2之間的最小值作為仿真實(shí)驗(yàn)的正則化參數(shù)ε0。并計(jì)算在ε0作用下，低頻融合圖像的信息熵Eε0。

（3）確定不同正則化參數(shù)作用下，低頻融合圖像的信息熵的最大值Emax。

3.3 低頻子帶融合規(guī)則

模糊邏輯是一種用數(shù)學(xué)語(yǔ)言（如高斯隸屬度函數(shù)等）表達(dá)模糊概念的方法。在圖像融合領(lǐng)域之中，模糊邏輯算法能夠分辨、解決圖像中低頻界限問(wèn)題。因此，采用模糊邏輯中高斯隸屬度函數(shù)進(jìn)行加權(quán)平均，實(shí)現(xiàn)低頻子帶的融合，其數(shù)學(xué)式如下：

3.4 高頻融合規(guī)則

對(duì)于圖像高頻子帶融合采用區(qū)域能量最大化融合規(guī)則。在高頻子帶能量較大的區(qū)域中，圖像的細(xì)節(jié)、紋理較為明顯，有利于融合圖像信息的保持。紅外圖像和可見(jiàn)光圖像中高頻子帶的區(qū)域能量公式如下：

通過(guò)比較紅外與可見(jiàn)光圖像高頻子帶區(qū)域能量的大小，來(lái)確定融合圖像高頻子帶系數(shù)大小，進(jìn)而實(shí)現(xiàn)圖像高頻子帶融合。高頻子帶系數(shù)的大小計(jì)算公式如下：

4 實(shí)驗(yàn)及結(jié)果分析

為了驗(yàn)證融合的有效性，從數(shù)據(jù)集選取三組配準(zhǔn)完成的紅外與可見(jiàn)光圖像進(jìn)行仿真實(shí)驗(yàn)。并以離散小波變換、壓縮感知、BEMD、NSCT結(jié)合脈沖耦合神經(jīng)網(wǎng)絡(luò)（NSCT+PCNN）、NSST域內(nèi)結(jié)合模糊邏輯（NSST+FL）的融合等方法為對(duì)照方法。其中，DWT方法中，DWT采用單層“bior3.7”小波，采用加權(quán)平均的方法融合；BEMD方法中，BEMD將源圖像分解成3個(gè)本征模態(tài)函數(shù)和1個(gè)殘余分量；NSCT結(jié)合PCNN的方法中，NSCT變換采用“maxflat”濾波器、“dmaxflat7”濾波器，其方向級(jí)數(shù)[3,3]。最后，通過(guò)與上述5種算法比較，從主觀和客觀雙重角度評(píng)價(jià)本文所提出的算法優(yōu)劣。

第一組實(shí)驗(yàn)圖像采用“UN Camp”紅外與可見(jiàn)光圖像進(jìn)行融合，圖像以及融合結(jié)果如圖3所示。圖 3（a）、圖 3（b）分別為紅外與可見(jiàn)光圖像。由圖3（c）可知，融合圖像的圖像背景不夠明顯。從圖 3（d）、圖 3（e）可知，融合圖像存在虛影模糊，融合效果不夠理想。從圖3（f）可知，融合圖像背景信息較為模糊，不利于觀察。從圖3（g）可知，NSST結(jié)合模糊邏輯融合方法，背景細(xì)節(jié)豐富，但導(dǎo)致目標(biāo)信息不明顯，同時(shí)難以保持融合圖像邊緣。圖3（h）的邊緣輪廓更好，對(duì)比度高，背景細(xì)節(jié)豐富，視覺(jué)效果更好。

圖3 “UN Camp”紅外和可見(jiàn)光圖像以及融合結(jié)果

第二組實(shí)驗(yàn)圖像采用“dune”紅外和可見(jiàn)光圖像進(jìn)行融合，圖像以及融合結(jié)果如圖4所示。圖4（c）融合結(jié)果對(duì)比度相對(duì)較低。圖4（d）、圖4（e）中圖像存在著“朦朧感”視覺(jué)效果相對(duì)較差。圖4（f）、圖4（g）沒(méi)有明顯地突出目標(biāo)信息，邊緣細(xì)節(jié)不夠清晰。圖4（h）的圖像具有很高的對(duì)比度，且相對(duì)光滑，邊緣細(xì)節(jié)清晰，整體視覺(jué)效果好。

圖4 “dune”紅外和可見(jiàn)光圖像以及融合結(jié)果

為了盡可能客觀地評(píng)價(jià)圖像的融合質(zhì)量，選取信息熵（E）、平均梯度（AG）、空間頻率（SF）、像素交叉熵（CE）、像素互信息（MI）五種評(píng)價(jià)指標(biāo)對(duì)融合結(jié)果進(jìn)行評(píng)價(jià)。

表1為“UN Camp”紅外與可見(jiàn)光圖像融合結(jié)果的評(píng)價(jià)指標(biāo)，表2為“dune”紅外和可見(jiàn)光圖像以及融合結(jié)果的評(píng)價(jià)指標(biāo)。由表1可以看出，對(duì)于“UN Camp”紅外與可見(jiàn)光圖像融合效果，本文方法均好于其他對(duì)比算法。圖像質(zhì)量評(píng)價(jià)指標(biāo)中的信息熵、平均梯度、空間頻率、像素互信息、像素交叉熵至少分別提高0.10%、0.62%、1.87%、3.25%、10.02%；由表 2可以看出，對(duì)于“dune”紅外與可見(jiàn)光圖像融合效果，本文所提出的方法在平均梯度（AG）的客觀評(píng)價(jià)不如（NSST+FL）的方法，其余皆?xún)?yōu)于其他算法。圖像質(zhì)量評(píng)價(jià)指標(biāo)中的信息熵、空間頻率、像素互信息、像素交叉熵分別提高了1.55%、0.52%、9.59%、0.34%。由表1、表2實(shí)驗(yàn)數(shù)據(jù)可知，本文方法在評(píng)價(jià)結(jié)果中最優(yōu)值的數(shù)量最多，運(yùn)行時(shí)間相對(duì)較快，客觀驗(yàn)證了引導(dǎo)濾波與NSST相結(jié)合方法的優(yōu)越性。

表1 “UN Camp”紅外與可見(jiàn)光圖像融合效果評(píng)價(jià)

表2 “dune”紅外與可見(jiàn)光圖像融合效果評(píng)價(jià)

綜上，運(yùn)用引導(dǎo)濾波將源圖像分解，保持源圖像邊緣細(xì)節(jié)信息，同時(shí)使用加權(quán)平均的模糊邏輯算法對(duì)圖像低頻部分進(jìn)行融合，解決了融合過(guò)程中低頻界限不清晰的問(wèn)題，更好地表達(dá)源圖像的特征。并且在融合圖像高頻部分中，采用區(qū)域能量最大化方法，保持圖像高頻信息，使融合后的高頻子帶能更準(zhǔn)確地反應(yīng)圖像細(xì)節(jié)信息，在保障融合圖像的細(xì)節(jié)信息的同時(shí)提高了融合圖像質(zhì)量。

5 結(jié)論

提出了一種NSST與引導(dǎo)濾波相結(jié)合的紅外與可見(jiàn)光圖像融合方法。采用引導(dǎo)濾波提取輸入圖像的細(xì)節(jié)信息，再通過(guò)NSST算法將濾波后的圖像和細(xì)節(jié)圖像分解成低頻子帶和高頻子帶。對(duì)于圖像的高頻、低頻部分，分別采用區(qū)域能量最大化法與自適應(yīng)模糊邏輯算法。實(shí)驗(yàn)結(jié)果表明，相比于傳統(tǒng)的算法，本文方法提高了融合圖像的對(duì)比度，在保持融合圖像邊緣信息的前提下，更有利于人眼觀察。同時(shí)在保障運(yùn)行時(shí)間相對(duì)迅速的前提下，融合效果在信息熵、空間頻率、像素互信息、像素交叉熵等多個(gè)客觀評(píng)價(jià)指標(biāo)至少提高了0.10%、0.52%、3.25%、0.34%。