基于自適應(yīng)NSST—PCNN的紅外與可見光圖像融合方法研究

李向陽，曹宇彤，陳笑，宦克為，王迪

（1.長春理工大學(xué) 理學(xué)院，長春 130022；2.中移建設(shè)有限公司吉林分公司，長春 130112）

圖像融合技術(shù)通過使用特定的算法來處理多個傳感器的數(shù)據(jù)信息，進(jìn)而形成更加適合人類視覺認(rèn)知系統(tǒng)的新圖像，其主要應(yīng)用于軍事監(jiān)視、目標(biāo)跟蹤、遙感探測、生物監(jiān)測等多種領(lǐng)域［1］。紅外傳感器通過測量對象的熱輻射來獲得紅外圖像，相比于可見光圖像，紅外圖像存在諸如分辨率差和對比度低的缺點［2-4］；可見光圖像是傳感器依據(jù)場景中物體反射率不同進(jìn)行成像，具有豐富的光譜信息，但不適合在復(fù)雜環(huán)境下成像。紅外和可見光圖像融合技術(shù)可以提取兩者之間的優(yōu)勢信息，彌補彼此的不足，使圖像更適合人類觀察使用，因此，該技術(shù)一直是圖像融合領(lǐng)域的研究熱點。

由于多尺度變換方法能夠很好地提取源圖像的重要信息，已被眾多學(xué)者廣泛的應(yīng)用到圖像融合領(lǐng)域之中。Martin［5］提出輪廓波變換的方法提取圖像的紋理、邊緣等信息，有效提升了融合效果。Arthur［6］提出非下采樣輪廓波變換（Nonsubsampled Contourlet Transform，NSCT）方法來實現(xiàn)圖像融合，改善了輪廓波平移時易發(fā)生變化的缺陷，提高了融合圖像的質(zhì)量。Arthur［7-9］提出的非下采樣剪切波變換（Non-subsampled Shearlet Transform，NSST）方法，具有較高的方向靈敏度，能夠更加高效地分解源圖像，減少算法的運算量。而在多尺度圖像融合方法中，圖像低頻與高頻的融合規(guī)則嚴(yán)重影響著圖像融合質(zhì)量，圖像低頻部分融合主要強調(diào)圖像的目標(biāo)信息，圖像高頻部分融合主要是保留源圖像的細(xì)節(jié)信息。基于圖像的低頻部分融合，曹義親等人［11］使用壓縮感知（Compressed Sensing，CS）算法快速地獲取紅外光與可見光圖像特征信息，節(jié)省了運算時間；Rahman等人［12］利用模糊邏輯算法解決了圖像背景、邊緣、輪廓等不確定的問題，突出了紅外圖像的目標(biāo)，最大限度地提高了圖像對比度。針對圖像的高頻部分融合，朱強波等人［13］運用脈沖耦合神經(jīng)網(wǎng)絡(luò)（Pulse Coupled Neural Network，PCNN）算法減少了細(xì)節(jié)信息的丟失，進(jìn)一步提高目標(biāo)識別率，使融合后圖像更加清晰。

綜上，提出一種NSST結(jié)合自適應(yīng)PCNN方法。

首先，利用NSST將源圖像進(jìn)行多尺度分解；其次，使用自適應(yīng)模糊邏輯算法進(jìn)行低頻子帶融合，使用鏈接強度自適應(yīng)PCNN算法實現(xiàn)圖像高頻部分融合；最后，利用NSST逆變換重構(gòu)新的融合圖像。實驗結(jié)果表明，相比于傳統(tǒng)方法，該方法提供的背景細(xì)節(jié)更加豐富，保留的圖像細(xì)節(jié)信息更加完整。

1 非下采樣剪切波變換

非下采樣剪切波變換主要是由非下采樣金字塔（No subsampled Pyramid，NSP）和剪切波濾波器組（Shearlet Filter，SF）構(gòu)成，具有多尺度、多方向、平移不變性、運算時間短等特性，能夠快速、準(zhǔn)確地提取源圖像的重要信息。NSST變換多尺度多方向分解過程如圖1所示，即利用非下采樣金子塔濾波器組多尺度的分解源圖像，得到低頻和多層高頻子帶系數(shù)；再通過改進(jìn)的剪切波濾波器組多方向的分解不同層次的高頻子帶系數(shù)，進(jìn)而獲得多尺度、多方向的高頻子帶系數(shù)。

圖1 NSST多尺度多方向分解過程

對于NSST尺度的分解，主要通過紅外和可見光圖像尺寸大小來確定分解層數(shù)（K）值，其計算公式如式（1）所示：

式中，m，n分別為圖像尺寸的高、寬；∏為無窮大取整函數(shù)。當(dāng)對源圖像進(jìn)行l(wèi)級剪切波方向分解時，可以得到數(shù)量為2l+1的方向子帶圖像。在仿真實驗中，選擇剪切濾波器尺寸為16×16。

2 PCNN模型

通過模擬動物視覺皮層系統(tǒng)處理信號的過程，給出一種新型的神經(jīng)網(wǎng)絡(luò)模型—脈沖耦合神經(jīng)網(wǎng)絡(luò)模型［15］。與傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)不同的是，PCNN算法在進(jìn)行圖像處理時不需要訓(xùn)練樣本，節(jié)省了運算時間，提高了圖像融合的實時性。更重要的是，針對圖像高頻部分，使用PCNN算法能夠有效地保留紅外圖像的細(xì)節(jié)信息。其具體模型如下：

式中，下標(biāo)(i,j)為像素的坐標(biāo)；Sij作為神經(jīng)元的外層刺激；n為迭代次數(shù)；kl為神經(jīng)元與周圍鏈接的范圍，設(shè)定的鏈接范圍3×3；Wij為連接權(quán)系數(shù)矩陣；Fij、Lij分別表示反饋輸入、鏈接輸入；Uij表示內(nèi)部活動項；θij為動態(tài)閾值；β是內(nèi)部活動鏈接系數(shù)。

在反饋輸入和鏈接輸入的共同作用下，Uij產(chǎn)生變化。當(dāng)Uij(n) >θij(n)，神經(jīng)元被激活，PCNN的脈沖輸出Yij(n)＝1，產(chǎn)生點火；最后，讓上述過程反復(fù)迭代，直到滿足所需條件為止。

3 融合算法

3.1 算法模型

提出了一種換NSST域內(nèi)結(jié)合自適應(yīng)的PCNN的融合算法。其融合算法步驟如下：

（1）利用NSST變換將源圖像分解成一個低頻子帶系數(shù)和多層次、多方向的高頻子帶系數(shù)；

（2）對于圖像低頻融合，使用模糊邏輯中高斯隸屬度函數(shù)進(jìn)行加權(quán)平均方法；而對于圖像高頻部分的融合，采用自適應(yīng)的PCNN的方法。

（3）將低頻、高頻圖像進(jìn)行NSST逆變換，重新構(gòu)成新的融合圖像。

該算法的具體模型如圖2所示。

圖2 NSST與PCNN相結(jié)合的圖像融合算法模型

3.2 低頻子帶融合規(guī)則

模糊邏輯是一種用數(shù)字語言（如高斯隸屬度函數(shù)等）表達(dá)模糊概念的方法。在圖像融合領(lǐng)域之中，經(jīng)常運用模糊邏輯算法能夠分辨、解決圖像中低頻界限問題。因此，采用模糊邏輯中高斯隸屬度函數(shù)進(jìn)行加權(quán)平均的方法，進(jìn)而實現(xiàn)低頻子帶的融合，其數(shù)學(xué)式如下：

高斯函數(shù)調(diào)整參數(shù)對低頻圖像融合有著至關(guān)重要的影響。傳統(tǒng)的隨機(jī)取值使融合效果并不理想，因此針對參數(shù)的選取，提出了一種基于自適應(yīng)的模糊邏輯算法來確定k值。其具體步驟如下：

（2）設(shè)定k=0.1，以0.1步長逐漸增大，當(dāng)k=2時停止。計算不同k值的可見光像素的平均背景 隸 屬 度 ηk；并 求 取 ηk與 η0差 值 的 絕 對 值

（3）找出min | ηk-η0|所對應(yīng)的高斯函數(shù)調(diào)整參數(shù)k0值，并計算對應(yīng)的交叉熵CE0；

（4）計算不同值k的可見光圖像的交叉熵，找出最小交叉熵CEmin所對應(yīng)的高斯函數(shù)調(diào)整參數(shù)k1值；

（5）計算CE0與CEmin差值的絕對值 |C E0-CEmin|，判斷 | CE0-CEmin|≤δ是否成立。若判斷結(jié)果成立，k1值即為所確定的高斯函數(shù)調(diào)整參數(shù)。如果判斷結(jié)果不成立，比較k0與k1的大小。若k0≤k1，適量增加 η0值，k0≥ k1適量減小 η0值，返回第1步，直到交叉熵的差值符合要求。

3.3 高頻子帶融合規(guī)則

圖像高頻子帶通常會使用方差、絕對值最大化和區(qū)域能量等方法進(jìn)行融合，這大概會損失圖像的細(xì)節(jié)信息。為了使融合圖像的細(xì)節(jié)信息更好的保留，將采用PCNN算法實現(xiàn)圖像高頻子帶的融合。通常情況下，將單個像素的灰度值作為反饋輸入，但源圖像可能存在噪聲因素，故對源圖像進(jìn)行濾波處理；同時也要盡可能地考慮到圖像邊緣對信息的影響，對于圖像邊緣的像素大小，應(yīng)保持不變。

在PCNN模型中，鏈接強度調(diào)節(jié)著鏈接通道在內(nèi)部活動中的權(quán)重，它的選取直接影響著融合效果。而圖像的梯度表示像素之間相互影響的程度，圖像梯度大的地方，像素互相影響的程度小，連接權(quán)重小；梯度小的地方，像素互相影響的程度反而大。因此，提出一種基于區(qū)域平均度的方法來表示β。

公式（11）-（15）中，I(i , j)表示圖像的像素，g1、g2、g3、g4分別代表圖像像素在 0°、45°、90°、135°方向上梯度變化的平方和，表示局部領(lǐng)域（3×3）內(nèi)的平均梯度。而鏈接強度可以定義為：

最后，通過對平均梯度的研究，確定鏈接系數(shù)β。

圖像的高頻主要是反應(yīng)圖像的細(xì)節(jié)信息和紋理特征，高頻子帶的融合規(guī)則的優(yōu)劣影響著融合圖像的清晰度，其具體融合步驟如下所示：

（1）使用邊緣提取算子對紅外與可見光圖像進(jìn)行邊緣檢測；對于非邊緣部分，源圖像進(jìn)行濾波處理；處理后圖像的像素作為反饋輸入Fij()n。

（2）設(shè)置PCNN模型中各種參數(shù)，PCNN模型中的初始值

（3）通過PCNN模型后得到輸出激勵YVIS(i , j)、YIR(i , j)。

4 實驗結(jié)果及分析

為了驗證融合的有效性，從TNO_Image_Fu‐sion_Datase［16］數(shù)據(jù)集選取兩組配準(zhǔn)完成的紅外圖像和可見光圖像進(jìn)行仿真實驗。并以離散小波變換（DWT）、拉普拉斯金字塔（LP）、壓縮感知（CS）、NSCT、傳統(tǒng)的NSST等方法進(jìn)行對比分析。其中小波變換選取單層“bior3.7”小波，LP將源圖像分解成3層，采用加權(quán)平均的方法來實現(xiàn)圖像融合；NSCT變換采用“dmaxflat7”濾波器，其方向級數(shù)[3 ,3]，再與PCNN算法相結(jié)合。最后，通過與上述五種算法比較，從主、客觀雙重角度評價所提出的算法的優(yōu)劣。

第一組實驗圖像為“UN Camp”紅外和可見光圖像，融合結(jié)果如圖 3所示。圖3中（a）、（b）分別為紅外圖像和可見光圖像。由圖3（c）可知，融合圖像的圖像部分背景不明顯；從圖3（d）、圖3（e）可知，融合圖像存在虛影模糊，融合效果不夠理想的問題；從圖3（f）中可以看出融合圖像背景信息較模糊；通過圖3（g）可知，傳統(tǒng)的NSST域內(nèi)結(jié)和最大值的融合方法細(xì)節(jié)不突出。圖3（h）突出了紅外圖像的目標(biāo)，使融合圖像的對比度變高，視覺效果更好。

圖3 “UN Camp”紅外和可見光圖像以及融合結(jié)果

第二組實驗圖像為“pavilion”紅外和可見光圖像，融合結(jié)果如圖4所示。圖4中（a）、圖4（b）分別為紅外圖像和可見光圖像。由視覺觀察得出，圖 4（c）可見光背景信息不夠豐富；圖 4（d）并沒有明顯的突出紅外圖像的目標(biāo)；圖4（e）圖像模糊，視覺效果相對較差；融合效果不夠理想；在圖 4（f）背景信息較模糊，圖 4（g）的融合方法細(xì)節(jié)不突出。圖4（h）具有豐富的可見光背景信息，有效地突出了紅外圖像的目標(biāo)，更有利于觀察。

為了盡可能客觀地評價圖像的融合質(zhì)量，選取信息熵（E）、平均梯度（AG）、空間頻率（SF）、互信息（MI）像素交叉熵（CE）、時間復(fù)雜度六種評價指標(biāo)對融合結(jié)果進(jìn)行評價。表1為“UN Camp”紅外與可見光圖像融合結(jié)果的評價指標(biāo)，表2為“pavilion”紅外和可見光圖像以及融合結(jié)果的評價指標(biāo)。

表1 “UN Camp”紅外與可見光圖像融合結(jié)果的評價指標(biāo)

表2 “pavilion”紅外與可見光圖像融合結(jié)果的評價指標(biāo)

由表1可以看出，對于“UN Camp”紅外與可見光圖像融合效果，本文方法均好于其他對比算法，圖像質(zhì)量評價指標(biāo)中的信息熵、平均梯度、空間頻率、互信息、交叉熵至少分別提高了1.54%、7.44%、10.5%、9.14%、0.12%算法；由表2可以看出，對于“dune”紅外與可見光圖像融合效果，本文方法也均好于其他對比算法，圖像質(zhì)量評價指標(biāo)中的信息熵、平均梯度、空間頻率、互信息、交叉熵分別提高了2.84%、4.52%、3.52%、12.3%、5.96%，客觀上驗證了自適應(yīng)NSST-PCNN方法的優(yōu)越性，本文算法運行時間<3 s，在執(zhí)行效率上表現(xiàn)優(yōu)異。

綜上，運用自適應(yīng)NSST-PCNN圖像融合算法將源圖像分解完成后，能夠得到低頻子帶和多個不同層次、不同方向的高頻子帶系數(shù)，使用加權(quán)平均的模糊邏輯算法解決了融合過程中低頻界限不清晰的問題，更好地表達(dá)源圖像的特征；針對圖像高頻部分的融合，以處理后圖像的像素作為PCNN的反饋輸入，采用區(qū)域梯度調(diào)節(jié)β的大小，保持了圖像的高頻信息，使融合后的高頻子帶更能準(zhǔn)確的反應(yīng)圖像的細(xì)節(jié)信息。

5 結(jié)論

提出了一種NSST結(jié)合自適應(yīng)PCNN的紅外與可見光圖像的融合方法。源圖像經(jīng)過NSST變換后，能夠得到低頻子帶和多個不同層次、不同方向的高頻子帶系數(shù)。針對圖像低頻子帶的融合，采用了自適應(yīng)的糊邏輯加權(quán)平均的融合規(guī)則；對于圖像高頻部分的融合，使用鏈接強度自適應(yīng)的PCNN的算法。實驗結(jié)果表明，相比于傳統(tǒng)方法，基于自適應(yīng)NSST-PCNN的融合圖像在信息熵、空間頻率、平均梯度、互信息和交叉熵五個客觀評價指標(biāo)上至少分別提高了1.54%、4.52%、3.52%、9.14%、0.12%。該方法提高了融合圖像對比度，保留了背景細(xì)節(jié)信息，更有利于人眼觀察，可以很好地應(yīng)用于軍事監(jiān)視、目標(biāo)跟蹤等領(lǐng)域。