基于非下采樣Contourlet變換紅外和可見光圖像的融合方法

詹玲超++劉瑾

摘要：本文提出了一種基于非下采樣Contourlet變換（NSCT）紅外和可見光圖像的融合方法。首先對紅外和可見光圖像進(jìn)行多尺度、多方向分解，得到低通子帶和各個(gè)高頻子帶。對于低通子帶，采用基于局部區(qū)域能量的方法進(jìn)行融合；對于帶通子帶，采用基于局域標(biāo)準(zhǔn)差取大的方法進(jìn)行融合；最后通過NSCT逆變換得到融合圖像。實(shí)驗(yàn)結(jié)果表明，相比同類研究方法，該算法具有不錯(cuò)的融合效果。

關(guān)鍵詞：圖像融合 紅外圖像 可見光圖像 NSCT 區(qū)域能量

中圖分類號：TN911.73 文獻(xiàn)標(biāo)識碼：A 文章編號：1007-9416（2016）10-0045-02

Abstract：For infrared and visible images， An image fusion method based on Nonsubsampled Contourlet Transform （NSCT） is proposed here. First， the infrared and visible images are decomposed in multi-scale and multi-directional to get the low-pass sub-band and several band-pass sub-bands. For the low-pass sub-band， the fusion method is based on the regional energy. For the band-pass sub-bands，the fusion method is based on the local standard deviation. Finally， the fused image will be obtained by the inverse NSCT. The result proves that， compared with the similar research methods， the performance of the proposed method is better.

Key Words： image fusion； infrared image； visible image； NSCT； regional energy

1 引言

圖像融合就是將兩幅或者是多幅圖像融合成一幅圖像。目前，常用的融合方法有PCA、金字塔變換、小波變換[1]和非下采樣Contourlet變換[2-3]等融合方法。本文針對紅外和可見光圖像的特點(diǎn)，提出了一種基于非下采樣Contourlet變換（NSCT）的圖像融合方法。本文算法的融合結(jié)果與幾種算法的融合結(jié)果作對比，采用熵、平均梯度和互信息三種客觀評價(jià)標(biāo)準(zhǔn)進(jìn)行評價(jià)，結(jié)果表明本文算法有不錯(cuò)的效果，融合結(jié)果更加清晰。

2 非下采樣Contourlet變換

Arthur L.Cunha等受到構(gòu)造非下采樣小波變換思想的啟發(fā)，在2005年提出了一種具有時(shí)移不變性和良好方向選擇性的變換，即非下采樣的Contourlet變換（NSCT）。NSCT是基于一種非下采樣金字塔（Non-subsampled Pyramid，NSP）結(jié)構(gòu)和一個(gè)非下采樣方向?yàn)V波器組（Non-subsampled directional filter bank，NSDFB）結(jié)構(gòu)的變換，實(shí)現(xiàn)一種靈活的多尺度、多方向且平移不變的快速展開。

3 本文融合算法

設(shè)待融合的兩幅圖像分別是圖像A和圖像B，將兩幅圖像分別進(jìn)行非下采樣Contourlet變換，兩幅圖像分別會(huì)有一個(gè)低通子帶系數(shù)和若干個(gè)帶通子帶系數(shù)。設(shè)這兩幅圖像的低通子帶系數(shù)分別為和，帶通子帶系數(shù)分別為和，表示尺度上第個(gè)方向子帶系數(shù)。融合后的低通子帶系數(shù)為，帶通子帶系數(shù)為。

具體算法描述如下：

（1）低通子帶系數(shù)融合方法。將、兩幅圖像的低通子帶系數(shù)的分別劃分成離散的的區(qū)域窗口，然后計(jì)算每個(gè)窗口的能量。假設(shè)用表示圖像低通子帶系數(shù)每個(gè)窗口的能量，其中為或，能量公式如式（1）所示。

其中N=3。根據(jù)以上的能量公式，就可以得到一個(gè)初步的融合圖（initial fusion decision map）。融合規(guī)則是，如果圖像的區(qū)域窗口能量大于圖像的區(qū)域窗口能量，則對應(yīng)的融合圖里的值就是1，否則就是0。對于之前得到的初步融合圖，如果在一個(gè)大小的窗口區(qū)域內(nèi)，中間的是0，其他大部分是0，這時(shí)中間的值不變；如果中間的為0，其他大部分是1，這時(shí)將中間的值改為1。

下面利用區(qū)域的能量計(jì)算對應(yīng)區(qū)域的匹配度，匹配度即對應(yīng)區(qū)域的匹配程度。使用中的匹配度的計(jì)算公式。

的取值在0～1之間，對選一個(gè)閾值為0.65。當(dāng)時(shí)，以上得到的融合圖不變，當(dāng)時(shí)，將融合圖中對應(yīng)點(diǎn)的值改為2，這樣就得到最終的融合圖。得到最終的融合圖之后，可以根據(jù)最終的融合圖來得到低通子帶系數(shù)的融合結(jié)果，其結(jié)果如式（2）所示。

如果在最終的融合圖中值為2，融合后的低通子帶系數(shù)用圖像和的低通子帶系數(shù)加權(quán)和來表示，如果值為1，表示這個(gè)位置取圖像的低通子帶系數(shù)，如果值為0，則取圖像的低通子帶系數(shù)。

（2）帶通子帶系數(shù)融合方法。由于帶通子帶系數(shù)反映的是圖像的邊緣和細(xì)節(jié)信息，圖像的局部區(qū)域標(biāo)準(zhǔn)差反映了這方面，標(biāo)準(zhǔn)差越大包含更多的邊緣和細(xì)節(jié)信息。先將高頻分量分割成離散的的區(qū)域窗口，假設(shè)用表示圖像的帶通子帶系數(shù)的局部區(qū)域標(biāo)準(zhǔn)差，其中為或，每個(gè)窗口標(biāo)準(zhǔn)差的計(jì)算公式如式（3）所示。

以上公式中的即為3，即為窗口均值。

根據(jù)公式（3）計(jì)算出的局部區(qū)域標(biāo)準(zhǔn)差，得到一個(gè)初步的帶通子帶系數(shù)融合圖。融合規(guī)則是，如果圖像的局部區(qū)域標(biāo)準(zhǔn)差大于圖像的局部區(qū)域標(biāo)準(zhǔn)差，則對應(yīng)的融合圖里的值就是1，否則就是0。

最終的融合圖（final fusion decision map）同樣是通過濾波運(yùn)算的一致性驗(yàn)證得到的。對于之前得到的初步融合圖，如果在一個(gè)大小的窗口區(qū)域內(nèi)，中間的是0，其他大部分是0，這時(shí)中間的值不變；如果中間的為0，其他大部分是1，這時(shí)將中間的值改為1。

得到最終的融合圖之后，可以根據(jù)最終的融合圖來得到帶通子帶系數(shù)的融合結(jié)果，其結(jié)果如式（4）所示。

如果在最終的融合圖中值為1，表示這個(gè)位置取圖像的帶通子帶系數(shù)，如果值為0，則取圖像的帶通子帶系數(shù)。對融合后的低通子帶系數(shù)和帶通子帶系數(shù)進(jìn)行NSCT逆變換，得到最終的融合結(jié)果。

4 實(shí)驗(yàn)及結(jié)果分析

4.1 融合結(jié)果

本文算法在MATLAB環(huán)境中進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)中紅外和可見光圖像完全配準(zhǔn)，在同一場景同一時(shí)間拍攝。如圖1列出了其中一組紅外和可見光圖像，其中（a）是紅外圖像，（b）是可見光圖像。實(shí)驗(yàn)結(jié)果如圖2所示。實(shí)驗(yàn)里有三組對比實(shí)驗(yàn)分別是像素取平均值法（P_avg），如圖2（a）所示；小波變換低頻分量取平均，高頻分量取大值法（DWT_avg_max），如圖2（b）所示；NSCT變換低通子帶系數(shù)取平均，帶通子帶系數(shù)取大值法（NSCT_avg_max），如圖2（c）所示；本文算法如圖如圖2（d）所示。

4.2 結(jié)果分析

本文采用信息熵、平均梯度和互信息這三個(gè)客觀評價(jià)標(biāo)準(zhǔn)對圖像進(jìn)行評價(jià)。表1是對融合結(jié)果的評價(jià)。從表1可以看出，將本文提出的融合方法和另外三種融合方法相比，本文方法都是最優(yōu)的。

5 結(jié)語

本文提出了一種基于NSCT變換紅外和可見光圖像的融合方法。對于低頻子帶，采用基于局部區(qū)域能量取大的方法進(jìn)行融合；對于高頻子帶，采用基于局域標(biāo)準(zhǔn)差取大的方法進(jìn)行融合。結(jié)果表明不管是從視覺效果方面來看，還是從融合結(jié)果的客觀評價(jià)來看，相對同類研究方法，本文方法獲得的圖像都更好，更為清晰，達(dá)到較為滿意的結(jié)果。

參考文獻(xiàn)

[1]陳浩，王延杰.基于小波變換的圖像融合技術(shù)研究[J].微電子學(xué)與計(jì)算機(jī)，2010（5）：39-41.

[2]A.L.da Cunha， J.Zhou，and M. N. Do.The nonsubsampled contourlet transform：Theory， design， and applications[J].IEEE Trans Image Process，2006（10）：3089-3101.

[3]Padma Ganasala，Vinod Kumar.CT and MR Image Fusion Scheme in Nonsubsampled Contourlet Transform Domain[J].J Digit Imaging，2014（3）：407-418.

收稿日期：2016-09-06

作者簡介：詹玲超（1983—），女，江蘇儀征人，碩士研究生，金城學(xué)院專職教師，講師，研究方向：軟件工程，數(shù)字圖像處理。E-mail：

496043955@qq.com；劉瑾（1979—），女，新疆克拉瑪依人，碩士研究生，講師，研究方向：軟件工程。