基于AWNV的紅外與可見光圖像Tetrolet域融合方法研究

摘 要： 針對(duì)紅外（IR）和可見光（VL）圖像融合中邊緣紋理和細(xì)節(jié)特征融合不理想等問題，提出了一種基于Tetrolet變換的紅外和可見光圖像的融合方法。將Tetrolet變換后的紅外和可見光圖像的低通子帶采用基于加權(quán)平均的融合方法得到低通融合系數(shù)，而對(duì)高通子帶提出了一種基于自適應(yīng)鄰域方差加權(quán)（AWNV）的融合規(guī)則得到高通融合系數(shù)，最后通過Tetrolet逆變換得到融合圖像。采用多種圖像進(jìn)行融合實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明，經(jīng)該方法得到的融合圖像信息量更大，特征紋理更為豐富，能夠得到比較好的融合效果。

關(guān)鍵詞： Tetrolet變換； 圖像融合； 紅外和可見光圖像； 鄰域方差

中圖分類號(hào)： TN911.73?34 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2015）13?0046?04

Abstract： Since the fusion of edge texture and detail feature in infrared （IR） and visible light （VL） images fusion is unsatisfactory， a Tetrolet conversion based fusion method of IR and VL images is proposed. With the fusion method based on weighted and average， the low?pass fusion coefficient is obtained from the low?pass sub?bands of IR and VL images converted by Tetrolet. As for high?pass sub?bands， a fusion rule based on adaptive weighted neighborhood variance （AWNV） is presented to obtain the high?pass coefficient. Finally， fusion image is obtained by Tetrolet inverse conversion. The results of multi?image fusion experiments show that fusion images obtained by the proposed method have more information quantity and more abundant texture features， and the method can get better fusion effect.

Keywords： Tetrolet conversion； image fusion； infrared and visible light image； neighborhood variance

0 引 言

可見光與紅外傳感器是最常用的兩類傳感器，能夠得到互補(bǔ)的圖像信息。將兩種圖像進(jìn)行融合，有利于綜合紅外圖像較好的目標(biāo)特性和可見光圖像清晰的場(chǎng)景信息，提高不同圖像的信息利用率，從而獲取信息更豐富的融合圖像。

近年來，基于多尺度分解的圖像融合技術(shù)有了很大的發(fā)展，各方面的理論已經(jīng)比較成熟，主要有小波變換、輪廓波變換等。小波變換由于其局限性，對(duì)于細(xì)節(jié)紋理豐富的圖像處理結(jié)果不是很理想；非下采樣輪廓波?脈沖偶和神經(jīng)網(wǎng)絡(luò)融合方法[1]（NSCT?PCNN）可以得到比較理想的融合效果，但由于變換采用非下采樣技術(shù)，并且高頻中插入脈沖神經(jīng)網(wǎng)絡(luò)提取融合系數(shù)，計(jì)算復(fù)雜度較高，融合時(shí)間相對(duì)較長。沈瑜等提出基于Tetrolet變換的紅外與可見光融合[2]，對(duì)高頻Tetrolet系數(shù)采用偽隨機(jī)傅里葉矩陣和CoSaMP優(yōu)化算法迭代出融合后的Tetrolet系數(shù)，計(jì)算也相對(duì)比較復(fù)雜。本文在Tetrolet變換[3?4]的理論基礎(chǔ)上，提出了一種基于自適應(yīng)鄰域方差加權(quán)（Adaptive Weighted Neighborhood Variance，AWNV）的高頻融合規(guī)則，實(shí)驗(yàn)結(jié)果表明，該方法在降低計(jì)算復(fù)雜度、減少圖像融合時(shí)間和數(shù)據(jù)冗余的同時(shí)，能夠得到比較好的融合效果。

1 Tetrolet變換

1.1 Tetrolet簡(jiǎn)介

Tetrolet變換是一種新的自適應(yīng)Haar類型小波變換，它的基函數(shù)具有不相關(guān)性和平移不變性，其變換是簡(jiǎn)單有效的，并且非常適用于圖像的稀疏表示。它是一種基于四格拼板（Tetromino）的變換[3?5]，其中的每一個(gè)數(shù)據(jù)都可看成一個(gè)正方形單元。四格拼板的5種基本形式如圖1所示。

1.2 變換思想

設(shè)輸入源圖像為：[a0=（a[i，j]）N-1i，j=0，][N=2J，]在第[r]（[r=][1，2，…，J-1]）級(jí)分解中執(zhí)行如下操作：

（1） 將源圖像或上一級(jí)分解得到的低通分量[ar-1]分為[4×4]大小的塊[Qi，j，][i，j=0，1，2，…，N4r-1。]

（2） 計(jì)算每個(gè)塊[Qi，j]的117種四格拼板覆蓋系數(shù)[c。]對(duì)于每個(gè)[c，][c=1，2，…，117。]對(duì)每塊[Qi，j]應(yīng)用Haar小波變換，可獲得4個(gè)低通分量和12個(gè)Tetrolet高通分量，如下所示：

低通分量：

[ar，（c）=（ar，（c）[s]）3s=0，ar，（c）[s]=（m，n）∈I（c）sε[0，L（m，n）]ar-1[m，n]] （1）

高通分量（[l=1，2，3]）：

[wr，（c）l=（wr，（c）l[s]）3s=0，wr，（c）l[s]=（m，n）∈I（c）ssε[l，L（m，n）]ar-1[m，n]] （2）

接著尋找一個(gè)最優(yōu)覆蓋系數(shù)[c*，]使得12個(gè)Tetrolet高通分量有最小[l1]?范數(shù)，即滿足：

[c*=argmincl=13wr，（c）ll=argmincl=13s=03wr，（c）l[s]] （3）

于是每個(gè)塊[Qi，j]的最佳Tetrolet變換為[[ar，（c*），wr，（c*）1，wr，（c*）2，wr，（c*）3]]。

（3） 當(dāng)找到每塊[Qi，j，][i，j=0，1，2，…，N4r-1]的最佳Tetrolet變換后，用矩陣[arwr2wr1wr3]來代替低通圖像，并存儲(chǔ)高通分量[wlr=wrlQi，jN4r-1i，j=0，][l=1，2，3]和每塊的覆蓋系數(shù)[c*，]并對(duì)低通分量[ar=arQi，jN4r-1i，j=0]進(jìn)行下一級(jí)的Tetrolet變換。

（4） 最后進(jìn)行圖像的重構(gòu)。為了重構(gòu)圖像，需要最上一級(jí)的低通分量，每一級(jí)的Tetrolet高通分量，以及對(duì)應(yīng)的所有圖像塊的覆蓋系數(shù)。

2 Tetrolet圖像融合算法

2.1 融合流程

下面以兩幅配準(zhǔn)的紅外與可見光原始圖像為例，描述融合算法的實(shí)現(xiàn)流程[6]，如圖2所示。

（1） 對(duì)兩幅源圖像IR和VL進(jìn)行Tetrolet變換，得到其在不同尺度和不同方向下的低通子帶[ar，（c*）i，][ar，（c*）v]和高通子帶[wr，（c*）il，][wr，（c*）vl。]

（2） 針對(duì)變換后的低通和高通子帶的結(jié)構(gòu)特點(diǎn)采用不同的融合規(guī)則，得到融合后的低通子帶[ar，（c*）f]和高通子帶[wr，（c*）fl。]

（3） 對(duì)融合后的子帶進(jìn)行Tetrolet逆變換得到融合圖像F。

2.2 融合規(guī)則

低通子帶：由于低通子帶代表的是圖像的近似信息，而明顯的，可見光圖像包含的圖像近似信息更多，所以采用加權(quán)平均的方法得到融合后的低通子帶。加權(quán)系數(shù)由兩者的低通系數(shù)決定，加權(quán)系數(shù)[?=avav+ai]。則融合低通子帶為：[ar，（c*）f=?av+（1-?）ai]。

高通子帶：高通子帶代表的是圖像的特征和細(xì)節(jié)信息。而紅外和可見光圖像的融合更多的是將圖像的細(xì)節(jié)信息融合在一起，從而使融合圖像獲得更大的信息量[7?8]。這里選擇的高通子帶融合規(guī)則是基于鄰域方差的方法。

對(duì)于[M×N]圖像[a]中一點(diǎn)[ai，j]，有：

[var（i，j）=1M×Ni=1Mj=1Nai，j-a2] （4）

其中：

[a=1M×Ni=1Mj=1Nai，j]

選取圖像中一點(diǎn)的[3×3]鄰域的方差平均數(shù)作為該點(diǎn)的方差，得到源圖像IR和VL的鄰域方差：

[vari（i，j）=13×3s=-11t=-11aii+s，j+t] （5）

以及：

[varv（i，j）=13×3s=-11t=-11avi+s，j+t] （6）

那么，基于鄰域方差最大的融合規(guī)則如下所示：

[wr，（c*）fl=wr，（c*）ilvari（i，j）>varv（i，j）wr，（c*）vlvari（i，j）

前文提到，Tetrolet變換是一種非常適用于圖像稀疏表示的自適應(yīng)Harr類型小波變換，其分解簡(jiǎn)單高效，能夠保留非常理想的高頻細(xì)節(jié)信息，同時(shí)，Tetrolet變換的數(shù)據(jù)處理方式與傳統(tǒng)小波變換也大不相同[3?5]，這使得圖像融合時(shí)高頻系數(shù)的選擇至關(guān)重要。當(dāng)[wr，（c*）il]和[wr，（c*）vl]相差較大時(shí)，上述方法具有較好的效果。但是，當(dāng)[wr，（c*）il]和[wr，（c*）vl]相差不大時(shí)，會(huì)造成像素點(diǎn)附近一幅圖像覆蓋另一幅圖像中的高通分量信息，從而丟掉一部分有用信息，產(chǎn)生方塊效應(yīng)[9]。為了解決這一問題，本文提出了一種基于自適應(yīng)鄰域方差加權(quán)的融合規(guī)則[10?11]，即選取一個(gè)閾值thevar（其值通過實(shí)驗(yàn)仿真調(diào)試得到，這里選擇0.25）。首先定義[β=wr，（c*）il-wr，（c*）vlwr，（c*）il+wr，（c*）vl，]當(dāng)[β≥thevar]時(shí)，選擇上述基于鄰域方差最大的融合方法；當(dāng)[β

[wr，（c*）fl=wr，（c*）ilwr，（c*）il+wr，（c*）vlwr，（c*）il+wr，（c*）vlwr，（c*）il+wr，（c*）vlwr，（c*）il] （8）

3 實(shí)驗(yàn)結(jié)果與分析

圖像融合希望得到的是更大的信息量，更多的特征、細(xì)節(jié)。融合規(guī)則的選擇非常重要。在本文中，對(duì)于低通子帶采用最常用并且非常有效的基于加權(quán)平均的圖像融合方法，而對(duì)于高通子帶則分別比較鄰域方差取大法和自適應(yīng)鄰域方差加權(quán)的方法作為高通子帶的融合規(guī)則。

實(shí)驗(yàn)結(jié)果如圖3，圖4所示。圖中采用了3組不同的圖像進(jìn)行分析比較。由圖3（d）和圖4（d）局部放大圖可以看到，鄰域方差取大法局部存在一些方塊效應(yīng)，而自適應(yīng)鄰域方差加權(quán)的方法則明顯好轉(zhuǎn)，可以得到比較好的融合效果。實(shí)驗(yàn)結(jié)果表明，本文基于自適應(yīng)鄰域方差加權(quán)的高通子帶融合方法是有效可行的。

本文在確定了融合方法的基礎(chǔ)上，分別與離散小波變換融合方法（Discrete Wavelet Transform，DWT）、非下采樣輪廓波變換—脈沖偶和神經(jīng)網(wǎng)絡(luò)融合方法（NSCT?PCNN）進(jìn)行比較，實(shí)驗(yàn)結(jié)果如圖5所示。其中，圖5（a）和圖5（b）為VL和IR源圖像，圖5（c）～圖5（e）分別為DWT、NSCT?PCNN和本文方法融合結(jié)果，由圖中DWT融合結(jié)果可明顯看出，DWT對(duì)于邊緣紋理和細(xì)節(jié)特征豐富的圖像融合效果不理想，實(shí)驗(yàn)參數(shù)比較如表1所示[12]。

由表1可以看出，本文Tetrolet融合方法在信息熵、平均梯度，特別是標(biāo)準(zhǔn)差等參數(shù)上相較DWT具有明顯的優(yōu)勢(shì)，這是由于Tetrolet變換會(huì)分解得到12個(gè)高頻分量，而非傳統(tǒng)小波的4個(gè)，能夠更好地提煉高頻信息，從而更好地表征細(xì)節(jié)紋理和特征信息； NSCT?PCNN融合方法也較DWT有一定的優(yōu)勢(shì)；但從融合時(shí)間分析，由于NSCT?PCNN融合方法應(yīng)用非下采樣操作，并且在高頻中加入脈沖偶和神經(jīng)網(wǎng)絡(luò)來優(yōu)化高頻融合系數(shù)，所以計(jì)算復(fù)雜度較高，融合時(shí)間明顯過長，而本文采用的Tetrolet變換由于本身的稀疏表示特性，能保證很好的融合時(shí)間。

4 結(jié) 論

本文首先介紹了紅外和可見光圖像融合及Tetrolet變換的理論基礎(chǔ)，在加深對(duì)Tetrolet變換認(rèn)識(shí)的基礎(chǔ)上，提出一種基于Tetrolet變換的紅外和可見光圖像的融合方法。相對(duì)于其他傳統(tǒng)小波變換等圖像融合方法，本文方法在較快地得到融合圖像的同時(shí)，能夠較好地保證融合效果，在信息熵、標(biāo)準(zhǔn)差、平均梯度等參數(shù)上都有比較明顯的優(yōu)勢(shì)。但是，由于國內(nèi)外關(guān)于Tetrolet變換的理論以及基于Tetrolet變換的圖像融合資料比較少，所以在融合算法的研究上尚處于起步階段。另外，從融合圖像的效果來看，Tetrolet變換自身存在的方塊效應(yīng)還沒有得到完全地抑制和解決，閾值和鄰域大小的選擇也有待進(jìn)一步分析比較和研究改進(jìn)，這些都是下一步的研究內(nèi)容和努力方向。

參考文獻(xiàn)

[1] 趙景朝，曲仕茹.基于Curvelet變換與自適應(yīng)PCNN的紅外與可見光圖像融合[J].西北工業(yè)大學(xué)學(xué)報(bào)，2011（6）：849?853.

[2] 沈瑜，黨建武，馮鑫，等.基于Tetrolet變換的紅外與可見光融合[J].光譜學(xué)與光譜分析，2013（6）：1506?1511.

[3] KROMMWEH J. Tetrolet transform： a new adaptive Harr wavelet algorithm for sparse image representation [J]. Journal of Visual Communication Image Representation， 2009， 21（4）： 364?374.

[4] KROMMWEH J， PLONK G. Directional Haar wavelet frames on triangles [J]. Applied and Computational Harmonic Analysis， 2009， 27（2）： 215?234.

[5] KROMMWEH J， MA Jianwei. Tetrolet shrinkage with anisotropic total variation minimization for image approximation [J]. Signal Processing， 2010， 90（8）： 529?539.

[6] 延翔，秦翰林，劉上乾，等.基于Tetrolet變換的圖像融合[J].光電子·激光，2013，24（8）：1629?1633.

[7] Rafael C Gonzalez，Richard E Woods.數(shù)字圖像處理[M].3版.北京：電子工業(yè)出版社，2011.

[8] 岡薩雷斯.數(shù)字圖象處理[M].北京：電子工業(yè)出版社，2003.

[9] 張凌曉，劉克成，李財(cái)蓮.Tetrolet變換方塊效應(yīng)改善算法[J].紅外與激光工程，2014（5）：1679?1684.

[10] 李財(cái)蓮，孫即祥，康耀紅.基于Tetrolet變換的自適應(yīng)閾值去噪[J].海南大學(xué)學(xué)報(bào)：自然科學(xué)版，2010（4）：348?352.

[11] 李洪均，梅雪，林錦國.基于NSCT自適應(yīng)閾值的紅外圖像去噪算法[J].計(jì)算機(jī)工程與設(shè)計(jì)，2008，29（12）：3230?3233.

[12] 王曉文，趙宗貴，湯磊.一種新的紅外與可見光圖像融合評(píng)價(jià)方法[J].系統(tǒng)工程與電子技術(shù)，2012（5）：871?875.

[13] DO M N， VETTERLI Martin. The contourlet transform： an efficient directional multiresolution image representation [J]. IEEE Transactions on Image Processing， 2005， 14（12）： 2091?2106.

[14] 彭洲，唐林波，趙保軍，等.基于Tetrolet變換的圖像稀疏逼近算法[J].系統(tǒng)工程與電子技術(shù)，2011（11）：2536?2539.