基于AWNV的紅外與可見光圖像Tetrolet域融合方法研究

摘 要： 針對紅外（IR）和可見光（VL）圖像融合中邊緣紋理和細節特征融合不理想等問題，提出了一種基于Tetrolet變換的紅外和可見光圖像的融合方法。將Tetrolet變換后的紅外和可見光圖像的低通子帶采用基于加權平均的融合方法得到低通融合系數，而對高通子帶提出了一種基于自適應鄰域方差加權（AWNV）的融合規則得到高通融合系數，最后通過Tetrolet逆變換得到融合圖像。采用多種圖像進行融合實驗，實驗結果表明，經該方法得到的融合圖像信息量更大，特征紋理更為豐富，能夠得到比較好的融合效果。

關鍵詞： Tetrolet變換； 圖像融合； 紅外和可見光圖像； 鄰域方差

中圖分類號： TN911.73?34 文獻標識碼： A 文章編號： 1004?373X（2015）13?0046?04

Abstract： Since the fusion of edge texture and detail feature in infrared （IR） and visible light （VL） images fusion is unsatisfactory， a Tetrolet conversion based fusion method of IR and VL images is proposed. With the fusion method based on weighted and average， the low?pass fusion coefficient is obtained from the low?pass sub?bands of IR and VL images converted by Tetrolet. As for high?pass sub?bands， a fusion rule based on adaptive weighted neighborhood variance （AWNV） is presented to obtain the high?pass coefficient. Finally， fusion image is obtained by Tetrolet inverse conversion. The results of multi?image fusion experiments show that fusion images obtained by the proposed method have more information quantity and more abundant texture features， and the method can get better fusion effect.

Keywords： Tetrolet conversion； image fusion； infrared and visible light image； neighborhood variance

0 引 言

可見光與紅外傳感器是最常用的兩類傳感器，能夠得到互補的圖像信息。將兩種圖像進行融合，有利于綜合紅外圖像較好的目標特性和可見光圖像清晰的場景信息，提高不同圖像的信息利用率，從而獲取信息更豐富的融合圖像。

近年來，基于多尺度分解的圖像融合技術有了很大的發展，各方面的理論已經比較成熟，主要有小波變換、輪廓波變換等。小波變換由于其局限性，對于細節紋理豐富的圖像處理結果不是很理想；非下采樣輪廓波?脈沖偶和神經網絡融合方法[1]（NSCT?PCNN）可以得到比較理想的融合效果，但由于變換采用非下采樣技術，并且高頻中插入脈沖神經網絡提取融合系數，計算復雜度較高，融合時間相對較長。沈瑜等提出基于Tetrolet變換的紅外與可見光融合[2]，對高頻Tetrolet系數采用偽隨機傅里葉矩陣和CoSaMP優化算法迭代出融合后的Tetrolet系數，計算也相對比較復雜。本文在Tetrolet變換[3?4]的理論基礎上，提出了一種基于自適應鄰域方差加權（Adaptive Weighted Neighborhood Variance，AWNV）的高頻融合規則，實驗結果表明，該方法在降低計算復雜度、減少圖像融合時間和數據冗余的同時，能夠得到比較好的融合效果。

1 Tetrolet變換

1.1 Tetrolet簡介

Tetrolet變換是一種新的自適應Haar類型小波變換，它的基函數具有不相關性和平移不變性，其變換是簡單有效的，并且非常適用于圖像的稀疏表示。它是一種基于四格拼板（Tetromino）的變換[3?5]，其中的每一個數據都可看成一個正方形單元。四格拼板的5種基本形式如圖1所示。

1.2 變換思想

設輸入源圖像為：[a0=（a[i，j]）N-1i，j=0，][N=2J，]在第[r]（[r=][1，2，…，J-1]）級分解中執行如下操作：

（1） 將源圖像或上一級分解得到的低通分量[ar-1]分為[4×4]大小的塊[Qi，j，][i，j=0，1，2，…，N4r-1。]

（2） 計算每個塊[Qi，j]的117種四格拼板覆蓋系數[c。]對于每個[c，][c=1，2，…，117。]對每塊[Qi，j]應用Haar小波變換，可獲得4個低通分量和12個Tetrolet高通分量，如下所示：

低通分量：

[ar，（c）=（ar，（c）[s]）3s=0，ar，（c）[s]=（m，n）∈I（c）sε[0，L（m，n）]ar-1[m，n]] （1）

高通分量（[l=1，2，3]）：

[wr，（c）l=（wr，（c）l[s]）3s=0，wr，（c）l[s]=（m，n）∈I（c）ssε[l，L（m，n）]ar-1[m，n]] （2）

接著尋找一個最優覆蓋系數[c*，]使得12個Tetrolet高通分量有最小[l1]?范數，即滿足：

[c*=argmincl=13wr，（c）ll=argmincl=13s=03wr，（c）l[s]] （3）

于是每個塊[Qi，j]的最佳Tetrolet變換為[[ar，（c*），wr，（c*）1，wr，（c*）2，wr，（c*）3]]。

（3） 當找到每塊[Qi，j，][i，j=0，1，2，…，N4r-1]的最佳Tetrolet變換后，用矩陣[arwr2wr1wr3]來代替低通圖像，并存儲高通分量[wlr=wrlQi，jN4r-1i，j=0，][l=1，2，3]和每塊的覆蓋系數[c*，]并對低通分量[ar=arQi，jN4r-1i，j=0]進行下一級的Tetrolet變換。

（4） 最后進行圖像的重構。為了重構圖像，需要最上一級的低通分量，每一級的Tetrolet高通分量，以及對應的所有圖像塊的覆蓋系數。

2 Tetrolet圖像融合算法

2.1 融合流程

下面以兩幅配準的紅外與可見光原始圖像為例，描述融合算法的實現流程[6]，如圖2所示。

（1） 對兩幅源圖像IR和VL進行Tetrolet變換，得到其在不同尺度和不同方向下的低通子帶[ar，（c*）i，][ar，（c*）v]和高通子帶[wr，（c*）il，][wr，（c*）vl。]

（2） 針對變換后的低通和高通子帶的結構特點采用不同的融合規則，得到融合后的低通子帶[ar，（c*）f]和高通子帶[wr，（c*）fl。]

（3） 對融合后的子帶進行Tetrolet逆變換得到融合圖像F。

2.2 融合規則

低通子帶：由于低通子帶代表的是圖像的近似信息，而明顯的，可見光圖像包含的圖像近似信息更多，所以采用加權平均的方法得到融合后的低通子帶。加權系數由兩者的低通系數決定，加權系數[?=avav+ai]。則融合低通子帶為：[ar，（c*）f=?av+（1-?）ai]。

高通子帶：高通子帶代表的是圖像的特征和細節信息。而紅外和可見光圖像的融合更多的是將圖像的細節信息融合在一起，從而使融合圖像獲得更大的信息量[7?8]。這里選擇的高通子帶融合規則是基于鄰域方差的方法。

對于[M×N]圖像[a]中一點[ai，j]，有：

[var（i，j）=1M×Ni=1Mj=1Nai，j-a2] （4）

其中：

[a=1M×Ni=1Mj=1Nai，j]

選取圖像中一點的[3×3]鄰域的方差平均數作為該點的方差，得到源圖像IR和VL的鄰域方差：

[vari（i，j）=13×3s=-11t=-11aii+s，j+t] （5）

以及：

[varv（i，j）=13×3s=-11t=-11avi+s，j+t] （6）

那么，基于鄰域方差最大的融合規則如下所示：

[wr，（c*）fl=wr，（c*）ilvari（i，j）>varv（i，j）wr，（c*）vlvari（i，j）

前文提到，Tetrolet變換是一種非常適用于圖像稀疏表示的自適應Harr類型小波變換，其分解簡單高效，能夠保留非常理想的高頻細節信息，同時，Tetrolet變換的數據處理方式與傳統小波變換也大不相同[3?5]，這使得圖像融合時高頻系數的選擇至關重要。當[wr，（c*）il]和[wr，（c*）vl]相差較大時，上述方法具有較好的效果。但是，當[wr，（c*）il]和[wr，（c*）vl]相差不大時，會造成像素點附近一幅圖像覆蓋另一幅圖像中的高通分量信息，從而丟掉一部分有用信息，產生方塊效應[9]。為了解決這一問題，本文提出了一種基于自適應鄰域方差加權的融合規則[10?11]，即選取一個閾值thevar（其值通過實驗仿真調試得到，這里選擇0.25）。首先定義[β=wr，（c*）il-wr，（c*）vlwr，（c*）il+wr，（c*）vl，]當[β≥thevar]時，選擇上述基于鄰域方差最大的融合方法；當[β

[wr，（c*）fl=wr，（c*）ilwr，（c*）il+wr，（c*）vlwr，（c*）il+wr，（c*）vlwr，（c*）il+wr，（c*）vlwr，（c*）il] （8）

3 實驗結果與分析

圖像融合希望得到的是更大的信息量，更多的特征、細節。融合規則的選擇非常重要。在本文中，對于低通子帶采用最常用并且非常有效的基于加權平均的圖像融合方法，而對于高通子帶則分別比較鄰域方差取大法和自適應鄰域方差加權的方法作為高通子帶的融合規則。

實驗結果如圖3，圖4所示。圖中采用了3組不同的圖像進行分析比較。由圖3（d）和圖4（d）局部放大圖可以看到，鄰域方差取大法局部存在一些方塊效應，而自適應鄰域方差加權的方法則明顯好轉，可以得到比較好的融合效果。實驗結果表明，本文基于自適應鄰域方差加權的高通子帶融合方法是有效可行的。

本文在確定了融合方法的基礎上，分別與離散小波變換融合方法（Discrete Wavelet Transform，DWT）、非下采樣輪廓波變換—脈沖偶和神經網絡融合方法（NSCT?PCNN）進行比較，實驗結果如圖5所示。其中，圖5（a）和圖5（b）為VL和IR源圖像，圖5（c）～圖5（e）分別為DWT、NSCT?PCNN和本文方法融合結果，由圖中DWT融合結果可明顯看出，DWT對于邊緣紋理和細節特征豐富的圖像融合效果不理想，實驗參數比較如表1所示[12]。

由表1可以看出，本文Tetrolet融合方法在信息熵、平均梯度，特別是標準差等參數上相較DWT具有明顯的優勢，這是由于Tetrolet變換會分解得到12個高頻分量，而非傳統小波的4個，能夠更好地提煉高頻信息，從而更好地表征細節紋理和特征信息； NSCT?PCNN融合方法也較DWT有一定的優勢；但從融合時間分析，由于NSCT?PCNN融合方法應用非下采樣操作，并且在高頻中加入脈沖偶和神經網絡來優化高頻融合系數，所以計算復雜度較高，融合時間明顯過長，而本文采用的Tetrolet變換由于本身的稀疏表示特性，能保證很好的融合時間。

4 結 論

本文首先介紹了紅外和可見光圖像融合及Tetrolet變換的理論基礎，在加深對Tetrolet變換認識的基礎上，提出一種基于Tetrolet變換的紅外和可見光圖像的融合方法。相對于其他傳統小波變換等圖像融合方法，本文方法在較快地得到融合圖像的同時，能夠較好地保證融合效果，在信息熵、標準差、平均梯度等參數上都有比較明顯的優勢。但是，由于國內外關于Tetrolet變換的理論以及基于Tetrolet變換的圖像融合資料比較少，所以在融合算法的研究上尚處于起步階段。另外，從融合圖像的效果來看，Tetrolet變換自身存在的方塊效應還沒有得到完全地抑制和解決，閾值和鄰域大小的選擇也有待進一步分析比較和研究改進，這些都是下一步的研究內容和努力方向。

參考文獻

[1] 趙景朝，曲仕茹.基于Curvelet變換與自適應PCNN的紅外與可見光圖像融合[J].西北工業大學學報，2011（6）：849?853.

[2] 沈瑜，黨建武，馮鑫，等.基于Tetrolet變換的紅外與可見光融合[J].光譜學與光譜分析，2013（6）：1506?1511.

[3] KROMMWEH J. Tetrolet transform： a new adaptive Harr wavelet algorithm for sparse image representation [J]. Journal of Visual Communication Image Representation， 2009， 21（4）： 364?374.

[4] KROMMWEH J， PLONK G. Directional Haar wavelet frames on triangles [J]. Applied and Computational Harmonic Analysis， 2009， 27（2）： 215?234.

[5] KROMMWEH J， MA Jianwei. Tetrolet shrinkage with anisotropic total variation minimization for image approximation [J]. Signal Processing， 2010， 90（8）： 529?539.

[6] 延翔，秦翰林，劉上乾，等.基于Tetrolet變換的圖像融合[J].光電子·激光，2013，24（8）：1629?1633.

[7] Rafael C Gonzalez，Richard E Woods.數字圖像處理[M].3版.北京：電子工業出版社，2011.

[8] 岡薩雷斯.數字圖象處理[M].北京：電子工業出版社，2003.

[9] 張凌曉，劉克成，李財蓮.Tetrolet變換方塊效應改善算法[J].紅外與激光工程，2014（5）：1679?1684.

[10] 李財蓮，孫即祥，康耀紅.基于Tetrolet變換的自適應閾值去噪[J].海南大學學報：自然科學版，2010（4）：348?352.

[11] 李洪均，梅雪，林錦國.基于NSCT自適應閾值的紅外圖像去噪算法[J].計算機工程與設計，2008，29（12）：3230?3233.

[12] 王曉文，趙宗貴，湯磊.一種新的紅外與可見光圖像融合評價方法[J].系統工程與電子技術，2012（5）：871?875.

[13] DO M N， VETTERLI Martin. The contourlet transform： an efficient directional multiresolution image representation [J]. IEEE Transactions on Image Processing， 2005， 14（12）： 2091?2106.

[14] 彭洲，唐林波，趙保軍，等.基于Tetrolet變換的圖像稀疏逼近算法[J].系統工程與電子技術，2011（11）：2536?2539.