基于非下采樣輪廓波變換與引導濾波器的紅外及可見光圖像融合

丁貴鵬， 陶鋼， 李英超, 龐春橋， 王小峰， 段桂茹

(1.南京理工大學 能源與動力工程學院， 江蘇 南京 210094； 2.長春理工大學 光電工程學院， 吉林 長春 130022；3.陸軍裝備部駐吉林地區軍事代表室， 吉林 吉林 132000)

0 引言

可見光成像傳感器和前視紅外成像傳感器是兩種常用的不同模態傳感器。前視紅外成像傳感器依據物體溫度不同或輻射率不同進行成像，屬于被動成像，具有抗干擾性強、目標識別能力強和全天候工作等優勢，在軍事、安防等領域應用廣泛[1]。但紅外圖像具有對比度低、信噪比低和成分復雜等缺點。可見光成像傳感器捕捉的是場景表面反射的可見光強度信息，圖像具有分辨率高、質量好并能夠提供目標所在場景的細節信息等優點，但易受環境光線和氣候影響，不能全天候工作。利用圖像融合技術綜合紅外圖像和可見光圖像的互補信息，可得到一幅既具有較好的目標指示特性又具有清晰場景信息的圖像，提高觀察者對整個場景的認知度，進一步拓展紅外成像的應用領域[2]。

近年來，國內外相關學者提出了許多紅外與可見光圖像的融合方法，其中基于多尺度分解的融合方法應用最廣泛。該方法主要包括兩個核心內容，一個是多尺度分解工具的選擇，另一個是系數融合算法的設計[3]。多尺度分解工具主要包括各種金字塔變換和小波變換，如梯度金字塔、比率金字塔、離散小波、曲波、輪廓波、剪切波、非下采樣輪廓波變換(NSCT)等[4]，文獻[5]對多尺度分解工具在圖像融合領域的應用進行了對比分析，結果顯示具有平移不變性和靈活方向選擇性的NSCT融合效果最好，應用也最廣泛。

近年來，基于邊緣保持濾波的多尺度分析方法在圖像融合領域成為研究的熱點。在平滑圖像時，邊緣保持濾波器可以保留圖像的邊緣信息以減少光暈，因此可以采用此濾波器對圖像進行多次濾波，得到一個近似圖像和多個細節圖像；也可以采用方向濾波器組對細節圖像進行方向濾波，生成多個方向細節圖像[6]。但邊緣保持濾波器容易在濾波圖像中產生梯度反轉，在融合圖像中表現為虛假信息或“暈”現象。

圖像子帶融合算法多數都是針對分解后的系數直接計算單點活性測度、局部窗口活性測度或局部窗口匹配測度，如系數絕對值、窗口方差、局部窗口能量匹配等，然后進行加權平均或單點選擇性融合。其中：根據單點活性測度的選擇性融合易誤選噪聲作為融合系數，造成圖像不穩定和不連續；根據窗口活性測度的選擇性融合可以減少噪聲影響，但也會導致輪廓間的模糊；根據活性測度的加權平均能夠降低噪聲敏感度，充分利用源圖像間的互補信息，融合效果較好，應用也最廣泛，但如果權值選擇不合適，則容易降低融合圖像的對比度和亮度，甚至產生灰度失真；根據局部窗口匹配測度進行單點選擇或加權平均算法，易出現塊效應[7]。

隨著壓縮感知理論的出現[8]，出現了許多基于稀疏表示的圖像融合方法并取得了成功，但這類融合方法是以滑動分塊為基礎，圖像塊間的稀疏表示是獨立進行的且表現為多值，采用平均聚合方法重構圖像時容易丟失細節信息[9]。

基于深度學習的圖像融合方法成為近年來廣泛研究的熱點，這類融合方法主要應用網絡訓練模型深度提取圖像特征，然后進行融合操作，但圖像集訓練得到的深度學習模型對待融合圖像并不一定最優，融合效果有時并不理想[10]。

為了克服上述融合方法的缺陷，本文采用NSCT作為多尺度分解工具，在不同頻帶內解析出圖像中的重疊信息，利用窗口加權平均能量和改進的拉普拉斯能量兩種活性測度構造顯著特征圖，對近似圖像進行加權平均，以保持能量和剩余細節不丟失，利用引導濾波對方向細節圖像的決策映射圖進行濾波處理，通過鄰域像素之間的強相關性進行權重優化，消除噪聲的敏感性，然后對方向細節圖像進行加權平均，保留源圖像中目標邊緣和細節信息。

1 NSCT方法

NSCT方法將多尺度分解和方向分析拆分進行：首先將圖像送入非下采樣金字塔濾波器組(NSPFB)進行多尺度分解，得到一個低通子帶和多個高通子帶。然后將高通子帶送入雙通道的非下采樣方向濾波器組(NSDFB)進行方向分解，得到多個方向子帶。非下采樣金字塔(NSP)分解方式和NSDFB濾波結構使NSCT同時擁有了多尺度特性和多方向選擇特性[11]。圖1所示為NSCT方法的結構示意圖。圖1(b)中，數字1、2、3分別表示分解的層數，ω1、ω2分別表示頻域的橫坐標和縱坐標。

圖1 NSCT變換Fig.1 Non-subsampled contourlet transform

2 引導濾波器

引導濾波器的濾波耗時與濾波器的尺寸大小無關，是基于局部線性模型的保邊濾波器。在圖像增強、摳圖、超分辨率和著色方面得到廣泛應用[12]。引導濾波器的濾波結果T是引導圖像S在以像素p為中心的局部窗口θp中的線性變換，即

Ti=apSi+ep，?i∈θp，

(1)

式中：Ti為輸出圖像在窗口θp中的第i個像素值，i為窗口θp中的像素順序；Si為引導圖像在窗口θp中的第i個像素值；θp為尺寸為(2r+1)×(2r+1)的正方形窗口，r為窗口半徑；ap和ep為θp中的常數，其值E(ap，ep)可通過最小化輸出圖像T和輸入圖像F之間的平方差進行估計得到，

(2)

Fi為輸入圖像在窗口θp中的第i個像素值，τ為濾波器模糊度，以防止ap值過大。系數ap和ep能夠利用線性回歸直接求解，

(3)

(4)

當輸入為紅(r)、綠(g)、藍(b)彩色圖像時，可分別對輸入圖像的r、g、b通道進行引導濾波，得到濾波輸出。當引導圖像S為r、g、b彩色圖像時，(1)式應改寫為

(5)

式中：ap為1個3×1階系數向量；Si為1個3×1階彩色向量，此時引導濾波的輸出可以按照(6)式進行計算：

(6)

式中：σp為窗口θp中S的3×3階協方差矩陣；U為3×3階單位矩陣；μp為窗口θp中彩色圖像S的均值。

當引導濾波器用作平滑濾波時，令S=F，可以實現對輸入圖像的邊緣保持平滑濾波處理。上述引導濾波器操作可以簡單地用符號Gr,τ(S,F)來表示，τ為模糊度參數。圖2和圖3所示分別為引導濾波和邊緣保持平滑濾波的示例，實驗圖像來自http:∥kaiminghe.com.

圖2 引導濾波Fig.2 Guided filtering

圖3 邊緣保持平滑濾波Fig.3 Edge preserving smoothing filtering

3 基于NSCT與引導濾波器的融合方法

圖4 紅外與可見光圖像融合過程的總體框圖Fig.4 Block diagram of infrared and visible image fusion process

3.1 低頻近似圖像的融合規則

低頻圖像代表圖像的大尺度區域，為源圖像的近似，因此融合規則主要是處理好能量保存和細節提取兩個關鍵因素。本文利用局部窗口加權平均能量以及改進的拉普拉斯能量和構造顯著特征圖，對低頻近似圖像子帶系數進行加權融合，具體實現過程如圖5所示。圖5中，AE1、AE2局域窗口加權平均能量，SML1、SML2為改進的拉普拉斯能量和。

圖5 近似圖像融合規則實現過程Fig.5 Implementation process of approximate image fusion rule

圖像通常被視為二維分段平滑信號，其能量主要包含在其低頻分量中，在紅外與可見光圖像融合中，由于不同源圖像采用不同的成像機制，不同源圖像同一位置的像素強度可能會有很大差異，傳統等權重平均的融合規則容易導致融合圖像的能量丟失，某些區域亮度急劇下降，視覺感知效果差。為了解決上述問題，采用局域窗口加權平均能量作為活性測度，定義如下：

(7)

實際應用過程中，由于考慮計算效率因素，NSCT的分解層數不可能很高，低頻近似圖像中仍然會包含一些細節信息。為了提取細節信息，采用改進的拉普拉斯能量和[14]作為活性測度，

(8)

(9)

AEX(i,j)和SMLX(i,j)進行乘積，生成顯著特征圖，作為低頻子帶圖像的活性測度，可以保持能量和細節信息的不丟失。具體見(10)式：

P1(i,j)=AE1(i,j)SML1(i,j)，
P2(i,j)=AE2(i,j)SML2(i,j)，

(10)

式中：P1(i,j)、P2(i,j)分別為低頻近似圖像的顯著特征圖。

歸一化顯著特征圖得到權重系數，有

(11)

(12)

3.2 高頻方向細節圖像融合規則

高頻方向細節圖像中含有源圖中小尺度紋理結構信息，一般認為絕對值大的系數表示圖像中的突出特征，這也是許多文獻中利用“系數絕對值取大”作為細節圖像融合規則并取得較好融合效果的原因。但對于紅外與可見光圖像融合，“系數絕對值取大”規則容易將不相干的紅外信息和噪聲轉移到結果圖像中，從而使融合圖像中缺少可見光圖像的細節信息，不利于視覺觀察。為了克服上述缺陷，將引導濾波器引入細節圖像融合過程，利用鄰域像素之間的強相關性進行權重優化，對方向細節圖像進行加權平均，具體實現過程如圖6所示。

圖6 方向細節圖像融合規則實現過程Fig.6 Implementation process of direction detail image fusion rule

首先將高頻系數取絕對值作為細節圖像的活性測度，

(13)

然后利用活性測度取大策略獲得決策映射圖，

(14)

(15)

(16)

式中：Gr,τ為引導濾波器。

最后將(16)式結果進行歸一化處理，得到權重值：

(17)

以及高頻方向細節圖像的融合系數為

(18)

4 實驗與分析

為了表明本文方法具有更好的融合效果，通過融合多組紅外與可見光圖像進行實驗驗證，整個實驗過程包括自由參數的確定和典型融合方法的對比。實驗結果評價采用視覺主觀評價與客觀指標評價結合的方法，客觀評價指標包括互信息MI[15]、結構信息相似度SSIM[15]、邊緣保持度Qab/f(a、b、f分別表示紅外圖像、可見光圖像和融合圖像)[15]、加權融合質量指數Qw[15]和邊緣相關融合質量指數Qe[15]. 本文實驗所用圖像數據均來自http:∥www.imagefusion.org和https:∥figshare.com/articles/ TNO_Image_Fusion_Dataset/1008029. 圖像均為配準之后的圖像，配準方法可參考文獻[16]。實驗所用仿真軟件為MATLAB 2014a，操作系統為64位Windows 7旗艦版，硬件系統的安裝內存為8.00 GB，CPU主頻為2.60 GHz.

4.1 自由參數的確定

本文融合算法中存在3個自由參數，分別為NSCT分解尺度數L、引導濾波器窗口半徑r和模糊度τ. 為了確定這3個自由參數值對融合性能的影響，利用結構信息相似度SSIM[15]、邊緣保持度Qab/f[15]、加權融合質量指數Qw[15]和邊緣相關融合質量指數Qe[15]對測試圖像集在不同參數組合下的融合結果進行客觀評價，將每種評價指標的均值作為評價結果，最優結果所使用的參數值即為本文所采用的參數值。在圖像融合研究領域中，針對多個參數對融合結果的影響，多采用控制變量法進行研究。也就是將其他變量固定，只有一個變量可以改變參數值，并在獲得此變量的最優值后固定此變量，對其他變量重復此操作，最終確定出所有參數的最優值。由于篇幅有限，無法將參數確定過程中的所有實驗結果一一列出，通常采用的方法是只列出每個參數的一組結果，此時其他參數設置為性能最優的值[17]。表1所示為測試圖像集。圖7所示為不同參數的融合性能客觀評價值。表2所示為測試NSCT分解尺度數L對融合性能的影響時各尺度上方向分解數目。

表1 測試圖像集

表2 NSCT的分解尺度數和對應的方向數

分析圖7(a)可知：當參數L<4時，4種客觀評價指標值隨著L值增加而增大；當L>4時，各個評價指標數值開始逐漸下降。造成此結果的原因是當分解尺度較少時，顯著特征不能很好地從源圖像分離出來，在尺度較多情況下，低頻圖像中只有很少的細節區域，致使權重值在融合細節系數時不能達到最好的效果，因此通過綜合考量，本文參數值L取4.從圖7(b)中可知：SSIM和Qw兩種評價指標值變化較小；Qab/f和Qe在r值為6時達最優，因此r值取6為最合適。從圖7(c)中可見：SSIM和Qe兩種評價指標值隨著τ值的變化基本保持不變；Qab/f和Qw在τ值為10-4時達到最優，因此τ值取10-4為最合適。基于上述討論，最后的實驗參數設定為L=4、r=6和τ=10-4.

圖7 本文融合方法在不同參數下的客觀評價Fig.7 Objective performance of the proposed method with different parameters

4.2 不同融合方法比較與分析

為證明本文融合方法的優越性，將本文提出NSCT_GF方法與近年具有代表性的融合方法進行比較，主要有基于兩尺度分解的引導濾波融合 (GFF)方法[18]、NSCT域內稀疏表示融合 (NSCT_SR)方法[19]、基于像素顯著性的交叉雙邊濾波融合方法(CBF)[20]、基于深度學習的卷積神經網絡融合(CNN)方法[21]、基于顯著性檢測的雙尺度融合(TSSD)方法[22]。其中GFF和CNN方法作為兩種標桿式融合方法，被許多文獻引用。圖8所示為不同融合方法對“煙霧中的士兵”圖像的融合結果，圖9所示為不同融合方法對圖像“卡普坦_01”的融合結果。其中圖8(c)～圖8(h)和圖9(c)～圖8(h)為以上6種不同方法的對比融合結果，為便于觀察和比較不同方法融合結果的優劣，采用紅色方框對差異較明顯的目標區域進行了標記。6種方法融合結果的客觀評價如表3所示。

圖8 不同融合方法對“煙霧中的士兵”圖像的融合結果Fig.8 Fusion results of “soldier behind smoke” image by different fusion methods

圖9 不同融合方法對圖像“卡普坦_01”的融合結果Fig.9 Fusion results of “Kaptein_01” image by different fusion methods

表3 6種方法融合結果的客觀評價

由圖8可見：在紅外圖像中，一個被煙霧遮擋的士兵清晰地顯現出來，而在可見光圖像中煙霧和樹木等背景和細節信息則遠比紅外圖像更清晰；上述6種融合方法中都能清晰地呈現出樹木信息，但NSCT_SR和CBF方法結果中煙霧信息缺失，雖然能清楚地觀察到士兵，但整體視覺效果較差，如圖8(d)、圖8(e)中的士兵周圍；GFF和TSSD方法的結果中煙霧信息并不明顯，細節信息丟失嚴重，整體亮度較低(見圖8(c)、圖8(g))；CNN方法結果中煙霧信息清晰可見，但士兵信息缺失嚴重，融入了過多的可見光信息(見圖8(f))；本文NSCT_GF方法可以很好地提取目標信息，并盡可能地增加可見光圖像中的細節信息。融合后的圖像亮度和區域對比度適中，視覺體驗良好。

紅外圖像對熱目標信息進行了很好的捕獲，包括屋內燈光和路燈等目標都突出顯示在圖像中。可見光圖像中提供了樹木和低矮灌木叢等細節信息。與圖8(d)、圖8(e)類似，NSCT_SR和CBF方法融合結果中的空間信息混亂，缺少許多區域信息，產生很多錯誤信息，融合結果非常不利于人眼觀察，如圖9(d)、圖9(e)中的樹木周圍和房屋前的甬路；GFF和TSSD方法結果中整體較暗，局部區域出現了“暈”現象，呈現的信息與源圖像信息不符，容易誤導觀察者，如圖9(c)、圖9(g)上方紅色方框區域內樹木周圍；CNN方法結果中出現了局部信息模糊現象，如圖9(f)中左側邊緣紅色方框區域內灌木叢信息；本文融合方法可以成功地將各源圖像的優勢信息融合在一起，保留重要細節，融合結果較其他圖像清晰，整體圖像亮度適中，更適合于人眼觀察。

由圖8中的數據分析可知，本文融合結果的各項客觀評價數據均為最優，與上述主觀分析結果一致，圖中數據的大小也大體反映出融合圖像質量的優劣，數值的大小與融合結果質量呈正比，指標越大，視覺感知越自然，反之則越差。

由以上實驗結果分析可知，除本文NSCT_GF方法外，其他5種融合方法在融合結果中均出現一些明顯缺陷，GFF方法是采用平均值濾波器，將源圖像分為近似層和細節層，利用引導濾波器生成不同的權重圖，由于固定的引導濾波器參數設置不能自適應源圖像的變化，導致權重值并不能總是最優；NSCT_SR方法是采用NSCT方法分解源圖像，低頻子帶采用稀疏表示和l1范數取大融合規則，高頻子帶采用系數絕對值取大規則，由于重疊分塊稀疏表示會造成同一系數在不同塊內的稀疏系數是多值的且不相等，重構時聚合平均策略容易使源圖像的局部結構發生改變，丟失細節信息；CBF融合方法是利用交叉雙邊濾波器的輸出與源圖像進行差分運算獲得細節圖像，采用系數鄰域的統計特性提取邊緣強度作為權重，由于雙邊濾波器中的自由參數較多，固定的經驗值使得權重值與源圖像并不能達到最優匹配；CNN方法是采用孿生卷積神經網絡獲得特征圖，將特征圖送入高斯金字塔分解得到權重圖，源圖像進行拉普拉斯金字塔分解，根據子帶圖像的能量塊匹配度進行選擇性或加權性融合，由于塊匹配度閾值是固定的，不能適應源圖像的變化，拉普拉斯金字塔分解過程中需要下采樣，容易在融合圖像中產生塊效應和虛假信息；TSSD方法是采用平均值濾波器將圖像分解為近似層和細節層，近似層圖像利用等權值的加權平均進行融合，細節層利用平均值濾波器和中值濾波器生成的視覺顯著圖作為權重圖進行加權融合，等權值的加權平均規則會造成融合圖像的灰度和對比度下降。

4.3 主客觀評價分析

本文提出的融合方法在主觀和客觀評價兩方面均有良好表現，這主要是因為本文所用的NSCT方法具有平移不變特性，能夠在多尺度多方向上分離出源圖像的重要特征，利用局部加權平均能量和改進的拉普拉斯能量以及構造的顯著特征圖作為低頻近似圖像的權重，能夠在保持能量不丟失的同時保留殘留的細節信息，在方向細節圖像融合過程中引入引導濾波器，充分利用鄰域像素間的強相關性進行權重優化，最優地分配權重，保留更多的細節信息和邊緣。

為了表明本文所提方法具有更好的穩定性，對表4所示5對紅外與可見光圖像進行對比融合實驗。表4對紅外與可見光圖像融合結果顯示在表5中。表6顯示了各個融合方法的各評價指標的平均值。

表4 5對紅外與可見光圖像

由表5中顯示的融合結果可知：本文NSCT_GF方法得到的每一張融合圖像都有更好的視覺效果，表明本文NSCT_GF方法的融合結果穩定、圖像質量更高；其他融合結果中均包含有明顯信息缺失的融合圖像，例如GFF方法中帶刺的鐵絲網、戰壕與士兵、樹叢與人融合圖像，NSCT_SR方法中士兵與吉普車、帶刺的鐵絲網、樹叢與人和十字路口融合圖像，CBF方法中士兵與吉普車、帶刺的鐵絲網、樹叢與人和十字路口融合圖像，TSSD方法中戰壕與士兵和樹叢與人融合圖像，表6中的客觀評價數據也驗證了上述主觀判斷。但是，本文提出的NSCT_GF融合方法需要對源圖像進行NSCT方法分解，在使用NSCT方法進行多尺度變換和逆變換時需要滿足Bezout恒等式，增加了構造的復雜度，相比于兩尺度分解融合算法，計算效率要低，以表6中第5對“Road”紅外與可見光圖像為例，圖像尺寸為632×496，NSCT_SR方法和NSCT_GF方法中尺度濾波器為“pyrexc”，方向濾波器為“vk”，運行時間如表7所示。

表5 不同融合方法對表4中5對紅外與可見光圖像融合的結果

表6 不同融合方法融合結果的平均定量客觀評價

從表7中可以看出，本文融合方法所需運行時間高于GFF和TSSD方法，低于NSCT_SR、CBF和CNN方法。隨著硬件配置的提升和算法的優化，可以進一步縮短其運行時間，提高實際應用性能。

表7 不同融合方法的運行時間

5 結論

本文提出了一種基于NSCT變換與引導濾波器的紅外與可見光圖像融合方法。為了充分利用低頻近似圖像中的信息，設計了基于局部加權平均能量和改進拉普拉斯能量和的兩種活性測度，構造出顯著特征圖作為近似圖像的權重，最優分配系數比例；引導濾波器引入方向細節圖像融合中，充分利用鄰域像素之間的強相關性進行權重優化，能夠將源圖像中顯著性細節特征保留在融合圖像中，減少噪聲的干擾。由實驗結果可以看出，該方法在能量保持、細節保留、融合圖像亮度和整體對比度方面都可以取得穩定的結果，在主觀評價和客觀評價兩方面均優于本文中列出的具有代表性的融合方法。