基于NSST和NSGA-III的紅外和可見光圖像融合

袁東方，張 靜，羅 聰，邢笑雪

紅外圖像（Infrared Image，IR）和可見光圖像（Visible Image，VIS）融合的目的是充分利用紅外圖像的熱目標和可見光圖像的紋理細節信息，實現在各種光照和氣候條件下更準確、全面的目標檢測和識別.該技術在軍事偵察、醫學成像、導航等領域［1-3］已經得到廣泛應用.

近年來，多尺度分解算法在圖像融合領域中的應用備受關注，2005年，DO等［4］采用輪廓波變換（Contourlet Transform，CT）進行圖像的多尺度分解.LABATE等［5］提出了剪切波變換（Shearlet Transform，ST），在原來的基礎上使圖像具備多尺度和多方向轉換的特性.但CT算法和ST算法因無法實現平移不變性，導致結果中存在偽吉布斯現象.針對這個問題，2006年，CUNHA等［6］提出一種具有平移不變性優點的非下采樣輪廓波變換（Non-Subsampled Contourlet Transform，NSCT），使圖像具有良好的頻率選擇性和規律性，避免了圖像產生偽吉布斯現象.2008年，LABATEA等［5］提出了NSST，NSST利用非下采樣金字塔和方向局部化對源圖像進行分解，其不僅具備剪切波的優點，還具備平移不變性，在不同尺度、不同方向上都能較好地表示圖像信息.

事實上，圖像融合在本質上可以理解成一種優化問題［7］，利用遺傳算法［8］在兩幅源圖像中尋找最優的像素作為融合圖像的最終結果.2008年，MUMTAZ等［9］引出一種基于遺傳算法（Genetic Algorithm，GA）的圖像融合算法，利用GA優化圖像融合權重，或優化圖像融合的閾值.2011年，RAGHAVENDRA等［10］結合粒子群優化（Particle Swarm Optimization，PSO）提出了兩種圖像融合方法.目前，DEB等［11］提出的NSGA-III作為一種多目標優化算法，能夠有效平衡融合圖像的對比度、亮度和信息增益等多個目標.

綜上，本文設計了一種基于NSST變換和NSGA-III優化的紅外和可見光圖像融合算法，該算法不僅能在融合結果中突出顯著目標，而且能更好地保留來自源圖像的豐富背景信息.

1 基本理論

1.1 NSST變換

GUO等［12］在原始的仿射系統基礎上融入幾何與多尺度變換，得到了剪切波變換.具有合成膨脹的仿射系統AAB(ψ)，當空間維n=2，該仿射系統表達式如公式（1）所示：

圖1表示一個2級NSST的分解示意圖.

圖1 2級NSST分解示意圖

從圖1可以看出，NSST分解包括兩個主要部分：非下采樣金字塔分解（Non-Subsampled Pyramid，NSP）和方向局部化［14］.首先，NSP分解采用非下采樣金字塔濾波器組對原始圖像進行多尺度分解，產生1個低頻子圖像和k個高頻子圖像，其中k表示分解級數，而這k+1個子圖像的尺寸與原始圖像相同.其次，方向局部化是通過剪切濾波器（Shearlet Filter，SF）對高頻子圖像進行多方向分解，每個高頻子圖像的SF分解都會生成多個不同方向的子帶圖像，這些子帶圖像的尺寸也與原始圖像相同.

1.2 NSGA-Ⅲ優化算法

NSGA-III是一種先進的優化算法，專為解決多目標優化問題而設計［15］.在圖像融合領域其被應用于優化IR和VIS的閾值設置，以提升融合質量.其具體的應用步驟如下：

①初始化.選取峰值信噪比（PSNR）、互信息（MI）和結構相似性指數（SSIM）作為優化目標，綜合評估圖像融合后的質量、信息內容和視覺相似度.設定NSGA-III算法的參數：種群規模大小20、交叉率0.5、變異率0.5和最大迭代次數5，這些參數決定了搜索過程的多樣性和收斂速度.

②生成初代種群.隨機產生多種閾值組合的初代種群.每個個體代表一種IR與VIS圖像的閾值設置.

③非支配排序和選擇.采用NSGA-III的非支配排序機制，根據多目標空間中的支配關系評估并選擇種群中的優秀個體.

④參考點的應用.利用優化目標個數和分段數生成的參考點引導種群進化，保證解的多樣性.

⑤目標函數計算.計算每個個體在其閾值設置下的PSNR、MI和SSIM等指標.

⑥遺傳操作.執行交叉和變異操作產生新個體，探索更優秀的閾值組合.

⑦迭代.迭代過程包括對目標函數的連續計算、執行非支配排序、參考點的處理及遺傳操作，直至達到預設迭代次數或其他停止條件.

⑧選擇最優解.從最終種群中挑選出最優個體，代表最佳IR和VIS圖像閾值設置.

2 基于NSST-NSGA-III的紅外和可見光圖像融合

2.1 算法框架

本文算法框架如圖2所示.首先，使用NSST將輸入圖像轉換成低頻和高頻子帶圖像.其次，低頻子帶圖像融合包含兩個步驟，低頻子帶利用區域能量對比方法得到預融合圖像，再利用NSGA-III算法優化得到融合低頻子帶圖像；高頻子帶選擇絕對值取大規則.最后利用NSST逆變換重構融合圖像.

圖2 基于NSST-NSGA-III的融合算法框圖

2.2 NSST分解

本文利用NSST對源圖像IR和VIS進行分解.如公式（2）和公式（3）所示：

2.3 圖像的融合規則

2.3.1 低頻圖像融合

低頻圖像融合分為兩個步驟：一是基于區域能量［16］對圖像進行預融合，以預融合圖像作為參考圖像；二是使用NSGA-III的融合算法優化融合閾值，最終獲得融合低頻子帶.

基于區域能量的融合.區域能量能夠很好地描述圖像的亮度特征，其大小可通過計算分解后的紅外和可見光圖像的局部低頻子帶的平方值求和來確定.ES的定義如公式（4）所示：

式中：S指代VIS或IR，ES是以源圖像中心點(m，n)為中心的局部區域能量，Ω(m，n)是以（m，n）為中心的領域的窗函數，W(i，j)表示3×3大小的窗口函數，As(i，j)表示紅外或可見光圖像的低頻子帶系數.

得到IR與VIS的區域能量系數之后，可進一步獲取預融合圖像f，計算如公式（5）至（7）所示：

式中：w1、w2表示權重系數，IRL和VISL分別表示IR和VIS的低頻系數.

基于NSGA-III的融合.圖3展示了低頻子圖像的融合框架，首先通過計算f與IR、f與VIS的結構相似性指標SSIM［17］來評價預融合圖像和源圖像之間的強度、飽和度、結構相似性，然后計算IR和f圖像局部相似度的得分表、VIS和f圖像局部相似度的得分表.如公式（8）和（9）所示：

圖3 低頻子圖像的融合框架

式中：AIR是IR和f圖像局部相似度的得分表，AVIS是VIS和f圖像局部相似度的得分表，SSIM(IR，F)表示f與IR的結構相似性指標，SSIM(VIS，F)表示f與VIS的結構相似性指標.

由于不同輸入圖片的判定閾值不同，為了更好地適配不同輸入的圖片，提出用NSGAIII算法分別優化紅外圖像和可見光圖像閾值θIR和θVIS.閾值優化如公式（10）所示：

式中：NSGA3(·)表示NSGA-III的數學模型，θS表示IR或VIS的閾值，獲得得分表和優化閾值后，將得分表轉換為權重表，轉換公式如公式（11）和公式（12）所示：

式中：wIR和wVIS分別是IR和VIS的得分權重表，通過權重表可以關注到圖像的每個像素.

針對紅外圖像的突出像素點、可見光圖像豐富的結構紋理信息像素點和預融合圖像的較為突出像素點采取不同的融合策略，如公式（13）所示.

式中：FL表示融合的低頻圖像，通過不同圖像權重表的判斷，可以最大化地使FL保留更多信息.

2.3.2 高頻圖像融合

與低頻子帶不同，高頻子帶圖像通常用于反映源圖像的邊緣紋理和輪廓信息.圖像結構信息以邊緣和輪廓的形式表現，圖像的邊緣和輪廓通常對應于亮度信息急劇下降的像素.絕對值較大的高頻系數能很好地反映圖像的邊緣紋理特征，為了有效地融合高頻子帶中的細節信息和結構信息，高頻子帶選擇絕對值取大規則，如公式（14）所示：

2.4 NSST逆變換

本文通過NSST逆變換重建融合圖像F，如公式（15）所示：

式中：NSST_REC（·）表示NSST逆變換函數；F為最終的融合圖像.

3 實驗結果與分析

3.1 實驗設置

為驗證本文算法的融合效果，實驗選用TNO數據集作為源圖像，其中選擇TNO數據集中五組圖像，分別是：“2_men”“sandpath”“camp”“Kaptein”“tank”圖像.

本方法的實驗平臺是W indows10操作系統，處理器為AMD3750，主頻2.3 GHz，內存8 GB，實驗工具MATLAB 2019b.將文獻［17］中的指標E、AG、SD、Qw、SF、PSNR、MI、SSIM作為客觀評價指標.

實驗中，本文方法與五種主流的圖像融合方法——RFN深度學習網絡（RFN）［18］、稀疏正則化（SR）［19］、潛在低秩表示（LATLRR）［20］、視覺顯著性圖（VSM）［21］和貝葉斯融合（Bayesian）［22］的融合方法進行對比.

3.2 主觀評價的結果

圖4 展示了本文方法與其他五種主流算法的主觀視覺效果.每行圖像分別為：紅外圖像、可 見光圖 像、RFN、SR、LATLRR、VSM、Bayesian和本文算法（Proposed）融合結果.在圖4（a）和圖4（d）中，RFN、SR、LATLRR、VSM和Bayesian方法的融合圖像顯示出背景“天空”亮度較低，未與可見光圖像的背景一致.在圖4（b）和圖4（c）中，RFN和Bayesian方法展現了良好的紋理細節，但紅外目標未突出；SR方法對比度高但失去了樹木結構；LATLRR和VSM方法對比度低，邊緣效果差.在圖4（e）中，RFN、SR、VSM和Bayesian方法整體亮度低，對比度不佳；LATLRR方法對比度高但草地模糊.相較之下，本文方法在這5組圖像中的邊緣紋理、對比度和突顯紅外目標方面均有較好的表現，為圖像提供了更豐富的視覺效果.

圖4 TNO主觀效果圖

3.3 客觀評價的結果

圖5為五種主流算法和本文方法的客觀評價指標，黑色柱狀圖表示本文方法的客觀評價指標值.

圖5 客觀評價指標對比柱狀圖

由圖5可知，實驗算法在E、AG、SD、Qw、SF、PSNR和MI七個指標中明顯優于其他方法，表明融合圖像具有更豐富的源圖像信息，能更好地表述源圖像.本文方法對圖4（a）所得SSIM較低，但結合主觀結果分析，本文方法更注重樹木和標識牌的灰度信息和邊緣輪廓，與可見光圖像更相似.本文方法對圖4（e）的SSIM值居第四，但在其他七個客觀評價中表現出更豐富的信息、更高的對比度和更好的空間分布.這些結果表明本文方法能夠更全面地保留源圖像信息，融合圖像質量更高.

4 結語

本文提出一種基于NSST和NSGA-III的紅外和可見光圖像融合方法.該方法充分利用NSST的多分辨率和各向異性特征，充分提取圖像的低頻與高頻分量；針對低頻圖像，本文采用了一種基于區域能量的預融合技術，以預融合圖像作為參考圖像，運用NSGA-III算法進行優化獲得融合低頻圖像；針對高頻圖像融合，選擇絕對值取大規則.利用NSST逆變換進行圖像重構.在TNO數據集上進行實驗，并與其他先進的算法進行比較，定性和定量的分析結果表明，本文方法在目標突出的同時，保留了源圖像更多的結構信息.