基于NSCT 和SF-PCNN 的紅外與可見光圖像融合

摘要：為了獲得信息更加豐富的圖像，本文選用非下采樣Contourlet變換（NSCT） 對紅外與可見光圖像進行多尺度分解。結合加權平均（average） 、灰度值取大（max） 、脈沖耦合神經網絡（PCNN） 以及空間頻率（SF） 等多種融合規則，分別對圖像NSCT分解后的低頻與高頻部分進行融合處理。實驗結果表明，對NSCT分解后的低頻部分采用SF-PCNN融合規則，對高頻部分采用max融合規則，能夠獲得信息更加豐富的高質量圖像。同時，該方法的定量評價指標也更優。

關鍵詞：圖像融合；NSCT；多尺度分解；融合規則

中圖分類號： TN911 文獻標識碼： A

文章編號：1009-3044（2025）04-0147-05 開放科學（資源服務） 標識碼（OSID） ：

0 引言

當今社會，圖像信息的來源越來越廣泛，使得對圖像信息的處理變得尤為重要。自20世紀70年代以來，圖像融合技術逐漸受到重視。圖像融合是將兩幅或多幅圖像融合成一幅圖像，融合后得到的圖像在信息量、圖像特征的準確性和質量等方面均優于源圖像[1-3]。紅外圖像與可見光圖像的融合是圖像融合的重要分支之一。紅外圖像根據不同物質熱輻射的差異來區分目標與背景，不受光照影響，能夠較好地反映溫度分布，但其空間分辨率較低，細節信息較少；而可見光圖像則依賴人眼的視覺系統獲取物質的結構特征，具有較高的空間分辨率和對比度，細節表現能力強，但易受天氣和光照條件的影響。結合以上兩種圖像的互補性，將二者融合可以充分發揮各自的優勢，應用于軍事、國防、遙感、目標識別等多個領域[4-10]。

目前，融合的方法有很多，其中像素級圖像融合方法最為普遍。針對像素的融合可分為非變換域和變換域兩大類。非變換域的融合主要包括加權平均、灰度值取大、主成分分析（PCA） 、顏色空間融合以及脈沖耦合神經網絡（PCNN） 等[11-15]；變換域的主要方法包括金字塔變換、小波變換、Contourlet變換、非下采樣Contourlet 變換（NSCT） [16-20]、Shearlet 變換以及非下采樣Shearlet（NSST） [21-24]等。非變換域的融合方法能夠最大限度保留源圖像的原始數據，從而使融合后的圖像細節豐富，且計算復雜度相對較低。但其缺點在于忽略了圖像的語義信息，可能導致一些重要特征的丟失或模糊。變換域的融合方法則能夠將圖像分解為不同頻率的子圖像，便于在不同尺度下進行融合處理，同時較好地保留圖像的細節信息和邊緣特征。然而，在處理高頻細節時仍存在一定局限性，并需要較為復雜的數學運算和算法支持。

為了更好地發揮多種融合方法的優勢，本文將變換域與非變換域的方法結合使用。具體而言，本文將源圖像從空間域轉換到NSCT域，對NSCT分解后的系數采用加權平均、灰度值取大、PCNN以及SF-PCNN 等不同的融合規則進行融合處理，以期獲得更好的融合效果，使融合后的圖像更加保留源圖像中的信息，同時計算得到的評價指標更優。

1 NSCT

NSCT是Contourlet變換的改進版本，省去了采樣過程，采用非下采樣拉普拉斯金字塔濾波器與非下采樣方向濾波器進行實現，與Contourlet相比，NSCT具有平移不變性的特點，所設計的濾波器也更為簡化。首先，對圖像進行非采樣金字塔變換（NSP） ，以獲得多個尺度上分解的圖像，該過程無須上下采樣；接著，對NSP分解后的各個尺度的高頻子帶進行非下采樣方向濾波（NSFB） 。假設對NSP分解后的某一尺度子帶進行L級分解，可以獲得2L 個方向的子帶。依此類推，如果對一幅圖像進行j層分解，最終可以得到一個低頻子帶圖像和Σj = 1J 2j 個方向子圖，并且分解后所有圖像尺寸大小與源圖像保持一致。圖1為一幅圖像進行3層NSCT分解的示意圖。

1.1 非下采樣拉普拉斯金字塔濾波器（NSFB）

NSPFB通過去除傳統金字塔分解中的上采樣和下采樣步驟，實現了圖像的平移不變性，從而避免了由于采樣操作引起的信息丟失和混疊現象。NSP利用一組雙通道的非下采樣濾波器組對圖像進行分解，首先對輸入圖像應用低通分解濾波器，以得到一個低頻子帶圖像。接下來，對上一級的低頻子帶圖像進行上采樣，并通過高通濾波器，得到一個帶通子帶圖像。此過程在每一級重復進行，逐級分解出高頻和低頻子帶。為了確保圖像能夠重構為原始狀態，需要設計相應的重構濾波器。重構濾波器與分解濾波器須滿足Bézout恒等式[17]，以確保信號在變換過程中盡量不丟失信息。公式（1） 為Bézout恒等式。圖2為雙通道非下采樣塔式濾波器組，{H0 （z ），H1 （z ）}為分解濾波器，{G0 （z ），G1 （z ）}為重構濾波器。

H0 （z ）G0 （z ） + H1 （z ）G1 （z ） = 1 （1）

1.2 非下采樣方向濾波器（NSDFB）

NSDFB采用一組扇形濾波器組，將NSP分解得到的高頻子帶進一步分解為多個方向子帶，以捕捉圖像在不同方向上的細節信息。圖3為雙通道非下采樣扇形濾波器組，{U0 （z ），U1 （z ）}為分解濾波器，{V0 （z ），V1 （z ）}為重構濾波器，他們也滿足Bézout恒等式[17]，如公式（2） 所示。

U0 （z ）V0 （z ） + U1 （z ）V1 （z ） = 1 （2）

2 圖像融合規則

2.1 融合常用規則

基于變換域的圖像融合中，圖像的低頻部分通常包含整體信息，而高頻部分則反映輪廓和細節信息。因此，對變換后的低頻和高頻分量分別采用不同的融合規則至關重要。目前常用的變換域融合規則主要有兩類：基于單個像素和基于區域特征。

1） 加權平均（average）

如果用A（i，j ）、B（i，j ）來表示兩幅源圖像在（i，j ）處的像素值，用F （i，j ）表示融合后的像素值，則：

F （i，j ） = α1 A（i，j ） + α2 B（i，j ） （3）

上式中，α1 + α2 = 1，根據實際情況可以適當調整α1和α2 的值。

2） 灰度值取大（max）

F （i，j ） = max（A（i，j ），B（i，j ）） （4）

F（i，j ） = max（| A（i，j ） |，| B（i，j ） |） （5）

公式（4） 是選擇兩幅源圖像中灰度值大的數據作為融合后的數據，公式（5） 是選擇兩幅源圖像中像素絕對值大的數據作為融合后的數據。

3） 區域絕對值取大

將一幅圖像劃分成不同大小的區域，這些窗口可以根據圖像的特征進行選擇，常見的有3 × 3 ， 5 ×5 ，7 × 7幾種設置方法。計算所選區域中像素絕對值最大的像素作為該區域的最終像素。

2.2 脈沖耦合神經網絡（PCNN）

PCNN與人眼視覺系統具有良好的適應性，并在閾值選擇、特征提取等方面具有一定優勢，因此在圖像融合領域得到了廣泛應用。為了獲得更好的融合效果，可以嘗試將多尺度分解方法與PCNN融合規則相結合。在PCNN圖像融合的過程中，圖像中的像素數量與神經元的數量保持一致，簡化的神經元網絡模型如圖4所示。

在圖像融合過程中，兩幅不同的源圖像分別送入PCNN，使得神經元被激活，接著神經元的激活次數不斷增加，記錄下神經元激活的次數。對兩幅圖像中相應的神經元進行選擇，保留像素值較大的神經元，由這些像素值組成的圖像即為融合后的圖像。融合過程遵循以下迭代關系[15]：

公式（6） 中Sij [n ]是圖像中（i，j ） 處像素點的灰度值，以此作為PCNN的輸入項Fij [n ]，Lij [n ]為鏈接項，αL 為鏈接域中的衰減時間，VL 為放大倍數，Ykl [n - 1] 表示迭代n - 1后神經元的輸出值，wijkl 為Lij 中Ykl 的連接權值系數，Uij [n ]為內部活動項，β 為神經元的鏈接強度，Yij [n ]為輸出脈沖序列，θij [n ]、αθ 和Vθ 分別為動態門限閾值、衰減時間系數和放大系數，n 表示迭代的次數。由圖4可知Fij [n ]和Lij [n ]輸入內部以后，進行相應的調制處理后得到Uij [n ]，然后將Uij [n ]與θij [n ] 進行比較，當Uij [n ] gt; θij [n ]時，Yij [n ]輸出為1，通過反饋后θij [n ]增大超過Uij [n ]后，Yij [n ]輸出為0。這樣循環反復，直到達到n 次迭代后結束。參數αL =1，VL = 1，αθ = 0.2，Vθ = 20，wijkl = [0.707，1，0.707 ; 1，0，1 ;0.707，1，0.707]。

2.3 空間頻率（SF）

圖像的空間頻率反映圖像中像素點在空間上的變化程度。一般來說，圖像光滑部分的空間頻率較低，而紋理復雜、邊緣劇烈變化的部分空間頻率較高。空間頻率的計算公式如公式（8） 所示：

式中：RF 與CF 分別代表空間行頻率和空間列頻率，具體計算公式如公式（9） 和公式（10） 。

式中：M*N 表示圖像的大小，f （i，j ）、f （i，j - 1）、f （i - 1，j ）分別表示不同位置處像素點的坐標。

2.4 SF-PCNN 融合規則

結合空間頻率（SF） 與PCNN進行融合的具體步驟如下。

1） 對源圖像a， b分別進行NSCT多尺度變換以后得到各個不同頻率的系數Ca [i，j ]和Cb [i，j ]。

2） 計算不同頻率系數的空間頻率輸入PCNN神經元中，將各個頻率系數計算的空間頻率作為外部的輸入，然后按照公式（11） 計算每個輸入對應的激活次數Tij [n ]。

Tij [n ] = Tij [n - 1] + Yij [n ] （11）

3） 比較a， b圖像各個不同頻率系數處的激活次數，選擇激活次數多的系數作為融合后的系數CF [i，j ]，具體計算公式如公式（12） 所示，其中，Tij，a [n ]和Tij，b [n ]分別表示a，b兩幅圖的（i，j ）處激活次數。

3 實驗結果與分析

選用一組大小為256 × 256 的紅外與可見光圖像，見圖5（a） 和（b） 。分別對二者進行NSCT分解，分解層數為5層，每層的方向數分別為4、8、16，采用的濾波器組為“pkva”和“7-9”濾波器。對分解后的低頻系數分別采用直接平均（average） 、PCNN 以及SFPCNN等方法進行融合；對各層各方向的高頻系數分別采用灰度值取大（max） 、PCNN以及SF-PCNN等融合規則，從視覺效果和評價指標兩個方面比較幾種方法的融合效果。評價指標選用平均梯度、邊緣強度、標準差以及空間頻率等，這些指標的數值越大表明融合效果越好[25]。不同融合規則下的具體評價指標值見表1。由圖6所有融合后的圖像效果圖可以看出，圖6（a） （b） （c） 中低頻采用average，高頻采用max、PCNN和SF-PCNN的視覺效果較差；而在圖6（i） 中，低頻采用SF-PCNN融合，高頻采用max獲得的融合圖像信息更加豐富。由表1可見，在圖6（a） 中低頻直接平均（average） 、高頻采用SF-PCNN融合計算得到的各項評價參數值均為最小，且運行時間較長；圖6（a） （b） （d）（e） （g） （h） 中，高頻采用PCNN或SF-PCNN融合的各項指標值明顯低于采用max方法（見圖6（c） （f） （i）） ，且程序運行所需時間較長；其中，圖6（i） 中高頻采用SFPCNN低頻使用max方法獲得的各項指標值最高，運行時間也相對較短。

4 結論

將NSCT 與加權平均（average） 、灰度值取大（max） 、PCNN以及SF-PCNN等融合規則結合，對圖像進行融合處理，并計算出多個評價指標。實驗結果表明，對于源圖像經過NSCT分解后的低頻系數，采用SF-PCNN方法進行融合，高頻系數則采用max方法，獲得了更好的融合效果，各項計算指標均為最優，同時程序運行時間較短。此方法適用于紅外與可見光圖像的融合，但對于其他不同圖像源的融合，可能存在信息冗余和沖突，如何有效區分和融合這些信息將是下一步研究的方向。

參考文獻：

[1] CHEN Y B，GUAN J W，CHAMW K.Robust multi-focus imagefusion using edge model andmulti-matting[J]. IEEE Transac?tions on Image Processing，2017，27（3）：1526-1541.

[2] LI H，WU X J，KITTLER J.RFNNest：an end-to-end residual fu?sion network for infrared and vis?ible images[J]. Information Fu?sion，2021，73：72-86.

[3] 唐霖峰，張浩，徐涵，等.基于深度學習的圖像融合方法綜述[J].中國圖象圖形學報，2023，28（1）：3-36.

[4] YIN H T，XIAO J H.Laplacianpyramid generative adversarialnetwork for infrared and visibleimage fusion[J].IEEE Signal Pro?cessing Letters， 2022， 29： 1988-1992.

[5] ZHOU H B，WU W，ZHANG Y D，et al.Semantic-supervised infra?red and visible image fusion viaa dual-discriminator generativeadversarial network[J]. IEEETransactions on Multimedia，2021，25：635-648.

[6] RAO Y J，WU D，HAN M N，et al.AT-GAN： a generative adver?sarial network with attention andtransition for infrared and vis?ible image fusion[J]. InformationFusion，2023，92：336-349.

[7] WANG B W， ZOU Y， ZHANG L F， et al. Multimodal superresolutionreconstruction of infrared and visible images viadeep learning[J].Optics and Lasers in Engineering，2022，156：107078.

[8] WANG D，LIU J Y，LIU R S，et al.An interactively reinforcedparadigm for joint infrared-visible image fusion and saliencyobject detection[J].Information Fusion，2023，98：101828.

[9] SU W J，HUANG Y D，LI Q F，et al.Infrared and visible image fu?sion based on adversarial feature extraction and stable imagereconstruction[J]. IEEE Transactions on Instrumentation andMeasurement，2022，71：2510214.

[10] WANG Z S，WANG J Y，WU Y Y，et al.UNFusion：a unifiedmulti-scale densely connected network for infrared and vis?ible image fusion[J].IEEE Transactions on Circuits and Sys?tems for Video Technology，2022，32（6）：3360-3374.

[11] WANG Z S，WANG J Y，WU Y Y，et al.UNFusion：a unifiedmulti-scale densely connected network for infrared and vis?ible image fusion[J].IEEE Transactions on Circuits and Sys?tems for Video Technology，2021，32（6）：3360-3374.

[12] RAO D Y，WU X J，XU T Y.TGFuse：an infrared and visible im?age fusion approach based on transformer and generative ad?versarial network[EB/OL].（2022-10-12）[2024-01-16]. https：//arxiv.org/abs/2201.10147v2.

[13] WANG Z B，WANG S，ZHU Y.Multi-focus image fusion basedon the improved PCNN and guided filter[J].Neural ProcessingLetters，2017，45（1）：75-94.

[14] ZHAN K，SHI J H，WANG H B，et al.Computational mecha?nisms of pulse-coupled neural networks：a comprehensive re?view[J]. Archives of Computational Methods in Engineering，2017，24（3）：573-588.

[15] 戴文戰，王琪.基于PCNN與IFS的可見光與紅外圖像融合方法[J].光電子·激光，2020，31（7）：738-744.

[16] 程鋼，李瑋琳，李麗.基于非下采樣Contourlet變換的多模態醫學圖像融合[J].長春工業大學學報，2018，39（3）：248-252.

[17] 羅娟，王立平.基于非下采樣Contourlet變換耦合特征選擇機制的可見光與紅外圖像融合算法[J].電子測量與儀器學報，2021，35（7）：163-169.

[18] 姜寒雪，郭立強.一種基于NSCT和對比度拉伸的紅外與可見光圖像融合算法[J].淮陰師范學院學報（自然科學版），2022，21（1）：17-23.

[19] 曹宇彤，宦克為，薛超，等.基于卷積神經網絡結合NSCT的紅外與可見光圖像融合[J].紅外技術，2023，45（4）：378-385.

[20] 姜邁，沙貴君，李寧.基于引導濾波與雙樹復小波變換的紅外與可見光圖像融合[J].激光與光電子學進展，2023，60（10）：1010008.

[21] 鄧立暖，堯新峰.基于NSST的紅外與可見光圖像融合算法[J].電子學報，2017，45（12）：2965-2970.

[22] 趙丹，戴文戰，李俊峰.基于NSST和改進PCNN的醫學圖像融合[J].光電子·激光，2018，29（1）：95-104.

[23] 黃陳建，戴文戰. 基于區域像素差絕對值總和的NSSTPCNN醫學圖像融合[J].光電子·激光，2021，32（6）：587-594.

[24] DIWAKAR M，SHANKAR A，CHAKRABORTY C，et al.Multimodalmedical image fusion in NSST domain for Internet ofmedical things[J].Multimedia Tools and Applications，2022，81（26）：37477-37497.

[25] 孫彬，高云翔，諸葛吳為，等.可見光與紅外圖像融合質量評價指標分析[J].中國圖象圖形學報，2023，28（1）：144-155.

【通聯編輯：梁書】

基金項目：安徽省2022 年高校科學研究重點項目“基于軌跡在線提取的3D 折線焊縫機器人擺動GMAW 實時跟蹤技術研究”（2022AH052866）；池州職業技術學院科研自然重點項目“多尺度變換域中脈沖耦合神經網絡與監督學習模型的圖像融合方法研究”（ZR2021Z1） ；池州學院科研重點項目“基于非局部自相似的圖像超分辨率方法研究”（CZ2021ZRZ08） ；安徽省2024 年高校科學研究重點項目“基于機器視覺的金屬表面缺陷檢測關鍵技術研究”（2024AH051382）