基于脈沖耦合神經網絡的異源圖像融合方法

張 寬， 王 鵬*， 范訓禮， 李曉艷， 孫夢宇， 喬夢雨

(1.西安工業大學 電子信息工程學院，陜西 西安 710021； 2.西北大學 信息科學與技術學院，陜西 西安 710127；3.西安工業大學 光電工程學院，陜西 西安 710021； 4.陜西航天技術應用研究院有限公司，陜西 西安 710100)

依托于當今信息時代大背景，人們能夠通過聲、光、圖像等多種同/異介質傳感器，綜合信息融合技術來獲得相對于單一傳感器而言更為豐富現場信息。圖像作為人類肉眼能夠直接感知的信息類型，與人類日常生活息息相關，因此與之相關的融合日漸增多，可見光與紅外圖像融合便是當下主流研究方向之一[1-2]。融合圖像既能發揮紅外射線對熱目標敏感、探測距離遠、穿透能力強等優點，又能保持微光/可見光圖像對比度高、細節豐富、與人眼特性相近等明顯優勢[3-5]。深入研究可見光與紅外圖像融合能夠用于軍事作戰、遙感影像分析、紅外檢測、防恐怖安全檢查、軍事觀測等應用領域，同時亦有利于圖像后續處理(如檢測、識別、跟蹤等)，為其提供圖像基礎，因此也有著重要理論研究意義。

無論在頻域還是時域，小波變換對于信號的局部特征均具有良好的表達能力，基于此，Chipman等[6]人提出的基于小波變換的圖像融合方法在當時獲得了廣泛的關注，但該算法的融合規則過于簡單，并不能很好地利用其表達能力；2014年，Naidu等[7]提出了小波變換(Wavelet Transform，WT)與主成分分析法(Principal Component Analysis,PCA)結合的圖像融合方法，能夠更好地保留空間細節信息，但由于PCA會受到大噪聲的影響，從而導致估計結果誤差偏大，最終影響圖像融合質量；2018年，江澤濤等[8]提出了基于改進型脈沖耦合神經網絡(Improved Pulse Coupled Neural Network,IPCNN)的紅外與可見光圖像融合算法，將圖像的高低頻信息分別進行融合，針對高頻信息，該算法采用IPCNN進行融合，但針對低頻信息的融合方法較為簡單，故對低頻信息的表達不夠完善；2020年，Guo等[9]提出了基于全卷積網絡的圖像融合算法，該算法通過數據集來訓練全卷積網絡，從而完成圖像融合任務，但訓練過程較為復雜，并且對設備性能要求較高；2021年，Zhang等[10]與Jiang等[11]分別提出了基于NSST和提升LSCN的圖像融合算法與基于紋理分析的IPCNN的融合算法，兩種方法均將信號分為高頻部分和低頻部分，針對高頻或紋理信息部分均采用脈沖耦合神經網絡(PCNN)進行融合，這樣能夠較好地保證融合質量，但對低頻信息并未進行噪聲分析。

本文結合了小波變換和PCNN的優點，提出了基于魯棒性主成分分析法(Robust Principal Component Analysis,RPCA)與PCNN的融合方法。對源圖像進行小波變換后，將高頻信息送入PCNN中進行融合，以保證圖像細節融合質量；對于低頻信號，采用RPCA的方法對其進行融合，采用非精確增廣拉格朗日乘子法對其進行優化求解，保證融合圖像的保真度和求解效率；最后采用逆小波變換得到最終的融合圖像。

1 基于主成分分析與二代小波變換的圖像融合方法

此方法中，首先是將已配準的可見光圖像進行主分量變換[12]；再對可見光圖像的第一主分量與近紅外圖像進行提升小波變換[13](Lifting Wavelet Transform,LWT)融合處理，其中，高低頻的融合規則均采用了加權平均的融合規則；用融合結果代替可見光圖像的第一主分量，其目的就是既要融入近紅外圖像的細節信息，又要保留可見光圖像的光譜信息；最后，對得到的可見光圖像3個新主分量做逆變換，從而得到最終的融合圖像。使其在多光譜信息的保持與空間細節表現的綜合性能得到提高。

在此，假設矩陣A表示信號矩陣即為高頻信號矩陣與低頻信號矩陣，且同時為低秩矩陣，矩陣E為標準差為σ的白噪聲矩陣，矩陣D為觀測矩陣，則傳統的PCA算法的優化模型為

(1)

式中，ρ(·)為矩陣的秩;r為預定的目標維度，且滿足條件r<

第二代小波變換——提升小波的步驟流程如圖1所示。

圖1 提升小波步驟流程圖

① 分裂。分裂部分負責將原始信號sj分成偶數樣本和奇數樣本，分裂過程為

F(sj)=(sj-1,dj-1)

(2)

式中，sj-1為低頻近似分量；dj-1為高頻近似分量；F(sj)指分解過程。

② 預測。此步驟需要利用數據之間的關系，構造預測算子，使用偶數樣本預測奇數樣本。預測誤差計算方法為

dj-1=dj-1-P(sj-1)

(3)

式中，P(·)為預測算子。

③ 更新。此步驟通過更新算子U(·)生成一個更好的數據集sj-1來保留原始數據集sj的一些特征。分解過程為

sj-1=sj-1+U(dj-1)

(4)

由于LWT是完全可逆的，因此LWT的反變換與LWT具有對稱的結構，相比之下，可以準確地重建圖像。

對源圖像的高頻信號和低頻信號采用加權平均的的融合規則即可形成融合后的高頻信號和低頻信號。

2 基于魯棒性主成分分析與脈沖耦合神經網絡的圖像融合

在信號出現較大的誤差時，PCA無法準確恢復信號，而紅外與可見光圖像又是光譜特性差異很大的兩種圖像，傳統基于PCA與LWT的融合方法在此時便不太適用。另外，該算法在高頻圖像信息部分并未做針對性處理，因此最終獲得的融合圖像難免受到PCA算法本身局限性的影響[14]。基于以上所述，為了提高傳統基于PCA與LWT融合的魯棒性，使其更適用于多源圖像融合領域，同時增強融合圖像的細節表達能力，引入了RPCA與PCNN算法，提出了基于魯棒性主成分分析與脈沖耦合神經網絡的圖像融合方法。

其中，RPCA[15]能夠很好地解決傳統PCA魯棒性差的缺點；而PCNN[16]是學者們在研究貓等哺乳動物的視覺神經元時受到啟發而提出來的，該算法在原理上較為符合人類視覺成像原理，因此能夠通過該算法在圖像中提取出滿足人類肉眼觀察的豐富細節信息。

算法步驟具體如下：首先，將紅外與可見光圖像進行二代小波變換，將兩種圖像各自分解為高低頻信號；其次，對低頻信號采用RPCA完成融合，用以提高算法的魯棒性,利用非精確增廣拉格朗日乘子法還原低秩矩陣,對還原后的低秩矩陣采用加權平均的方式進行融合；然后，高頻信號則輸入至PCNN中進行融合，以提高融合后的圖像質量；最后，將融合后的小波系數進行逆變換，便可獲得最終的融合圖像。

整體方案圖如圖2所示。

圖2 整體方案圖

2.1 基于魯棒主成分分析法的低頻融合策略

主成分分析法[15]經常被用于傳統的圖像融合方法中，尤其在信號噪聲較小時能夠獲得很好的估計結果，但當出現某一較大的噪聲時，PCA無法準確估計信號，圖3和圖4展示了當信號噪聲小以及出現了較大的噪聲時PCA方法的估計結果，圖中橫縱坐標僅僅代表數值大小，無其他實際意義。

圖3 小噪聲估計結果

圖4 大噪聲估計結果

可以看到，圖3中采樣數據噪聲較小，傳統的PCA方法能夠很好地估計出原本的信號曲線，圖4中出現了嚴重錯誤的數據，此時PCA的估計結果偏差較大，無法準確還原真實數據。因此，擬采用RPCA[16]以解決傳統融合方法魯棒性較低的問題。

(5)

此時，觀測矩陣的低頻小波系數矩陣可以表示為

(6)

此時求解公式可以寫為

(7)

在此假設Y為迭代的拉格朗日乘子，μ為用于調節計算效率與精確度平衡的參數，因此構建的增廣拉格朗日乘子函數為

(8)

將其劃分為兩個子問題迭代求解，公式為

(9)

(10)

(11)

式中，Dε為奇異值閾值算子。

(12)

(13)

兩個矩陣迭代求解直至收斂。

對于引入的拉格朗日乘子Y和參數μ在每次迭代過程中的更新如式(14)所示：

(14)

根據式(6)、式(12)、式(13)，更新后的觀測矩陣數學公式如式為

(15)

在融合低頻小波系數中，采用了加權平均的方法，當兩張融合圖像相似程度較高時，此方法十分有效，而本文采用了RPCA的方法，具有較好的保真度和一致性，因此加權平均的方法將會起到較好的效果。

2.2 基于脈沖耦合神經網絡的高頻融合策略

傳統算法采用小波變換進行圖像分解與融合時，雖能夠較好地保留概貌信息，但細節信息略顯不足，因此，對高頻信息采用PCNN[17]進行融合。首先介紹了高頻子帶圖像的融合策略，之后對PCNN進行簡要介紹。

所采取高頻融合策略具體如下。

可見光與紅外圖像分別經過提升小波分解后，各自都會轉換為多幅高頻子帶圖像和一幅低頻子帶圖像；將高頻子帶圖像作為輸入圖像，分別送入簡化版PCNN中，由此可以得到多個點火序列圖；接下來將根據高頻子帶圖像相應位置的點火圖來判斷最終的高頻子帶系數，具體判斷方法是：如果兩張相應異源高頻子帶圖像中相同位置的點火圖的值小于某個閾值(例如，經1層分解后的水平方向上的高頻可見光圖像和紅外圖像可被視為相應異源圖像，其他分解層數與水平方向上的圖像同理)，此時算法認為空間上兩點的灰度值相似，取兩者灰度的算術平均值作為該點的高頻子帶融合系數；如果該點的點火圖的值大于某個閾值，則認為兩點的灰度值不相似，此時取點火值較大的點的灰度值作為該點高頻子帶融合系數。由此得到所有的高頻子帶融合系數。

最后，將低頻信息與高頻信息結合，通過小波逆變換即可得到最終融合后的圖像。

PCNN算法實質上是一種無監督的單層神經網絡，圖5為由學者簡化版本的PCNN單個神經元模型框圖[18]，其基本原理與標準PCNN算法相同，只是簡化了多余的參數，模型的數學表達式如式(16)所示。整個模型由輸入部分、連接調制部分、脈沖發生器部分三部分構成。

圖5 簡化版PCNN單個神經元模型框圖

首先，神經元模型會在接收域采集鄰近神經元信號和外部輸入激勵信號。這兩種信號在模型中通過兩種不同的路徑進行傳遞，分別為L路徑(鄰近神經元信號)和F路徑(外部激勵信號)；接收到兩個信號后，神經元模型會在連接調制部分通過累加和調制操作完成兩個信號的耦合，耦合的結果被稱為內部活動項；PCNN模型中，脈沖發生部分由一個脈沖發生器和比較器構成，其中，比較器的閾值大小能夠變化。在該模型運行過程中，如果內部活動項達到比較器中所設定的閾值大小，此時神經元被稱為點火狀態。在該狀態下，脈沖發生器將發出一個特殊的頻率不變的脈沖信號。

(16)

式中，(i,j)為輸入的神經元序號，在圖像處理中為對應的像素點位置；n為系統的迭代次數；Uij(n)為神經元的內部行為；f用于控制Uij(n)衰減，取值范圍為0～1；Iij(n)為神經元的外部激勵(常取圖像的灰度值或者像素所在區域的特性指標);W為神經元之間的連接權系數矩陣;Ypq為鄰域神經元的輸出;Eij(n)是變閾值函數輸出，其控制神經元的點火閾值；g為閾值衰減系數；h為閾值放大系數;Yij(n)為第n次迭代神經元的輸出狀態，其由Uij(n)和Eij(n)大小關系共同決定，當Yij(n)=1 時稱神經元發放一次脈沖或者完成一次點火。

將PCNN應用于圖像融合，此時每一個PCNN神經元對應于圖中單個的像素點,這些像素點彼此互為周圍神經元，這樣就能夠形成一個單層二維PCNN，同時這也意味著算法在構建PCNN時，神經元的個數應當與輸入圖像像素數量相當。輸入某張圖片至該網絡時，算法首先需要對圖片中各個像素點的灰度值進行歸一化處理，這樣才能作為外界刺激信號去激勵各個神經元。而外部刺激越強,對應神經元的點火頻率就越高。當某一神經元(對應于單個像素點)點火成功,而各神經元又是彼此耦合鏈接,因此會導致周圍神經元在這時的內部活動項的值發生變化,若最終該值大于閾值,則某一個周圍神經元也將點火,輸出脈沖。與此同時，隨著某一點神經元點火，其內部活動項對應的閾值也會隨之增加，因此該神經元不會一直不停地輸出脈沖。最后，隨著該像素點的點火次數不斷累加，脈沖次數也在不斷增加，最終算法能夠得到一張反映各個像素點點火次數的圖像，被稱為點火圖，它包含有圖像的區域、邊緣、紋理等信息，能夠為后續圖像處理提供重要信息。

本文中設置的PCNN參數數據參考于文獻[19]，該數據是通過大量實驗總結而來的經驗數值，具體為：內部活動項的初始值為0；動態閾值初始值為1;f為0.2;g為0.9;h為20;n為3；W為

3 實驗

此選擇定量與定性兩種分析方法，并選擇了4個同場景下的可見光與紅外圖像進行融合實驗，將本文算法與其他4種算法進行了對比試驗。為保證實驗的公平性，所有算法均在Window 10 操作系統、Intel?CoreTMCPU i7-7700HQ 2.8 GHz 8GB內存計算機上采用Matlab 2018a軟件進行仿真實驗。

所采用的用于融合的4組可見光與紅外圖片組來源于網絡公開的TNO Human Factors數據集，該數據集包含不同軍事相關場景的多光譜夜間圖像，每一組可見光與紅外圖像組都經過嚴格的配準，因此可以被直接應用于圖像融合研究。

3.1 定性分析

對比了5種不同的算法，即本文算法、IFEVIP(Infrared Feature Extraction and Visual Information Preservation)算法[20]、WT算法、LWT+PCA算法和PCNN算法，經5種算法處理后的融合圖像以及運行結果如圖6所示。

圖6 結果對比圖

從圖6中可以看到，4種算法均能保留源圖像中的背景信息，同時也能夠準確提取目標信息。但WT算法雖能夠提取到目標信息，但目標邊緣和細節不夠明顯，主要原因在于WT算法對高緯度的邊緣信息表達能力較差，對奇異信息表達更好；IFEVIP算法和LWT+PCA算法更多地保留了可見光圖像信息，而IFEVIP算法的對比度更高，但在汽船圖片中明顯看到，其對于船體邊緣很小的目標并未顯示，并且空中分界線也未能夠顯示出來。LWT+PCA算法卻可以較好地融合這兩種信息,但整體而言，該算法對于背景信息的體現還是不夠好。例如，在汽船圖案中，在天空背景亮度方面，該算法明顯示不如IFEVIP算法能反映真實背景亮度。而對于單獨使用PCNN的融合圖片，與其他方法相比，該算法得到的圖片亮度都略低；與除WT算法之外的算法對比，該算法不夠突出目標的輪廓信息；但是從細節信息的角度而言，該方法用于汽船與士兵圖案中，能夠看到清晰的船體邊緣與樹葉的形狀，這與PCNN的細節表達能力比較強有關。而所提出的方法融合圖像對比度高，目標邊緣足夠清晰，結構信息足夠豐富，例如汽船圖片中的小型目標和邊界線、街道圖片中的牌匾文字、士兵圖片中的柵欄等均能夠看清，原因在于本文所采用的RPCA方法能夠從背景中準確分離提取目標，邊緣清晰，利用PCNN的高頻融合能夠保留較好的細節信息。從定性實驗綜合來看，本文所提出的算法的可見光與紅外融合圖像效果最好，視覺效果最佳。

3.2 定量分析

本文選取了4種指標對比了5種算法的表現，具體指標如下。

① 熵[21](Entropy)。熵表示該融合圖像中信息含量的多少，熵值越高，表示包含信息越豐富。熵值計算公式為

(17)

式中，pl為融合圖像中該灰度的歸一化灰度值；L為灰度數量。

② 空間頻率[22](Spatial Frequency，SF)。空間頻率是根據圖像梯度指標對圖片質量放假行評價的指標，通過對圖像中梯度的測量，可以表示圖像的細節紋理的豐富程度，空間頻率越高，表示細節越豐富。其計算公式為

SF=

(18)

式中，i和j為圖像的索引值；F為圖像的灰度值；M和N分別為目標的長和寬。

③ 結構相似度[23](Structural Similarity，SSIM)。結構相似度表示兩張圖之間的相似度，計算公式為

(19)

式中，X和F分別為源圖像與融合圖像；σ為圖像的協方差矩陣；μ為圖像的均值；C1、C2、C3為中間變量，用于穩定測試算法，當C1=C2=C3=0時，此指標為通用指標。

④ 峰值信噪比[23](Peak Signal-to-Noise Ratio，PSNR)。峰值信噪比度量是融合圖像中峰值功率與噪聲功率的比值，反映了融合過程中的失真程度。該值度量定義為

(20)

式中，r為融合后圖像的峰值。PSNR越大，融合圖像越接近源圖像，融合后的圖像失真越小。

本文所測試的4種算法的測試結果如表1所示。表1中，粗體字表示該方法在此指標下性能最好。對于熵指標而言，所提出的算法僅僅在馬路圖片序列中的測試結果落后于IFEVIP算法，排在第2位，在其他測試圖片中均為第一名。PCNN算法表現最差，對于每張融合測試圖片，由該算法得到的融合圖片的熵值都為最低。但實際上，各個算法的熵指標性能測試數據相差并不太大，最大差值數據體現在汽船圖片的測試結果中，分別是本文算法的6.66和PCNN算法的5.00，最大差值為1.66，其他的數據差別都小于該值，大多相差不超過1。因此，由熵指標測試結果可以得到的結論是相對于其他4種算法，本文算法在獲取源圖像的信息量方面略強于其他算法，但其實各個算法本身在該方面的性能相仿。

表1 定量測試仿真結果表

在空間頻率指標方面，除街道圖片中略遜于PCNN算法外，本文算法在其他測試圖片中的表現均為最好，且由各個算法間的數據差值能夠看出，本文算法相對其他算法提升較大。在該指標中，PCNN的值變化較大，最低時候仍舊是5個算法中效果最差的，但最高的時候比本文算法都好，遠強于其他算法。另外在該指標測試數據中，IFEVIP算法和LWT-PCA算法的數據值相對穩定，但表現較差。因此，相對于其他算法，本文算法能夠獲得較為豐富的細節信息，并且表現穩定。

在結構相似度指標中，對比熵指標的數據結果不難看出，本文算法與其他算法在兩個指標中的表現類似。說明本文算法生成的融合圖像與源圖像相似度更高。但各個算法在此方面的性能相差不大。

而在峰值信噪比的指標中，本文算法在各個測試圖片中的測試結果中，排名處于中上位置，僅次于WT算法;同時遠遠超過LWT-PCA算法，該算法是對比算法中在峰值信噪比指標測試中表現最差的。與其相比，本文算法在失真程度上要小很多。另外在算法運行速度方面，本文算法較為耗時，在各個測試圖片中，均表現不佳，但略強于普通PCNN算法，因為采用了多尺度變換，整個PCNN不需要對整張源圖像做相關運算，而是僅對高頻子帶圖像做相關運算。

整體而言，由表1可以看出，相對于以上其他4種融合算法，本文算法在接近一半的測試結果數據中排在第1位，這部分數據主要集中于熵指標、空間頻率指標和結構相似度指標；另外在峰值信噪比指標測試中也有較好的表現，僅次于WT算法；最后在運行時間指標中表現一般，算法運行所需時間僅低于PCNN算法。試驗結果表明，與上傳統LWT-WT算法相比，經本文算法融合后的圖像中熵指標、空間頻率指標、結構相似度指標和峰值信噪比指標均有不同程度的提高，其中空間頻率指標和峰值信噪比指標差距提升最大，說明了本文算法的先進性和有效性。

4 結束語

本文提出了基于RPCA與PCNN的圖像融合算法，利用RPCA的優勢，更好地提取目標信息，使得融合圖像中目標的邊緣更加清晰；將LWT分解出的高頻信息利用PCNN進行融合，因此本文所提出的算法融合后得到的圖像具有更好的視覺效果，并且相關指標皆有明顯提升，證明了算法改進的有效性。另外，所提出的算法亦有待提高，例如在峰值信噪比指標測試結果中，經本文算法融合后的圖像的PSNR值落后于WT算法；相對于上述對比方法，本文算法由于采用復雜度較高的PCNN算法，因此在計算速度方面會落后于其他算法。