基于優化PCNN與區域特征引導法則的圖像融合

李 文,葉坤濤,李 晟

(江西理工大學理學院,江西 贛州 341000)

1 引 言

圖像融合技術表示為獲取同一場景下的多幅傳感器圖像后,在圖像配準基礎上采取某種方法融合成一幅對場景信息描述更為清晰、準確的圖像[1]。圖像融合技術中應用較廣的一類為紅外與可見光圖像融合,紅外圖像的細節信息丟失較嚴重,對比度和空間分辨率低,但成像時不受反射光的影響；而可見光圖像能夠捕獲場景中的豐富細節信息,對比度和空間分辨率高,但成像時易受外界環境的干擾。紅外與可見光圖像融合所形成的融合圖像可將二者的優勢信息進行互補,獲取更全面的場景信息,在目標跟蹤、軍事、醫學和航空等領域均有著重要應用[2]。

當前,圖像融合方法一般分為三類,即基于空間域、基于變換域和基于神經網絡等其他相關方法。雖然后兩類融合方法均屬于研究的熱點,但第三類方法的參數較多且相關配置較復雜,融合效果也十分依賴相關參數的選取,因此,基于多尺度多方向的變換域方法一直深受研究學者們青睞。從早期的金字塔變換[3]起,一系列的多尺度分析方法相繼被研究學者們所提出,如離散小波變換、脊波變換、曲波變換、輪廓波變換、非下采樣輪廓波變換(non-subsampled contourlet transform,NSCT)及剪切波變換等[4]。早期的金字塔變換缺乏方向性、融合后的圖像冗余度較高,且與離散小波變換、脊波變換、曲波變換、輪廓波變換及剪切波變換均易在圖像邊緣處產生偽吉布斯現象,從而丟失融合圖像的部分邊緣信息。NSCT屬于輪廓波的改進,雖然能夠克服偽吉布斯現象外,具有平移不變性,但計算的復雜度偏高且分解的方向數有限,無法實現對圖像的實時處理。

近期由剪切波變換改進而來的非下采樣剪切波變換[5](non-subsampled shearlet transform,NSST)得到廣泛應用,NSST不僅能夠克服圖像邊緣處的偽吉布斯現象,而且具有平移不變性與各向異性,還具有良好的稀疏表示性能與低計算成本的特點[6],成為應用在于圖像融合當中的一種更為理想的多尺度分析方法。研究表明NSST能在紅外與可見光圖像融合時獲取更多的源圖像細節信息,但仍存在著融合圖像的紋理細節與邊緣信息缺失、目標特征不夠突出的現象[7-8]。

為了解決上述可見光圖像紋理細節與邊緣信息缺失、紅外目標不夠突出問題,同時改善融合圖像視覺信息保真度,綜合更多的紅外與可見光圖像優勢信息,本文提出一種基于優化脈沖耦合神經網絡(pluse coupled neural network,PCNN)與區域特征引導法則的紅外與可見光圖像融合算法。通過NSST將紅外與可見光圖像分解為低高頻分量,利用圖像低高頻成分不同的特點,提出優化PCNN模型和區域特征引導法則分別對圖像低高頻分量進行融合。最后,對融合后的低高頻分量進行NSST逆變換獲取融合圖像。實驗對比其他7種傳統及流行融合算法,表明了本文算法的優越性與可行性。

2 基本原理

2.1 NSST分解

2007年Guo等[9]在傳統的仿射系統基礎上結合幾何與多尺度變換,構造了剪切波變換。具有合成膨脹的仿射系統MAB(ψ)在空間維數n=2,滿足如下條件:

(1)

式(1)中,ψ∈L2(2),L2(2)表示可積空間,通過對基函數ψj,l,k(x)進行旋轉、剪切和平移變換來構造仿射系統,A與B為2×2的可逆矩陣,且|detB|=1,A為各向異性膨脹矩陣,B為剪切矩陣,j為分解尺度,l為方向參數,k為平移參數,為整數域。

圖1為2級NSST分解的示意圖。

圖1 2級NSST分解示意圖Fig.1 Schematic two level decomposition of NSST

由圖1可知NSST分解主要由非下采樣金字塔(non-subsampled pyramid,NSP)分解和方向局部化組成[11]。NSP分解是采用非下采樣金字塔濾波器組對源圖像進行k級多尺度分解,產生1個低頻子帶和k個高頻子帶,k+1個子帶圖像的尺寸與源圖像相同。方向局部化是通過剪切濾波器(shearlet filter,SF)對高頻子帶進行l級多方向分解,每個高頻子帶的SF分解都將產生2l個不同方向的子帶圖像,其尺寸與源圖像相同。

2.2 優化PCNN

PCNN稱為第三代人工神經網絡,是由若干個神經元相互鏈接形成的二維反饋型神經網絡,每個神經元由接收域、調制域和脈沖發生器共三部分組成。目前,PCNN已被廣泛運用在圖像分割、圖像融合及圖像細化等方面[12],尤其在與多尺度分析方法相結合進行圖像融合時取得突出效果。

PCNN中的每個神經元對應源圖像中的每個像素,本文在傳統PCNN模型基礎上簡化,同時對PCNN中的閾值函數進行改進,使圖像中較亮像素與較低像素之間的部分處理更為平滑,提出優化PCNN模型,其示意圖如圖2所示。

圖2 優化PCNN模型Fig.2 Optimized PCNN model

優化PCNN模型對應的數學表達式如下:

Fij[n]=Dij

(2)

(3)

Uij[n]=Fij[n](1+βijLij[n])

(4)

(5)

Tij[n]=Tij[n-1]-Δ+VTYij[n]

(6)

式(2)～(6)中,(i,j)為神經元位置;Fij、Dij、Lij、Uij、Tij分別為神經元的反饋輸入、外部輸入激勵、鏈接項輸入、內部活動項和動態閾值;βij為鏈接強度;n為迭代次數;(k,l)為神經元的周圍連接;αL為鏈接衰減常數;Δ為閾值衰減因子,用于控制閾值的衰減程度;VL為鏈接放大系數;VT為閾值放大系數；Wijkl為神經元之間的突觸鏈接權值;Yij為神經元的脈沖輸出,其值1或0表示神經元成功點火與否。

Yij為1時,表示神經元成功點火一次。在n次迭代中,計算PCNN輸出的點火總次數,作為低頻融合系數選取的依據,n次迭代中點火總次數Zij[n]為:

Zij[n]=Zij[n-1]+Yij[n]

(7)

3 本文融合算法設計

本文算法首先對已配準的紅外圖像A和可見光圖像B進行NSST分解,獲取相應的低頻分量和高頻分量。其次,對源圖像A和B分解后所獲取的低頻分量采用優化PCNN模型進行融合,對于高頻分量采用區域特征引導法則進行融合。最后,對融合后的低頻高頻分量進行NSST逆變換,獲取融合圖像F。圖3顯示了本文算法的融合過程。

圖3 本文算法的融合過程Fig.3 The fusion process of this algorithm

3.1 低頻分量的融合規則

NSST分解后的低頻分量為源圖像的近似成分,包含著圖像的主要信息和大部分能量。傳統的融合算法為簡單加權或取平均的融合規則,這類方法融合后將丟失圖像的細節信息,還降低圖像的整體亮度,而PCNN能夠突出圖像的細節部分,同時保留圖像的輪廓部分,適用于低頻分量融合,因此,本文提出一種基于優化PCNN模型的融合規則進行低頻分量融合。

(8)

(9)

(10)

(11)

式(11)中,β0為初始鏈接強度,本文使用以往文獻的經驗取值,取β0=3.0。

基于優化PCNN模型的融合規則,包括以下4步:

Step2:對優化PCNN模型的參數進行初始化設置,Lij[0]=Uij[0]=Tij[0]=Yij[0]=0,Zij[0]=0,設模型最大迭代次數為Nmax;

(12)

3.2 高頻分量的融合規則

圖像的高頻分量存儲著圖像絕大部分紋理細節與邊緣信息,反映著圖像的突變特性,高頻分量融合效果直接關系著融合圖像的清晰程度和視覺感官。為了更好地融合高頻分量,本文提出利用圖像的區域能量、改進空間頻率和區域方差匹配度等特征,對圖像間的關聯性進行分析,提出自適應的區域方差匹配度閾值和調節因子,并將分析結果作為選擇不同融合規則的引導信息,由此構造區域特征引導法則對高頻分量進行融合。

(13)

(14)

(15)

(16)

(17)

(18)

(19)

(20)

式(20)中,λ1為紅外調節因子;λ2為可見光調節因子,二者滿足條件λ1+λ2=1。由于可見光圖像相比于紅外圖像有更豐富的細節信息,而圖像的高頻部分主要為細節信息,設定可見光調節因子λ2大于紅外調節因子λ1,即λ2>0.5,保證融合圖像有較多細節信息。

(21)

(22)

(23)

式(22)～(23)可確保λ2總是大于λ1,保證融合圖像有較多細節信息。

確定λ2后,根據λ1+λ2=1獲得相應的λ1。本文提出的紅外調節因子λ1與可見光調節因子λ2,可以保證融合圖像有較多細節信息。

(24)

(25)

通過上述區域特征引導法則,完成高頻分量的融合。最后,對融合后的低高頻分量進行NSST逆變換,獲取融合圖像F。

4 實驗結果與分析

為了驗證本文算法的優勢與有效性,對多組已配準的紅外與可見光圖像進行融合實驗,實驗環境為:Intel Core i5-9750H,CPU主頻為2.60GHz,內存16GB,Windows10操作系統,Matlab2019a仿真平臺。

實驗中,本文算法與LP[3]、CVT[14]、DTCWT[15]、NSCT[16]、NSCT-PCNN[17]、NSST-PCNN[2]、NSST-EOGPCNN[18]共7種融合算法進行了比較,由于篇幅所限,現給出其中3組經典的紅外與可見光圖像融合結果為例,對8種算法的融合性能進行分析。

圖4、圖5和圖6為上述7種融合算法及本文算法分別對三組紅外與可見光圖像進行融合所獲取的

圖4 Camp圖像的8種算法融合結果Fig.4 Fusion results of eight algorithms of Camp images

圖5 Dune圖像的8種算法融合結果Fig.5 Fusion results of eight algorithms of Dune images

融合圖像。實驗中,本文算法的參數設置為:NSST分解中,選用maxflat為NSST分解濾波器,分解層數為4層,分解方向數為{4,4,8,8}；優化PCNN模型參數設置為:Wijkl=[0.707 1 0.707；1 0 1；0.707 1 0.707]、Nmax=200、αL=1.0、Δ=0.01、VL=1.0、VT=20,β自適應選取。

從主觀視覺效果比較圖4、圖5和圖6,發現基于LP算法、CVT算法、DTCWT算法和NSCT算法所獲取的融合圖像整體偏暗,對比度較低,存在著紋理細節與邊緣信息的丟失,同時基于CVT算法、DTCWT算法和NSCT算法的融合圖像在人物目標周圍有較明顯的偽影現象；基于NSCT-PCNN算法和NSST-PCNN算法融合效果較好,能夠大體保留圖像的人物目標特征和顯著信息,但圍欄、樹木、山路等背景細節信息有部分丟失,山坡輪廓不夠清晰；基于NSST-EOGPCNN算法的融合圖像整體亮度過高且人物目標較模糊；本文算法的融合圖像具有較高的對比度,亮度適中,綜合了紅外圖像與可見光圖像各自的有效信息,捕獲了更多的紋理細節與邊緣信息,人物目標更清晰突出,同時圍欄、樹木、山坡及山路等背景細節信息保留更完整。由此表明本文算法在主觀視覺上優于其他7種融合算法。

圖6 Sandpath圖像的8種算法融合結果Fig.6 Fusion results of eight algorithms of Sandpath images

同時,本文選取平均梯度AG、空間頻率SF、信息熵EN、標準差SD、總體交叉熵RCE和視覺信息保真度VIFF共6項客觀指標對7種算法及本文算法的性能進行客觀評價。表1、表2和表3為3組經典紅外與可見光圖像融合時的客觀指標結果。由表1～3中的6項客觀指標對比分析,發現本文算法僅在RCE上略高于NSCT-PCNN、NSST-PCNN或LP算法,其余5項客觀指標均明顯優于另外7種傳統及流行算法,說明本文算法在6項指標上表現更好,表明了本文算法具有較強的優越性。綜合主觀視覺和客觀指標對比分析而言,本文算法具有明顯優于另外7種算法的融合效果,有效地提取融合圖像的紅外目標特征、同時保留可見光邊緣細節信息。

表1 Camp圖像融合的客觀指標結果Tab.1 Objective index results of Camp image fusion

表2 Dune圖像融合的客觀指標結果Tab.2 Objective index results of Dune image fusion

表3 Sandpath圖像融合的客觀指標結果Tab.3 Objective index results of Sandpath image fusion

5 結 論

本文提出一種基于優化PCNN與區域特征引導法則的紅外與可見光圖像融合算法,充分利用了NSST的多分辨率特性及各向異性,將圖像分解為低高頻分量,針對低高頻成分各自的特點,提出優化PCNN模型和區域特征引導法則分別對圖像低高頻分量進行融合。采用3組經典紅外與可見光圖像對本文算法、7種傳統及流行算法進行融合性能對比實驗為例,實驗結果表明本文算法有效綜合了紅外與可見光圖像各自的優勢信息,解決紅外與可見光圖像融合所存在的邊緣信息缺失、目標特征不夠突出問題,并在主觀視覺和客觀指標上均具有明顯的優勢。