基于交替梯度濾波器和改進PCNN 的紅外與可見光圖像融合

楊艷春，裴佩佩，黨建武，王陽萍

（蘭州交通大學電子與信息工程學院，甘肅 蘭州 730070）

1 引言

隨著傳感器技術的快速發展，紅外與可見光圖像融合逐漸成為學者們的研究重點。紅外傳感器捕捉物體的溫度特性，可以不受天氣或光線條件的影響連續工作，獲取的紅外圖像具有較高的對比度和突出的目標，但是其空間分辨率較低，容易受到噪聲和紋理的影響?？梢姽鈧鞲衅鞲鶕矬w的反射特性進行成像，獲得的圖像分辨率較高，能夠較好地體現紋理和細節信息，然而，圖像的質量容易受到光照條件、天氣及遮擋等環境因素的制約。因此，結合紅外圖像的目標識別能力以及可見光圖像豐富的場景信息，實現紅外與可見光圖像的有效融合，可以獲得目標更加顯著，場景更加豐富的融合圖像，目前已廣泛應用于目標檢測、遙感、醫學及軍事等領域［1-4］。

紅外與可見光圖像融合方法通常可以分為兩類，即傳統方法和深度學習方法［5-9］。多尺度變換方法是傳統方法中常用的方法，隨著保邊濾波技術的不斷發展，保邊濾波具有空間一致性，能夠有效減少圖像邊緣偽影，并成功地應用在紅外與可見光圖像融合中。Li 等結合引導濾波器在平滑的同時起到保邊作用的特性進行圖像融合，克服了傳統多尺度融合方法對融合尺度要求的限制［10］。為了在分解過程中有效提高細節和邊緣捕獲能力，Liu 等采用冗余提升不可分離小波在NSST 域實現多尺度分解，同時采用引導濾波器生成高效顯著圖和加權圖，不僅提高了計算速度，而且具有良好的性能［11］。多數保邊濾波器皆在考慮圖像的邊緣以及細節信息，沒有考慮尺度感知問題，Zhang 等提出滾動引導濾波器（Rolling Guide Filter，RGF），該濾波器具有尺度感知和邊緣保持的特性，應用在圖像融合中有效提高了融合效果［12］。Ren 等引入加權方差導引濾波器（MVGF），通過兩尺度分解代替多尺度分解，有效地保持基層邊緣，消除圖像輪廓周圍的偽影，使圖像分解的效果更優，消除了圖像邊界附近產生的偽影［13］。近年來，基于深度學習的圖像融合方法成為研究熱點，Liu 等利用孿生卷積網絡對兩幅源圖像的像素級活動信息進行融合，得到權重圖，該方法能夠從整體上解決圖像融合中的活動水平測量和權重分配兩個關鍵問題［14］。為了更好地進行特征提取，An 等提出了一種由編碼層、融合層、解碼層和輸出層組成的基于監督卷積神經網絡圖像融合方法［15］。目前，學者們利用多尺度變換方法以及濾波器方法在紅外與可見光圖像融合上取得了較好的融合效果。然而，基于多尺度變換方法通常將圖像中的信息分為結構信息和細節信息，融合算法通常集中于保留不同尺度的細節信息，而不是目標的亮度信息，所以最終的融合圖像呈現低對比度，目標不夠顯著和邊緣模糊的問題，亮度的擴散會導致邊緣模糊從而產生虛影。因此，Ma 等［16］從亮度和梯度分離的角度提出一種基于模糊梯度閾值函數和全局優化的梯度濾波器，它可以消除小梯度紋理和噪聲，同時保持圖像整體亮度和邊緣梯度。將源圖像分解為近似層和殘差層，近似層反映了源圖像的整體亮度分布，消除了邊緣模糊和噪聲，可節省圖像的對比度和空間結構信息；殘差層則反映了源圖像的小梯度變化，能夠保留源圖像的細節紋理信息。

梯度濾波器（Gradient Filter，GF）作為一種新穎的分解工具，在圖像融合中具有一定的優勢。為進一步提高它的性能，本文根據全局優化梯度濾波器的框架，通過有效結合RGF 和平滑迭代濾波器（Smooth Iterative Recovery Filter，SIRmed），提出一種交替梯度濾波器（Alternating Gradient Filter，AGF）來分解圖像，在有效保留圖像整體亮度和防止邊緣模糊的同時，有效地去除了小尺度梯度的紋理和噪聲。同時，提出了一種基于交替梯度濾波和改進脈沖耦合神經網絡（Pulse Coupled Neural Network，PCNN）的紅外與可見光圖像融合方法。首先，利用AGF 對源圖像進行分解；然后，近似層主要利用多尺度形態梯度（Multi-scale Morphological Gradient，MSMG）算子和最大區域能量進行融合；殘差層采用改進的PCNN 進行融合，能夠更好地保留圖像細節紋理信息；最后，通過AGF 重構得到融合圖像。該方法能夠避免在目標物體的邊緣處產生虛影，較好地保留源圖像的亮度、邊緣、細節及紋理等信息。

2 交替梯度濾波器

2.1 梯度濾波器

針對基于局部加權平均的傳統濾波器分解圖像不可避免地會由于亮度的擴散而導致邊緣模糊的不足，本文從亮度和梯度分離的角度出發，設計了一種基于模糊梯度閾值函數和全局優化方法的保邊梯度濾波器，在消除小梯度紋理和噪聲的同時可保持圖像的整體亮度和邊緣梯度［16］。

令GF 為GletF（I，?，α，λ，n），其中I是輸入的源圖像，?是迭代次數，α是梯度閾值，λ是最大懲罰系數，n是閾值函數斜率。采用參數設定好的梯度濾波器對源圖像的亮度分布和小梯度變化進行分解。源圖像經過梯度濾波器過濾得到近似層：

用源圖像減去近似層可以得到殘差層，即：

其中m表示第m幅圖像。近似層保持了源圖像的亮度和能量分布，包含了源圖像的對比度和結構信息，沒有噪聲和邊緣模糊，體現了源圖像的整體外觀。與近似層相比，殘差層幾乎沒有亮度和能量分布，主要反映了小的梯度變化，包括源圖像的細節紋理信息。

2.2 交替梯度濾波器

AGF 結合了GF，RGF 和SIRmed3 種濾波器的優勢。GF 是具有全局優化特性的保邊濾波器，可以在分解圖像過程中克服因亮度擴散而導致的邊緣模糊問題。RGF 具有大尺度邊緣和局部強度保持特性。SIRmed 使圖像邊緣能夠較好地表示曲率特性［17］。3 種濾波器的結合可有效保留圖像的整體亮度和邊緣，同時去除小尺度的噪聲信息。

AGF 結合GF 全局優化的特性、RGF 大尺度邊緣局部強度保持特性和SIRmed 的邊緣恢復特性，消除了RGF 的邊緣曲率平滑和SIRmed 的局部強度降低以及大尺度邊緣附近小尺度細節的引入。該算法實現簡單、效率高，能夠自動保持大尺度結構和局部強度，并能產生高質量的融合結果。AGF 的流程如圖1 所示，包括以下4 個步驟：

圖1 交替梯度濾波流程Fig.1 Flow chart of AGF

步驟1，用一個聯合雙邊濾波器去除輸入圖像的小結構［18］。第t次迭代濾波的結果Ot+1是通過使用前一次迭代步驟對輸入圖像應用聯合濾波器得到的，其公式如下：

其中：I為輸入圖 像，O為輸出 圖像，i和j表示圖像中像素坐標的索引，K代表一個標準化因子，f和g分別表示空間濾波核范圍和強度濾波核，Ω表示內核的空間支持。

步驟2，對步驟1 得到的結果應用聯合雙邊濾波器，使用源圖像作為引導圖像，詳細過程描述如下：

步驟3，對第二步的結果進行中值濾波。濾波結果保證了圖像灰度和大尺度邊緣曲率的保持。中值濾波器的使用可以防止在大尺度邊緣附近重新引入過濾后的小尺度細節。

步驟4，對第三步中值濾波后的結果利用GF進行濾波。GF 具有全局優化的特性，可避免圖像因亮度的擴散而導致邊緣模糊，保證了圖像邊緣信息，詳細過程如下：

AGF 模型中的每次迭代包含4 個連續的步驟：（1）RGF 操作過程，對輸入圖像I進行聯合雙邊濾波，利用上一次迭代的結果Ot作為引導圖像；（2）SIRmed 操作過程，對第一步得到的結果再次進行聯合雙邊濾波，以原始圖像I作為引導圖像；（3）對第二步的結果應用一個小核（如3×3）的中值濾波器；（4）對第三步的濾波結果使用GF。交替使用原始圖像和濾波結果作為輸入或引導圖像，保證了整體圖像強度，保留了大尺度邊緣曲率。因此，AGF 結合RGF 亮度保持，SIRmed 邊緣曲率保持和GF 邊緣信息保持的特點，同時消除RGF 邊緣曲率平滑和SIRmed 對比度降低及在較大邊緣附近重新引入小細節的影響。

利用AGF 對源圖像進行分解類似于GF，通過AGF 過濾得到近似層：

源圖像減去近似層，得到殘差層：

為了進一步分析AGF 分解源圖像的優勢，對比GF 和AGF 分解源圖像產生的近似層和殘差層的顯著區域的三維圖的差異，如圖2 所示。由圖2 可知，GF 分解得到的近似層含有較多的亮度信息，同時含有較多的細節信息，而AGF 分解的近似層同樣有較多的亮度信息，包含對比度信息。殘差層反映源圖像的小梯度變化，包括紋理信息和噪聲，GF 的殘差層包含的細節紋理信息較少，而AGF 的殘差層含有較多的細節紋理信息。

圖2 源圖像近似層和殘差層的三維圖Fig.2 Three-dimensional shapess of approximate layer and residual layer of source image

3 多尺度形態梯度算子

梯度表示圖像銳度信息，MSMG 算子是一種有效的梯度算子，可以在不同尺度上提取圖像的梯度信息，用來表示圖像中像素鄰近區域的對比度強度［19］。因此，MSMG 是一種高效的方法，常用于邊緣檢測和圖像分割。多尺度結構元定義為：

其中：SE1表示基本結構元素，M表示尺度數。在數學形態學中，結構元素是圖像特征提取的重要工具。不同類型的圖像特征可以由不同形狀的結構元素提取。因此，需要將結構元素擴展到多尺度，利用這些多尺度結構元素可以提取圖像的綜合梯度特征。梯度特征Gt可以用圖像I的梯度算子表示，即：

其中：⊕和⊙分別表示形態膨脹算子和侵蝕算子，x，y均表示像素坐標。從多尺度結構元素和梯度特征出發，計算各尺度上的梯度加權和得到最小二乘梯度圖，公式如下：

其中wt代表第t個尺度中梯度的權重，它可以表示為：

圖3 為利用MSMG 的圖像處理結果，圖像邊緣信息得到了較好地提取，證明了邊界測量的有效性。用MSMG 處理紅外與可見光圖像可以分離出場景信息，突出目標的邊緣信息。

圖3 MSMG 操作示例Fig.3 Example for MSMG operation

4 PCNN 模型

4.1 簡化PCNN 模型

PCNN 不需要任何的訓練直接可以使用，是一種基于迭代的運算。標準PCNN 模型是一種反饋型網絡，接收域、耦合調制域和脈沖發生器3部分是每個神經元的組成部分［20-21］。它的神經元和輸入圖像的像素點之間是一對一的關系。在PCNN 的基本模型中，由于參數過多，在實際應用中難以控制。本文采用一種PCNN 的簡化模型，如圖4 所示，第（i，j）個簡化神經元的數學表達公式如下：

圖4 簡化的PCNN 模型Fig.4 Simplified PCNN model

其中：Fij［n］和Lij［n］分別是迭代n中位置（i，j）處神經元的饋送輸入和鏈接輸入，Iij表示位置（i，j）處的殘差層系數，VL表示鏈接輸入的振幅增益，Ykl表示周圍其他像素位置的輸出，Uij［n］表示神經元的內部狀態信號，由[n-1]和Fij［n］（1+βLij［n］）組成。PCNN 的輸出模塊被稱為脈沖發生器，它決定了該模型的觸發事件，其輸出Yij［n］有兩種狀態：已觸發（Yij［n］=1）和未觸發（Yij［n］=0）。PCNN 簡化模型的初始化條件為：Yij（0）=0，Uij（0）=0 和θij（0）=0。

4.2 改進的PCNN 模型

PCNN 模型的參數設置在一定程度上決定了該模型性能的好壞。PCNN 模型中的參數分別是αf，β，VL，αe，Vθ。本文把參數β和VL作為一個整體，因為空間頻率能夠很好地反映圖像的紋理信息，所以將β和VL作為鏈接輸入的權重時再乘以空間頻率（Spatial Frequency，SF），設λ=（βVL）fS為加權鏈接強度。因此，在改進的自適應PCNN 模型中實際上有4 個參數，即：

其中：δ(s)表示輸入圖像I的標準差和平均梯度的區間，s'表示歸一化的Otsu 閾值，Smax表示輸入圖像的最大強度。通過無參數和無監督自動進行選擇Otsu 的閾值。

參數自適應PCNN 模型在進行圖像融合時一般根據經驗或者實驗來確定迭代次數n，迭代次數n的設置會影響PCNN 模型的脈沖同步性。簡化PCNN 模型每次的點火輸出為1 或0，不能反映出點火的幅度差異。由于Tanh 函數值變化敏感度高，所以本文計算每次迭代過程中子帶系數的點火輸出幅度采用Tanh 函數，在進行同步脈沖激發時，能夠更好地體現出點火幅度之間的特征效果的不同。

利用簡化PCNN 模型以及Tanh 函數的PCNN 模型做消融實驗，融合結果如圖5 所示。其中，差圖是利用融合圖和紅外圖像相減得到的，融合圖像應更多地保留紅外圖像的目標信息，作差運算后其目標區域值為0，在圖像中顯示為黑；而直方圖反映了圖像的灰度分布規律，描述每個灰度級具有的像素個數。結合差圖和直方圖可知，利用Tanh 函數的PCNN 性能更好。因此，采用Tanh 函數來計算每次迭代過程中子帶系數的點火輸出幅度Oij［n］，如式（14）所示：

圖5 PCNN 性能分析結果Fig.5 PCNN performance analysis results

輸出Yij［n］可以改進為：

其中，當Yij［n］=1 時為一次點火。

5 本文方法

如圖6 所示，本文方法的具體步驟如下：

圖6 本文算法流程Fig.6 Flowchart of proposed algorithm

（1）將已經配準好的源圖像紅外圖像I可見光圖像V利用AGF 進行分解，分別得到其近似層和殘差層｛AI，Av｝和｛RI，Rv｝；

（2）利用MSMG 處理近似層圖像，進行邊緣檢測，然后分別計算出近似層AI和AV的最大區域能量FI（x，y）和FV（x，y），采用紅外圖像的最大區域能量FI（x，y）和可見光圖像的最大區域能量FV（x，y）與紅外圖像I和可見光圖像V相結合的融合規則進行融合；

（3）將殘差層RI，Rv的絕對值作為脈沖耦合神經網絡的輸入，采用改進參數自適應PCNN 融合規則進行融合；

（4）通過AGF 重構得到融合圖像。

5.1 近似層融合規則

源圖像經過AGF 分解后，主要的輪廓信息集中在近似層圖像中，用來控制融合圖像的整體外觀和對比度。因此，如何選取近似層的融合規則非常關鍵。MSMG 算子是一種有效的梯度算子，它從圖像中提取梯度信息，可以表示圖像中像素鄰近區域的對比度強度，同時可以區分背景和目標對象，用于殘差層融合規則時會在邊緣產生偽影，用于近似層時，在保證融合效果同時避免在目標邊緣產生偽影。能量是圖像的顯著特征，反映了圖像信號的變化，可保留圖像的大部分信息，利用區域能量進行融合能夠體現像素之間的相關性。本文提出MSMG 和最大區域能量與源圖像相結合的融合規則。首先，利用MSMG 對近似層的圖像進行處理，得到紅外圖像以及可見光圖像近似層圖像的最小二乘梯度圖：

AS（x，y）由式（10）計算得到（S=I，V）。

局部區域能量表示每個像素自身和附近像素的和，利用局部區域能量（Local Area Energy，LAE）方法選擇區域能量中最大的一個像素，計算經MSMG 處理后的近似層AS（S=I，V）的局部能量值ELS（i，j），公式如下：

其中：（i，j）是近似層AI和AV進行處理的像素位置，w值表示局部窗口（w=3），We是3×3 的濾波器模板We=［1，1，1；1，1，1；1，1，1］。通過3×3的窗口對區域能量進行濾波，選擇鄰域內的最大值FS（i，j），公式如下：

其中：FI表示紅外圖像近似層的最大值，FV表示可見光圖像近似層的最大值，II和IV分別表示紅外源圖像和可見光源圖像的灰度值。

通過上述公式得到近似層圖像的融合系數AF（i，j）：

其中：M（i，j）為近似層圖像（i，j）處的融合權重，AI（i，j）和AV（i，j）分別為（i，j）處紅外圖像和可見光圖像的近似層分解系數。

5.2 殘差層融合規則

采用改進的自適應PCNN 融合規則對殘差層進行融合。將殘差層RI和RV的絕對值作為PCNN 的輸入激勵，即饋送輸入為Fij［n］=|Rs|，S∈｛I，V｝，去激勵改進的自適應PCNN 模型來生成融合權重圖。具體融合步驟如下：

（1）對外部輸入激勵Fij［n］進行歸一化處理，使其取值范圍為［0，1］；

（2）采用改進的參數自適應的PCNN 模型，其參數根據式（13）計算；

（3）計算式（12）～式（15），在每次迭代結束時添加以下步驟，可以累計觸發次數：

因此，每個神經元總的觸發次數為Tij［N］，其中N表示總迭代次數，RI，RV分別是紅外圖像和可見光圖像的殘差層系數，改進PCNN 紅外圖像和可見光圖像的觸發次數分別為TRI，TRV，通過以下規則得到融合系數：

最后，通過AGF 對近似層和殘差層的融合系數進行重構，得到最終的融合圖像F如下：

6 實驗結果及分析

6.1 梯度濾波器參數分析

GF 主要由4 個自由參數組成：迭代次數?、梯度閾值α、最大懲罰系數λ和閾值函數斜率n。將迭代運算看作濾波運算時，參數?控制濾波頻率，參數α控制要過濾的梯度范圍，參數λ表示小梯度的去除程度，參數n控制懲罰系數在梯度閾值附近的下降速度。n越大，懲罰系數的下降速度越快，表明紋理和邊界清晰。

當最大懲罰系數λ較小時，?幾乎不改變濾波結果。當λ較大時，濾波結果通常收斂于3～4次。然而，隨著?的增加，濾波對梯度變化的影響減小，因為方法中的λ比較小，為了減少運行時間，設?=1。

在閾值函數斜率n和最大懲罰系數λ保持不變的條件下，α控制著去除梯度的范圍。為進一步說明α對濾波結果的影響，如圖7 所示，當n=10，λ=50 時，在一定范圍內，隨著α的增加，越來越多的梯度被移除，圖像變得特別模糊。當α達到一定水平時，圖像模糊程度不會改變。因為紅外與可見光圖像的特點，只需要移除部分小梯度，所以本文中α=0.02。

圖7 梯度閾值α 濾波圖Fig.7 Smooth filtered diagram of gradient thresholds α

在梯度閾值α不變的條件下，λ控制著小梯度的模糊程度。λ越大，小梯度的模糊程度越高。n控制著梯度閾值附近懲罰系數的下降速率。n越大，下降的速度越快，紋理和邊緣之間的邊界越清晰。為進一步說明參數λ和n對濾波結果的影響，令ɑ=0.02，n和λ取不同值時對應的平滑圖像如圖8 所示。

圖8 n 和λ 平滑圖像Fig.8 Smooth images of n and λ

由圖8 可知，當α=0.02 時，參數n越高，圖像邊緣的模糊程度越小，邊緣保持性越好；參數λ 越大，梯度消除效果越明顯。同時，參數n改變了λ對圖像濾波的影響。結合當α=0.02 時參數n和λ對應的平滑結果圖，可知在λ=50 和n=10 時圖像的梯度消除效果最好，并且邊緣的細節信息保存較完整，因此本文將它們設置為默認值。

6.2 交替梯度濾波器性能分析

圖9顯示當雙邊濾波器的σspatial=5，σrange=0.05 時，前3次迭代過程中RGF，SIRmed 和AGF 的濾波結果（Iteration 分別為1，2，3，在圖中記為t）。這3 種濾波器都是迭代地從輸入圖像的初始低分辨率開始大規模地恢復圖像邊緣。在這個過程中，RGF 會逐漸平滑大尺度邊緣的曲率，SIRmed 則會平滑整體圖像強度，導致圖像的全局對比度降低。AGF 會克服RGF 曲率平滑和SIRmed 局部對比度低的問題，即在不平滑曲率和保持圖像亮度的情況下恢復大尺度邊緣，同時克服了邊緣模糊問題。

圖9 RGF，SIRmed 和AGF 的濾波結果Fig.9 Filtering results of RGF，SIRmed and AGF

圖10 為當t=3 時RGF，SIRmed，AGF 的濾波結果以及各自對應的三維、二維截面圖。三維圖像可以看到像素的分布情況以及像素值的大小，選取Iteration=3 的濾波結果圖進行分析，可以看出RGF 的等高線像素分布均勻，因為RGF濾波器的小結構消除以及邊緣保持的特點，圖像的邊緣曲率平滑，因此從三維圖中可以看出RGF逐漸平滑大尺度邊緣的曲率邊緣。而SIRmed 產生的邊緣能夠較好地表示曲率特性，正好克服RGF 的缺點，但是SIRmed 會平滑整體圖像強度，導致全局對比度降低。從三維圖也可以看出，像素值整體較低，和RGF 相比大尺度峰值總體降低。相比之下，AGF 結合RGF，SIRmed 以及GF 的優點，在防止平滑曲率和保持整體圖像亮度以及對比度的情況下恢復了大尺度邊緣。從二維截面圖可以看出，AGF 在平滑曲率和保持局部圖像對比度的情況下恢復了大尺度邊緣，保持了邊緣的區域。

圖10 RGF，SIR，AGF 濾波結果分析Fig.10 Analysis of RGF，SIR，AGF filtering results

6.3 實驗說明

為了從視覺效果的角度定性分析該方法的有效性，在公開的TNO，INO 等數據集上進行了大量測試，均取得了較好的融合效果。文中選取具有代表性的4 組已經配準好的大小分別為632×496，360×270，256×256，768×576 的紅外與可見光圖像進行實驗展示，如圖11 所示。將本文方法與RGF 方 法［22］、BRG 方法［23］、GSF 方法［24］、IFCNN方法［25］和GF方法［16］進行實驗對比。

圖11 紅外與可見光源圖像Fig.11 Infrared and visible source images

其中，RGF 方法采用滾動引導濾波器和高斯濾波器進行多尺度分解，利用視覺顯著性圖和加權最小二乘進行優化；BRG 方法是一種通過紅外特征提取和視覺信息保存的簡單、快速的紅外與視覺圖像融合算法；GSF 方法是一種基于結構相似性的梯度濾波方法，能夠解決計算平均源梯度時受到的抵消效應影響，并突出源圖像的顯著特征與主要源梯度；IFCNN 方法利用兩個卷積層從輸入圖像中提取圖像的顯著特征，根據輸入圖像的類型選擇合適的融合規則（元素最大、最小或均值）；GF 方法是一種新的基于模糊梯度閾值函數和全局優化的濾波器，克服了傳統基于局部加權平均的濾波器在分解過程中由于亮度的色散而導致的邊緣模糊問題，保證圖像的整體亮度和邊緣信息。

當δs=5，δr=0.1，n=3，α=0.02，λ=50 和n=10 時AGF 效果好，因此將它們作為本文方法的默認設置，自適應PCNN 參數W=［0.0312，1，0.0312；1，0，1；0.0312，1，0.707］，迭代次數n通過Tanh 函數來設定。本文所有的實驗均在win7系統上的Matlab2016a 環境中實現，仿真區域窗口設置為3×3。

6.4 仿真結果及分析

圖12 為4 組不同融合方法的實驗結果，其中方框內容為每組圖像的局部細節放大圖。第一組實驗圖像，RGF 方法和IFCNN 方法的融合結果整體較好，但是對比度及清晰度不高；BRG 方法、GSF 方法和GF 方法融合圖像整體較為模糊，細節紋理信息都不夠清晰，其中BRG 方法得到的融合圖像里面有大面積的偽影出現；本文方法的紋理信息清晰，視覺效果好，因為交替梯度濾波能夠避免目標邊緣模糊。通過觀察局部放大圖像可以明顯看出，本文方法的紋理細節信息清晰，在場景信息豐富的同時，目標對象顯著。第二組融合圖像，RGF 方法、IFCNN 方法的視覺效果好，紅外圖像的目標人物突出，但清晰度不夠，對比度低，細節信息損失較多；BRG 方法從視覺角度出發，沒有考慮細節信息，因此紅外圖像的目標人物得到很好地保存，但可見光圖像的背景細節信息丟失較為嚴重；GSF 方法對比度高，但目標顯著同時邊緣有虛影產生，細節信息丟失較多；GF 方法邊緣細節紋理保存較好，消除小梯度噪聲信息，但目標對象不突出；與其他方法相比，本文方法在保留特征信息的同時，圖像整體亮度和邊緣梯度最好，目標對象顯著，背景紋理信息清晰，視覺效果佳。第三組和第四組融合圖像，RGF 方法、IFCNN 方法及GF 方法的整體融合效果較好，場景信息豐富，但目標對象不突出，細節紋理不清晰；GSF 方法的整體融合效果模糊，含有較多的噪聲信息，對比度不高，尤其是第三組圖像邊緣模糊；BRG 方法目標對象顯著，但場景信息不豐富，邊緣細節信息丟失嚴重，第四組圖像的樹葉邊緣模糊；相比之下，本文方法的整體視覺效果更好，因為AGF 在防止邊緣曲率平滑和保持圖像亮度的情況下恢復了大尺度邊緣，避免圖像邊緣模糊，因此清晰度和紋理信息明顯，同時近似層引入MSMG 可以突出目標對象，且沒有引入冗余信息。通過對第三、四組圖像的局部細節放大圖進行觀察比較可以看到，本文方法得到的汽車和樹枝細節紋理清晰，目標對象突出邊緣沒有偽影產生，整體融合效果圖的場景信息豐富，亮度比其他方法高。

圖12 融合結果Fig.12 Fused resuls

由于人眼視覺的差異，主觀評價方法存在著一定的局限性。為對融合結果圖進行更加客觀地分析，本文利用平均梯度（AG）、標準差（STD）、信息熵（EN）、空間頻率（SF）、邊緣強度（EI）［26］以及視覺保真度（VIFF）［27］這6 種客觀評價指標對融合方法的性能進行定量分析。為了方便比較，采用柱狀圖的表現形式。表1 為客觀評價指標的實驗結果，圖13 為4 組圖像客觀評價指標柱狀圖。

表1 各組源圖像不同方法融合結果的客觀評價指標Tab. 1 Objective evaluation index of fusion results of different source images

AG 衡量圖像中細節反差和紋理變換，值越大，圖像細節越清晰；STD 反映圖像中灰度層次差異性，值越大，說明融合圖像的效果越好；EN主要是度量圖像包含信息量多少，信息熵越高表示融合圖像的信息量越豐富，質量越好；SF 反映了空間頻率誤差的比值；EI 邊緣強度反映圖像的清晰程度，值越大說明融合圖像包含的細節信息越豐富，圖像越清晰；VIFF 是基于視覺保真度提出的衡量圖像質量的指標，其值越大，表示圖像融合質量越好。

由圖13 可知，本文方法的AG 值高，說明細節紋理保留方面較好；STD 表示像素灰度值離散長度，可以反映圖像細節信息的豐富度，值越高，則細節信息越豐富；EN 表示圖像所包含信息量的多少，值越大則融合效果越好；SF 反應圖像的灰度變化率，值越大整體質量越好；EI 邊緣強度反映圖像的清晰程度，值越大說明融合圖像包含的細節信息越豐富，圖像越清晰；VIFF 越高，說明圖像與人眼視覺觀察越一致，從柱狀圖可以看出，本文方法的VIFF 值最大，融合效果最佳。4組源圖像通過6 種不同融合方法得到融合結果，通過觀察表1 的6 種指標值，結合圖13 客觀評價指標的柱狀圖走向趨勢，本文方法的指標值整體較高。通過主觀視覺和客觀評價指標可以得出，本文提出的方法優于其他對比方法，能夠避免在目標物體的邊緣處產生虛影，取得了最好的融合結果。

圖13 客觀評價指標柱狀圖Fig.13 Bar charts of objective eualuation index

6.5 運行時間分析

為了進一步分析本文方法的有效性，評估這些算法的計算效率，表2 列出了不同融合方法處理632×496，360×270，256×256，768×576 四組源圖像的平均計算時間。從表2 可以看出，本文方法的計算效率最高，運行時間最短，RGF 和BRG 方法的運行時間略長，GSF 和IFCNN 方法的運行時間偏長。通過定性、定量評價以及時間性能的分析可知，本文方法的性能最佳。

表2 不同融合方法的平均運行時間Tab. 2 Average running time of different fusion methods（s）

7 結論

結合GF、RGF 和SIRmed 的優良特性，本文提出AGF，它采用全局優化方法在實現小結構消除的同時具有局部強度保持和邊緣恢復的特性?；贏GF，提出一種基于AGF 和改進PCNN 的紅外與可見光圖像融合方法。通過AGF 對源圖像進行分解，它將源圖像分解為近似層和殘差層，近似層反映源圖像的整體亮度分布，采用多尺度形態學算子和最大區域能量作為它的融合規則；殘差層反映了源圖像的微小梯度變化，保留了源圖像的紋理信息，采用改進的PCNN 作為融合規則。實驗結果表明，主觀視覺上本文方法能夠避免在目標物體的邊緣處產生虛影，較好地保留源圖像的亮度、邊緣、細節及紋理等信息；在客觀評價指標上，與其他5 種融合方法進行比較，平均梯度、標準差、信息熵、空間頻率、邊緣強度和視覺保真度分別平均提高了18%，10%，2.8%，16%，51%，11.2%。為了進一步豐富融合圖像的細節信息，今后將進一步研究AGF 模型優化以及融合規則的選擇。