基于能量分割的空間域圖像融合算法研究

王新賽，馮小二，李明明

基于能量分割的空間域圖像融合算法研究

王新賽，馮小二，李明明

（陸軍炮兵防空兵學院（鄭州校區(qū)），河南 鄭州 450052）

針對空間域圖像融合存在不同圖源差異性信息提取、融合權重選取困難等問題，提出了一種新的空間域圖像融合算法。利用矩陣相似的基本原理，對紅外圖像矩陣進行對角化變換，計算可見光圖像矩陣在主要特征向量上的映射，采用加權融合的方法處理特征值矩陣，對融合矩陣進行對角化逆變換重構融合圖像。實驗結果表明，算法在充分保留源圖像有效信息的同時，融合圖像的整體灰度得到了明顯的改善，具有良好的圖像質量評估指數(shù)和更加優(yōu)秀的視覺效果。

空間域；對角化；特征向量；圖像融合；質量評估

0 引言

隨著計算機視覺、圖像處理等相關科學技術的快速發(fā)展，融合圖像因其具備圖像信息更加豐富、人眼視覺效果優(yōu)秀等優(yōu)點，得到了人們越來越多的重視。圖像融合技術是將多傳感器采集的數(shù)據(jù)信息進行處理并再次以圖像的形式反映出來的技術，既不是簡單的數(shù)據(jù)疊加，也不可以在融合的過程中引入虛假信息或者產生新的噪聲，融合圖像能夠為下步的人工識別提供更加豐富的數(shù)據(jù)信息，起到“1＋1＞2”的效果。在光電探測技術中，以可見光探測、紅外探測手段發(fā)展最為成熟和迅速，在安保、反恐、醫(yī)療、軍事等眾多領域得到了廣泛的運用。目前，像素級的圖像融合算法可以分為頻率域圖像融合和空間域圖像融合[1-3]。隨著小波理論的廣泛應用，基于頻率域的圖像融合算法處理的融合圖像效果不斷得以改善，但是往往計算繁復、速度較慢，特別是在硬件設備相對簡單、處理速度要求高的情況下，往往難以滿足工程要求。

傳統(tǒng)的空間域圖像融合方法的主要優(yōu)點是計算簡單、運行速度快，目前的主流算法有加權平均法[4-5]、IHS（Intensity Hue Saturation）融合[6-7]、PCA（Principal Component Analysis）融合法[8-10]。其中，加權融合算法作為最經典的融合算法，其特點是不對源圖像進行任何變換處理，直接對數(shù)據(jù)進行加權疊加，優(yōu)點是信息損耗及附加噪聲小，在實際工程上得到了廣泛的應用。但是，加權融合中源圖像的加權因子的選取至關重要，如果加權因子選取不當，甚至會模糊圖像已有的邊緣、紋理等重要信息；IHS融合、PCA融合算法主要是針對全彩色圖像或多光譜（3個以上）圖像進行融合。主成分分析（PCA）是一種常用的融合準則。使用PCA方法進行圖像融合的常用方法有兩種：其一是用于高分辨率全色圖像與低分辨率多光譜圖像的融合；其二是用于同分辨率圖像的融合。將PCA應用于近似圖像的融合，其中，PCA方法決定了各近似圖像融合時的權重，當融合源圖像相似時，該方法近似于加權融合算法，其融合效果對圖像之間的相似性依賴很大，應用非常受限。從以上分析來看，當前空間域圖像融合算法主要存在2個難點：①很難有效地對源圖像的邊緣、紋理信息進行分割和提取；②難以找到通用的不同信息的融合規(guī)則，導致融合圖像的連續(xù)性不強。針對以上問題，本文提出一種基于相似矩陣的空間域圖像融合算法，利用相似矩陣的基本原理，提取不同圖像之間的主要“能量信息”，實現(xiàn)圖像的有效融合。實驗結果表明，相比傳統(tǒng)的空間域融合算法，本文算法具有較好的圖像質量評估指數(shù)。

1 基本原理

根據(jù)矩陣相似的基本定理[11-12]，若輸入圖像(,)是×大小的一個階方陣，且可逆，必須存在對角陣，使得：

根據(jù)特征值與特征向量的定義可知：

(,)p＝ p(2)

式(2)表明，在幾何上，特征向量的方位，經過線性變換后保持不變；在圖像處理中，特征值就表示了圖像的能量分布。如果對中進行調整，可以通過式(1)實現(xiàn)圖像重構。

圖1表現(xiàn)了對紅外源圖像進行對角化分解后的特征值分布及重構圖，源圖像大小為256×256，特征值數(shù)量為256個。圖1(a)～(b)分別是紅外原始圖像以及特征值分布圖，從圖(b)可以看出，特征值主要集中在一個較小的區(qū)間內，經過計算，前50個特征值占全體特征值模值的88.14%，代表了圖像的“主要能量”信息。圖1(c)～(e)分別是對特征值進行提取后，通過式(1)進行重構后的圖像，其與原圖像的信息熵比值分別為：70.89%、92.18%、100%。從以上數(shù)據(jù)可以看出，通過矩陣對角化以后提取的主要特征值能夠很好地重現(xiàn)源圖像，如果采用全部特征值，則能夠完全重構源圖像。圖像經過對角化分解后得到的特征值表征了圖像的一種“能量分布”，特征值表征了能量的大小，特征向量表征為能量的方向性。圖像矩陣對角化本質是實現(xiàn)了對圖像的“能量分割”，即主要特征值表征了主要信息，包含了圖像的主要灰度信息；次要特征值表征了細節(jié)信息，包含了圖像的細微變化。

2 基于能量分割的融合算法

本文提出的算法流程圖如圖2（以紅外原理圖像為基準圖像）所示。其基本流程是：

步驟1：根據(jù)不同源圖像的特點以及不同的融合要求，選定基準圖像并進行矩陣的對角化。

步驟2：從對角化矩陣結果中，提取基準圖像的特征值矩陣、特征向量矩陣；

步驟3：將另一幅源圖像在提取的特征向量矩陣上進行映射，得到主要能量特征值矩陣和差值圖像；

步驟4：對待融合圖像的特征值矩陣進行融合并重構主成分圖像；

步驟5：對主成分圖像和差值圖像進行融合，得到最終融合圖像。

圖2 本文算法流程圖

2.1 基準圖像矩陣的對角化

設v(,)和i(,)分別為圖像配準過的可見光和紅外圖像。隨著光學器件的不斷發(fā)展，可見光圖像往往要比紅外圖像具有更好的圖像分辨率和更清晰的細節(jié)。因此，通常采用紅外圖像i(,)作為基準圖像，進行對角化分解：

i(,)＝iii－1(3)

得到特征向量矩陣i、特征值對角陣i。

2.2 基于基準圖像特征向量的映射

為了尋找可見光圖像與紅外圖像之間的“相似性”特征，因此可以計算可見光原始圖像v(,)在紅外圖像特征向量矩陣i上的映射。

式中：ivi－1和Dv(,)分別表示為可見光圖像的主要特征信息和細節(jié)信息。根據(jù)式(4)，v為計算v(,)對于特征向量i的最大映射分量，通過式(5)可將式(4)轉化為求v(,)的極小值問題。

式中：i表示為對應于特征向量i的最大映射值，其中i表示紅外圖像的第個特征向量。從而完成對可見光圖像“能量分割”過程，因為采用了同樣的變換坐標系，保證兩者具有同樣的能量特性，實現(xiàn)了對不同能量間的圖像融合。Dv(,)是關于i的函數(shù)。

可以根據(jù)源圖像的特點以及對融合圖像質量的要求，設置不同的函數(shù)類型得到不同的映射值。比如，可以選擇信息熵IE（Information Entropy）、標準差STD（Standard Deviation）、平均灰度AG（Average Grayscale）等圖像質量評估指標來構建Dv(,)函數(shù)。本文以平均灰度為例，對v進行求解：將式(5)展開：

式中：in表示特征向量i的第個元素。

則Dv(,)為關于i的一元一次方程，根據(jù)平均灰度的定義：

依此類推，得出映射矩陣：

2.3 融合特征值

由于特征值反應了原始圖像的概貌，圖像均勻而平滑，所以較適合采用系數(shù)加權的方法對其進行加權融合。i和v分別為紅外圖像Di(,)和可見光圖像Dv(,)的特征值矩陣，為融合系數(shù)，則：

式中：f為融合后的特征值矩陣。關于融合系數(shù)的選擇與經典的圖像加權方法相似，通常取＝0.5，即采用加權平均的方法，也可根據(jù)圖像特征進行選取，比如對圖像的整合亮度要求較高，可采用：

2.4 融合圖像重構

根據(jù)式(1)進行主成分圖像重構，即：

得到最終融合圖像：

3 實驗結果與分析

為了驗證本文算法的有效性，選取了2組紅外圖像與可見光圖像，經典的camp系列圖像和tree系列圖像。本文采用的對比算法有2種，分別為PCA分析法、加權融合方法，融合結果分別如圖3和圖4所示，本文選用信息熵IE、平均灰度Mean、平均梯度AG（Average gradient）作為圖像質量評估指標，表1為圖3和圖4中相關圖像的質量評估結果。

圖3 Camp系列圖像的融合結果

圖4 tree系列圖像的融合結果

表1 不同算法客觀評估指標值

從表1可以看出，camp系列圖像和tree系數(shù)圖像的主要區(qū)別在：camp系列圖像的可見光圖像和紅外圖像的信息熵、均值和平均梯度比較相近，其差異性要遠小于tree系列圖像。從視覺效果上說，camp系列圖像的對比度較強，可見光圖像和紅外圖像的紋理、邊緣比較清晰，可見光圖像中無法看到人物信息；tree系列圖像的整體灰度相對平均，紋理、邊緣相對模糊，可見光圖像和紅外圖像均可看到人物信息。從3種融合圖像的效果來看，相對比經典的加權平均法、PCA融合算法，本文所提算法得出的融合圖像在信息熵、均值上和平均梯度上均有所提高，特別是圖像的整體灰度得到了明顯的改善。從視覺效果上來看，本文所提算法得出的融合圖像有效保留了源圖像的邊緣、細節(jié)信息，整體亮度得到了明顯的提升。

4 結語

本文提出了一種基于相似矩陣的空間域融合算法，在空間域對主要成分進行了加權融合，提取了可見光圖像與紅外圖像間的“差值”圖像，即細節(jié)成分，與主要成分進行了圖像融合。實現(xiàn)結果表明，相對于經典的加權融合法、PCA分析法，本文算法能夠在空間域有效地實現(xiàn)可見光和紅外圖像融合，融合圖像的相關信息得到了增強，具有良好的融合效果。但是該算法在實際運用過程中廣泛的非方陣格式圖像，由于無法進行對角化分解，可以采用人工分割圖像等方法手段進行融合，有待進一步研究完善。

[1] 甄媚. 可見光圖像與紅外圖像融合算法研究[D]. 西安: 西安科技大學, 2019.

ZHEN Mei. Research on visible image and infrared image fusion algorithm[D]. Xi'an: Xi'an University of Science and Technology, 2019.

[2] 周渝人. 紅外與可見光圖像融合算法研究[D]. 長春: 中國科學院研究生院(長春光學精密機械與物理研究所), 2014.

ZHOU Yuren. Research on infrared and visible light image fusion algorithm[D]. Changchun: Graduate School of Chinese Academy of Sciences (Changchun Institute of Optics, Fine Mechanics and Physics), 2014.

[3] LI Hui, QI Xianbiao, XIE Wuyuan. Fast infrared and visible image fusion with structural decomposition[J]., 2020, 204: 106182.

[4] 趙娟, 孫澎濤, 吳粉俠, 等. 基于像素級的圖像融合[J]. 長春工程學院學報: 自然科學版, 2011, 12(2): 106-108, 112.

ZHAO Juan, SUN Pengtao, WU Fenxia, et al.Pixel-level image fusion[J].: Natural Science Edition, 2011, 12(2): 106-108, 112.

[5] 曲楊, 許衛(wèi)東, 楊駿堂, 等. 一種可見光和紅外圖像加權融合最佳權值因子的確定方法[J]. 電子世界, 2017(13): 12-14.

QU Yang, XU Weidong, YANG Juntang, et al. A method for determining the optimal weight factor for the weighted fusion of visible and infrared images[J]., 2017(13): 12-14.

[6] 劉成云, 常發(fā)亮, 劉春生, 等. 區(qū)域特征動態(tài)加權的IHS小波遙感圖像融合[J]. 計算機工程, 2012, 38(8): 198-200.

LIU Chengyun, CHANG Faliang, LIU Chunsheng, et al.Fusion of IHS wavelet remote sensing images dynamically weighted by regional features[J]., 2012, 38(8): 198-200.

[7] TU Teming, SU Shunchi, SHYU Hsuen Chyun. A New Look at HIS-like Image Fusion Methods[J]., 2001, 2(3): 177-186.

[8] Rajenda Pandit Desale, Sarita V Verma. Study and analysis of PCA, DCT & DWT based image fusion techniques[C]//, 2013: 1-4.

[9] 潘梅森, 湯井田, 楊曉利. 采用PCA和PSNR的醫(yī)學圖像配準[J]. 紅外與激光工程, 2011, 40(2): 355-364.

PAN Meisun, TANG Jingtian, YANG Xiaoli. Medical image registration using PCA and PSNR[J]., 2011, 40(2): 355-364.

[10] 吳粉俠, 李紅, 李洪星. 基于NSCT變換和PCA的圖像融合算法[J].航空計算技術, 2015, 45(3): 47-51.

WU Fenxia, LI Hong, LI Hongxing. Image fusion algorithm based on NSCT transform and PCA[J]., 2015, 45(3): 47-51.

[11] 周琴. 矩陣特征值和特征向量在實際中的應用及其實現(xiàn)[J]. 高師理科學刊, 2019, 39(7): 8-10.

ZHOU Qin. Application of matrix eigenvalues and eigenvectors in practice and their implementation[J]., 2019, 39(7): 8-10.

[12] 閔超. 關于矩陣特征值有關性質的探討——線性代數(shù)教學思考[J]. 教育教學論壇, 2019(24): 190-191.

MIN Chao. Discussion on the properties of matrix eigenvalues -linear algebra teaching thinking [J]., 2019(24): 190-191.

Research on Spatial Domain Image Fusion Algorithm Based on Energy Segmentation

WANG Xinsai，F(xiàn)ENG Xiao’er，LI Mingming

(Army Academy of Artillery and Air Defense Force Zhengzhou Campus, Zhengzhou 450052, China)

To address the problems of image fusion in the spatial domain, such as the extraction of different image sources, and challenges in selecting fusion weights, a new spatial-domain image-fusion algorithm is proposed. Using the basic principle of matrix similarity, the infrared image matrix is diagonally transformed and the visible light image matrix is mapped onto the main eigenvectors. Then, the weighted fusion method is used to process the eigenvalue matrix and the fusion matrix is diagonalized as an inverse-transformed and reconstructed fusion image. The experimental results show that the algorithm fully retains the effective information of the source image; moreover, the overall grayscale of the fused image is significantly improved. Thus, the algorithm offers a strong image quality evaluation index and better visual effects.

spatial domain, diagonalization, feature vector, image fusion, quality evaluation

TP391.41

A

1001-8891(2022)07-0726-06

2020-08-24；

2020-09-28.

王新賽（1963-），男，江蘇睢寧人，教授，博士，研究方向為光電成像、模式識別。E-mail:wangxsai@126.com