圖像融合算法的分析與實現(xiàn)

湯麗娟，孫克爭

（1.江蘇商貿(mào)職業(yè)學院，南通　226000；2.中國礦業(yè)大學信息與電氣學院，徐州　221116）

?

圖像融合算法的分析與實現(xiàn)

湯麗娟1,2，孫克爭2

（1.江蘇商貿(mào)職業(yè)學院，南通226000；2.中國礦業(yè)大學信息與電氣學院，徐州221116）

摘要：圖像融合作為多傳感器信息融合的重要分支，被廣泛應用于各種領域。圖像融合已成為監(jiān)控系統(tǒng)中不可分割的一部分。分析圖像融合傳感器的種類，圖像融合算法的評價指標和圖像融合算法的分類。像素級圖像融合作為各級圖像融合的基礎，盡可能多地保留場景的原始信息，提供其他融合層次所不能提供的豐富、精確、可靠的信息，有利于圖像的進一步分析與處理。研究塔式圖像分解，主成分分析圖像和小波圖像分解融合算法，并通過MATLAB編碼實現(xiàn)其融合算法，評價算法的性能指標。最后用小波分解算法實現(xiàn)一組被動紅外圖像和可見光圖像的融合，并評價其性能。

關鍵詞：圖像融合;評價指標;融合算法;編碼實現(xiàn)

0　引言

圖像融合是從不同傳感器同時獲取關于同一場景的不同波長的圖像，將它們合成一幅圖像。合成圖像用來提高圖像的內(nèi)容信息，使用戶更容易發(fā)現(xiàn)，識別和確定目標并增加用戶對圖像內(nèi)容的情景感知。

當前的研究主要集中在研究融合算法提高合成圖像的內(nèi)容信息。例如在不同的場景下，如煙霧的情況下，融合算法仍是魯棒的。這篇論文的結構如下：第二部分介紹了幾種圖像融合傳感器；第三部分研究圖像融合算法的性能評價，這些指標用來測試圖像融合算法的有效性的并反映融合圖像的一些典型特征；第四部分研究了圖像融合算法，并分析每種算法的實現(xiàn)原理，并編碼實現(xiàn)算法并評價融合算法的性能指標；第五部分小結及分析圖像融合領域的研究熱點問題。

1　圖像融合傳感器

傳感器種類很多，目前常用的用于圖像融合的傳感器主要有電子計算機斷層掃描（Computed Tomography，CT），磁共振成像（Magnetic Resonance Imaging，MRI），可見光圖像傳感器（Charge-Couple Device，CCD），紅外熱像儀，激光成像雷達，毫米波雷達，合成孔徑雷達成像儀（Synthetic Aperture Radar，SAR），多光譜/超光譜成像儀等[1]，每種傳感器都有自身的物理原理和成像特點，對同一場景，不同傳感器采集的信息內(nèi)容也不盡相同。現(xiàn)實應用中需根據(jù)具體應用場景的特點和復雜程度，采用不同的傳感器組合來提高獲取信息的準確性和全面性。例如煤礦下的復雜場景，對危險區(qū)域禁止煤礦工人進入的區(qū)域的監(jiān)測，井下可見光拍出來的圖像的對比度比較差，而紅外熱像儀能清楚顯示溫度較高的位置，這樣就可以通過紅外與可見光圖像的融合，實現(xiàn)對危險區(qū)域的有效監(jiān)控。

2　圖像融合的評價指標

圖像融合后的質(zhì)量評價可以分為主觀質(zhì)量評價和客觀質(zhì)量評價。主觀質(zhì)量評價是由測試者根據(jù)已有的知識和評價標準對融合后的圖像進行評價。該方法容易受到測試者的已有經(jīng)驗和主觀心理等影響，而且實施起來比較困難，對實時性要求高的場景該方法難以實現(xiàn)。客觀質(zhì)量評價是利用圖像的參數(shù)和一些評價指標自動地對圖像進行評價。客觀質(zhì)量評價方法可以為兩大類，無參考和有參考。所謂無參考是指直接利用融合后的圖像自身的一些屬性，例如圖像的熵、標準差、空間頻率等特征進行評價。有參考的又可以細分為兩類，一類是和融合前的源圖像進行比較，如通過互信息，交叉熵等指標進行比較，另一類是和標準圖像進行比較，可以利用結構相似度、均方根誤差、相關系數(shù)等指標進行評價。

常用的融合圖像的評價指標[2-3]：

（1）評價像素強度（Average Pixel Intensity，API）或

（2）標準差（Standard Deviation，SD）是方差的平方根，反映數(shù)據(jù)的分布:

（3）平均梯度（Average Gradient，AG），是反映圖像的清晰度：

AG=

（4）熵（Entropy，H），是反映圖像所含的信息量，H=其中pk代表圖像像素值是k的發(fā)生的概率。

（5）互信息量（Mutual Information，MI）是描述融合圖像和兩幅源圖像之間的總的信息量，即MI=MIAF+ MIBF，其中

（6）信息對稱或融合對稱（Fusion Symmetry）是用來衡量源圖像和融合圖像之間的對稱信息：

（7）相關系數(shù)（Correlation Coefficient，CC）是用來測量源圖像與融合圖像的關聯(lián)程度，CC=（rAF+rBF）/2，其中：

（8）空間頻率（Spatial Frequency，SF），是用來測量圖像活動區(qū)域的整體信息級別其中：

除了這些客觀評價指標外，有些評價指標是基于梯度信息的。這些信息提供了量化和深度分析融合算法的性能：總的融合信息，融合丟失的信息量，融合產(chǎn)生的人為信息，分別用QAB/F，LAB/F和NAB/F來表示，其中QAB/F代表從源圖像轉(zhuǎn)移到融合圖像的總信息量，LAB/F代表總的丟西信息量，NAB/F代表在融合過程中的噪聲和人為信息量，這三者的和應為1[4]，即QAB/F+LAB/F+ NAB/F=1，但通常情況這三者的和不為1，文獻[5]提出了對噪聲進行修訂，將NAB/F修訂為：梯度大于源圖像A和B位置對應的梯度時，AMi，j的值取為1。和分別代表圖像A，B和F的邊信息強度。和分別代表從源圖像A和B中保留的梯度信息。和分別代表源圖像A和B的權重信息。和這些參數(shù)的計算詳見[5]，修訂融合過程引入的人為噪聲測量的方法后，公式可定義為

3　圖像融合算法的分類

圖像融合的流程一般包括對輸入圖像的預處理，特征提取，識別與決策，數(shù)據(jù)關聯(lián)，采用不同的算法進行融合。圖像融合算法可分為三個層次像素級、特征級和決策級[6]。像素級融合是最低層次的融合，基于原始圖像的像素進行，因此能提供精確、全面的信息，但處理的數(shù)據(jù)量比較大。特征級圖像融合是先對輸入圖像基于不同的方法提取圖像特征，再對提取的特征進行融合，這種方法處理的數(shù)據(jù)量減少，便于一些有實時要求的應用場合。決策級像素融合是高層次的融合，首先對輸入的圖像進行目標特征提取，然后采用專家決策系統(tǒng)進行判斷和識別，將有價值的信息進行融合，這種方法對傳感器依賴性小，分析能力強，但特征提取代價較高[6]。

3.1像素級圖像融合的算法

像素級圖像融合是研究最廣泛的融合層次級別，融合算法可以分為三大類：一類是基于單個像素值，例如線性加權法、高通濾波器（High Pass Filtering，HPF）、主成分分析（Principle Component Analysis，PCA）、顏色空間變換HIS等；第二類是基于多分辨率分析方法，將圖像分成不同的頻率子帶，根據(jù)各子帶的頻率選擇合適的融合規(guī)則，融合后再按分解的逆過程重構得到融合圖像，例如塔式分解和小波變換等方法；第三類是結合不同融合算法的特點，得到融合圖像。下面分析和研究幾種典型像素級算法的實現(xiàn)。

3.2基于主成分分析（PCA）融合算法的實現(xiàn)

PCA方法用于圖像融合，常用于作為近似圖像的融合準則[7]。通過PCA方法找到待融合的近似圖像的主成分，然后根據(jù)主成分來確定各待融合圖像的權重。具體步驟如下：

（1）將近似圖像按照行優(yōu)先或者列優(yōu)先組成列向量，并計算協(xié)方差；

（2）根據(jù)協(xié)方差矩陣求取特征向量，確定第一主成分對應的特征向量；

（3）根據(jù)第一主成分對應的特征向量，確定各圖所應該分配的權重。

假設有2幅圖像A、B進行融合，其第一主成分對應的特征向量設為（x，y）T，則圖A的權重分配為x/ （x+y），圖B的權重分配為y/（x+y）。

當待融合的圖像的近似圖像的差異較小時，PCA方法通常能夠得到比較好的權重分配；但是當待融合的圖像的近似圖像差異過大，即相關性較弱，往往不能準確地分配權重，甚至會導致圖像嚴重失真。

下面基于PCA方法用MATLAB實現(xiàn)對office1和office2兩幅圖像進行融合，效果圖如圖1所示，（a）和（b）代表融合前的圖像，（c）是融合后的圖像。該算法的性能指標：API=80.3662；SD=59.4177；AG=8.3416；Entropy=7.5195；MIF =5.326 FSI =1.9787；Corr =0.9755；SF=14.2168（每個指標的含義詳見本文第三部分）。

圖1　基于PCA的圖像融合算法

主要部分Matlab代碼如下：

…

C = cov（[im1（:）im2（:）]）;

[V，D] = eig（C）;

if D（1，1）＞= D（2，2）

pca = V（:，1）./sum（V（:，1））;

else

pca = V（:，2）./sum（V（:，2））;

imf = pca（1）*im1 + pca（2）*im2;…

3.3基于塔式分解的圖像融合算法的實現(xiàn)

多尺度變換將圖像分解為低頻和高頻子帶，低頻部分包含了主體能量，是圖像的近似，像素值的差異較小，主要描述灰度和紋理等信息，一般采取加權求平均。高頻子帶描述的是圖像的細節(jié)特征，主要報告邊緣和區(qū)域輪廓等信息，一般采用梯度規(guī)則算法。

圖像金字塔由一組低通或者帶通的圖像副本組成，包含了所有需要重構原始圖像的信息。常見的金字塔由高斯金字塔、Laplacian金字塔、低通濾波金字塔、對比度金字塔、形態(tài)學金字塔、梯度金字塔等。

下面給出Gaussian金字塔和Laplacian金子塔對圖2 office（分辨率256×256）的分解過程及相應的MATLAB實現(xiàn)，分解過程如圖3和圖4所示：

圖2　office（分辨率256×256）

圖3　Gaussian金字塔分解

圖4　Laplacian金字塔分解

Gaussian金字塔的分解：

MATLAB主要實現(xiàn)代碼：

…

g=[1/32 4/32 1/32;4/32 12/32 4/32;1/32 4/32 1/32];

g01=round（conv2（g00，g，'same'））;

g1=imresize（g01，0.5）;

…

Laplacian金字塔：

MATLAB主要實現(xiàn)代碼：

…

l01=imresize（g1，2）;

l0=g00-l01;

l02=imresize（g2，2）;

l1=g02-l02;

…

3.4基于小波分解的融合算法的實現(xiàn)

在計算機視覺中，基于像素空間的圖像表示方式（像素尺度）只適用于數(shù)據(jù)層面上的某些處理工作，而更多的情況，需要我們在合適的尺度上提取圖像的特征，由于圖像中物體尺寸不同，不可能事先定義一個最優(yōu)的尺度去分析圖像，因此需要在多個尺度下去考慮圖像內(nèi)容。1987年，Mallat[8]和將多尺度分析思想引入到小波分析的研究中，提出了“多分辨率分析”概念，將傳統(tǒng)的小波理論和數(shù)字濾波器技術結合起來，不僅統(tǒng)一了此前各種具體小波的構造方法，而且為小波變換的快速算法提供了理論依據(jù)。小波變換第一步是將信號分為低頻部分（稱為近似部分）和高頻部分（稱為細節(jié)部分）。近似部分代表了信號的主要特征。第二步對低頻部分再進行相似運算，尺度因此改變，依次進行到所需要的尺度。下面使用離散小波變換對一組紅外圖像和可見光圖像進行小波分解并實現(xiàn)圖像融合。紅外圖像和可見光圖像如圖5所示。

（a）IR image（紅外圖像）　（b）Visual Image（可見光圖像）圖5　紅外圖像和可見光圖像

離散小波對可見光圖像的分解示意圖如圖6所示：

圖6　基于離散小波的可見光圖像的分解

分解中使用的小波及MATLAB實現(xiàn)代碼：

…

[LLV，LHV，HLV，HHV] = dwt2（IV，'db1'）;

…

離散小波對紅外圖像的分解示意圖如圖7所示。

對分解后的小波子帶進行融合，融合后的各子帶通過逆小波變換得出最終融合的圖像，融合后的圖像效果如圖8所示。

圖7　基于離散小波的紅外圖像的分解

圖8　可見光與紅外融合后的圖像

逆小波變換的融合代碼如下：

…

IF = idwt2（ILLF，ILHF，IHLF，IHHF，'db1'）;

…

該融合算法的性能指標為：API =0.4618；SD = 0.1111；AG =0.0357。

3.5綜合的圖像融合算法

基于像素重要性的圖像融合算法，對每幅圖像使用交叉雙邊濾波器[9]，根據(jù)像素的強度得到權重，最后對源圖像及加權系統(tǒng)進行綜合得到融合圖像。

交叉雙邊濾波器的主要MATLAB實現(xiàn)代碼如下：

…

[MM，NN]=size（xm1）;

for ii=halfksize+1:MM-halfksize

for jj=halfksize+1:NN-halfksize

xtemp1 =xm1（ii -halfksize:ii +halfksize，jj -halfksize:jj + halfksize）;

xtemp2 =xm2（ii -halfksize:ii +halfksize，jj -halfksize:jj + halfksize）;

pixdiff=abs（xtemp2-xtemp2（halfksize+1，halfksize+1））;

rgk=exp（-（pixdiff.2/（2*（sigmar）2）））;

ycb（ii-halfksize，jj-halfksize）=sum（sum（xtemp1.*gk. *rgk））/sum（sum（gk.*rgk））;

end

end

…

當采用不同的窗口大小，算法的性能如表1所示，表1窗口為13和11時算法的性能融合前的源圖像和融合后的圖像如圖9所示。

表1　窗口為13和11時算法的性能

（a）office 1　　（b）office 2　　（c）融合后的圖像圖9　綜合的融合圖像算法

4　結語

介紹了圖像融合傳感器的種類，分析了圖像融合算法的評價指標和圖像融合算法的分類。在MATLAB平臺上編寫代碼，實現(xiàn)基于像素級別的塔式圖像分解融合算法，主成分分析圖像融合算法和小波圖像分解融合算法，并評價算法的性能指標。

隨著信息融合技術的快速發(fā)展，圖像融合領域研究的熱點將聚焦于如下三個方面：

圖像配準方法的研究：當融合圖像分辨率存在較大差異時，能夠精確配準是實現(xiàn)有效融合的前提，因此用適當?shù)臄?shù)學模型實現(xiàn)有效的配準方法是當前研究的一大熱點。

圖像融合方法的研究：主要體現(xiàn)在兩方面，一方面是圖像分解方法的研究，例如多分辨率分解，分解層數(shù)的多少直接影響到圖像融合的最終質(zhì)量。另一方面是圖像融合規(guī)則的研究，這兩方面以不同的方式相結合將會產(chǎn)生不同的融合效果，研究每一部分的功能特征也是當前研究的熱點。

圖像融合評價性能指標的研究：圖像融合的評價分為主觀評價和客觀評價，隨著應用場景的復雜化，客觀評價的應用將越來越廣泛，有效的通用的客觀評價性能指標有待進一步的研究。

參考文獻：

[1]李暉暉.多傳感器圖像融合算法研究[D].西安：西北工業(yè)大學, 2006.

[2]Shah, P., Merchant, S.N., Desai, U.B.: Fusion of Surveillance Images In Infrared and Visible Band Using Curvelet, Wavelet and Wavelet Packet Transform. Int. J. Wavel. Multiresol. Inf. Process. 8（2）, 271-292（2010）

[3]Shah, P., Merchant, S.N., Desai, U.B.: An Efficient Adaptive Fusion Scheme for Multifocus Images in Wavelet Domain Using Statistical Properties Of Neighborhood. In: Proceedings of the 14th International Conference on Information Fusion, pp. 1-7, July 2011

[4]Shreyamsha Kumar, B.K.: Multifocus and Multispectral Image Fusion Based on Pixel Significance Using Discrete Cosine Harmonic Wavelet Transform. J. SIViP（2012）. doi:10.1007/s11760-012-0361-x

[5]Petrovic,V., Xydeas,C.: Objective Image Fusion Performance Characterization. In: Proceedings of the International Conference on Computer Vision（ICCV）, vol. 2, pp. 1866-1871（2005）

[6]Ardeshir Goshtasby A, N ikolov S. Guest Editorial: Image fusion: Advances in the State of the Art[J]. Information Fusion, 2007, 8 （2）:114-118.

[7]ZHENG You-zhi, HOU Xiao-dong, BIAN Tian-tian, et al. Effective Image Fusion Rules of Multi-scale Image Decomposition[C]. Proc. of the 5th International Symp. on Image and Signal Processing and Analysis. Istanbul, Turkey: [s. n.], 2007.

[8]Mallat S G. Multiresolution Approximations and Wavelet Orthonormal Bases of L2（R）[J]. Transactions of the American Mathematical Society, 1989, 315（1）: 69-87.

[9]B. K. Shreyamsha Kumar：Image Fusion Based On Pixel Significance Using Cross Bilateral Filter.J. SIViP（2015）9:1193-1204.DOI 10.1007/s11760-013-0556-9.

Analysis and Implementation of Image Fusion Algorithm

TANG Li-juan1，2，SUN Ke-zheng1
（1．Jiangsu Vocational College of Business，Nantong 226011；2．School of Information and Electrical Engineering，China University of Mining and Technology，Xuzhou 221116）

Abstract：Image fusion, as an important branch of multi sensor information fusion, is widely used in various fields. And image fusion has become an integral part of the monitoring system. Analyzes the types of image fusion sensors, the evaluation index of image fusion algorithm and the classification of image fusion algorithms. Pixel level image fusion can provide richer，more accurate and reliable information for further analysis and processing of the image. Studies the pyramid image decomposition, principal component analysis and wavelet image decomposition and fusion algorithms, and evaluates the performance of the algorithms. Finally, fuses a set of passive infrared image and visible light image by wavelet decomposition algorithm，and evaluates the performance of the algorithm.

Keywords：Image Fusion; Evaluation Index; Fusion Algorithm; Programming

收稿日期：2016-01-07修稿日期：2016-02-23

作者簡介：湯麗娟（1982-），女，江蘇連云港人，在讀博士，研究方向為圖像處理、機器學習、信息安全

文章編號：1007-1423（2016）10-0042-07

DOI：10.3969/j.issn.1007-1423.2016.10.010

基金項目：南通市科技計劃項目（No.BK2014022）