圖像協(xié)同融合方法的初步研究

摘要：針對單傳感器圖像光譜屬性和空間屬性的局限性和單一融合算法融合能力有限的問題，提出了紅外圖像和可見光圖像的協(xié)同融合新方法。該方法首先獲得多個融合算法下的融合圖像，然后綜合評定各個融合圖像的整體性能，接著在各融合算法之間進行“競爭、合作、調(diào)整和反饋”機制下的多次動態(tài)圖像融合，從而得到一個性能穩(wěn)定且融合效果最佳的融合圖像。初步實驗結(jié)果顯示，該方法能夠有效地獲取高質(zhì)量的融合圖像。 

關(guān)鍵詞：圖像融合； 協(xié)同工作； 算法評價； 灰關(guān)聯(lián)分析

中圖分類號：TP391； N941.5文獻標志碼：A

文章編號：1001－3695(2008)01－0316－02

0引言

圖像融合指將來自不同傳感器的圖像進行合并，以得到一個更為完整的圖片或場景[1，2]，其主要目的是利用多幅圖像間的冗余信息提高圖像的可靠性和利用多幅圖像間的互補信息提高圖像的清晰度。圖像融合大致可分為像素級、特征級和決策級三個層次。像素級融合是特征級融合和決策級融合的基礎(chǔ)，是最根本、最重要的融合，因此該類融合算法的研究也最受研究人員重視。目前，已經(jīng)有很多較為成熟的像素級融合算法，如色調(diào)—亮度—飽和度(hue intensity saturation， HIS)融合法[3，4]、主成分分析(principal component analysis， PCA)融合法[3]、高通濾波(high pass filter， HPF)融合法[4]、加權(quán)平均法、小波變換法[4，5]、Toet算法[6]和圖像金字塔法[7]（包括高斯金字塔、對比度金字塔、比率金字塔和拉普拉斯金字塔）等。此外，一些新的研究思路也相繼出現(xiàn)，如基于證據(jù)理論、神經(jīng)網(wǎng)絡(luò)、專家系統(tǒng)的融合策略等。在具體應(yīng)用中，這些算法普遍存在的一個問題就是融合性能不穩(wěn)定，即對于不同的融合原圖像，得到的融合圖像質(zhì)量可能不同。如果能夠通過一些融合算法間的協(xié)同工作，動態(tài)地選擇一個最佳融合圖像，而不是就哪一種具體方法簡單地套用公式，那么可能會獲得更好的效果。基于這種設(shè)想，本文以可見光圖像與紅外圖像為研究對象，提出了一種多個融合算法協(xié)同工作下的圖像融合方法。

1協(xié)同工作下的圖像融合新方法

為了改善融合效果，提高圖像中目標的清晰度，本文引入了協(xié)同融合的概念。協(xié)同融合指多種融合算法通過競爭與合作，參數(shù)調(diào)整及信息反饋等環(huán)節(jié)，來共同完成一個任務(wù)，即獲取融合效果最優(yōu)的融合圖像。本文所提方法的基本思路是先由不同的融合算法得到紅外圖像和可見光圖像的多個融合圖像，利用各融合圖像的性能參數(shù)進行基于灰色關(guān)聯(lián)分析的融合圖像質(zhì)量評價[8]，得到一個性能較優(yōu)的圖像。在此基礎(chǔ)上，通過各個融合算法間的合作信息引導(dǎo)融合參數(shù)調(diào)整或融合原圖像調(diào)整，并將調(diào)整后的信息反饋給各融合算法，使之動態(tài)地進行多次融合，最終得到一個性能穩(wěn)定且效果最優(yōu)的融合圖像。設(shè)計框圖如圖1所示。

實現(xiàn)步驟如下：

a)選擇算法成員，即確定哪些融合算法為參與協(xié)同工作的成員。

b)確定評價融合圖像質(zhì)量的性能指標，如交叉熵、偏差度、光譜扭曲度等。

c)由各成員算法得到多個融合圖像。

d)根據(jù)b)中確定的性能指標，對得到的各融合圖像進行融合效果比較，從中選擇一個最優(yōu)融合圖像。該階段表現(xiàn)為協(xié)同工作下各算法成員之間的公平競爭。

e)為了保證第一次獲得的最優(yōu)融合圖像性能穩(wěn)定，并且給予其他算法成員第二次競爭機會，通過各成員算法間的合作調(diào)整融合參數(shù)（如低、高頻融合系數(shù)）或融合原圖像參數(shù)（如圖像對比度拉伸），把調(diào)整后的信息反饋給各融合算法，轉(zhuǎn)到c)，進行二次圖像融合。如果二次融合得到的各融合圖像中性能最優(yōu)者仍是上一次勝出的成員算法融合的，那么確定該算法為最優(yōu)算法，其相應(yīng)的融合圖像質(zhì)量最優(yōu)，轉(zhuǎn)到e)輸出該圖像；反之，若二次融合得到的各個融合圖像中性能最優(yōu)者不是上一次勝出的成員算法所融合的，那么轉(zhuǎn)到c)繼續(xù)進行競爭、合作、調(diào)整和反饋，直到相鄰兩次的最優(yōu)圖像為同一成員算法所融合的為止。

f)輸出質(zhì)量最優(yōu)的融合圖像。

本方法的關(guān)鍵是信息反饋、協(xié)作融合，優(yōu)點是所得融合圖像源于性能穩(wěn)定的融合算法，且融合質(zhì)量達到最優(yōu)。

2仿真實驗

2．1算法成員的選擇

為了縮短協(xié)同工作中圖像融合的時間，對以下十余種常見融合算法進行了比較和選優(yōu)，僅將性能較優(yōu)的融合算法作為本文方法中的算法成員。實驗情況如圖2所示。其中：(a)為可見光融合原圖像；(b)為紅外融合原圖像；(c)~(n)分別為常見圖像融合算法所得的融合圖像。

由圖2可知，PCA和HIS方法獲得了較好的融合效果，它們保留了更多的顏色信息，融合圖像中目標（正在行走的人）的清晰度較好，故初步確定PCA方法和HIS方法為協(xié)同融合的算法成員。

HIS融合法的原理是將圖像從RGB顏色空間變換到HSI空間，用色調(diào)(H)代表光譜信息，亮度(I)代表空間信息；然后將紅外圖像進行對比度拉伸，使它和可見光圖像的亮度分量(I)有相同的均值和方差；最后用拉伸后的灰度值代替原來的灰度值，并與色調(diào)和飽和度(S)進行HSI逆變換得到融合圖像。

經(jīng)過仔細分析，發(fā)現(xiàn)由于紅外圖像的亮度信息層次已經(jīng)較為分明，若繼續(xù)將其進行對比度拉伸，使它和可見光圖像的亮度分量有相同的均值和方差，那么容易導(dǎo)致融合圖像中高亮度部分的信息壓縮，如圖2(m)左部行人與房頂間的亮度信息對比度降低。若直接進行亮度替換，則一方面可以保留該部分信息；另一方面簡化了算法，效果如圖2(o)所示。因此，最終確定PCA方法和簡化HIS方法作為協(xié)同融合的算法成員。

2．2協(xié)同工作下的圖像融合

協(xié)同工作下的圖像融合結(jié)果如圖3所示。其中：用于評價融合圖像質(zhì)量的評價指標包括熵、交叉熵、均值、標準差、偏差度、光譜扭曲度和小波能量細節(jié)共七項[7，8]，圖像質(zhì)量評價方法為筆者在文獻[8]中提出的基于鄧氏關(guān)聯(lián)度的圖像融合質(zhì)量自動評價。從圖3可以看出，協(xié)同融合法所得融合圖像的質(zhì)量明顯優(yōu)于PCA和簡化HIS融合圖像，如行走中的人等目標更為突出，對比度更為理想。這為后期的目標檢測、目標跟蹤、目標分割等后繼處理打下了良好的基礎(chǔ)。

該組實驗的協(xié)同處理過程為：用簡化HIS和PCA算法產(chǎn)生融合圖像HIS_0和PCA_0，計算這兩幅圖像的各項評價指標，并進行質(zhì)量評價比較，結(jié)果為HIS_0優(yōu)于PCA_0。為了防止HIS_0性能不穩(wěn)定，對該組融合原圖像進行參數(shù)調(diào)整。此處調(diào)整了紅外圖像的對比度，再由兩融合算法重新得到兩幅新的融合圖像HIS_1和PCA_1，再次計算這兩幅圖像的融合質(zhì)量指標，并與前兩個圖像一塊進行性能綜合評價。結(jié)果發(fā)現(xiàn)HIS_1圖像質(zhì)量優(yōu)于HIS_0。那么此時需要再次調(diào)整融合原圖像，反饋給各融合算法，產(chǎn)生新的融合圖像，進入下一輪競爭，結(jié)果為在新產(chǎn)生的融合圖像HIS_2、PCA_2及前面的HIS_1、PCA_1、HIS_0、PCA_0中，質(zhì)量最優(yōu)圖像仍是HIS算法產(chǎn)生的HIS_1。因此，HIS算法對于該組融合原圖像性能穩(wěn)定，且融合質(zhì)量達到最優(yōu)，即HIS_1為協(xié)同融合圖像。表1為各階段產(chǎn)生的融合圖像的質(zhì)量以及協(xié)同融合圖像產(chǎn)生的過程。其中融合圖像質(zhì)量取值為（0，1]，其值越大，圖像質(zhì)量越好[8]。

3結(jié)束語

本文提出了一種基于協(xié)同工作的圖像融合方法。與普通融合相比，協(xié)同融合強調(diào)在融合過程中加入優(yōu)勢信息的交互，并依此信息去調(diào)整融合參數(shù)，優(yōu)點是所得融合圖像源于性能穩(wěn)定的融合算法，且融合質(zhì)量達到最優(yōu)。初步實驗結(jié)果顯示該方法能夠有效獲取高質(zhì)量的融合圖像。下一步工作包括多種融合算法間的選擇原則和更多融合算法下該方法的有效性驗證，以及融合參數(shù)的自動調(diào)整方法研究等。

參考文獻：

［1]ZHANG Yun. Understanding image fusion [J]. Photogrammetric Engineering and Remote Sensing， 2004，70(6):657－661.

［2]PETROVIC V. Multi level image fusion[C]//Proc of the Internatio￣nal Society for Optical Engineering.2003:87－96.

［3]AUDICANA G， SALETA M， LUIS J， et al. Fusion of multispectral and panchromatic images using improved HIS and PCA mergers based on wavelet decomposition [J]. IEEE Transactions on Geoscience and Remote Sensing， 2004，42(6):1291－1299.

［4]LI Bi cheng， WEI Jun. Remote sensing image fusion based on HIS transform， wavelet transform， and HPF[C]//Proc of the International Society for Optical Engineering. 2003:25－30.

［5］王紅梅，張科，李言俊.基于小波變換的圖像融合方法[J].紅外與激光工程，2005，34(3):328－332.

［6]TOET A， WALRAVEN J. New 1 color mapping for image fusion [J]. Opt Eng， 1996，35(3):650－658.

［7］劉貴喜.多傳感器圖像融合方法研究[D]. 西安: 西安電子科技大學， 2001.

［8]MA Miao， TIAN Hong peng， HAO Chong yang. A new method to quality evaluation for image fusion using GRA[J]. Optical Engineering， 2005，44(8):1－5.

“本文中所涉及到的圖表、注解、公式等內(nèi)容請以PDF格式閱讀原文”