多傳感器圖像融合質(zhì)量評價(jià)方法研究＊

錢　偉，常　霞，虎　玲

(北方民族大學(xué)數(shù)學(xué)與信息科學(xué)學(xué)院圖像處理與理解研究所，寧夏 銀川 750021)

0　引言

圖像融合方法伴隨著計(jì)算機(jī)技術(shù)的發(fā)展而不斷進(jìn)步[1-3]。如何有效檢驗(yàn)和評價(jià)圖像融合質(zhì)量一直備受研究者的關(guān)注[4-6]。 圖像融合質(zhì)量評價(jià)指標(biāo)按圖像處理表征層不同可分為：像素級、特征級、決策級圖像融合質(zhì)量評價(jià)指標(biāo)。圖像融合質(zhì)量評價(jià)指標(biāo)按待融合圖像來源差異可分為：全色和多光譜圖像、多聚焦圖像、SAR圖像、紅外和可見光圖像、醫(yī)學(xué)圖像、彩色圖像類型。圖像融合質(zhì)量評價(jià)指標(biāo)按評價(jià)目的可分為：是否抑制噪聲、信息量是否提升、分辨率是否改善、光譜質(zhì)量是否提高評價(jià)類型。現(xiàn)階段融合圖像質(zhì)量評價(jià)指標(biāo)研究主要集中于像素級圖像融合領(lǐng)域。圖像融合處理是將某個(gè)對象在不同視場下多個(gè)以上信息數(shù)據(jù)合成為單幅更加全面、準(zhǔn)確的圖像數(shù)據(jù)信息[7]。

1　像素級圖像融合質(zhì)量評價(jià)指標(biāo)

像素級圖像融合是最低層次的圖像融合，是對多幅待融合圖像運(yùn)用一定的融合規(guī)則，留下需要的信息數(shù)據(jù)，去除或抑制噪聲等一些干擾圖像質(zhì)量的影響因素，從而得到新的融合圖像。像素級圖像融合質(zhì)量評價(jià)因子是對空域圖像融合結(jié)果的客觀評價(jià)。

● 互信息

互信息主要應(yīng)用于評價(jià)融合圖像信息量是否改善，MI越大，說明融合圖像獲取待融合圖像的信息量越多。互信息計(jì)算公式[4]如下：

無參考圖像質(zhì)量評價(jià)指標(biāo)：信息熵、交叉熵[2]、均值[3]、標(biāo)準(zhǔn)差[8]、聯(lián)合熵[9]、偏差[3]、平均梯度[6]、相對偏差度[11-12]、結(jié)構(gòu)相似度[13-14]、歸一化最小方差[10,14]、空間頻率[13]、光譜扭曲度指數(shù)[15]、顏色特征[20]、圖像的銳利度[30]、圖像的對比度[24,30]、彩色信息豐富度[30]。

有參考圖像指標(biāo)：互信息、熵差[5]、信噪比[10]、峰值信噪比[10]、協(xié)方差[6]、均方差[7]、相關(guān)系數(shù)[16,17]、歸一化相關(guān)系數(shù)[18]、光譜角[19]、邊緣融合質(zhì)量指標(biāo)(QAB/F)[29]。

2　特征級圖像融合質(zhì)量評價(jià)指標(biāo)

特征級圖像融合層次處在像素級圖像與決策級圖像融合層次中間。我們在像素級圖像融合后的圖像基礎(chǔ)上進(jìn)行特征提取等技術(shù)處理，并進(jìn)行信息數(shù)據(jù)的分析及分類等預(yù)處理，然后對同一個(gè)目標(biāo)的不同傳感器圖像，提取主要的特征信息，將來源不同的特征信息通過一定的規(guī)則進(jìn)行聯(lián)系、定位及分析。保留所有的融合特征以及他們可能形成新的特征信息，最后給出對象的本質(zhì)及圖像的大部分細(xì)節(jié)信息。其有利點(diǎn)在于方便信息存儲(chǔ)，匹配要求低，能夠?qū)崟r(shí)處理[21]。

● 局部灰度值

局部灰度值用于評價(jià)融合圖像與理想圖像局部之間的灰度均值差異，從而反映融合圖像的融合效果，其值越接近，則融合效果越好。局部灰度值計(jì)算公式[22]如下：

公式中：ms表示融合圖像中選擇區(qū)域內(nèi)的灰度均值，|H|表示選擇對象區(qū)域內(nèi)像素值的總和。fs(i,j)表示融合圖像中某一點(diǎn)的圖像灰度值。

文章按照在特征級圖像融合層次中需要提取的特征屬性對質(zhì)量評價(jià)指標(biāo)進(jìn)行分類。

基于邊緣特征：對比度、梯度特征的結(jié)構(gòu)相似度質(zhì)量評價(jià)指標(biāo)[20,24]、圖像邊緣質(zhì)量評估指標(biāo)[25-26]。

基于圖像亮度信息：局部灰度值[22]、局部灰度方差[22]、梯度特征的結(jié)構(gòu)相似度質(zhì)量評價(jià)指標(biāo)[20,24]。

基于多光譜信息：基于底層特征評價(jià)[23]、圖像邊緣質(zhì)量評估指標(biāo)[25-26]。

3　決策級圖像融合評級指標(biāo)

決策級圖像融合是圖像融合層次中最頂級層次。主要是將特征級圖像融合的圖像中的特征信息進(jìn)行屬性和相關(guān)性分析之后，將其中相似信息進(jìn)行分類，然后依據(jù)某些融合規(guī)則做出最有利的決策來將圖像融合。其步驟是先將同一類的信息進(jìn)行融合，得到新的融合信息，最后將這些得到的信息進(jìn)行深入融合來實(shí)現(xiàn)決策級圖像融合。優(yōu)點(diǎn)是圖像配準(zhǔn)要求低，數(shù)據(jù)信息量小，容錯(cuò)性高，實(shí)時(shí)性強(qiáng)，數(shù)據(jù)要求低，分析能力強(qiáng)[28]。

目前，在決策級圖像融合層次領(lǐng)域，融合圖像的客觀質(zhì)量評價(jià)指標(biāo)選擇、設(shè)計(jì)依然是個(gè)難點(diǎn)問題，只有少量的質(zhì)量評價(jià)指標(biāo)，如偏差、融合精度、檢測與虛警概率[28]等。

4　圖像融合質(zhì)量評價(jià)指標(biāo)的綜合分析

現(xiàn)階段，圖像融合一般是以圖像信息量、清晰度、目標(biāo)邊緣特征細(xì)節(jié)信息、待融合圖像與融合圖像的相關(guān)性、圖像光譜信息方面的改善和提高為目的，以下給出基于這些評價(jià)目標(biāo)的圖像融合質(zhì)量評價(jià)指標(biāo)分析。基于圖像信息量：本質(zhì)是融合圖像從待融合圖像中所收集到的圖像信息量。基于圖像清晰度：本質(zhì)是圖像的分辨率，圖像是否清晰可見。基于圖像邊緣信息：本質(zhì)是圖像中的特征，如:紋理，輪廓，細(xì)節(jié)信息。基于圖像差異度：本質(zhì)是融合圖像與待融合圖像之間的相關(guān)程度，即相似性。基于圖像失真程度：圖像失真度與圖像差異度是倒數(shù)關(guān)系，即其反應(yīng)了融合圖像中顏色失真，信息丟失。

表1　圖像融合質(zhì)量評價(jià)目的分類表

5　小結(jié)

圖像融合質(zhì)量評價(jià)指標(biāo)的研究在圖像處理領(lǐng)域仍舊值得關(guān)注，不同融合層次的圖像處理方法均通過客觀質(zhì)量評價(jià)指標(biāo)對其進(jìn)行評估檢驗(yàn)。本文從質(zhì)量評價(jià)指標(biāo)是否需要理想圖像為出發(fā)點(diǎn)，以圖像不同融合層次，不同評價(jià)目的為骨架對圖像融合質(zhì)量評價(jià)指標(biāo)進(jìn)行綜合評述研究。由表1可知圖像融合層次越高，需要理想圖像的參與越少，且對融合結(jié)果的評價(jià)更趨向于后續(xù)圖像處理效果評價(jià)，如對圖像檢測、分類精度的評價(jià)。圖像融合層次越高，對融合質(zhì)量的評價(jià)更加趨向于考察所提取的待融合圖像信息質(zhì)量的高低，更強(qiáng)調(diào)了對圖像局部屬性描述的精度。

參考文獻(xiàn)(References):

[1]劉貴喜,趙曙光,陳文錦.紅外與可見光圖像融合的多分辨率方法[J].光電子·激光,2004.15(8):980-984

[2]楊萬海.基于模糊積分的融合圖像評價(jià)方法[J].計(jì)算機(jī)學(xué)報(bào),2001.24(8):815-818

[3]李弼程.遙感影像融合效果的客觀分析與評價(jià)[J].計(jì)算機(jī)工程與科學(xué),2004.26(1):42-46

[4]康圣.圖像融合的量化評價(jià)方法及實(shí)驗(yàn)分析[J].光電子技術(shù)與信息,2006.19(2):59-63

[5]李樹濤.多傳感器圖像融合的客觀評價(jià)與分析[J].儀器儀表學(xué)報(bào),2002.23(6):651-654

[6]Schistad Solberg A H,Jain A K,Taxt T.Multi-source classification of remote sensed data fusion of Landsat TM and SAR images[J].IEEE transact ions on Geo science and Remote Sensing,1994.32(4):768-778

[7]李新娥.大視場多光譜相機(jī)圖像拼接與融合技術(shù)研究[D].中國科學(xué)院研究生院(長春光學(xué)精密機(jī)械與物理研究所),2015.

[8]Wang Z,Bovik A C,Sheikh H R,et al.Image quality assessment:Form error visibility to struck ural similarity[J].IEEETransaction onImageProcessing,2004.13(4):600-612

[9]陽方林.像素級圖像融合效果的評價(jià)方法研究[J].測試技術(shù)學(xué)報(bào),2002.16(4):271-279

[10]Wald L.Fusion of Satellite Image of Different Spatial Resolutions,Assessing the Quality of Resulting Images[J].photogrammetric Engineering and Remotes Sensing,1997.63(3):691-699

[11]Shi W,Zhu CQ,Tian Y,et all.Wavelet based image fusion and quality assessment[J].Inter national journal of applied earth observation and information,2005.6(3-4):241-251

[12]田闖.圖像融合算法的研究[D].南京航空航天大學(xué),2008.

[13]DE BETHUNE,MULIER F,DONNAY T P.Fusion of multispectral and panchromatic image by local mean and variance matching filtering techniques[C].Proceedings of Fusion of Earth Data,1998:31-37

[14]Richard Dosselmann,Xue Dong yang.A comprehensive assessment of the structural similarity index[J].signal.Image,Image and Video Processing,2011.5(1):81-91[15]lung L W,King B,Vohora V.Comparison of image data fusion techniques using entropy andINI[C].Acrs,2001.1:152-157

[16]徐先川,裴文靜.針對不同融合算法的質(zhì)量評價(jià)指標(biāo)性能評估[J].紅外與激光工程,2012.41(12):3416-07

[17]ZENG Li-qing,JIANG Nian_de.Image fusion based on correlation coefficient and average gradient.Computer Engineering and Design,2010.31(7).

[18]GAO Guang zhu,LI Zong wu,YU Li fu,HE Zhi yong.Application of theNormalizedCrossCorrelation CoefficientinImageSequenceObjectDetection[J].COMPUTER ENGINERING&-SCIENCE,2005.27(3):39

[19]BEAULIEUM,FOUCHERS.GAGNONL.Multispectral image resolution refinement using stationary wavelet transform[C].Proceedings of the International Geo science and Remote Sensing Symposium,2003:4032-4034

[20]朱明,郭立強(qiáng)等.彩色圖像融合客觀評價(jià)指標(biāo)[J].光學(xué)精密工程,2013.21(9):2348-2353

[21]Zhang L，Zhang L，MouX Q，et al.FSIM:a feature similarity index for image quality assessment[J].IEEE Transactions on Image Processing,2011.20(8):2378-2386

[22]陳木生.結(jié)合NSCT和壓縮感知的紅外與可見光圖像融合[J].中國圖象圖形學(xué)報(bào),2016.21(1):0039-0044

[23]李翠,記峰,常霞等.基于非下樣Contourlet變換的醫(yī)學(xué)圖像融合[J].激光與光電子學(xué)進(jìn)展,50,111002(2013).

[24]Yang C L,Chen G H,Xie S L.Gradient information based on image quality accessment[J].Act Electronic Sinica,2007.35(7):1313-1317

[25]lung L W,King B,Vohora V.Comparison of image data fusion techniques using entropy andINI[C].Acrs,2001.1:152-157

[26]Miao Y,Yi S L,He J F,Shao D G.Image quality assessment of feature similarity combined with gradient information[J].Journal of Image and Graphics,2015.20(6):0749-0755

[27]歐陽寧,鄒寧,張彤等.基于非下采樣Shearlet變換與聚焦區(qū)域檢測的多聚焦圖像融合算法[J].計(jì)算機(jī)應(yīng)用,2015.32(2):490-494

[28]劉向君.多波段SAR目標(biāo)檢測與圖像分類融合[D].國防科學(xué)技術(shù)大學(xué),2005.

[29]張蕾,金龍旭,韓雙麗等.采用非采樣Contourlet變換與區(qū)域分類的紅外和可見光圖像融合[J].光學(xué)精密工程,2015.23(3):811-818

[30]朱明,孫繼剛,梁偉等.四元數(shù)曲波變換多源多聚焦彩色圖像融合[J].光學(xué)精密工程,2013.21(10):2671-2678