多傳感器圖像融合質量評價方法研究＊

錢　偉，常　霞，虎　玲

(北方民族大學數學與信息科學學院圖像處理與理解研究所，寧夏 銀川 750021)

0　引言

圖像融合方法伴隨著計算機技術的發展而不斷進步[1-3]。如何有效檢驗和評價圖像融合質量一直備受研究者的關注[4-6]。 圖像融合質量評價指標按圖像處理表征層不同可分為：像素級、特征級、決策級圖像融合質量評價指標。圖像融合質量評價指標按待融合圖像來源差異可分為：全色和多光譜圖像、多聚焦圖像、SAR圖像、紅外和可見光圖像、醫學圖像、彩色圖像類型。圖像融合質量評價指標按評價目的可分為：是否抑制噪聲、信息量是否提升、分辨率是否改善、光譜質量是否提高評價類型。現階段融合圖像質量評價指標研究主要集中于像素級圖像融合領域。圖像融合處理是將某個對象在不同視場下多個以上信息數據合成為單幅更加全面、準確的圖像數據信息[7]。

1　像素級圖像融合質量評價指標

像素級圖像融合是最低層次的圖像融合，是對多幅待融合圖像運用一定的融合規則，留下需要的信息數據，去除或抑制噪聲等一些干擾圖像質量的影響因素，從而得到新的融合圖像。像素級圖像融合質量評價因子是對空域圖像融合結果的客觀評價。

● 互信息

互信息主要應用于評價融合圖像信息量是否改善，MI越大，說明融合圖像獲取待融合圖像的信息量越多。互信息計算公式[4]如下：

無參考圖像質量評價指標：信息熵、交叉熵[2]、均值[3]、標準差[8]、聯合熵[9]、偏差[3]、平均梯度[6]、相對偏差度[11-12]、結構相似度[13-14]、歸一化最小方差[10,14]、空間頻率[13]、光譜扭曲度指數[15]、顏色特征[20]、圖像的銳利度[30]、圖像的對比度[24,30]、彩色信息豐富度[30]。

有參考圖像指標：互信息、熵差[5]、信噪比[10]、峰值信噪比[10]、協方差[6]、均方差[7]、相關系數[16,17]、歸一化相關系數[18]、光譜角[19]、邊緣融合質量指標(QAB/F)[29]。

2　特征級圖像融合質量評價指標

特征級圖像融合層次處在像素級圖像與決策級圖像融合層次中間。我們在像素級圖像融合后的圖像基礎上進行特征提取等技術處理，并進行信息數據的分析及分類等預處理，然后對同一個目標的不同傳感器圖像，提取主要的特征信息，將來源不同的特征信息通過一定的規則進行聯系、定位及分析。保留所有的融合特征以及他們可能形成新的特征信息，最后給出對象的本質及圖像的大部分細節信息。其有利點在于方便信息存儲，匹配要求低，能夠實時處理[21]。

● 局部灰度值

局部灰度值用于評價融合圖像與理想圖像局部之間的灰度均值差異，從而反映融合圖像的融合效果，其值越接近，則融合效果越好。局部灰度值計算公式[22]如下：

公式中：ms表示融合圖像中選擇區域內的灰度均值，|H|表示選擇對象區域內像素值的總和。fs(i,j)表示融合圖像中某一點的圖像灰度值。

文章按照在特征級圖像融合層次中需要提取的特征屬性對質量評價指標進行分類。

基于邊緣特征：對比度、梯度特征的結構相似度質量評價指標[20,24]、圖像邊緣質量評估指標[25-26]。

基于圖像亮度信息：局部灰度值[22]、局部灰度方差[22]、梯度特征的結構相似度質量評價指標[20,24]。

基于多光譜信息：基于底層特征評價[23]、圖像邊緣質量評估指標[25-26]。

3　決策級圖像融合評級指標

決策級圖像融合是圖像融合層次中最頂級層次。主要是將特征級圖像融合的圖像中的特征信息進行屬性和相關性分析之后，將其中相似信息進行分類，然后依據某些融合規則做出最有利的決策來將圖像融合。其步驟是先將同一類的信息進行融合，得到新的融合信息，最后將這些得到的信息進行深入融合來實現決策級圖像融合。優點是圖像配準要求低，數據信息量小，容錯性高，實時性強，數據要求低，分析能力強[28]。

目前，在決策級圖像融合層次領域，融合圖像的客觀質量評價指標選擇、設計依然是個難點問題，只有少量的質量評價指標，如偏差、融合精度、檢測與虛警概率[28]等。

4　圖像融合質量評價指標的綜合分析

現階段，圖像融合一般是以圖像信息量、清晰度、目標邊緣特征細節信息、待融合圖像與融合圖像的相關性、圖像光譜信息方面的改善和提高為目的，以下給出基于這些評價目標的圖像融合質量評價指標分析。基于圖像信息量：本質是融合圖像從待融合圖像中所收集到的圖像信息量。基于圖像清晰度：本質是圖像的分辨率，圖像是否清晰可見。基于圖像邊緣信息：本質是圖像中的特征，如:紋理，輪廓，細節信息。基于圖像差異度：本質是融合圖像與待融合圖像之間的相關程度，即相似性。基于圖像失真程度：圖像失真度與圖像差異度是倒數關系，即其反應了融合圖像中顏色失真，信息丟失。

表1　圖像融合質量評價目的分類表

5　小結

圖像融合質量評價指標的研究在圖像處理領域仍舊值得關注，不同融合層次的圖像處理方法均通過客觀質量評價指標對其進行評估檢驗。本文從質量評價指標是否需要理想圖像為出發點，以圖像不同融合層次，不同評價目的為骨架對圖像融合質量評價指標進行綜合評述研究。由表1可知圖像融合層次越高，需要理想圖像的參與越少，且對融合結果的評價更趨向于后續圖像處理效果評價，如對圖像檢測、分類精度的評價。圖像融合層次越高，對融合質量的評價更加趨向于考察所提取的待融合圖像信息質量的高低，更強調了對圖像局部屬性描述的精度。

參考文獻(References):

[1]劉貴喜,趙曙光,陳文錦.紅外與可見光圖像融合的多分辨率方法[J].光電子·激光,2004.15(8):980-984

[2]楊萬海.基于模糊積分的融合圖像評價方法[J].計算機學報,2001.24(8):815-818

[3]李弼程.遙感影像融合效果的客觀分析與評價[J].計算機工程與科學,2004.26(1):42-46

[4]康圣.圖像融合的量化評價方法及實驗分析[J].光電子技術與信息,2006.19(2):59-63

[5]李樹濤.多傳感器圖像融合的客觀評價與分析[J].儀器儀表學報,2002.23(6):651-654

[6]Schistad Solberg A H,Jain A K,Taxt T.Multi-source classification of remote sensed data fusion of Landsat TM and SAR images[J].IEEE transact ions on Geo science and Remote Sensing,1994.32(4):768-778

[7]李新娥.大視場多光譜相機圖像拼接與融合技術研究[D].中國科學院研究生院(長春光學精密機械與物理研究所),2015.

[8]Wang Z,Bovik A C,Sheikh H R,et al.Image quality assessment:Form error visibility to struck ural similarity[J].IEEETransaction onImageProcessing,2004.13(4):600-612

[9]陽方林.像素級圖像融合效果的評價方法研究[J].測試技術學報,2002.16(4):271-279

[10]Wald L.Fusion of Satellite Image of Different Spatial Resolutions,Assessing the Quality of Resulting Images[J].photogrammetric Engineering and Remotes Sensing,1997.63(3):691-699

[11]Shi W,Zhu CQ,Tian Y,et all.Wavelet based image fusion and quality assessment[J].Inter national journal of applied earth observation and information,2005.6(3-4):241-251

[12]田闖.圖像融合算法的研究[D].南京航空航天大學,2008.

[13]DE BETHUNE,MULIER F,DONNAY T P.Fusion of multispectral and panchromatic image by local mean and variance matching filtering techniques[C].Proceedings of Fusion of Earth Data,1998:31-37

[14]Richard Dosselmann,Xue Dong yang.A comprehensive assessment of the structural similarity index[J].signal.Image,Image and Video Processing,2011.5(1):81-91[15]lung L W,King B,Vohora V.Comparison of image data fusion techniques using entropy andINI[C].Acrs,2001.1:152-157

[16]徐先川,裴文靜.針對不同融合算法的質量評價指標性能評估[J].紅外與激光工程,2012.41(12):3416-07

[17]ZENG Li-qing,JIANG Nian_de.Image fusion based on correlation coefficient and average gradient.Computer Engineering and Design,2010.31(7).

[18]GAO Guang zhu,LI Zong wu,YU Li fu,HE Zhi yong.Application of theNormalizedCrossCorrelation CoefficientinImageSequenceObjectDetection[J].COMPUTER ENGINERING&-SCIENCE,2005.27(3):39

[19]BEAULIEUM,FOUCHERS.GAGNONL.Multispectral image resolution refinement using stationary wavelet transform[C].Proceedings of the International Geo science and Remote Sensing Symposium,2003:4032-4034

[20]朱明,郭立強等.彩色圖像融合客觀評價指標[J].光學精密工程,2013.21(9):2348-2353

[21]Zhang L，Zhang L，MouX Q，et al.FSIM:a feature similarity index for image quality assessment[J].IEEE Transactions on Image Processing,2011.20(8):2378-2386

[22]陳木生.結合NSCT和壓縮感知的紅外與可見光圖像融合[J].中國圖象圖形學報,2016.21(1):0039-0044

[23]李翠,記峰,常霞等.基于非下樣Contourlet變換的醫學圖像融合[J].激光與光電子學進展,50,111002(2013).

[24]Yang C L,Chen G H,Xie S L.Gradient information based on image quality accessment[J].Act Electronic Sinica,2007.35(7):1313-1317

[25]lung L W,King B,Vohora V.Comparison of image data fusion techniques using entropy andINI[C].Acrs,2001.1:152-157

[26]Miao Y,Yi S L,He J F,Shao D G.Image quality assessment of feature similarity combined with gradient information[J].Journal of Image and Graphics,2015.20(6):0749-0755

[27]歐陽寧,鄒寧,張彤等.基于非下采樣Shearlet變換與聚焦區域檢測的多聚焦圖像融合算法[J].計算機應用,2015.32(2):490-494

[28]劉向君.多波段SAR目標檢測與圖像分類融合[D].國防科學技術大學,2005.

[29]張蕾,金龍旭,韓雙麗等.采用非采樣Contourlet變換與區域分類的紅外和可見光圖像融合[J].光學精密工程,2015.23(3):811-818

[30]朱明,孫繼剛,梁偉等.四元數曲波變換多源多聚焦彩色圖像融合[J].光學精密工程,2013.21(10):2671-2678