圖像融合算法的綜合性能評價指標

陳立偉,蔣 勇

(1.西南交通大學信息科學與技術學院,成都610031;2.西南科技大學計算機科學與技術學院,四川綿陽621010)

圖像融合算法的綜合性能評價指標

陳立偉1,2,蔣 勇2

(1.西南交通大學信息科學與技術學院,成都610031;2.西南科技大學計算機科學與技術學院,四川綿陽621010)

圖像融合算法性能評價是圖像融合工程的重要組成部分,現有的融合評價指標從不同方面評價融合圖像質量,這些指標在評價圖像融合算法性能時存在片面性,難以對融合算法的綜合性能作出評價。為此,運用多指標決策技術,提出一種加權總分指標,將多個指標評價值綜合為單一值,從而對圖像融合算法進行綜合性能評價。將加權總分指標的評價結果同逼近理想解排序指標以及秩和比指標的結果相比較,實驗結果表明,該指標的評價結果和主觀評價結果一致,其綜合評價能力與其他2種指標相近,提高了融合算法綜合性能評價結果的可靠性和準確性。

圖像融合;加權總分指標;融合性能;多指標決策;逼近理想解排序法;秩和比

1 概述

圖像融合算法性能評價以融合圖像的主觀質量或(和)客觀質量的評價結果為依據,若評價結果好,則認為融合算法性能好。由于主觀評價方法易受評價者個體差異的影響、成本高、不易實施,在實際應用中通常采用客觀評價方式。目前,圖像融合質量的研究者已開發出大量的客觀評價指標[1-3],這些指標從不同方面評價融合圖像質量,如平均梯度通過衡量融合圖像的細節變化評價融合圖像的清晰度,而互信息以信息論的觀點,通過度量從源圖像中獲取的信息量評價融合圖像對源圖像的忠實度,因此,融合圖像的單個指標值僅反映融合算法某一方面的融合性能。在評估新的融合算法性能或者在工程實踐中選用融合算法時,需要采用多個評價指標比較不同算法的融合性能。如果被比較的算法在多個指標上互有高低、各有優勢,則難以判定算法之間的優劣。目前,關于圖像融合算法的文獻同其他融合算法進行比較時采用表格或者直方圖形式,說明其算法在某個指標上的排名,如果在多數指標上排名靠前則認為該算法優于其他算法。這種評價方法未能定量描述融合算法的綜合性能,其評價結果的可靠性和準確性值得商榷。為此,本文將多指標決策技術引入到融合算法的綜合性能評價中,將多個評價指標值綜合為單一值以提高評價結果的準確性和可靠性,提出加權總分(Weighted Total Score,WTS)指標,根據多個融合算法在加權總分指標值上的排名情況,確定融合算法的優劣。為驗證加權總分指標的可靠性和準確性,將其評價結果同逼近理想解排序(Technique for Order Preference by Similarity to Ideal Solution,TOPSIS)[4]指標以及秩和比(Ranksum Ratio,RSR)[5]指標的評價結果進行比較。

2 綜合性能評價指標

用多個指標對多個對象進行評價時,多指標決策技術可以對這些被評價對象進行排序和優選,其步驟包括:轉化,綜合,決策。其中,轉化的目的是為了消除不同量綱指標值之間的異質性,將其變換為無量綱的指標值,提供對被評價對象的等價描述;綜合的目的是為了整體評價被評價對象,將多個指標值合成為一個綜合評價值;決策對所有被評價對象的綜合評價值進行排序和優選。

2.1 加權總分指標

當采用多個客觀評價指標對融合算法進行性能評價時,利用多指標決策技術可以遴選出綜合性能好的算法,結合融合算法比較的實際需求,提出一種綜合性能評價指標:加權總分指標。當采用n個指標對m個融合算法進行綜合性能評價時,加權總分指標先根據下式在每個指標上計算算法的相對得分:

其中,Mij(i=1,2,…,m;j=1,2,…,n)為算法i在指標上的評價值,計算時先將這些評價值按照高優形式進行轉換。然后按下式計算算法i的WTS值:

其中,wj為第個指標的相對得分在總分中的權重,在工程應用中選擇融合算法時,可根據具體需求調整各指標的權重,增大權重以突出重要性能,降低權重以淡化次要性能。

2.2 逼近理想解排序指標

逼近理想解排序[4]指標是一種常用的多指標決策指標。當采用多個指標評價多個對象時,各指標在多個被評價對象上的最優值形成最優解,最差值形成最劣解。TOPSIS指標在度量被評價對象與最優解的距離D+時,同時也度量其與最劣解的距離D-,當D+越小且D-越大時,則認為被評價對象最好,否則最差。當采用n個評價指標對m個算法進行綜合性能評價時,將所有算法的評價指標值記為(Yij)m×n,按照以下步驟計算算法i(1≤i≤m)的TOPSIS值:

(1)趨勢同化:如果評價指標是高優指標,則先將其轉化為低優指標,然后,按照下式進行趨勢同化:

(2)歸一化處理:

(3)確定最優解和最劣解:低優方式下的最優解為:

最劣值解為:

(5)計算融合算法i(1≤i≤·m)的TOPSIS值:

2.3 秩和比指標

秩和比指標[5]作為一種多指標決策指標,在工業生產、醫療衛生等領域得到廣泛應用。若用n個融合質量評價指標對m個融合算法進行綜合性能評價,則將所有算法的所有指標值組織為m×n的數據表,按照以下步驟計算各融合算法的RSR值:

(1)編秩:確定算法i在指標j上的秩Rij,編秩規則為:1)指標越優秩越大;2)多個算法在同一指標上評價值相等,則平均編秩。

(2)計算融合算法i的RSR值:

上述的WTS、TOPSIS、RSR指標為高優指標。

3 實驗驗證

為驗證加權總分指標的有效性,將加權總分指標評價結果與逼近理想解排序指標和秩和比指標的評價結果進行比較。采用9種融合方法(形態金字塔(Morphological Pyramid,MP)[6]、平穩小波變換(Stationary Wavelet Transform,SWT)[7]、梯度金字塔(Gradient Pyramid,GP)[8]、曲波變換(Curvelet Transform,CVT)[9]、拉普拉斯金字塔(Laplacian Pyramid,LP)[10]、雙樹復小波變換(Dual-tree Complex Wavelet Transform,DTCWT)[11]、移不變小波變換(Shift-Invariant Discrete Wavelet Transform, SIDWT)[12]、離散小波變換(DiscreteWavelet Transform,DWT)[13]以及非下采樣輪廓波變換(Nonsubsampled Contourlet Transform,NSCT)[14])對多聚焦圖像“Lab”以及可見光和紅外圖像“Uncamp”進行融合,利用常用的9個客觀評價指標(平均梯度、互信息、空間頻率、邊緣信息保持量[15]、結構相似度[16]、邊緣圖像質量評價指標、加權融合質量指標、通用融合質量指標[17],視覺信息保真度[18])作為客觀評價指標,分別計算各融合算法的WTS、RSR、TOPSIS值并排序。由于計算RSR和TOPSIS時未考慮各指標的權重,式(2)中wj=1以保證實驗結果的可比性。

圖1給出了Lab圖像的融合結果。

通過對各融合圖像的整體清晰度進行比較,可以看到,除MP方法外,其他方法的融合圖像清晰地描述了整個場景,但DTCWT方法的融合圖像對鐘面上的數字的顯示更為清晰,最接近源圖像圖1(a)中的鐘面圖像,從而呈現出最好的融合質量;而MP方法的融合圖像對鐘面數字顯示模糊,在人頭周圍還產生了偽影,從而表現出最差的融合質量。表1給出了WTS、TOPSIS和RSR指標的綜合評價結果,比較表中的排名情況發現:(1)主觀視覺質量最好的DTCWT方法在WTS、TOPSIS和RSR指標上都排在第1位,而視覺質量最差的MP方法則居末位; (2)DTCWT、DWT和MP方法在WTS、TOPSIS和RSR指標上排在相同位置,其他方法在WTS、 TOPSIS和RSR指標上的排名位置差小于等于2。

表1 Lab圖像融合評價結果及排名

圖2給出了Uncamp圖像的融合結果。可見光圖像和紅外圖像的最佳融合結果是將紅外目標直接嵌入到可見光圖像,觀察所有的融合圖像可以發現, GP方法的融合圖像最接近最佳融合效果,在人體周圍沒有DWT、NSCT方法所產生的偽影,其山丘部分最接近可見光圖像;而MP方法的融合圖像的灰度范圍更接近紅外圖像,在一定程度上丟失了可見光圖像的細節信息,盡管其融合圖像的紅外目標周圍沒有偽影,但整體視覺效果與最佳融合結果相去甚遠,明顯不及其他方法的融合圖像。

圖2 Uncamp圖像融合結果

表2給出了所有融合方法在WTS、TOPSIS和RSR指標上的評價結果及排名,比較排名情況發現: (1)在3個綜合指標上都排在第1位是主觀視覺質量最好的GP方法,而都排在最后一位則是主觀視覺質量最差的MP方法;(2)DTCWT、DWT、GP和MP方法在WTS、TOPSIS和RSR指標上排名相同。

表2 Uncamp圖像融合評價結果及排名

綜合上述實驗結果,本文提出的WTS指標具有以下優點:

(1)評價結果可靠:實驗結果表明融合圖像的主觀評價結果最好的融合算法在WTS指標上排在首位,而融合圖像的主觀評價結果最差的融合算法在WTS指標上排在末位,說明WTS指標的評價結果與主觀視覺質量評價一致,具有一定的可靠性。

(2)評價結果準確:實驗數據表明同一融合算法在WTS、TOPSIS和RSR指標上的排名非常接近,說明WTS指標的評價結果和TOPSIS指標、RSR指標的評價結果基本一致,其綜合評價能力與OPSIS指標、RSR指標相近。由于TOPSIS指標和RSR指標已成功應用于其他領域的多指標綜合評價,說明WTS指標能準確評價圖像融合算法的綜合性能。

4 結束語

為了更可靠、更準確地評價融合圖像算法的綜合性能,本文借鑒多指標決策技術,設計加權總分指標,該指標能將多個指標值綜合為單一指標值。實驗結果表明,加權總分指標的評價結果既與主觀評價結果吻合又與TOPSIS指標、RSR指標的評價結果相近。與單純采用多個指標評價方法相比,當加權總分指標用于圖像融合算法的綜合性能評價時,可以在一定程度上提高評價結果的可靠性和準確性。在實際工程應用中,在進行融合算法評價時,可以將重要指標的權重設置為1.0～1.3,次要指標的權重設置為0.6～0.9,以達到兼顧重要性能和次要性能的目的。在今后的研究工作中,可改進單個指標相對得分的計算方法,從而進一步提高加權總分指標的可靠性。

[1] 王文杰,唐 娉,朱重光.一種基于小波變換的圖象融合算法[J].中國圖象圖形學報,2001,6(11): 1130-1135.

[2] Qu Guihong,ZhangDali,YanPingfan.Information MeasureforPerformanceofImageFusion[J]. Electronics Letters,2002,38(7):313-315.

[3] Eskicioglu A M,Fisher P S.Image Quality Measures and Their Performance[J].IEEE Transactions on Communications,1995,43(12):2959-2965.

[4] Hshiung T G,Huang J J.Multiple Attribute Decision Making:Methods and Applications[M].New York, USA:Springer Berlin Heidelberg,1981.

[5] 田鳳調.秩和比法及其應用[M].北京:中國統計出版社,1993.

[6] Toet A.A Morphological Pyramidal Image Decomposition[J].Pattern Recognition Letters,1989,9(4):255-261.

[7] Beaulieu M,Foucher S,Gagnon L.Multi-spectral Image ResolutionRefinementUsingStationaryWavelet Transform[C]//ProceedingsofIEEEInternational ConferenceonGeoscienceandRemoteSensing. Barcelona,Spain:IEEE Press,2003:4032-4034.

[8] Burt P J.A Gradient Pyramid Basis for Pattern Selective Image Fusion[C]//Proceedings of the Society for Information Display Conference.Boston,USA:Society for Information Display,1992:467-470.

[9] Nencini F,Garzelli A,Baronti S.Remote Sensing Image Fusion Using the Curvelet Transform[J].Information Fusion,2007,8(2):143-156.

[10] Burt P J,Adelson E H.The Laplacian Pyramid as a Compact ImageCode[J].IEEETransactionson Communications,1983,31(4):532-540.

[11] Singh R,Srivastava R,Prakash O.Mixed Scheme Based Multimodal Medical Image Fusion Using Daubechies Complex WaveletTransform[C]//Proceedingsof International Conference on Informatics,Electronics& Vision.Dhaka,Bangladesh:IEEE Press,2012:304-309.

[12] Rockinger O.Image Sequence Fusion Using a ShiftinvariantWaveletTransform[C]//Proceedingsof International Conference on Image Processing.[S.l.]: IEEE Press,1997:288-291.

[13] Li Hui,Manjunath B,Mitra S.Multisensor Image Fusion Using the Wavelet Transform[J].Graphical Models and Image Processing,1995,57(3):235-245.

[14] Yang Xiaohui,JiaoLicheng.FusionAlgorithmfor RemoteSensingImagesBasedonNonsubsampled Contourlet Transform[J].Acta Automatica Sinica, 2008,34(3):274-281.

[15] Xydeas C S,PetrovicV.ObjectiveImageFusion Performance Measure[J].Electronics Letters,2000, 36(4):308-309.

[16] Wang Zhou,Bovik A C,Sheikh H R.Image Quality Assessment:FromErrorVisibilitytoStructural Similarity[J].IEEE Transactions on Image Processing, 2004,13(4):600-612.

[17] Piella G,Heijmans H.A New Quality Metric for Image Fusion[C]//Proceedings of International Conference on Image Processing.Barcelona,Spain:IEEE Press,2003: 173-176.

[18] Sheikh H R,Bovik A C.Image Information and Visual Quality[J].IEEE Transactions on Image Processing, 2006,15(2):430-444.

編輯 劉 冰

Comprehensive Performance Evaluation Index of Image Fusion Algorithm

CHEN Liwei1,2,JIANG Yong2
(1.School of Information Science and Technology,Southwest Jiaotong University,Chengdu 610031,China;
2.School of Computer Science and Technology,Southwest University of Science and Technology,Mianyang 621010,China)

Evaluating the overall performance of the image fusion algorithm is an important part of the image fusion project.The existing evaluation indexes of the fused image often evaluate the quality of the fused image from different aspects and thus have some one-sidednesses when they are used to evaluate the performance of the the fusion algorithm; it is difficult to evaluate the overall performance of the fusion algorithm.This paper,by employing the multi-index decision technique,proposes a Weighted Total Score(WTS)index.This index can synthesize multiple evaluation values into a single value and measure the overall performance of image fusion algorithm.It also compares the evaluation results of WTS with those of Technique for Order Preference by Similarity to Ideal Solution(TOPSIS)and Rank-sum Ratio (RSR).Experimental results show that WTS index can achieve the same results as those of the subjective evaluation and has the overall evaluation ability close to the other two indexes.The proposed index can improve the reliability and the accuracy of the evaluation of the overall performance of the different fusion algorithms.

image fusion;Weighted Total Score(WTS)index;fusion performance;multi-index decision;Technique for Order Preference by Similarity to Ideal Solution(TOPSIS);Rank-sum Ratio(RSR)

陳立偉,蔣 勇.圖像融合算法的綜合性能評價指標[J].計算機工程,2015,41(2):219-223.

英文引用格式:Chen Liwei,Jiang Yong.Comprehensive Performance Evaluation Index of Image Fusion Algorithm[J]. Computer Engineering,2015,41(2):219-223.

1000-3428(2015)02-0219-05

:A

:TP391.4

10.3969/j.issn.1000-3428.2015.02.042

國家自然科學基金資助項目(10676029,10776028);人工智能四川省重點實驗室開放基金資助項目(2014RYY03)。

陳立偉(1974-),男,副教授、博士研究生,主研方向:圖形圖像處理,光學模式匹配,智能信息化處理;蔣 勇,副教授、博士。

2014-01-15

:2014-03-21E-mail:clwswust@163.com