紅外與可見光融合圖像的質量評價

王宇慶，王索建

(1.中國科學院長春光學精密機械與物理研究所，

航空光學成像與測量中國科學院重點實驗室，吉林長春130033;

2.南京電子技術研究所，江蘇 南京210039)

1 引言

圖像融合的核心思想就是采用某種算法，把由工作于不同波長范圍或具有不同成像機理的各種圖像傳感器獲取的同一個場景的多種圖像信息“融合”生成一幅新的圖像，融合后的圖像將包含有更多的人類視覺系統 (Human Visual System，HVS)敏感信息，從而更適合于人眼觀測或者計算機檢測、分類、識別等處理［1］。圖像融合技術是提高各種圖像處理裝置性能的重要手段，尤其在目標檢測等領域，圖像融合技術可以增加圖像的有效信息量，從而提高檢測效果。紅外熱像儀和可見光CCD攝像機是目標檢測領域兩種最常用的成像傳感器，其中，紅外熱像儀得到的紅外圖像反映了目標和背景不可見紅外輻射的空間分布情況，其輻射亮度分布主要取決于被觀測物體的溫度和發射率，在紅外圖像中很容易看到低可視紅外熱目標。與紅外圖像相比，可見光圖像則提供了更多的目標或者場景的細節信息，有利于人眼觀察。可見光圖像與紅外圖像因其具有良好的互補性而得到了廣泛的應用，二者的融合圖像綜合利用了兩個波段圖像的優勢信息，從而可以獲得更全面、準確的場景描述，有利于實現對目標的精確識別、分析、理解或者判決。

圖像融合的最終目的是增加圖像的信息量，但是與人腦獲取信息的方式不同，各種圖像傳感器得到的信息存在冗余和相關。這不僅影響了融合效果也影響了對融合圖像質量的判別。融合圖像質量評價研究的最終目的就是討論如何分析融合后圖像的信息量增加的數量和類型。這里，信息量的增加需要從兩個角度分析:

(1)信息量的類型變化。

圖像信息的信息量與一般意義上的統計信息量不同，要以人眼敏感的圖像內容為評價標準，因此，信息量類型的變化是評價的前提，所生成的圖像信息要以人眼敏感的圖像內容為評價質量。

(2)信息量的數量變化。

從多源傳感器得到的圖像信息生成的融合圖像在滿足圖像中增加的內容滿足人眼可感知的前提下，評價信息量增加的數量，從而得到最終的量化評價結果。

圖像融合質量評價的難點在于目前并不存在能給各種融合圖像質量評價方法提供數據源的理想融合算法。因此，很難采用全參考的方法對融合圖像的質量進行評價。而融合圖像又很難脫離源圖像(紅外源圖像和可見光源圖像)。目前的融合圖像質量評價方法［2-3］大多抓住了信息量的數量增加這一重要指標，但是并沒有估計信息類型的變化，即僅從統計意義上信息分布的角度評價融合圖像的信息量數量變化。這樣的評價結果沒有考慮人眼視覺特性，從而造成了評價結果的不準確。本文研究了傳統的融合圖像質量評價方法，結合已有的研究工作，提出了基于圖像結構信息復數表示的融合圖像質量評價方法，通過實驗驗證了算法，取得了較好的效果。

2 圖像結構信息的復數表示

文獻［4］提出了一種圖像結構信息的復數表示方法，旨在度量兩圖像的結構相似程度。該算法首先需要計算圖像的梯度信息，對于二維灰度圖像矩陣，可以分解計算其水平梯度和垂直梯度:

由式(1)可以得到對應于圖像I的梯度矩陣，該矩陣包含了圖像中某些HVS敏感的重要結構信息，例如圖像的邊緣信息［5］。圖像梯度的變化對于圖像模糊失真的敏感程度較高，但是并不能全面解釋所有失真類型對圖像質量的影響。這里采用復數的方法表示圖像的結構信息［4］:

式中，Yx，y是位于(x，y)處的灰度值，Gx，y是該點的全局梯度值。對于彩色圖像，考慮到彩色圖像中的大多數信息包含在其亮度分量中，將RGB彩色圖像分解為YUV分量，將其亮度分量Y作為評價數據。這樣就得到了對應于該圖像的復數矩陣，這樣的復數矩陣可以認為是結合了圖像的各種結構信息，并且突出了圖像的梯度信息所描述的HVS敏感結構信息內容。

3 評價算法

圖像融合技術的特殊性使其在實際應用中具有重要意義。因此，對于融合算法的性能評價無論在理論研究還是工程應用中也逐漸得到了更多的重視［2-3］。目前已有的各種融合圖像評價方法以及各種改進方法大多數無法脫離信息論中的一個重要概念:互信息。以下給出了基于互信息的融合圖像質量評價方法:A和B為兩幅源圖像，融合后得到的圖像為F，F與A、B之間的交互信息量分別表示為MIFA和MIFB［2］:

式(3)中，pA，pB和pF分別是圖像 A，圖像 B和圖像F的灰度直方圖分布，pFA(k，i)和pFB(k，j)分別代表兩組圖像的歸一化聯合灰度直方圖分布。將MIFA和MIFB之和作為融合圖像與源圖像A、B的交互信息量總和［44］:

式(4)的問題在于兩點:

(1)直接以圖像的像素灰度值作為評價數據源。

(2)評價過程采用傳統的統計學方法，沒有考慮人眼視覺特性。

在本文的研究中，為了進一步提高圖像結構信息的載體所包含的信息量和信息的類型，將式(2)得到的復數矩陣作為度量矩陣。但是考慮到復數矩陣無法計算其灰度直方圖分布，將其分塊奇異值分解得到的矩陣為評價數據源，計算方法為:對于任意一個秩為r的矩陣A∈RN×M(實數或者復數矩陣)，則存在兩個酉矩陣U，V，使得:

式中，“?”表示共軛轉置;Σr=diag(s1，s2，…，sr)，x=(s1，s2，…，sr，0，…，0)T稱為矩陣 A 的奇異值特征向量，奇異值si(1≤i≤r)為實數。

圖像的奇異值向量能夠反映圖像的本質能量特征，在圖像質量評價中的應用取得了良好的效果［6-10］。根據式(5)，可以得到表示該圖像結構信息的矩陣，然后采用文獻［2］和文獻［3］的方法評價源圖像與融合圖像的互信息，從而得到最終的評價結果，相應的評價方法稱為復數奇異值分解(QCSVD)和基于互信息的復數奇異值分解方法(QCSVD_mi)。

4 實驗結果

為了驗證本文所提的評價算法的性能，針對兩組融合圖像，采用常用的4種融合算法，分別為:均值方法，PCA方法，金字塔方法，小波方法得到了相應的融合圖像。采用本文所提的方法，傳統的互信息方法，以及文獻［2］的方法對輸出的融合圖像質量分別進行了評價。由于本文采用的融合算法均為灰度圖像融合算法，沒有考慮顏色信息，因此圖1給出的彩色融合圖像均經過色彩空間變換得到。各種方法的評價結果由表1給出。

表1 融合圖像評價結果Tab.1 Assessment results of several fusion methods

圖1 用于測試的融合圖像Fig.1 Fusion images for test

本文所提方法的計算結果的數值越高，表示其評價的圖像的質量越好。測試圖像分為兩組，分別為:圖1(a)～圖1(f)和圖1(a')～圖1(f')。其中，可見光圖像圖1(a)和紅外圖像圖1(b)為對應于圖1(c)～圖1(f)的原始圖像，可見光圖像圖1(a')和紅外圖像圖1(b')為對應于圖1(c')～圖1(f')的原始圖像。在一般意義的全參考、半參考以及無參考圖像質量評價中，通常采用有數百張圖像數據庫規模的測試圖像驗證評價方法［11-12］，但是本文所研究的融合圖像質量評價并不存在這種數據庫，即融合圖像質量評價目前尚不存在一般圖像質量評價中通常采用的類似LIVE數據庫［13］的由數百張照片組成的測試數據庫，通常僅有幾張能夠使用的經典圖像，如可見光圖像圖1(a)和紅外圖像圖1(b)，以及可見光圖像圖1(a')和紅外圖像圖1(b')。本文的實驗同樣無法找到類似于LIVE數據庫中的數百張DMOS數據庫驗證所提的方法，采用了經典圖像研究所提的方法與人眼視覺特性的一致性。通過對圖1(c)～圖1(f)以及圖1(c')～圖1(f')融合圖像的主觀觀測可以看到，4種常見的圖像融合算法中，小波和金字塔方法得到融合圖像質量最好，信息量豐富，并且能夠滿足人眼視覺特性的需要。事實上，由于小波分析的方法考慮到了多分辨率的特性，無論從算法的合理性以及與人眼視覺特性的一致性等方面都要好于簡單的均值方法和PCA方法。均值方法和PCA方法僅僅采用了簡單的統計學分析手段，因此采用此類得到的融合圖像體現出不同的缺點。均值方法得到的融合圖像的視覺感知質量較差。根據人眼的主觀觀測，PCA方法幾乎沒有得到任何傳遞的有意義的增加信息量。因此，根據以上分析和人眼的主觀觀測，小波和金字塔方法融合效果最好，而均值和PCA方法的融合效果最差，因此，評價結果也應該是圖1(e)和圖1(f)好于圖1(c)和圖1(d)，以及圖1(e')和圖1(f')好于圖1(c')和圖1(d')。各種評價方法的量化評價結果在表1中給出，由表1給出的數據可以看到，傳統的評價方法，例如互信息和文獻［2］方法對于均值或者PCA方法得到的融合圖像給出了較高的評價結果，這顯然與前面的分析不符。但是當采用了式(6)后，所給出的評價結果明顯比傳統方法更加合理，評價效果與主觀觀測效果的一致性好于傳統方法。

融合圖像的質量評價需要考慮兩方面因素:

(1)信息量傳遞的數量;

(2)融合圖像的圖像質量。

在大多數研究中，上述因素很難兼顧，其原因在于圖像質量是人眼的主觀感知過程，與人眼的視覺生理學和視覺心理學特性直接相關;信息傳遞的數量涉及到統計意義上的信息分布問題，而這里所提及的統計意義上的信息分布實際上也指的是與人眼視覺特性相關的統計信息分布特征。所傳遞的信息、所感知的信息必需緊緊圍繞人眼感知信息的統計學特征，即不能以簡單的信息量統計方法分析融合圖像的信息變化，必須考慮人眼敏感信息的類型、數量以及質量。在本文的研究中，將能夠反映圖像敏感信息結構特征的梯度作為一個重要的統計特征，采用復數表示方法將該特征與傳統方法結合。該方法取得較好實驗結果的關鍵在于考慮了人眼敏感結構，從而使得評價結果與人眼視覺特性的一致性明顯好于傳統方法。

5 結論

本文提出了一種基于圖像結構信息復數表示的融合圖像質量評價方法。用復數表示圖像的結構信息，增加了圖像矩陣所描述的圖像結構信息與HVS的相關程度，避免了傳統的僅以傳遞統計信息量為評價標準的各種方法的不足。該方法充分利用了圖像中人眼較為敏感的圖像邊緣信息，將其作為信息傳遞的重要內容，同時兼顧了對未知信息的預測。計算機仿真實驗證明了該方法的優越性，評價結果優于傳統的互信息等方法，而且算法對兩組圖像的評價結果比較接近，說明算法具有良好的穩定性，與HVS的一致性較理想。另外，根據算法原理，該評價方法所給出的框架可以推廣到其他類型的融合圖像質量領域。

［1］ 楊云，岳柱.基于融合圖像輪廓矩和Harris角點方法的遮擋人體目標識別研究［J］.液晶與顯示，2013，28(2):273-277.

YANG Y，YUE ZH.Human body target recognition under occlusion based on fusion of image contour moment and harris angular points［J］.Chinese J.Liquid Crystals and Displays，2013，28(2):273-277.(in Chinese)

［2］ XYDAES C，PETROVI V.Objective image fusion performance measure［J］.Electronic Letters，2000，36(4):308-309.

［3］ QU G H，ZHANG D L，YAN P F.Information measure for performance of image fusion［J］.Electronics Letters，2002，37(7):313-315.

［4］ 王宇慶.基于梯度復數矩陣的圖像質量評價方法［J］.計算機技術與發展，2013(1):63-66.

WANG Y Q.Image quality assessment based on gradient complex matrix［J］.Computer Technology and Development，2013(1):63-66.(in Chinese)

［5］ PETROVIC'V S，XYDEAS C S.Gradient-based multiresolution image fusion［J］.IEEE T.Image Processing，2004，13:28-237.

［6］ 王宇慶.局部方差在圖像質量評價中的應用［J］.中國光學，2011，4(5):531-536.

WANG Y Q.Application of local variance in image quality assessment［J］.Chinese Optics，2011，4(5):531-536.(in Chinese)

［7］ 騫森，朱劍英.基于奇異值分解的圖像質量評價［J］.東南大學學報(自然科學版)，2006，36(4):643-646.

QIAN S，ZHU J Y.Image quality measure using singular value decomposition［J］.J.Southeast University(Natural Science Edition)，2006，36(4):643-646.(in Chinese)

［8］ SHNAYDERMAN A，GUSEV A，ESKICIOGLU A M.An SVD-based grayscale image quality measure for local and global assessment［J］.IEEE T.Image Processing，2006，15(2):422-429.

［9］ NARWARIA M，LIN W S.Objective image quality assessment based on support vector regression［J］.IEEE T.Neural Networks，2010，21(3):515-519.

［10］ NARWARIA M，LIN W S.Scalable image quality assessment based on structural vectors［J］.IEEE，2009:1-6.

［11］ 王宇慶，朱明.評價彩色圖像質量的四元數矩陣最大奇異值方法［J］.光學 精密工程，2013，21(2):469-478.

WANG Y Q，ZHU M.Max singular value method of quaternion matrix for evaluating color image quality［J］.Opt.Precision Eng.，2013，21(2):469-478.(in Chinese)

［12］ 姚軍財.基于人眼對比度敏感視覺特性的圖像質量評價方法［J］.液晶與顯示，2011，26(3):390-396.YAO J C.Image quality assessment method based on contrast sensitivity characteristics of human vision system［J］.Chinese J.Liquid Crystals and Displays，2011，26(3):390-396.(in Chinese)

［13］ SHEIKH H R，WANG Z，CORMACK L，et al..LIVE image quality assessment database release［EB/OL］.［2013-7-18］.http://live.ece.utexas.edu/research/quality.