圖像融合算法性能評價系統(tǒng)研究

李翠玲 李宇中

摘要圖像融合的主要思想是采用一定的算法，把具有不同成像機理的圖像傳感器對同一場景的多個成像信息融合成一個新的圖像，從而使融合的圖像可信度更高，更適合人的視覺及計算機的檢測、分類、識別、理解等處理。本論文致力于對圖像融合相關(guān)技術(shù)進行應(yīng)用、研究與實現(xiàn)，利用Matlab的GUI編寫人機界面，實現(xiàn)多幅圖像的輸入、圖像顯示、圖像融合以及根據(jù)性能指標(biāo)判斷融合后圖像的優(yōu)劣。

關(guān)鍵詞PCA小波變換圖像質(zhì)量評價MATLAB GUI

1 本課題主要研究內(nèi)容

在圖像融合算法性能評價系統(tǒng)研究中，利用Matlab的GUI編寫人機界面，實現(xiàn)多幅圖像的輸入、圖像顯示、圖像融合以及根據(jù)性能指標(biāo)判斷融合后圖像的優(yōu)劣；在算法上選擇了average（平均數(shù)算法）、PCA method（對基于主成份分析的識別算法）、Laplacian Pyramid（拉普拉斯金字塔算法）、DWT with DBSS（小波變換）四種算法來進行圖像融合，同時在一定要求下加入噪聲來進行比較；在性能評價上面通過兩幅殘缺圖像進行以上四種算法的融合，并利用圖像的均值、標(biāo)準(zhǔn)差、熵和空間頻率這四個基本指標(biāo)的參數(shù)值來評價融合的效果。建立客觀的圖像融合技術(shù)評價標(biāo)準(zhǔn)，設(shè)計圖像融合算法性能評價系統(tǒng)。

1.1 圖像融合算法概述

（1）average（平均算法）。基于局部區(qū)域?qū)Ρ榷鹊倪x擇法利用人眼對對比度非常敏感這一事實，從兩幅原圖像中選擇對比度最大的像素點作為合成圖像的像素點。因為圖像中的噪聲具有很高的對比度，所以對比度的選擇技術(shù)對噪聲非常敏感，這樣合成圖像中將包含很強的噪聲。于是Burr提出了平均和選擇相結(jié)合的方法，即用1個匹配矩陣來表示兩幅圖像的相似程度。當(dāng)兩幅圖像很相似時，合成圖像就采用兩幅圖的平均值，也就是權(quán)值分別為0.5和0.5，這樣就可以抑制噪聲。

（2）主成份分析(PCA)的識別算法。主成份分析（PCA）方法的實質(zhì)是將高維數(shù)據(jù)降為低維數(shù)據(jù)，使人們能夠更直觀地看到數(shù)據(jù)的結(jié)構(gòu)，因而可以用于模式識別、數(shù)據(jù)的特征提取及數(shù)據(jù)壓縮等領(lǐng)域。實際操作是將原來的各個因素指標(biāo)重新組合，組合后的新指標(biāo)是互不相關(guān)的，在由這些新指標(biāo)組成的新特征軸中，只用前幾個分量圖像就能完全表征原始集群的有效信息，圖像中彼此相關(guān)的數(shù)據(jù)被壓縮，而特征得到了突出，此方法在對于具有相關(guān)因子的多源遙感數(shù)據(jù)進行融合時有顯著優(yōu)勢。

（3）Laplacian Pyramid（拉普拉斯金字塔算法）。用金字塔在空間上表示圖像是一種簡單方便的方法。概括地說金字塔圖像融合法就是將參加融合的每幅源圖像作金字塔表示，將所有圖像的金字塔表示在各相應(yīng)層上以一定的融合規(guī)則融合，可得到合成的金字塔，將合成的金字塔，用金字塔生成的逆過程重構(gòu)圖像，則可得到融合圖像。拉普拉斯金字塔分解，是實現(xiàn)圖像多分辨率分析的一種有效方式。每一層次拉普拉斯金字塔分解，將產(chǎn)生一個近似部分和剩余部分，其中將近似部分作了抽取，變?yōu)樵瓉淼?/2，下一層的分解只對近似部分進行，最后將形成第 n層近似部分和N個細(xì)節(jié)部分組成的金字塔式的圖像分解。

（4）基于小波變換的圖像融合。在眾多的圖像融合技術(shù)中，基于小波變換的圖像融合方法已成為現(xiàn)今研究的一個熱點。在一幅圖像的小波變換中，絕對值較大的小波系數(shù)對應(yīng)于邊緣這些較為顯著的特征，所以大部分基于小波變換的圖像融合算法主要研究如何選擇合成圖像中的小波系數(shù)，也就是三個方向上的高頻系數(shù)，從而達到保留圖像邊緣的目的。雖然小波系數(shù)（高頻系數(shù)）的選擇對于保留圖像的邊緣等特征具有非常主要的作用，但尺度系數(shù)（低頻系數(shù)）決定了圖像的輪廓，正確地選擇尺度系數(shù)對提高合成圖像的視覺效果具有舉足輕重的作用。

1.2 圖像性能評價概述

為了定量評價融合圖像的效果和質(zhì)量，在性能評價上面通過兩幅殘缺圖像進行以上四種算法的融合，并利用圖像的均值、標(biāo)準(zhǔn)差、熵和空間頻率這四個基本指標(biāo)的參數(shù)值來評價融合的效果。

（1）均值(Average Value)。均值是像素的灰度平均值，它反映了圖像的平均亮度，如果均值適中，則目視效果良好；在統(tǒng)計理論中，統(tǒng)計均值定義為均值的大小表示了圖像像素值的平均大小。

（2）標(biāo)準(zhǔn)差(Square Difference)。標(biāo)準(zhǔn)差作為衡量圖像信息的重要指標(biāo)，反映了灰度偏離灰度均值的程度，標(biāo)準(zhǔn)差越大，則灰度級分布越分散，圖像中所有灰度級出現(xiàn)的概率越趨于相等，則包含的信息量越趨于最大。標(biāo)準(zhǔn)差是均值間接求得的，圖像的標(biāo)準(zhǔn)差反映了圖像像素值的分布情況。

（3）熵（Entropy）。圖像的熵是包含平均信息量多少的度量，是衡量該圖像信息豐富程度的一個重要指標(biāo)。熵可用于衡量融合圖像的整體信息量，數(shù)值越大表示融合效果越好。

（4）空間頻率。空間頻率反映圖像的全面活躍水平，其值越大圖像越清晰。

MATLAB語言在矩陣運算和數(shù)值計算等方面具有強大的功能，而且非常直觀、簡潔、效率高、交互性好，在數(shù)字圖像處理領(lǐng)域有較強的應(yīng)用性。系統(tǒng)結(jié)構(gòu)設(shè)計的思路按照MATLAB具體的仿真步驟：（1）將兩幅有缺陷的圖像采集到計算機內(nèi)，并將采集來的圖文格式圖像轉(zhuǎn)化為MATLAB支持的灰度圖像；（2）在圖像融合的average（平均數(shù)算法）、PCA method（對基于主元分析的識別算法）、Laplacian Pyramid（拉普拉斯金字塔算法）、DWT with DBSS（小波變換）四種算法中選擇一種算法來進行圖像融合；（3）按選定融合規(guī)則，對兩幅圖像進行融合處理，得到融合的圖像并得出評價分?jǐn)?shù)；（4）選擇并利用圖像的均值、標(biāo)準(zhǔn)差、熵和空間頻率這四個基本指標(biāo)的參數(shù)值來評價融合的效果；（5）結(jié)束。

根據(jù)圖像融合算法性能評價系統(tǒng)的流程，結(jié)合Matlab編程，設(shè)計出能夠載入圖像，并進行圖像融合和性能評價的GUI圖形界面。

2.1 圖像輸入模塊

在圖像輸入模塊中，選擇路徑載入兩幅聚焦不同的圖片：圖像A為背景清晰但是近處鐵線結(jié)模糊的遠(yuǎn)景圖；圖像B為背景模糊但是鐵線結(jié)清晰的近景圖。

2.2 圖像融合模塊

（1）算法選擇。在圖像融合的average、PCA method、Laplacian Pyramid、DWT with DBSS四種算法中選擇一種算法來進行圖像融合；在Laplacian Pyramid和DWT with DBSS的選擇過程中，需要進一步選擇高通系數(shù)、低通系數(shù)和分解層數(shù)。

（2）圖像融合完成。在選擇完融合算法之后，點擊如圖1所示“融合圖像”的按鈕，系統(tǒng)在完成圖像融合之后會出現(xiàn)“融合完成！！”字樣，并在窗口中顯示出融合后的圖像。

（3）融合圖像評分。在完成圖像融合之后，點擊如圖所示“計算分值”按鈕，可以顯示出對融合圖像計算的分值，在該模塊中四種算法的融合圖像評分結(jié)果和人眼對圖像的視覺感觀基本達到一致。

（4）圖像評價參數(shù)選擇。通過選擇圖1所示左側(cè)四個評價參數(shù)的按鈕，在圖像基本參數(shù)模塊中將顯示出相應(yīng)的參數(shù)值，圖像A、圖像B以及融合圖像的對應(yīng)參數(shù)值橫向顯示可進行對比。

3 圖像融合算法性能評價系統(tǒng)的設(shè)計

3.1 圖像質(zhì)量主觀評價

從融合圖像來看，效果最好的是基于DWT和拉普拉斯塔形分解融合算法中選擇高通系數(shù)為Salience/match measure，低通系數(shù)為inputA的融合圖像如圖2和圖3。圖2的融合圖像對比度好，基本能夠體現(xiàn)出目標(biāo)近處和遠(yuǎn)處相對準(zhǔn)確的細(xì)節(jié)信息；圖3的融合圖像對比度較差，亮度較暗需要進一步增強。

3.2 圖像質(zhì)量客觀評價

3.3 圖像融合效果分析

從上述圖像實驗主觀、客觀評價分析可以看出，融合算法效果最好的是基于DWT小波變換中高通系數(shù)為choose max、低通系數(shù)為inputB、分解層數(shù)為7的融合算法（圖4），該種算法在均值和標(biāo)準(zhǔn)差兩個評價指標(biāo)上得到最大值。其次是基于DWT小波變換中高通系數(shù)為Salience/matchmeasure、低通系數(shù)為inputA、分解層數(shù)和區(qū)域塊數(shù)都為3的融合算法（圖3），該種算法在熵的參數(shù)值和融合圖像的評分上處于領(lǐng)先。至于融合圖像評分最高分的基于拉普拉斯塔形分解中高通系數(shù)為Salience/match measure、低通系數(shù)為inputA、分解層數(shù)為2、區(qū)域塊數(shù)為5的融合算法（圖2），卻在四個評價指標(biāo)的數(shù)值上沒有最高值的顯示。

4 結(jié)論

融合圖像質(zhì)量主觀評價方法就是觀察者依靠自己的感覺對圖像的質(zhì)量進行評價的方法。具體做法是由一組觀察者，對不同圖像融合方法得到的融合圖像進行打分，或者對融合圖像中特定目標(biāo)進行識別，統(tǒng)計出識別率和識別時問，然后綜合比較各融合圖像的優(yōu)劣。主觀評價方法的優(yōu)點是比較容易實現(xiàn)、結(jié)果較可靠，缺點是受圖像類型、應(yīng)用環(huán)境、觀察者的選取等因素的影響較大。

融合圖像質(zhì)量客觀評價方法是根據(jù)圖像融合的目的，選取和比較源圖像與融合圖像的具體評價參數(shù)來做出對融合圖像質(zhì)量的評價。客觀評價方法不受人為因素影響，但選取不同的參數(shù)可能導(dǎo)致評價結(jié)果不同，從而與實際的融合圖像質(zhì)量不吻合，影響評價的可信度。這里采用在實際研究中常用的評價指標(biāo)對圖像融合質(zhì)量進行客觀評價。

利用Matlab所提供的圖像處理與分析工具，結(jié)合其強大的矩陣計算能力，研究人員可利用前人已取得的研究成果，可以把精力集中在圖像融合技術(shù)理論的研究上，而不必關(guān)心圖像文件的格式、讀寫、顯示和已有成果的技術(shù)細(xì)節(jié)，并快速測試其圖像融合與質(zhì)量評價的新方案。測試時既可方便地得到統(tǒng)計數(shù)據(jù)，又可得到直觀圖示，免去了許多編程的煩惱，取得了事半功倍的效果。本文在 Matlab平臺支持下，從實際應(yīng)用的角度探討了四種常見圖像融合方法的具體實現(xiàn)過程，該系統(tǒng)為圖像融合及質(zhì)量評價提供一種算法實驗平臺。