基于結構相似性的多傳感器圖像融合

胡 前 杜軍平 方 明 訾玲玲 韓鵬程

(北京郵電大學智能通信軟件與多媒體北京市重點實驗室，北京 100876)

基于多尺度變換的圖像融合技術已經廣泛應用于圖像融合領域.小波變換因其具有良好的時頻局部特性和快速變換算法而被廣泛采用，但是小波變換具有一定的局限性.由于二維小波變換是通過一維小波張量積所得，因而不具備各向異性尺度關系，無法更好地表示邊界和線狀特征，不能多方向地區分圖像的邊緣.小波變換由于采用了行列降采樣，使得圖像的大小發生了改變，每層圖像的大小均為其上一層圖像大小的1/4，這種圖像變換不具有平移不變性，在圖像配準精度不高的情況下，圖像融合往往相當不利.為了克服小波變換的缺點，Do等［1］提出了一種新的多尺度變換方法，即Contourlet變換(CNT).相比傳統的小波變換，CNT不僅是多尺度的，同時也具有方向性，因而CNT變換可以更好地表示邊緣信息.隨著CNT變換的發展，基于CNT的圖像融合算法也應運而生［2］，然而CNT變換仍是下采樣的，因而不具有平移不變性.為了保證在多尺度和多方向的基礎上，使多尺度變換具有平移不變性的特征，Nguyen等［3］提出了一個可移動的復雜定向金字塔變換，即SCDPT變換.SCDPT變換可以將圖像進行多尺度與多方向的分解，且具有良好的平移不變性，將其用于圖像融合領域能更好地提取邊緣信息，提供更多的特征信息.

1 SCDPT變換

SCDPT變換是圖像的一種多尺度變換方法，可以將圖像進行多尺度、多方向的分解，且具有良好的平移不變性.SCDPT變換采取一個迭代的多尺度濾波器組用于圖像的多尺度分解.利用一個復雜的方向濾波器組(DFB)在每個尺度做定向分解.同時，為了實現平移不變性，復雜的方向濾波器組由二元樹結構的2個DFB構造而成.SCDPT變換的分解過程如圖1所示.一組非抽樣雙通道濾波器組R(0)與L(0)被用于分離臨近(±p，)和(，±p)的高頻分量，從而使二元樹DFB減少混疊.上述高通濾波器R0(x)的輸出保持不變，相應的低通濾波器L0(x)的輸出被饋送到另一個濾波器組(R1(x)和L1(x))中.高頻分量(圖1中H點)通過一個n通道的雙樹方向濾波器組進一步分解，對應的輸出即帶通方向子帶系數的實部和虛部部分(即圖1中H實和H虛).相應的低頻分量則通過下采樣矩陣D2進行采樣，得到低通子帶系數.如此，便完成了一個層次的SCDPT分解.為了進行多層次的分解，繼續對L進行矩形框內的單層次分解即可.

圖1 SCDPT變換的分解過程

2 基于結構相似性的多傳感器圖像融合算法

本文提出了多模態圖像融合算法.融合算法的框架如圖2所示，具體算法步驟如下:

①輸入2幅已經經過嚴格配準的源圖像，通過SCDPT變換分解成不同尺度和方向的系數.

②針對SCDPT變換產生的低通子帶系數特征，提出低通子帶系數融合規則.即對低頻系數采取基于結構相似性(SSIM)與區域能量、區域平均梯度相結合的融合規則.

③針對SCDPT變換產生的帶通方向子帶系數，提出帶通方向子帶系數融合規則.對低頻系數采取基于結構相似性(SSIM)與區域能量、區域平均梯度相結合的融合規則.

④輸入步驟②和③得到的融合系數，進行SCDPT逆變換得到融合圖像.

圖2 基于SCDPT變換的多模態圖像融合框架

2.1 基于結構相似性的低通子帶系數融合規則

本文提出了一種基于圖像結構相似性的選取規則與加權規則相結合的低通子帶系數融合規則.相對于其他算法的低頻融合規則，本文提出的規則在保持梯度和對比度較好的基礎上，提升了圖像的信息熵和信噪比.低通子帶系數包含了圖像的主要能量，決定圖像的輪廓，本文引入結構相似性SSIM用于決定采取選取還是加權策略.SSIM是一種衡量2幅圖像相似度的新指標［4］，值越大則表示越相似，如2幅圖像完全相同，則SSIM=1.對每一個像素采取3×3的窗口，求得每個像素點的SSIM值.對于某個區域窗口，若其SSIM值大于某固定閾值T，則表示該像素區域十分相似.此時可以采用加權融合策略［5］.結構相似度從圖像組成的角度將結構信息定義為獨立于亮度、對比度的反映場景中物體結構的屬性.其定義如下:

將均值μx作為亮度的估計，標準差作為對比度的估計，協方差σxy作為結構相似程度的度量.加權策略中最重要的是權值的選擇.由于低頻包含圖像的主要能量，因此采用基于能量與平均梯度相結合的權值選擇規則.其定義如下:

EA(x，y)為A 圖像在像素點(x，y)處的3×3窗口的區域能量值.GA(x，y)為A圖像在像素點(x，y)處的3×3窗口的平均梯度值.T為固定閾值0.7.整個低頻的融合規則如下:

2.2 基于結構相似性與區域標準差相結合的高頻系數融合規則

本文在區域窗口的基礎上，提出了基于結構相似性SSIM與區域標準差相結合的融合規則.本文提出的高頻系數融合規則在考慮其周圍區域能量以及離散程度的基礎上，能較好地區分噪聲，提取出更為精確的信息.本文將系數的選取與其所在的局部窗口區域聯系起來，以加強像素間聯系，構建更精確的融合規則［6-7］.對于高頻系數，若系數值越大，則表示該處能量越多，那么位于該位置的圖像更清晰，相應地均值也越大.因而高頻取大的融合規則能涵蓋圖像大多數的邊緣信息.但是系數往往不能表示其周圍區域的變化程度［8］.如式(3)中的2個矩陣A1和A2，它們的均值都為4，窗口中間的系數也為4.

在進行選取規則時，由于A2變化程度快，包含更多的梯度信息，因此區域A2要優于A1.

針對上述情況，可以將區域標準差引入高頻融合規則中，圖像在第j層，第i個方向的區域標準差STD可以定義為

μ為圖像在第 j層第 l個方向的高頻系數Cj，l(x，y)取模之后的均值.標準差反映了灰度相當于灰度均值的離散程度，結合SCDPT高頻系數(實部和虛部)，高頻權重定義如下:

與低頻系數融合規則類似，對每一個高頻系數采取3×3的區域，求得每個像素點的SSIM值.對于某個區域，若其SSIM值大于某固定閾值T，則表示該像素區域十分相似，此時可以采用加權融合策略，權值選擇如式(5)所示;若其SSIM值小于閾值T，則采用選取融合策略.高頻融合規則如下:

3 實驗結果與分析

本文選用標準多模態遙感圖像進行實驗，實驗圖像尺寸為512×512像素，灰度級別為256.基于小波變換、拉普拉斯金字塔變換、梯度金字塔變換、對比度金字塔變換的融合方法均采用低頻取平均、高頻取大的簡單融合規則，其實驗結果如圖3所示.

圖3 遙感圖像及其融合結果

從圖3可看出，簡單平均法相對于基于多尺度變換的融合算法效果差距很大(見圖3(c)).在基于多尺度變換的算法中，本文所提出的融合算法在多模態圖像融合應用中效果較好.從圖3中還可看出，本文算法相對于其他多尺度變換算法，白色邊緣部分更為突出，細節更明顯，信息量更大，表明從圖3(a)中繼承的信息較多.其他方法由于原始圖像(見圖3(b))的干擾，導致融合效果邊緣不夠明顯，細節不夠突出，融合效果不夠好，融合信息量有所缺失.

信息熵表示圖像信息量的大小，平均梯度表示圖像的整體清晰程度，互信息MI用來衡量融合圖像從源圖像中繼承圖像信息的多少，均值反映圖像的平均灰度，邊緣強度用來衡量圖像的邊緣信息強弱.上述幾個指標值越大，表示信息量越高，邊緣越明顯，圖像越清晰，融合質量越好.表1中給出了圖像融合結果，這些結果與對圖像的主觀分析一致.通過對比各項指標大小，可以得出基于多尺度變換的融合算法要比非多尺度融合算法融合效果好，基于SCDPT變換的簡單規則的融合效果與其他多尺度變換的融合效果相差不大，本文所提出的算法較其他算法在信息熵、平均梯度、邊緣強度、互信息，均值上都有較大提高.這表明本文算法優于其他多尺度融合算法，能夠更好地從待融合圖像中獲取信息，并且能保持較高的細節反差和紋理變化特征.因此基于SCDPT變換的多模態圖像融合算法具有較好的融合性能.

表1 基于SCDPT變換的多傳感器圖像融合結果

4 結語

本文提出的基于結構相似性的多傳感器圖像融合算法具有較好的融合效果.對于低頻子帶系數采取結構相似性和區域能量、區域平均梯度相結合的融合規則，區域能量的引入盡可能保留了低頻子帶中的圖像紋理細節信息，平均梯度又突出了帶通方向子帶局部輪廓特征.對于高頻子帶系數的融合，方差的引入能較好地提取圖像的邊緣，消除噪聲影響.實驗結果表明，對于多源圖像融合，本文提出的算法能夠充分提取圖像特征，互補地融合到新圖像中，產生較小的冗余，且融合結果優于大部分其他多尺度變換算法.

References)

［1］Do M N，Vetteri M.The contourlet transform:an efficient directional multiresolution image representation［J］.IEEE Transactions on Image Processing，2005，14(12):2091-2106.

［2］Chai Yi，Li Huafeng，Zhang Xiaoyang.Multifocus image fusion based on features contrast of multiscale products in nonsubsampled contourlet transform domain［J］.Optik，2012，123(7):569-581.

［3］Nguyen T T，Oraintara S.The shiftable complex directional pyramid—PartⅠ:theoretical aspects［J］.IEEE Transactions on Signal Processing，2008，56(10):4651-4660.

［4］Wang Zhou，Li Qiang.Information content weighting for perceptual image quality assessment［J］.IEEE Transactions on Image Processing，2011，20(5):1185-1198.

［5］Wang Zhou，Bovik A C，Sheikh H R，et al.Image quality assessment:from error visibility to structural similarity［J］.IEEE Transactions on Image Processing，2004，13(4):600-612.

［6］Zhang Qiang，Wang Long，Li Huijuan，et al.Similarity-based multimodality image fusion with shiftable complex directional pyramid［J］.Pattern Recognition Letters，2011，32(13):1544-1553.

［7］Manipoonchelvi P，Muneeswaran K.Significant region based image retrieval using curvelet transform［C］//International Conference on Electronics and Control Engineering.Sivakasi，India，2011:291-294.

［8］Omar Z，Mitianoudis N，Stathaki T.Region-based image fusion using a combinatory Chebyshev-ICA method［C］//IEEE InternationalConference on Acoustics Speech and Signal Processing.Prague，Czech Republic，2011，5:1213-1216.