一種基于DCT域局部能量的多聚焦圖像融合算法

梁　聰　唐振華

(廣西大學計算機與電子信息學院　廣西 南寧 530004)

?

一種基于DCT域局部能量的多聚焦圖像融合算法

梁聰唐振華*

(廣西大學計算機與電子信息學院廣西 南寧 530004)

摘要為了在無線視覺傳感器網絡等資源受限的應用中實現圖像信息融合，提出一種基于離散余弦變換域DCT(Discrete Cosine Transform)中局部能量的多聚焦圖像融合算法。該算法沒有采用當前常用的基于對比度和方差的融合準則，而是通過計算圖像在DCT域的局部能量，選擇局部能量較大的分塊實現融合。實驗結果表明，該算法能獲得良好的主觀視覺融合效果，且在互信息、峰值信噪比和空間頻率等客觀指標上優于常用的基于小波變換的融合算法，計算量與基于DCT域方差的融合算法相比降低約41%～49%，該算法適用于諸如無線視覺傳感器網絡等資源受限或實時性要求高的應用場合。

關鍵詞圖像融合離散余弦變換局部能量視覺傳感器網絡

0引言

圖像融合通過利用待融合圖像之間信息的冗余性和互補性，將兩幅或多幅圖像合成為一幅比任一待融合圖像包含更多信息的新圖像。圖像融合在醫學成像、計算機視覺、遙感、氣象預報和軍事等領域有著廣泛的應用前景。作為圖像融合的應用之一，視覺傳感器網絡VSN(visual sensor networks)依靠地理分布不同節點上的視覺傳感器來獲取周圍環境的圖像/視頻信息，以多跳中繼的無線通信方式傳輸信息，在傳感器節點上會涉及圖像融合技術。

在VSN中，距離較近的相鄰節點通常會獲得相同場景下多幅圖像信息，但由于這些圖像由位置不同的節點獲得，拍攝的聚焦點可能不同。對相同場景下的圖像信息進行有效地融合，不僅降低網絡傳輸圖像信息的數據量，而且能夠增強圖像的重建質量。由于VSN中節點的能量有限和計算能力受限，應用于其中的圖像融合算法除了獲得優良的融合性能外，還應具有計算簡單和處理速率快等特點，本文提出的算法滿足要求。

在基于變換域的圖像融合中，小波變換是常用和重要的方法[1-3]。但是基于這些變換的方法通常需要執行大量的復雜計算，耗費過多時間和內存資源，因此并不適用于資源受限的視覺傳感器網絡。在VSN中，傳輸圖像數據之前通常會經過壓縮和融合處理，以減少信息冗余度和降低電能消耗。離散余弦變換DCT作為一種多媒體壓縮技術得到了廣泛應用，直接在DCT域進行融合處理并不需要大量復雜的編解碼操作，從而減少數據處理量與能量消耗，因此采用DCT域的融合算法更為高效。目前，在DCT域進行圖像融合的研究并不多。文獻[4]提出了一種DCT變換和提升小波變換相結合的融合算法，但是其計算復雜度過高。Tang等人[5]提出了一種利用局部對比度進行圖像融合的方法，該方法選擇對比度較大的DCT系數用于圖像融合，但是計算對比度的過程比較復雜，而且融合圖像出現了塊效應和模糊現象。鑒于上述方法的不足，文獻[6]提出了一種基于方差判斷準則的方法，先將輸入圖像劃分為DCT塊，分別計算它們的方差，然后選擇方差較大的塊作為融合圖像的DCT塊。但是，該方法存在大量的平方運算，同樣會耗費很多時間和計算資源，因此也不太適用于無線視覺傳感器網絡。

為了解決上述方法的不足，本文依據 DCT 變換的性質，提出一種基于局部能量進行圖像融合的新算法。該算法選擇局部能量較大的塊作為融合圖像的DCT塊，由于運算很簡單，因此更適用于資源受限的視覺傳感器網絡。本文通過主觀和客觀評價，對比了離散小波變換DWT(discrete wavelet transform)、SIDWT(shift invariant discrete wavelet transform)和基于方差的DCT方法，證明了本文提出的方法更加簡單有效。

1基于局部能量的DCT域圖像融合算法

1.1離散余弦變換

在離散余弦變換的系數中，從矩陣左上角到右下角依次對應著低頻、中頻和高頻分量，高頻系數通常小于低頻系數，因而能量主要集中在低頻分量。

設x(m, n)為數字圖像矩陣，則N×N的DCT變換定義為：

(1)

N×N的IDCT變換定義為：

(2)

1.2算法描述

成像區域內不同深度的對象會引起攝像機不同程度的離焦，多聚焦圖像中的模糊區域是由離焦造成的，離焦鏡頭系統在數學模型上可等效為一個低通系統，清晰圖像經過低通濾波，在濾除高頻分量和高頻能量的同時，圖像的總能量會有所損失，因此，總能量可作為判別清晰圖像與模糊圖像的準則。

本文融合算法的框圖如圖1所示。在本文算法中，首先將待融合的圖像A和圖像B分別進行分塊DCT 變換，然后分別比較它們對應DCT 系數能量的大小，選擇局部能量較大的塊作為融合圖像的DCT塊，最后將融合的DCT塊進行逆變換即可得到融合圖像。實驗發現，圖像按像素分塊的大小對處理速率與融合質量均有影響，分塊較小時，由選擇融合的圖像塊出現的誤判會造成較多小面積的塊效應，且處理速率較慢；分塊較大時處理較快，出現誤判的概率降低，但是因此造成的塊效應面積會較大。兼顧融合效果和處理速率，本文算法DCT塊取16×16。

圖1　本文融合算法框圖

N×N系數矩陣的能量可定義為：

(3)

設x1(m,n)和x2(m,n)表示輸入圖像，x(m,n)為融合圖像，在N×N塊中選擇能量大者為融合后x(m,n)的DCT塊，即：

(4)

在比較能量大小時，可把比較圖像A與圖像B的d2(k,l)之和改為比較它們的|d(k,l)|之和，這樣可避免平方運算，從而降低運算量和系統的能量消耗，即選擇圖像A和圖像B的DCT塊中絕對值之和較大者作為融合圖像x(m,n)的DCT塊，最后經過IDCT變換即可獲得融合圖像。本文中的融合規則按式(5)給出：

(5)

由于圖像本身因素或者噪聲的影響，在選擇融合的DCT塊時可能存在誤判而產生塊效應，因此有必要對融合后的圖像進行一致性校驗CV(consistency verification)。該處理過程是，在融合圖像的分塊區域中，如果處于中間的像素塊來自輸入圖像B，而大多數周圍的像素塊來自輸入圖像A，那么可以認為來自輸入圖像B的像素塊因誤判而被錯誤地融合，經過一致性校驗后它會被糾正為來自輸入圖像A相應的像素塊。文獻[6]使用了均值濾波器進行校驗處理，但是由于在濾波器掩模內執行平均運算時可能出現平均“泛化”，因此有時并不能精確地糾正錯誤融合的像素塊。針對此問題，本文使用的中值濾波器能夠獲得更好的校驗效果。因為在融合圖像的分塊區域中，被錯誤融合的像素塊只有少數一部分，多數像素塊都是被正確地融合了，中值濾波器作為一種統計排序濾波器，可以有效地用多數的像素塊取代少數的被錯誤融合的像素塊。從后面的實驗可以看出，應用中值濾波器進行一致性校驗能有效地改善融合效果，實驗使用的濾波器掩模大小為3×3。

2實驗結果與分析

2.1評價標準

為了更全面地評價本文提出的算法，本實驗引入兩類客觀標準來評價融合效果。第一類是需要原始圖像的評價標準。互信息是兩個變量之間相關性的度量，可衡量融合圖像從輸入圖像中繼承的信息量大??；峰值信噪比是一種基于圖像信噪比的評價指標，值越大說明融合效果越好；另外本文引入了文獻[7]中結構相似度的評價標準，該方法能夠度量兩幅圖像結構上的失真。第二類評價標準不需要原始圖像。由于在實際應用中一般不存在用作參考的理想圖像，所以這類評價標準尤顯重要。文獻[8]提出了一種QAB/F的指標，它給出了融合圖像從輸入圖像獲得的邊緣信息總量。文獻[9]提出的Qw等指標，顯示出有多少顯著信息從輸入圖像轉入了融合圖像。此外本文實驗還運用了一些比較常用的評價標準，平均梯度反映了圖像中微小細節反差，值越大說明圖像越清晰。空間頻率反映圖像在像素域的總體活躍程度。另外，運行時間可以反映算法的復雜度和耗費的計算資源。

2.2結果與分析

為了便于比較，本文選擇目前公認融合效果較好的基于小波變換的融合算法DWT[1]和SIDWT[10]來進行比較，其中小波分解層為3，對應的融合小波系數選擇最大原則。為了敘述方便，由式(5)確定的方法稱為“本文方法”，而將經過中值濾波器進行一致性校驗處理的方法稱為“本文改進方法”。文獻[6]提出的基于方差的方法記為“DCT+Variance”，進行均值濾波的一致性校驗的方法記為“DCT+Variance+Cv”。為了與前面的評價標準相適應，用于實驗的圖像也有兩類，圖2帶有原始圖像，圖3沒有原始圖像。表1和表3分別給出融合算法的各個評價指標，表2是運行時間。本實驗仿真環境是Matlab 7.0。

圖2　原始圖像和融合圖像

圖3　原始圖像和融合圖像

評價方法 互信息峰值信噪比(dB)結構相似度DWT3.004435.48800.9916SIDWT3.088335.05720.9946DCT+Variance4.636036.17660.9965DCT+Variance+Cv4.732736.53790.9968本文方法4.763737.92710.9984本文改進方法4.761937.49210.9979

表2　運行時間　　　　　　　(單位：秒)

從圖2可看出，由本文提出的方法獲得的(h)和(i)融合效果良好，和DWT、SIDWT方法獲得融合圖像在視覺效果上并無明顯差異。由表1的評價數值看出，本文方法和本文改進方法優于基于小波變換的方法，同時也好于基于方差的方法。上述情況表明，本文提出的方法獲得的融合圖像能夠從待融合圖像中獲取更多的原始的信息，融合質量更好。同時從表1還看出，是否經過一致性校驗處理的融合圖像在評價指標上相差不大，但是經過校驗處理卻能夠獲得更好的視覺融合效果。

表2給出了本文提出的方法和基于方差方法的運行時間。從表中數據可得出，本文的方法比基于方差方法節省了大約41%～49%的處理時間，盡管處理兩個融合圖像節省時間僅幾秒，但是當整個傳感器網絡上成千上萬個節點在處理數據時，本文提出的方法在降低時間消耗上將會非?？捎^。另外，本文的方法由于不需要復雜的平方運算，而只是低復雜度的求和運算，所以將會節省更多能量和計算資源，更適用于資源受限的視覺傳感器網絡。

圖3是沒有原始圖像的情況下進行的對比，從圖中可看出本文方法獲得的(g)和(h)取得了更好的視覺效果，比如在圖4局部放大圖中，基于小波的(a)和(b)雖然整體上顯得光滑，但是卻造成了細微失真和對比度下降，這是因為小波變換在分解和重構圖像的過程中會丟失信息；基于方差的(c)和(d)，可以看出存在一些塊效應，原因是在這些融合區域錯誤地選擇了輸入圖像塊，同時說明了在亮度變化不明顯的區域，基于方差的融合算法表現得不夠健壯；本文方法(e)即使在沒有經過一致性校驗處理的情況下，也取得了良好的視覺效果。另外，加一致性校驗模塊的方法圖(f)比不加模塊的圖(e)取得更好的視覺效果。表3給出了Qw、空間頻率等評價指標，從中看出本文提出的方法和基于方差方法在評價數據上大體相當。

圖4　局部放大圖像

評價方法 QwQAB/F空間頻率平均梯度DWT0.90870.62709.98413.5863SIDWT0.90450.68649.38383.4350

續表3

3結語

本文在離散余弦變換的基礎上, 提出了一種基于局部能量的多聚焦圖像融合算法，以及使用中值濾波器進行一致性校驗的改進算法。該算法依據清晰圖像具有較高能量的原理，在DCT域分別計算局部能量，然后選擇局部能量較大的圖像作為融合圖像。實驗中運用多種評價標準，將本文算法、基于小波變換以及基于方差的DCT算法進行了比較，結果表明本文算法獲得的融合圖像更清晰，計算復雜度更低，因此耗費時間和能量更少，特別適用于要求實時處理或資源受限的應用場合。

參考文獻

[1] Li H,Manjunath B S,Mitra S K.Multisensor image fusion using the wavelet transform[J].Graphical Models and Image Processing,1995,57(3):235-245.

[2] Shreyamsha Kumar B K.Multifocus and multispectral image fusion based on pixel significance using discrete cosine harmonic wavelet transform[J].Signal,Image and Video Processing,2013,7(6):1125-1143.

[3] 高穎,王阿敏,王鳳華,等.改進的小波變換算法在圖像融合中的應用[J].激光技術,2013,20(5):690-695.

[4] 聶敏.一種改進的DCT變換圖像融合技術[J].科技通報,2012,28(4):178-179.

[5] Tang J.A contrast based image fusion technique in the DCT domain[J].Digit Signal Process,2004,14(3):218-226.

[6] Haghighat M B A,Aghagolzadeh A,Seyedarabi H.Multi-focus image fusion for visual sensor networks in DCT domain[J].Computers and Electrical Engineering,2011,37(5):789-797.

[7] Wang Z,Bovik A C,Sheikh H R,et al.Image quality assessment: from error visibility to structural similarity[J].IEEE Trans Image Process,2004,13(4):600-612.

[8] Xydeas C S,Petrovic V.Objective image fusion performance measure[J].Electron Lett,2000,36(4):308-309.

[9] Piella G,Heijmans H.A new quality metric for image fusion[C]//Proceedings of international conference on image processing,2003,3:173-176.

[10] Rockinger O.Image sequence fusion using a shift-invariant wavelet transform[C]//Proceedings of IEEE international conference on image processing,1997,3:288-291.

A MULTI-FOCUS IMAGE FUSION ALGORITHM BASED ON LOCAL ENERGY IN DCT DOMAIN

Liang CongTang Zhenhua*

(SchoolofComputerandElectronicsInformation,GuangxiUniversity,Nanning530004,Guangxi,China)

AbstractIn order to apply image information fusion to resource-constrained applications such as wireless visual sensor networks, we presented a multi-focus image fusion algorithm, which is based on local energy in discrete cosine transform (DCT) domain. The proposed algorithm doesn’t employ commonly used rule of image fusion based on contrast and variance, but realises fusion by calculating the local energy of image in DCT domain and selecting the blocks with bigger local energy. Experimental results showed that the proposed algorithm could get good subjective visual effect of fusion, and outperformed those usual algorithms based on discrete wavelet transform in objective evaluation indexes such as mutual information, peak signal to noise ratio, space frequency and so on. Moreover, since the calculation decreases by around 41 percent to 49 percent in comparison with the fusion algorithm based on variance in DCT domain, the presented algorithm is suitable for the applications with resource-constrained or high real-time property like visual sensor networks.

KeywordsImage fusionDCTLocal energyVisual sensor networks

收稿日期：2014-12-04。國家自然科學基金項目(61461006，6126 1023)；廣西自然科學基金項目(2013GXNSFBA019271)；廣西教育廳科研項目(201106LX016)。梁聰，本科生，主研領域：多聚焦圖像融合。唐振華，副教授。

中圖分類號TP391

文獻標識碼A

DOI:10.3969/j.issn.1000-386x.2016.05.059