基于塊分類稀疏表示的圖像融合算法

陳利霞，李 子，袁 華，歐陽寧

(桂林電子科技大學 a. 廣西高校圖像圖形智能處理重點實驗室；b. 數學與計算科學學院；c.廣西密碼學與信息安全重點實驗室；d.信息與通信學院，廣西 桂林 541004)

基于塊分類稀疏表示的圖像融合算法

陳利霞a，b，c，李 子d，袁 華d，歐陽寧d

(桂林電子科技大學 a. 廣西高校圖像圖形智能處理重點實驗室；b. 數學與計算科學學院；c.廣西密碼學與信息安全重點實驗室；d.信息與通信學院，廣西 桂林 541004)

針對基于單一字典訓練稀疏表示的圖像融合算法忽略圖像局部特征的問題，提出了基于塊分類稀疏表示的圖像融合算法。算法是根據圖像局部特征的差異將圖像塊分為平滑、邊緣和紋理三種結構類型，對邊緣和紋理結構分別訓練出各自的冗余字典。平滑結構利用算術平均法進行融合，邊緣和紋理結構由對應字典利用稀疏表示算法進行融合，并對邊緣結構稀疏表示中的殘余量進行小波變換融合。實

塊分類；稀疏表示；圖像融合

圖像融合是將同一場景來源不同的多幅源圖像的互補信息綜合起來，以獲得該場景更加準確、全面和細致描述的一種圖像處理技術。它在計算機視覺、醫學以及航空航天等領域中都有廣泛的應用。圖像融合算法主要有基于空域的(加權平均、主元分析等)和基于變換域的(小波變換、Contourlet變換[1]等)。這些融合算法的優點是速度快，但是容易丟失圖像的邊緣等細節信息，從而影響融合圖像的清晰度。

稀疏表示(Sparse representation，SR) 算法作為一種有效的表示模型，克服了以上問題得到較理想的融合效果，成為近年來的研究熱門。Yang B[2]提出一種基于過完備字典稀疏表示的圖像融合算法，利用DCT字典建立稀疏分解模型，但DCT字典的適應性不強，運算復雜度高；陳垚佳[3]提出從待融合圖像中隨機抽取訓練樣本集，采用K-SVD法對樣本集訓練得到過完備字典，相比DCT字典能夠更接近待融合圖像特征，但是待融合圖像本身存在信息缺失的問題，容易導致字典出現信息缺損；余南南[4]利用K-SVD法對圖像庫構成的樣本集進行訓練得到K-SVD字典，能更好表示圖像特征，適應性強，并根據稀疏系數非零性分離相似特征和相異特征分別進行融合，以提高融合圖像中相異特征的清晰度。雖然這些算法在字典訓練上都有所改進，但是單一字典容易忽略圖像的局部特征，不能有效表示圖像塊結構特性的差異。

針對這一問題，提出了一種基于塊分類稀疏表示的圖像融合算法。它將圖像的子塊劃分為平滑、邊緣和紋理3種結構。對于具有明顯邊緣和紋理的圖像塊，分別訓練各自的字典進行稀疏表示，以獲取更加精確的稀疏系數。平滑塊直接利用算術平均法進行融合，減少了運算復雜度；邊緣和紋理結構通過分類稀疏表示的方法進行融合，并對邊緣結構稀疏表示中的殘余量進一步采用小波變換進行融合，保證了信息的完整性。實驗結果證明， 本文算法在融合圖像的主觀評價和客觀評價指標上均有顯著改進， 并且算法速度也有提高。

1 基于稀疏表示的圖像融合算法

稀疏表示的理論描述如下，假設D=[d1,d2,…,dN]∈RK×N為一個過完備集，對于給定的觀測信號x，可通過字典中原子的線性組合來表示，即對任意的x∈Γ，存在s∈RN，使得x=Ds。稀疏表示的一般描述為求解式(1)

(1)

式中：ε為誤差值?；谙∈璞硎镜膱D像融合算法，其本質為待融合圖像基于過完備字典對每一個像素域進行稀疏表示再融合、重構的方法[5-7]。其框架如圖1所示，方法步驟如下：

1)將嚴格配準的待融合圖像歸一化，再進行滑動(sliding)分塊處理，并把每個圖像子塊像素拉直成一維列向量v，得到列向量矩陣V。

2)將每個子塊列向量v在冗余字典D上利用OMP進行稀疏編碼，獲得稀疏系數a。

3)把對應的稀疏系數a按照一定規則融合得到重構系數A，再結合系數A與冗余字典D重構出融合結果圖像。

圖1 基于稀疏表示的圖像融合算法的框架

基于稀疏表示的圖像融合相比傳統算法融合效果好，但單一字典的稀疏表示往往忽略了圖像的局部特征。針對這一問題，提出了一種基于塊分類稀疏表示的圖像融合算法，它將圖像的子塊劃分為平滑、邊緣和紋理結構三類，對邊緣和紋理結構分別訓練相應字典進行稀疏表示。

2 基于塊分類稀疏表示的圖像融合算法

2.1 塊分類

根據待融合圖像的局部結構特性，對分塊得到的圖像子塊進行分類。圖像f可分為平滑結構fs、邊緣結構fe和紋理結構ft。分類方式如下：

1)平滑結構。根據圖像塊之間包含的圖像信息量不同，圖像子塊可分為平滑結構和細節模型。檢測圖像的信息量高低，常用的測量函數有方差(Variance)、梯度(Gradient)、空間頻率(SF)以及改進拉普拉斯能量和等。文獻[8]指出，在同等條件下，方差計算速度快且有較好效果，夠有效區分平滑結構和細節結構。方差d計算公式為

(2)

(3)

式中：dA和dB分別為待融合圖像A和B對應位置子塊的方差值。

2)邊緣結構和紋理結構。經過以上劃分，圖像塊分為平滑結構和細節結構。本文利用圖像子塊梯度場的指向性將細節結構分為邊緣結構和紋理結構。通過對圖像塊梯度場奇異值分解(SVD)，估計圖像塊的局部方向性，其中指向一致性強的作為邊緣結構，指向性弱的作為紋理結構。

(4)

圖像塊梯度場主方向v是G最小奇異值所對應的奇異分量。對G奇異值分解

G=UΔVT

(5)

式中：V是2×2的正交矩陣，第一列v1代表圖像塊梯度場的主方向；矩陣Δ大小為M×2?？傻肎的奇異值為s1和s2，s1代表梯度場主方向上的能量，s2代表與梯度場主方向正交方向上的能量。

設定參數c判定邊緣，則c為

(6)

根據上式計算細節結構中每個圖像塊的c，設定閾值，μ2若待融合圖像對應位置子塊的c值都小于等于μ2，則為紋理結構ft；否則子塊為邊緣結構fe。

(7)

式中：cA和cB分別為待融合圖像A和B對應位置子塊的c值。

2.2 基于塊分類的字典訓練

基于塊分類稀疏表示的圖像融合選擇K-SVD法訓練字典，訓練可離線操作。字典訓練過程為先將待訓練樣本進行分類，然后對邊緣結構和紋理結構塊分別進行訓練。

首先，從標準圖像庫中隨機選取N個n×n大小的待訓練圖像塊，根據圖像塊的方差d和選取的閾值μ1區分出平滑結構塊和細節結構塊。

其次，利用式(4)～(7)將細節結構塊區分為邊緣結構和紋理結構。其邊緣結構塊構成訓練樣本集Xe，紋理結構塊構成訓練樣本集Xt。

最后，利用K-SVD算法對樣本集Xe和Xt分別訓練出邊緣結構fe和紋理結構ft對應的冗余字典。設定稀疏度為T，冗余字典中原子數為R，稀疏系數為θ={θi}，通過迭代解決如下優化問題

(8)

對DCT字典通過以上方法訓練，可得到自適應邊緣、紋理冗余字典。相對于單一字典該方法改進了原字典的結構，能夠獲得更有效反映圖像局部結構特性的冗余字典。

2.3 圖像融合

平滑結構fs包含的信息量少，像素值變化平緩，用算術加權平均法進行融合就能有較好的效果，且算法簡單，可減少運算復雜度。權系數選取ω1=ω2=0.5。

邊緣結構fe和紋理結構ft利用各自訓練的冗余字典進行稀疏表示的圖像融合。結構塊利用OMP算法獲得相對應的系數αA和αB。融合規則為選取稀疏度較低的系數a，當稀疏度一致時，則用l1范數進行系數選取。如式(9)所示

(9)

在稀疏編碼中，OMP求解式(1)是一種循環逼近的算法，殘余量衰減到一定程度就會很難搜索到與殘余量相匹配的原子，因此衰減后的殘余量會引起部分源圖像信息的丟失，從而影響融合效果。本文算法對邊緣結構稀疏表示的OMP殘余量進行了小波變換融合，再將融合的殘余量加到融合圖像中。殘余量r為

(10)

可得到殘余矩陣RA和RB。先對殘余矩陣進行小波分解，再采取高頻系數絕對值取大和低頻系數算術平均的融合規則，最后通過逆小波變換得到融合的殘余量R。

基于塊分類稀疏表示的圖像融合算法步驟流程如圖2所示。

圖2 基于塊分類稀疏表示的圖像融合算法框圖

步驟1，分塊。對源圖像A，B進行n×n大小的滑動分塊，分別得到(N+n-1)×(M+n-1)個圖像子塊。

步驟2，塊分類。利用對應子塊的方差d區分平滑結構塊和細節結構塊，d都小于等于閾值μ1的子塊屬于平滑結構，否則為細節結構；計算出各細節結構塊的c值，若都小于等于閾值μ2，屬于紋理結構，反之屬于邊緣結構。

步驟3，融合。平滑結構采用算術加權融合算法；邊緣結構和紋理結構分別訓練出各自的K-SVD字典，采用稀疏表示算法進行融合，融合規則為系數稀疏度和l1范數組合取大的原則，并且將邊緣結構稀疏表示的殘余量進行小波變換融合后，再加到邊緣融合圖像中。

步驟4，重構。3種模型的融合圖像相結合，再除以每個位置像素值疊加的次數，最終獲得融合結果圖像F。

3 實驗結果及分析

本文實驗采用的4組圖像如圖3所示，分別取大小為256×256的多聚焦圖像、醫學圖像和紅外圖像。待融合圖像圖3a、圖3e和圖3b、圖3f表示左清晰和右清晰的多聚焦圖像；圖3c、圖3g表示可見光圖像和紅外圖像；圖3d、圖3h表示不同模態的CT和MRI醫學圖像。實驗將本文算法分別與小波變換法(DWT)、Contourlet變換法、稀疏表示法(SR)進行對比。實驗用MATLAB R2012a編程，在2 Gbyte內存的Windows7系統上實現。

圖3 源圖像

本文算法需對源圖像進行塊分類。文獻[4]指出隨著圖像分塊的增大，融合圖像的全局誤差會減少，因此4×4和 6×6 分塊會影響圖像全局信息使得融合指標降低。而16×16分塊過大不僅字典維數變大運算復雜量變大，且不利于子塊局部特征的分割，融合效果不佳。8×8分塊相對保存更多的圖像信息，融合效果更好。綜上所述，本文算法選擇8×8分塊。

在實驗中，本文算法取μ1=13，μ2=0.75。SR采取8×8分塊，選擇K-SVD字典，融合規則為系數稀疏度和l1范數組合取大原則。Contourlet變換法采用5層分解，融合規則為低頻系數采用算術平均，高頻系數采用絕對值取大。DWT的融合規則為低頻系數選用加權平均，高頻系數選用絕對值取大進行融合。實驗結果如圖4所示。

圖4 融合實驗結果圖

從主觀上評價融合結果圖像，圖4a和圖4b中明顯其字母和數字都比較模糊，說明DWT的多聚焦融合圖像會缺失圖像信息；圖4c對比度低，很難分辨紅外圖像中有效信息；圖4d的醫學融合圖像也出現了對比度低和不清晰的現象。圖4e和圖4f在字母和鬧鐘的邊緣出現了嚴重的虛影現象，這些虛影是Contourlet變換法在分解圖像中進行下采樣引起的；SR和本文方法的融合圖像在清晰度和對比度上都明顯優于前兩種方法。為了更好評價兩者，對SR和本文方法的融合圖像中矩形框的內容進行放大，如圖5所示。

圖5 融合結果的局部放大圖

從局部放大圖可以看出圖5e和圖5f中字母和數字比圖5a和圖5b更加清晰。在圖5c中左上角的輪胎明顯沒有圖5g清晰，并且在融合圖4k中圖像下部分有出現“霧氣”現象，融合效果不佳。圖5h相對5d有更良好的內臟紋理信息。由此說明本文方法相對SR保存了更多圖像信息，融合效果更好。

實驗結果分析采用主觀評價和客觀評價，客觀評價包括了相關系數(MI)、空間頻率(SF)、平均梯度(AG)[10]的指標。其中MI越大，說明結果圖與源圖像相關性越大，而SF和AG指標值越高，說明圖像越清晰，包含的圖像信息越多。

表1給出了4組融合結果圖像的客觀指標。從表1的Pepsi實驗數據中，SR和本文算法的指標均明顯超越了DWT和CT，融合的質量有改善，本文算法比SR的性能指標又有顯著提高。在Clock實驗數據中，可以看出CT的融合效果最差，DWT和SR的性能指標稍好，本文算法的性能相比于傳統方法有明顯改進。而Gun和Med的實驗數據中，SR和本文方法的指標具有壓倒性的優勢，本文算法相對SR性能指標有所提高。由此可見，本文算法的融合效果很理想。

表1 評價指標的比較

客觀指標圖像DWTCTSR本文算法MIPepsi70886622567379076862Clock70447608737365474907Gun15014116671788525043Med30365145333911539682SFPepsi138220140968167592191302Clock143423105948141834145656Gun4642146648186512212281Med7871399561163120172327AGPepsi51910577626101469847Clock59991435235877260324Gun266932555797649117726Med29348383376563068527

表2給出了傳統稀疏算法和本文算法在同樣實驗環境下分別對圖2中4組圖像進行融合的執行時間比較。實驗中本文算法和SR都采取8×8的滑動分塊方式，選擇K-SVD字典和OMP進行稀疏編碼，并選用相同的融合規則。Pepsi實驗中，稀疏算法運行時間為1 260 s，本文算法運行時間為928 s。在2個多聚焦圖像實驗中，本文算法相對傳統稀疏算法均縮短了近1/4的時間；Clock實驗中，稀疏算法耗費了 1 288 s， 本文算法耗費985 s。在紅外圖像Gun實驗中，稀疏算法運行 1 041 s， 本文算法的時間縮短了近3/5。在醫學圖像Med實驗中，稀疏算法耗費716 s，本文算法縮短了近1/4的時間。由此可見，本文算法確實有效地加快了融合速度。

表2 實驗時間數據

s

算法PepsiClockGunMedSR126005712882441041266716321本文算法928881985393415174544841

4 結束語

本文提出了一種基于塊分類稀疏表示的圖像融合算法，根據圖像局部特性將其分為平滑結構和細節結構，并將細節再劃分為方向一致性強的邊緣結構和方向不規則的紋理結構。其平滑結構采用算術平均融合算法，邊緣和紋理結構采用多字典的稀疏表示融合算法，并對邊緣結構稀疏表示中的殘余量采用小波變換融合算法。實驗結果表明，該算法的融合效果有顯著改善，并且算法速度也有提高，使得圖像融合技術能夠在軍事、工業、交通等領域中得到更好的實際應用。

[1] WANG W， CHANG F， JI T. Fusion of multi-focus images based on the 2-generation curvelet transform[J]. International Journal of Digital Content Technology and Its Applications， 2011， 5(1)：33-42.

[2] BIN Yang， LI Shutao. Multifocus image fusion and restoration with sparse representation[J]. IEEE Trans. Instrumentation and Measurement，2010， 59(4)：884-892.

[3] 陳垚佳，張永平，田建艷.基于分塊過完備稀疏表示的多聚焦圖像融合[J].電視技術，2012，36(13)：48-51.

[4] 余南南，邱天爽.稀疏表示的自適應遙感圖像融合算法[J].信號處理，2013，29(6)：663-667.

[5] BIN Yang，LI Shutao. Pixel-level image fusion with simulta- neous orthogonal matching pursuit[J]. Information Fusion， 2012，13(1)：10-19.

[6] LI Shutao，YIN Haitao，FANG Leyuan. Remote sensing image fusion via sparse representations over learned dictionaries[J]. IEEE Trans. Geoscience and Remote Sensing， 2013， 51(9)： 4779-4789.

[7] JIANG C， ZHANG H， SHEN H， et al. Two-step sparse coding for the pan-sharpening of remote sensing images[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing， 2014， 7(5)：1792-1805.

[8] 練秋生，張偉.基于圖像塊分類稀疏表示的超分辨率重構算法[J].電子學報，2012，40(5)：920-925.

[9] 翟雪含，朱衛平，康彬.結合KSVD和分類稀疏表示的圖像壓縮感知[J].計算機工程與應用，2015(6)：193-198.

[10]QU G， ZHANG D， YAN P. Information measure for performance of image fusion[J]. Electronics Letters， 2002， 38(7)： 313-315.

陳利霞(1979— )，女，博士，副教授，研究方向為數字圖像處理、小波、偏微分方程及應用；

李 子(1990— )，女，碩士生，研究方向為圖像融合、稀疏表示；

袁 華(1975— )，碩士，講師，研究方向為圖像處理、智能信號處理，本文通訊作者；

歐陽寧(1972— )，碩士，教授，研究領域包括智能圖像處理、智能信息處理、數據融合、計算機應用等。

責任編輯：時 雯

Image Fusion Algorithms Based on Sparse Representation of Classified Image Patches

CHEN Lixiaa，b，c，LI Zid，YUAN Huad，OUYANG Ningd

(a.GuangxiCollegesandUniversitiesKeyLaboratoryofIntelligentProcessingofComputerImagesandGraphics；b.SchoolofMathematicsandComputingScience；c.GuangxiKeyLaboratoryofCryptographyandInformationSecurity；d.SchoolofInformationandCommunication，GuilinUniversityofElectronicTechnology，GuangxiGuilin541004，China)

To solve the problem of the fusion algorithm based on sparse representation ignores the local characteristics of the image， an algorithm based on sparse representation of classified image patches is proposed in this paper. In this method， image patches are divided into the smooth， the edge and the texture categories according to local features of the image. The edge and texture structure patches are applied into training the corresponding redundant dictionary. During the fusion process， arithmetic average approach is used for smooth structure patches while edge and texture structure patches are fused by sparse representation algorithm using their corresponding dictionary， and the residual images of the sparse edge structure are fused by a wavelet fusion method. Experiment results show that the proposed algorithm significantly improves the subjective performance and objective performance indexes of fused image and has faster speed than other single dictionary methods.

patch classification；sparse representation； image fusion

國家自然科學基金項目(61362021)；廣西自然科學基金項目(2013GXNSFDA019030；2013GXNSFAA019331；2012GXNSFBA053014；2012GXNSFAA053231；2014GXNSFDA118035)；廣西科技開發項目(桂科攻1348020-6；桂科能1298025-7)；廣西教育廳項目(201202ZD044；2013YB091)；廣西高校圖像圖形智能處理重點實驗室資助項目(GIIP201408)；桂林市科技攻關項目(20130105-6；20140103-5)；桂林電子科技大學研究生教育創新計劃資助項目(GDYCSZ201462)

TN911.73

A

10.16280/j.videoe.2015.17.005

2014-12-25

【本文獻信息】陳利霞，李子，袁華，等.基于塊分類稀疏表示的圖像融合算法[J].電視技術,2015，39(17).

驗結果證明，該算法相對于單一字典稀疏表示算法，在融合圖像的主觀評價和客觀評價指標上都有顯著改進，并且算法速度也有提高。