改進的基于稀疏表示的多聚焦圖像融合

首照宇，胡 蓉，歐陽寧

(桂林電子科技大學a.認知無線電與信息處理省部共建教育部重點實驗室;b.信息與通信學院，廣西桂林541004)

由于受到光學系統景深的限制，光學照相機很難在一幅圖像中使所有目標同時聚焦清晰，而多聚焦融合技術能夠有效的解決這一問題，多聚焦圖像融合的主要任務就是充分利用不同聚焦點圖像的互補和冗余信息得到一幅質量更高，對該場景描述更為準確的新圖像，便于人們觀察或計算機處理。

近年來，稀疏表示作為一種有效的表示模型廣泛應用到信號和圖像處理的各個領域，并成功地解決了很多問題，包括圖像融合［1－3］、盲源分離、圖像去噪［4－5］、圖像的超分辨率［6］等。Ahorn［7］等指出圖像的特征可以由較少的系數精確表示，過完備稀疏表示采用過完備基代替正交基，用少量元素表示圖像特征，由于其基函數具有冗余性，所以過完備基函數相比正交基函數具有更好的稀疏表達能力。稀疏表示融合算法是通過求得稀疏系數來作為信號的特征，對稀疏系數進行融合。

在稀疏分解中，最基本的問題是字典的選擇，在選擇時需盡可能地符合信號自身的內在結構。根據選擇的字典可以將稀疏表示融合算法歸為兩類:第一類是基于解析字典［8］的稀疏表示算法，這類算法簡單，計算復雜度低，但是過分依賴圖像的幾何特征，不能保證信號的稀疏性，常用的字典有DCT、小波變換［9－10］、Contourlet變換等。文獻［1］中LIShutao等提出基于稀疏表示的圖像融合與恢復算法，在稀疏分解模型中采用DCT字典，稀疏能力較差。第二類是基于學習字典的稀疏表示算法，通過訓練樣本，它能夠更為準確地從樣本數據中提取復雜的圖像特征，更好地稀疏表示圖像的各種特征，具有很好的自適應性，常用的字典學習的算法有 PCA，MOD，K －SVD［7，11］算法。但由于復雜度的約束限制了在字典學習過程中字典和原子的大小，所以這些字典常用于低維分塊數據處理。文獻［2］中陳垚佳等提出了一種基于分塊過完備稀疏表示的多聚焦圖像融合算法(SR)，該算法采用K－SVD過完備字典，具有很好的收斂速度，適應性更強，但是SR算法中，對源圖像塊直接進行稀疏分解，存在有很大的冗余性，并且稀疏分解模型中本身就存在殘余量的丟失，融合信息缺乏完整性。

針對以上文獻算法存在的問題，本文提出改進的基于稀疏表示的圖像融合算法(ISR)。在稀疏分解中，通過采用平均法去除冗余信息，僅對互補信息構成的樣本矩陣進行稀疏分解，這不僅能降低計算復雜度，同時也能減少信息的冗余，降低誤差。利用小波變換對稀疏表示中的殘余信息進一步進行融合處理，這樣在最終的融合結果中，沒有丟失任何信息，保證了收斂速度。

1 相關工作

1.1 稀疏表示基本理論

稀疏表示是假設自然信號可以由字典的一些原子的線性組合有效地表示或逼近，稀疏表示問題的求解等同于優化問題

式中:A為樣本矩陣V的稀疏表示系數;D∈RN×K(K＞N)，為過完備字典;‖A‖0為A的l0范數，即向量A中非零元素的個數;ε為逼近誤差容限。稀疏逼近問題是一個NP－hard問題，從稀疏分解來講，有很多種算法來求解這一問題，其中，有三種基本的算法:匹配追蹤(MP)、正交匹配追蹤［3，12］(OMP)和基追蹤 (BP)。相比其他兩種算法，OMP具有更好的收斂性，是常用的稀疏分解算法。

1.2 SR融合算法

由于稀疏表示可以全局的處理圖像，而圖像融合則依賴于源圖像的局部信息，同時考慮字典的計算復雜度，所以需先對待融合圖像A，B進行分塊處理，使之成為維數較小的圖像塊，并將每個圖像塊轉化成列向量，具體分塊過程如圖1所示。大小為N×N的第j塊圖像轉換成列向量形式，用V j表示，圖像A、B所有塊構成的樣本矩陣分別用V A，V B表示。

圖1 源圖像分塊處理過程

文獻［1］提出的方法中，采用滑動窗口步長為1個像素的分塊方法，結合OMP與DCT過完備字典進行稀疏分解，但是DCT字典的空間域的局部性差，對邊界結構的稀疏能力差，采用了絕對值取大的融合規則，只選取活度級最大的特征，所以會導致圖像輪廓過清晰，平滑性較差。

文獻［2］提出的SR融合算法對此方法進行了改進，首先對源圖像進行分塊處理，采用OMP算法結合已訓練的K－SVD過完備字典D進行稀疏分解。其中，過完備字典D采用50幅自然圖像進行訓練得到，采用滑動窗技術將其進行N×N分塊(方法與圖1相同)構成樣本矩陣X，再通過K－SVD算法進行字典訓練。絕對值取大的融合規則會使融合圖像產生塊效應，而平均規則會使融合圖像對比度下降，丟失部分細節信息，所以，文獻中采用加權平均的規則，對圖像異同的特征都進行重構，獲得信息量更加豐富。假設系數的稀疏度為cA和cB，稀疏度越大，說明攜帶的信息量越多，將稀疏系數的活動級作為加權因子wA和wB，加權因子計算方法為

2 ISR融合算法

本文針對文獻［2］中源圖像塊直接進行稀疏分解而存在大量的冗余信息，稀疏分解模型中殘余量丟失的缺點，提出改進的基于稀疏表示的圖像融合算法(ISR)。

由于同一場景的多幅圖像之間存在大量的冗余信息，而圖像融合處理主要通過處理圖像之間的互補信息來提高圖像的清晰度。該算法通過對源圖像進行分塊，然后求各塊的平均值來得到圖像之間的冗余信息，僅對去冗余后的互補信息進行稀疏分解，冗余信息保留不變，其原理模型如圖2所示。對待融合的源圖像A、B進行分塊處理，所有塊構成的樣本矩陣分別用V A，V B表示，而需保留的部分可通過平均值求得，構成平均矩陣V A'，V B'，而對于待融合的多聚焦圖像，每幅圖中在不同位置會有模糊部分和聚焦部分，對于兩幅圖中的同一圖像塊來說，求得的平均值也有所不同，該算法中采用比較的方式選取最終的平均矩陣V A″，V B″(V A″=V B″)，這樣會使得圖像的信息更加完整豐富，最后得到待稀疏表示的樣本矩陣A'=V A－V A'，B'=V B－V B'。

圖2 冗余處理的原理模型

在稀疏編碼中，OMP具有較好的收斂性，但其收斂速度依賴于字典和信號的一致性，當殘余圖像的量在某種程度上衰減時，它將很難搜索到與殘余圖像一致的最佳原子，因此，收斂速度會急劇下降，從而影響到整體的融合速度，本文進一步對OMP算法稀疏分解后得到的殘余量采用小波變換法進行融合。OMP完成稀疏分解的過程等同于求解優化方程

式中:D為訓練字典;a為稀疏系數;x為對應樣本矩陣A'，B'的每一列;T為容限誤差;為待求的稀疏系數，在求解式(5)的同時，也可以求出每個稀疏系數的殘余量

求得的殘余量構成最終的殘余矩陣RA，RB，采用小波變換法對殘余矩陣進行融合，對高頻系數采用絕對值取大，低頻系數采用算術平均的融合規則進行處理，通過逆小波變換得到最終的融合的殘余量RC。

ISR融合算法的原理如圖3所示，具體的融合步驟如下。

圖3 圖像融合算法框圖

1)圖像分塊。字典原子大小為N2，設兩幅大小為M×M的待融合圖像A，B，按原子大小逐像素分為P1，P2個N×N大小的圖像塊，所以每幅圖的塊數P1=P2=(M+N－1)×(M+N－1)，將每個圖像塊按列向量進行排列，構成樣本矩陣VA，VB。

2)去平均。分別對樣本矩陣VA，VB各列求平均，得到新的樣本矩陣VA'，VB'，采用式(2)的加權平均法進行比較，得到保留的冗余信息的矩陣VC。

3)稀疏分解。進行稀疏分解的樣本矩陣為A'=VA－VA'，B'=VB－VB'，將A'，B'在已訓練的K －SVD 過完備字典D上采用OMP算法實現稀疏分解，求得稀疏矩陣A″和B″以及每圖像塊的殘余量，構成殘余矩陣RA，RB。

4)稀疏系數融合。本文采用式(2)的加權平均方法對稀疏系數A″和B″進行融合，得到融合系數L，融合系數L與過完備字典D線性組合得到融合圖像LC。

5)殘余量的融合。采用小波變換對殘余矩陣RA，RB進行融合，得到融合圖像RC。

6)融合圖像。得到最終融合圖像F=LC+RC+VC。

7)圖像重構。將融合圖像F恢復為數據塊，并按分塊時的順序重新排列，對重疊塊取平均來實現圖像重構，最后，得到重構圖像f，實現了整個圖像融合過程。

3 實驗及分析

實驗采用2組已配準的大小分別為256×256，240×320的多聚焦圖像，如圖4所示，對比算法為小波變換法、Contourlet變換法、SR算法。小波變換法采用低頻系數加權平均，高頻系數絕對值取大的融合規則;基于Contourlet變換法對圖像進行5層分解，采用低頻系數算術平均，高頻系數絕對值取大的融合規則;SR算法是OMP算法與K－SVD字典訓練進行稀疏分解，采用加權平均的融合規則。融合結果如圖5所示，從視覺效果來看，小波變換法的輪廓比較模糊，Contourlet變換法的輪廓清晰，但輪廓周圍出現了嚴重的虛影現象，這是由于圖像在分解過程中進行下采樣所致，SR算法得到的融合圖像整體偏亮，而本文提出的ISR算法無論從圖像的對比度還是清晰度都有較好的效果。

圖4 多聚焦圖像

圖5 融合結果的主觀對比圖

除了視覺效果外，實驗中還采用幾種客觀評價作為融合圖像的評價指標，由于不存在標準圖像來進行比較，在客觀評價上，本文采用互信息量(MI)、結構相似度(Qabf)、空間頻率(SF)、平均梯度這四個指標［13］來評價實驗結果。MI反映融合圖像從源圖像中繼承的信息量的多少;Qabf反映融合圖像與源圖像的結構相似程度;SF反映融合圖像空間域總體的活躍程度;平均梯度反映融合圖像的清晰程度，其中，MI，SF以及平均梯度越大，Qabf值越接近于1，說明融合性能越好。表1給出了不同融合方法的客觀評價指數，可以看出，在兩組圖像中，小波變換算法的SF明顯高于Contourlet算法，略高于SR算法，由于圖像性質以及內容的不同，客觀指標值也會有所波動，Clock圖像中SR算法的總體效果比小波變換算法和Contourlet算法好，但是在Label圖像中，總體效果卻略差，但是ISR算法在各個評價指標上都要高于其他方法，在性能上得到了較大的提高。

表1 不同融合方法的客觀評價指數

4 小結

本文提出一種改進的基于稀疏表示(ISR)的多聚焦圖像融合算法。與以往的SR融合算法不同的是，本文僅對去平均后的圖像系數進行稀疏分解，降低了圖像的冗余性，并對OMP稀疏分解中的殘余量進行進一步小波融合，得到重構圖像，使圖像的信息不會丟失。實驗結果證明無論是從主觀視覺上還是客觀指標評價上，該算法都取得了較好的融合效果，與小波融合算法相比，它能夠更好地保留邊緣信息和梯度信息，與Contourlet融合算法相比，空間頻率得到了很大的提高，與SR算法相比，ISR算法提高了圖像的空間細節信息，使圖像更加清晰，融合質量更高。但由于ISR算法需進行字典訓練，所以在計算效率上比其他算法略低，在后續的工作中，將從字典學習方法以及融合規則方面考慮來進一步提高算法的性能。

［1］ BIN Y，LIS.Multifocus image fusion and restoration with sparse representation［J］.IEEE Trans.Instrumentation and Measurement，2010，59(4):884－892.

［2］陳垚佳，張永平，田建艷.基于分塊過完備稀疏表示的多聚焦圖像融合［J］.電視技術，2012，36(13):48－51.

［3］ BINY，LIS.Pixel－level image fusion with simultaneousorthogonal matching pursuit［J］.Information Fusion，2012，13(1):10－19.

［4］ ELAD M，AHARONM.Image denoising via sparse and redundant representations over learned dictionaries［J］.IEEE Trans.Image Processing，2006，15(12):3736－3745.

［5］ LIS，FANG L，YIN H.An efficient dictionary learning algorithm and its application to 3D medical image denoising［J］.IEEE Trans.Biomedical Engineering，2012，59(2):417－427.

［6］ DONGW，ZHANG L，SHIG.Centralized sparse representation for image restoration［C］//Proc.ICCV 2011.［S.l.］:IEEE Press，2011:1259－1266.

［7］ AHARN M，ELAD M，BRUCKSTEIN A.K－SVD:an algorithm for designing overcomplete dictionaries for sparse representation［J］.IEEE Trans.Signal Processing，2006，54(11):4311－4322.

［8］ RUBINSTEIN R，ZIBULEVSKY M，ELAD M.Double sparsity:learning sparse dictionaries for sparse signal approximation［J］.IEEE Trans.Signal Processing，2010，58(3):1553－1564.

［9］ LIX，ROUX M，HEM，etal.A new method of image fusion based on redundantwavelet transform［C］//Proc.VIE 2008.［S.I.］:IEEE Press，2008:12－17.

［10］ LEWIS J，O’CALLAGHAN R，NIKOLOV S，et al.Pixel－and regionbased image fusion with complex wavelets［J］.Information Fusion，2007，8(2):119－130.

［11］ ZELNIK－MANOR L，ROSENBLUM K，ELDAR Y.Dictionary optimization for block－sparse representations［J］.IEEE Trans.Signal Processing，2012，60(5):2386－2395.

［12］ DAVENPORT M，WAKIN M.Analysis of orthogonal matching pursuit using the restricted isometry property［J］.IEEE Trans.Information Theory，2010，56(9):4395－4401.

［13］ QU Guihong，ZHANG Dali，YAN Pingfan.Information measure for performance of image fusion［J］.Electronics Letters，2002，38(7):313－315.