改進的稀疏表示圖像超分辨率復原算法

邱大偉，劉彥隆

(太原理工大學 信息工程學院，山西 太原030024)

?

改進的稀疏表示圖像超分辨率復原算法

邱大偉，劉彥隆

(太原理工大學 信息工程學院，山西 太原030024)

摘要:針對信號的稀疏分解特征，結合圖像的超分辨率復原的特點，提出了基于稀疏表示的圖像超分辨率復原算法，對兩個過完備字典的訓練過程、稀疏表示復原算法處理過程進行闡述，同時對改進算法中采用的優化的特征提取算法和自適應邊緣方向插值優化低分辨率圖像的初始估計兩個過程進行詳細描述，并通過MATLAB對其進行仿真和驗證，實驗結果表明，改進算法的復原效果進一步提高，圖像細節能夠得到恢復，獲得更好的魯棒性。

關鍵詞:稀疏表示；特征提?。贿吘壊逯?/p>

超分辨率圖像復原一直是一個熱門研究對象，它解決的是不改變硬件的條件下改善圖像質量的同時重建成像系統截止頻率之外的信息的問題。超分辨率復原算法主要分為基于重建的方法和基于學習的方法，基于重建的方法主要是要獲取一個精確的圖像獲取模型，人為地構造高分辨率圖像的先驗約束，低分辨率圖像由模型估計出高分辨率圖像，比較經典的算法就是POCS算法，文獻[1]就是利用POCS算法進行圖像超分辨率重建，論文中復原算法包括3個部分：構造參考幀、進行運動估計和對參考幀進行修正；文獻[2]將改進后的小波融合技術運用到運動模糊圖像復原中，算法的思想是將Randon變換和微分自相關法巧妙地結合起來得到模糊尺度，再利用小波融合技術進行復原，得到了較好的圖像邊緣細節信息。由于重建方法的先驗約束人為操作因素較大，重建靈活性不高，所以提出了基于學習的重建算法，用學習過程獲得先驗知識，取代重建中人為定義的平滑約束項，因為不同圖像在高頻細節上具有相似性，所以通過學習算法獲得大量圖像高分辨率和低分辨率之間的關系，對于輸入的低分辨率圖像利用這種關系就能得到高分辨率圖像，由William T.Freeman提出的利用馬爾科夫隨機場實現的基于示例學習的超分辨率復原算法是比較經典的學習復原算法，如文獻[3]，Freeman通過大量的輸入高分辨率圖像訓練得到高低分辨率匹配對作為學習字典，利用KD樹算法檢索補丁對，再通過置信傳播算法進行全局能量優化，最終得到復原圖像；文獻[4]提出的稀疏混合估計的方法實現圖像超分辨率復原，通過正交匹配追蹤減少混合系數的計算，利用稀疏小波混合插值實現圖像復原；文獻[5]提出的利用非局部自回歸模型進行稀疏表示的圖像超分辨率復原，算法利用非局部自回歸矩陣S、權重矩陣λ和η、PCA字典ψ不斷更新當前圖像估計x，通過最小化能量函數進行圖像的超分辨率復原；文獻[6]尋找每一個輸入低分辨率塊的稀疏表示，通過這個稀疏表示系數和過完備字典來生成高分辨率圖像，過完備字典是通過學習訓練庫中高分辨率和低分辨率圖像的對應關系得到的。

本文算法是在文獻[6]算法上的改進，改進過程分為以下兩個部分：1)二維特征提取的改進；2)用邊緣方向插值代替雙三次插值作為高分辨率圖像的初始估計。

1圖像降質的稀疏表示

設X為高分辨率圖像，Y為低分辨率圖像，x為X的圖像塊，y為Y的圖像塊，則x與y之間有如下關系

y=Lx=LDα

(1)

式中：L為投影矩陣，D為過完備字典，α為稀疏表示。

構造兩個字典：高分辨率字典Dh和低分辨率字典Dl，對于每一個高分辨率圖像塊和低分辨率圖像塊有相同的稀疏表示。

高分辨率圖像塊x可以通過高分辨率字典Dh和稀疏表示α得到

x≈Dhα

(2)

稀疏表示α是通過低分辨率圖像塊y和低分辨率字典Dl得到的，所以組合所有的圖像塊x即得到復原的高分辨率圖像塊。

主要的問題就是稀疏表示α的確定，用式(3)來計算

(3)

式中：F為特征提取，后面章節將介紹F的獲得過程。

為了使得到的稀疏表示α更加稀疏，用l1范數代替0范數，如

(4)

求解式(5)即可得

(5)

以上算法是經典圖像稀疏表示模型，但是算法存在一個主要的問題：沒有考慮圖像塊之間的關系，所以考慮到鄰近圖像塊的相關性，設置了圖像塊之間的重疊區域，式(4)可寫成

min‖α‖1

(6)

式中：P為復原區域與復原區域的重疊部分，ω為重疊部分中之前復原部分。進一步得到

(7)

解此式即得到稀疏表示а，進一步可得到高分辨率圖像X。

2稀疏表示的圖像復原

低分辨率圖像Y可以由高分辨率圖像X通過模糊和下采樣得到，即

Y=SHX

(8)

式中：H為模糊濾波器。

稀疏表示的圖像復原過程就是求式(9)的過程

(9)

式中：X0為通過稀疏表示得到的高分辨率圖像；X*為最終的高分辨率圖像。

完整的算法流程圖如圖1所示。

3過完備字典學習算法

影響稀疏表示復原效果好壞的一個主要因素是字典的選擇，字典通?？梢酝ㄟ^兩種方法得到：1)由已知的信號變換構造出字典，如小波變換、Contourlet變換等；2)由給定的訓練數據進行學習構造出字典，如K-SVD樹字典學習算法、在線字典學習算法等[7]。

過完備字典學習算法被廣泛用于信號的稀疏表示中，字典學習算法首先從訓練數據開始，設M為一組訓練數據，把M放入一個N×L的矩陣中，即M∈RN×L,通過字典訓練求的字典D∈RN×L和對應的稀疏表示α∈RN×L，這時要滿足約束條件即保證信號殘差ε=M-Dα和稀疏表示α均最小，即

(10)

高分辨率字典Dh計算公式如

(11)

低分辨率字典Dl計算公式如

(12)

字典訓練過程流程圖如圖2所示。

4改進的稀疏表示復原算法

對原始稀疏表示超分辨率復原算法的改進主要集中在兩個方面：特征提取的改進、初始估計的改進。

4.1特征提取方法的改進

圖像邊緣是圖像的重要特征，邊緣特征提取是圖像復原關鍵的一部分。前面提到特征提取F就是本文算法提取的圖像邊緣特征，是為了使訓練出來的字典適用于大多數和訓練數據相關的低分辨率復原圖像，這樣可以使得到的復原高分辨率圖像分辨率更高。

算法中利用MATLAB函數庫中conv2(二維卷積運算函數)進行圖像的粗邊緣提取，利用的是一階、二階梯度濾波算法。一階梯度濾波算子如圖3a、3b所示，二階梯度濾波算子如圖3c、3d所示。

改進算法中對二階梯度濾波算法的算子進行改進，如圖4a、4b所示。

以圖5為例，分別進行原始二階梯度濾波的圖像特征提取和改進后二階梯度濾波的圖像特征提取處理，結果如圖6所示，改進后的特征提取算法提取的特征更細膩，保留了更多的高頻細節。后文將講述這樣改進將使圖像的復原效果進一步提高。

4.2復原算法初始估計的改進

原始算法對于輸入低分辨率圖像先進行雙三次插值放大，得到高分辨率的初始估計，雙三次插值雖然效率很高，但是插值效果卻有待提高，為了提高復原效果，將用邊緣方向插值代替雙三次插值，改進算法的處理效果較之前明顯改善。

邊緣方向插值的基本思想為：利用高分辨率圖像和低分辨率圖像協方差的幾何對偶性質，用可以計算

的低分辨率圖像的局部協方差系數對高分辨率圖像進行自適應插值。

算法原理如下：

輸入低分辨率圖像Xi,j(尺寸是H×W)，用式(13)進行圖像插值

Y2i,2j=Xi,j

(13)

(14)

Y2i+1,2j+1是插值得到的高分辨率圖像，α是線性插值系數，它的計算公式如

α=R-1r

(15)

式中：R=[Rkl],(0≤k,l≤3) r=[rk],(0≤k≤3)是高分辨率圖像的局部協方差系數，利用高分辨率圖像和低分辨率圖像協方差的幾何對偶性可以由低分辨率圖像的協方差計算出高分辨率圖像的協方差，幾何對偶性是指高分辨率圖像和低分辨率圖像沿相同方向的協方差是一致的，如圖7所示。

圖7中可以看到，當從Y2i,2j插值到Y2i+1,2j+1時的高分辨率協方差Rkl,rk和低分辨率協方差Rkl,rk是幾何對偶的，幾何對偶能促使不用明確估計邊緣方向的情況下就能夠計算二維信號的局部協方差。

用經典計算協方差的方法很容易計算出低分辨率圖像的協方差如下

(16)

y=[y1,…,yk,…,yM2]T是低分辨率圖像中M×M像素大小的一個數據變量，C是yk的沿對角線方向的4個相鄰像素點，所以根據上面兩個公式再根據高低分辨率協方差的一致性可以得到系數α為

α=(CTC)-1(CTy)

(17)

所以可以利用公式(14)進行邊緣方向插值，改進復原效果。

5仿真結果

對于輸入的彩色圖像，根據人眼的視覺特性對亮度信息比較敏感，將彩色圖像進行顏色空間的分離，分解成y、cb和cr三個分量，對y分量進行改進的稀疏表示的圖像復原處理，對cb和cr分量只進行雙三次插值處理。圖像的評價是通過計算y分量的峰值信噪比(Peak Signal to Noise Ratio，PSNR)來完成，PSNR值越高，重建的效果越好。

5.1圖像復原

對于如圖8a所示的大小為256×256的高分辨率圖像，對其進行下采樣2倍得到128×128的低分辨率圖像作為輸入低分辨率圖像，如圖8b所示，算法處理過程中的圖像塊尺寸是5×5大小的像素，塊與塊之間的重疊像素是4，字典大小為512，稀疏正則化參數λ是0.15，稀疏正則化參數的取值依賴于輸入圖像的噪聲水平，本次仿真輸入的圖像是低噪聲圖像，所以取λ=0.15，采樣的圖像塊的個數取值為110 000。如圖8所示為文獻[6]稀疏表示原始算法和改進稀疏表示復原算法的復原效果比較圖。

從圖8可以看出，改進算法重建效果明顯優于插值算法的結果，雙三次插值結果過于模糊且缺乏高頻信息。通過對重建圖像的PSNR值比較可以知道改進算法得到的圖像的PSNR值較高，說明改進算法有效。

對于Lena輸入圖像，分別采用雙三次插值、稀疏表示算法和改進的稀疏表示復原算法進行處理，目標放大倍數設置為2倍，如圖9所示，可見改進算法在視覺效果上較雙三次插值有明顯提高，不僅保留大部分圖像細節，而且復原出的圖像更接近于原始圖像，比較PSNR值后發現也較稀疏表示原始算法有所提高。

5.2圖像特征提取對復原效果的影響

圖像復原中的字典學習不是對訓練圖像直接訓練，而是針對圖像的特征向量，因為直接對訓練樣本的特征進行學習，能夠更好地抓住圖像的高頻分量之間的聯系，進而準確地預測出高分辨率圖像的高頻信息，所以圖像特征提取算法的選取直接影響重建的效果。

圖像特征提取比較典型的方法包括：一階、二階梯度濾波算法、拉普拉斯濾波算法、索貝爾算法、普利維特算法和羅伯茨算法等，原始圖像稀疏復原算法中的特征提取采用一階、二階梯度濾波算法，以低分辨率Lena圖像作為輸入圖像，目標放大倍數為2倍，將以上特征提取算法分別用于稀疏表示的改進算法中，可以得到表1所示的PSNR值。

表1圖像特征提取算法對復原效果的影響

從表1的PSNR值可以看到，改進一階、二階梯度濾波算法作為低分辨率圖像的圖像特征提取算法得到更高的PSNR值，說明改進的特征提取方法的有效性。

5.3目標放大倍數對復原效果的影響

對于圖像超分辨率復原，還比較關心不同目標的放大倍數進行復原的問題，如圖10所示為改進稀疏表示算法對于Lena低分辨率圖像分別在放大倍數為2和4時的復原結果。

從圖10可以看出，隨著放大倍數的增加，復原效果卻在減弱。通過比較表2的不同算法在不同放大倍數下的PSNR值可以看到隨著放大倍數的增加，復原效果明顯變差。

表2不同目標放大倍數對復原效果的影響

6結論

雖然稀疏表示的圖像超分辨率復原算法較傳統的基于重建的超分辨率復原算法取得更好的效果，但由于其復雜度較高，學習過程效率明顯偏低，所以在工程上的應用并不多，如何提高學習過程的效率是接下來要注重研究的問題。

本文改進算法首先對圖像特征提取過程進行改進，通過不斷探索，找到了一條改進策略，提高了圖像復原的效果，同時，算法在初始估計上也進行了改進，對于輸入的低分辨率圖像，通過邊緣方向插值代替原始的雙三次插值，實現圖像的初始放大。

算法中同時用到了迭代反投影算法對重建的圖像進行全局約束，而這種算法有一個很大的缺點：對高分辨率圖像的錯誤校正具有局限性，接下來的工作也將繼續尋找最優的全局約束算法，改善復原效果。

參考文獻：

[1]肖杰雄．基于POCS算法的超分辨率圖像重建[D]．上海：上海交通大學，2009．

[2]趙環旭，滕青芳．小波融合技術在運動模糊圖像復原中的應用[J]．電視技術，2014，38(5)：9-11．

[3]FREEMANWT，LIUC．Advancesinmarkovrandomfieldsforvisionandimageprocessing[M].Boston，USA：MITPress，2011．

[4]MALLATS，YUG．Super-resolutionwithsparsemixingestimators[J]．IEEEtransactionsonimageprocessing，2010，19(11)：2889-2900．

[5]DONGWS，ZHANGL，RASTISLAVL，etal.Sparserepresentationbasedimageinterpolationwithnonlocalautoregressivemodeling[J]．IEEEtransactionsonimageprocessing，2013，22(4)：1382-1394．

[6]YANGJC，WRIGHTJ，THOMASS，etal.Imagesuper-resolutionviasparserepresentation[J]．IEEEtransactionsonimageprocessing，2010，19(11)：2861-2873．

[7]吳煒，陶青川．基于學習的圖像增強技術[M]．西安：西安電子科技大學出版社，2013：141-143．

Improved image super-resolution via sparse representation

QIU Dawei，LIU Yanlong

(CollegeofInformationEngineering，TaiYuanUniversityofTechnology，Taiyuan030024，China)

Key words:sparse representation; feature extraction; edge interpolation

Abstract:In view of the feature on signal sparse decomposition, together with the characteristic of the image super-resolution, an algorithm of image super-resolution via sparse representation is designed in this paper. The training process of the two over-complete dictionary and the processing procedure of the resolution via sparse representation is described. And then, the improved algorithm of the optimizing the feature extraction algorithm and optimizing the initial value of low-resolution image with adaptively selects the directional edge direction interpolation are described in detail. Meanwhile, the simulation and verification are also given based on MATLAB. Experimental results show that improved algorithm can effectively extract more superior quality than original algorithm, image can be directly restored. At the same time, the improved algorithm can obtain better robustness.

中圖分類號:TN957.52

文獻標志碼:B

DOI：10.16280/j.videoe.2016.01.027

基金項目：山西省自然科學基金項目(2013011017-3)

作者簡介：

邱大偉(1991— )，碩士生，主要研究方向為圖像處理、模式識別；

劉彥隆(1965— )，碩士生導師，主要研究方向為圖像編碼、圖像處理、語音識別，為本文通訊作者。

責任編輯：許盈

收稿日期：2015-06-13

文獻引用格式：邱大偉，劉彥隆.改進的稀疏表示圖像超分辨率復原算法[J].電視技術,2016，40(1)135-140.

QIU D W，LIU Y L. Improved image super-resolution via sparse representation[J].Video engineering,2016,40(1)：135-140.