基于K-SVD的自適應選擇字典的超分辨率重建算法?

基于K-SVD的自適應選擇字典的超分辨率重建算法?

薛冰王春興

（山東師范大學濟南250358）

超分辨率技術(shù)是由低分辨率圖像復原出高分辨率圖像的技術(shù)，在計算機視覺系統(tǒng)中發(fā)揮重要的作用。針對傳統(tǒng)基于學習算法的不足，提出一種基于K-SVD的自適應選擇字典的超分辨率重建算法。該方法基于稀疏超分辨率模型，利用圖像相似性和冗余特性，并結(jié)合圖像金字塔結(jié)構(gòu)，采用低分辨率圖像本身來訓練高、低分辨率字典對。同時在稀疏重構(gòu)時應用正則正交匹配追蹤（Regularized Orthogonal Matching Pursuit，ROMP）提高重構(gòu)的精度和速度；最后利用人眼的視覺特性，采用一種自適應選擇字典的算法，提高了重建的效率。實驗結(jié)果表明，與傳統(tǒng)的超分辨率算法相比，該算法不但有更高的峰值信噪比（Peak Signal to Noise Ratio，PSNR）結(jié)構(gòu)相似性（Structural Similarity，SSIM），且計算速度更快。

圖像超分辨率；稀疏字典；圖像金字塔

Class NumberTP301.6

1 引言

圖像超分辨率重建技術(shù)［1～2］就是采用信號處理技術(shù)，從單幀或多幀低分辨率圖像中估計出質(zhì)量較好的高分辨率圖像。該技術(shù)廣泛應用于高清數(shù)字電視、衛(wèi)星成像、公共安全和醫(yī)學成像等領(lǐng)域。目前，圖像的超分辨率算法包括：基于插值的算法、基于重建的算法［3～4］和基于學習的算法。基于插值的方法最直觀且算法簡單易行，可用于并行計算，但高頻細節(jié)損失明顯，從而造成圖像模糊。基于重建的方法利用圖像的降質(zhì)模型，引入不同的先驗信息來重建圖像，雖然重建結(jié)果保留了更多圖像細節(jié)，但當分辨率提升要求較高（4倍以上）時，先驗假設存在較大誤差，造成獲取的亞像素運動信息不準確，重建效果一般不理想。

基于學習的方法是利用高分辨率圖像庫和圖像退化模型獲得一個高低分辨率的圖像訓練庫，然后通過一定的學習方法得到高低分辨率圖像之間的關(guān)系，最后利用優(yōu)化算法對待重建的低分辨率圖像進行優(yōu)化，重構(gòu)出相應的高分辨率圖像。1999年，F(xiàn)reeman等［5］提出利用馬爾可夫網(wǎng)絡模型來表示訓練庫中高、低分辨圖像塊的對應關(guān)系，然后根據(jù)貝葉斯最大后驗估計（Maximum A Posteriori，MAP）準則和最速下降法求出局部最大值。該方法使用更多的先驗信息，重建的圖像細節(jié)也更豐富，但是該方法需要耗費大量的訓練時間來構(gòu)建圖像塊對生成馬爾可夫網(wǎng)絡。Yang［6～7］（SCSR）等提出基于稀疏表示的超分辨率重建算法從大量自然圖像中學習得到高低分辨率字典對，運用稀疏表示原理重構(gòu)出高分辨率圖像。Zeyde在［8］Yang提出算法的基礎上采用K-SVD［9］算法訓練字典，很大程度地提高了字典訓練的速度，同時保持了重建圖像的質(zhì)量。基于稀疏表示的超分辨率方法關(guān)鍵在于字典的構(gòu)造，當前常用的方法是通過學習由大量高分辨率圖像組成的樣本庫得到字典。但是，如果待處理的低分辨率圖像和樣本圖像相關(guān)度不高，重建后的高分辨率圖像就會帶有明顯的人工效應，降低重建圖像的質(zhì)量。

因此，針對以上問題，本文提出了一種基于K-SVD的自適應選擇字典的超分辨率重建算法。本文在稀疏表示的超分辨率模型基礎上，利用圖像自相似性［10～11］和冗余特性，并結(jié)合圖像金字塔結(jié)構(gòu)，采用低分辨率圖像自身訓練得到高、低分辨率塊之間的對應關(guān)系，建立稀疏字典對，減少了對圖像庫的依賴；同時在稀疏重構(gòu)時應用正則正交匹配追蹤（Regularized Orthogonal Matching Pursuit，ROMP）［12］提高重構(gòu)的精度和速度；最后利用人眼的視覺特性，采用一種自適應選擇字典的算法，提高了重建的效率，減少重建時間。

2 基于稀疏表示的超分辨率重建模型

圖像的稀疏表示是圖像或圖像信號可以利用過完備字典原子庫［13～15］中一系列合適的原子進行線性組合來進行逼近。給定圖像y和過完備字典D，可以利用D中一系列合適的基線性組合來表示圖像y。其中的數(shù)學關(guān)系可表示為式（1）：

其中：α為表示稀疏系數(shù)。‖‖0是NP-難問題，可以采用基追蹤BP算法、OMP算法、ROMP算法等進行求解。利用稀疏表示理論建立高、低圖像塊之間的關(guān)系如下：

該最小化問題使用K-SVD字典學習算法同時確定字典和稀疏系數(shù)。只要選擇合適的高、低分辨率字典對，理想的高分辨率圖像在合適的高分辨率字典下的稀疏表示可近似由低分辨率圖像在低分辨率字典Dl下的稀疏表示來表征，即αh=αl。通過偽逆計算高分辨率字典Dh：

所求高分辨率圖像由下式獲得：

3 高低分辨率字典對學習算法

通常高低分辨率圖像訓練集是由高分辨率圖像訓練庫和圖像退化模型獲得的，但是這種方法獲得的圖像訓練集重建時間太長。Glasner等［16］研究表明，圖像塊具有跨尺度相似性，因此本文提出采用圖像自身獲得訓練樣本對，以實現(xiàn)字典對的學習，提高重建速度。

為了獲得高低分辨率字典對，首先對低分辨率圖像X進行分塊并反復利用Gaussian濾波器對圖像進行濾波，得到的訓練高分辨率圖像Gaussian金字塔。對于輸入低分辨率圖像的圖像塊m1可以在低分辨率圖像（第三次、第四層）找到相似的圖像塊m2、m3，而這些低分辨率圖像塊也可以在其上一層中找到對應的相似的高分辨率圖像塊n2、n1，利用不同層間高低分辨率圖像塊之間的關(guān)系形成圖像金字塔，圖1圖像金字塔結(jié)構(gòu)為圖像金字塔。假設該Gaussian金字塔第一層為高分辨率圖像，第i層為(X)，圖1所示為圖像Gaussian金字塔結(jié)構(gòu)。然后對獲得的高分辨率圖像金字塔結(jié)構(gòu)中的每個圖像進行下采樣和插值放大，下采樣因子和放大倍數(shù)為k，得到對應的低分辨率圖像金字塔結(jié)構(gòu)，即：

其中：filter函數(shù)表示用Gaussian濾波器對圖像進行濾波，amplify函數(shù)為插值函數(shù)。最后通過計算高、低分辨率圖像金字塔差值，獲得高分辨率圖像的高頻信息金字塔，即：

因此，根據(jù)所獲得的高低分辨率圖像金字塔結(jié)構(gòu)即可獲得高低分辨率圖像訓練樣本。獲得高低分辨率圖像訓練樣本對之后，由K-SVD算法訓練高低分辨率字典對{Dh,Dl}。

圖1 圖像Gaussian金字塔

4 自適應選擇重建字典

由于人眼對高頻信息更敏感對平滑區(qū)域相對較弱的視覺特性。而基于字典的重建算法是處理圖像塊的，不同大小的圖像塊會影響到圖像重建的效率和質(zhì)量。因此通過邊緣檢測算法將圖像邊緣檢測出來，根據(jù)圖像區(qū)域是平滑區(qū)域還是邊緣區(qū)域來選擇不同大小尺寸的字典，提高重建效率和質(zhì)量。本文應用快速有效的Sobel邊緣檢測技術(shù)來檢測圖像邊緣信息。

對于給定的圖像f(x,y)的梯度定義為向量式：

該向量的幅值表示式為

通常，該向量用絕對值▽f≈|Gx|+|Gy|來近似。這個近似值避免了平方和開方計算，簡化了計算復雜度，并且其在平滑區(qū)域的值為零，在像素值變化區(qū)域其幅值與亮度變化程度成比例。實際中我們通常將梯度的幅值稱為梯度。梯度向量的基本屬性是它指向f在坐標(x,y)處最大變化率的方向，最大變化率出現(xiàn)的角度定義為

圖2顯示了一個大小為3×3的Sobel邊緣檢測器掩膜，其中各個Z代表不同鄰域的像素值，分別用圖2（b）和（C）作為兩個掩膜對圖像進行濾波，然后相應梯度圖像的近似可以通過計算兩個濾波后的圖像絕對值的和獲得。在x方向和y方向?qū)?shù)用一幅圖像中的小鄰域上的像素值的差值來近似。在區(qū)域（如z5）的中心點的x方向的導數(shù)的近似為

類似的，y方向的導數(shù)由下面的差值近似：

那么一個鄰域的中心點處的梯度為

圖2 大小為3×3的Sobel邊緣檢測器掩膜

圖像經(jīng)過Sobel掩膜后如圖3所示，其中檢測出的邊緣部分，我們使用較小圖像塊字典，而平滑區(qū)域使用較大圖像塊字典。并且可以看出，圖像平滑部分占了整幅圖像的大部分，所以圖像重建過程中可大大提高算法搜索時間。

圖3 自適應選擇字典

5 實驗結(jié)果與分析

實驗中，為了對比的一致性，本文方法與Bicu?bic、Yang的方法一樣都采用5×5圖像塊、字典大小為512、放大倍數(shù)為3，有2個像素重疊的重建方式，并給出所有方法的重建圖像與原始圖像進行PSNR和SSIM對比，并給出各個重建方法的重建圖像效果圖，如圖4所示。

如圖3所示（以head、leaf、parthenon、lena為例），從實驗結(jié)果可以看出Bicubic插值方法重建圖像比較模糊，邊緣也比較粗糙；Yang等的算法較前兩種算法實驗結(jié)果有明顯改善，但邊緣信息仍存在模糊現(xiàn)象。實驗表明，本文算法所的結(jié)果比前面兩種算法在圖像邊緣和細節(jié)方面有進一步的提高。

圖4 不同方法的重建結(jié)果圖

表1 三種不同重建方法的PSNR值

表2 三種不同方法的SSIM值

為了進一步驗證本文算法，采用峰值信噪比PSNR和結(jié)構(gòu)相似性SSIM對算法進行客觀的評價。從表1和表2可以看出本文方法的PSNR值和SSIM值相對于其他兩種方法有不同程度的提高。

此外，本文采用低分辨率圖像自身訓練字典對，不但避免對訓練圖像庫的依賴，而且結(jié)合ROMP算法提高稀疏編碼的速度，減少字典訓練的時間。圖5顯示了用本文算法和其他兩種字典算法對lena、face、leaf、parthenon進行超分辨率所需時間的對比結(jié)果，由圖5可以看出本文算法重建時間更短。

圖5 自適應選擇字典與固定字典算法時間對比圖

6 結(jié)語

本文在稀疏表示的超分辨率模型基礎上，提出結(jié)合金字塔結(jié)構(gòu)并用低分辨率自身訓練高低分辨率字典，提高重建的質(zhì)量；其次應用ROMP提高了稀疏編碼的效率，并應用一種自適應選擇字典的算法提高重構(gòu)的精度和速度，提高重建效率。實驗結(jié)果表明，本文提出的基于K-SVD的自適應選擇字典的超分辨率重建算法能夠獲得更好的重建效果。此外，本文不需要訓練大量的圖像，一方面提高了對不同圖像類型的自適應性，另一方面也加快了字典訓練速度，節(jié)省了時間提高了重建效率。如何利用圖像的自身特性獲得更強的稀疏表示能力以及進一步提高算法的效率，提高算法的實時性將是下一步的研究工作。

［1］方振宇.圖像超分辨率重建技術(shù)的研究及應用［D］.武漢：武漢理工大學，2012.

FANG Zhenyu.Research and Application of Image Su?per-Resolution Reconstruction Technology［D］.Wuhan：Wuhan University of Technology，2012.

［2］Vandewalle P.Super-resolution from unregistered aliased images［D］.Ecole Polytechnique Federale de Lausanne，2006.

［3］W.Dong et al.，Image deblurring and super-resolution by adaptive sparse domain selection and adaptive regulariza?tion［J］.IEEETrans.ImageProcess.2011，20（7）：1838-1857.

［4］J.Yu et al.，A unified learning framework for single image superresolution［J］.IEEE Trans.Neural Netw.Learn.Syst，2014，25（4）：780-792.

［5］Choi J，Yu K，Kim Y.A new adaptive component-substitu?tionbased satellite image fusion by using partial replace?ment［J］.IEEE Transactions on Geoscience and Remote Sensing，2011，49（1）：295-309.

［6］J.Yang，J.Wright，T.Huang，et al.Image super-resolu?tion as sparse representation of raw image patches［J］. IEEE Conference on Computer Vision and Pattern Recog?nition（CVPR）.Washington，DC USA：IEEE Computer Society，2008：1-8.

［7］Yang J，Wright J，Huang T S，et al.Image super-restora?tion via sparse represenlation［J］.IEEE Trans.Image Pro?cessing，2010，19（11）：2861-2873.

［8］R.Zeyde，M.Protter，M.Elad，On single image scale-up us?ing sparse-representations，curves and surfaces［M］.Lect Notes Comput Sci.Springer，2012：711-730.

［9］Aharon M，Elad M，Bruckstein A.The K-SVD：An algoro?thm for design of dictionaries for sparse representation［J］. IEEE Trans Signal Process，2006：4311-4322.

［10］Thung K-h，Paramesran R，Lim C-L.Content-based im?age quality metric using similarity measure of moment vectors［J］.PatternRecognition，2012，45（6）：2193-2204.

［11］H.Zhang，et al.Image and video restorations via nonlocal kernel regression［J］.IEEE Trans.Cybern，2013，43（3），1035-1046.

［12］D.Needell.Topics in Compressed Sensing［D］.Davis： University of California，2009.

［13］Avcibas I，Sankur B，Sayood K.Statistical evaluation of image quality measures［J］.Joural of Electronic Imaging，2002，11（2）：206-213.

［14］楊玲，劉怡光，黃蓉剛.新的基于稀疏表示的單張彩色超分辨率重建算法［J］.計算機應用，2013，33（2）：472-475.

YANG Ling，LIU Yiguang，HUANG Rong gang.A new color super-resolution reconstruction algorithm based on sparse representation［J］.Computer Application，2013，33（2）：472-475.

［15］徐國明，薛模根，崔懷超.基于過完備的魯棒性單幅圖像超分辨率重建模型及算法［J］.計算機輔助設計與圖像學學報，2012，24（12）：1599-1605.

XU Guoming，XUE Mogen，CUI Huaichao.Single image super resolution reconstruction model and algorithm based on complete robustness［J］.Journal of computer aided design and imaging，2012，24（12）：1599-1605.

［16］Glasner D，Bagon S，Irani M.Super-resolution from a sin?gle image［C］//Proceedings of the 12th IEEE Internation?al Conference on Comouter Vision，Kyoto，Japan，2009：349-356.

版權(quán)聲明

本刊已許可萬方數(shù)據(jù)庫、中國學術(shù)期刊(光盤版)電子雜志社在中國知網(wǎng)及其系列數(shù)據(jù)庫等產(chǎn)品中以數(shù)字化方式復制、匯編、發(fā)行、信息網(wǎng)絡傳播本刊全文。著作權(quán)使用費與本刊稿酬一并支付。作者向本刊提交文章發(fā)表的行為即視為同意我編輯部上述聲明。

《計算機與數(shù)字工程》編輯部

Super-resolution Reconstruction Algorithm Based on K-SVD Adaptive Selection Dictionary

XUE BingWANG Chunxing
（Shandong Normal University，Jinan250358）

Super-resolution technology is a technique for recovering high-resolution images from low-resolution images，and plays an important role in computer vision systems.To solve the deficiency of traditional learning algorithm，a super-resolution re?construction algorithm that adaptive selected dictionary based on K-SVD is proposed.This method which is based on the sparse su?per-resolution model uses the image self-similarity and redundancy and low-resolution image itself to train the low-resolution and high-resolution dictionary pairs in combination with image pyramid structure.At the same time，regular orthogonally matched track?ing（ROMP）is applied in sparse reconstruction to improve the accuracy and reconstruction speed.Finally，by using the human visu?al characteristics，an adaptive selecting dictionary algorithm is adopted to improve the reconstruction efficiency.Experimental re?sults show that the proposed algorithm not only has a higher Peak Signal to Noise Ratio（PSNR）and Structure Similarity（SSIM），but also has a faster computation speed than the traditional super-resolution algorithm.

image super-resolution，sparse dictionary，image pyramid

TP301.6

10.3969/j.issn.1672-9730.2017.05.036

2016年11月10日，

2016年12月20日

國家自然科學基金“用于癲癇發(fā)作預測的腦電特征深度學習研究”（編號：61501283）資助。

薛冰，女，碩士研究生，研究方向：信號與信息處理。王春興，男，博士，教授，碩士生導師，研究方向：圖像處理、多媒體信息安全、智能儀器設計與應用。