一種新的基于稀疏表示的超分辨率重建算法

端木春江 戚河平

摘 要：為提高圖像清晰度，文中提出一種基于稀疏表示的圖像超分辨率重建算法。首先將訓(xùn)練集圖像進(jìn)行連續(xù)三次90°旋轉(zhuǎn)，其次對原圖和三幅旋轉(zhuǎn)后的圖像進(jìn)行翻轉(zhuǎn)，從而將訓(xùn)練集擴(kuò)大為原來的八倍。再使用銳度測量指標(biāo)將訓(xùn)練集分成三類，接著分別使用K-SVD算法聯(lián)合訓(xùn)練出三個子字典對，最后使用稀疏重建算法重建出清晰的超分辨率圖像。實(shí)驗(yàn)表明，改進(jìn)的稀疏重建算法相較于經(jīng)典的稀疏重建算法，重建效果顯著提升。

關(guān)鍵字：超分辨率；圖像重建算法；擴(kuò)大訓(xùn)練集；訓(xùn)練樣本分類；多字典對

中圖分類號：TP273 文獻(xiàn)標(biāo)識碼：A 文章編號：2095-1302（2018）08-0-04

0 引 言

圖像超分辨率（Super Resolution，SR）是指使用一幅低分辨率圖像或多幅低分辨率圖像序列恢復(fù)出高分辨率圖像的過程。隨著信息技術(shù)和視覺通信技術(shù)的發(fā)展，人們對于圖像清晰度要求越來越高。單純從硬件方面提高圖像清晰度不僅成本較高且技術(shù)上也達(dá)到一定的瓶頸。從軟件方面提高圖像分辨率，一定程度上克服了硬件不足的問題。因此，近年來圖像超分辨率重建成為研究熱點(diǎn)之一。

超分辨率重建算法大體上可分為三類[1]：基于插值的算法、基于重建的算法和基于學(xué)習(xí)的圖像超分辨率重建。基于插值的算法是利用當(dāng)前待插值點(diǎn)周圍已知的像素值來估計當(dāng)前位置的像素值，實(shí)現(xiàn)圖像放大[2]。典型的包括最近鄰插值（Nearest）、雙線性插值（Bi-linear）和雙三次插值（Bi-cubic）等[3]。基于重建的算法在獲得高分辨率圖像時，將圖像的先驗(yàn)知識如平滑先驗(yàn)、重建先驗(yàn)等作為約束條件[4]。基于重建的方法主要有迭代反投影算法[5]（Iterative Back Projection，IBP）和凸集投影算法（Projections On Convex Sets，POCS）等[6]。基于學(xué)習(xí)的方法是目前研究的熱點(diǎn)，基于學(xué)習(xí)的算法先通過一一對應(yīng)的高、低訓(xùn)練集學(xué)習(xí)兩者之間的關(guān)系，在利用訓(xùn)練集重建出超分辨率圖像。根據(jù)訓(xùn)練集構(gòu)建的方法不同和分為基于樣例（Example-Based）的方法[7]、基于稀疏

表示[8]（Sparse Representation，SR）的方法和基于深度學(xué)習(xí)的方法等[9]。

本文在Zeyde [10]的基礎(chǔ)上進(jìn)行改進(jìn)，首先通過旋轉(zhuǎn)和翻轉(zhuǎn)擴(kuò)大訓(xùn)練集，再使用基于銳度指標(biāo)的方法將訓(xùn)練集分為三類，對分類后的三個訓(xùn)練子集{P1}，{P2}和{P3}使用K-SVD算法進(jìn)行訓(xùn)練得出三個子字典對。當(dāng)輸入一幅低分辨率圖像時，同樣使用樣本集分類的方法將其分為三類，然后選取對應(yīng)字典分別進(jìn)行稀疏重建，最終得出較好的圖像。

1 圖像超分辨率重建問題描述

當(dāng)人眼觀測一幅圖像時，整個觀測過程如圖1所示。

單圖像超分辨率目的是根據(jù)單個低分辨率圖像重建出高分辨率圖像。在這里，我們假設(shè)LR圖像L是通過對原始HR圖像H進(jìn)行模糊、下采樣和添加噪聲操作來產(chǎn)生的，則降質(zhì)模型[12]可表示為：

（1）

式中：S表示下采樣算子，B表示模糊算子，n表示外界噪聲。

若給出一幅低分辨率圖像卻有無窮多幅高分辨率圖像滿足降質(zhì)模型（1），因此超分辨率重建是一個嚴(yán)重不適定的逆問題。傳統(tǒng)的超分辨率方法一般根據(jù)輸入的低分辨率圖像重建出高分辨率圖像，利用各種類型的先驗(yàn)知識進(jìn)行預(yù)測。添加M個正則化項，則超分辨率重建問題可表示為：

（2）

式中：λi表示正則化參數(shù)，用來平衡保真項和正則化項；ri表示正則化項，本文采用系數(shù)稀疏約束作為正則化項。

2 相關(guān)算法

2.1 圖像塊SM值計算

每個圖像塊都要首先計算出其SM值，SM值根據(jù)梯度算子的大小可以定義為：

（3）

式中：Gh和Gv分別表示水平梯度和垂直梯度，N1和N2分別表示圖像塊的水平維度和垂直維度。根據(jù)文獻(xiàn)[13]證明SM值具有圖像放大近似不變性，SM值能夠較好地反應(yīng)一個圖像塊的梯度變化情況，且圖像塊的梯度信息能夠有效地反應(yīng)圖像的紋理情況，因此本文使用SM值作為圖像塊的分類指標(biāo)。

2.2 基于稀疏表示的SR重建算法

基于稀疏表示的SR重建算法最初是由Yang等人提出的，后來Zeyde等人在此基礎(chǔ)上做了一些改進(jìn)，重建效果有了顯著提高。稀疏重建算法[11]借鑒的是壓縮感知的思想，通過低分辨率圖像和高分辨率圖像的稀疏表示、訓(xùn)練降維實(shí)現(xiàn)整個超分辨率在整個學(xué)習(xí)樣本空間中的優(yōu)化求解。其稀疏表示模

型為：

（4）

其中α表示稀疏系數(shù)，F(xiàn)表示特征提取算子，Y表示低分辨率圖像，ε表示足夠小的閾值。為了求解方便這里把||α||0替換為||α||1，并運(yùn)用拉普拉斯乘子法可得：

（5）

式中：γ系數(shù)用來權(quán)衡稀疏系數(shù)和重建誤差。

整個稀疏表示SR重建算法可分為兩個階段：字典訓(xùn)練階段和圖像重建階段。

在字典訓(xùn)練階段，首先從數(shù)據(jù)庫中取出N幅訓(xùn)練樣本圖，進(jìn)行降質(zhì)操作得到對應(yīng)的低分辨率圖像，然后使用K-SVD方法對這些高分辨率和低分辨率圖像塊進(jìn)行字典訓(xùn)練，最后得到冗余字典Dl和Dh。

在重建階段，當(dāng)一幅低分辨率圖像Y輸入后，首先使用雙三次插值算法擴(kuò)大3倍，再使用一、二階水平和垂直導(dǎo)數(shù)提取放大后的LR圖像特征，接著低分辨率字典DL和LR圖像Y特征采用OMP算法計算出該測試圖像對應(yīng)的稀疏系數(shù)α，其系數(shù)計算公式為

（6）

最后使用公式X=Dha*，求解出高分辨率圖像塊，將X中的圖像塊放在圖像的對應(yīng)位置，有重疊的區(qū)域取平均，從而重建出最終的HR圖像。

3 方 法

3.1 擴(kuò)大訓(xùn)練集

本文采用SM字典分類的方法提高稀疏表示重建算法的性能，但考慮到若僅使用訓(xùn)練集中的91幅圖像，在分類后每類分得的圖像塊會相對較少，不能滿足冗余字典訓(xùn)練的需求。因此，將這91幅圖像分別進(jìn)行90°，180°，270°旋轉(zhuǎn)并對得到的4×91幅圖像進(jìn)行翻轉(zhuǎn)，最終得到2×4×91幅圖像，從而將原有訓(xùn)練集擴(kuò)大為原來的8倍，提高字典的精確度。圖像旋轉(zhuǎn)和翻轉(zhuǎn)的示意圖如圖2所示。

3.2 計算圖像塊的SM值及分類

訓(xùn)練集中的一百多萬個圖像塊使用公式（3）計算出的SM值，作為圖像塊分類的屬性指標(biāo)。再將這些圖像塊根據(jù)SM值進(jìn)行升序排列并記錄圖像塊在圖像中的索引號，其分類方法如圖3所示。

3.3 本文算法的具體步驟

字典訓(xùn)練階段具體步驟如下：

輸入：圖像訓(xùn)練集、算法用到的參數(shù)值。

輸出：三個子字典對DL1和DH1，DL2和DH2，DL3和

DH3。

（1）輸入高分辨率圖像訓(xùn)練集，設(shè)置所需參數(shù)值如字典大小。

（2）將輸入的91幅高分辨率訓(xùn)練圖像旋轉(zhuǎn)90°，180°和270°，再把得到的圖像分別進(jìn)行翻轉(zhuǎn)，最終訓(xùn)練集擴(kuò)大為原來的8倍。

（3）通過將高分辨率圖像分成多個小塊，并減去每個小塊的均值提取高分辨率圖像塊的特征，即得到高頻特征。

（4）對每一幅高分辨率圖像進(jìn)行模糊和下采樣操作得到對應(yīng)的低分辨率圖像。

（5）將低分辨率圖像分成多個塊，并計算每個塊的SM值作為每個塊的分類指標(biāo)。然后把這些塊根據(jù)SM值由小到大排列，均分成{PL1}，{PL2}和{PL3}三類，得出分類標(biāo)簽。

（6）使用雙三次插值算法將低分辨率圖像放大到與原有高分辨率圖像相同大小。使用特征提取濾波器提取低分辨率特征XL。

（7）利用步驟5得到的分類標(biāo)簽把低分辨率特征和高分辨率特征分為相應(yīng)的三類。

（8）三類特征對使用K-SVD算法進(jìn)行聯(lián)合訓(xùn)練，得出

三個子字典對DL1和DH1，DL2和DH2，DL3和DH3。

重建階段具體步驟如下：

輸入：測試LR圖像，算法所需參數(shù)。

輸出：HR圖像。

（1）當(dāng)有一幅低分辨率圖像Y輸入。

（2）使用訓(xùn)練階段的步驟5將Y的圖像塊分成相應(yīng)的三類{PY1}，{PY2}和{PY3}。

（3）使用雙三次插值將輸入的低分辨率圖像放大3倍，使用特征提取濾波器提取低分辨率特征。

（4）輸入圖像的三類低分辨率特征集分別訓(xùn)練得出的三類子字典分別對應(yīng)Y1-DL1和DH1，Y2-DL2和DH2，Y3-DL3和DH3。

（5）通過OMP算法分別計算相應(yīng)的稀疏系數(shù)、和。

（6）使用公式求解出高分辨率圖像塊PX。

（7）將得出的高分辨率塊{PX}融合成一幅HR圖像。

此外，考慮到當(dāng)輸入一幅低分辨率圖像，若使用雙三次插值放大到原圖大小，會有一定的估算誤差，這樣的誤差會對后來的重建效果產(chǎn)生一定的影響，因此使用相對較好的插值方法lanczos2算法代替?zhèn)鹘y(tǒng)的雙三次插值放大。在訓(xùn)練階段Zeyde采用先訓(xùn)練出低分辨率字典在利用其中得出的稀疏系數(shù)求解對應(yīng)的高分辨率字典，這里采用低分辨率和高分辨率字典聯(lián)合訓(xùn)練的方法同時訓(xùn)練得出，增強(qiáng)了字典對之間的相

關(guān)性。

4 實(shí)驗(yàn)結(jié)果和分析

這一部分將提出的改進(jìn)方法與雙三次插值、Yang等人提出的重建方法以及Zeyde等人提出的基于稀疏表示重建算法進(jìn)行比較。以峰值信噪比（Peak Signal to Noise Ratio，PSNR）作為比較指標(biāo)，PSNR的值越大說明重建圖像與原始圖像越接近，重建效果越好。由于人們對于圖像亮度比較敏感，因此在實(shí)驗(yàn)中我們首先將彩色RGB圖像轉(zhuǎn)換為YUV圖像再對亮度通道Y進(jìn)行超分辨率重建，而對于其他U和V通道我們僅使用簡單的雙三次插值方法進(jìn)行簡單放大。本研究的算法參數(shù)設(shè)置如下：訓(xùn)練樣本塊個數(shù)為1 084 648，分為3類，訓(xùn)練字典大小為1 000，低分辨率圖像塊大小為3×3，圖像放大倍數(shù)為3，即把輸入的低分辨率圖像長寬各方法3倍，輸出重建的高分辨率圖像X。PC機(jī)配置CUP 2.6 GHz，內(nèi)存為8 GB，整個實(shí)驗(yàn)是在Matlab 2013b軟件的仿真平臺上進(jìn)行的。PSNR值的比較見表1所列。

從14幅經(jīng)典測試圖像中隨機(jī)抽取5幅作為實(shí)驗(yàn)數(shù)據(jù)，考慮測試圖像不一定是3的倍數(shù)，因此在實(shí)驗(yàn)中對測試圖像進(jìn)行預(yù)先修剪，方便重建的超分辨率圖像和原始圖像進(jìn)行對比。表3中比較了改進(jìn)的方法、文獻(xiàn)Yang和文獻(xiàn)Zeyde的PSNR值大小，并在圖4中繪制了直觀的曲線圖。從表中可以看出本文提出的算法在重建效果上有顯著提高，其中改進(jìn)算法比Zeyde文獻(xiàn)中的算法平均高0.2 dB左右。PSNR的計算公式

如下：

（7）

式中：表示重建出的圖像在點(diǎn)的像素值，Xhi表示原始圖像在點(diǎn)的像素值，N表示重建圖像總的像素個數(shù)。

以上幾種算法對同一幅測試圖像的超分辨率重建效果如圖5所示。從圖中可以看出雙三次插值算法的重建結(jié)果較為模糊，Yang和Zeyde算法相對雙三次插值算法均有明顯提高，而文中算法重建出的圖像細(xì)節(jié)信息更加完善，優(yōu)于其他三種方法具有較好的視覺效果。

5 結(jié) 語

本文提出了一種新的圖像SR重建算法。該算法使用SM的尺度不變性作為訓(xùn)練和重建模型中圖像塊分類的依據(jù)，文中將訓(xùn)練集分為三類再使用K-SVD算法聯(lián)合訓(xùn)練出三個子字典對。在重建階段，LR塊的SM值用來選擇它所屬的集群，其次所選集群的子字典對DLi和DHi用來重建未知的HR塊，這樣可以有效地提高重建信息的準(zhǔn)確性。另外，考慮訓(xùn)練集分類后的圖像塊較少不能滿足訓(xùn)練冗余字典的需求，采用圖像90°，180°，270°旋轉(zhuǎn)和相應(yīng)圖像翻轉(zhuǎn)的方法，將訓(xùn)練集圖像擴(kuò)大為原來的八倍，進(jìn)一步提高了該方法的重建效果。通過實(shí)驗(yàn)證明所提出的算法優(yōu)于采用單個字典對的算法。在五幅測試圖像上進(jìn)行的PSNR數(shù)值測試和視覺觀測都揭示了該算法相對傳統(tǒng)的基于稀疏表示的圖像重建算法有顯著提高。

參考文獻(xiàn)

[1] OUWERKERK J D V. Image super-resolution survey [J]. Image &vision; computing，2006，24（10）：1039-1052.

[2]符祥，郭寶龍. 圖像插值技術(shù)綜述[J]. 計算機(jī)工程與設(shè)計，2009，30（1）：141-144.

[3]賈永紅. 數(shù)字圖像處理[M]. 武漢：武漢大學(xué)出版社，2015.

[4] BAKER S，KANADE T. Limits on super-resolution and how to break them [J]. IEEE Transactions on pattern analysis & machine intelligence，2000，24（9）：1167-1183.

[5] IRANI M，PELEG S. Improving resolution by image registration [J]. Cvgip graphical models & image processing，1991，53（3）：231-239.

[6]楊宇翔. 圖像超分辨率算法研究[D]. 合肥：中國科學(xué)技術(shù)大學(xué)，2013.

[7] FREEMAN W T，PASZTOR E C. Learning low-level vision [J]. International journal of computer vision，2000，40（1）：25-47.

[8] YANG J，WRIGHT J，HUANG T，et al. Image super-resolution as sparse representation of raw image patches [C] // IEEE Conference on computer vision & pattern recognition，2008：1-8.

[9] CUI Z，CHANG H，SHAN S，et al. Deep Network Cascade for image super-resolution [M] // Computer vsion eccv 2014. springer international publishing，2014：49-64.

[10] ZEYDE R，ELAD M，PROTTER M. On single image scale-up using sparse-representations [C]. Springer-verlag berlin heidelberg，2012：711-730.

[11] HAN Y，ZHAO Y，YU H. Adaptive regularized -boosting on clusteredsparse coefficients for single image super-resolution [J]. The institution of engineering and technology，2017 ：517-529.

[12] ELAD M，F(xiàn)EUER S. Restoration of a single super resolution image from several blurred，noisy，and under-sampled measured image [J]. IEEE transactions on image processing a publication of the ieee signal processing society，1997，6（12）：1646-58.

[13] FAEZEH Y， MAHMOUD N，MURAT U，et al. Image super-resolution via sparse representation over coupled dictionary learning based on patch sharpness [C]. 2014 European modelling symposium，2014：203-208.

[14] YANG J，WRIGHT J，HUANG T，et al. Image super-resolution via sparse representation [J]. IEEE signal processing society，2010，19（11）：2861-2873.