增強的單幅圖像自學習超分辨方法

黃 鳳，王曉明,2

(1.西華大學 計算機與軟件工程學院，成都 610039； 2. 西華大學機器人研究中心，成都 610039)(*通信作者電子郵箱wxmwm@aliyun.com)

增強的單幅圖像自學習超分辨方法

黃 鳳1，王曉明1,2*

(1.西華大學 計算機與軟件工程學院，成都 610039； 2. 西華大學機器人研究中心，成都 610039)(*通信作者電子郵箱wxmwm@aliyun.com)

針對圖像超分辨率方法構建圖像塊的稀疏表示(SR)系數存在的主要問題，利用加權思想提出一種增強的單幅圖像自學習超分辨方法。首先，通過自學習建立高低分辨率圖像金字塔；然后，分別提取低分辨率圖像的圖像塊特征和對應高分辨率圖像塊的中心像素，并給圖像塊中不同像素點賦予不同的權重，強調中心像素點在構建圖像塊稀疏系數時的作用；最后，結合SR理論和支持向量回歸(SVR)技術建立超分辨率圖像重建模型。實驗結果表明，與單幅圖像自學習超分辨率方法(SLSR)相比，所提方法的峰值信噪比(PSNR)平均提高了0.39 dB，無參考圖像質量評價標準(BRISQUE)分數平均降低了9.7。從主觀視角和客觀數值證明了所提超分辨率方法更有效。

數字圖像處理；單幅圖像超分辨率；稀疏表達；支持向量回歸；權重系數

0 引言

近年來，數字圖像的超分辨率重建問題在圖像科學和工程應用等領域得到了廣泛的研究和發展。圖像超分辨率是指從一幅低分辨率(Low Resolution, LR)圖像或多幅LR圖像中恢復出高分辨率(High Resolution, HR)圖像[1]2-9，可分為單幀圖像超分辨率和多幀圖像超分辨率。單幀圖像超分辨率是指只用一幅LR圖像恢復HR圖像；多幀圖像超分辨率是指利用一系列帶有亞像素位移的單幀LR圖像恢復HR圖像。本文研究的是單幀圖像超分辨率。

總體上，單幀圖像超分辨率的方法可分為基于插值、基于重建和基于學習的方法。圖像插值的實質是通過結合基函數的加權和平移的離散和來表達一個連續的函數[2]。通常，基于插值的圖像超分辨率方法具有結構簡單、計算復雜度低等優點，但是，該類方法最容易模糊細節及其邊緣，產生具有振鈴和鋸齒狀的偽像。其中雙三次插值(Bicubic Interpolation, BI)是插值法中最常見的方法。基于重建的方法主要包括頻域法和空域法。頻域法主要是基于傅里葉變換的平移和混疊特性生成HR圖像，算法原理簡單，但無法利用圖像的先驗信息，從而導致運動模糊和噪聲對重建結果的影響較大。空域法則主要對圖像的空間域進行處理，適用于包含運動、模糊和噪聲的復雜觀察模型。該方法在重建過程中利用圖像的一些先驗知識來約束重建模型，具有很強的空域先驗約束能力，然而原理復雜，計算量大。

基于學習的超分辨率方法是近年超分辨率算法研究中的熱點。與基于插值和重建方法不同，基于學習的方法借助機器學習，通過學習LR圖像與HR圖像之間的映射關系來預測LR圖像中丟失的高頻細節信息，從而實現HR圖像的重建過程。該類方法的基本思想是：首先收集大量的HR圖像及對應的LR圖像，構造學習庫，生成高低分辨率(HR/LR)圖像學習模型，然后引入由學習模型獲得的先驗知識對待恢復的LR圖像進行處理，得到圖像的高頻細節，最后獲得超分辨率圖像。大多數基于學習的超分辨率研究都是通過學習HR/LR圖像之間的支持向量回歸(Support Vector Regression, SVR)模型建立的HR圖像[3-5]，這些文獻整體布局分為訓練和預測兩大模塊。在訓練過程中，用SVR方法建立HR/LR圖像間的非線性降質關系；在預測過程中，利用該關系得到LR圖像丟失的高頻信息，合成HR圖像。基于SVR的超分辨率是圖像超分辨率重建中一種典型的代表性算法。

近些年，隨著壓縮感知理論的發展，研究者們開始利用稀疏表示(Sparse Representation, SR)理論重建圖像。稀疏表示模型開始被廣泛應用于圖像超分辨率中，如文獻[6-13]。其基本思想：首先用稀疏表示模型訓練HR/LR圖像的字典，然后通過字典中很少量元素的線性組合描述LR圖像，最后利用某種關系描述超分辨率圖像。

2013年，Yang等[7]結合SVR和SR，提出了單幅圖像自學習超分辨率方法(Self-Learning Super-Resolution approach for single image, SLSR)。該方法與大多數基于學習的方法不同，其不需要提前從外部圖像庫收集訓練的HR/LR圖像集。而是以輸入圖像為原型建立自學習的HR/LR圖像金字塔；然后用SR理論建立圖像塊的稀疏系數，最后建立SVR模型實現圖像的超分辨率。實驗證明該方法具有很好的超分辨率效果。但是，該方法在圖像塊進行SR時，未考慮像素點之間的差異性和圖像的連續性，認為LR圖像塊中每個像素點與相應HR圖像塊的中心像素點具有相同的映射關系，并且在自學習過程中，該方法未充分利用圖像塊大小構建盡可能多的不同尺度SVR模型。

針對上述超分辨率SR問題，本文提出一種增強的單幅圖像自學習超分辨率方法。首先，通過圖像退化模型對輸入圖像根據提取的圖像塊大小盡可能建立多尺度的自學習HR/LR圖像金字塔；然后，提取圖像特征，用權重思想對提取的圖像塊進行加權，不同的權重系數解釋圖像塊中除中心點外其他點對中心點的貢獻值大小；最后，結合SR理論、SVR原理，實現單幅圖像的超分辨率重建。

1 相關工作

傳統基于學習的超分辨率圖像重建需要提前收集圖像訓練庫，在很大程度上限制了超分辨率方法的應用，故本文采用自學習的超分辨方法。

自學習超分辨率方法的前提是以給定的HR圖像為原型，通過退化模型建立超分辨率學習的HR/LR圖像金字塔。通常圖像的退化模型為：

Ilow=SBIhigh+n

(1)

其中:Ilow是LR圖像，Ihigh是HR圖像，S代表下采樣過程，B代表模糊過程(高斯模糊、運動模糊等)，n代表噪聲(高斯噪聲、椒鹽噪聲等)。

1.1 稀疏表示理論

稀疏表示起源于信號研究，1993年Mallat[14]在基于小波分析中提出信號可以用一個超完備字典(Over-complete Dictionary,D)進行表示，隨后稀疏表示理論被提出。稀疏表示是將原始信號x表達為字典元素的一個線性組合x=Dα，D是訓練得到的字典，α為原始數據x在字典D上的表達，即稀疏系數。

設訓練集{x1,x2,…,xm}，xi∈Rd，超完備字典D∈Rd×k，則{x1,x2,…,xm}的稀疏系數α∈Rk，解決問題：

(2)

1.2 支持向量回歸原理

20世紀90年代中期，基于統計學習理論，Vapnik首次提出了支持向量機(Support Vector Machine, SVM)模型。其中SVR是支持向量在函數回歸領域中的一個重要應用。

SVR[15]所尋求的是最優回歸函數y=〈ω,x〉+b，ω∈Rd，b∈R，〈·,·〉表示在空間Rd的內積。最優回歸函數對應于空間Rd×R上的一個超平面。設訓練集{(x1,y1),(x2,y2),…,(xm,ym)}?Rd×R，為尋找非線性回歸模型，首先將原始空間數據通過Φ映射到高維特征空間，其映射關系Φ:x|→Φ(x)；然后在高維特征空間中作近似線性回歸，更新訓練集{(Φ(x1),y1),(Φ(x2),y2),…,(Φ(xm),ym)}。

令K(xi,xj)=〈Φ(xi),Φ(xj)〉，則對應的原始優化問題為：

(3)

為解決上述優化問題，引進拉格朗日算子β、β*，采用Lagrange法把原始問題轉化為如下的對偶優化問題求解：

(4)

最后得到SVR函數:

(5)

1.3 單幅圖像自學習超分辨率方法

Yang等[7]提出的SLSR方法，首先對輸入圖像I通過退化模型建立三個不同尺度的HR/LR圖像金字塔；然后對HR/LR圖像分塊、分類，學習不同圖像塊的字典，及稀疏表示系數。假設LR圖像塊中每一像素點對相應HR圖像塊的中心像素點具有相同影響值，及不同尺度的HR/LR圖像之間具有相似的映射關系，最后借助SVR原理學習不同尺度的HR/LR圖像的映射關系，由貝葉斯決策理論選取最優尺度的SVR模型，實現圖像的超分辨率重建。文獻[7]超分辨率方法原理的大致流程如圖1所示。

圖1 單幅圖像自學習超分辨率方法

2 增強的單幅圖像自學習超分辨率方法

傳統基于SVR的超分辨率方法是構建LR圖像塊和HR圖像塊中心點的回歸模型，其屬于塊對點的回歸函數。該函數認為自變量LR圖像塊中每一點對因變量HR圖像塊中心點的影響作用一致。實質上，LR圖像和HR圖像為同一幅圖像。本文鑒于回歸函數的塊對點的形式，和圖像的連續性，在SVR建模時著重考慮以自變量LR圖像塊的中心為主導的某一小范圍像素點對因變量HR圖像塊的中心像素點的影響，提出一種基于高斯核加權的SVR超分辨率方法。即在用SVR方法構建超分辨率學習模型時，對LR圖像特征塊進行加權，用權重系數解釋圖像塊中每點對中心點的像素灰度值影響程度，最后用加權后的特征塊和HR圖像塊中心像素點進行SVR建模。圖2描述了利用SVR重建圖像的傳統超分辨率方法和本文方法的主要區別。

本文提出的方法：首先，對輸入圖像I建立LR圖像和HR圖像金字塔(HR/LR)；然后，學習LR圖像的Sobel算子，對LR雙三次插值放大的圖像B及相應的HR圖像分塊、分類、特征提取，并對提取的特征塊進行高斯核加權，得到加權后的圖像特征數據集；最后，對特征數據集稀疏表示，用稀疏系數及HR圖像塊的中心像素灰度值建立非線性的SVR模型，選取誤差最小的SVR模型預測HR圖像塊的中心像素，重建LR的超分辨率圖像。

圖2 傳統超分辨率和本文超分辨率預測的主要區別

2.1 建立高低分辨率圖像金字塔

大多數基于學習的超分辨率圖像處理都是利用外部圖像數據庫，提前收集LR和HR圖像，從而建立學習訓練模型，恢復HR圖像，如文獻[3，5-6，13]；然而，基于外部圖像庫建立的超分辨率方法嚴格限制了其在生活中的實際應用。對此，本文提出一種增強的單幅圖像自學習超分辨率方法。

設原始圖像為I，I通過退化模型(1)建立多尺度不具有高頻信息的降質圖像集{LR-1,LR-2,LR-3,…}，同時對輸入圖像I用BI方法建立相對應帶有高頻信息的HR圖像集{HR-1,HR-2,HR-3,…}，得到原始圖像I的高低分辨率圖像金字塔HR/LR。如圖3底層所示。

圖3 加權自學習SVR超分辨率主要框架

HR-i可以看成是訓練圖像LR-(i+1)的超分辨率圖像。其中B序列圖像是LR序列圖像進行雙三次插值上采樣得到的，其大小和HR序列圖像對應位置的相同。B序列圖像中的方塊表示建模選擇的圖像塊，HR序列圖像中的圓是方塊對應HR圖像塊的中心像素點。

2.2 圖像稀疏表示

2.2.1 特征提取

為提高超分辨率的效果，本文不直接對{LR-1,LR-2,LR-3,…}和{HR-1,HR-2,HR-3,…}提取圖像特征，而是用Sobel算子對{LR-1,LR-2,LR-3,…}進行邊緣檢測，依次分類提取圖像集{B-2,B-3,B-4,…}的特征塊。

分類標準：若二值圖像中點(u,v)的像素灰度值為0，則以點(u,v)為中心分割對應圖像B-i得圖像塊矢量Xh和提取圖像HR-i，點(u,v)處像素灰度值HR(u,v)。設h=HR(u,v)，得到具有高空間頻率的訓練集H={(Xh1,h1),(Xh2,h2),…}。若點(u,v)像素灰度值為255，分割圖像B-i和HR-i，則得到具有低空間頻率的圖像塊矢量Xl和塊中心點灰度值HR(u,v)，構成低空間頻率的訓練集L={(Xl1,l1),(Xl2,l2),…}。

2.2.2 特征塊高斯核加權及稀疏表示

設圖像塊大小為p×p，根據高斯核加權思想，對每一個圖像塊Xhi、Xlj進行高斯核加權：

(6)

其中:Xs,t是圖像塊在點(s,t)(s,t=1,2,…,p)的灰度值，r=(s,t)，rc=(p/2,p/2)或rc=((p+1)/2,(p+1)/2)(p∈N*)。參數σ是高斯濾波器寬度，控制加權的徑向作用范圍。通過調節σ，可在圖像特征過分模糊與平滑圖像中由于噪聲和細紋理所引起的過多的欠平滑之間取得折中。

將加權后的圖像塊像素以行向量的形式表達，更新訓練集H、L，如圖4所示。則Xhi∈R1×p2、Xlj∈R1×p2，hi∈R、lj∈R。加權后的圖像塊的像素信息更多集中于圖像塊的中心區域，即HR圖像塊的中心附近。

圖4 特征提取及加權

將Mairal 等[16-17]提出的矩陣分解和稀疏編碼在線學習作為圖像塊的字典學習方法。通過字典學習得到稀疏系數，并進行計算，減少圖像重建誤差和提高運算速度。同時，考慮圖像的紋理信息，本文對H、L中每個灰度值減去對應圖像塊的平均灰度值，然后用字典表示圖像紋理信息，更新訓練集H、L，對新的{Xhi}、{Xlj}特征塊集合稀疏表示。

(7)

分別計算圖像塊{Xhi}、{Xlj}的稀疏系數{αhi}、{αlj}，λ為字典編碼中稀疏約束參數。

2.3 基于SVR建立超分辨率模型

Δyhnorm=(Δh-Δhmin)/(Δhmax-Δhmin)

(8)

Δylnorm=(Δl-Δlmin)/(Δlmax-Δlmin)

(9)

圖5 本文超分辨主要流程

由于在圖像特征塊加權時本文采用高斯核加權函數，其函數在除中心點一直為1外，其他點隨σ不斷增大，均不斷增加到1，如圖6所示。當σ足夠大時，各加權系數均為1，此時本文提出的方法將接近SLSR方法[7]，亦可證明本文提出的方法有效性。同時，本文的方法可以看作是SLSR方法的一個推廣。

圖6 高斯核函數隨σ的變化

3 實驗設計與結果分析

本文的實驗圖像全部來源于南加州大學(University of Southern California, USC)圖像數據庫[19]。實驗平臺為處理器Intel Core i3- 4130 CPU @3.40 GHz的64位Windows 7旗艦版，Matlab R2015a。

3.1 圖像評價標準及參數設計

為驗證本文方法的有效性，本文在重建圖像的質量評價上，首先用全參考(Full-Reference, FR)評價算法的峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)和結構相似性指數(Structural SIMilarity index, SSIM)作為評價指標，定義[1]93為：

(10)

(11)

其次考慮不依賴于原始真實圖像的無參考(No-Reference, NR)圖像質量評價算法。基于測試圖像的普遍性和算法的建立方式，本文選擇基于小波域兩級框架的無參考圖像質量評價模型(Blind Image Quality Index, BIQI)[20]和基于空域特征的無參考質量評價方法(Blind/Referenceless Image Spatial Quality Evaluator, BRISQUE)[21]作為超分辨率圖像的質量評價指標。二者取值范圍[0,100]，0表示圖像質量最好，100表示圖像質量最差。

在實驗中，為模擬真實的退化圖像過程，本文在實驗的LR圖像中均人為添加噪聲。首先，對原始圖像通過模型(1)高斯模糊；然后，以2的指數倍率進行下采樣；最后，添加高斯白噪聲得到含噪的測試LR圖像。如此反復，建立HR/LR圖像金字塔。

借鑒文獻[7]稀疏表達參數、圖像塊大小的設置方式和實驗圖像大小，本文的參數設置如下：金字塔層數N1=5(所有測試圖像大小為256×256)；多尺度模型N2=N1-1，圖像塊的大小p=5。訓練集和測試集中數據的稀疏表示調用Mairal的SPAMS[22]工具箱，設置參數λ=0.025，字典原子數目k=100。SVR用LIBSVM[23]，其中核函數用徑向基函數(Radial Basis Function, RBF)，參數gamma=1。數據集H的SVR參數c=4、ε=0.015 625；數據集L的參數c=2、ε=0.003 906 25，歸一化誤差△yhnorm、△ylnorm的SVR參數均設置為c=32、ε=0.007 812 5。這些SVR參數均由LIBSVM[23]工具箱的gridregression.py函數通過訓練由本文方法處理后的Lena圖(圖7(h))數據集而得到。對于高斯核加權參數σ設計，將在實驗結果中給出討論和分析。

3.2 實驗結果與分析

實驗過程中，首先從圖像庫[19]中選取8幅不同類型、不同紋理的實驗圖像。若圖像為彩色圖像，則作相應灰度化處理；若圖像大小不統一，則統一經過預處理得到256×256大小，得到測試圖像(Girl、House、Tree、Jelly beans、Aerial、Clock、Resolution chart、Lena，如圖7所示)。為檢驗本文方法的有效性，本文將提出的方法與雙三次插值方法BI、稀疏表達的超分辨率方法SCSR[6]、基于稀疏編碼網絡的超分辨率方法SCN[13]、基于單幅圖像自學習超分辨率方法SLSR[7](N2=3)(其中SCSR、SCN、SLSR相關代碼均可在作者主頁下載)、以及由文獻[7]延伸出的單尺度SVR方法(N2=1)作比較，得到不同測試圖像在多種超分辨率方法下的超分辨率重建結果。

由于本文的重點在圖像塊的加權上，故接下來討論加權參數大小對圖像超分辨率結果的影響。

圖7 測試圖像

3.2.1 權重系數對超分辨率重建的影響

表1 不同加權參數產生的超分辨率圖像PSNR dB

從表1可以看出，同一幅圖像在不同加權參數下，其超分辨率圖像有不同的PSNR值，且PSNR值波動不大。觀察表1，還可以發現，在實驗的5種加權參數下，8幅測試圖像雖然有不同的PSNR值，但大部分圖像的最優PSNR值落在σ=3,5下。綜合對比測試圖像在不同加權參數下的平均PSNR值，選擇實驗的最優加權參數σ=5。故本文認為最優加權參數σ=p(p為提取圖像塊的大小)。

3.2.2 實驗結果與分析

根據前面部分參數的設置及加權參數的討論，本文設σ=5進行圖像的超分辨率重建，并對多種方法重建后的超分辨率圖像計算PSNR、SSIM得到表2，計算BIQI、BRISQUE得到表3。圖8顯示了部分圖像的超分辨率結果的部分放大圖像。

圖8 各種方法實現超分辨率重建的部分放大圖

為測試本文方法在視覺上的有效性，選擇House、Aerial、Lena的超分辨率重建圖像進行視覺上的對比。由表2知，本文方法對這3幅圖像超分辨率重建的PSNR值與其他方法相比，明顯最優。圖8分別列出了House、Aerial、Lena原始HR圖像及由BI、SCSR[6]、SCN[13]、單尺度SVR、SLSR[7]和本文方法產生的超分辨率圖像的部分放大圖像。通過觀察局部放大圖像可以看出，由BI方法重建的圖像非常模糊，借助外部圖像數據庫訓練模型建立超分辨率圖像的SCSR[6]和SCN[13]方法的圖像視覺效果最差，二者產生部分鋸齒狀斑塊。分別觀察圖8(e)(f)(g)，雖然三者圖像整體效果差不多，但是House圖(g)房檐輪廓及房頂凸出部分相比其他二幅圖像更清晰；Aerial圖(g)街道梯子輪廓比其他圖像輪廓清晰；Lena圖(g)重建圖像的眼睛、鼻子和嘴巴更接近原始HR圖像，且相比其他三幅圖像局部更清晰。最后，圖9給出了其他5幅圖像實驗結果，觀察圖像同樣可以得出本文提出的方法更有效。

比較觀察表2中各個方法重建超分辨率圖像的FR評價指標值，除Resolution chart圖像外，通過本文方法重建的其他超分辨率圖像的PSNR都比另外5種方法高；SSIM指標對比顯示，雖然本文方法沒有表現出全部最優，但大部分圖像的SSIM都比另外5種方法高。其他5種方法中，由于SLSR[7]方法通過待測圖像自身建立多尺度HR/LR圖像金字塔，并用稀疏表達分塊提取的圖像塊像素特征，所以，其重建的超分辨率圖像FR評價指標更接近本文方法，單尺度SVR方法次之，BI方法緊隨其后。相反，依賴于外部圖像庫提前訓練數據集的SCSR[6]方法和SCN[13]方法的FR評價指標表現相對最差。分析其原因，主要本文測試圖像大部分為人物，而SCSR[6]方法訓練的外部圖像庫主要為植物類型圖像，且訓練樣本太少，僅有69幅；SCN[13]方法訓練樣本僅有91幅。比較SSIM值，由本文方法重建的Aerial和Resolution chart圖像均不是最高。Aerial通過SLSR[7]方法重建的超分辨率圖像SSIM雖然最高，但其值和本文方法僅相差0.002 7。相反，Resolution chart通過BI方法重建的超分辨率圖像SSIM比其他3種方法高得比較多，在結構相似性上更接近原始HR圖像。分析其原因，主要是在多層金字塔建立過程中，由于數字圖表類圖像局部具有特征連續性，在多次下采樣過程中丟失局部有效信息最多，其特征被忽略、模糊和邊緣化，所以導致本文方法的重建效果差。

相比FR圖像質量評價指標，比較觀察表3，顯然依賴于外部圖像集的超分辨率方法在NR圖像質量評價指標上占主導優勢，而本文提出的方法無論是在BIQI指標還是BRISQUE指標上，其質量評價分數都相對高些，圖像質量在小波域和空域特征上表現相對較差。但是，本文方法相對于另外3種方法表現較好。

表2 多種方法重建超分辨率圖像的全參考指標PSNR和SSIM

表3 多種方法重建超分辨率圖像的無參考指標BIQI和BRIQUE

表4給出了本文方法及對比方法重建超分辨率圖像的平均時間。由于本文在對比SCN方法時，直接用的Wang等[13]訓練好的級聯網絡模型，故本文僅給出了SCN方法的測試時間。比較每個方法的重建時間，考慮借用外部圖像數據庫訓練模型的實際應用限制、對比FR圖像質量評價指標值及NR圖像質量評價指標值，得出：本文方法相對于其他5種超分辨率方法在實現上更方便，重建的圖像質量更好。

表4 不同方法重建超分辨率圖像的平均訓練和測試時間對比

4 結語

本文針對單幅退化的LR圖像，借鑒多尺度自學習模型和圖像稀疏表示，考慮圖像塊的中心受其鄰域灰度值的影響關系，對高維的圖像數據建立了誤差最小的SVR預測擬合模型，重點構建了影響稀疏字典和系數的加權特征塊。因為圖像的連續性，越靠近的像素點，關系越密切；越遠離的像素點，關系越疏遠，所以該方法最大的優勢在于：對每個圖像塊的像素灰度值進行高斯核加權，用加權后的響應值代替原來圖像塊的像素值，進而與HR圖像塊中心像素點建立更有效的SVR模型。實驗結果表明，本文設計的方法與其他基于學習的SVR和SR的超分辨率方法相比，其超分辨率重建圖像視覺效果更好，同時表現出更好的超分辨率FR圖像評價指標，特別是對人物圖像。由于在圖像退化過程中人為添加有噪聲，故本文提出的方法也適用于圖像去噪過程。而對于數字圖表類圖像，仍需提出更好的算法實現該類圖像的超分辨率重建。未來將考慮改進特征的提取方式來提高對數字圖表類圖像的超分辨率重建，及降低重建圖像的NR圖像評價指標值。

圖9 各種方法重建的超分辨率圖像

References)

[1] 楊欣.圖像超分辨率技術原理及應用[M].北京：國防工業出版社,2013:2-9,93.(YANG X. Image Super Resolution Technology Principle and Application [M]. Beijing: National Defense Industry Press, 2013: 2-9,93.)

[2] 趙偉.基于多幅低分辨率圖像的超分辨率圖像重建[D].南京: 東南大學,2011：12-17. (ZHAO W. Super-resolution image reconstruction based on multiple low resolution images [D]. Nanjing: Southeast University, 2011: 12-17.)

[3] 王宇,吳煒,嚴斌宇,等.基于SVR的人臉圖像超分辨率復原算法[J].四川大學學報(自然科學版),2013,50(4):728-736.(WANG Y, WU W, YAN B Y, et al. Face hallucination based on SVR [J].Journal of Sichuan University (Natural Science Edition), 2013, 50(4): 728-736.)

[4] XU J, DENG C, GAO X, et al. Image super-resolution using multi-layer support vector regression [C]// Proceedings of the 2014 IEEE International Conference on Acoustics, Speech and Signal Processing. Piscataway, NJ: IEEE, 2014: 5799-5803.

[5] AN L, BHANU B. Improved image super-resolution by support vector regression [C]// Proceedings of the 2011 International Joint Conference on Neural Networks. Piscataway, NJ: IEEE, 2011: 696-700.

[6] YANG J, WRIGHT J, HUANG T S, et al. Image super-resolution via sparse representation [J]. IEEE Transactions on Image Processing, 2010, 19(11): 2861-2873.

[7] YANG M C, WANG Y C F. A self-learning approach to single image super-resolution [J]. IEEE Transactions on Multimedia, 2013, 15(3):498-508.

[8] YANG M C, CHU C T, WANG Y C F. Learning sparse image representation with support vector regression for single-image super-resolution [C]// Proceedings of the 2010 17th IEEE International Conference on Image Processing. Piscataway, NJ: IEEE, 2010: 1973-1976.

[9] 范九倫,史香曄,徐健,等.多級字典學習的圖像超分辨率算法[J].西安郵電大學學報,2016,21(3):32-37.(FAN J L, SHI X Y, XU J, et al. Image super-resolution algorithm based on multi-level dictionaries learning [J]. Journal of Xi’an University of Posts and Telecommunications, 2016, 21(3): 32-37.)

[10] 邱大偉,劉彥隆.改進的稀疏表示圖像超分辨率復原算法[J].電視技術，2016,40(1):135-140. (QIU D W, LIU Y L. Improved image super-resolution via sparse representation [J]. Video Engineering, 2016, 40(1): 135-140.)

[11] 李欣,崔子冠,孫林慧,等.基于局部回歸模型的圖像超分辨率重建[J].計算機應用,2016,36(6):1654-1658. (LI X, CUI Z G, SUN L H, et al. Image super-resolution reconstruction based on local regression model [J]. Journal of Computer Applications, 2016, 36(6): 1654-1658.)

[12] 王宏,盧芳芳,李建武.結合支持向量回歸和圖像自相似的單幅圖像超分辨率算法[J].中國圖象圖形學報,2016,21(8):986-992.(WANG H, LU F F, LI J W. Single image super-resolution via support vector regression and image self-similarity [J]. Journal of Image and Graphics, 2016, 21(8): 986-992.)[13] WANG Z, LIU D, YANG J, et al. Deep networks for image super-resolution with sparse prior [EB/OL]. [2016- 12- 07]. http://pdfs.semanticscholar.org/27fc/88ebb3e325a062a6ff48a7a76611af1ecd5a.pdf.

[14] MALLAT S. A wavelet tour of signal processing: the sparse way [EB/OL]. [2016- 12- 07]. http://www.gbv.de/dms/ilmenau/toc/579284751.PDF.

[15] BASAK D, PAL S, PATRANABIS D C. Support vector regression [J]. Neural Information Processing Letters and Reviews, 2007, 11(10): 203-224.

[16] MAIRAL J, BACH F, PONCE J, et al. Online learning for matrix factorization and sparse coding [J]. Journal of Machine Learning Research, 2010, 11(1): 19-60.

[17] MAIRAL J, BACH F, PONCE J, et al. Online dictionary learning for sparse coding [C]// Proceedings of the 26th Annual International Conference on Machine Learning. New York: ACM, 2009: 689-696.

[18] EFRON B, HASTIE T, JOHNSTONE I, et al. Least angle regression (with discussion) [EB/OL]. [2017- 01- 06]. https://web.stanford.edu/～hastie/Papers/LARS/LeastAngle_2002.pdf.

[19] University of Southern California. The USC-SIPI image database [DB/OL]. [2016- 08- 20]. http://sipi.usc.edu/database/.

[20] MOORTHY A K, BOVIK A C. A two-step framework for constructing blind image quality indices [J]. IEEE Signal Processing Letters, 2010, 17(5): 513-516.

[21] MITTAL A, MOORTHY A K, BOVIK A C. No-reference image quality assessment in the spatial domain [J]. IEEE Transactions on Image Processing, 2012, 21(12): 4695-4708.

[22] MAIRAL J. SPAMS: a sparse modeling software, v2.5 [EB/OL]. [2016- 10- 23]. http://spams-devel.gforge.inria.fr/downloads.html.

[23] CHANG C, LIN C J. LIBSVM: a library for support vector machines [EB/OL]. [2016- 10- 18]. http://www.csie.ntu.edu.tw/～cjlin/libsvm.

Enhancedself-learningsuper-resolutionapproachforsingleimage

HUANG Feng1, WANG Xiaoming1,2*

(1.SchoolofComputerandSoftwareEngineering,XihuaUniversity,ChengduSichuan610039,China;2.RoboticsResearchCenterofXihuaUniversity,ChengduSichuan610039,China)

Aiming at the main problem of the Sparse Representation (SR) coefficients of the image blocks in image super-resolution method, an enhanced self-learning super-resolution approach for single image was proposed by using the weighting idea. Firstly, the pyramid of high and low resolution images was established by self-learning. Then, the image block feature of low-resolution images and the central pixels of the corresponding high-resolution image blocks were extracted respectively. The role of the center pixel in constructing the image block sparse coefficient was emphasized by giving different weights of different pixels in the image blocks. Finally, the combination of SR theory and Support Vector Regression (SVR) technique was used to build the super-resolution image reconstruction model. The experimental results show that compared with the Self-Learning Super-Resolution method for single image (SLSR), the Peak Signal-to-Noise Ratio (PSNR) of the proposed method is increased by an average of 0.39 dB, the BRISQUE (Blind/Reference-less Image Spatial Quality Evaluator) score of no-reference image quality evaluation criteria is reduced by an average of 9.7. From the subjective perspective and objective values, it is proved that the proposed super resolution method is more effective.

digital image processing; single image super-resolution; Sparse Representation (SR); Support Vector Regression (SVR); weight coefficient

2017- 03- 30;

2017- 06- 07。

國家自然科學基金資助項目(61532009)；教育部春暉計劃項目(Z2015102)；四川省教育廳自然科學重點項目(11ZA004)。

黃鳳(1993—)，女，四川南部人，碩士研究生，主要研究方向：圖像超分辨率重建； 王曉明(1977—)，男，四川簡陽人，副教授，博士，主要研究方向：模式識別、機器學習、圖像處理、計算機視覺。

1001- 9081(2017)09- 2636- 07

10.11772/j.issn.1001- 9081.2017.09.2636

TP391.41

A

This work is partially supported by the National Natural Science Foundation of China (61532009), the Chunhui Program of Ministry of Education (Z2015102), the Key Scientific Research Project of Sichuan Provincial Department of Education (11ZA004).

HUANGFeng, born in 1993, M. S. candidate. Her research interests include image super-resolution reconstruction.

WANGXiaoming, born in 1977, Ph. D., associate professor. His research interests include pattern recognition, machine learning, image processing, computer vision.