基于稀疏表示的單幀超分辨率算法

王馨悅，辛志薇（四川大學計算機學院，成都　610000）

基于稀疏表示的單幀超分辨率算法

王馨悅，辛志薇
（四川大學計算機學院，成都610000）

超分辨；稀疏表示；圖像金字塔；Lab顏色空間

0　引言

圖像超分辨率 （Super Resolution，SR）是指從一幅低分辨率圖像（Low Resolution，LR）或者一組低分辨圖像序列中重構出高分辨率圖像（High Resolution，HR）。高分辨率圖像不僅能帶給人們更好的視覺享受 （因為分辨率越高，細節信息越豐富），還在很多領域有著至關重要的作用。如：醫學領域，更高分辨率的圖像能幫助醫生更好地判斷病人的病情。一般而言，單幅圖像的超分辨率要獲得更好的重建效果就需要依賴先驗知識，而基于圖像序列的超分辨率重建則更多的根據圖像降質模型和多幅低分辨圖像序列間存在的差異信息估計出圖像的高頻細節信息。也因此，這些圖像序列需要是關于同一場景且存在亞像素等級上的差異。通常，將超分辨率重建算法分為三類:基于插值的方法、基于重建的方法和基于學習的方法。

基于插值的算法（如Bicubic插值［1］等）采用某種數學模型擬合數據，以其選中像素點的值結合相應數學公式估計出待插入位置的像素值。這類算法實現簡單，能符合實時應用的需求。但其重建效果只有在超分辨提高因子較小時比較好。因為其未利用任何先驗知識，其重建圖像中易產生模糊的邊緣。基于重建的方法將圖像超分辨問題看作是一個逆轉化問題，利用多幀圖像和一系列的先驗知識完成圖像重建，如文獻[2]。這類算法可以重建出較好的邊緣。而現實生活中，很難得到足夠的低分辨圖像，且這類算法可利用的知識有限，所以其重建效果只有在超分辨提高因子在2以下的時候才能有較好的重建效果。基于學習的方法使用訓練后的模型來預測低分辨圖像中丟失的高頻信息，通常采用高低分辨率圖像塊對作為訓練數據，以期望得到高低分辨率圖像間的映射關系。代表方法有Freeman等［3］提出的方法、Chang等［4］提出的方法和Yang等［5］提出的方法。他們分別應用了馬爾可夫隨機場、局部線性嵌入規則和稀疏表達（Sparse Representation，SR）。文獻[3]中的方法雖然能得到較好的重建效果，但卻需要大量的訓練樣本。這就使得該方法的計算時長很長。而文獻[4]在流型學習中利用局部線性嵌入規則，減少了訓練時所需的樣本，大大減少了算法時間。但因其通過線性組合固定數目的近鄰塊來完成高分辨圖像塊的重建，使得重建結果易產生欠擬合或過擬合現象。Yang等［5］提出的基于SR的超分辨算法則克服了前兩個方法的缺點，利用稀疏表示系數自適應地選擇最相近的字典原子完成重建。但該方法的耗時依然過長。它與傳統的基于學習的超分辨率算法一樣，對訓練圖像庫的依賴性大。一旦待重建圖像與訓練庫中的樣本相差過大，重建圖像的質量就會急劇下降。

針對這些問題，本文提出一種基于稀疏表示的單幀圖像超分辨率算法。即，在稀疏表示的基礎上，利用低分辨率圖像自身訓練得到高低分辨率塊之間的對應關系，以提高整個算法的自適應性。同時利用不同尺度間存在的重復塊訓練字典，以得到一個更緊湊的字典。此外，在彩色圖像的超分辨重建中，現存的方法大都是將RGB轉到YCbCr（如文獻[5]采用的就是該方法）下，對亮度通道進行重建，其他通道進行簡單的插值處理。而對不同通道進行不同的操作是會降低圖像一致性的。因此，利用Lab顏色空間的特點來避免這一操作對圖像一致性造成的影響。

實驗結果表明，較傳統的基于學習的方法而言，該種算法獲得的超分辨率圖像視覺效果更好，峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）也更高。

1　基于稀疏表示的圖像超分辨率

設輸入的單張低分辨率圖像為X，超分辨率算法的目的是根據超分辨率提高因子k，恢復其高分辨率圖像Y。根據超分辨率學習算法的基本思想，首先需要訓練得出高、低分辨率圖像塊之間的對應關系，建立稀疏字典對。本文相應的學習方法在2.2節詳細講述。

然后通過上述建立好的高、低字典庫來重建高分辨圖像。假設同一圖像的不同分辨率圖像在高、低字典庫中的稀疏表示相同，只要求出低分辨率圖像X在低分辨率字典庫中的稀疏系數，在應用于高分辨率字典庫即可完成重建工作。即：

其中:x為低分辨圖像X中的任意圖像塊，α為關于字典DL的稀疏表示，ε是非常小的正數。再由式（1）求得的α到高分辨字典DH中選擇相應的原子，通過線性組合完成重建。

2　本文算法

2.1字典的建立

利用圖像的自相似性，本文提出采用圖像自身獲得訓練樣本。由式（2）得到Hi，其中H0表示原低分辨率圖像X，B表示高斯核，↓s表示下采樣操作，尺度因子為s。再由式（3）對Hi各層抽取低頻信息，得到低分辨率金字塔GL（X）。其中L表示一個低頻信息抽取造作，本文利用的Gaussian濾波器，以避免振鈴現象。

接著由式（4）得到高分辨率金字塔GH（X），包含了圖像的高頻信息。

低分辨率字典DL所需樣本由GL（X）的圖像塊5×5構成，而對應的高分辨率字典DH的樣本由Hi中的圖像塊5k×5k構成。每個圖像塊的提取按光柵掃描順序，相鄰塊間不含重疊區域。高分辨率字典和低分辨率字典中的圖像塊大小差了k倍。

2.2字典對的學習

由[6]可得不同尺度間存在重復塊，用它們訓練字典。對于H0中的任意一塊x，按照高斯加權距離度量，找到其在Hi中存在的重復塊P1，P2，…，Pn，n為x在Hi中找到的重復塊的總數。按照降層的逆操作，找到Pi在H0中對應的圖像塊，記為，，…，。依次將P1與配對，P2與配對，…，Pn與配對，行成用于訓練的高、低分辨率圖像塊對。重復多次上述操作（隨機抽取H0中的塊，實驗中只抽取了H0中塊總數的20%）組成最終的訓練數據。利用文獻[5]中訓練字典對的方法，如式（5）所示。

其中：N和M分別為高、低分辨率圖像塊的向量形式的維度，‖Z‖1項用于增強稀疏性。

2.3超分表率圖像重建

由于Lab顏色空間中三個通道間沒有相關性，故在該種顏色空間下對不同通道進行的不同操作，亮度通道進行重建，其他通道進行簡單插值，不會引起圖像一致性的退化。故，選擇在該顏色空間下完成圖像重建操作。本文使用式（6）進行變換［7］。

圖1　不同尺度的放大圖像

式（6）中的轉換矩陣是一個可逆矩陣，因此，很方便地便能從Lab空間再次轉回到RGB空間。

重建步驟如下：①利用字典得出重建的高分辨率塊YH，方法如第一節所示；②將原LR圖利用Bicubic插值法放大k倍，得到YL；③將YH附加到YL得到Y；④對Y進行BP（Back-Projection）操作得到最終的超分辨率圖像。之所以進行BP操作，一方面是為了加強重建圖像和輸入圖像間的一致性，另一方面是為了彌補由采樣時塊與塊間沒有重疊區域而造成的相鄰塊間一致性的缺失而引入的不必要的噪音，因其能有效地保有相鄰塊間的一致性。

3　實驗結果和分析

為驗證算法的有效性，選用一些圖片：face、girl和butterfly分別進行尺度放大2倍、3倍和4倍的仿真實驗。實驗效果如圖1所示。

將本文算法與Bicubic插值、Yang等[5]的方法相比。從視覺角度看，圖2中的Bicubic算法結果細節相對模糊；Yang算法較前者有明顯改進，但丟失了一些細節信息；本文算法所產生的圖像則顯示了更多的細節。

為了進一步驗證本文算法，采用所得結果圖像的PSNR進行客觀評價。一般而言PSNR值越大，算法所得圖像質量越好。本文算法與其他算法的PSNR結果如表1，可以看出本文方法的PSNR值相對于其他方法有不同程度的提高。

表1　不同超分辨率算法所得結果RPSNR對比dB

4　結語

針對單幀圖像的超分辨率重建問題，本文在稀疏表示的超分辨率模型基礎上，提出利用金字塔結構以低分辨率圖像自身建立高、低分辨率字典，并利用不同尺度間存在的重復塊訓練字典。同時，在Lab顏色空間重建，所得圖像保持了顏色通道的一致性。實驗結果表明，本文所提出的方法能獲得更好的重建效果。

[1]KEYS R G.Cubic Convolution Interpolation for Digital Image Processing[J].IEEE Transactions on Acoustics,Speech,and Signal Processing,1981,29(6):1153-1160．

[2]M Irani，S Peleg.Improving Resolution by Image Registration[J]．CVGIP：Graphical Models and Image Proc．，1991，53(5)：231-239．

[3]Freeman W T,Pasztor E C,Carmichael O T.Learning Low-Level Vision[J].International Journal of Computer Vision,2000,40(1):25-47.

[4]CHANG H,YEUNG D-Y,XIONG Y-M.Super-Resolution through Neighbor Embedding[C]Washington,DC:IEEE Computer SocietyConference on Computer Vision and Pattern Recognition,2004:275-282.

[5]YANG J C,WRIGHT J,HUANG T S,et al.Image Super-Resolution Via Sparse Representation[J].IEEE Transactions on Image Processing,2010,19(11):2861-2873.

[6]Daniel Glasner,Shai Bagon,Michal Irani.Super-Resolution from a Single Image[C].Kyoto:ICCV,2009:349-356.

[7]NING Q,CHEN K,YI L,et al.Image Super-Resolution Via Analysis Sparse Prior[J].Signal Processing Letters,2013,20(4):399-402.

Super Resolution;Sparse Representation;Image Pyramid;Lab Color Space

A Single Image Super-Resolution Slgorithm Based on Sparse Representation

WANG Xin-yue，XIN Zhi-wei
（College of Computer Science,Sichuan University，Chengdu 610000）

王馨悅（1990-），女，四川成都人，研究生，研究方向為圖像超分辨

2016-01-12

2016-02-22

目前的基于學習的超分辨率算法大都存在一個問題：圖像與樣本庫差異較大，超分辨的結果就會變得很差。為此提出一種基于稀疏表示的單幀超分辨率算法，使用圖像金字塔建立字典。同時，利用不同尺度間存在的重復塊訓練字典。對于彩色圖像，為避免由顏色通道相關性而造成的重建圖像質量的下降，在Lab顏色空間對彩色圖像進行重建。實驗結果表明，該算法可獲得更好的視覺效果和更高的峰值信噪比。

辛志薇（1990-），女，研究生，研究方向為網絡與安全

At present,most of the super resolution algorithms based on the learning method have a problem,once the image is different from the sample library,the super resolution will become very poor.Proposes an improved method based on sparse representation,uses image Pyramid to build dictionary.At the same time,the repetitive patches across different image scales are used to learn dictionary.For color image,in order to avoid the degradation of the reconstructed image quality caused by the color channel's correlation,the color image is reconstructed by the Lab color space.Experimental results show that the proposed algorithm can obtain better visual effect and higher peak signal to noise ratio.