基于訓練集分層的圖像超分辨率重建

史云靜，虞 濤，朱秀昌

(南京郵電大學江蘇省圖像處理與圖像通信重點實驗室，江蘇 南京 210003)

責任編輯:魏雨博

圖像超分辨率(Super Resolution，SR)［1-3］重建是指利用一幅或幾幅低分辨率(Low Resolution，LR)的圖像，采用圖像處理的方法重構出具有高像素密度且包含更多細節的高分辨率(High Resolution，HR)圖像。這種利用計算機軟件來提高圖像分辨率的方法，可以突破更新硬件提高圖像分辨率的物理瓶頸，降低高昂的器件成本，因而近年來得到研究和開發人員的廣泛重視。

Chang［4］等把流形(manifold)學習中鄰域嵌入(NE，Neighbor Embedding)的思想運用到超分辨率圖像中，用這種方法較好地解決超分辨率圖像重建中的高分辨率信息獲取的問題，實驗也顯示出重建圖像較好的主觀質量。這種方法假設LR圖像塊和HR圖像塊的局部流形是相似的，通過求解待重建圖像塊在低分辨率訓練圖像集中k個鄰域的重建系數，然后再使用這些重建系數對k個鄰近HR圖像塊進行線性組合得到對應的HR圖像塊。這種方法雖然可以大大的降低訓練集的個數，但是因為每一個待重建的低分辨率圖像塊都要在訓練集中搜索最相似的LR圖像塊。當訓練集較大時，重建一幅圖像需要花費很長時間，在實際應用中受到一定的限制。要解決這一問題可以從三個方面加以改進:一是減小鄰近圖像塊的重疊像素個數，二是減少訓練集的大小，三是擴大圖像塊的尺寸。實驗結果發現，方案一中當LR像塊(3×3)的重疊像素個數為1(HR塊的重疊像素個數2)時，圖像塊之間的兼容性與平滑性不是很好，重建圖像的主觀質量較差。

為提高圖像的兼容性與平滑性，重疊像素個數一般選擇2。而方案二中單純降低訓練集的大小雖然重建時間可以降低，但難以保證每個LR塊都能夠找到適當的重建塊，恢復出的圖像質量也隨之降低。方案三也存在隨著搜索圖像塊變大，如由原來3×3待搜索塊擴大為5×5或7×7，在訓練集中搜索不精準問題。

針對上述問題，本文提出了一種對于訓練集進行分層的方法，可以既不降低訓練集的大小，甚至可以增加訓練集的大小，又能很好地解決一般方法重建時間過長的問題。同時對待重建的圖像塊按內容進行分類，對于平坦區域使用插值重建方法(如雙立方法);對于包含細節的區域使用鄰域線性嵌入的方法重建。最后再對重建圖像再進行IBP［5］(Iterative Back-Projection)全局后處理，進一步提高圖像質量。實驗結果表明，利用本文方法超分辨率重建的圖像主觀和客觀質量都很好，且重建時間可以大大縮短。

1 鄰域嵌入的超分辨率圖像重建

鄰域嵌入超分辨率圖像重建(Super-Resolution Through Neighbor Embedding，SRNE)一般包含兩步工作，第一步是建立訓練集(或稱字典)，第二步是利用訓練集進行超分辨率重建。

在建立訓練集時，首先選取一些具有代表性的HR圖像，按照降質模型，將它們降質為對應的LR圖像;然后對LR圖像進行特征提取形成LR特征圖像，對HR圖像進行高頻成分提取，形成HR細節圖像;最后分別對LR特征和HR細節分塊處理，當然HR塊要比LR塊要大，大的倍數自然就等于超分辨率重建的放大倍數，要注意的是為了保持圖像的連續性，分成的小塊之間是有重疊部分的。所有的圖像塊就組成了LR圖像訓練集DL和HR圖像訓練集DH，DL中的每個LR塊都和DH中的某個HR塊存在對應關系。此后，任意一LR圖像需要超分辨率重建的話，就可以利用這兩個訓練集了。

在進行超分辨率重建時，首先為待重建的某一小塊xi在LR訓練集中尋找k個特征相似的小塊，由它們的線性加權構成最接近的待重建LR小塊;然后，在HR訓練集中取出對應的k個高分辨率圖像特征進行加權求和，獲得重建HR圖像塊。其算法的過程如圖1所示。

圖1 鄰域嵌入SR重建過程

使用歐氏距離定義鄰域完成搜索k個最相似圖像塊。在確定k個相似塊的基礎上，找到LR圖像X中的每個圖像塊xi最優的重建權重。最優重建權重的實現是通過最大限度地減少xi的局部重建誤差。

最后，通過平均相鄰的圖像塊重疊區域的像素值來保證圖像塊間的兼容性與平滑性。

2 訓練集的分層

2.1 特征選取與訓練集的建立

特征的選取在高分辨率圖像重建過程中起著至關重要作用，chang等人選用低分辨率圖像塊的像素值一階和二階梯度為特征，然而二階梯度對噪聲非常靈敏，Su K［6-7］等人的實驗發現像素值特征優于一階二階梯度特征。在筆者的方案中，選用去均值的像素值和一階梯度作為特征向量。以像素點f(i，j)為例，其位置如圖2所示，該點處的一階梯度為

圖2 求一階梯度的坐標示意圖

對于高分辨率圖像塊訓練集，思路是存儲高分辨率圖像因降質而丟失的高頻圖像信息。具體做法是將高分辨率圖像與其對應的低分辨率圖像的雙立方放大圖像之間的差值進行分塊存儲。對于低分辨圖像塊訓練集，筆者的做法是將降質、下采樣后的低分辨率圖像先進行去均值濾波，將低分辨率圖像的直流信息濾除后計算其一階梯度，再對圖像進行分塊。低分辨率圖像塊訓練集中存儲的是圖像塊的特征，即去均值的像素值與一階梯度值。

2.2 訓練圖像集的分層

在訓練圖像集建立以后，就可以應用于未知高分辨率圖像的低分辨率圖像的重建。對于欲重建的任意一個LR塊，為確定它的最相似圖像塊，必須在已經建立的低分辨率訓練集中窮盡搜索，這個過程時間耗費較多。為此，我們提出了對訓練集進行分層的方法。

對高低分辨率圖像塊訓練集分層的思路:假設有一參照訓練圖像塊其特征值為零，在LR圖像塊訓練集中匹配最相似圖像塊時，最相似的圖像塊在空間上它們的位置最靠近，即待匹配圖像塊與參照訓練圖像塊之間的歐氏距離和訓練圖像集中的匹配圖像塊與參照訓練圖像塊之間的歐氏距離最接近。按照與訓練圖像塊與參照訓練圖像塊之間的歐氏距離將訓練圖像塊集進行分層。將與參照訓練圖像塊之間的歐氏距離接近的訓練塊存儲于同一層，本文我們采用統計方法進行分層，分層的原則是盡量使每層中訓練塊的個數相等，同時對于層間邊界進行特殊處理。考慮到當待處理圖像塊正好處于層邊界時，避免最相似的塊空間位置在另一層而搜索卻在本層執行情況發生，筆者使用了重疊邊界。該分層方法抽象示意圖如圖3所示，在定義每層的邊界時是不包含重疊部分的，但實際的每層訓練集內容是包括鄰近層重疊部分的訓練塊，與每層接壤的重疊部分能參與到匹配搜索中。

訓練集建立的過程如上圖4所示，對高分辨率圖像進行降質、下采樣獲得其對應的低分辨率圖像。同時對高低分辨率圖像特征進行分塊生成高低分辨率訓練集，最后對訓練集進行分層。

圖3 訓練集分層示意圖

圖4 訓練圖像集生成

3 超分辨率圖像的區域分類重建

首先將低分辨率彩色圖像轉換到YUV顏色空間，由于人眼對于圖像亮度分量比彩色分量(U、V分量)更為敏感，因此只對圖像的亮度分量利用本文的方法進行超分辨率重建，對于彩色分量采用雙立方插值進行重建。對LR圖像的亮度分量進行去均值濾波，濾除圖像的直流信息，只保留圖像的變化部分。

接著對去均值后的圖像提取其特征，然后對形成的“特征圖像”進行分塊，分為若干3×3的小塊，為了保證圖像塊間的兼容性與平滑性，塊間重疊2像素。在重建時，對每一個待重建的LR圖像塊，判斷其是否為平坦區域。若是，則對此圖像塊進行雙立方插值重建，不用再到HR訓練集中去搜尋;若不是，則到HR訓練集中采用分層搜索方法找到對應的HR圖像塊進行重建。對于利用分層搜索方法重建的圖像塊，需計算其與參考圖像塊之間的歐氏距離，再根據此歐式距離判斷其屬于哪一層，接著在該層中匹配最相似的訓練圖像塊。

利用搜索到得最近的K個鄰近的低分辨率塊對應的高分辨率圖像塊和重建權重重建高分辨率圖像塊的高頻圖像信息，同時利用雙立方放大低分辨率圖像塊并將二者疊加，再將重建的圖像塊拼接成目標高分辨率圖像。

最后利用IBP進行全局后處理，將其上恢復出的高分辨率圖像作為初始迭代圖像進行兩次迭代。

圖5是超分辨率圖像非平坦區域重建流程圖。

圖5 非平坦區域超分辨率圖像重建流程圖

4 實驗結果與分析

對上述算法在計算機上進行了仿真實驗，這里給出了實驗相關的測試環境說明，以及主要的測試圖片、實驗參數。然后結合重建HR圖像的主客觀效果，對實驗結果加以比較和分析。

4.1 實驗參數

本次實驗的計算機配置為:Inter(R)Core(TM)2 Duo CPU T5670@1.8 GHz，主頻 1.79 GHz，2.0 GB 內存，Windows XP操作系統。

編程環境和運行平臺為MATLAB7。

用于建立訓練集的測試彩色圖像共35幅，訓練圖像的選擇原則應使所選圖像盡量在內容、分辨率等方面具有代表性，其中5幅的規格和內容如圖6所示。

圖6 5幅訓練圖像

主要采用實驗參數為:

1)LR圖像塊選取3×3大小，重疊像素個數為2;

2)鄰域圖像塊個數選取5，搜索距離D=Dnormal+Dgrad，Dnormal為像素距離，Dgrad為一階梯度距離;

3)訓練集總大小:LR和HR訓練集各包含172887塊，每個訓練集的分層數:100，200。

4.2 結果與分析

以下我們分別從重建圖像的主觀質量、客觀PSNR及重建時間這幾方面對本文的方法加以分析。

1)重建圖像的主觀效果比較

下面給出了三幅測試圖片的SR重建圖像的主觀結果，依次是人臉圖(圖7)、建筑圖(圖8)、動物圖(圖9)。相應的從左往右依次為輸入的低分辨率圖像、原始高分辨率圖像、雙立方放大圖像、未加入全局處理的分層方法、加入IBP后處理的本文方法重建的高分辨率圖像。

圖7～圖9中a是輸入的低分辨率圖像;b是原始高分辨率圖像;c是雙立方放大結果;d是未加全局處理的分層結果;e是加全局處理的分層結果。圖7中f是SRNE方法重建的結果，此外還包括各種重建圖像的部分細節，可提供更加清楚的比較。

2)分層方法對重建質量和速度的影響

表1和表2中，cubic表示雙立方放大后的圖像，Proposed NE表示本文方法未加全局后處理放大后的圖像，Proposed NE+IBP表示本文方法加全局后處理放大后的圖像。從表中可以看出本方法分100層時不加全局后處理重建的高分辨率圖像的PSNR比三次立方方法放大圖像的PSNR平均高1.2 dB;而在本方法中加入全局后處理后的PSNR平均可以高出2 dB左右。

表1 100層訓練圖像集實驗數據

表2 200層訓練圖像集實驗數據

從圖10兩幅圖中可以看出隨著分層數的增加，圖像重建時間大大縮短，而分層對于圖像的重建質量卻影響甚微。

圖10 分層數對重建時間和質量的影響

在SRNE方法中訓練圖像塊個數為48260，重疊像素個數為2，其重建出第一幅測試圖片(face.bmp)所需時間約為3351 s;而在本文的方法中訓練圖像塊個數為重建時間172887，重建時間最短僅約為78 s。SRNE方法中第一幅圖像的PSNR約為34.2 dB，而本文的方法可達35.2 dB。

重建的超分辨率圖像在主觀效果上比雙立方方法和SRNE更加清晰，重建時間也可以大大縮短。

5 總結

為了減少在訓練集中搜尋匹配塊的時間，本文提出了一種對訓練圖像集進行分層處理的方法，訓練圖像集的大小可以做到很大，而鄰域嵌入超分辨率圖像重建的時間很短，而且重建質量能得到保證。同時為進一步縮短重建時間，我們對于圖像細節信息不多的平坦區域采用雙立方插值放大。對重建后的圖像最后采用IBP算法進行全局后處理，進一步提升了重建圖像質量。仿真實驗的定量結果和主觀質量都證明了上述算法的正確性和有效性。

本文對壓縮圖像和未壓縮圖像運用相同的算法進行超分辨率重建，沒有考慮壓縮圖像的量化誤差，今后可以將壓縮圖像的量化誤差考慮進來對算法進行改進。

［1］蘇秉華，金偉其，牛麗紅，等.超分辨率圖像復原及其進展［J］.光學技術，2001，27(1):6-9.

［2］HUNT B R.Super-resolution of images:Algorithms，principles，performance［J］.International Journal of Imaging Systems and Technology，1995，6(4):297-304.

［3］FREEMAN W T，JONES T R.PASZTOR E C.Example-based superresolution［J］.IEEE Computer Graphics and Applications，2002，22(2):56-65.

［4］CHANG Hong，YEUNG D Y，XIONG Yimin.Super-resolution through neighbor embedding［C］//Proc.IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Washington，USA，2004:275-282.

［5］WAN Baikun，LIN Meng，DONG Ming，et al.Video Image Super-resolution Restoration Based on Iterative Back-Projection Algorithm:International Conference on Computational Intelligence for Measurement Systems and Applications，May 11-13，2009［C］.Hong Kong，China:CIMSA，2009.

［6］SU K，TIAN Q，XUE Q，et al.Neighborhood issue in single-frame image super-resolution［C］//Proc.IEEE international conference on multimedia and Expo，Amsterdam，Netherlands，2005:1122-1126.

［7］CHAN Takming，ZHANG Junping，PU Jian，etal.Neighbor embedding based super-resolution algorithm through edge detection and feature selection［J］.Pattern Recognition Letters，2009，30(2):494-502.