基于反向投影的單幀圖像超分辨率重建方法

王樂

（四川大學計算機學院，成都610065）

基于反向投影的單幀圖像超分辨率重建方法

王樂

（四川大學計算機學院，成都610065）

針對單幀圖像超分辨率重建提出一種基于反向投影的單幀圖像超分辨率重建方法。根據迭代反向投影算法的思想，使用估計高分辨率圖像得到4幅模擬低分辨率圖像，并將其與實際低分辨率圖像的誤差圖像進行反向投影。在反向投影過程中，自適應地對其權重進行計算，用來更新原先的估計高分辨率圖像。實驗結果表明，該方法對于不同的降質模型有較好的魯棒性，計算量小，能有效提高單幀圖像超分辨率重建的質量。

超分辨率重建；迭代反向投影；自適應；魯棒性

0　引言

圖像的分辨率在一定程度上反映圖像所記錄的信息量，越高的分辨率代表著對細節的分辨能力越強，圖像記錄的信息也就越多。隨著多媒體技術的發展，人們對于圖像的分辨率也有著更高的要求。如遙感、視頻監控、醫學成像［1］、水下視覺等領域，都對圖像的分辨率有著較高的要求。提高分辨率可以通過硬件和軟件兩種途徑。硬件方式往往是通過減小傳感器上的像素尺寸，提高單位面積上的像素密度來實現的。該方法會隨著傳感器尺寸的減小引起散粒噪聲，同時也增加了硬件成本。并且在一些特定條件下，如因傳輸帶寬的限制，環境的限制，并不能運用硬件方法提高分辨率，所以“超分辨率重建技術”應運而生，用來克服硬件條件的限制，通過軟件的方法達到提升分辨率的目的。超分辨率重建在單幀圖像超分辨率重建，多圖像超分辨率重建，以及視頻超分辨率重建方面都有著廣泛的研究。對于單幀圖像的超分辨率重建，也有很多的方法，基于鄰域嵌入的方法［2］，基于樣本學習的方法［3］，基于稀疏表示的方法［4］，基于神經網絡的方法［5］等。本文利用傳統插值方法結合迭代反向投影方法［6］的主要思想，提出了一種基于反向投影的單幀圖像超分辨率重建方法，相對于傳統插值方法，該方法在超分辨率重建結果上有一定的提高。而相比與迭代反向投影方法，本文方法不需要具體的降質模型，也不需要進行迭代，具有更快的速度以及更好的實用性。為了驗證本文提出的方法的有效性，對于不同的降質模型進行了實驗。

1　降質模型

為了進行超分辨率重建，并且使得重建結果有一個客觀的參照，往往需要先從高分辨率圖像得到一幅低分辨率圖像。一幅低分辨率圖像，可以看成是一幅高分辨率（High-Resolution，HR）圖像經過模糊，降采樣以及添加噪聲后的結果。本文通過對輸入的高分辨率圖像X用退化函數對退化過程進行建模，并添加噪聲來得到一幅低分辨率（Low-Resolution，LR）圖像Y。用公式表示為：

其中D為降采樣矩陣，H為模糊矩陣，E為加性高斯白噪聲。由于高斯噪聲多被用于低照度下成像傳感器噪聲的一種近似，所以本文選擇高斯噪聲作為添加的噪聲。

本文采用兩種不同的降質模型來說明本文所提出的方法并不只對某單一的降質模型有效。第一種降質模型使用模糊函數將圖片的每個像素點的灰度值變為包括其本身在內的相鄰4個像素點的像素值的平均值，然后使用降采樣函數將圖像的分辨率變為一半，最后加入25dB的高斯噪聲。

第二種降質模型，前2個步驟和第一種降質模型一致，在步驟2執行之后，再對降采樣后的圖像再進行一次模糊，使得降采樣后圖像的每個像素點的灰度值再變為包括其在內周邊4個像素點灰度值和的1/4，最后再加上25dB的高斯噪聲，以模擬更為惡劣的降質過程。

2　迭代反向投影

圖像插值在超分辨率圖像重建中是一種基礎，但同時也很重要的一種方法。迭代反向投影（Iterative Back-Projection，IBP），也是一種利用圖像插值的超分辨率重建方法。圖像插值是在已知像素的有限的鄰域內對插值像素進行估計，一維信號插值可表現為下圖所示：

圖1　一維圖像插值

經典的插值算法有最近領域插值，雙線性插值，三次樣條插值，雙三次樣條插值［7］等。上述幾種插值方法的本質都屬于多項式插值，其插值序列可以寫成如下的形式：

其中C（xk）為插值系數，β（x）為插值基函數。本文采用雙三次樣條插值方法，來對低分辨率圖像進行插值。該插值方法是內插的，所以可以直接用x_k處的像素值f（xk）來替換C（xk），省去了對插值系數的估算過程。

在文獻［6］提出的迭代反向投影方法中，通過使用模擬LR圖像與輸入LR圖像的誤差進行迭代反向投影得到HR圖像。其依據是如果通過超分辨率重建得到的圖像接近原始的高分辨率圖像，那么該通過超分辨率重建得到的圖像通過同樣的降質模型得到的低分辨率圖像，應該與輸入的LR圖像盡量的接近，然后將兩者的誤差投影到高分辨率圖像上，通過反復的迭代便能得到效果更好的高分辨率圖像。其流程如下：

圖2　迭代反向投影過程

迭代反向投影方法，通過將誤差反向投影去更新估計的HR圖像，通過反復的迭代，能夠較好地減少重構誤差，使獲得的HR圖像滿足相應的需求。在降質（投影）過程中，IBP算法依賴于實際的降質模型，而降質模型在實際中應用中是未知的，也難以估計。

3　本文方法

由上述IBP方法可以看出，該方法依賴于圖像的降質模型，而在實際情況下，降質模型往往是無法準確得到的。在多幀圖像超分辨率重建過程中，圖像的配準往往也會花費較多的時間，配準的效果也對結果有著很大的影響。同時，在迭代反投影方法中，迭代的過程需要經過多次的插值，投影以及反投影過程，花費的時間較長。因此，本文根據迭代反向投影的思想，提出一種快速的基于反向投影的單幀圖像的超分辨率重建方法。該方法包括五個步驟：1）通過插值方法得到估計的HR圖像；2）對得到的HR圖像，進行降采樣，到四幅模擬LR圖像；3）通過計算模擬LR圖像和原始LR圖像的差值，得到差值圖像；4）對差值圖像進行反投影，得到4幅反投影后的差值圖像；5）使用4幅反投影后的差值圖像對估計的HR圖像進行更新。

本文的方法可用如下公式表示：

其中f0為估計HR圖像。f1為更新后的HR圖像。e1，e2，e3，e4為四幅誤差圖像。a，b，c，d是四幅誤差圖像的權重系數，P為反投影操作。

其中4幅低分辨率圖像的獲得方法如圖3所示：

圖3　估計HR圖像降采樣過程

從HR圖像獲得4幅LR圖像的過程中，因為不依賴于圖像的降質模型，直接取估計HR圖像中的像素值，以獲得較多的信息，同時也獲得4幅具有較高相似度的圖像。使用LR1，LR2，LR3，LR4與原始輸入LR圖像的差值圖像進行反向投影。

對于投影權重系數a，b，c，d確定的方法如下：1）分別計算LR1，LR2，LR3，LR4和原始輸入LR圖像之間的相關系數ce1，ce2，ce3，ce4。令四幅模擬LR圖像的權重分別如下所示：

這一步可以保證和輸入LR圖像相關度較高的模擬LR圖像有較高的權重，也從一定程度減少了錯誤，或者噪聲對于反向投影的干擾；2）計算四幅誤差圖像e1，e2，e3，e4的平均灰度me1，me2，me3，me4，如果平均灰度值小于0，則將其對應的權重系數置為負，若平均灰度值大于0，則不變。

4　實驗結果分析

本文對圖4（a）原始HR圖像，使用2.1節中描述的第一種降質模型，對HR圖像進行降質，圖4（b）為得到原始LR圖像，使用雙三次樣條插值得到圖4（c）估計HR圖像，然后進行降采樣得到四幅LR圖像，再進行反向投影得到圖4（d）更新后的HR圖像。

為了客觀地反映圖像的超分辨率重建效果，本文使用使用峰值信號信噪比PSNR，來描述圖像的超分辨率重建效果。首先計算所得圖像和原始圖像的均方誤差MSE：

圖4　效果對比

對于不同的降噪模型以及不同的圖像，基于雙三次樣條插值的實驗結果如表1和表2所示。

由以上實驗數據可以看出，在不需要先驗知識作為支撐的情況下，本文所提出的方法對于傳統的基函數是內插的插值方法在重建效果上有一定的提高，并且具有較少的計算量和時間開銷。同時對于不同的降質模型都有著不錯的效果。

表1　降質模型1實驗結果PSNR值

5　結語

對于單幀圖像的超分辨率重建問題，本文提出了一種基于傳統插值和反向投影的的單幀圖像超分辨率重建方法。本文提出的基于反向投影的單幀圖像超分辨率重建方法，對于不同的降質模型都能取得較好的重建效果，具有較好的適應性以及較小的計算開銷，是一種快速的，魯棒性較高的單幀圖像超分辨率重建方法，并且不依賴與圖像的降質模型，具有較高的實用性。

［1］T.M.Lehman，C.Conner and K.Spitzer.B-Spline Interpolation in Medical Image Processing［J］，IEEE Trans.Med.Imaging，2001，20，660-665.

［2］H.Chang，D.Y.Yeung，and Y.Xiong.Super-Resolution Through Neighbor Embedding［C］.IEEE Conference on Computer Vision and Pattern Recognition（CVPR），Washington，DC，USA，2004，1：275-282.

［3］W.T.Freeman，R.R.Jones，E.C.Pasztor.Example-Based Super-Resolution［J］.IEEE Computer Graphics and Application，2002，22（2）：56-65.

［4］J.Yang，J.Wright，T.Huang，Y.Ma.Image Super-Resolution Via Sparse Representation［J］.IEEE Transactions on Image Processing，2010，19（11）：2861-2873.

［5］M.Awad，S.E.EI-Khamy and M.M.Abd Elnaby.Neural Modeling of Polynomial Image Interpolation［C］.Proceeding of International Conference on Computer Engineering and System，Cairo，2009：469-474.

［6］M.Irani and S.Peleg.Improving Resolution by Image Registration［J］.CVGIP：Graphical Models and Image Processing，1991，53（3）：231-239.

［7］J.K.Han and H.M.Kim.Modified Cubic Convolution Scaler with Minimum Loss of Information［J］.Optical Eng.2001，40，540-546.

Single-Frame Image Super-Resolution Reconstruction Based on Back-Projection

WANG Le
（College of Computer Science，Sichuan University，Chengdu 610065）

Proposes a single-frame image super-resolution reconstruction method based on back-projection.According to the thought of iterative back-projection algorithms，uses the high-resolution image to get 4 simulate low-resolution images，uses the error image between simulated low-resolution images and the actual low-resolution images to do back-projection.In the projection process，the weights of error images are adaptive，uses these error images to update the high-resolution image.The experimental results show that the proposed algorithm for different degradation models has good robustness，and small amount of calculation.The method can improve the quality of single frame image super-resolution reconstruction.

Super-Resolution Resconstruction；Iterative Back-Projection；Adaptive；Robustness

1007-1423（2016）23-0050-04DOI：10.3969/j.issn.1007-1423.2016.23.013

王樂（1992-），男，江蘇鎮江人，研究生，研究方向為超分辨率重建

2016-06-02

2016-08-10

國家自然科學基金面上項目（No.61071162）