改進的POCS算法的超分辨率單幅圖像重建?

朱耀麟，2王祖全齊靜武桐

圖像處理

改進的POCS算法的超分辨率單幅圖像重建?

朱耀麟1，2王祖全1齊靜1武桐1

（1.西安工程大學電子信息學院西安710048）（2.西北工業(yè)大學電子信息學院西安710072）

超分辨率圖像重建的目的是從幾個低分辨率（LR）的模糊、有噪聲、欠采樣以及移位的圖像中獲得一個高分辨率（HR）高質量的圖像。論文基于凸集投影的超分辨率圖像重建算法，分析重建后圖像邊緣模糊的成因，提出了一種保留邊緣的超分辨率變正則化圖像重建的方法。該方法對退化圖像建立精確的退化過程模型，通過自適應選取正則化參數(shù)動態(tài)調節(jié)重建誤差逼近項和凸集約束項，從而實現(xiàn)超分辨率重建。在幾張圖片上的測試效果證明了論文算法相對于現(xiàn)有其他方法的優(yōu)越性，該算法能夠有效地保證復原求解的收斂性并保持復原圖像的邊緣細節(jié)，且峰值信噪比具有較大提升，對經模糊和噪聲污染的圖像有較好的復原效果。

圖像重建；最大后驗估計；凸集投影；正則化

Class NumberTN911.73

1 引言

超分辨率圖像重建技術是在很多實際例子中對于提高圖像分辨率是很實用的而且必要的，它可以彌補圖像像素丟失，消除圖像噪聲，恢復圖像細節(jié)信息，從而獲得高分辨率圖像。例如醫(yī)學圖像、衛(wèi)星圖像、視頻軟件等，它們的共同點是都能夠獲得幾張內容相同的低分辨率圖像。而相對于序列圖像的超分辨率重建，單幅圖像的超分辨率重建技術無需相同場景下的多幅低分辨率的圖像，只需當前場景中的一幅低分辨率圖像就可重構出同一場景下的高分辨率圖像，在實際應用中能更加貼合需求。

單幅圖像重建在1984年由Tsai等提出，利用同一場景下的多幅低分辨率圖像序列間的互補和冗余信息重建出一幅高分辨率圖像的序列圖像重建算法。后來歷經插值重建，序列重建和基于學習的重建三個重要階段。HR圖像的細節(jié)信息是通過LR圖像的FFT或DWT變換的細節(jié)信息來估算的［1］。最成功的方法就是空間域上的隨機方法，例如在文獻［1～2］中利用多尺度空間域相似學習算法及曲率迭代插值算法，MAP（最大后驗法算法），ML（極大似然算法）以及POCS（凸集投影法）。文獻［3］利用基于Huber-Markov先驗模型的MAP-POCS法實現(xiàn)圖像的頻譜外推，對頻率分量進行校正，去除了調制傳遞函數(shù)過零點附近的偽信息。文獻［5，7］利用學習的超分辨率方法對大量的高低分辨率圖像樣本進行訓練最終獲得圖像的先驗知識，再對圖像進行超分辨率重建。文獻［6，8］提出的基于例子的單幅圖像超分辨率重建方法，通過馬爾科夫網(wǎng)絡學習得到高低分辨率圖像之間的先驗知識，這類方法的重建效果比較理想，尤其在人臉和文字處理領域，然而需要大量高低分辨率圖像作為訓練樣本數(shù)據(jù)庫。在所有這些方法中，可以引入一個價值函數(shù)［2］，來做出HR和LR圖像之間關系的線性模型，從而能夠估算HR圖像。然而，這些方法中用到的線性模型是一個難題，因為它的變換矩陣可能是單一的，因此唯一的解是不能獲得預期效果的。

在本文中，通過選擇保留邊緣來穩(wěn)定不適定問題的倒置，以及考慮噪聲的影響，來解決重現(xiàn)HR圖像的問題，已得的結果顯示了這個新方法的性能。像重建的成像模型。

而參考幀的建立，一般采取對觀察圖像序列中的一幀進行雙線性插值和迭代，使之達到所要求的高分辨率的辦法。文獻［4］中對混合MAP-POCS法初始值的構造往往采用雙線性插值法，保證了觀察圖像中所有的點都被投射到參考幀中正確的位置［4］。修正參考幀的方法是基于PSF的，也就是把觀察序列中的所有圖像點投影到參考幀上，找出參考幀在它的PSF范圍內的像素點，由PSF計算出這個像素點的灰度估計值，將其與觀察序列中的實際值進行比較，如果誤差超出了允許范圍，就對參考幀中的像素點灰度值進行修正，使灰度估計值與實際值的誤差減小到所要求的范圍內［5，7］。

實際操作過程為：先選定參考幀，再計算各幀之間的運動矢量，并構造相應的算子Dk，然后將HR圖像的任一初始估計值f0（通常是參考幀的雙線性插值）投影到每一個約束集CK上，如下式所示：

式中n為低分辨率圖像的數(shù)目。不斷重復上述投影過程以更新高分辨率圖像的估計值。SR重建問題的POCS方法在文獻［6］被提出。設運動信息已知，然后可以根據(jù)每張低分辨率（LR）圖像中的每個像素定義一個數(shù)據(jù)連續(xù)性約束集。任意（LR）圖像的凸集可以由下式給出：

2 POCS算法原理

首先對超分辨率圖像進行預估獲得連續(xù)多幀低分辨率圖像序列，也就是建立參考幀，然后根據(jù)觀察圖像序列對參考幀進行修正和插值放大作為參考圖像，直至得到可以接受的復原結果［3］。

用矢量H表示原始高分辨率圖像，L表示待重建的低分辨率圖像，則成像模型表示為；L= DBMH+n，M是幾何運動矩陣，B是模糊矩陣，D是下采樣矩陣，n是附加噪聲。此逆過程就是單幅圖其中每個像素的值是被約束的，因此它是殘差。

數(shù)量上在集合中被φ0所限制。由于φ0是由噪聲的統(tǒng)計量決定的，理想圖像的解是屬于滿足某個確定統(tǒng)計條件的集合的。

一個任意的xi(m1,m2)到Cn1,n2;i,k映射定義為

能量限制值，正定集，有限支持集等約束集都可以影響和改善結果。一個經常用到的幅度約束集為

3 單幅圖像重建的改進算法

從式（1）可以看出重建圖像質量的好壞與雙線性插值出來的初始估計有直接聯(lián)系。而雙線性插值是將原始圖像上的各點首先對應到放大圖像的各點，在此基礎上作插值，并不區(qū)分邊緣與平滑區(qū)域，這是造成邊緣模糊的主要原因，因此改進算法要對邊緣點進行正則化處理，用保持原始圖像的邊緣信息進行圖像插補的方法代替雙線性插值求解POCS算法中圖像的初始估計［9～10］。算法重點處理的是沿邊緣方向，沿邊緣兩側，邊緣到平滑區(qū)域的過度處理以及邊緣密集區(qū)處理［11］。

4 改進算法仿真結果

在我們的仿真實驗中，低分辨率圖像由以下方法獲得：由-10到10像素的平均分布獲得隨機移位，由5像素角度為5°的線性移位獲得模糊效果，抽樣值為L1=L2=2。此外，這些低分辨率圖像還被高斯白噪聲（AWGN）干擾，信噪比SNR=20dB。圖1顯示了莉娜的原始測試圖片和它的低分辨率圖片。為了從數(shù)值上評價該算法的效果，我們需要計算原始圖像和重建圖像的峰值信噪比PSNR和結構相似度SSIM［8］。以dB為單位的PSNR定義如下

其中N為像素總數(shù)，X為原始圖像，X為重建圖像［4］。

圖1 （a）原始圖像（兩倍大小），（b，c，d，e）為四種用來估算高分辨率圖像的LR圖像序列

首先，為了挑選最佳的線性模型，嘗試了許多權值（m）和偏移量（c）。表1顯示了三個已知測試圖像的結果。當m=10-10，c=0時得到最佳結果。

圖2顯示了三種算法對于莉娜圖像的結果，以及對原始圖像微分后的直方圖，它顯示出了三種方法中的誤差量。

然后，評價了MAP，MAP-POCS和改進算法的效果，并通過不同的測試圖片進行對比。表1顯示了m=10-10，c=0時，不同圖片使用ML、POCS-MAP算法、原始POCS算法和改進算法后的PSNR值。

表1 三種估值算法通過PSNR的定量效果比較

圖2 a～d顯示原始圖像，而e～h顯示了Barbara，辣椒，以及測試圖像1，2經過改進算法重建后的圖像

在視覺效果上，從圖1～2可以看出本文方法較好地保留了原始圖像的邊緣及紋理等細節(jié)，其重建結果要由于原始POCS算法。而與文獻［4］MAP-POCS法相比，單純從圖中很難根據(jù)人的肉眼區(qū)別出其差異。表1計算出了PSNR和SSIM數(shù)值，其中可以清晰地顯示出其重建結果。MAP算法得到的復原圖像圖像內的噪聲雖然減小了許多，但顏色度顯得不純正，邊緣有震蕩現(xiàn)象，噪聲消除得不是很明顯。MAP-POCS算法得到的復原圖像，可以看到該圖像輪廓的清晰度增強，邊緣得到了較好的保持，邊緣上的噪聲帶幾乎看不到了，說明噪聲減少了。而本文算法顏色較好，因為在超分辨率圖像復原之前，我們對降質圖像序列進行了去噪預處理，防止了噪聲污染，減弱了圖像邊緣弱化和模糊。

5 結語

本文解決了從幾個內容相同的低分辨率圖像中獲得一個高分辨率圖像的問題，在對成像過程建立精確的邊緣模型的基礎上，采用變正則構造初始參考圖像，在大量不同分辨率的各種圖像上測試了我們的方法，并且與其他現(xiàn)有隨機方法相比顯示了其出眾的效果，對模糊圖像和噪聲污染的圖像有較好的復原效果。

［1］楊欣，唐庭閣，費樹岷，等.基于投影修正和POCS的圖像超分辨率重建［J］.江蘇大學學報：自然科學版，2013，34（5）：564-568.

YANG Xin，TANG Tingge，F(xiàn)EI Shumin，et al.Image re?con-Struction with super-resolution based on projection modification and POCS［J］.Jiangsu university：Natural Sci?ence Edition，2013，34（5）：564-568.

［2］賈平，李家德，張葉.采用非局部均值的超分辨率重構［J］.光學精密過程，2013，21（6）：1576-1585.

JIA Ping，LI Jiade，ZHANG Ye.Using nonlocal average su?per-resolution reconstruction［J］.Optical precision pro?cess，2013，21（6）：1576-1585.

［3］劉梓，宋曉寧，於東軍.基于多成分字典和稀疏表示的超分辨率重建算法［J］.南京理工大學學報，2014，3（1）：1-5.

LIU Zi，SONG Xiaoning，YU Dongjun.Composition based on dictionary and sparse representation of super-resolu?tion reconstruction algorithm［J］.Journal of Nanjing Uni?versity of Technology，2014，3（1）：1-5.

［4］王靜，章世平，孫權森，等.基于MAP估計的遙感圖像頻域校正超分辨率算法［J］.東南大學學報：自然科學版，2010，40（1）：84-88.

WANG Jing，ZAHNG Shiping，SUN Quansen，et al.MAP based remote sensing image super-resolution with frequen?cy domain correction［J］.Journal of Southeast University：Natural Science Edition，2010，40（1）：84-88.

［5］H.Shen，P.Li，L.Zhang，Y.Zhao.“A MAP algorithm to super-resolution image reconstruction，”in Proc.IEEE Int.conf.Image and Graphics（ICIG'04），pp.544-547，2009.

［6］禹晶，蘇開娜，肖創(chuàng)柏.一種改善超分辨率圖像重建中邊緣質量的方法［J］.自動化學報，2007，33（6）：577-582.

YU Jing，SU Na，XIAO Gen parker.a method to improve the edge of super-resolution image reconstruction quality［J］.Journal of automation，2007，33（6）：577-582.

［7］M.Elad，A.Feuer.Restoration of a single super resolution image from several blurred，noisy，and under-sampled measured images［J］.IEEE Trans.Image Processing，2011，6：1646-1658.

［8］陳杰，朱秀昌.一種基于彩色化的單幅彩色圖像超分辨率重建［J］.南京郵電大學學報：自然科學版，2013，33（4）：6-12.

CHEN Jie，ZHU Xiuchang.Based on the color of a single color image super-resolution reconstruction［J］.Journal of nanjing university of posts and telecommunications：natu?ral science edition，2013，33（4）：6-12.

［9］紹樂圖，陳晨，張紅剛，等.改進的混合MAP-POCS超分辨率圖像復原算法研究［J］.電光與控制，2015，2：41-45.

SHAO Letu，CHEN Chen，ZHANG Honggang，et al.Im?proved hybrid MAP-POCS super-resolution image restora?tion algorithm study［J］.Electric and control，2015，2：41-45.

［10］江靜，張雪松.圖像超分辨率重建算法綜述［J］.紅外技術，2012，34（1）：24-30.

JIANG Jing，ZHANG Xuesong.Image super-resolution reconstruction algorithm review［J］.Infrared technology，2012，34（1）：24-30.

［11］史郡，王曉華.基于改進的K-SVD字典學習的超分辨率圖像重建［J］.電子學報，2013，41（5）：9797-1000.

SHI Jun，WANG Xiaohua.Based on the improved KSVD dictionary learning super-resolution image recon?struction［J］.Journal of electronics，2013，9（5）：9797-1000.

An Improved POCS Algorithm for Super-resolution Single Image Reconstruction

ZHU Yaolin1，2WANG Zuquan1QI Jing1WU Tong1
（1.School of Electronics and Information，Xi'an Polytechnic University，Xi'an710048）（2.School of Electronics and Information，Northeasten Polytechnic University，Xi'an710072）

Super-resolution image reconstruction has been one of the most important research areas in recent years，whose goals is are to obtain a high resolution（HR）image from several low resolution（LR）blurred，noisy，under sampled and displaced images.Relation of the HR image and LR images can be modeled by a linear system using a transformation matrix and additive noise.However，an unique solution may not be available because of the singularity of transformation matrix.To overcome this ill-posed problem，stochastic methods such as ML and MAP have been introduced.However，their performance is not good because the effect of noise energy has been ignored.In this paper，an adaptive regularization approach is proposed based on the fact that the regularization parameter should be a linear function of noise variance.The performance of the proposed approach has been tested on several images and the obtained results demonstrate the superiority of our approach compared with existing methods.

image reconstruction，maximum a-posteriori，projection on convex sets，adaptive regularization

TN911.73

10.3969/j.issn.1672-9722.2017.05.035

2016年11月9日，

2016年12月25日

國家自然科學基金（編號：61303120）；陜西省科技廳國際合作項目（編號：2016KW043）；陜西省教育廳科學研究計劃資助項目（編號：15KJ1320）資助。

朱耀麟，男，博士（后），副教授，碩士生導師，主要研究為圖像處理和模式識別。王祖全，男，碩士研究生，研究方向：圖像處理。齊靜，女，副教授，研究方向：圖像處理。武桐，女，講師，研究方向：圖像處理。