一種改進Papoulis?Gerchberg的多幅超分辨重構方法

穆紹碩，張 葉，賈 平（.中科院航空光學成像與測量重點實驗室（中國科學院長春光學精密機械與物理研究所），30033長春；2.中國科學院大學，00039北京）

一種改進Papoulis?Gerchberg的多幅超分辨重構方法

穆紹碩1，2，張 葉1，賈 平1
（1.中科院航空光學成像與測量重點實驗室（中國科學院長春光學精密機械與物理研究所），130033長春；2.中國科學院大學，100039北京）

為進一步提高拍攝圖像的分辨率，提出一種改進的Papoulis?Gerchberg超分辨算法.新算法提出邊緣檢測方法，可以改善傳統方法空間復雜度和重構圖像邊緣模糊的問題.新算法在原有的算法基礎上融于邊緣檢測，針對多幅同一場景輸入圖像，在每次Papoulis?Gerchberg迭代過程加入坎尼檢測，同時將每步的重構誤差投影到下一步重構過程，降低了算法空間復雜度，能有效恢復丟失的邊緣高頻信息.MATLAB實驗結果表明，與現有的經典超分辨重構方法相比，本算法反映圖像質量的峰值信噪比和灰度標準差更高，信噪比和灰度標準差比改進前算法分別提高0.5 dB和2.5.從視覺感官上對比，重構圖像整體效果也更加清楚，去除了原始重構方法圖像邊緣疊影現象，有效提高了原始輸入圖像的分辨率.

超分辨率；邊緣檢測；重構誤差；多幅圖像；峰值信噪比

隨著航空光電載荷的高速發展，更大的畫幅、更高的圖像分辨率以及更遠的作用距離成為航空光電載荷不斷追求的目標，但受體積、質量、功耗等因素影響，以及光學系統成像過程中引起的欠采樣、運動模糊及噪聲等的影響，圖像分辨率受到光學和成像探測器的雙重限制，因此獲取高分辨率航拍圖像已成為當今航空領域的熱點和難點.提高圖像分辨率最直接的方法是采用高分辨率CCD相機，但受工藝水平限制以及相機圖像數據傳輸速率的限制，通過高分辨率CCD相機采樣獲得的圖像分辨率的能力是非常有限的.近年來，通過軟件方法等效提升圖像分辨率的技術，即超分辨率重構技術受到廣泛關注.超分辨率重構是將一幅或多幅包含相似信息而細節不同的低分辨率圖像融合成一幅高分辨率圖像，能夠重構超出光學系統衍射極限之外的空間頻域信息，實現進一步提高分辨率的工程應用目的.

超分辨率重構技術最初由文獻［1］提出，采用簡單的頻域方法在無噪聲和模糊的情況下重構圖像.隨后對于超分辨率重構出現了各種方法［2－10］.文獻［2］采用一種重復迭代的空域方法，通過不斷構造多個模擬的相似場景的低分辨率圖像找到相應的高分辨率圖像；文獻［3］提出基于貝葉斯概率理論的方法，用最大后驗概率（MAP）方法重構圖像；

文獻［4］結合最大似然函數（ML）和合適的先驗知識，提出了一種混合方法，重構效果明顯提高；針對含有噪聲的模糊圖像，文獻［5］提出一種基于L1范數的重構方法，能夠有效去除異常點，得到精細邊緣；文獻［6］提出一種非局部均值算法，不需要運動估計，重構效果非常好，但是此運算量非常大，不利于工程應用；文獻［7］對非局部均值算法進行計算簡化，從而加快了算法運行，但重構圖像細節質量有所下降；文獻［8－9］也很好地解決運算量大的問題，文獻［8］提出一種部分監督鄰域嵌入算法，很好加快了重構速度，文獻［9］則是通過結合空域方法和小波域方法對單幅圖像重構，并采用重疊分割進行算法加速.

對于一維抽樣信號，文獻［10－11］首先提出基于信號外推理論恢復原始信號.隨后近年來將Papoulis?Gerchberg方法廣泛應用到了圖像超分辨率重構技術上［12－16］.文獻［12］使用Papoulis?Gerchberg方法對多幅圖像重構，并分析低分辨圖像冗余信息的有無帶來的重構影響.文獻［13］提出改進的Papoulis?Gerchberg算法實行重構，取得了很好效果，但是重構圖像會出現細節不夠精細，且去噪效果不明顯和迭代次數較多.本文針對以上問題，提出一種基于改進Papoulis?Gerchberg算法的多幅超分辨率重構，通過對多幅同一場景低分辨率圖像進行重構，能進一步提高邊緣精細程度，恢復丟失的高頻信息，獲得清晰的高分辨率圖像.

圖1 標準Papoulis?Gerchberg法流程圖

1 Papoulis?Gerchberg原理

真實場景景象經相機系統拍攝會得到明顯低于真實景象分辨率的低分辨率圖像，根據文獻［17］超分辨成像模型理論，可表示為y＝D H X+N，其中：y為拍攝的低分辨圖像；D為傳感器像素數目有限引起的降采樣操作；H為鏡頭的模糊矩陣；N為系統加性噪聲；X為真實景象，即一幅HR圖像經模糊下采樣后得到低分辨圖像.低分辨圖像之間具有不同運動參數，含有原始高分辨圖像X的冗余信息［13－15］.因此本文針對含有冗余信息的多幅LR圖像，提出改進的Papoulis?Gerchberg算法重構盡可能接近原始高分辨圖像X的清晰圖像.

一幅高分辨率圖像經過下采樣等得到幾幅低分辨率圖像，低分辨圖像會發生頻率混疊現象，文獻［10－11］提出一維信號混疊的外推恢復算法，隨后此理論用于圖像處理領域.

假設一維原始信號f（t），其產生的傅里葉頻譜為

對原始信號抽樣得實際信號為

假設原信號帶寬為ω0，并用截止頻率為ω0低通濾波，得到

再將信號h0（t）加載在h1（t）上，得到

這就完成了第1次迭代，按照以上過程經n次迭代循環后，如

經過無限次迭代得到的結果會接近原始信號f（t）.但是迭代次數增加意味著耗費的時間增多，而有限次的迭代又會造成結果誤差較大，因此在實際應用中要對其改進優化.對于二維圖像應用Papoulis?Gerchberg算法，流程見圖1.

2 Papoulis?Gerchberg算法改進

2.1 多幅誤差反投影

如圖1所示，標準Papoulis?Gerchberg法重構圖像需多次迭代，每次迭代的誤差不斷累積，重構效果不夠明顯，對于工程應用來說，整體視覺效果和邊緣細節都不夠清晰，沒有實際應用意義.而且用于超分辨率重構的單幅圖像提供信息有限，重構結果有可能失真.因此在本文中應用多幅同一場景不同運動參數輸入圖像進行重構，并在每次迭代中所產生的誤差進行反投影，加在每次重構圖像中，以減少重構過程的空間復雜度.

文獻［6］可知，超分辨重構是一個病態的逆向求值問題，低分辨率圖像的成像模型可用矩陣y＝D H X+N表示.對于此問題［1－4］一般可通過以下來表示（即在歐幾里德空間，采用p范數描述［7］）：

式中：εk（X）為實際原始輸入圖像與模擬低分辨圖像在某一空間的距離量度，其中1≤p≤2，在歐幾里德空間常用L1范數和L2范數表述，L1范數和L2范數分別對應p＝1和p＝2的情況；X為Papoulis?Gerchberg算法迭代1次后求得重構高分辨圖像；yk為一幅原始輸入圖像；DkHkX為對此次迭代重構高分辨圖像下采樣的模擬低分辨圖像.本文使用L2范數，當取多幅輸入圖像時，可得

式中?P（X）為重構圖像X的模擬低分辨圖像與原始輸入圖像之間的誤差.根據Papoulis?Gerchberg原理，式（4）中X可求得

式中：LP為截止頻率是σ的低通濾波器；FFT、IFFT分別為傅里葉變換和傅里葉反變換，將HR初始估計X0已知像素點值賦在上式X構成新的HR估計X，如圖1所示，然后求得新的誤差?P（X）.

由式（4）可知，重構誤差可由將原始圖像與模擬低分辨率圖像之間的差值經過上采樣DTK，再去模糊得到.如果在每次迭代過程都加上相應誤差?P（X），與原始算法相比將會大大縮減迭代次數，同時能通過減少誤差提高重構質量.每次迭代過程可表示為

式中：Xn為第n次Papoulis?Gerchberg算法迭代，?P（Xn）為相應的第n次迭代所產生的誤差，α為系數因子.

2.2 邊緣細節恢復

若按照以上過程并不能有效恢復細節高頻成分，部分高頻信息在每次迭代中都會被濾波丟失，如

且迭代后很難恢復完全，因此會導致重構圖像邊緣高頻信息有所丟失，邊緣細節不夠清晰，本文得到的重構圖像質量也會受影響.邊緣是圖像的基本特征，圖像的大部分信息包含在圖像中.邊緣高頻信息的恢復決定了重構圖像細節質量，超分辨重構的關鍵就是精確恢復丟失的邊緣高頻信息.文獻［17］提出非局部濾波快速算法，通過邊緣檢測方法提取高頻信息進行重構恢復；文獻［18］指出通過邊緣檢測算子提取原始高頻信息，能在此基礎上進一步恢復邊緣信息.因此在Papoulis?Gerchberg算法基礎上提出邊緣檢測方法，對初始重構估計X通過邊緣檢測提取高頻信息，確保原始高頻信息不丟失，得到高分辨率圖像高頻信息的預估計，同時在此基礎上恢復其它丟失的高頻成分和低頻成分.

邊緣檢測算法有很多，其中坎尼檢測算子是一類最優邊緣檢測算子，它通過尋找圖像梯度的局部極大值，用高斯函數的一階微分來計算函數，對圖像強邊緣和弱邊緣都能準確提取，而且對單一邊緣有唯一響應，已廣泛應用在圖像處理領域.本文使用坎尼邊緣提取方法，通過在每次迭代中加入坎尼檢測得到丟失的邊緣高頻信息預估計，進一步提高邊緣精細度.基于文獻［17－18］高頻信息恢復原理，本文算法表示為（Xn（canny）是第n次迭代過程的高頻成分）

式中：X0（canny）為對原始低分辨率圖像插值后的初始重構估計進行坎尼邊緣提取得到；為第n次迭代后的模擬的低分辨率圖像；up）為所有模擬圖像插值融合后所得高分辨圖像.因為模擬低分辨率圖像本身存在很大誤差，將其插值融合成的高分辨率圖像∑（up）會比原始重構估計X0邊緣更模糊，所以將兩者相減會得到丟失的部分邊緣高頻信息.

式（7）是通過邊緣檢測提取的高頻信息，將其加入到式（5）中，可得每次的迭代過程，如

根據式（8）可得本文算法原理，本文算法流程如圖2所示，A過程表示原始輸入圖像與模擬低分辨圖像的誤差反投影到下一次的迭代；B過程表示邊緣檢測提取的高頻信息恢復.

圖2 本文算法流程

3 實驗結果

對于多幅圖像超分辨重構技術來說，決定重構圖像質量好壞的首要問題就是多幅LR圖像的配準問題，本實驗分為仿真圖像實驗和實景圖像實驗.對仿真實驗來說，本文算法和其他對比算法都采用同一種配準方法［10］，在此基礎上對比本文改進算法與改進前和其他算法的優勢.對于實景圖像實驗，本文采用微位移實驗平臺采集圖像，采集的多幅圖像能準確知道其運動參數，因此避免運動參數估計失敗導致的超分辨重構圖像失敗，同時從實景重構說明本文算法的優勢.

3.1 仿真實驗

分別用標準Lena圖像和實景圖像驗證本文算法的優越性.實驗是運用MATLAB7.8（R2009a）在windows XP系統、奔騰雙核的主機上運行，圖3是重構結果，其中：圖3（a）是256×256的標準高分辨率Lena圖片，對其隨機旋轉平移再降采樣得到4幅128×128低分辨率圖像，并加入方差為0.02的高斯噪聲；圖3（b）是一幅低分辨率圖像；圖3（c）～（f）分別為采用雙三次插值法、IBP算法、應用文獻［13］的Papoulis?Gerchberg算法、本文算法所得到的超分辨率重構結果.從圖像視覺效果分析，本文算法比插值算法、IBP算法和文獻［13］的Papoulis?Gerchberg算法都有優勢，邊緣細節如帽檐和眼睛保持較好較細膩，且從整體來看，本文圖像較其他算法更平滑，更清晰.本文算法較IBP算法結果更平滑，IBP結果中有部分馬賽克現象，而與Priyam算法結果相比，本文算法結果更清晰，文獻［13］算法的重構圖像在帽檐周圍有明顯的疊影.同時從細節上比，如眼睛，本文算法結果較清晰細膩，其反應圖像細膩程度的灰度標準差如表1所示.

圖3 重構結果

表1 灰度標準差比較結果

客觀上，用峰值信噪比（PSNR）、均方誤差（MSE）和平均絕對誤差（MAE）評估重構質量.其中：g（i，j）為重構圖像像素值，f（i，j）為原始高分圖像像素值.PSNR越大，MSE、MAE越小表示重構質量越好.如表2所示，本文算法所得重構結果PSNR比插值法和IBP算法高出2 dB多，比文獻［13］的Papoulis?Gerchberg算法高出0.5 dB，MSE和MAE也比其他算法小.從客觀評價標準上看本文算法比其他算法更有優勢.圖4是迭代次數與迭代誤差的擬合曲線圖，橫坐標表示迭代次數，縱坐標表示重構誤差，實線表示本文算法所得結果，虛線表示文獻［13］算法結果.圖4中可知隨著迭代次數增加，本文算法重構誤差比改進前算法下降的快，即同等迭代次數本文算法重構誤差更小.在其中選取某些迭代次數和迭代誤差的對比關系，見表3.從表3中可見，在迭代誤差達到e－4級數的時候，本文算法比文獻［13］所用Papoulis?Gerchberg算法迭代次數減少近1／2，降低了算法的空間復雜度.

表2 PSNR比較結果

圖4 迭代次數與誤差的對比擬合

表3 迭代次數與誤差的比較結果

灰度標準差表示各像素灰度值與圖像平均灰度值的總離散度，灰度標準差越大，圖像信息越多.因此灰度標準的大小一定程度上能反映圖像的細節分布情況.

3.2 實景實驗

用實驗平臺采集圖像并進行重構處理，以獲得更清晰的高分辨率圖像.如圖5所示，它是由一個微位移鏡頭A，PI轉臺B組成的實驗平臺系統.通過控制PI轉臺能連續獲得多幅同一實景不同運動參數圖像，如圖6（a）、（b）.為能對不同算法重構結果進行對比，取每幅圖像同等部分輸入到電腦分別利用雙三次插值法、IBP算法、應用文獻［13］的Papoulis?Gerchberg算法和本文方法進行重構，圖6（c）～（f）為其重構結果.從圖6中細節對比可見，本文算法能很好對實景圖像重構，重構圖像與其他算法相比，邊緣細節更細膩.同時從表1的灰度標準差來看，本文算法的重構結果灰度標準差比改進前算法高0.3，客觀上分析可知本文算法重構圖像的邊緣細節比傳統插值法和改進前算法更好.

圖5 實景拍攝平臺

圖6 超分辨率實景重構結果

4 結 語

本文針對超分辨率重構Papoulis?Gerchberg算法存在的重構結果細節模糊現象，提出了一種基于Papoulis?Gerchberg的改進算法.實驗結果表明，本文算法重構結果的信噪比（PSNR）和灰度標準差比文獻［13］的Papoulis?Gerchberg算法都有提高，圖像重構質量更好，同時迭代次數大大較少，降低了算法空間復雜度，有很好的工程應用前景.

［1］TSAI R Y，HUANG T S.Multiframe image restoration and registration［J］.Advances in Computer Vision and Image Processing，1984，1：317－339.

［2］IRANI M，PELEG S.Improving resolution by image registration［J］.Graphical Model and Image Processing，1991，53（3）：231－239.

［3］CHEESEMAN P，KANEFSKY B，KRAFT R，et al.Super?resolved surface reconstruction from multiple images［M］. Santa Barbara，California：Maximum Entropy and Bayesian Methods，1996.

［4］HARDIE R C，BARNARD K J，ARMSTRONG E E.Joint MAP registration and high?resolution image estimation using a sequence of undersampledImages［J］.IEEE Transactions on Image Processing，1997，6（12）：1621－1633.

［5］FARSIU S，ROBINSON M D，ELAD M，et al.Fast and robust multiframe super resolution［J］.IEEE Transactions on Image Processing，2004，13（10）：1327－1344

［6］PROTTER M，ELAD M，TAKEDA H，et al.Generalizing the nonlocal?means to super?resolution reconstruction［J］. IEEE Transactions on Image Processing，2009，18（1）：36－51.

［7］李家德，張葉，賈平.采用非局部均值的超分辨率重構［J］.光學精密工程，2013，21（6）：1576－1585.

［8］ZHANG Kaibing，GAO Xinbo，LI Xuelong，et al.Partially supervised neighbor embedding for example?based image super?resolution［J］.IEEE Journal of Selected Topics in Signal Processing，2011，5（2）：230－239.

［9］TAI S C，KUO T M，IAO C H，et al.A fast algorithm for single?image super resolution in both wavelet and spatial domain［C］／／Proceedings of the 2012 International Symposium on Computer，Consumer and Control. Washington，DC：IEEE Computer Society，2012：702－705.

［10］GERCHBERG R W.Super?resolution through error energy reduction［J］.Optica Acta，1974，21（9）：709－720.

［11］JAIN D.Super?resolution using Papoulis?Gerchberg algorithm［D］.Stanford，CA：Stanford University，2012.

［12］CHATTERJEE P，MUKHERJEE S，CHAUDHURI S，etal. Application of Papoulis?Gerchberg method in image super?resolution and inpainting［J］.Computer Journal，2009，52（1）：80－89.

［13］RAO C V，RAO J M，KUMARA S，et al.Restoration of high frequency details while constructing the high resolution image［J］.IEEE India Conference，2011（12）：1－5.

［14］SALARI E，BAO Guanqun.Super?resolution using an enhanced Papoulis?Gerchberg algorithm［J］.IET Image Processing，2012，6（7）：959－965.

［15］VALERY P，DANIEL K.Iterative Papoulis?Gerchberg algorithm for fan?beam tomography［J］.IEEE Transactions on Computational Technologies in Electrical and Electronics Engineering，2008（8）：333－341.

［16］PARK S C，PARK M K，KANG M G.Super?resolution image construction：a technical overview［J］.IEEE Signal Processing Magazine，2003，20（3）：21－36.

［17］LIANG Xiuju，GAN Zongliang.Improved non?local iterative back projection method for image super?resolution［C］／／Proceedings of the Sixth International Conference on Image and Graphics（ICIG）.Hefei，Anhui：IEEE Computer Society.2011：176－181.

［18］PATEL V B，MODI C K，PAUNWALA C N，et al.Hybrid Approach for Single Image Super Resolution using ISEF and IBP［C］／／Proceedings of the IEEE Conference on Communication System and Network Technology（CSNT）. Washington，DC：IEEE Computer Society，2011：495－499.

（編輯 張 紅）

An improved Papoulis?Gerchberg algorithm for multiframe super?resolution reconstruction

MU Shaoshuo1，2，ZHANG Ye1，JIA Ping1
（1.Key Laboratory of Airborne Optical Imaging and Measurement（Changchun Institute of Optics，Fine Mechanics and Physics，
Chinese Academy of Sciences），130033 Changchun，China；2.Graduate University of Chinese Academy of Sciences，100039 Beijing，China）

In order to enlarge a low resolution image clearly，an improved Papoulis?Gerchberg super?resolution method was proposed to solve the space complexity and the edge blurring phenomenon of reconstruction results.More specifically，the proposed algorithm uses edge detection operator，and canny detection is also joined in every Papoulis?Gerchberg iterative process，while reconstruction error is projected to next iterative process，such that the space complexity can be reduced and the lost high?frequency edge information can be recovered effectively.MATLAB experimental results show that the PSNR and the gray standard deviation improve 0.5 dB and 2.5，respectively，with comparison to the conventional Papoulis?Gerchberg method.Furthermore，the proposed algorithm can reconstruct multi?frame Low?Resolution images ofsame scene more accurately and the visualquality ofthe reconstruction image is clearer that the conventionalone，and the proposed algorithm can also eliminate edge shadow and obtain a clear high?resolution image.

super?resolution；edge detection；reconstruction error；multi?frame images；peak signal to noise ration

TP517.2

A

0367－6234（2015）10－118－06

10.11918／j.issn.0367?6234.2015.10.022

2014－07－04.

國家自然科學青年基金（60902067）；吉林省重大科技攻關項目（11ZDGG001）.

穆紹碩（1990—），男，博士研究生；賈 平（1964—），男，研究員，博士生導師.

穆紹碩，860600894＠qq.com.