一種基于MAP的圖像超分辨率重建算法

洪逸飛，姚琦敏，張貽雄

(廈門大學信息科學與技術學院通信工程系，福建廈門361005)

圖像的超分辨率重建是基于信號處理技術將多幅模糊且帶有噪聲的低分辨率(Low Resolution，LR)圖像或低分辨率視頻序列之間的相關信息融合，生成一幅去模糊去噪聲的高分辨率圖像或高分辨率視頻序列。超分辨率重建已經有不少經典方法，例如Henry Stark和PeymaOskoui提出的凸集投影圖像復原(POCS)方法［1］;Schultz等人首先提出了采用基于馬爾科夫隨機場先驗模型的多幀MAP(最大后驗概率)算法進行超分辨率圖像重建［2］。

在MAP框架下，超分辨率重建是一個基于馬爾科夫隨機場先驗模型的統計推斷問題，即在給定低分辨率圖像序列的條件下，通過選取與設計合理的馬爾科夫隨機場先驗模型，使得超分辨率重建估計的高分辨率圖像的后延概率達到最大。Cheeseman等［3］采用基于高斯分布的先驗概率模型，運用雅可比(jacobi)迭代法求解高分辨率圖像，但是這種算法容易使圖像中的邊緣等重要幾何信息產生模糊。Hardie等［4］提出了一種聯合估計高分辨率圖像和運動參數的MAP參數，但是這種算法收斂速度過慢。Ng等［5］提出一種基于數字全變差模型的圖像視頻序列的超分辨率重建算法，這種算法的運動估計是基于光流算法，光流估計算法在物體沒有發生運動但背景光照發生變化的幀間能觀測光流，而對于灰度等級缺乏足夠變化的區域就很難檢測到實際運動。由Michael Elad提出的傳統MAP/POCS混合算法［6］是利用POCS方法容易引入先驗約束集合的特點，將MAP估計作為一個凸集約束集加入到POCS的約束集中，從而構造一個新的凸集解空間來進行超分辨率重建，從像素點對圖像的局部特征進行重建優化，從而使得銳化效果更佳。但該算法只是簡單地將這兩者進行串行結合運算，相當于每個算法的運算是獨立的，因此這樣混合算法無法充分利用各自的優點進行互補，導致效果不如預期的理想。Babacab等［7］采用L1范數的全變差模型對高分辨率圖像進行估計并采用基于高斯光流的光流算法(Lucas—Kanade)對低分辨率圖像序列進行運動估計，雖然從實驗結果來看這種算法有較好的效果，但仍存在兩個缺點:一是平坦區域在噪聲抑制的過程中容易產生階梯效應［8］;二是紋理結構等小尺寸的圖像細節在噪聲抑制過程中容易損失［9］。

本文根據傳統的重建方法，在傳統的MAP/POCS混合算法上加入了CPF圖像配準方法，并把POCS的殘差約束集合加入到基于CPF圖像配準的MAP正則化算法中［10］，同時在每一次迭代重建過程中利用CPF對低分辨率圖像進行配準并且對重建圖像的像素點進行約束，且在此過程中幾個關鍵算法都不是獨立分開運算，這種改進的方法可以更好地結合這幾種算法的優點，從而獲得相對傳統重建方法更理想的效果。

1 關鍵點濾波匹配算法研究

關鍵點濾波配準法［11－12］在生成低分辨率圖像的同時，保持圖像內每一個關鍵像素點的灰度和位置信息，而且不需包含任何先驗知識。

1.1 多尺度圖像的分解

設原始圖像的高度與寬度分別為M和N，其中M=N=2n(n為任意正整數)。圖像任意位置(i，j)處的灰度值為gi，j。令當前尺度為m層(0≤m≤n)，圖像大小為2m×2n，則m層的4個圖像可以由m+1層圖像分解求得，關鍵點濾波器的數學表達式［13］為

假設 α =minx≤t≤x+1，β =maxx≤t≤x+1，則上述 4 種子圖像可以表述為

在配準過程中，首先采用g(m，0)對極小值進行匹配，其次是g(m，1)和g(m，2)對兩類鞍點進行匹配，最后采用g(m，3)極大值進行匹配。

1.2 子圖像的映射

假設映射方向是從源圖像映射到目標圖像。映射過程采用自頂向下的方式，從最高層(最低分辨率)開始直到最底層(原始分辨率)。源圖像到目標圖像的雙射子映射表示為

式中:f(m，s)(i，j)=(k，j)表示源圖像的點在目標圖像內的對應點為。

1.3 映射能量

映射能量也稱作為代價函數，主要由3部分組成:與像素強度相關的能量、與邊緣強度相關的能量、與映射距離相關的能量。

1)與像素強度相關的能量

該能量由源圖像和目標圖像之間的像素強度差決定，可以表示為

2)與邊緣強度相關的能量

該能量主要是為了保證對圖像內物體的邊緣更好地匹配，對灰度變化和集合變形具有較強的魯棒性。邊緣圖像分為水平邊緣圖像以及垂直邊緣圖像，采用Sobel算子進行邊緣檢測。

該能量可以表示為

3)與映射距離相關的能量

該能量主要是用于保證映射的平滑性，由源圖像和目標圖像像素點的位置決定，而與像素灰度值無關。該能量定義為

式中:η≥0是一個實數。

式中:D0由(i，j)和f(m，s)(i，j)=(k，j)的距離決定，防止源圖像的像素點被映射到目標圖像中距離太遠的像素點位置;D1表示為當前像素點和相鄰像素點的映射距離差，用來保證映射的平滑性。

1.4 匹配算法流程

由上文得到映射總能量為

2 基于CPF圖像配準的MAP/POCS算法

傳統光流法為了確定物體移動的速度和方向，通過檢測圖像像素點的強度隨時間的變化來進行確定，這樣勢必存在一定的局限性，特別是對視頻序列而言在背景光照變化較大的幀間并不適用。

關鍵點濾波能不僅有夠效地表達各種非平移的運動，同時還可實現圖像的自動配準;MAP算法具有解唯一和去噪能力強的特點;POCS算法的邊緣和細節保持能力較優，本文結合這3種算法的優點，在CPF圖像匹配算法的基礎上，在MAP算法的每次迭代中加入了POCS殘差約束集合來進行圖像重建，而不是傳統算法中僅僅只是將幾種算法做串行運算。

2.1 目標函數的設計

考慮到MAP算法和POCS算法的數據一致性約束［14］，因為總變分［15］(Total Variation，TV)正則化可以克服超分辨率重建問題的病態性，且L1+TV的約束方法不僅與L2+TV約束法有同樣的邊緣保持能力，還提高了算法的運行速度，同時圖像重建過程中的中值估計比均值估計更具有魯棒性［16］，因此這里MAP算法采用L1范數的數據保真度項和總變分算子作為正則化項，可得

式中:k為低分辨率的幀數;假設低分辨率圖像序列的分辨率為M×N，(m，n)為坐標值，則1≤m≤M，1≤n≤m;yk是低分辨率圖像;X是重建的高分辨率圖像;Ak是系統矩陣，包含下采樣、模糊和形變。MAP算法的先驗模型采用全變分的正則化方法。是低分辨率圖像的每一個像素點與重建幀中對應的區域的像素點經過系統函數作用后的到的低分辨率圖像的估計值的殘差值。δ0是POCS算法的殘差約束，λ為平衡數據保真項和正則項的正則化參數。ε是一個極小數，保證了函數的零點可微性，Ω是圖像的支持域或稱為圖像平面的像素集合，Δx表示可以為不連續的離散像素點。

式(10)中的第一個式子是MAP算法的一致性約束，而第二個式子是POCS算法的數據一致性約束，即殘差約束。可以看出，MAP算法是對整幅圖像的全局殘差進行約束，而POCS算法是對圖像的每個像素點進行約束。因此在MAP算法的迭代過程中嵌入POCS的凸集投影算子進行約束，可以實現兩種方法的緊密結合而不是單純地串行運算。

2.2 正則化參數選取

式(10)中第一個式子的第二項通常稱為正則化項，λ稱為正則化參數。由于超分辨率重建問題的不適定性，因此需要正則化來保證以得到穩定的最優解。同時，正則化都是關于原始圖像系統先驗模型的一種描述，因此在超分辨率重建過程中能夠幫助去除結果中的奇異值，以提高算法的速率。本文在基于CPF圖像配準的超分辨率重建算法中加入了自適應正則化參數，在重建過程中，以此利用當前重建獲得的高分辨率圖像來調整正則化參數，使得正則化參數和圖像重建結果同時達到最優。

本文的算法是L1范數數據保真項和總變分正則化項的方式，同時參考基于比例的動態調整法［17－18］，并對其進行改進，得到適合本文重建算法形式的自適應正則化參數為

式中:Xk是經過第k次迭代后所求的的重建圖像;λk+1是第k+1次迭代后的正則化參數;r是一個極小的數，用于保證分母不為零;ε是修正因子，通過調整該因子來改變正則化參數的大小，從而達到更好的重建效果，一般可以選一個固定的常數;ψ(Xk)表示正則化項。

2.3 目標函數的求解

基于CPF圖像配準的MAP/POCS算法的基本思路是在基于CPF圖像配準的MAP估計的迭代過程中，加入了POCS的殘差約束。

1)最小值求解

利用求解歐拉—拉格朗日方程，對式(10)中第一個式子求解得到

采用迭代方法最速下降(Steepest Desecent，SD)法，其基本思想是函數沿著梯度方向具有最大變化率，即函數沿著負梯度方向下降得最快。迭代方程為

式中:Gn為梯度，n=1，2，…，為迭代次數;α為迭代步長;Ak=BkFkDk為模糊矩陣Bk，形變矩陣Fk，下采樣矩陣Dk的累積;Fk=P{}由關鍵點濾波匹配法獲得。

整個求解過程步驟如下:

(1)初始化迭代次數n為0，用插值得方法獲取初始值。

(2)采用關鍵點濾波(CPF)圖像配準算法對低分辨率圖像序列進行配準。

(3)求梯度方向Gn。

(6)當滿足迭代停止條件或者n達到最大迭代次數，結束程序;最后n+1即為所求的的超分辨率重建后的高分辨率圖像。

2)殘差約束求解

每一次迭代中，將低分辨率圖像的每一個像素點與重建幀中對應區域的像素點經過系統函數作用后得到

綜上可得該MAP/POCS混合超分辨率重建算法的主要步驟，相比于單獨運算式(10)的第一個式子有所不同，整個步驟如下:

(1)初始化迭代次數n為0，用插值的方法獲取初始值，采用基于關鍵點濾波配準算法對低分辨率圖像序列進行配準。

(2)求梯度方向Gn。

(6)若滿足迭代停止條件或者達到大迭代次數nmax，結束程序;最后即為所求的的超分辨率重建后的高分辨率圖像。

3 仿真實驗與分析

為了驗證本文算法，分別選用了Lena等靜態圖像、akiyo等視頻圖像序列的第3幀來進行仿真實驗分析。為了驗證本文算法的有效性，采用了3種方法對低分辨率圖像序列進行重建對比:1)L1+TV+LKOFlow［19］(Lucas－Kanade Optical Flow，盧卡斯卡納德光流法)算法;2)L1+TV+CPF算法;3)L1+TV+CPF+POCS。模擬Lena和pepper等低分辨率圖像序列間的運動估計采用第1幀參考幀，而視頻圖像序列akiyo等低分辨率序列間的運動估計均采用第3幀為參考幀，并將第1、2、4和5幀作為重建圖像的幀［20］。重建結果見圖1～圖4以及表1。

圖1 超分辨率重建的Lena圖像

結合重建結果的PSNR和對Lena和pepper等重建圖像的觀察認識，可以看出，加入了關鍵點濾波的L1+TV+CPF方法相對于傳統的L1+TV+LKOFlow方法并沒有太多改進，這是因為低分辨率圖像序列是通過同一張高分辨率圖像生成的，背景里的物體并沒有出現局部運動，只存在全局運動，同時相鄰低分辨率幀的背景亮度也沒有改變，因此加入了CPF和采用LKOFlow計算出來的運動矢量并沒有太多差別，從而重建結果比較一致。對結合了POCS的改進算法以后，兩幅圖像相對于之前的算法而言，PSNR有了明顯地提升，且從主觀效果上來看，二者的整體銳化清晰度有明顯提升，而且局部的細節體現得更明顯，例如Lena圖像在頭像的邊緣以及頭發的紋理更加凸顯，頭像也較前方法逼真，pepper圖像上來看，在一些圖像灰度值變化較大的邊界處能夠體現得更加明顯，使得細節體現得更清晰。

圖2 超分辨率圖像重建的pepper圖像

圖3 超分辨率圖像重建的akiyo圖像

圖4 超分辨率圖像重建的hall圖像

表1 超分辨率重建圖像的PSNR dB

從視頻圖像重建的結果來看，L1+TV+CPF算法在加入了CPF配準算法后，在背景物體出現局部較大運動的情況下，依然具有較好的配準性能，從而使得重建后的圖像更加清晰。而光流法只實現估計全局運動參數，而視頻圖像段存在內部局部運動，因此L1+TV+CPF重建后的高分辨率圖像邊緣更加凸顯，同時也更加逼真。采用L1+TV+CPF+POCS算法的重建結果圖像也好于L1+TV+CPF算法，從局部放大的效果來看，可以看出改進的MAP/POCS算法對于邊緣信息的銳化效果相較于L1+TV+CPF的效果更清晰明顯。例如，akiyo中人物頭像邊緣較為平滑的hall中柜子的層次條紋也更為明顯，能夠清楚看到層次，這也凸顯了改進的MAP/POCS混合算法能夠更好地還原視頻序列圖像邊緣信息以及凸顯邊緣信息。

以上結果表明，將POCS的殘差約束和幅度約束引入到基于關鍵點濾波圖像配準的重建算法的迭代中去，在每一次迭代的過程中，MAP方法全局重建優化，CPF配準算法在背景物體出現局部較大運動的情況下，依然有較好的配準性能，同時POCS對重建的高分辨率圖像的像素點進行局部約束，可以更好地保持重建后圖像的邊緣信息，而且還提升了圖像整體清晰度，使銳化效果更好。此外，從客觀PSNR而言，都較于以往傳統的重建方法有了明顯提升，說明了這種混合算法的有效性。

4 總結

傳統圖像超分辨技術中的圖像匹配，較多采用塊匹配或光流等算法，匹配精度不夠，導致超分辨技術無法應用于視頻圖像。對此，本文將基于關鍵點濾波的圖像匹配技術引入到超分辨中，并結合基于L1范數的MAP方法，提出一種改進的MAP/POCS超分辨方法。把POCS的殘差約束加入到基于CPF圖像配準的MAP算法的迭代中去，在每一次迭代的過程中，對重建的高分辨率圖像的像素點進行約束。實驗結果表明，經過改進的MAP/POCS算法相對于傳統的重建方法，PSNR(靜態圖像客觀質量)值有所提高。對于靜態圖像和視頻圖像主觀質量上來看，本文的算法所重建后的圖像清晰度也更高，特別是對于視頻圖像序列而言，可以更好地保持重建后的圖像邊緣信息，能夠更凸顯細節部分。

［1］ STARK H，OSKOUI P.High－resolution image recovery from imageplane arrays，using convex projections［J］.Journal of the Optical Society of America A，1989，6(11):1715－1726.

［2］ SCHULTZ R，STEVENSON R.Extraction of high－resolution frames from video sequences［J］.IEEE Trans.Image Processing，1996，5(6):996－1011.

［3］ CHEESEMAN P，KANEFSKY B，KRAFT R，et al.Super－resolved surface reconstruction from multiple image［EB/OL］.［2013－10－15］.http://hanson.gmu.edu/image.pdf.

［4］ HARDIE R，TUINSTRA T，BOGNAR J，et al.High resolution image reconstruction from digital video with global abd non－global scene motion［C］//Proc.International Conference on Image Processing，1997.［S.l.］:IEEE Press，1997:153－156.

［5］ MICHAEL K，SHEN H，EDMUND Y，et al.A total varitation regularization based super－resolution reconstruction algorithm for digital video［EB/OL］.［2013－10－15］.http://www.researchgate.net/publication/26620262_A_Total_Variation_Regularization_Based_Super－Resolution_Reconstruction_Algorithm_for_Digital_Video.

［6］ ELAD M，FEUER A.Restoration of a single super－resolution image from several blurred，noisy，and under－sampled measured image［J］.IEEE Trans.Image Processing，1997，6(12):1646－1658.

［7］ BABACAB S，MOLINA R，KATSAGGELOSA.Variational bayesian super resolution［J］.IEEE Trans.Image Processing，2011，20(4):984－999.

［8］ CHAN T，MARQUINA A，MULET P.High order total variation－based image restoration［J］.SIAM Journal on Scientific Computing，2000，22(2):503－516.

［9］ MEYER Y.Oscillating patterns in image processing and nonlinear evolution equation［EB/OL］.［2013－10－15］.http://dl.acm.org/citation.cfmid=516207.

［10］ RIEDINGER C，KHEMAKHEM M，CHOLLETG.A study of some super resolution techniques in video sequence［C］//Proc.2012 6th International Conference on Sciences of Electronics，Technologies of Information and Telecommunications(SETIT).［S.l.］:IEEE Press，2012:386－392.

［11］ AREEYAPINAN J，KANONGCHAIYOSP.Facemorphing using critical point filters［C］//Proc.2012 International JointConference on Computer Science and Sofrware Engineering(JCSSE).［S.l.］:IEEE Press，2012:283－288.

［12］ ZHANG Yixiong，WANGWeidong，ZHENG Lingxiang.Image interpolation using multiresolutional crtical point filters with unconstrained boundary extension［C］//Proc.2010 3rd International Congress on Image and Signal Processing.(CISP2010).［S.l.］:IEEE Press，2010:1190－1194.

［13］ XIHuiqin，XIAO Chuangbai，BIAN Chunxiao.Edge halo reduction for projections onto convex sets super resolution image reconstruction［C］//Proc.2012 International Conference on Digital Image Computing Techniques and Applications(DICTA).［S.l.］:IEEE Press，2012:3－5.

［14］ YUE H，RAMANIS，JACOBM.A fastmajorizeminimize algorithm for higher degree total variation regularization［C］//Proc.2013 IEEE 10th International Symposium on Biomedical Imaging(ISBI).［S.l.］:IEEE Press，2013:326－329.

［15］ ZHAN Meiquan，DENG Zhiliang.L_1 norm of total variation regularization based super resolution reconstruction for images［J］.Science Technology and Engineering，2010，10(28):6903－6906.

［16］ LEE E，KANG M.Regularized adaptive high－resolution image reconstruction considering inaccurate subpixel registration［J］.IEEE Trans.Image Processing，2003，12(7):826－883.

［17］ SHEN Huanfeng，LIPingxiang，ZHANG Liangpei，etal.Amap algorithm to super－resolution image reconstruction ［C］//Proc.ICIG 2004.［S.l.］:IEEE Press，2004:544－547.

［18］ KESRARAT D.Experimental study efficiency of robust models of lucas kanade optical flow algorithms in the present of non－gaussian noise［C］//Proc.2012 4th International Conference on Knowledgeand Smart Technology(KST).［S.l.］:IEEE Press，2012:43－48.

［19］ GOGSHIS.Limitation of super resolution image reconstruction for video［C］//Proc.2013 5th International Conference on Computational Intelligence，Communication Systems and Network(CICSyN).［S.l.］:IEEE Press，2013:217－221.