一種改善圖像邊緣效果的POCS超分辨率重建方法

謝 寒，趙勛杰，李成金，張雪松

(1.蘇州大學物理科學與技術學院，江蘇蘇州215006;2.光電信息控制和安全技術重點實驗室，河北燕郊065201)

1 引言

紅外成像系統由于探測器陣列數目及探測器結構的限制，空間采樣頻率通常無法滿足采樣定理，容易產生混頻現象，導致圖像模糊。提高探測器陣列的空間采樣頻率可以有效減輕混頻效應，但該技術受到了成本和制作工藝的限制，所以如何在現有探測器的基礎上提高圖像的空間分辨率成了近些年研究的熱點。SRR指的是由一組關于同一場景且含有互補信息的低分辨率圖像，重建一幅或多幅高分辨率圖像的技術。它能有效提升圖像空間分辨率，在數字電視、醫療影像、軍事、氣象等領域都有著廣泛的應用［1］。

SRR算法可以分為兩大類:頻域算法和空間域算法。1984年，Tsai和Huang首先提出了頻域的SRR方法［2］。頻域SRR算法局限于全局平移，圖像退化模型具有空間不變性。空間域方法能包含各種先驗知識，具有更廣的適應性和更多的靈活性。目前，比較有代表性的重建方法包括 IBP(Iterative Backward Projection)［3］、POCS(Projection onto Convex Sets)［4］、MAP(Maximum a Posterior)［5］及混合MAP/POCS方法［6］等。其中，POCS算法原理簡單，易于實現，成為重要的超分辨率重建方法之一。

POCS算法的優點是可以容易地加入各種先驗知識，然而其缺點也很明顯，例如重建結果依賴于初始值，重建圖像邊緣容易出現振蕩現象等。針對上述問題，本文對POCS算法進行改進，首先用邊緣保持效果好的可控核回歸插值［7］方法估計高分辨率圖像的初始值，然后將PSF由高斯核修正為可控核，以改善POCS算法的邊緣振蕩問題。

2 POCS重建算法

2.1 成像模型

在超分辨率圖像重建中，首先要建立一個聯系高分辨率圖像和低分辨率圖像序列的圖像成像模型，可表示為:

其中，gl(m1，m2)為第 l幀低分辨率觀測圖像在(m1，m2)處的像素值;f(n1，n2)為原始高分辨率圖像在(n1，n2)處的像素值，h(m1，m2;n1，n2)表示系統PSF，v(m1，m2)表示加性噪聲。

2.2 POCS算法原理

針對SRR問題的不適定性，POCS算法中加入了各種約束以限制SRR問題的解空間。這些約束條件是關于原始圖像先驗信息的一種描述，一般包含了噪聲的概率分布特性、非負性、能量有界性、平滑性等，每種先驗信息作為重建解空間的一個約束條件對應到向量空間中的一個凸集合，SRR問題的解空間就是這些凸限制集的交空間。

POCS算法的基本步驟是:1)選取一幅低分辨率圖像為參考幀，插值放大后作為初始估計;2)將低分辨率觀測圖像序列與參考幀進行圖像配準;3)根據配準結果及PSF計算估計值與實際觀測值的誤差;4)如果誤差超出允許范圍，修正初始估計使得灰度估計值與實際值的誤差減小到所要求的范圍內;5)迭代修正直到獲得滿意的重建結果。

PSF是由具體成像系統決定的，許多光學系統采用高斯函數作為PSF，其表達式為:

其中，σ為標準差，決定了模糊的程度;x0和y0是點擴散函數的中心點坐標;S表示h(x0，y0)的支撐域;C為歸一化常數。

假設f^k(s，t)表示當前的高分辨率參考幀;gl(i，j)是當前低分辨率觀測幀。逐個處理觀測序列中的所有像素，如果觀測幀中的(i0，j0)像素點映射到高分辨率估計上的位置為(s0，t0)，則觀測幀中該像素的實際值與估計值之間的殘差可以由式(3)得到。

若殘差r(i0，j0)在閾值范圍之外，則對其予以修正，反之，則不修正。

3 POCS算法的改進

3.1 高分辨率圖像初始估計的改善

在采用POCS算法進行圖像重建時，首先要對一幀低分辨率圖像插值，作為POCS重建的初始估計。初始估計值對于重建圖像的質量影響較大。傳統POCS算法在獲取高分辨率估計值時一般采用雙線性插值，但是雙線性插值具有平滑作用，插值后的圖像細節會產生退化，圖像的輪廓也比較模糊。近幾年，不少學者就如何獲得更好的初始估計進行了許多的研究。文獻［8］介紹了一種處理方法，該方法對雙線性插值后的初始估計先進行盲恢復再進行POCS重建。文獻［9］采用基于梯度插值算法對參考幀進行插值。可控核回歸插值方法充分利用了圖像中各像素點之間的近鄰性關系，很好地保持了圖像的邊緣及細節信息。因此，本文采用可控核回歸插值方法以改善超分辨率重建圖像的初始估計。

設采樣點的坐標為xi=(xi1xi2)T，對應的灰度值為yi，插值圖像為z(xi)，εi為測量值和估計值之間的誤差，P是采樣點個數，滿足:

核回歸插值可以表示為:

傳統核函數只考慮像素點之間的距離，對處理邊緣和紋理區域存在缺陷。為此，Takeda［7］提出了steering kernel(可控核)方法，該方法對Η矩陣進行了改進，用圖像局部的采樣密度和邊緣(或紋理)信息來控制Η矩陣，使核的大小和尺寸能與圖像局部特征相適應。圖1顯示了可控核取樣窗核函數的選取特性。

圖1 經典核和可控核取樣窗核函數的選取特性Fig.1 kernels function selection of classic kernels and steering kernels sampling window

從圖1可以看到，經典核的大小和形狀在邊緣方向上是保持不變的，而可控核首先用梯度算子對圖像局部結構進行初始估計，然后利用這個初始估計來自適應地控制局部核，在平坦的區域，取樣窗核函數覆蓋范圍大且保持圓形形狀;在圖像邊緣，取樣窗核函數發生拉伸和旋轉變換并形成一個沿邊緣方向伸展的拉長橢圓狀的核函數。

可控核具體推導過程見文獻［7］，核函數表示為:

其中，Ci是協方差矩陣;h是平滑參數;ui是獲取數據樣本局部密度的一個標量(本文中取1)。可控核是用局部空間梯度向量的協方差矩陣Ci來控制核函數的尺寸和形狀。有了這樣的局部自適應可控核后，就可以有效地恢復圖像的邊緣信息，使插值圖像較好地保持了圖像的細節。

協方差矩陣Ci可以分解為:

3.2 邊緣振蕩效應的改善

POCS算法雖然可以很方便地加入先驗知識，但重建圖像的邊緣容易產生振蕩。產生邊緣振蕩的原因是POCS算法的PSF是高斯函數，高斯函數只考慮了圖像空間關系，沒有考慮圖像灰度的影響。假設低分辨率觀測幀中邊緣方向上的像素值較小，其映射到當前估計的高分辨率圖像中對應像素點也在邊緣上且像素值較小，PSF作用范圍內會包含像素值較大的非邊緣像素點，這樣經過模擬后的低分辨率估計值就要比實際的大，根據式(5)進行修正，高分辨率估計的對應像素值會向灰度值減小的方向修正，最終得到的高分辨率圖像中該點顏色就會變得更深，即所謂的邊緣振蕩效應，反之亦然。針對邊緣振蕩，本文用可控核替代高斯核進行重建，這樣PSF會給予邊緣處垂直于邊緣的像素點較少的權重并以此來抑制振蕩，本文采用式(6)的函數作為PSF，用局部協方差矩陣Ci來控制PSF，這樣可以有效的減少振蕩，改善重建效果。

4 實驗結果及分析

首先通過實驗對比了雙線性插值圖像、雙立方插值圖像和可控核回歸插值圖像的效果。限于篇幅的限制，在這里將不討論可控核參數對插值效果的影響的。實驗參數選擇為:窗口大小5×5，λ'=1，λ″=10－6，α =0.05，h=0.5。實驗結果如圖2 所示。從圖2中可以看出，可控核回歸插值圖像，其邊緣保持更好，細節清晰。計算了三幅圖像的峰值信噪比(PSNR)，其中雙線性插值圖像的PSNR為36.5223，雙立方插值圖像的PSNR為36.7373，可控核回歸插值圖像的PSNR為37.4336，也說明了可控核回歸插值的效果好。

圖2 三種方法插值圖像對比Fig.2 Comparison of the interpolation methods

其次，分別以雙線性插值和可控核回歸插值圖像作為初始估計，采用POCS算法進行超分辨率重建(PSF為高斯函數)，并計算了重建圖像的PSNR和重建時間。實驗過程為:首先根據低分辨率成像模型，將一幅高分辨率圖像進行平移(平移1個像素)、高斯模糊、下采樣(因子2)，得到一組低分辨率圖像，取零位移下采樣圖像為參考圖像。將這一組低分辨率圖像作為輸入圖像，首先采用角點匹配方法計算不同幀間的位移和旋轉，然后根據運動向量進行超分辨率重建，重建圖像的分辨率提高2倍。窗口大小取7 ×7，λ'取 0.1，λ″取 10－6，(α 取 0.5，h取0.5。實驗結果列在表1中。從結果可以看出，達到相同的圖像質量(PSNR值接近)所用的迭代時間和迭代次數相差很大。

表1 重建實驗結果對比Tab.1 Comparison of the experimental results

最后，研究了可控核作為PSF對振蕩效應的改善效果，該實驗采用可控核回歸插值圖像作為初始估計，圖3顯示的是對一組模擬圖像重建結果。模擬方法是:將一幅128×128的圖像進行平移和旋轉(位移和角度是隨機的)、高斯模糊、下采樣(因子2)，得到4幅低分辨率圖像，然后對該組圖像進行重建(分辨率提高2倍)，算法設定迭代次數30次。

圖3 仿真結果對比Fig.3 Comparison of the simulation results

圖3中，(a)為原始高分辨率圖像;(b)是低分辨率參考幀;(c)為PSF采用高斯核重建的圖像;(d)是PSF采用可控核重建的圖像。從主觀視覺上可以看出(c)圖像邊緣處出現振蕩現象，而圖像(d)細節保持良好，邊緣振蕩現象也得到了有效的抑制。同時我們計算了兩幅圖像的PSNR值，(c)圖像和(d)圖像的PSNR值分別為31.1543和33.0305。

為了進一步驗證算法，對實拍圖像進行了高分辨率重建，實驗方法是:手持攝像頭(以使不同幀間產生隨機運動)拍攝一段視頻，在視頻中任意取相鄰4幀圖像進行超分辨率重建。核函數參數取值同上。圖4(a)是原始視頻中的一幀(幀尺寸66×66)，(b)為PSF采用高斯核重建的圖像，(c)是PSF采用可控核重建的圖像。分辨率均提高2倍，迭代次數為39。

圖4 視頻超重建率結果對比Fig.4 Comparison of the results of video image super-resolution

以上實驗結果說明本文提出的方法可以有效地改善重建圖像的質量。

5 結束語

本文分析了POCS重建算法與可控核回歸方法的原理，對POCS超分辨率圖像重建算法進行了改進。首先，針對POCS算法依賴于初始估計的特點，采用可控核回歸插值圖像作為高分辨率圖像初始估計以提高初始估計圖像的質量;其次，將PSF的核函數由高斯核改為可控核，以抑制重建圖像的邊緣振蕩效應。實驗結果表明，本文方法能有效地改善重建圖像的質量，抑制邊緣處的振鈴效應。

［1］ WAN Xuefeng，YANG Yi，CUI Jian.Research on superresolution image reconstruction［J］.Laser ＆ Infrared，2011，41(11):1278 －1281.(in Chinese)萬雪芬，楊義，崔劍.圖像超分辨率重建處理算法研究［J］.激光與紅外，2011，41(11):1278 －1281.

［2］ Tsai R Y，Huang T S.Multiframe image restoration and registration［J］.Advances in Computer Vision and Image Processing，1984，1:317 －339.

［3］ Irani M，Peleg S.Improving resolution by image restoration［J］.Computer Vision，Graphics and Image Processing，1991，53:231 －239.

［4］ Patti A J，Sezan M I，Tekalp A M.Super-resolution video reconstruction with arbitrary sampling lattices and nonzero aperture time［J］.IEEE Transaction on Image Processing，1997，6(8):1064 －1076.

［5］ Schultz R R，Stevenson R L.Extraction of high-resolution frames from video sequences［J］.IEEE Transactions on Image Processing，1996，5(6):996 －1011.

［6］ Elad M，Feuer A.Restoration of a single super-resolution image from several blurred，noisy and undersampled measured images［J］.IEEE Transactions on Image Processing，1997，6(12):1646 －1658.

［7］ Takeda H，Farsiu S，Milanfor P.Kernel regression for image processing and reconstruction［J］.IEEE Transactions on image Processing，2007，16(2):349 －366.

［8］ YAO Qi，WANG Peikang.Image super-resolution reconstruction based on POCS with blind restoration［J］.Electronic measurement technology，2012，35(5):63 －65.(in Chinese)姚琦，王培康.基于盲恢復的POCS圖像超分辨率重建［J］.電子測量技術，2012，35(5):63 －65.

［9］ XIAO Jiexiong，WANG Shilin，LI Shenghong.A POCS algorithm for super-resolution image reconstruction based on edge maintenance［J］.Information security and communications privacy，2009(1):66 －68.(in Chinese)肖杰雄，王仕林，李生紅.基于邊緣保持的POCS超分辨率圖像重建［J］.通信技術，2009(1):66－68.