基于邊緣增強的正則化超分辨率圖像重建

劉 穎，權 婉，伍世虔

(1.西安郵電大學 通信與信息工程學院，陜西 西安 710121；2. 武漢科技大學 機械自動化學院，湖北 武漢 430081)

?

基于邊緣增強的正則化超分辨率圖像重建

劉 穎1，權 婉1，伍世虔2

(1.西安郵電大學 通信與信息工程學院，陜西 西安 710121；2. 武漢科技大學 機械自動化學院，湖北 武漢 430081)

針對雙邊全變差正則化算法邊緣區域重建圖像效果不理想問題，提出一種基于邊緣增強的正則化超分辨率圖像重建算法。該算法在構造初始圖像時，對樣條插值后的圖像先進行非局部均值濾波預處理，然后進行拉普拉斯銳化處理；采用L1范數度量數據保真項和正則項，并從自適應的角度確定正則化參數，從而增強算法的穩健性。實驗結果表明，與樣條插值算法、雙邊全變差算法相比，該算法能更好地增強重建圖像的邊緣信息。

正則化；超分辨率；非局部均值濾波；拉普拉斯銳化；自適應

圖像超分辨率(Super Resolution, SR)重建是利用同一場景的多幅低分辨率(Low Resolution, LR)圖像重建一幅高分辨率(High Resolution, HR)圖像的技術。高分辨率圖像能夠提供豐富的細節信息，便于圖像進一步分析處理，因而廣泛應用于遙感圖像、視頻監控、醫學成像和公共安全等領域。超分辨率重建方法主要分為頻域法、空域法和基于學習的方法[1-2]。最早的頻域法只能局限于全局平移運動和線性空間移不變降質模型，不能考慮圖像模糊的影響。相比于頻域法，空域法能充分地利用圖像的先驗信息，更具有靈活性和適用性。常用的方法包括最大后驗概率法[3]、凸集投影法[4]、正則化法[5-8]等。基于學習的方法需要預先建立一個圖像訓練庫作為學習模型，獲取圖像的先驗信息，運用該模型來指導圖像進行超分辨率重建。

超分辨率重建問題是一個典型的病態反問題，需要利用正則化方法來處理，即運用圖像的先驗信息対解進行約束，從而獲得穩定的解。利用總變分(Total Variation, TV)正則化重建方法，達到了抑制噪聲和去模糊的目的，但重建圖像會出現階梯效應[9]。雙邊全變差(Bilateral Total Variation, BTV)正則化重建方法，在一定程度上保護了圖像的邊緣信息，但由于沒有考慮圖像的局部特征，且重建過程中正則化參數的選取為一定值，有一定的局限性，導致重建圖像在邊緣區域效果不理想[10]。

針對以上問題，本文擬在文獻[10]的基礎上提出一種基于邊緣增強的正則化重建算法。其思想是，首先改進初始圖像，即先對樣條插值后的圖像進行非局部均值(Non-Local Means, NLM)濾波[11]預處理，進行拉普拉斯銳化處理，然后運用自適應的方法來確定正則化參數，以期提高算法的收斂性，使得重建圖像的邊緣信息得到增強，具有更好的視覺效果。

1 觀測模型

假設N幀低分辨率圖像Yk是由某個HR圖像X經過平移變換、模糊、下采樣和加性噪聲等降質而成。其觀測模型可表示為

Yk=DkHkFkX+Vk(k=1, 2,…,N)。

(1)

式中，Yk表示第k幀低分辨率圖像，大小為M1×M2，X表示高分辨率圖像，大小為rM1×rM2，r為采樣因子。Fk為幾何運動矩陣，Hk為相機模糊矩陣，Dk為下采樣矩陣，Vk為噪聲矩陣。

一般情況下，由同一相機所獲得的低分辨率圖像序列，其下采樣矩陣和模糊矩陣是相同的，即

Dk=D，Hk=H。

所以式(1)也可以寫為

Yk=DHFkX+Vk(k=1, 2,…,N)。

(2)

由觀測模型式(1)可知，超分辨率圖像重建就是根據低分辨率圖像Yk來估計高分辨率圖像X的過程。

2 正則化超分辨率重建算法

采用正則化方法來求解，利用解的先驗信息構造附加約束，以消除該問題的不適定性，從而得到穩定解并提高算法的收斂性。

正則化函數方程為

(3)

式(3)中，第一項稱為數據保真項，用來衡量觀測數據對真實數據的相似程度；p=1和p=2分別表示L1和L2范數下的數據保真度估計，L2范數僅適用于噪聲服從高斯分布的圖像重建，而L1范數對于不同的噪聲都能獲得較好的重建結果，且運算速度較快。二者相比，L1范數下的重建算法更具有魯棒性。因此，本文采用L1范數進行重建；φ(X)稱為正則項，是為了克服病態性而引入的，主要對解進行平滑約束；λ為正則化參數，用來調節數據保真項和正則項之間的權重。

(4)

基于L1范數的BTV正則化方法[10]，對應的目標泛函為

(5)

3 基于邊緣增強的正則化算法

3.1 構造初始圖像

將一幀低分辨率圖像利用樣條插值的方法進行放大，進行非局部均值濾波預處理，然后再進行拉普拉斯銳化，把得到的圖像作為重建的初始估計值X(0)。

3.1.1 非局部均值濾波

給定一幅噪聲圖像v={v(i)|i∈Q}，去噪后圖像估計值記為NL[v](i)，Q為圖像域。圖像中任意一像素點i的灰度估計值計算表達式為

(6)

其中

(7)

是歸一化函數。ω(i,j)為像素點i與像素點j的相似權重，此權重取決于像素點i的鄰域與像素點j的鄰域的相似程度，可表示為

(8)

(9)

其中，d(i,j)表示像素點i與像素點j的鄰域的高斯加權歐式距離，N(i)表示以像素點i為中心的一個固定大小的方形鄰域相似塊，v(Ni)表示相似塊中所有像素點值組成的矢量，θ為高斯核的標準差，h為衰減參數。

3.1.2 拉普拉斯銳化

拉普拉斯算子是最簡單的各向同性微分算子，具有旋轉不變性。二維圖像函數的拉普拉斯變換是各向同性的二階導數，定義為

(10)

對于數字圖像來說，

(11)

(12)

拉普拉斯增強算子為

(13)

用模版表示為

(14)

常用的拉普拉斯銳化模版還可表示為

(15)

由模版形式可知，如果在圖像中一個較暗的區域中出現了一個亮點，那么經過拉普拉斯銳化處理后就會使這個亮點變得更亮，從而使圖像的邊緣信息得到增強，圖像細節更為清晰。

3.2 自適應的正則化參數

正則化參數λ起到平衡數據保真項和正則項的作用。若正則化參數選取過大，會導致重建的結果過度平滑，造成圖像細節的丟失；過小則不能有效地抑制噪聲[12]。因此，正確地選擇正則化參數才能保證代價函數獲得一個全局最優解。本文采用自適應選擇正則化參數的方法[13]，利用迭代過程中重建結果的信息，不斷對正則化參數λ進行更新，將計算得到的重建圖像用于求解下一次迭代所需的λ，通過循環迭代，最終使參數與圖像重建結果同時趨于最優。

第n+1次迭代時的正則化參數求解公式為

(16)

式中，Xn為第n次迭代得到的重建圖像；γ為防止分母為零所取的一個很小的數，取γ=0.000 01；ε為收斂修正因子，可為一常數。

3.3 算法流程

對目標泛函式(5)求導，采用最速下降法來求解最小化問題。迭代公式為

Xn+1=Xn-βGn，

(17)

(18)

(19)

改進后的正則化重建算法中，非局部均值濾波器的權值反映塊的相似性。如采用L1范數，則難以拉開塊的差異性，相反，L2范數則能彰顯這個差異性。在目標函數和正則化參數優化中，采用L1范數而不用L2范數，是目前常用的方法，其目的是為了抑制噪聲或外點對優化過程的影響，因而尋優結果更準確、更魯棒。算法的具體步驟如下。

步驟1 選取低分辨率圖像序列中的其中一幀作為參考幀，利用高斯金字塔配準算法進行圖像配準，得到運動參數。

步驟2 初始化迭代次數n=0，首先對樣條插值后的圖像進行非局部均值濾波預處理，再進行拉普拉斯銳化處理，最終得到初始高分辨率圖像X0。

步驟3 根據式(18)求梯度方向Gn。

步驟4 采用最陡下降法對當前的重建圖像進行迭代更新

Xn+1=Xn-βGn。

步驟6 迭代終止，此時得到的Xn+1即為正則化重建所得到的高分辨率圖像。

4 實驗結果及分析

4.1 模擬序列實驗

選取256×256的Lena圖像和cameraman圖像作為測試圖像進行實驗，對其分別進行模糊、下采樣、加噪后生成8幅低分辨率圖像，其中模糊為3×3，方差為1的高斯核函數，下采樣因子為2。對于BTV算法，λ=0.01，α=0.7，p=2；本文算法中，α=0.7，p=2，ε=1。實驗中取β=1，最大迭代次數為20，非局部均值濾波器的參數設定為：搜索半徑為5、塊半徑為2、h=10。

為了進一步證明本文算法的有效性，將其與樣條插值算法、BTV算法進行比較，得到的實驗對比結果分別如圖1和圖2所示。采用結構相似度(Structural Similarity, SSIM)對各算法的重建結果進行評價，結構相似度越大，圖像質量越好。各算法重建結果的結構相似度對比如表1所示。

圖1 Lena圖像重建結果對比

圖2 cameraman圖像重建結果對比

圖像樣條插值算法BTV算法本文算法Lena0．41590．45340．4887cameraman0．50680．58180．6578

4.2 真實序列實驗

從圖像測試數據庫[14]中選取text低分辨率圖像序列，該序列含有30幅低分辨率圖像，每幅大小為57×49。由于原始圖像未知，對于重建結果采用平均梯度進行度量，平均梯度能夠反映出圖像細微反差的程度。一般來說，在一定的噪聲范圍內，平均梯度越大，表明圖像越清晰。對于BTV算法，λ=0.01，α=0.7，p=2；本文算法中，α=0.7，p=2，ε=0.02。得到的實驗對比結果如圖3所示，各算法重建結果的平均梯度對比如表2所示。

由圖1、圖2、圖3可以看出，樣條插值算法的重建結果明顯較差，BTV算法能夠在去除噪聲的同時保留圖像的邊緣信息，但在邊緣、紋理區域太過平滑，造成細節的丟失。而本文算法考慮了初始圖像對重建結果的影響，并引入自適應的正則化參數。由表1、表2給出的SSIM值和平均梯度可知，相比于前兩者算法，該算法有一定的提高，說明了該算法的有效性。從主觀視覺上看，本文算法在邊緣區域內的重建結果優于BTV算法，如圖1中Lena圖像的眼睛、帽子的邊沿、羽毛，圖2中cameraman圖像的人物、相機框架，圖3中text圖像的文字等細節信息都得到了較好地增強，視覺效果更好。

圖3 text圖像重建結果對比

算法樣條插值算法BTV算法本文算法平均梯度8．675811．629912．7330

5 結語

基于邊緣增強的正則化超分辨率圖像重建算法，利用非局部均值濾波和拉普拉斯銳化結合的方法改善初始圖像。采用L1范數和自適應的正則化參數，增強了算法的魯棒性。實驗結果表明，該算法能有效地增強圖像邊緣區域的視覺效果，提高圖像的對比度。

[1] 劉穎,魏麗娜,王殿偉,等. 基于流形學習的車牌圖像超分辨率算法[J/OL].西安郵電大學學報,2014,19(6):22-25[2016-07-15].http://www.cnki.net/kcms/doi/10.13682/j.issn.2095-6533.2014.06.005.html.

[2] YANG M C,WANG Y C F. A Self-Learning Appro-ach to Single Image Super-Resolution[J/OL]. IEEE Transactions on Multimedia,2013,15(3):498-508[2016-07-15].http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=6376230.DOI:10.1109/TMM.2012.2232646.

[3] 李展,陳清亮,彭青玉,等. 基于MAP的單幀字符圖像超分辨率重建[J/OL].電子學報,2015, 43(1):191-197[2016-07-15].http://d.wanfangdata.com.cn/Periodical/d-ianzixb201501030.DOI:10.3969/j.issn.0372-2112.2015.01.030.

[4] GEVREKCI M, GUNTURK B K, ALTUNBASAK Y. POCS-Based Restoration of Bayer-Sampled Ima-ge Sequences[C/OL]//IEEE International Conferenceon Acoustics,Speech,&Signal Processing，[s.l.]:IEEE,2007:I-753-I-756[2016-07-05].http://ieeexplore.ieee.org/xpl/article-Details.jsp?arnumber=4217189.DOI:10.1109/ICASSP.2007.366017.

[5] SONG H H, ZHANG L, WANG P K, et al. An a-daptive L1-L2hybrid error model to super-resoluti-on [C/OL]// 2010 IEEE International Conference on Image Processing , Hong Kong :IEEE,2010:2821-2824[2016-07-15].http://ieeexpl-ore.ieee.org/xpl/articleDetails.jsp?arnumber=5651498.DOI:10.1109/ICIP.2010.5651498.

[6] YUE L, SHEN H, YUAN Q, et al. A locally adap-tive L1-L2norm for multi-frame super-resolution of images with mixed noise and outliers[J/OL]. Signal Processing,2014,105(12):156-174[2016-07-15]. http:// www.sciencedirect.com/science/article/pii/S016516841 4002126.DOI:10.1016/j.sigpro.2014.04.031.

[7] 安耀祖,陸耀,趙紅. 一種自適應正則化的圖像超分辨率算法[J/OL]. 自動化學報,2012,38(4):601-608[2016-07-15].http://www.jourlib.org/paper/1517008#.V5R83-wQizB.DOI:10.3724/SP.J.1004.2012.00601.

[8] YUAN Q, ZHANG L, SHEN H. Multiframe Super-Resolution Employing a Spatially Weighted Total Variation Model[J/OL]. IEEE Transactions on Circu-its &Systems for Video Technology,2012,22(3):379-392[2016-07-15].http://ieeexplore.ieee.org/xpl/articleD-etails.jsp?arnumber=5970105.DOI:10.1109/TCSVT.2011.2163447.

[9] RUDIN L I, OSHER S, FATEMI E. Nonlinear totalvariation based noise removal algorithms[J/OL].Phy-sica D-nonlinear Phenomena,1992,60(1-4):259-268 [2016-07-15].http://www.sciencedirect.com/science/art-icle/pii/016727899290242F.DOI:10.1016/0167-2789 (92)90242-F.

[10] FARSIU S, ROBINSON D, ELAD M, et al. Fast and robust multi-frame super resolution[J/OL]. IEEETrans Image Processing,2004,1(310):1327-1344[2016-07-15].http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=1331445.DOI:10.1109/TIP.2004.834669.

[11] BUADES A, COLL B, MOREL J M. A non-local algorithm for image denoising[C/OL]// IEEE Com-puter Society Conference on Computer Vision & Pattern Recognition.IEEE Computer Society, Washington:IEEE,2005,2(7):60-65[2016-07-15].http://ieeexplore.ieee.org/xpl/artic-leDetails.jsp?arnumber=1467423.DOI:10.1109/CVPR.2005.38.

[12] SUO F, HU F, ZHU G. Robust super-resolution re-construction based on adaptive regularization [C/OL]//International Conference on Wireless Comm-unications and Signal Processing.[s.l.]:IEEE,2011:1-4 [2016-07-15].http://ieeexplore.ieee.org/xpl/articleDet-ails.jsp?arnumber=6096836.DOI:10.1109/WCSP.2011.6096836.

[13] 沈煥鋒,李平湘,張良培. 一種自適應正則MAP超分辨率重建方法[J/OL].武漢大學學報(信息科學版), 2006,31(11):949-952[2016-07-15].http://d.wanfangda-ta.com.cn/Periodical/whchkjdxxb200611003.DOI:10.3969/j.issn.1671-8860.2006.11.003.

[14] MILANFAR P,FARSIU S,ROBINSON D.MDSP su-per resolution and demosaicing datasets[DB/OL]. [2016-07-15].http://www.soe.ucsc.edu/～milanfar/soft-ware/sr-datasets.html.

[責任編輯：祝劍]

Regularized super-resolution image reconstruction based on edge enhancement

LIU Ying1， QUAN Wan1， WU Shiqian2

(1.School of Communication and Information Engineering,Xi’an University of Posts and Telecommunications, Xi’an 710121, China;2. School of Machinery and Automation, Wuhan University of Science and Technology, Wuhan 430081, China)

A regularized super-resolution image reconstruction algorithm based on edge enhancement is proposed for the problem of non-ideal image reconstruction in edge region in bilateral total variation regularization algorithm. While constructing the original image, the spline interpolated image is firstly smoothed by using non-local means filter, and followed by Laplace sharpening processing. The algorithm adopts L1norm to measure data fidelity item and regularization item. Moreover, the regularization parameter is adaptively determined to enhance the robustness of the algorithm. Experimental results show that the proposed algorithm can better enhance the edge information of the reconstructed image compared with the spline interpolation algorithm and the bilateral total variation algorithm.

regularization, super-resolution, non-local means filter, Laplace sharpening, adaptive

10.13682/j.issn.2095-6533.2016.06.003

2016-08-07

國家自然科學基金資助項目(41504115);公安部科技強警基礎工作專項資助項目(2014GABJC024)；陜西省國際科技合作與交流計劃資助項目(2015KW-005)

劉穎(1972-)，女，博士，高級工程師，從事圖像和視頻處理研究。E-mail:ly_yolanda@sina.com. 權婉(1990-)，女，碩士研究生，研究方向為圖像超分辨率重建。E-mail:664500302@qq.com.

TN911.73

A

2095-6533(2016)06-0014-06