基于局部插值的雙三次圖像放大

紀琳琳，王 平，張云峰

?

基于局部插值的雙三次圖像放大

紀琳琳1，王 平2,3，張云峰2,3

(1. 湖北工業大學計算機學院，湖北 武漢 430068； 2. 山東財經大學計算機科學與技術學院，山東 濟南 250014； 3. 山東財經大學數字媒體重點實驗室，山東 濟南 250014)

以距離和邊緣特征為約束，提出構造分片定義的雙三次多項式曲面實現圖像放大的新方法，分為構造擬合曲面和修正曲面。以距離和邊緣為約束構造對小鄰域上像素擬合的二次多項式采樣曲面，所有二次多項式采樣曲面加權組合生成分片定義的雙三次多項式整體曲面。由放大圖像計算誤差圖像，由誤差圖像構造修正曲面的技術，進而提高放大圖像精度和視覺效果。為減少構造二次多項式的計算量，提出對二次多項式系數分類計算算法，能夠實現對圖像任意倍數的放大。實驗結果表明，該方法不僅提高了放大圖像的峰值信噪比(PSNR)、結構相似度(SSIM)數值精度，也提高了圖像的視覺效果。

圖像放大；二次多項式曲面片；修正曲面；細節和邊緣約束

圖像放大的目的是由低分辨(low resolution，LR)圖像構造出高分辨(high resolution，HR)圖像，使圖像細節信息更加清晰。根據生成HR圖像的方式，可將圖像放大方法分為基于插值、基于學習和其他3類方法。

基于插值的方法是由LR圖像構造曲線/曲面，經過采樣生成HR圖像。最早的插值方法有最近鄰插值、雙線性插值[1]、雙三次插值[2-3]。這些方法在光滑區域效果保持較好，在邊緣紋理區域存在明顯鋸齒和振鈴等現象。為消除鋸齒，文獻[4]提出梯度方向為導向的圖像放大方法，通過LR圖像的梯度方向估計出HR圖像的梯度方向；文獻[5]通過優化邊緣方向的二階方向導數放大圖像，但得到的放大圖像效果并不理想；ZHANG等[6]提出了由二次多項式曲面組合生成雙三次多項式曲面對圖像進行擬合的方法，減少了鋸齒和振鈴等失真現象，但放大圖像的精度和視覺質量還有待提高。

基于學習的圖像放大從HR和LR圖像對的訓練集中學習LR圖像中缺失的高頻信息，可分為依賴外部訓練圖像和用LR圖像本身代替外部訓練集兩類。前者常用基于回歸方法[7]和基于稀疏表達方法[8]等。近年來，深度學習得到廣泛關注，如文獻[9]通過深度學習方法直接學習LR和HR圖像之間的端到端映射；文獻[10]基于自相似性的HR圖像生成方法(a self-similarity-driven SR algorithm，SelfExSR)，通過幾何變化擴展內部搜索空間，從而提高視覺效果。然而，若LR圖像不包含足夠的相似模式，其將產生鋒利邊緣。文獻[11]將非局部自回歸建模(nonlocal autoregressive modeling，NARM)嵌入稀疏表示模型，提出一種圖像放大方法，很好地改善了視覺效果，但當圖像放大倍率較大時，會嚴重降低重建的HR圖像質量。

分形是描述圖像紋理的一種有效工具，在紋理描述和分類等應用中有著廣泛應用。文獻[12]利用局部分形分析提高圖像放大性能的紋理增強方法，可有效增強圖像細節，但不能在隨機紋理區域提供令人滿意的結果；文獻[13]將分形分析方法應用于圖像插值，提出分形插值方法(super-resolution based on rational fractal interpolation，SRRFI)，可以較好保持圖像邊緣結構，恢復令人滿意的細節，且不依賴于訓練集。

考慮到圖像原場景表面的復雜性，本文采用分片多項式曲面擬合給定圖像，可以實現對圖像任意倍數的放大。在每個像素鄰域構造二次多項式曲面，并將其加權平均生成放大圖像的整體曲面。為提高放大圖像質量，結合整體曲面與修正曲面生成放大圖像，且修正曲面根據放大圖像定義的誤差圖像來構造。本文的關鍵是構造二次多項式采樣曲面和計算誤差圖像。構造二次多項式采樣曲面需滿足兩個條件，即具有較高的精度和具有對應圖像塊所描述的形狀。本文以邊緣和距離作為約束，構造二次多項式曲面，使其具有二次多項式逼近精度。用分片二次多項式逼近存在誤差，尤其是復雜邊緣，為此，構造修正曲面減少誤差。本文提出的計算誤差圖像的方法，為構造修正曲面提供了新技術。

1 方法的整體描述

由逼近理論可知，無論原場景表面如何復雜，均可用分片曲面片對其以任意精度逼近。因此，通過構造局部分片采樣曲面片，將其拼合形成整體擬合曲面。由于多項式曲面簡單且易計算，因此可采用多項式曲面構造曲面片。本文的圖像放大過程如下：

2 整體曲面F(x,y)的構造

2.1 曲面片fi,j (x,y)的構造

圖1 像素的3×3鄰域

由式(2)得

2.2 曲面F (x,y)的構造

圖2 邊界像素對應關系

因此，相應曲面片定義如下

2.3 討論

設給定的二次多項式曲面為

3 修正曲面Er(x,y)的構造和誤差分析

3.1 誤差圖像的計算

合并式(14)和(16)，得新二次曲面和新整體曲面，再次計算修正曲面，得到新的二次曲面。為保證圖像放大1倍得到的圖像和給定圖像一樣，修改最終得到的二次修正曲面的常數項，即

根據式(14)和式(17)可知，由式(12)組合生成的曲面包含整體曲面和誤差曲面。實驗結果表明，對式(14)只修正2次，可得到較好的圖像效果。

3.2 誤差分析

泰勒多項式展開函數是分析擬合誤差的有效工具，采用泰勒展開式為標準對方法進行誤差分析。對本文方法的誤差定理如下。

證畢。

4 實驗結果

為驗證本文方法的有效性，將本文方法與現有經典的圖像放大方法進行對比。對比的方法包括Bicubic，DCCI[4]，ICBI[5]，SelfxSR[10]，NARM[11]和SRRFI[13]。本文采用圖3及BSD200中多幅圖像進行測試。通過平均降采樣得LR圖像，將其放大與原圖像比較，包括峰值信噪比(peak signal to noise ratio，PSNR)、結構相似度(structural similarity index，SSIM)、視覺效果和計算時間。

PSNR是一種全參考的圖像質量評價指標。

由表1可知，本文方法得到的放大圖像的PSNR和SSIM數值最高，圖像質量優于對比方法。

由圖4~6可看出，本文方法產生的圖像能夠較好保持紋理，并且一定程度上消除了鋸齒和扭曲現象。

圖3 測試圖像(從左到右依次為：(a) Chest；(b) Baboon；(c) Barbara；(d) Boat；(e) Couple；(f) Crowd；(g) Dollar；(h) Goldhill；(i) Kod；(j) Lake；(k) Lenna；(l) Peppers)

表1 PSNR值和SSIM值比較

表2 運行時間比較(s)

圖4 7種方法放大的Chest圖像

圖5 7種方法放大的Couple圖像

圖6 7種方法放大的Lena圖像

5 結束語

基于圖像形狀復雜性，首先構造局部曲面，由局部曲面加權平均生成整體曲面進行圖像放大是一個有效策略。局部曲面構造過程中，可以圖像的邊緣特征和距離為約束，在每個像素鄰近區域構造二次多項式曲面片，所有二次多項式曲面片加權組合形成雙三次曲面片，并將其合在一起形成整體曲面，該曲面具有二次多項式精度。對整體曲面采樣得到的放大圖像不可避免存在誤差，對該誤差擬合可形成修正曲面，從而對整體曲面進行誤差修正，提高整體曲面逼近精度。

放大圖像較好保持了圖像邊緣紋理等信息，但仍存在邊緣紋理信息缺失，且方法中雙三次曲面只有二次多項式精度。因此提高邊緣和紋理信息保持度和插值精度是接下來要開展的工作。

[1] GONZALEZ R C, WOODS R E. Digital image processing [M]. 2nd ed. New York: Prentice Hall, 2002: 90.

[2] KEYS R G. Cubic convolution interpolation for digital image processing [J]. IEEE Transactions on Acoustics Speech and Signal Processing, 1981, 29(6): 1153-1160.

[3] PARK S K, SCHOWENGERDT R A. Image reconstruction by parametric cubic convolution [J]. Computer Vision Graphics & Image Processing, 1983, 23(3): 258-272.

[4] ZHOU D, SHEN X, DONG W. Image zooming using directional cubic convolution interpolation [J]. IET Image Processing, 2012, 6(6): 627-634.

[5] GIACHETTI A, ASUNI N. Real-time artifact-free image upscaling [J]. IEEE Transaction on Image Processing, 2011, 20(10): 2760-2768.

[6] ZHANG C M, ZHANG X, LI X M, et al. Cubic surface fitting to image with edges as constraints [C]//IEEE International Conference on Image Processing. New York: IEEE Press, 2013: 1046-1050.

[7] TANG Y, YUAN Y, YAN P K, et al. Greedy regression in sparse coding space for single-image super-resolution [J]. Journal of Visual Communication and Image Representation, 2013, 24(2): 148-159.

[8] YANG J, WRIGHT J, HUANG T S, et al. Image super-resolution via sparse representation [J]. IEEE Transaction on Image Processing, 2010, 19(11): 2861-2873.

[9] DONG C, LOY C C, HE K M, et al. Learning a deep convolutional network for image super-resolution [C]// European Conference on Computer Vision. Cham: Springer International Publishing, 2014: 184-199.

[10] HUANG J B, SINGH A, AHUJA N. Single image super-resolution from transformed self-exemplars [C]// IEEE Conference on Computer Vision Pattern Recognition.New York: IEEE Press, 2015:5197-5206.

[11] DONG W H, ZHANG L, LUKAC R, et al. Sparse representation based image interpolation with nonlocal autoregressive modeling [J]. IEEE Transaction on Image Processing, 2013, 22(4): 1382-1394.

[12] XU H T, ZHAI G T, YANG X K. Single image super-resolution with detail enhancement based on local fractal analysis of gradient [J]. IEEE Transaction on Circuits System Video Technology, 2013, 23(10): 1740-1754.

[13] ZHANG Y F, FAN Q L, BAO F X, et al. Single-image super-resolution based on rational fractal interpolation [J]. IEEE Transaction on Image Processing, 2018, 22(8): 3782-3797.

[14] XU Y, QUAN Y H, LING H, et al. Dynamic texture classification using dynamic fractal analysis [C]//IEEE International Conference on Computer Vision. New York: IEEE Press, 2011: 1219-1226.

Bicubic Image Magnification Based on Local Interpolation

JI Lin-lin1, WANG Ping2,3, ZHANG Yun-feng2,3

(1. School of Computer Science, Hubei University of Technology, Wuhan Hubei 430068, China; 2. School of Computer Science and Technology, Shandong University of Finance and Economics, Jinan Shandong 250014, China; 3.Shandong Provincial Key Laboratory of Digital Media Technology, Jinan Shandong 250014, China)

Image details and edge features play a very important role in the visual effect of images. Therefore, a key to image zooming is to keep image details and edges. In this paper, a new method for image zooming is proposed to construct the sampling surface piecewise defined by bicubic polynomials with the constraints of distance and edge. The method consists of two steps: constructing fitting surface and modifying surface. First, in each neighborhood region where the pixel is located, the new method constructs a quadratic polynomial sampling surface fitting pixels with distance and edge constraints; the weighted combination of all the quadratic polynomial sampling surfaces produces the general surface, which is defined piecewise by the bicubic polynomials. The magnified image obtained from the general surface has higher accuracy and better visual effect. Second, a method for constructing corrected surface is presented, which can improve the quality of the enlarged image. The corrected surface is constructed by the error image that is estimated via magnified image. Moreover, in order to reduce the computational cost of the method, the new method divides the coefficients of the quadratic polynomials into three categories, and proposes an algorithm for calculating each type of coefficients. The proposed method can magnify the image at arbitrary scales. Experimental results show that the new method not only improves the peak signal to noise ratio (PSNR) and structural similarity index (SSIM), but also improves the visual effect of the image.

image magnification; quadratic polynomial surface; corrected surface; detail and edge constraints

TP 391

10.11996/JG.j.2095-302X.2019010143

A

2095-302X(2019)01-0143-07

2018-09-27；

2018-10-24

國家自然科學基金項目(61672018，61772309)；山東省自然科學基金項目(2016GSF120013，2017GGX10109，2018GGX101013)；山東省省屬高校優秀青年人才聯合基金項目(ZR2018JL022)

紀琳琳(1990-)，女，山東煙臺人，碩士研究生。主要研究方向為數字圖像處理、模式識別。E-mail：973984450@qq.com

張云峰(1977-)，男，山東聊城人，教授，博士，博士生導師。主要研究方向為數字圖像處理、計算機視覺等。E-mail：yfzhang@sdufe.edu.cn