基于混合二元缺向量值有理插值的圖像修復(fù)

胡大海， 朱曉臨

（合肥工業(yè)大學(xué) 數(shù)學(xué)學(xué)院，安徽 合肥 230009）

基于混合二元缺向量值有理插值的圖像修復(fù)

胡大海， 朱曉臨

（合肥工業(yè)大學(xué) 數(shù)學(xué)學(xué)院，安徽 合肥 230009）

文章提出了一種基于二元缺向量值有理插值的彩色圖像修復(fù)方法，該方法將數(shù)字圖像的每個(gè)像素點(diǎn)看成定義在一個(gè)平面域上以R、G、B為分量的一個(gè)向量，根據(jù)已知像素的變化趨勢，相應(yīng)地采用二元缺向量值Newton－Newton插值、Newton－Thiele插值、Thiele－Newton插值或 Thiele－Thiele插值構(gòu)造向量值插值曲面，然后對(duì)插值曲面進(jìn)行采樣以實(shí)現(xiàn)修復(fù)。實(shí)驗(yàn)結(jié)果表明，該算法比TV方法和CDD方法修復(fù)的效果更好，所用時(shí)間更短。

二元缺向量值有理插值；混合向量值連分式插值；彩色圖像修復(fù)

圖像修復(fù)主要是對(duì)圖像破損部分進(jìn)行修復(fù)，使得在與原始圖像風(fēng)格保持一致的前提下，人眼覺察不到修復(fù)的痕跡。目前主要有用于修復(fù)小尺度缺損的數(shù)字圖像修補(bǔ)（inpainting）技術(shù)和用于填充圖像中大塊丟失信息的圖像補(bǔ)全（completion）技術(shù)。數(shù)字圖像修補(bǔ)技術(shù)最早是由文獻(xiàn)［1］引入圖像處理的，文獻(xiàn)［1］首次提出了一種利用偏微分方程，模仿職業(yè)修復(fù)者對(duì)圖像進(jìn)行修復(fù)，開創(chuàng)了偏微分方程修復(fù)圖像的先河，主要采用將待修復(fù)區(qū)域外部的信息沿著輪廓法向擴(kuò)散至修補(bǔ)區(qū)域。隨后更多改進(jìn)的PDE模型［2－3］被提出。但是該類方法缺乏穩(wěn)定性，尤其在修復(fù)區(qū)域很大而且背景為紋理圖案時(shí)，會(huì)產(chǎn)生模糊的現(xiàn)象。

圖像補(bǔ)全技術(shù)包含以下2種方法：基于塊的紋理合成技術(shù)來填充丟失信息；基于圖像分解的修復(fù)技術(shù)，其主要思想是將圖像分解為結(jié)構(gòu)部分和紋理部分，其中結(jié)構(gòu)部分用inpainting算法修補(bǔ)，紋理部分用紋理合成法填充。

向量值有理插值在圖像處理中的應(yīng)用還很少，而且主要集中在圖像的放大方面。文獻(xiàn)［4］討論了自適應(yīng)圖像縮放的切觸有理混合插值算法；文獻(xiàn)［5］在行和列上分別構(gòu)造一元Thiele連分式或Newton多項(xiàng)式，對(duì)圖像進(jìn)行放大；文獻(xiàn)［6］通過在行和列上構(gòu)造一元Thiele型向量連分式對(duì)圖像進(jìn)行放大；文獻(xiàn)［7］通過在矩形插值模塊上構(gòu)造二元向量Newton－Thiele型有理插值曲面或Newton－Newton插值曲面，然后對(duì)插值曲面進(jìn)行重采樣實(shí)現(xiàn)圖像縮放。而將二元向量值有理插值運(yùn)用于彩色圖像修復(fù)的相關(guān)研究并不多。

本文將二元混合缺向量值有理插值方法用于彩色圖像的修復(fù)，將數(shù)字圖像的每個(gè)像素點(diǎn)看成定義在一個(gè)平面域上以R、G、B為分量的一個(gè)向量，對(duì)彩色圖像進(jìn)行整體插值修復(fù)。

在修復(fù)過程中，將待修復(fù)區(qū)域根據(jù)不同破損特征分成若干小的矩形塊，在每個(gè)小塊上分別構(gòu)造不同的二元混合缺向量值有理插值函數(shù)，再對(duì)插值曲面進(jìn)行重采樣，從而實(shí)現(xiàn)圖像的修復(fù)。實(shí)驗(yàn)結(jié)果顯示，本文方法不僅在修復(fù)后的視覺效果和峰值信噪比（PSNR）上都比TV方法和CDD方法優(yōu)越，而且修復(fù)時(shí)間也相應(yīng)地節(jié)約了很多。

1 二元混合缺向量值有理插值

1.1 二元缺向量值T－N型混合有理插值

設(shè)給定點(diǎn)集［8］為：

其中，＝｛（xi，yj）｜i＝0，1，…，m；j＝0，1，j＝r1＋1，…，r2－1｝。

向量數(shù)據(jù)集V＝｛vij∈Vm，n｜（xi，yj）∈Π｝，Π的結(jié)構(gòu)如圖1所示。

圖1中，B為（c2－c1－1）×（r2－r1－1）的子矩陣，為缺失部分。構(gòu)造點(diǎn)集Π上的二元缺向量值Thiele－Newton型混合有理插值為（1）式，使之滿足R（xi，yj）＝vij，i＝0，1，…，m；j＝0，1，…，n。

其中，當(dāng)i＝0，1，…，c1，c2，c2＋1，…，m時(shí)，

圖1 Π的結(jié)構(gòu)示意圖

1.2 算法的實(shí)現(xiàn)

算法步驟［8］為：

（1）對(duì)于（i，j）∈｛（k，l）｜k＝0，1，…，m；l＝0，1，…，n｝－｛（k，l）｜k＝c1＋1，…，c2－1；l＝r1＋1，…，r2－1｝，令

（2）對(duì)于j＝0，1，…，r1，r2，…，n；p＝1，2，…，c2－1；i＝p，…，c2－1及j＝r1＋1，…，r2－1；p＝1，2，…，c1；i＝p，…，c1，令

（3）對(duì)于i＝0，1，…，c1；q＝1，2，…，n；j＝q，…，n及i＝c1＋1，…，c2－1；q＝1，2，…，r1，r2，…，n；j＝q，…，r1，r2，…，n，令

其中，當(dāng)q＝r2時(shí)，令（4）式中的q－1取r1。

（4）當(dāng)i＝c1＋1，…，c2－1；q＝r1＋1，…，r2－1時(shí)，計(jì)算

（5）當(dāng)i＝c2，…，m；p＝1，2，…，i；j＝0，1，…，n時(shí)，計(jì)算（3）式。

（6）當(dāng)i＝c2，…，m；q＝1，2，…，n；j＝q，…，n時(shí)，計(jì)算（4）式。

（7）由（1）式，當(dāng)i＝0，1，…，c1，c2，…，m時(shí)，有

當(dāng)i＝c1＋1，…，c2－1時(shí)，si（y）按（5）式計(jì)算。

1.3 奇異點(diǎn)的消除

在構(gòu)造向量值有理插值函數(shù)時(shí)，可能產(chǎn)生奇異點(diǎn)，本文采用文獻(xiàn)［9］的方法來解決，即根據(jù)插值節(jié)點(diǎn)的分布狀況，通過調(diào)節(jié)插值節(jié)點(diǎn)的順序，采用向量值混合有理插值的方法消除奇異點(diǎn)。

2 模塊的劃分

圖像數(shù)據(jù)具有區(qū)域性，可以在分析圖像數(shù)據(jù)局部特征的基礎(chǔ)上，將圖像數(shù)據(jù)劃分為不同的區(qū)域模塊，依據(jù)各模塊的統(tǒng)計(jì)特征，分別采用不同的插值方法進(jìn)行插值處理，以便提高圖像插值的速度和效果。插值模塊如圖2所示。

圖2中，B為要修復(fù)的部分，周圍＊部分為像素已知區(qū)域。令vij＝（rij，gij，bij）表示第i行、第j列的像素，rij為紅色分量，gij為綠色分量，bij為藍(lán)色分量。

圖2 插值模塊

根據(jù)不同模塊的特征，將圖像模塊分為平坦模塊、邊緣模塊和紋理模塊3類。

2.1 平坦模塊

設(shè)ˉr、ˉg、ˉb分別表示已知像素的紅色、綠色和藍(lán)色分量的平均值，ε為給定的域值，M為模塊的像素平均向量值，即

其中，｜·｜表示取模；W＝4m＋4n－8。

若vb＜ε，則像素塊定義為平坦模塊。

2.2 邊緣模塊與紋理模塊

對(duì)于圖像模塊中的每個(gè)像素，對(duì)其位置進(jìn)行標(biāo)記，即

其中，i＝0，1，m－1，m；j＝0，1，n－1，n；Bij表示圖像模塊中的（xi，yj）位置處像素的標(biāo)記；｜·｜表示取模；e為一個(gè)小的正數(shù)。

模塊的劃分情況如圖3所示。

圖3 模塊的劃分

如果圖像的模塊出現(xiàn)了如圖3所示的4種情況，則認(rèn)為該模塊是邊緣模塊。

既不具備平坦模塊特征，又不具備邊緣模塊特征的模塊定義為紋理模塊。

3 利用混合缺向量值有理插值修復(fù)圖像

（1）對(duì)要修復(fù)的小區(qū)域，用矩形塊去遮蓋（塊的大小不能超過4×4），如圖2中的B。

（2）將矩形方塊向外擴(kuò)2個(gè)像素。如果擴(kuò)充的像素為未知信息，則運(yùn)用一元混合向量有理插值方法填充外擴(kuò)的像素。

（3）根據(jù)上面模塊的劃分將圖像進(jìn)行分類，針對(duì)不同特征的模塊采取不同的插值方法構(gòu)造相應(yīng)的向量值插值函數(shù)。平坦模塊采取Newton－Newton型缺向量值插值形式，紋理模塊采取缺向量值的Thiele－Thiele型向量值有理插值形式。而邊緣模塊采用沿邊緣方向的缺向量值Newton－Thiele型或Thiele－Newton型混合向量值有理插值形式。

（4）對(duì)上述混合向量值有理插值曲面進(jìn)行采樣，然后進(jìn)行修復(fù)。

4 圖像質(zhì)量的評(píng)估與實(shí)驗(yàn)結(jié)果

峰值信噪比（Peak Signal to Noise Ratio，簡稱PSNR）是評(píng)鑒畫質(zhì)的客觀量測法。2個(gè)m×n單色圖像I和K，如果I為原始圖像，K為破損后修復(fù)的圖像，則其均方差定義為：

峰值信噪比為：

其中，maxI為表示圖像點(diǎn)顏色的最大數(shù)值，如果每個(gè)采樣點(diǎn)用8位表示，那么就是255。更為通用的表示是，如果每個(gè)采樣點(diǎn)用B位線性脈沖編碼調(diào)制表示，那么maxI就是2B－1。

對(duì)于每點(diǎn)有R、G、B 3個(gè)值的彩色圖像來說，峰值信噪比的定義類似。

本文相關(guān)實(shí)驗(yàn)均在Windows XP系統(tǒng)下完成的，機(jī)型為Intel酷睿雙核、CPU 為 T6670、2.2GHz主頻、2G內(nèi)存和320G的硬盤。為了驗(yàn)證本文方法的有效性，本文在破損程度低的情況下進(jìn)行圖像修復(fù)，并且對(duì)比了本文算法與TV算法、CDD算法的性能。本文主要從時(shí)間和PSNR上對(duì)3種算法進(jìn)行了對(duì)比，結(jié)果見表1所列，如圖4、圖5所示。

表1 3種算法的比較

從圖4、圖5及表1可以看出，本文算法的修復(fù)結(jié)果比TV方法和CDD的效果要好，時(shí)間更短。

圖4 3種方法對(duì)圖像1進(jìn)行迭代修復(fù)的比較

圖5 3種方法對(duì)圖像2進(jìn)行迭代修復(fù)的比較

5 結(jié)束語

目前的彩色圖像修復(fù)多是對(duì)R、G、B顏色分量分別進(jìn)行處理，割裂了3個(gè)分量之間的關(guān)系，從而使修復(fù)的圖像產(chǎn)生一定程度的失真。本文應(yīng)用二元混合缺向量值有理插值的方法，將R、G、B 3個(gè)顏色分量作為一個(gè)向量整體進(jìn)行處理，使修復(fù)效果更好。

［1］Bertalmio M，Sapiro G，Caselles V，et al.Image inpainting［C］／／Proceedings of International Conference on Computer Graphics and Interactive Techniques，New Orleans，Louisiata，USA，2000：417－424.

［2］Chan T F，Shen J H.Mathematical models for local nontexture inpaintings［J］.SIAM Journal on Applied Mathematical，2002，62（3）：1019－1043.

［3］Chan T F，Shen J H.Non－texture inpainting by curvaturedriven diffusions［J］.Visual Communication and Image Representation，2001，12（4）：436－449.

［4］蘇本躍，盛 敏.自適應(yīng)圖像縮放的切觸有理混合插值算法［J］.計(jì)算機(jī)工程與應(yīng)用，2010，46（1）：196－199.

［5］胡 敏，張佑生.Newton－Thiele插值方法在圖像放大中的應(yīng)用研究［J］.計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2003，15（8）：1004－1007.

［6］胡 敏，檀結(jié)慶.基于Thiele型向量連分式插值的彩色圖像放大方法［J］.合肥工業(yè)大學(xué)學(xué)報(bào)：自然科學(xué)版，2003，26（6）：1137－1140.

［7］胡 敏，檀結(jié)慶.保持輪廓清晰的有理－線性彩色圖像內(nèi)插放大方法［J］.系統(tǒng)仿真學(xué)報(bào)，2004，16（12）：2857－2863.

［8］檀結(jié)慶，朱曉臨，唐 爍，等.連分式理論及其應(yīng)用［M］.北京：科學(xué)出版社，2007：247－269.

［9］Zhu Xiaolin，Zhu Gongqin.A Study of the existence of vector valued rational interpolation［J］.Journal of Information＆ Computational Science，2005，1168（1）：631－640.

Image inpainting based on blending bivariate lacunary vector－valued rational interpolants

HU Da－h(huán)ai， ZHU Xiao－lin
（School of Mathematics，Hefei University of Technology，Hefei 230009，China）

A method of color image inpainting based on the bivariate lacunary vector－valued rational interpolants is presented.In this method，each pixel of the digital image is viewed as a vector of R，G，B values defined on a planar domain，and Newton－Newton，Newton－Thiele，Thiele－Newton，or Thiele－Thiele vector－valued interpolants are applied to constructing a vector－valued interpolation surface according to the variation trend of the known pixels，and then the damaged areas are restored based on the sampling of the interpolation surface.Experimental results show that this algorithm is more efficient and less time consumption than TV method and CDD method.

bivariate lacunary vector－valued rational interpolant；blending vector－valued continued fraction interpolant；color image inpainting

O173.2

A

1003－5060（2012）11－1577－05

10.3969／j.issn.1003－5060.2012.11.032

2012－03－19；

2012－05－14

教育部科學(xué)技術(shù)研究重大資助項(xiàng)目（309017）；第38批留學(xué)回國人員科研啟動(dòng)基金資助項(xiàng)目（2010JYLH0322）；安徽省自然科學(xué)基金資助項(xiàng)目（11040606M06）和國家大學(xué)生創(chuàng)新性實(shí)驗(yàn)計(jì)劃資助項(xiàng)目（101035937）

胡大海（1988－），男，安徽亳州人，合肥工業(yè)大學(xué)本科生；

朱曉臨（1964－），男，安徽池洲人，博士，合肥工業(yè)大學(xué)教授，碩士生導(dǎo)師.

（責(zé)任編輯 閆杏麗）