一種基于基元匹配的立體圖像修復(fù)算法

饒 屾，楊志平

（浙江交通職業(yè)技術(shù)學(xué)院，浙江 杭州 311112）

數(shù)字圖像修復(fù)技術(shù)，即通過計算機技術(shù)，對缺損圖像進行修復(fù)，使得觀察者通過肉眼察覺不出圖像曾被修改過的一種數(shù)字圖像處理技術(shù)。數(shù)字圖像修復(fù)，在影視后期制作、文物保護及特殊目標(biāo)移除等眾多領(lǐng)域有著廣泛的應(yīng)用前景。國內(nèi)外學(xué)者針對圖像修復(fù)技術(shù)進行了深入的研究，也取得了眾多的科研成果[1~4]。近年來，隨著立體顯示設(shè)備的發(fā)展與普及，針對立體圖像進行修復(fù)也成為數(shù)字圖像修復(fù)領(lǐng)域的研究熱點。立體圖像是由左右兩幅視圖組成的一組數(shù)字圖像，其左視圖只能被左眼看見，右視圖只能被右眼看見，由于左右視圖存在微小的差別，使得左右眼產(chǎn)生視差，從而形成立體感，如圖1所示。立體圖像雖然是由兩幅二維視圖組成的一組圖像，但是由于左右視圖的內(nèi)容之間具有約束關(guān)系，因此，對立體圖像進行修復(fù)，不但需要對圖像內(nèi)容進行修復(fù)，還需要盡量保持左右視圖中像素間的約束關(guān)系。因此，直接采用二維圖像修復(fù)方法對三維立體圖像進行修復(fù)，難以保存修復(fù)后左右視圖的視差信息，進而影響圖像的立體效果。

圖1 立體圖像的左右視圖

為了實現(xiàn)立體圖像的修復(fù)，國內(nèi)外學(xué)者進行了廣泛的研究，也取得了一定的研究成果。如Thangamani等采用基于樣本塊修復(fù)與基于邊緣修復(fù)相結(jié)合的方法，對三維圖像進行修復(fù)，取得了較好的修復(fù)效果[5]；HuanyuWang采用三維圖像修復(fù)方法清除移動視頻上的噪聲，也取得了不錯的效果[6]；Kostler等在PDE算法的基礎(chǔ)上，對光流信息等非線性和各向異性擴散信息建立模型，用于對缺損圖像進行修復(fù)，實驗證明，該算法能夠改善PDE修復(fù)圖像所導(dǎo)致的輪廓模糊的問題，并能應(yīng)用到三維圖像的修復(fù)當(dāng)中[7]；王龍?zhí)斓忍岢霾捎渺o電修復(fù)場模型對三維模型進行修復(fù)，能夠較好的修復(fù)三維模型中的缺損部分[8]；張倩等將預(yù)處理深度圖像和圖像修復(fù)算法相結(jié)合來填補三維圖像映射后的空洞，也取得了不錯的效果[9]。雖然當(dāng)前針對立體圖像修復(fù)研究取得了不少的成果，但大多數(shù)研究是針對三維立體模型進行空洞修復(fù)，而不是針對三維數(shù)字圖像進行修復(fù)。此外，當(dāng)前對三維立體圖像修復(fù)的研究也大多是通過擴展二維圖像修復(fù)算法來對三維圖像進行修復(fù)，往往只考慮到修復(fù)立體圖像的內(nèi)容，而對圖像深度信息的修復(fù)考慮較少。事實上，三維立體圖像與二維數(shù)字圖像的最重要區(qū)別主要就體現(xiàn)在深度信息上。因此，對三維立體圖像進行修復(fù)，不但要考慮對圖像內(nèi)容進行修復(fù)，還要考慮對圖像的深度信息進行修復(fù)。

本文通過對左右視圖進行基元匹配，對缺損視圖進行修復(fù)，在對圖像內(nèi)容進行修復(fù)的同時，也保留了圖像是三維景深信息，取得了較好的修復(fù)效果。

1 三維立體成像原理

二維世界中的點可以用（x，y）來表示，而三維世界中的點需要用（x，y，z）來表示，這個 z就是物體的景深。人類之所以能夠感知外界環(huán)境的三維信息，是由于左、右眼能夠同時獲取外界環(huán)境的兩幅圖像，然后通過這兩幅圖像的不同視差來獲得物體的景深信息，如圖2所示為雙目立體成像系統(tǒng)的原理圖。

圖2 雙目立體成像系統(tǒng)的原理圖

從圖2可以看出，空間中點P在左、右視圖（成像平面）中的成像點是點P1和點P2(由極線幾何約束可知，y1=y2，兩攝像機之間的距離為b，攝像機到成像平面的焦距為f，則根據(jù)三角形法則可以算出，空間點P在左視圖坐標(biāo)系中的坐標(biāo)為：

其中，

b為兩攝像機中心軸之間的距離；

f為攝像機到成像平面之間的距離（焦距）；

d=x1-x2，為空間點P在左右視圖上的視差。

2 立體圖像修復(fù)算法

2.1 像素深度平滑

對立體圖像進行修復(fù)，不但需要修復(fù)左右視圖的缺損內(nèi)容，而且還需要使得修復(fù)后的立體圖像的深度信息不會劇烈變化，以免引起觀察者的察覺。因此，在修復(fù)過程中，本文借鑒中值濾波器的濾波思想，對圖像缺損區(qū)域的深度信息進行平滑，如圖3所示，假設(shè)整副圖像為I，右斜線區(qū)域為缺損區(qū)域Φ，左斜線（含黑色區(qū)域）為完整區(qū)域Ω（Ω=I-Φ）,黑色區(qū)域為邊緣區(qū)域。其深度平滑步驟如下：

（1）選擇矩陣濾波器的尺寸n，本文取n=9，即9×9的矩陣濾波器，如圖3中的灰色框所示；

（2）對視圖缺損區(qū)域從上到下，從左到右進行掃描，得到缺損區(qū)域邊緣中的一點p；

（3）以點p作為濾波器的中心點，計算濾波器矩陣中每個像素的深度di，并計算出平均深度，其中缺損區(qū)域的像素深度為0；

（4）將矩陣濾波器中包含的缺損區(qū)域的像素的深度值全部取。

圖3 深度平滑示意圖

2.2 基元匹配算法

由上述分析可知，為了獲得缺損區(qū)域中像素的深度，首先需要計算出完整區(qū)域Ω中的像素深度，其計算方法有基于特征的基元匹配算法、基于相位的基元匹配算法和區(qū)域立體匹配算法等。為了計算方便，本文采用基于顏色特征的基元匹配算法。本文假設(shè)當(dāng)前立體圖像中左視圖為完整圖像，右視圖的內(nèi)容有部分缺損，在應(yīng)用2.1節(jié)算法計算缺損區(qū)域的像素深度時，設(shè)當(dāng)前需要計算深度的右視圖像素點的坐標(biāo)為，則其計算步驟如下：

（1）在左視圖中從左往右搜索第yl0行的所有像素（其中對每個像素點計算其八領(lǐng)域點和其本身與右視圖對應(yīng)像素點的差值之和，即

（2）找出所有像素點中diff的最小值min（diff），其對應(yīng)的像素點（，即是左視圖中與右視圖）對應(yīng)的像素點。

2.3 缺損區(qū)域修復(fù)

通過2.1和2.2節(jié)的分析，即可求出右視圖中缺損區(qū)域中每個像素點的深度信息，對缺損區(qū)域中的每個像素點（xr，yr），將其像素深度d及其在右視圖中的二維坐標(biāo)帶入公式（1），即可求得該像素點在左視圖中的對應(yīng)像素點坐標(biāo)（xl，yl）。將左視圖中該像素點的顏色值填充到右視圖中的對應(yīng)像素點（xr，yr），即完成對缺損區(qū)域中該像素點的修復(fù)。重復(fù)該過程，直到右視圖中所有缺損區(qū)域都修復(fù)完為止，即完成了立體圖像中缺損區(qū)域的修復(fù)。

3 實驗結(jié)果及分析

立體圖像質(zhì)量的評價方法主要分為兩種：主觀評價和客觀評價。主觀評價法是記錄一部分觀察者（人）的觀察效果，通過統(tǒng)計分析得出立體圖像的評價分數(shù)。但這種方法存在操作復(fù)雜，不確定性大的缺點；客觀評價法是通過建立一定的數(shù)學(xué)模型來對立體圖像的質(zhì)量進行評價，從而達到主觀評價的效果。客觀評價法具有速度快、確定性好、操作方便的優(yōu)點，因此得到了廣泛的應(yīng)用。

為了驗證本文算法的有效性，本文采用PSNR立體圖像客觀評價法[10]，對修復(fù)后的立體圖像進行評價，其評價的主要原理是：視差圖的質(zhì)量決定了立體圖像的質(zhì)量，將修復(fù)后圖像的視差圖與原始（未缺損）視差圖進行對比，計算出PSNR值。PSNR值代表修復(fù)后圖像的失真度，PSNR值越大，則圖像失真度越小，表示圖像的立體效果越好。表1是本文實驗采用的圖源，分別用本文算法與直接使用Criminisi算法對左右視圖進行修復(fù)的修復(fù)結(jié)果進行對比，其PSNR評價值如表2所示。

表1 實驗圖例

表2 修復(fù)圖像的PNSR評價值

從表2可知，通過本文算法對三幅立體圖像進行修復(fù)，其修復(fù)后的PNSR立體圖像評價值均大于直接采用Criminisi算法進行修復(fù)的PNSR評價值，說明本文算法修復(fù)后的立體圖像與源圖像更接近，更好的保留了原圖像的三維景深信息。

4 結(jié)束語

當(dāng)前針對立體圖像缺損的修復(fù)方法大多是直接采用二維圖像修復(fù)算法進行擴展，其修復(fù)效果往往沒有保留三維立體圖像的景深信息，導(dǎo)致修復(fù)效果不理想。本文首先采用基于顏色特征值的基元匹配算法獲取像素的景深信息，再借鑒濾波器原理求出右視圖缺損區(qū)域中每個像素點的深度信息，最后通過立體圖像成像公式求出缺損區(qū)域中每個像素點在左視圖中的對應(yīng)像素點，來完成立體圖像的修復(fù)。從修復(fù)實驗及對比評價結(jié)果來看，本文算法在修復(fù)過程中兼顧了景深信息的修復(fù)，其修復(fù)效果更接近于原始視圖，達到了較好的三維修復(fù)效果。

[1]Chan TF,Shen JH.Non-texture inpainting by curvature-driven diffusions(CDD)[J].Journal of Visual Communication and Image Representation，2001，12(4):436-449.

[2]TaiX,Borok S,etal.Image denoising using TV-stokesequation with an orientation-matching minimization[A].International Conferenceon Scale Spaceand VariationalMethods in Computer Vision[C].Voss,Norway，2009:90-501.

[3]Criminisi A,Pérez P,et al.Region filling and object removal by exemplar-based image inpainting[J].IEEE Transactions on Image Processing，2004，13(9):1200-1212.

[4]Martinez-Noriega R,Roumy A,etal.Exemplar-based image in painting:fast priority and coherent Nearest Neighbor search[C].2012 IEEE INTERNATIONAL WORKSHOP ON MACHINE LEARNING FOR SIGNAL PROCESSING,Santander,SPAIN,2012:1-6.

[5]Thangamani K,Ishikawa T,Makita K,etc.Hybrid inpainting algorithm with superpixels and hash table for inpainting the 3D model[C].System Integration(SII),2011 IEEE/SICE International Symposium on Kyoto，2011（12）:667-672.

[6]Huanyu Wang,Zhiming Tan.Detection and removal of adherent noises in video from amoving camera[C].Man,and Cybernetics(SMC),2012 IEEE International Conference on Seoul，2012（10）:2545-2550.

[7]Kostler H,Prummer M.Adaptive variational sinogram interpolation of sparsely sampled CT data[J].Pattern Recognition,2006.ICPR 2006.18th International Conference on Hong Kong.2006:778-781.

[8]王龍?zhí)欤粼龈?三維場景中被遮擋邊界與錯覺輪廓的感知修復(fù)[J].模式識別與人工智能，2006，19(02):137-142.

[9]張 倩，劉蘇醒，鞠 芹，等.采用圖像修復(fù)的基于深度圖像復(fù)制[J].光電子.激光，2009，20(10):1381-1384.

[10]楊嘉琛，侯春萍,沈麗麗.基于PSNR立體圖像質(zhì)量客觀評價方法[J].天津大學(xué)學(xué)報，2008，41(12):1448-1452.