基于DIBR 視點(diǎn)合成的空洞填充方法

李晗

（四川大學(xué)計(jì)算機(jī)學(xué)院，成都610065）

0 引言

基于深度圖像的渲染（DIBR）技術(shù)是生成多視點(diǎn)視頻的一種實(shí)用方法，可以減少存儲空間，節(jié)省傳輸帶寬。然而由于前景參照物會(huì)遮擋到后景區(qū)域從而產(chǎn)生空洞，使得合成視頻較原景象出現(xiàn)較大的偏差。

解決空洞問題一直是當(dāng)前主流的研究方向，一般來說，有兩種填充空洞的方法。一種是通過低通濾波器對深度圖進(jìn)行預(yù)處理，從而減小空洞區(qū)域。對稱高斯低通濾波器和非對稱濾波器來平滑整個(gè)深度圖，使用著這種方法生成的虛擬圖像會(huì)產(chǎn)生一定的幾何失真。另一種類型的方法是使用視頻的空間或時(shí)間相關(guān)性來填充空洞。在空間域中，視圖混合方法可以通過使用多個(gè)視圖可以填充大多數(shù)空洞區(qū)域，但是它們需要更多的拍攝設(shè)備并且會(huì)增加傳輸帶寬的壓力。因此，采用單個(gè)視圖將更加具有優(yōu)勢。分層空洞填充方法對虛擬視圖進(jìn)行下采樣然后逐漸上采樣，其中不產(chǎn)生幾何失真，但可以引入大孔周圍的模糊區(qū)域。時(shí)間填充方法能夠通過使用更多幀來獲取被遮擋域中的紋理。在時(shí)間域中，當(dāng)前景對象移開時(shí)，當(dāng)前幀中的被遮擋的背景可能在其他幀中變得可見。背景重建可以利用2D 視頻及其對應(yīng)的深度圖中的時(shí)間相關(guān)性信息來生成背景視頻，該背景視頻可以用于消除合成視頻中的空洞。因此，采用一些背景模型來恢復(fù)被遮擋的背景。高斯混合模型（GMM）和前景深度相關(guān)（FDC）從幾個(gè)連續(xù)的視頻幀和深度圖離線構(gòu)建穩(wěn)定的背景。如果前景對象緩慢移動(dòng)或旋轉(zhuǎn)，則GMM 可以將該前景對象視為穩(wěn)定背景的一部分，因?yàn)檎鎸?shí)背景在大多數(shù)幀中被前景對象遮擋。如果深度圖不完美，則FDC 可能會(huì)產(chǎn)生一些尾。大多數(shù)基于背景模型的方法可能在構(gòu)造的背景中帶來一些前景紋理或者不適合于移動(dòng)相機(jī)場景。本文提出了一種基于背景重建的填孔方法，其中去除前景物體，然后運(yùn)動(dòng)補(bǔ)償應(yīng)用于移動(dòng)攝像機(jī)場景，最后通過改進(jìn)的GMM 生成干凈的背景視頻。我們的方法適用于運(yùn)動(dòng)場景，可以防止模糊效果，或者在移除前景對象時(shí)從前景紋理中帶來偽影。

1 前景提取

為了生成不含尾影的背景視頻，需要從參考視圖中的2D 視頻及其深度圖中移除前景對象。如何自動(dòng)提取視頻中的前景仍然是一個(gè)具有挑戰(zhàn)性的問題。在我們提出的方法中，通過隨機(jī)游走分割算法在參考視圖中自動(dòng)提取前景對象。為了將前景和背景的分離，構(gòu)造了無向圖G=（V,E）用于隨機(jī)游走公式，其中V 是深度圖中所有點(diǎn)的集合，E 是加權(quán)邊集。定義vi 代表深度圖中的第i 個(gè)點(diǎn)，v∈V。并使用典型的高斯加權(quán)函數(shù)定義節(jié)點(diǎn)之間的權(quán)重來解決標(biāo)記問題。

其中g(shù)i表示像素i 處的深度值，β是平衡深度相似性成本的靈敏度的加權(quán)因子（例如，在此次的實(shí)驗(yàn)中β=90）。將頂點(diǎn)分為兩組，標(biāo)記節(jié)點(diǎn)VM和未標(biāo)記節(jié)點(diǎn)VU，L 可以分解為：

其中LM是標(biāo)記節(jié)點(diǎn)的權(quán)重，LU是非標(biāo)記節(jié)點(diǎn)的權(quán)重。求解標(biāo)簽的未知概率等價(jià)于求解矩陣方程：

其中xM和xU分別對應(yīng)于標(biāo)記和非標(biāo)記節(jié)點(diǎn)的概率。另外，用表示節(jié)點(diǎn)xi屬于標(biāo)簽s 的概率。將標(biāo)記點(diǎn)的標(biāo)簽集定義為函數(shù)，其中s ∈S，S={s1,s2}。定義 | VM|×1為矢量，每個(gè)標(biāo)簽s 在節(jié)點(diǎn)vj∈VM為：

因此，求解Dirichlet 問題可以轉(zhuǎn)換為：

利用初始標(biāo)記節(jié)點(diǎn)，可以通過求解上述公式獲得前景標(biāo)簽和背景標(biāo)簽的隨機(jī)游走概率圖，其結(jié)果如圖1所示。

圖1

2 動(dòng)態(tài)背景重建

刪除前景對象后，視頻的剩余部分可用于重建清晰的背景?？紤]到傳統(tǒng)的背景重建方法不適合移動(dòng)攝像機(jī)場景，采用了運(yùn)動(dòng)補(bǔ)償和混合高斯模型（GMM）兩個(gè)模塊進(jìn)行背景重建，從而實(shí)現(xiàn)動(dòng)態(tài)場景中依舊可以獲取清晰的背景。

2.1 運(yùn)動(dòng)補(bǔ)償

運(yùn)動(dòng)補(bǔ)償（MC）在視頻濾波中非常有用，可消除噪聲并增強(qiáng)信號。它允許濾波器或編碼器基于構(gòu)成圖像序列在近似最大相關(guān)的路徑上處理視頻。運(yùn)動(dòng)補(bǔ)償也用于所有分布質(zhì)量的視頻編碼格式，因?yàn)樗軌驅(qū)崿F(xiàn)最小的預(yù)測誤差，然后更容易編碼。運(yùn)動(dòng)可以用速度矢量v 或位移矢量d 來表示，并用于將參考幀轉(zhuǎn)換到目標(biāo)幀上。運(yùn)動(dòng)估計(jì)可以目標(biāo)幀中的每個(gè)像素，用于獲得這些位移。

光流是從所謂的約束方程中設(shè)置，得到的視位移矢量場為d=( d1,d2)。

所有方法都從這個(gè)基本方程開始，這實(shí)際上只是一種理想化。理想的偏離是由于在所觀察的場景中覆蓋和揭露物體，在時(shí)間和場景中的物體之間的光變化，朝向或遠(yuǎn)離相機(jī)的運(yùn)動(dòng)，以及圍繞軸的旋轉(zhuǎn)。通常，約束方程僅在最小二乘意義上解決。此外，預(yù)期位移不是上式中假設(shè)的整數(shù)，通常需要使用某種類型的插值。

不能在逐個(gè)像素的基礎(chǔ)上確定運(yùn)動(dòng)，因?yàn)槊總€(gè)像素有兩個(gè)運(yùn)動(dòng)分量，因此未知數(shù)是方程的兩倍。一種常見的方法是假設(shè)運(yùn)動(dòng)在稱為孔徑的小區(qū)域上是恒定的。如果光圈太大，那么我們將錯(cuò)過詳細(xì)的運(yùn)動(dòng)，并且只能獲得場景中物體運(yùn)動(dòng)的平均測量值。如果光圈太小，則運(yùn)動(dòng)估計(jì)可能很差到非常錯(cuò)誤。事實(shí)上，所謂的孔徑問題涉及圖中所示的方形區(qū)域中的運(yùn)動(dòng)估計(jì)如圖2 所示。

圖2

如果均勻暗區(qū)的運(yùn)動(dòng)與其邊緣平行，則無法檢測到該運(yùn)動(dòng)。由于這種情況通常僅適用于自然圖像中的小區(qū)域，因此孔徑效應(yīng)使我們選擇不太小的孔徑尺寸。因此，找到正確的孔徑尺寸是取決于視頻內(nèi)容的重要問題。

另一個(gè)問題是覆蓋和揭露，如圖3 所示，顯示了兩個(gè)連續(xù)幀n 和n-1 的一維描述，一個(gè)物體向右移動(dòng)。我們假設(shè)一個(gè)簡單的對象在固定的背景上在前景中進(jìn)行轉(zhuǎn)換，而不是視頻幀的不合理的局部近似。我們看到目標(biāo)幀n 中的背景區(qū)域的一部分未被覆蓋，而參考幀n-1 中的部分背景區(qū)域被覆蓋。試圖匹配兩個(gè)幀中的區(qū)域的運(yùn)動(dòng)估計(jì)將無法在覆蓋或未覆蓋區(qū)域中找到良好匹配。但是，在其他背景區(qū)域內(nèi)，匹配應(yīng)該是好的，并且在紋理對象內(nèi)匹配也應(yīng)該是好的，至少如果它可以按跟蹤的方式移動(dòng)，并且像素樣本足夠密集。相對較小的覆蓋/未覆蓋區(qū)域中的問題是存在兩個(gè)運(yùn)動(dòng)。

圖3

2.2 混合高斯模型

混合高斯模型（GMM）屬于背景建模法中的一種，本文使用的GMM 在整個(gè)過程不斷的更新和學(xué)習(xí)因此對背景圖具有一定魯棒性，并且非常適用于動(dòng)態(tài)場景。以下為建造GMM 的具體步驟：

（1）為矩陣的模型進(jìn)行參數(shù)初始化。首先對模型進(jìn)行訓(xùn)練，使用視頻中的T 幀用來訓(xùn)練GMM 模型。為每一個(gè)像素建立其模型個(gè)數(shù)最大高斯的GMM 模型。單獨(dú)為第一個(gè)像素在程序中設(shè)置好其固定的初始值。

（2）非第一幀訓(xùn)練過程中，當(dāng)后面來的像素值時(shí)，與前面已有的高斯的均值比較，如果該像素點(diǎn)的值與其模型均值差在3 倍的方差內(nèi)，則任務(wù)屬于該高斯。此時(shí)用如下方程進(jìn)行更新：

（3）當(dāng)?shù)竭_(dá)訓(xùn)練的幀數(shù)T 后，進(jìn)行不同像素點(diǎn)GMM 個(gè)數(shù)自適應(yīng)的選擇。首先用權(quán)值除以方差對各個(gè)高斯進(jìn)行從大到小排序，然后選取最前面B 個(gè)高斯，使其滿足：

（4）在測試階段，對新來像素點(diǎn)的值與B 個(gè)高斯中的每一個(gè)均值進(jìn)行比較，如果其差值在2 倍的方差之間的話，則認(rèn)為是背景，否則認(rèn)為是前景。

3 實(shí)驗(yàn)結(jié)果

使用多視點(diǎn)MVD 序列（Ballet）來測試我們在實(shí)驗(yàn)中提出的方法的性能，并與Criminisi 提出的基于樣本的修復(fù)方法進(jìn)行比較，比較結(jié)果如表1 所示。

在我們的實(shí)驗(yàn)中，PSNR 用于測量合成和參考圖像像素的平方強(qiáng)度差異，并且SSIM（結(jié)構(gòu)相似性）用于測量合成圖像和參考圖像之間的結(jié)構(gòu)相似性。所提出的方法和測試序列的Criminisi 方法的平均PSNR 和SSIM 值顯示在表1 中，其中'測試序列'表示數(shù)據(jù)集和投影信息。結(jié)果表明，所提出的方法產(chǎn)生了較好的整體結(jié)果。與Criminisi 方法相比，本文所提出的方法有一定的提升。

表1

4 結(jié)語

本文通過提取并去除二維視頻中的前景對象和參考視圖中的深度圖，并使用運(yùn)動(dòng)補(bǔ)償構(gòu)造穩(wěn)定的背景。我們的研究表明，利用所提出的背景模型可以生成不帶前景物體偽影的純凈背景，從而可以消除遮擋區(qū)域中的模糊效應(yīng)或偽影，并且消除前景邊界上的尖銳邊緣。