基于最優(yōu)幾何匹配的時(shí)間連貫3D 動(dòng)畫(huà)重建

王建華，冉煜琨

（成都理工大學(xué)工程技術(shù)學(xué)院，四川樂(lè)山 614000）

3D 動(dòng)畫(huà)重建[1]在現(xiàn)代多媒體、測(cè)繪等眾多領(lǐng)域具有重要的應(yīng)用。很多方法利用多視角RGB 數(shù)據(jù)重建3D 動(dòng)畫(huà)，通過(guò)形狀匹配和形變等技術(shù)捕捉時(shí)間連貫的動(dòng)畫(huà)。其中，時(shí)間連貫性是所有動(dòng)畫(huà)重要且必需的屬性，很多后處理任務(wù)也要求時(shí)間連貫性，例如視頻編輯壓縮、場(chǎng)景分析等[2]。對(duì)于使用RGB 數(shù)據(jù)的系統(tǒng)，3D 重建要求兩個(gè)或更多的相機(jī)來(lái)進(jìn)行深度重建。因此，重建的質(zhì)量也取決于底層的特征點(diǎn)提取和圖像配準(zhǔn)算法等。

過(guò)去十多年中，已有研究者對(duì)該問(wèn)題進(jìn)行了一些研究。如Yan 等[3]利用大量迭代計(jì)算對(duì)多視角視頻采集裝置進(jìn)行擴(kuò)展，捕捉不同靜態(tài)和動(dòng)態(tài)光照條件下的物體。Kawami 等[4]對(duì)自由視點(diǎn)視頻研究進(jìn)行了擴(kuò)展，并使用多個(gè)高分辨率彩色攝像機(jī)對(duì)點(diǎn)光源進(jìn)行校準(zhǔn)，以采集行人的形狀、運(yùn)動(dòng)、表觀以及表面反射特性。在動(dòng)態(tài)表面反射估計(jì)的基礎(chǔ)上，可以在不同的光照條件下對(duì)重建的3D 動(dòng)畫(huà)進(jìn)行渲染。這些方法[3-4]的主要缺點(diǎn)是依賴于色彩數(shù)據(jù)的研究，必須利用相機(jī)之間的對(duì)應(yīng)關(guān)系來(lái)重建深度信息。

隨著低成本深度傳感器特別是微軟Kinect[5]的面世，結(jié)合深度傳感器以采集靜態(tài)和動(dòng)態(tài)3D 內(nèi)容成為了研究熱點(diǎn)。使用Kinect的一大好處是Kinect的幀率可以達(dá)到30 fps，滿足實(shí)時(shí)處理要求，同時(shí)還提供色彩和深度數(shù)據(jù)。如文獻(xiàn)[6]提出一種有效從深度相機(jī)獲取的低質(zhì)量動(dòng)態(tài)數(shù)據(jù)中直接分析出剛性關(guān)節(jié)式物體運(yùn)動(dòng)特征的RANSAC 方法。與傳統(tǒng)的運(yùn)動(dòng)特征重建方法不同，該方法完全跳過(guò)了重建物體本身的幾何信息，提取物體每個(gè)關(guān)節(jié)的運(yùn)動(dòng)類(lèi)型、運(yùn)動(dòng)參數(shù)等信息。文獻(xiàn)[7]使用來(lái)自Kinect的深度數(shù)據(jù)進(jìn)行3D 形態(tài)重建。該方法將低分辨率圖像輪廓與粗粒度數(shù)據(jù)相結(jié)合，以估計(jì)參數(shù)模型。類(lèi)似地，文獻(xiàn)[8]提出一種帶有深度約束和局部近鄰約束的基于RGB-D的室內(nèi)場(chǎng)景實(shí)時(shí)三維重建方法，該方法首先利用RGB-D 相機(jī)采集的RGB 圖像做哈里斯角點(diǎn)檢測(cè)，利用特征點(diǎn)集合的深度信息和局部近鄰特征點(diǎn)信息作為約束，在圖優(yōu)化方法的基礎(chǔ)上生成三維點(diǎn)云，實(shí)現(xiàn)室內(nèi)場(chǎng)景的三維重建。但沒(méi)有從捕捉到的深度數(shù)據(jù)及色彩數(shù)據(jù)中提取出時(shí)間連貫性信息。文獻(xiàn)[9]在姿態(tài)估計(jì)框架中采用單個(gè)深度相機(jī)來(lái)跟蹤整個(gè)身體的運(yùn)動(dòng)情況，利用單個(gè)深度傳感器進(jìn)行姿態(tài)估計(jì)。

文中提出了從RGB-D 視頻數(shù)據(jù)中生成時(shí)間連貫的3D 動(dòng)畫(huà)重建方法。在數(shù)據(jù)采集后，從映射到深度數(shù)據(jù)的RGB 數(shù)據(jù)中提取光學(xué)特征點(diǎn)，以得到兩個(gè)幀之間的初始稀疏3D 對(duì)應(yīng)關(guān)系。在此基礎(chǔ)上，利用迭代幾何匹配程序進(jìn)行特征點(diǎn)細(xì)化，以得到3D 點(diǎn)的無(wú)偏匹配。與以往相關(guān)方法相比，所提方法具有以下優(yōu)勢(shì)：1）使用隱式三維數(shù)據(jù)，利用動(dòng)態(tài)對(duì)齊進(jìn)行跟蹤，而以往很多方法則依賴于RGB 數(shù)據(jù)的三維重建，且不依賴于動(dòng)態(tài)場(chǎng)景對(duì)象的底層表征；2）提出的幾何匹配方法糾正了從RGB 到深度映射過(guò)程中產(chǎn)生的誤差，以往方法則不能直接處理該問(wèn)題。實(shí)驗(yàn)結(jié)果也驗(yàn)證了所提方法的有效性。

1 數(shù)據(jù)采集和校準(zhǔn)

Kinect 以30 fps、每幀640×480 像素同時(shí)提供RGB 和深度數(shù)據(jù)。文中的RGB-D 視頻采集系統(tǒng)包含多個(gè)Kinect。在使用兩個(gè)Kinect的情況下，兩者之間的放置角度約為90°。當(dāng)使用超過(guò)兩個(gè)Kinect 進(jìn)行數(shù)據(jù)采集時(shí)，必須解決兩個(gè)問(wèn)題：相機(jī)之間的同步化和干擾問(wèn)題。對(duì)于同步化采集，文中遵循了文獻(xiàn)[10]的技術(shù)原理。

Kinect的新SDK 直接提供了顏色數(shù)據(jù)和深度數(shù)據(jù)之間的映射，以及深度數(shù)據(jù)到現(xiàn)實(shí)世界距離的映射。由此可以利用每個(gè)3D 位置的RGB 數(shù)值映射，從采集的RGB-D 視頻[11]中以3D 點(diǎn)云的形式對(duì)每幀進(jìn)行重采樣。來(lái)自一個(gè)或多個(gè)相機(jī)的RGB 數(shù)值的3D點(diǎn)云序列是文中方法后續(xù)所有步驟的主要數(shù)據(jù)容器。實(shí)踐時(shí)，使用點(diǎn)云庫(kù)[12（]PCL）以高效保存3D 點(diǎn)云，并利用點(diǎn)云庫(kù)在統(tǒng)一的全局坐標(biāo)體系中記錄來(lái)自不同相機(jī)的點(diǎn)云。由此，對(duì)于每個(gè)視頻幀，將來(lái)自多個(gè)相機(jī)的點(diǎn)云合并為統(tǒng)一的點(diǎn)云。此外，文中實(shí)施了簡(jiǎn)單的基于深度的分割以進(jìn)行背景減除。演示過(guò)程如圖1 所示，其中，采集裝置從Kinect 捕捉到RGB 圖像和深度幀、來(lái)自每個(gè)相機(jī)的3D 點(diǎn)云以及包含或不包含RGB 映射的統(tǒng)一化3D 點(diǎn)云。其中，圖1(a)的上圖和下圖分別是來(lái)自兩個(gè)相機(jī)的輸入RGB 和深度圖像。圖1(b)是在3D 點(diǎn)云中對(duì)每個(gè)相機(jī)的RGB-D 數(shù)據(jù)進(jìn)行的單獨(dú)重采樣。圖1(c)的上圖將點(diǎn)云合并到統(tǒng)一全局坐標(biāo)系中，圖1(c)的下圖包含了RGB 映射的結(jié)果。

圖1 演示過(guò)程圖例

2 3D動(dòng)畫(huà)重建方法

文中系統(tǒng)的輸入為3D 點(diǎn)云序列，其中包含來(lái)自一個(gè)或多個(gè)相機(jī)的RGB 映射。每幀的3D 點(diǎn)云彼此獨(dú)立，且每幀中的3D 點(diǎn)云數(shù)量是不同的。假設(shè)將一個(gè)3D 點(diǎn)云表示為C=(V,T)，其中(V,T)表示所有3D點(diǎn)的集合以及這些3D 點(diǎn)在點(diǎn)云中的RGB 映射。由此，對(duì)于(V,T)∈C，將每個(gè)3D 位置p與一個(gè)3D 點(diǎn)(x,y,z)相關(guān)聯(lián)，并將其紋理坐標(biāo)(u,v)與每個(gè)紋元（圖像中的2D 位置）q∈T相關(guān)聯(lián)。利用T將從深度數(shù)據(jù)中得到的所有3D 位置V映射到對(duì)應(yīng)的RGB 數(shù)值。因?yàn)槲闹蟹治鰧?duì)象是包含N個(gè)時(shí)間幀的視頻序列，所以將點(diǎn)云序列表示為時(shí)間t的函數(shù)。由此得到C(t)=(V(t),T(t))，其中t=0,…,N-1。

文中算法旨在通過(guò)將C(0)迭代地映射到序列中的每個(gè)C(t)，在整個(gè)動(dòng)畫(huà)序列上對(duì)C(0)進(jìn)行跟蹤。也就是說(shuō)，首先通過(guò)從C(0)到C(1)的映射得到與C(1)對(duì)齊的C0(1)，即V(0)∈C(0)。由此，C0(t)指的是在算法的t次迭代后與C(t)相對(duì)齊的C(0)，其中t=0,...,N-1。在這方面，文中公式與其他任何跟蹤系統(tǒng)均沒(méi)有顯著差異。文中將描述針對(duì)任何給定的t得到C0(t)的算法。從輸入階段到輸出的流程如圖2 所示，其描述了從輸入階段到時(shí)間連貫3D 重建輸出的系統(tǒng)流程。

圖2 從輸入階段到輸出的流程

2.1 特征點(diǎn)估計(jì)

對(duì)于每個(gè)輸入RGB 幀Ic(t)，首先，針對(duì)所有時(shí)間步t和相機(jī)c，提取2D 尺度不變特征轉(zhuǎn)換[13（]SIFT）的位置。對(duì)于記錄的所有RGB-D 視頻序列，針對(duì)每個(gè)輸入圖像得到約200～300 個(gè)特征。使用SIFT 特征在很多方面具有優(yōu)勢(shì)，包括準(zhǔn)確度、穩(wěn)定性、旋轉(zhuǎn)不變性和尺度不變性等。每個(gè)SIFT 特征在紋理空間中均有一個(gè)位置q(t)=(u,v,t)，利用(V(t),T(t))∈C(t)可以將每個(gè)SIFT 特征映射到相應(yīng)的p(t)∈V(t)。文中將時(shí)間t處與SIFT 特征點(diǎn)相關(guān)聯(lián)的所有3D 點(diǎn)的集合表示為光學(xué)特征點(diǎn)L(t)。

然后利用簡(jiǎn)單歐氏距離度量D，找到相應(yīng)SIFT特征之間的匹配，以建立L(t)與L(t+1)之間的映射。在很多基于SIFT的匹配算法中，這是一個(gè)非常簡(jiǎn)單的步驟，若最近特征和次近特征之間的比例低于某個(gè)特定閾值，則建立一個(gè)匹配。該度量還有助于去除大部分假陽(yáng)性樣本。

然而，從RGB 至深度數(shù)據(jù)的映射是“一對(duì)多”而非“一對(duì)一”的，由此使得單個(gè)q(t)被分配至3D 空間中距離較近的多個(gè)p(t)。因此，存在多個(gè)與相同的SIFT 特征相關(guān)聯(lián)的特定點(diǎn)l(t)∈L(t)。若利用從L(t)到L(t+1)的特征點(diǎn)匹配對(duì)C(t)與C(t+1)進(jìn)行匹配，那么應(yīng)該首先解決這個(gè)不確定性問(wèn)題，且t處的一個(gè)SIFT特征應(yīng)該僅與一個(gè)p(t)相關(guān)聯(lián)。所提方法通過(guò)使用一個(gè)幾何匹配算法選擇最可靠的特征點(diǎn)，從而消除這種不確定性。

2.2 最優(yōu)幾何匹配算法

為解決一個(gè)SIFT 特征與多個(gè)光學(xué)特征點(diǎn)匹配相關(guān)聯(lián)的不確定性問(wèn)題，文中提出了一個(gè)迭代算法，基于幾何匹配選擇最優(yōu)匹配。給定光學(xué)特征點(diǎn)L(t)，則定義一組簇類(lèi)ls(t)∈L(t)，其中l(wèi)s(t)中所有的p(t)均與一個(gè)SIFT 特征相關(guān)聯(lián)，s=0,...,NoC－1，其中，NoC表示分簇?cái)?shù)量。使用前文介紹的距離度量D，將分簇ls(t)匹配到ls(t+1)。因此，一個(gè)SIFT 特征與p(t)和p(t+1)的“一對(duì)多”映射，成了ls(t)與ls(t+1)之間的“多對(duì)多”映射。為了找到ls(t)與ls(t+1)之間的最可靠的“一對(duì)一”映射，文中使用以下算法：

首先從所有的p(t)∈ls(t)中隨機(jī)選擇一個(gè)ps(t)，并從所有的p(t+1)∈ls(t+1)中隨機(jī)選擇其匹配的ps(t+1)。選擇分簇之間的隨機(jī)映射并不能得到理想的結(jié)果，解決了“多對(duì)多”的不確定性，并給出了作為算法起始點(diǎn)的L(t)與L(t+1)之間的初始對(duì)應(yīng)關(guān)系。假設(shè)該初始映射為M(t)。給定初始對(duì)應(yīng)關(guān)系M(t)，則可以通過(guò)執(zhí)行以下步驟，找到ls(t)與ls(t+1)之間的最佳匹配：

步驟1：對(duì)于給定的簇類(lèi)ls(t)，從M(t)中選擇3 個(gè)三維空間特征點(diǎn)位置Lp0(t)、Lp1(t)和Lp2(t)，以使得Lp0(t)=ps(t)，已 知Lp0(t)、Lp1(t)和Lp2(t)是非共線的，Lp1(t)和Lp2(t)被選擇為與Lp0(t)有著最近歐氏距離的特征點(diǎn)位置。

步驟2：對(duì)于給定的簇類(lèi)ls(t+1)，按照與步驟1 描述的相同方式，針對(duì)t+1，從M(t)中選擇3 個(gè)三維空間特征點(diǎn)位置Lp0(t+1)、Lp1(t+1)和Lp2(t+1)。

步驟3：使用位置Lp0(t)、Lp1(t)和Lp2(t)定義具有法線n(t)的平面P(t)。

步驟4：使用位置Lp0(t+1)、Lp1(t+1)和Lp2(t+1)定義具有法線n(t+1)的平面P(t+1)。

步驟5：將所有的P(t)∈ls(t)投射到平面P(t)，并得到其在P(t)上的參數(shù)坐標(biāo)(a,b,t)。從Lp0(t)、Lp1(t)和Lp2(t)中隨機(jī)選出平面的根點(diǎn)。

步驟6：將所有的P(t+1)∈ls(t+1)投射到平面P(t+1)，并得到其在P(t)上的參數(shù)坐標(biāo)(a,b,t+1)。從Lp0(t+1)、Lp1(t+1)和Lp2(t+1)中隨機(jī)選出平面的根點(diǎn)。

步驟7：將ls(t)和ls(t+1)之間的一個(gè)新匹配定義為兩個(gè)點(diǎn)ps(t)和ps(t+1)之間的匹配，這兩個(gè)點(diǎn)的參數(shù)坐標(biāo)(a,b,t)和(a,b,t+1)距離最小。

步驟8：更新M(t)中的映射ps(t)和ps(t+1)。

步驟9：重復(fù)處理所有簇類(lèi)，直至匹配穩(wěn)定。

幾何匹配算法的結(jié)果為L(zhǎng)(t)和L(t+1)之間的一對(duì)一對(duì)應(yīng)關(guān)系M(t)，由此給出了C(t)和C(t+1)的直接對(duì)應(yīng)關(guān)系。文中算法受文獻(xiàn)[14]研究的啟發(fā)，利用基于幾何的映射算法得到了兩個(gè)幀的正確稀疏匹配，該映射算法使用基于顏色的匹配作為起始點(diǎn)。文中利用簇類(lèi)中兩個(gè)點(diǎn)的隨機(jī)匹配、簇類(lèi)的質(zhì)心匹配以及幾何匹配對(duì)時(shí)間連貫性進(jìn)行估計(jì)，從而對(duì)提出的幾何匹配算法進(jìn)行驗(yàn)證。

雖然現(xiàn)在已經(jīng)得到了C(t)和C(t+1)之間的基于特征點(diǎn)的對(duì)應(yīng)關(guān)系，但依然不足以對(duì)齊兩個(gè)點(diǎn)云，因?yàn)閮H得到了200～300 個(gè)特征點(diǎn)匹配，而點(diǎn)云中點(diǎn)的數(shù)量超過(guò)60 000 個(gè)。

2.3 運(yùn)動(dòng)向量對(duì)齊

為了對(duì)齊C(t)和C(t+1)，需要找到V(t)∈C(t)的映射，而基于特征點(diǎn)的對(duì)應(yīng)關(guān)系給出了稀疏匹配M(t)。為了針對(duì)與M(t)中的任何特征點(diǎn)均無(wú)關(guān)聯(lián)的所有p(t)∈V(t)建立映射，文中進(jìn)行的算法步驟如下：

步驟1：找到與p(t)的歐氏距離最小的N個(gè)特征點(diǎn)位置Ln(t)，其中n=0,…,N-1。

步驟2：利用M(t)找到Ln(t)到t+1的映射Ln(t+1)。

步驟3：找到運(yùn)動(dòng)向量Vn(t)，滿足Vn(t)=Ln(t+1)-Ln(t)。

步驟4：計(jì)算所有Vn(t)之和并除以N，得到p(t)的平均運(yùn)動(dòng)向量Vp(t)。

步驟5：通過(guò)p(t+1)=p(t)+Vn(t)，得到p(t)的匹配p(t+1)，即匹配點(diǎn)位于Ln(t+1)到Ln(t)平均運(yùn)動(dòng)的相同距離處。

特征點(diǎn)可視化和對(duì)齊算法如圖3 所示。其中，圖3(a)為縮小的點(diǎn)云，圖3(b)為時(shí)間步t處放大的點(diǎn)云。根據(jù)5 個(gè)最近特征點(diǎn)計(jì)算出運(yùn)動(dòng)向量。使用這些運(yùn)動(dòng)向量計(jì)算t+1 處的匹配點(diǎn)，如圖3(c)所示。其中，在給定動(dòng)態(tài)對(duì)象任意運(yùn)動(dòng)的情況下，形變?cè)诤艽蟪潭壬鲜堑染嗟模纱丝梢宰C明文中的全局對(duì)齊算法是合理的。顯然，對(duì)于極端的非等距形變，文中算法并不適用。另一方面，文中在大量數(shù)據(jù)集上對(duì)算法進(jìn)行了驗(yàn)證，結(jié)果表明該算法能夠以很好的準(zhǔn)確度提取時(shí)間連貫性。即使噪聲造成深度數(shù)據(jù)在一些區(qū)域存在空洞，或深度傳感器受限且無(wú)法推導(dǎo)出該區(qū)域運(yùn)動(dòng)信息的極端情況下，文中方法依然能夠利用最近特征點(diǎn)進(jìn)行運(yùn)動(dòng)跟蹤。

圖3 特征點(diǎn)可視化和對(duì)齊算法的演示

給定C(t)和C(t+1)之間建立的對(duì)齊，文中跟蹤算法從t=0 開(kāi)始，將C(0)映射到C(1)得到C0(1)，即使用L(0)和L(1)之間的特征點(diǎn)匹配M(0)將C(0)與C0(1)相對(duì)齊。然后，將C0(1)與C(2)對(duì)齊，運(yùn)用L(1)和L(2)之間的特征點(diǎn)匹配M(1)得到C0(2)。由此，在算法后續(xù)的每個(gè)步驟中，將跟蹤點(diǎn)云C0(t)與C(t+1)對(duì)齊，運(yùn)用L(t)和L(t+1)之間的特征點(diǎn)匹配M(t)得到C0(t+1)。因此，文中方法在整個(gè)序列上跟蹤C(jī)(0)，得到具有時(shí)間連貫性的3D 動(dòng)畫(huà)。

3 實(shí)驗(yàn)結(jié)果與驗(yàn)證

3.1 數(shù)據(jù)集

文中在3 個(gè)數(shù)據(jù)集上應(yīng)用了所提3D 動(dòng)畫(huà)重建方法。其中兩個(gè)數(shù)據(jù)集來(lái)自運(yùn)用兩個(gè)Kinect的RGB-D 視頻采集系統(tǒng)。另一個(gè)數(shù)據(jù)集包含通過(guò)8 個(gè)RGB 相機(jī)采集到的行人，并從重建的視覺(jué)外殼中提取出點(diǎn)云。所有序列長(zhǎng)度均超過(guò)100 幀。對(duì)于前兩個(gè)數(shù)據(jù)集，兩個(gè)連續(xù)幀之間的特征點(diǎn)匹配平均為300 個(gè)，而對(duì)于第三個(gè)數(shù)據(jù)集，每個(gè)幀的特征點(diǎn)匹配僅有150 個(gè)。前兩個(gè)序列每個(gè)相機(jī)中點(diǎn)的數(shù)量平均為60 000，而第三個(gè)序列則稀疏得多。

文中方法能夠從帶噪RGB-D 數(shù)據(jù)中可靠地重建出時(shí)間連貫的3D 動(dòng)畫(huà)。即使存在較大空間和時(shí)間噪聲的情況下，所提方法依然能夠從非連貫數(shù)據(jù)中提取出時(shí)間連貫性，特別是當(dāng)RGB-D的視頻流中深度數(shù)據(jù)缺失造成點(diǎn)云中存在空洞的情況下。即使最后一個(gè)序列并非通過(guò)RGB-D 采集框架得到，只要該數(shù)據(jù)集為包含相應(yīng)RGB 數(shù)據(jù)映射的動(dòng)態(tài)點(diǎn)云格式，就可使用該數(shù)據(jù)證明所提算法能夠在多種數(shù)據(jù)集上工作。

3.2 主要評(píng)價(jià)參數(shù)

為了進(jìn)行定量分析，文中開(kāi)發(fā)了一個(gè)畸變的度量，以檢查不同初始條件下3D 重建動(dòng)畫(huà)的質(zhì)量。假定動(dòng)態(tài)目標(biāo)經(jīng)過(guò)了較小的形變，通過(guò)比較每幀較小點(diǎn)集之間的距離來(lái)測(cè)量畸變。為此，對(duì)于起始幀，對(duì)C(0)上均勻分布的200 個(gè)點(diǎn)進(jìn)行采樣，并將每個(gè)點(diǎn)之間的距離向量保存在列表Ei(0)中，其中i=0,…,||E||-1，||E||為Ei(0)中的總向量數(shù)。在跟蹤之后，針對(duì)每個(gè)跟蹤幀C0(t)計(jì)算相同的距離向量Ei(t)，其中t=1,…,N-1。將每幀在每個(gè)時(shí)間步t處的誤差度量Ei(t)定義為：

而整個(gè)序列的平均誤差度量E則定義為：

利用平均誤差度量E來(lái)尋找N的最優(yōu)數(shù)值，以實(shí)現(xiàn)低畸變和高跟蹤質(zhì)量。并且使用該度量驗(yàn)證文中提出的幾何特征點(diǎn)映射算法。

3.3 定量分析

實(shí)驗(yàn)中的定量分析主要測(cè)試幾何特征點(diǎn)映射步驟是否能夠提高跟蹤性能、最近特征點(diǎn)數(shù)量N對(duì)跟蹤結(jié)果的影響，以及N的優(yōu)良值。

對(duì)齊算法尋找N個(gè)最近特征，從而為每個(gè)p(t)構(gòu)建向量場(chǎng)。N的數(shù)值很大程度上取決于運(yùn)動(dòng)類(lèi)型和目標(biāo)形狀。例如，若通過(guò)全局變換對(duì)目標(biāo)作動(dòng)畫(huà)處理，那么增加N的數(shù)值并不會(huì)引起顯著誤差，會(huì)使運(yùn)動(dòng)正規(guī)化，從而減少每個(gè)匹配的平均誤差。另一方面，若在一些全局運(yùn)動(dòng)之外，目標(biāo)的個(gè)體區(qū)域也經(jīng)過(guò)了局部運(yùn)動(dòng)，例如，人體的一部分做了獨(dú)立移動(dòng)，那么增加N的數(shù)值并超過(guò)特定閾值將導(dǎo)致不正確的動(dòng)畫(huà)。對(duì)于圖1的“老虎氣球”序列，由于局部運(yùn)動(dòng)較少，隨著數(shù)值N的增加，整個(gè)序列的平均誤差逐漸變小。

對(duì)于包含“老虎氣球”的序列，不同數(shù)值N下的平均誤差如表1 所示。表1 中分別給出了使用簇類(lèi)中兩點(diǎn)的隨機(jī)匹配、簇類(lèi)的質(zhì)心匹配以及幾何匹配時(shí)的誤差情況。從中可以觀看到，當(dāng)使用10 個(gè)最近特征點(diǎn)時(shí)，平均誤差約為2.55%，而使用20 個(gè)最近特征點(diǎn)時(shí)，平均誤差約為1.90%。表明隨著數(shù)值N的增加，誤差的下降并不是線性的。雖然較大的N值能夠降低總體誤差，但也會(huì)造成運(yùn)動(dòng)的正規(guī)化。在所有案例中，幾何匹配得到的結(jié)果誤差最小，特別是在數(shù)值N較小的情況下。由此，對(duì)于氣球序列視頻，文中取N=10 并生成了所有結(jié)果。

表1 平均誤差的比較情況

為了對(duì)幾何特征點(diǎn)映射進(jìn)行驗(yàn)證，使用了隨機(jī)匹配、質(zhì)心匹配和幾何匹配時(shí)的每幀平均誤差和整個(gè)序列平均誤差。當(dāng)N=5 時(shí)，使用隨機(jī)匹配、質(zhì)心匹配和幾何匹配時(shí)，包含一個(gè)老虎氣球的RGB-D 序列的平均誤差比較如圖4 所示。可以看出，文中幾何匹配的誤差明顯更小，這說(shuō)明所提匹配方法很好地解決了SIFT 特征與多個(gè)光學(xué)特征點(diǎn)匹配相關(guān)聯(lián)的不確定性問(wèn)題。

圖4 不同匹配的平均誤差比較

對(duì)于包含兩個(gè)“老虎氣球”的多目標(biāo)序列，文中使用兩個(gè)度量，即多目標(biāo)跟蹤精度（MOTP）以及多目標(biāo)跟蹤準(zhǔn)確度[15（]MOTA），以評(píng)價(jià)點(diǎn)云的時(shí)間連貫性。平均而言，當(dāng)N=5 時(shí)，MOTP小于7 mm，MOTP則大于95%。因此，所提方法在準(zhǔn)確度和精度兩方面均取得了優(yōu)秀的結(jié)果。另外，對(duì)于非連貫點(diǎn)云的輪廓與連貫點(diǎn)云輪廓重疊[16]的差異。所提方法得到的平均誤差均低于2%。這表明該重建方法能夠?qū)崿F(xiàn)對(duì)動(dòng)態(tài)序列的可靠跟蹤[17-19]。

為了對(duì)所提方法與文獻(xiàn)[7,9]方法進(jìn)行比較，使用公開(kāi)的capoeira 序列[7]。其平均誤差情況如表2 所示。在使用質(zhì)心匹配和隨機(jī)匹配時(shí)，誤差大致相當(dāng)；而使用文中的幾何匹配算法能夠?qū)⒄`差平均降低0.5%，這與文中在采集的RGB-D 序列上的測(cè)試結(jié)果基本一致。

表2 各方法的平均誤差情況

各方法重建的幀圖像如圖5 所示，可以看到，文中方法的3D 動(dòng)畫(huà)在不同幀中保持一致，與之相近的是文獻(xiàn)[7]方法，該方法也取得了不錯(cuò)的視覺(jué)效果，而文獻(xiàn)[9]的數(shù)據(jù)發(fā)生了顯著的變化，尤其是頭部數(shù)據(jù)，存在的缺失比較多。為了從另一個(gè)方面進(jìn)行比較，顯示的三維點(diǎn)云情況如圖6 所示，可以看出文獻(xiàn)[7,9]方法的點(diǎn)云發(fā)生了輕微的變化，其中文獻(xiàn)[9]方法給出的點(diǎn)云變化最大，文獻(xiàn)[9]采用單個(gè)深度相機(jī)，有時(shí)會(huì)產(chǎn)生明顯的數(shù)據(jù)丟失。

圖5 各方法重建的幀圖像

圖6 三維點(diǎn)云比較

此外，所提方法具有計(jì)算方面的高效性，平均而言，可以每分鐘25 幀的速率進(jìn)行時(shí)間連貫動(dòng)畫(huà)的重建。在配置了酷睿雙核i5 處理器（RAM 8GB @2.6 GHz）系統(tǒng)時(shí)，處理一個(gè)100 幀的序列耗時(shí)約5 min，其結(jié)果如表3 所示。可以看出，所提方法比文獻(xiàn)[9]的處理速度快25%，與文獻(xiàn)[7]的處理速度大致相當(dāng)。

表3 各方法處理100幀的耗時(shí)情況

4 結(jié)論

文中提出了從單視角或多視角RGB-D 視頻數(shù)據(jù)中重建時(shí)間連貫的3D 動(dòng)畫(huà)方法，使用了無(wú)偏特征點(diǎn)采樣和幾何映射。提出的幾何映射算法用于推導(dǎo)3D 點(diǎn)云中所有點(diǎn)到下一幀的全局映射。實(shí)驗(yàn)評(píng)價(jià)在多個(gè)Kinect 記錄的數(shù)據(jù)下進(jìn)行，實(shí)驗(yàn)結(jié)果驗(yàn)證了所提方法的有效性，在誤差和運(yùn)行時(shí)間方面的性能表現(xiàn)優(yōu)秀。所提方法可以用于視頻剪輯、壓縮或場(chǎng)景分析等。

所提方法也存在一些局限。如方法中的所有步驟都需要依賴歐氏距離進(jìn)行度量，一定程度上是由硬件約束導(dǎo)致的。未來(lái)，將從這方面進(jìn)行完善和改進(jìn)。