基于模型的行為驅(qū)動算法研究

宋金寶，鄭仁柱，李駿宇，張勤

(1.中國傳媒大學(xué)信息工程學(xué)院，北京100024;2.中國廣播電視國際經(jīng)濟(jì)技術(shù)合作總公司，北京100124)

1 引言

近年來，數(shù)字媒體技術(shù)、IP網(wǎng)絡(luò)技術(shù)、3G移動通信技術(shù)及文化創(chuàng)意產(chǎn)業(yè)迅速發(fā)展，并且越來越緊密的結(jié)合在一起。隨之引發(fā)的是人們對實(shí)時(shí)且高質(zhì)量的多媒體數(shù)據(jù)傳輸、新的媒體制作方法(特別是計(jì)算機(jī)動畫的制作)和新型人機(jī)交互等方面的需求，這些需求反過來則對媒體處理技術(shù)提出了更高的要求。而媒體處理中往往對于一個已知模型的運(yùn)動分析是最基本的也是最重要的。分析一個動態(tài)視頻的基本動作特征，不僅僅可以幫助理解視頻的動作行為，也可以用于相似物體間動作行為的模仿。所以在本文中將著重闡述基于模型的動作行為驅(qū)動相關(guān)算法及程序?qū)崿F(xiàn)的研究。

2 運(yùn)動行為捕捉與驅(qū)動闡述

動作行為的捕捉和模型驅(qū)動重點(diǎn)在于如何將移動中的物體進(jìn)行分割，分析出所需物體的運(yùn)動軌跡，這一類的捕捉問題都可以簡析為圖2-1中所示的流程圖。對動畫視頻目標(biāo)行為跟蹤、動作捕捉的應(yīng)用領(lǐng)域與發(fā)展現(xiàn)狀的描述中，視頻目標(biāo)跟蹤、動作捕捉作為視覺領(lǐng)域中的一項(xiàng)基本研究問題，出現(xiàn)了許多的跟蹤算法，這些算法的標(biāo)準(zhǔn)和分類不同，往往結(jié)果也不相同。不論怎么樣的行為捕捉都離不開物理運(yùn)動的幾個關(guān)鍵點(diǎn)，重心、運(yùn)動軌跡、邊沿輪廓、物體屬性等問題［1］。所以在運(yùn)動行為捕捉上，只要能夠解決這些核心問題，就能實(shí)現(xiàn)模型的建立，得到模型后便可以對相似物體進(jìn)行驅(qū)動。

圖2-1 行為驅(qū)動流程圖

大多數(shù)的動畫制作者之所以不愿意使用模型驅(qū)動而是直接使用鉛筆或者電腦壓桿進(jìn)行繪畫創(chuàng)作，都是因?yàn)樵诨趧赢嬑矬w的模型建立這一塊難度很大，難以得到較好的運(yùn)動行為捕捉，這也是為什么這項(xiàng)工作在國內(nèi)外也很難興起的一個重大難點(diǎn)。隨著近幾年來粒子濾波器的發(fā)展，簡化了繁瑣的逐幀提取運(yùn)動點(diǎn)信息的方式，大大解放了建模者的勞動力，使得計(jì)算上更為智能，可以擺脫掉只有3D才能使用模型驅(qū)動的方式，增加了2D動畫也可以實(shí)現(xiàn)使用運(yùn)動模板的方式，能夠使相似物體進(jìn)行驅(qū)動從而得到新的動畫成為現(xiàn)實(shí)［2］。

2.1 動畫物體行為捕捉

在動畫物體行為捕捉與跟蹤的統(tǒng)計(jì)模型方面，近年來粒子濾波器(Particle Filter)作為一種非線性濾波算法，由于擺脫了高斯分布的制約條件，已經(jīng)成為一種主流的、面向目標(biāo)的運(yùn)動跟蹤算法。選用粒子濾波器作為本課題中動畫物體行為的捕捉將大大提升物體動作行為的跟在能力，將捕捉方式更加完善，便于模型建立時(shí)數(shù)據(jù)的錄入。在粒子濾波器中，通過蒙特卡羅采樣(Monte Carlo Sampling)來執(zhí)行遞歸貝葉斯濾波(Recursive Bayesian Filter)的算法，其關(guān)鍵思想是利用一組帶權(quán)值的隨機(jī)樣本，以及基于這些樣本的估算來表示后驗(yàn)概率密度函數(shù)pdf(Posterior Density Function)，當(dāng)樣本數(shù)非常大時(shí)，這種估算將等同于pdf［3］。使用粒子濾波器可以從動態(tài)圖像中提取出所需要的動作模型，將這個模板當(dāng)作下一部分驅(qū)動其他物體運(yùn)動的基礎(chǔ)。這樣可以大大減輕運(yùn)動物體繁瑣的物理屬性，而簡單的從形態(tài)圖像等方面對運(yùn)動進(jìn)行捕捉，如圖2-2。

圖2-2 基于模型驅(qū)動的整體預(yù)覽圖

2.2 目標(biāo)模型的建立

目標(biāo)跟蹤過程是隨機(jī)的，非線性的，可以把問題描述為:在給定的一組觀測條件下，對運(yùn)動目標(biāo)的狀態(tài)進(jìn)行貝葉斯估計(jì)［4］。這樣就把目標(biāo)的跟蹤問題，抽象為對狀態(tài)向量的估計(jì)，狀態(tài)向量用來描述目標(biāo)的位置、速度、加速度和輪廓等信息。一個動態(tài)系統(tǒng)至少是需要兩個參照模型的，一個是描述隨著時(shí)間變化的狀態(tài)模型以及另一個與狀態(tài)有關(guān)的觀測模型。

由于經(jīng)典粒子濾波器是基于貝葉斯跟蹤算法的，利用先驗(yàn)概率估計(jì)出運(yùn)動目標(biāo)的狀態(tài)概率，再通過最新的觀測數(shù)據(jù)來修正目標(biāo)的狀態(tài)分布。估計(jì)問題的實(shí)質(zhì)就是在獲取了t時(shí)刻以及t時(shí)刻之前的所有觀測數(shù)據(jù)的前提下，利用系統(tǒng)的狀態(tài)模型預(yù)測狀態(tài)的先驗(yàn)概率密度，再使用最近的觀測值進(jìn)行更新，得到t時(shí)刻的后驗(yàn)概率密度P(Xt|Z1:t)。跟蹤過程由狀態(tài)預(yù)測、數(shù)據(jù)關(guān)聯(lián)和狀態(tài)更新組成。其中目標(biāo)的當(dāng)前狀態(tài)只和最近的過去狀態(tài)相關(guān)，而與更早的狀態(tài)無關(guān)。而最早的狀態(tài)概率密度，大致以高斯分布作為初始值［5］。這樣就可以逐幀算出預(yù)測位置，得到運(yùn)動矢量，從而建立起模型矩陣，便于之后的相似物體的動態(tài)行為驅(qū)動［6］。

2.3 運(yùn)動物體的行為驅(qū)動

基于物體動態(tài)行為的濾波后，得到驅(qū)動的模型矩陣。找到相似物體，根據(jù)相同算法，將相似物體進(jìn)行粒子跟蹤，使用矩陣內(nèi)數(shù)據(jù)，套用在相似物體上，讓物體看起來在遵循所得模板中的運(yùn)動軌跡，進(jìn)行相同的運(yùn)動。由于粒子濾波后，得到的矩陣中不僅包括輪廓信息，也包括了下一幀畫面的位置矢量，所以可以用在相似物體上，預(yù)測出它下一幀的走勢，以此達(dá)到對相似物體的驅(qū)動效果［7］。使得相似物體能夠遵循粒子濾波后得到的模板，進(jìn)行該運(yùn)動行為，從而使得模板能夠真正意義上的驅(qū)動該物體的運(yùn)動行為。

在物體行為驅(qū)動中，要確立驅(qū)動的物體與模型物體有相似性在其中［8］，畢竟在物體模型建立中，只是對點(diǎn)的運(yùn)動軌跡進(jìn)行預(yù)測，沒有辦法改變它的運(yùn)動方式和運(yùn)動形態(tài)。例如一只老虎矯健地奔跑就不能驅(qū)動一只河馬笨重的奔跑狀態(tài)，因?yàn)閮烧唛g物理運(yùn)動上的一致和形態(tài)體積上的不一致難以統(tǒng)一。所以一只老虎矯健地奔跑可以驅(qū)動一只豹子的奔跑，這兩者間的形態(tài)相似部分幾乎一致，驅(qū)動效果甚佳。

3 技術(shù)的具體實(shí)現(xiàn)

在該部分將針對筆者的程序進(jìn)行實(shí)例說明和分析，簡述該理論的技術(shù)具體實(shí)現(xiàn)，特別是其中的優(yōu)勢部分和不足點(diǎn)，對整個技術(shù)進(jìn)行全方位的剖析。

3.1 運(yùn)用matlab分析視頻尋找輪廓

1.視頻分析

在視頻分析部分，思索出兩種方式，第一種是自動的利用編解碼時(shí)壓縮時(shí)的信息進(jìn)行輪廓分析;另一種是將視頻圖像解析出來，利用人工的方式標(biāo)取輪廓和關(guān)鍵點(diǎn)，以此分析視頻。第一種的方式實(shí)現(xiàn)速度比第二種快，但是輪廓點(diǎn)和關(guān)鍵點(diǎn)的選取不理想，對后續(xù)幀分析產(chǎn)生影響，沒有選取。第二種方式雖然麻煩但是卻能直接得到動畫人物的關(guān)鍵信息，使得后續(xù)分析大大提高精確度，是一種較為可行的分析方法。所以在程序?qū)崿F(xiàn)中選擇了該方式對視頻進(jìn)行分析。

2.輪廓尋找

輪廓是在亮度不同的區(qū)域之間有一個明顯的變化，即明度級差突然變化而形成的。輪廓是構(gòu)成任何一個形狀的邊界或外形線。在輪廓尋找中，發(fā)現(xiàn)因?yàn)槌绦蛑蛔R別坐標(biāo)點(diǎn)，所以在標(biāo)出坐標(biāo)點(diǎn)后，必須對相應(yīng)點(diǎn)的視頻信息進(jìn)行提取，特別是RGB與α通道的信息提取，這個對于后面建立觀測方程十分重要，在筆者程序中，主要依靠RGB三值進(jìn)行觀測方程的建立。輪廓效果圖如圖3-1

圖3-1 輪廓信息的提取

由于輪廓信息是在一個區(qū)域內(nèi)有明顯變化而形成的，那么在取點(diǎn)的時(shí)候就必須注意與物體與背景的反差。而且根據(jù)輪廓是否有形，是否有顯見的形，而把輪廓分為客觀輪廓和主觀輪廓。客觀輪廓是指一個明度級差的比較突然的變化，它是有形的、顯見的，如馬赫帶;主觀輪廓是在沒有明度級差的情況下，由于某種原因，人們也會看到的輪廓。而且在一個兩維圖形中，輪廓上具有豐富的信息，輪廓變化最陡或曲率最大的部分是信息最集中的地方，而輪廓方向一致的地方，則是信息多余性最大的地方。所以特別需要注意輪廓線的RGB閾值的選取，輪廓是會多少產(chǎn)生色彩偏差，但是不會產(chǎn)生得十分明顯，一旦和背景區(qū)別開后便可以很好的實(shí)現(xiàn)輪廓的提取了，產(chǎn)生明顯的輪廓。這樣提出的明顯輪廓，輪廓的信息量就會很豐富，方便進(jìn)行運(yùn)動軌跡的預(yù)測。

3.2 粒子濾波器非線性動作預(yù)測

1.運(yùn)動方程的建立

在粒子濾波器中，建立運(yùn)動方程很重要，在此我們使用的是序列重要采樣法(SIS)的方式建立運(yùn)動方程。所以使用的是公式3-1，該公式包含了運(yùn)動中所需要的角度和部分形變偏移量，適用于動畫片中運(yùn)動幅度不是很大的運(yùn)動軌跡預(yù)測。公式中y(t)為預(yù)測值，x(t)為運(yùn)動方程中關(guān)鍵粒子點(diǎn)，v為過程噪聲，w為觀測噪聲。

在運(yùn)動方程建立中不難看出所選公式是基于一種非線性的粒子運(yùn)動軌跡的預(yù)估，公式中所體現(xiàn)每個點(diǎn)的運(yùn)動都是雜亂無章，毫無規(guī)律可言的。這樣特別符合動畫運(yùn)動中的無規(guī)律非線性的運(yùn)動模式，在程序?qū)崿F(xiàn)中很容易就能看出預(yù)測的軌跡，十分明確的展示出各個點(diǎn)之間的無規(guī)律性，滿足運(yùn)動動畫軌跡的無序性。

2.觀測方程的建立

觀測方程(observation equation)是指在觀測值和待估參數(shù)之間建立的函數(shù)關(guān)系式。觀測方程存在的目的在于能夠輔助運(yùn)動方程，達(dá)到預(yù)測的目的。觀測值一般十分確定，在筆者的程序中觀測值就是RGB和α通道，一般物體在運(yùn)動中RGB值與α通道中的值是不會有太大改變，當(dāng)然有可能從陽光照射處進(jìn)入到陰影處，這時(shí)閾值會有一個變化，但是兩者間的RGB模型的整體趨勢會保持不變，方便觀測。

在觀測方程中，選擇的參變量是RGB三值，當(dāng)該粒子點(diǎn)RGB與前一幀得到的點(diǎn)的RGB值在一定閾值內(nèi)相同，則認(rèn)為兩個粒子點(diǎn)相同，則后一幀的關(guān)鍵點(diǎn)與前一幀的關(guān)鍵點(diǎn)相同。以此為觀測值比用灰度直方圖更能夠針對每一點(diǎn)進(jìn)行觀測，且每一點(diǎn)的準(zhǔn)確度更大。

圖3-2 運(yùn)動模型的行為驅(qū)動

3.3 運(yùn)用模型的行為驅(qū)動

行為驅(qū)動部分是整個程序?qū)崿F(xiàn)的最后部分，首先選取相似物體，用相似物體進(jìn)行驅(qū)動會達(dá)到較好的效果，其次對選好的相似物體也需要用取關(guān)鍵點(diǎn)的方式進(jìn)行輪廓的標(biāo)畫，這樣程序才能夠得以更好的對運(yùn)動方程進(jìn)行一一對應(yīng)。如圖3-3所示，就是運(yùn)動模型的對應(yīng)關(guān)系，對應(yīng)點(diǎn)越精準(zhǔn)，對應(yīng)關(guān)系越明確，驅(qū)動效果越佳。

當(dāng)運(yùn)動方程矩陣得到后，便可以用運(yùn)動矩陣X當(dāng)作模板去驅(qū)動新的相似物體。假設(shè)新的運(yùn)動物體各個點(diǎn)與模型X中的點(diǎn)一一對應(yīng)，得到第一幀的關(guān)鍵點(diǎn)集合Y，與驅(qū)動方程中X中第一幀對應(yīng)點(diǎn)運(yùn)算得到轉(zhuǎn)換矩陣P。這樣就可以得出驅(qū)動方程(3-2)，利用驅(qū)動方程就可以算出整個新物體的運(yùn)動矩陣。得到運(yùn)動矩陣后便可以利用關(guān)鍵點(diǎn)和輪廓進(jìn)行色彩恢復(fù)，得到新的圖像，驅(qū)動過程效果如圖3-2，完成對新動畫的相同運(yùn)動驅(qū)動如圖3-3。Y=P*X (3-2)

圖3-3 運(yùn)動模型相似物體驅(qū)動示意圖

3.4 程序流程圖解析

圖3-4 最終程序流程圖

1)選取出需要的視頻

2)將選出的視頻進(jìn)行分析

3)將讀取出來的視頻提取出第一幀，方便使用

4)找出第一幀的關(guān)鍵運(yùn)動捕捉的物體

5)在選出的關(guān)鍵物體中標(biāo)注關(guān)鍵點(diǎn)

6)利用預(yù)測公式，用粒子濾波器的算法，預(yù)測出該關(guān)鍵點(diǎn)下一幀的位置

7)將每一幀預(yù)測出的位置進(jìn)行GRB比對，選出運(yùn)動軌跡

8)將運(yùn)動軌跡組成運(yùn)動矩陣

9)選取相似物體，便于新動畫的驅(qū)動

10)最終利用驅(qū)動方程將新物體的運(yùn)動狀態(tài)進(jìn)行驅(qū)動，形成新的動畫。

4 結(jié)論

本文首先針對視頻信息的讀取和關(guān)鍵點(diǎn)的選擇;其次選擇使用粒子濾波器作為預(yù)測運(yùn)動軌跡的算法，對運(yùn)動軌跡的預(yù)測，可以準(zhǔn)確獲取到動畫中的運(yùn)動軌跡;最后實(shí)現(xiàn)對新動畫角色的提取和相似動作的驅(qū)動。不難看出利用這一理論完成基于模型運(yùn)動的行為驅(qū)動是可以實(shí)現(xiàn)的。這不僅僅可以提高制作動畫的速度，更能夠完成很多重復(fù)性勞動，帶來更多2D傳統(tǒng)動畫中很多新角度的再思考。

［1］C Bregler，L Loeb，E Chuang，H Deshpande.Turning to the masters:motion capturing cartoons［J］.ACM Transactions on Graphics(TOG)，Volume 21，Issue 3(July 2002)，Proceedings of ACM SIGGRAPH 2002，SESSION:Character animation，399-407.

［2］M Rastegari，N Gheissari.Multi-scale Cartoon Motion Capture and Retargeting without Shape Matching［J］.Proceedings of the 2008 Digital Image Computing:Techniques and Applications(DICTA)，2008，Australia，Canberra，320-326.

［3］胡士強(qiáng)，敬忠良.粒子濾波原理及其應(yīng)用［M］.北京:科學(xué)出版社，2010.

［4］F Sumi，M Nakajima.A Production Method of Reusing Existing 2D Animation Sequences［J］.In Proceedings of Computer Graphics International 2003(CGI)，July，2003，Tokyo，Japan，282-287.

［5］朱志宇.粒子濾波算法及其應(yīng)用［M］.北京:科學(xué)出版社，2010.

［6］MRastegari，M Rouhani，N Gheissari，M M Pedram.Cartoon Motion Capturing and Retargeting by Rigid Shape Manipulation［J］.Digital Image Computing:Techniques and Applications(DICTA)，2009，498-504.

［7］Wang Hongbin，Li Hua.Cartoon Motion Capture by Shape Matching［J］.In Journal of Computer-aided Design ＆ computer Graphics，Vol 15，No 19，Sep，2003.

［8］Chui Haili，Rangarajan A.A new algorithm for non-rigid point matching［J］.In Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition，Hilton Head Island，2001，44-51.