基于虛擬現(xiàn)實(shí)的人體時(shí)空域運(yùn)動(dòng)信息捕捉仿真

趙江陽，張德富

(1.閩南科技學(xué)院，福建 泉州 362332；2.廈門大學(xué)，福建 廈門 361005)

1 引言

人體時(shí)空域運(yùn)動(dòng)信息捕捉是根據(jù)人體完成一個(gè)動(dòng)作的各分幀下動(dòng)作時(shí)空位置來實(shí)現(xiàn)動(dòng)作捕捉[1-3]。對人體運(yùn)動(dòng)信息捕捉仿真則是對規(guī)定動(dòng)作進(jìn)行仿真，在軍事領(lǐng)域可以輔助模擬單兵訓(xùn)練，同時(shí)在醫(yī)療領(lǐng)域也可應(yīng)用在醫(yī)學(xué)教學(xué)中，在運(yùn)動(dòng)領(lǐng)域則可以三維模擬運(yùn)動(dòng)員的動(dòng)作，該技術(shù)具有廣泛的應(yīng)用面。

在早期的研究中，國外于20世紀(jì)70年代建立了第一個(gè)計(jì)算機(jī)模擬人體模型，在后續(xù)研究中也出現(xiàn)了數(shù)字化虛擬人技術(shù)，同時(shí)實(shí)現(xiàn)了關(guān)節(jié)旋。在相應(yīng)傳感器技術(shù)的發(fā)展下，該領(lǐng)域?qū)＜议_始仿真研究人體動(dòng)作的捕捉并建立虛擬模擬數(shù)字人體[4-6]。而我國近幾年來也將數(shù)字化虛擬人技術(shù)作為重要的研究課題，同時(shí)提出了運(yùn)用Adaboost算法的人體運(yùn)動(dòng)信息捕捉的仿真研究以及基于時(shí)空權(quán)重姿態(tài)運(yùn)動(dòng)特征的人體骨架行為識別研究，但應(yīng)用結(jié)果顯示該方法對于存在時(shí)空域要求的運(yùn)動(dòng)信息仿真仍存在一定的局限性，需要進(jìn)一步的深入研究。

虛擬現(xiàn)實(shí)技術(shù)近些年較為廣泛地應(yīng)用在人機(jī)交互領(lǐng)域，而其中的動(dòng)作識別和模擬均具備較高的實(shí)時(shí)性，因此本研究將虛擬現(xiàn)實(shí)技術(shù)應(yīng)用于運(yùn)動(dòng)信息動(dòng)作仿真技術(shù)中[7-9]。

2 基于虛擬現(xiàn)實(shí)的人體時(shí)空域運(yùn)動(dòng)信息捕捉

2.1 運(yùn)動(dòng)傳感器數(shù)據(jù)歸一化處理

通過模擬現(xiàn)實(shí)技術(shù)模擬人體時(shí)空域下的運(yùn)動(dòng)過程，同時(shí)利用人體運(yùn)動(dòng)傳感器獲得的參數(shù)捕捉信息[10-11]。但考慮到傳感器數(shù)據(jù)存在誤差，且存在信號噪聲，因此需處理初始信息數(shù)據(jù)。處理過程主要針對于在實(shí)際運(yùn)動(dòng)中對運(yùn)動(dòng)信息影響的相關(guān)參數(shù)，針對傳感器獲得的水平方向旋轉(zhuǎn)記錄g以及地磁通量Φ的大小值，歸一化處理獲得到的數(shù)據(jù)

(1)

式中，gnorm為經(jīng)過歸一化后傳感器獲得的重力加速度。gin代表傳感器的輸入數(shù)據(jù)，gmax代表傳感器獲得的重力加速度最大值，gmin代表傳感器獲得的重力加速度最小值。即可完成數(shù)據(jù)的歸一化，獲得可靠性更高的數(shù)據(jù)。

2.2 虛擬人體結(jié)構(gòu)建模

在本文建立人體結(jié)構(gòu)模型過程中，由于人體骨骼中存在200多個(gè)自由度，計(jì)算難度過大。因此本研究選取層次骨架結(jié)構(gòu)，依據(jù)骨骼的運(yùn)動(dòng)機(jī)構(gòu)特性，將人體骨骼分為肢體段以及關(guān)節(jié)進(jìn)行層次分割，對人體骨骼點(diǎn)的劃分如圖1所示。

圖1 人體骨骼節(jié)點(diǎn)示意圖

而人體骨骼點(diǎn)的位置坐標(biāo)中，添加圍繞著3個(gè)軸的旋轉(zhuǎn)量，為避免出現(xiàn)萬向鎖現(xiàn)象，骨骼的旋轉(zhuǎn)信息采用四元數(shù)表示。同時(shí)定義骨骼點(diǎn)左邊西，以髖關(guān)節(jié)為骨骼左邊西的根點(diǎn)和原點(diǎn)，模型中默認(rèn)髖關(guān)節(jié)不具備旋轉(zhuǎn)角度，并將其它的骨骼點(diǎn)作為下層節(jié)點(diǎn)，向下延展，對其余骨骼點(diǎn)進(jìn)行分層，分層圖如圖2所示。

圖2 模型骨骼點(diǎn)分層圖

在圖2中的骨骼點(diǎn)分層圖中，將上層骨骼作為父節(jié)點(diǎn)，下層作為子節(jié)點(diǎn)。利用四維向量(x，y，z，w)描述骨骼點(diǎn)空間，選擇坐標(biāo)點(diǎn)(x，y)作為骨骼點(diǎn)在骨骼坐標(biāo)上的位置，如果將骨骼點(diǎn)的圖像位置設(shè)定為(xm，ym)，其中髖部位置的圖像位置設(shè)定為(xn，yn)即可得出人體骨骼點(diǎn)的深度值為

x=xm-xn，y=ym-yn，z

(2)

而在左邊點(diǎn)中w則作為骨骼點(diǎn)中與父節(jié)點(diǎn)所對應(yīng)向量和x軸方向下的夾角，而骨骼中的父節(jié)點(diǎn)上對應(yīng)的骨骼坐標(biāo)為(x1，y1，z1，w1)，其中w可由下面公式求得

(3)

根據(jù)式(1)以及式(2)即可獲得人體結(jié)構(gòu)模型的坐標(biāo)。將設(shè)計(jì)的人體結(jié)構(gòu)模型作為本文仿真的動(dòng)作基礎(chǔ)。

2.3 人體時(shí)空域運(yùn)動(dòng)姿態(tài)特征參數(shù)獲取

為獲取人體運(yùn)動(dòng)姿態(tài)特征參數(shù)，利用數(shù)學(xué)方法描述人體運(yùn)動(dòng)規(guī)律，并提取人體運(yùn)動(dòng)姿態(tài)參數(shù)，在人體運(yùn)動(dòng)姿態(tài)的分析中，首先在提取上述虛擬現(xiàn)實(shí)中的人體運(yùn)動(dòng)動(dòng)作以及四肢關(guān)節(jié)點(diǎn)數(shù)據(jù)，并將該數(shù)據(jù)以全局形式進(jìn)行保存，提取出虛擬現(xiàn)實(shí)中人體在進(jìn)行相應(yīng)運(yùn)動(dòng)時(shí)的坐標(biāo)信息以及旋轉(zhuǎn)角度數(shù)據(jù)，并利用Matlab軟件以離散數(shù)據(jù)形式繪制人體運(yùn)動(dòng)節(jié)點(diǎn)的角速度、運(yùn)動(dòng)軌跡、線速度等軌跡。求導(dǎo)多項(xiàng)式的連續(xù)動(dòng)作軌跡獲取多項(xiàng)式系數(shù)，得出對應(yīng)的人體運(yùn)動(dòng)姿態(tài)函數(shù)，并以.bvh文件的形式對運(yùn)動(dòng)的關(guān)節(jié)旋轉(zhuǎn)角以及偏移量進(jìn)行描述，如果要提高相關(guān)運(yùn)動(dòng)姿態(tài)數(shù)據(jù)的準(zhǔn)確度可以在虛擬現(xiàn)實(shí)基礎(chǔ)上添加相關(guān)設(shè)備來進(jìn)行運(yùn)動(dòng)捕捉。同時(shí)在考慮到人體的時(shí)空學(xué)參數(shù)中，需要對人體在運(yùn)動(dòng)時(shí)的時(shí)間以及距離參數(shù)均可作為監(jiān)測運(yùn)動(dòng)中人體姿態(tài)變化的改變。通過將人體運(yùn)動(dòng)時(shí)將具體動(dòng)作流程進(jìn)行分割，并與時(shí)間直接的關(guān)系進(jìn)行并列，得出人體時(shí)空域下的不同運(yùn)動(dòng)姿態(tài)，該參數(shù)可以作為人體運(yùn)動(dòng)捕捉時(shí)的時(shí)間運(yùn)動(dòng)量參考。但該運(yùn)動(dòng)特征姿態(tài)運(yùn)動(dòng)信息的支持，具有較高的誤差率，因此將其中的關(guān)節(jié)運(yùn)動(dòng)利用運(yùn)動(dòng)學(xué)理論進(jìn)行進(jìn)一步的分析以及信息獲取[12]。在本文中選擇采用正向運(yùn)動(dòng)信息選取技術(shù)來進(jìn)行。

2.4 正向運(yùn)動(dòng)信息獲取

考慮到獲取人體的時(shí)空域，來使虛擬現(xiàn)實(shí)中仿真的圖像中獲取到實(shí)時(shí)運(yùn)動(dòng)信息，實(shí)現(xiàn)實(shí)時(shí)動(dòng)作仿真，需要將獲取捕捉到的運(yùn)動(dòng)信息，通過正向運(yùn)動(dòng)學(xué)理論，將關(guān)節(jié)動(dòng)作進(jìn)行模擬。在虛擬現(xiàn)實(shí)人物動(dòng)作中，將每個(gè)關(guān)節(jié)鏈設(shè)置至少3個(gè)節(jié)點(diǎn)，同時(shí)為關(guān)節(jié)鏈節(jié)點(diǎn)建立起本身的局部坐標(biāo)系，如圖3所示。

圖3 關(guān)節(jié)鏈節(jié)點(diǎn)示意圖

如圖3所示，將圖3中將Mi節(jié)點(diǎn)的世界坐標(biāo)系中的坐標(biāo)設(shè)為(xMi，yMi)，將Mj節(jié)點(diǎn)的坐標(biāo)位置設(shè)為(xMj，yMj)，則得出Mi節(jié)點(diǎn)與Mj節(jié)點(diǎn)中的位置信息如下公式

(4)

而對于多節(jié)點(diǎn)鏈路，實(shí)際上Mi到Mj的局部坐標(biāo)系之間的轉(zhuǎn)換矩陣可以利用相鄰父節(jié)點(diǎn)之間的相互組合，即

∏i→j=Hi→i+1·Hi+1→i+2…Hi+n→j(i+n≤j-1)

(5)

在其中將Mi，Mi+1…Mj作為一個(gè)完整的關(guān)關(guān)節(jié)鏈來表示，∏i→j代表從節(jié)點(diǎn)Mi到節(jié)點(diǎn)Mj之間的組合轉(zhuǎn)換矩陣。將公式展開發(fā)現(xiàn)可將節(jié)點(diǎn)的坐標(biāo)位置用連續(xù)函數(shù)表示，如下所示

f=f(α1，α2…αn)

(6)

式(6)連續(xù)函數(shù)中n為節(jié)點(diǎn)之間旋轉(zhuǎn)角的個(gè)數(shù)。通過對運(yùn)動(dòng)參數(shù)正向運(yùn)動(dòng)信息的獲取，來確定時(shí)空域意義下的關(guān)節(jié)的旋轉(zhuǎn)動(dòng)作。

2.5 虛擬現(xiàn)實(shí)肢體運(yùn)動(dòng)動(dòng)作仿真

本文在進(jìn)行肢體運(yùn)動(dòng)信息捕捉后，使用虛擬現(xiàn)實(shí)技術(shù)來將上述中建立的虛擬人體模型進(jìn)行帶入，并根據(jù)運(yùn)動(dòng)動(dòng)作信息進(jìn)行仿真。對于人體關(guān)節(jié)的旋轉(zhuǎn)動(dòng)作的模擬，采用角坐標(biāo)系法來進(jìn)行表現(xiàn)，沿用上文中建立的人體骨骼坐標(biāo)位置，添加一組角度向量(γ，β，α)，角度向量中γ代表繞x軸的旋轉(zhuǎn)角度，即動(dòng)作滾動(dòng)角。β代表繞y軸旋轉(zhuǎn)的角度，即動(dòng)作俯仰角。α則代表繞z軸的旋轉(zhuǎn)角度，即運(yùn)動(dòng)偏行角。運(yùn)用角坐標(biāo)系來描述運(yùn)動(dòng)姿態(tài)下繞軸的次序，而固定角旋轉(zhuǎn)的過程中模擬關(guān)節(jié)中的所繞的軸方位不變，歐拉角旋轉(zhuǎn)時(shí)圍繞的軸方向也取決于上次旋轉(zhuǎn)結(jié)果，如圖4所示。

圖4 xyz次序下的固定角旋轉(zhuǎn)

為了提高計(jì)算機(jī)的動(dòng)作模擬程度，在角坐標(biāo)系構(gòu)建的同時(shí)，建立旋轉(zhuǎn)矩陣，當(dāng)乘以單一向量時(shí)，會(huì)造成向量方向的改變，且不改變向量大小的矩陣。將繞x軸進(jìn)行旋轉(zhuǎn)的γ角度利用矩陣表達(dá)即為

(7)

而圍繞y軸旋轉(zhuǎn)的β角度用矩陣表達(dá)則為

(8)

圍繞z軸旋轉(zhuǎn)α角用矩陣表達(dá)則為

(9)

虛擬現(xiàn)實(shí)中利用固定角旋轉(zhuǎn)模擬關(guān)節(jié)運(yùn)動(dòng)模式，并采用旋轉(zhuǎn)矩陣來進(jìn)行表達(dá)。通過對角動(dòng)作的表達(dá)，獲取運(yùn)動(dòng)角度，而其余動(dòng)作根據(jù)傳感器獲取的動(dòng)作完成仿真。

3 仿真實(shí)驗(yàn)分析

為了驗(yàn)證本文設(shè)計(jì)的運(yùn)動(dòng)信息捕捉仿真方法的可行性，設(shè)計(jì)仿真實(shí)驗(yàn)，選取志愿者攜帶運(yùn)動(dòng)捕捉傳感器，做出相應(yīng)的動(dòng)作，利用本文方法對人體運(yùn)動(dòng)動(dòng)作進(jìn)行信息捕捉，并通過虛擬現(xiàn)實(shí)技術(shù)對相應(yīng)的動(dòng)作進(jìn)行實(shí)時(shí)仿真。

3.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)中使用PC機(jī)進(jìn)行仿真實(shí)驗(yàn)，CPU采用Intel Core i7-3770 3.4GHzCPU，PC機(jī)內(nèi)存為HIKVISION 8GB內(nèi)存。顯卡型號為：GTX1050TI，顯存容量為4GB，硬盤型號為WD20EZAZ，硬盤容量為2TB。另外實(shí)驗(yàn)中額外添加了MS Kinect傳感器。實(shí)驗(yàn)中軟件環(huán)境為：Windows7環(huán)境，使用軟件為ODE 0.12、KinectSDK-v1.7以及3DMAX。

3.2 人體動(dòng)作采集

實(shí)驗(yàn)人員穿戴傳感器，并從中獲取到單一動(dòng)作的模擬結(jié)果獲取到相應(yīng)動(dòng)作的運(yùn)動(dòng)信息，如圖5所示。

圖5 動(dòng)作關(guān)節(jié)信息獲取

利用傳感器獲得各動(dòng)作下關(guān)節(jié)的位置以及相關(guān)數(shù)據(jù)作為運(yùn)動(dòng)信息仿真的基礎(chǔ)參數(shù)。

3.3 實(shí)驗(yàn)仿真參數(shù)

根據(jù)上述中傳感器獲得的關(guān)節(jié)位置，首先使用本文中的傳感器參數(shù)處理方法歸一化處理參數(shù)，利用Kinect軟件計(jì)算和轉(zhuǎn)換獲得關(guān)節(jié)位置參數(shù)，獲取到的參數(shù)用于進(jìn)行運(yùn)動(dòng)仿真，獲得的手臂正、逆運(yùn)動(dòng)的部分?jǐn)?shù)據(jù)參數(shù)如表1所示。

表1 手臂正、逆運(yùn)動(dòng)學(xué)計(jì)算

3.4 仿真結(jié)果

將獲取的信息帶入構(gòu)建的人體模型中，同時(shí)使用虛擬現(xiàn)實(shí)技術(shù)實(shí)現(xiàn)動(dòng)作的仿真。而在本文實(shí)驗(yàn)中定義了多動(dòng)作的運(yùn)動(dòng)，分別為下蹲、跑步、行走、揮手、舞蹈動(dòng)作。對不同方法的虛擬現(xiàn)實(shí)中人體動(dòng)作完成度、時(shí)延、識別率參數(shù)進(jìn)行統(tǒng)計(jì)，獲得結(jié)果如下。

表2～表4顯示，隨著動(dòng)作難度的增加，時(shí)延增加，同時(shí)完成度以及準(zhǔn)確率存在下降的情況，但本實(shí)驗(yàn)中，所提方法的時(shí)延均為低于300ms。同時(shí)在動(dòng)作的完成度以及動(dòng)作仿真室關(guān)鍵位置的準(zhǔn)確率均高于90%，證明本文設(shè)計(jì)的運(yùn)動(dòng)信息捕捉仿真技術(shù)可以實(shí)現(xiàn)較高的實(shí)時(shí)性，同時(shí)具有較高可行性。

表2 所提方法虛擬現(xiàn)實(shí)動(dòng)作仿真情況

表3 文獻(xiàn)[7]方法虛擬現(xiàn)實(shí)動(dòng)作仿真情況

表4 文獻(xiàn)[8]方法虛擬現(xiàn)實(shí)動(dòng)作仿真情況

4 結(jié)束語

本文通過將虛擬現(xiàn)實(shí)技術(shù)對運(yùn)動(dòng)信息捕捉上進(jìn)行應(yīng)用，從而實(shí)現(xiàn)人體時(shí)空域運(yùn)動(dòng)信息捕捉仿真。同時(shí)進(jìn)行了相關(guān)實(shí)驗(yàn)，證明本文設(shè)計(jì)的運(yùn)動(dòng)信息仿真技術(shù)存在較高的可行性。但在本研究中，虛擬人物可支持的交互動(dòng)作仍然較為輔助，同時(shí)由于對人體骨骼信息是通過建立人體結(jié)構(gòu)模型來構(gòu)成，因此對于骨骼特征存在特殊性的使用者尚不支持，后續(xù)研究匯總需要加入人體骨骼特征預(yù)估算法來實(shí)現(xiàn)需求。