移動(dòng)增強(qiáng)現(xiàn)實(shí)下十字提線木偶交互系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

李 豪,程明智,劉 龍

(北京印刷學(xué)院新媒體學(xué)院,北京 102600)

中國木偶戲源遠(yuǎn)流長,提線木偶是中國木偶戲四大種類之一,是通過與木偶相連的提線來控制木偶身體局部,全國多個(gè)地方的提線木偶戲都被列入國家非物質(zhì)文化遺產(chǎn)保護(hù)目錄[1]。但提線木偶的操作復(fù)雜,傳承人培養(yǎng)周期長,而且隨著新媒體的發(fā)展,觀眾們也更青睞于影視、游戲等視覺聽覺沖擊力更強(qiáng)的娛樂活動(dòng),這些原因都導(dǎo)致提線木偶面臨失傳的危險(xiǎn)[2]。要想使更多人關(guān)注提線木偶,就需要使用更加現(xiàn)代化的展示和交互手段來吸引人們的關(guān)注。

移動(dòng)增強(qiáng)現(xiàn)實(shí)技術(shù),是移動(dòng)智能設(shè)備和增強(qiáng)現(xiàn)實(shí)技術(shù)融合發(fā)展的新產(chǎn)物,它結(jié)合了增強(qiáng)現(xiàn)實(shí)的3I特性(沉浸性、想象性、交互性)、多技術(shù)融合特性和移動(dòng)智能設(shè)備的便攜性、多感知性[3]。它通過將虛擬物體實(shí)時(shí)疊加生成在真實(shí)物體上,并且對(duì)于用戶的輸入可以做出實(shí)時(shí)的反饋,極大地提高了用戶的沉浸感和交互性。使用移動(dòng)增強(qiáng)現(xiàn)實(shí)技術(shù)的應(yīng)用給人帶來全新的體驗(yàn),如2016年大火的移動(dòng)增強(qiáng)現(xiàn)實(shí)游戲Pokemon Go[4],讓人們走出家門,上街去捕捉虛擬精靈。而對(duì)于通過移動(dòng)增強(qiáng)現(xiàn)實(shí)技術(shù)來進(jìn)行虛擬角色控制的研究也越來越多,如,Anderegg R等人使用智能手機(jī)控制角色,就像使用一根桿一頭連著角色,一頭連著手機(jī),來控制角色[5]。該系統(tǒng)只實(shí)現(xiàn)了對(duì)角色的整體控制,并沒有實(shí)現(xiàn)對(duì)角色身體局部的控制。因此,本文在此基礎(chǔ)上設(shè)計(jì)了一款移動(dòng)增強(qiáng)現(xiàn)實(shí)下的十字提線木偶交互系統(tǒng),來實(shí)現(xiàn)對(duì)虛擬角色身體局部精確的控制。

1 系統(tǒng)設(shè)計(jì)

十字提線木偶是對(duì)提線木偶的簡化,將表演時(shí)使用的提線木偶的提線由16—30根,簡化為4根提線,作為一種兒童玩具在民間更為普及。可以極大地提高普通大眾可體驗(yàn)性的提線木偶操控,對(duì)提線木偶的傳承具有重要意義。

根據(jù)對(duì)十字提線木偶交互進(jìn)行分析后,將該系統(tǒng)分為人機(jī)交互、慣性傳感器數(shù)據(jù)管理、模型動(dòng)畫生成三個(gè)模塊進(jìn)行設(shè)計(jì)。人機(jī)交互模塊,使得系統(tǒng)理解用戶意圖做出合適的響應(yīng);慣性傳感器數(shù)據(jù)管理模塊,對(duì)傳感器數(shù)據(jù)進(jìn)行獲取和進(jìn)一步優(yōu)化處理;模型動(dòng)畫生成模塊,利用反向動(dòng)力學(xué)動(dòng)畫原理,使用智能手機(jī)姿態(tài)角作為控制木偶模型身體局部關(guān)節(jié)點(diǎn)動(dòng)作,來生成模型局部動(dòng)畫。系統(tǒng)總體架構(gòu),如圖1所示。

(一)人機(jī)交互模塊

為充分利用移動(dòng)增強(qiáng)現(xiàn)實(shí)的交互特性,突破傳統(tǒng)的UI、按鍵、搖桿等交互方式,實(shí)現(xiàn)更自然、更人性化的人機(jī)交互方式。本文以用戶與手機(jī)姿勢的交互作為人機(jī)交互方式,并與顯示界面相結(jié)合對(duì)用戶輸入進(jìn)行讀取和引導(dǎo),人機(jī)交互模塊結(jié)構(gòu)圖,如圖2所示。用戶通過在橫向縱向兩個(gè)方向翻動(dòng)手機(jī),翻轉(zhuǎn)時(shí)手機(jī)中內(nèi)置的陀螺儀、加速度傳感器將產(chǎn)生手機(jī)姿態(tài)變化數(shù)據(jù),再利用相關(guān)SDK API接口獲取手機(jī)姿態(tài)變化數(shù)據(jù),將數(shù)據(jù)處理后,在顯示界面進(jìn)行數(shù)據(jù)的顯示和用戶翻轉(zhuǎn)角度的引導(dǎo)。

圖1 系統(tǒng)總體架構(gòu)

圖2 人機(jī)交互模塊結(jié)構(gòu)

(二)慣性傳感器數(shù)據(jù)管理模塊

在此模塊中主要對(duì)獲取到的手機(jī)內(nèi)置慣性傳感器數(shù)據(jù)進(jìn)行降低誤差以及增強(qiáng)數(shù)據(jù)健壯性處理。由于陀螺儀和加速度傳感器本身存在測量的誤差,因此需要對(duì)得到的數(shù)據(jù)進(jìn)行處理,減少由于傳感器本身造成的誤差,以及對(duì)系統(tǒng)造成的影響[6]。采用數(shù)據(jù)融合領(lǐng)域最為常用的互補(bǔ)濾波和卡爾曼濾波器結(jié)合來將陀螺儀和加速度數(shù)據(jù)融合[7],提高手機(jī)姿態(tài)測量的精度。如圖3所示。

圖3 互補(bǔ)濾波和卡爾曼濾波相結(jié)合原理圖

(三)模型動(dòng)畫生成模塊

此模塊是將慣性傳感器數(shù)據(jù)通過互補(bǔ)濾波與卡爾曼濾波聯(lián)合優(yōu)化,來得到一個(gè)精度較高的姿態(tài)角數(shù)據(jù),并以姿態(tài)角數(shù)據(jù)此作為虛擬木偶身體局部運(yùn)動(dòng)的判斷條件,來決定模型身體如何運(yùn)動(dòng)。以正向和逆向旋轉(zhuǎn)分別控制虛擬木偶的單手或單腳,與現(xiàn)實(shí)中十字提線木偶控制方法類似,這樣使用戶交互時(shí),能夠?qū)崿F(xiàn)實(shí)時(shí)的交互響應(yīng),使系統(tǒng)更具沉浸感。

2 系統(tǒng)實(shí)現(xiàn)

2.1 人機(jī)交互模塊

首先需要為項(xiàng)目搭建AR環(huán)境,整個(gè)開發(fā)過程需要在AR環(huán)境中不斷進(jìn)行調(diào)試和改進(jìn)。將HUAWEIAR SDK插件導(dǎo)入U(xiǎn)nity項(xiàng)目中構(gòu)建AR環(huán)境。如圖4所示。

圖4 構(gòu)建AR環(huán)境

在Unity內(nèi)搭建人機(jī)交互界面,如圖5所示,左上角的橫滾角和俯仰角用來顯示當(dāng)前手機(jī)姿態(tài)角狀態(tài)。右邊的ψ-1、ψ-2、ψ-3三個(gè)選項(xiàng),表示使用不同算法得到的手機(jī)姿態(tài)角。其中ψ-1表示將得到的慣性傳感器數(shù)據(jù)直接進(jìn)行解算得到手機(jī)姿態(tài)角;ψ-2表示將加速度計(jì)數(shù)據(jù)直接作為觀測量,將陀螺儀數(shù)據(jù)作為狀態(tài)量,通過卡爾曼濾波得到手機(jī)姿態(tài)角;ψ-3表示先使用互補(bǔ)濾波對(duì)加速度計(jì)數(shù)據(jù)和陀螺儀數(shù)據(jù)進(jìn)行處理得到經(jīng)校正的陀螺儀數(shù)據(jù),將其當(dāng)作狀態(tài)量,將加速度數(shù)據(jù)作為觀測量,再經(jīng)卡爾曼濾波得到的姿態(tài)角。Set Start Status按鈕表示用戶選定手機(jī)的初始姿態(tài)角度。

2.2 慣性傳感器數(shù)據(jù)管理模塊

在慣性傳感器數(shù)據(jù)管理模塊,使用加速度計(jì)測量的姿態(tài)角作為觀測值,使用經(jīng)互補(bǔ)濾波處理后的姿態(tài)角作為狀態(tài)值,則其卡爾曼濾波流程,如圖6所示。

圖5 人機(jī)交互界面

圖6 卡爾曼濾波迭代計(jì)算流程

卡爾曼濾波更新過程中,相關(guān)變量預(yù)設(shè)參數(shù)分別為:

2.3 模型動(dòng)畫生成模塊

在模型動(dòng)畫生成模塊,將木偶模型導(dǎo)入U(xiǎn)nity中,并導(dǎo)入Final IK 1.7插件,以此實(shí)現(xiàn)對(duì)木偶模型骨骼關(guān)節(jié)的反向控制,如圖7所示,運(yùn)行后可以通過控制木偶模型的身體局部來使木偶模型全身做出相應(yīng)的動(dòng)畫效果。

圖7 使用Final IK實(shí)現(xiàn)反向動(dòng)畫控制

3 實(shí)驗(yàn)結(jié)果及分析

系統(tǒng)運(yùn)行的硬件配置:一臺(tái)Android版本為10的安卓手機(jī),并且該手機(jī)具備:TOF立體深感鏡頭、陀螺儀、重力傳感器等硬件。

移動(dòng)增強(qiáng)現(xiàn)實(shí)下十字提線木偶交互系統(tǒng)的實(shí)現(xiàn)結(jié)果如下:規(guī)定智能手機(jī)的屏幕面對(duì)用戶,手機(jī)揚(yáng)聲器在下,為相應(yīng)方向的正方向。用戶自定義設(shè)置初始角度,緩慢轉(zhuǎn)動(dòng)手機(jī)。以手機(jī)為軸,前后轉(zhuǎn)動(dòng),可以通過手機(jī)屏幕觀察到提線木偶模型單腳隨著手機(jī)的轉(zhuǎn)動(dòng),依次運(yùn)動(dòng),并且身體其他部位做出與之相適應(yīng)的動(dòng)作。以手機(jī)為軸,左右轉(zhuǎn)動(dòng),可以觀察到提線木偶模型單手隨著手機(jī)的轉(zhuǎn)動(dòng),依次運(yùn)動(dòng),并且身體其他部位做出與之相適應(yīng)的動(dòng)作。如圖8所示。

圖8 轉(zhuǎn)動(dòng)橫滾角控制木偶腳部和手部運(yùn)動(dòng)

實(shí)驗(yàn)結(jié)果表明,當(dāng)用戶自定義設(shè)定初始角度之后,橫向或縱向緩慢旋轉(zhuǎn)手機(jī),虛擬角色身體局部會(huì)實(shí)時(shí)響應(yīng),做出相應(yīng)的動(dòng)作。并且虛擬角色對(duì)于用戶交互的響應(yīng)精度和準(zhǔn)確度,隨所選算法遞增(ψ-1＜ψ-2＜ψ-3)。該應(yīng)用達(dá)到系統(tǒng)設(shè)計(jì)的預(yù)期效果。

4 總結(jié)

本文設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)移動(dòng)增強(qiáng)現(xiàn)實(shí)下十字提線木偶交互系統(tǒng)。該系統(tǒng)使用手機(jī)姿態(tài)角中的橫滾角和俯仰角來模擬現(xiàn)實(shí)中十字提線木偶的十字架控制器,并通過反向動(dòng)力學(xué)動(dòng)畫控制來模擬提線對(duì)虛擬木偶身體局部的控制。本文采用互補(bǔ)濾波和卡爾曼濾波結(jié)合的方式對(duì)傳感器原始數(shù)據(jù)進(jìn)行處理,得到一個(gè)精度較高的手機(jī)姿態(tài)角,從而準(zhǔn)確地響應(yīng)用戶交互,最終達(dá)到了類似于現(xiàn)實(shí)中控制十字提線木偶的效果。該交互系統(tǒng),目前只實(shí)現(xiàn)了對(duì)虛擬角色肢體的簡單的控制,并不能控制虛擬角色做出更加復(fù)雜的動(dòng)作,未來需要引入更加精確的控制器和更強(qiáng)大數(shù)據(jù)融合算法,該交互方式也可以從類人形角色擴(kuò)展到其他更多種類的四足角色上。