面向肌電信號的虛擬現實提線木偶動畫研究*

譚宇彤,周旭峰,孔令芝,王醒策,武仲科,稅午陽,付 艷,周明全,

Vladimir KORKHOV2, Luciano Paschoal GASPARY3

1(北京師范大學 人工智能學院,北京 100875)

2(Department of Computer Modeling and Multiprocessor Systems,St.Petersburg State University (SPBU)199034,Russia)

3(Institute of Informatics,Federal University of Rio Grande do Sul (UFRGS)15064,Brazil)

提線木偶是中國傳統文化精粹之一,但目前對它的保護與傳承卻存在重大問題.提線木偶,又被稱為“懸絲傀儡”,起源于秦漢時代,由于其精良的木偶制作工藝與精湛的表演技藝,在2006 年被確立為首批國家級非物質文化遺產.但是,由于目前人們文化生活的豐富以及審美情趣的變化,觀賞提線木偶戲的人越來越少,受眾不停地萎縮.究其原因,主要有以下3 點.首先,提線木偶這種古老的戲種中木偶笨重,道具繁雜,搬運不便,不適于遠距離長途演出.其次,提線木偶一般都系有16 條甚至多達30 余條纖細懸絲,線條繁多,操作復雜,普通人參與難度較大.最后,提線木偶劇目的展示方式以錄制影像視頻和劇團表演為主[1],缺少具有創新性的方案.

近年來,隨著信息技術的跨越式發展,使用數字化手段在虛擬現實環境中實現提線木偶的保護與傳承成為可能.虛擬現實涉及計算機圖形學、人機交互技術、傳感技術、人工智能等領域,它利用計算機的軟/硬件資源實時生成與現實物理世界對應的三維虛擬世界,從視覺、聽覺、觸覺、味覺、嗅覺等多感官通道為用戶提供身臨其境的真實感受.應用虛擬現實技術實現提線木偶的載體模型設計與構建,可有效緩解木偶與布景移動的困難.通過構造基于生理數據的用戶與提線木偶的自然交互方式,實現提線木偶整體動畫,在提供用戶體驗的真實感和沉浸感之外,還可以增加用戶參與感與交互性.通過交互可實現木偶劇目的快速編輯和存儲,便于實現木偶劇的存儲以及三維虛擬顯示與展陳,為木偶劇的傳播提供了新的途徑.因此,構建在虛擬現實環境下普通大眾可體驗性的提線木偶操控,對于提線木偶的傳承具有重要的意義[2].

與傳統二維線條動畫、三維立體動畫相比,虛擬現實環境下的木偶動畫交互研究還處于起步階段.Narukawa[3]利用視覺傳感器獲得木偶的運動文件,實現木偶的動態創作.Tseng[4]采用增強現實構建舞臺布景,實現了木偶在虛擬場景中的表演.但是,Narukawa 僅關注于木偶及木偶運動的三維快速建模,而Tseng 中依然是對實體木偶模型進行操控.Smart Glove[5]與我們的工作類似,它通過數據手套做出手勢控制木偶活動.但是,數據手套束縛感較強,手與手指運動范圍有限,其交互的便捷性和自然性都有待提高.同時,數據手套價格偏高,不利于大規模的推廣與普及.

人在完成各種手勢的過程中,手部、前臂及大臂的運動引起上肢肌肉收縮舒張以及上肢運動狀態變化.我們可用陀螺儀、加速度計和磁強計通過測量位置、速度和加速度等外蘊運動信號來描述人的手部運動,實現手勢識別.同時,肌肉收縮舒張也將在手臂肌肉表面直接產生肌電信號,通過肌電儀可以獲得這種人體內蘊生理信號,并完成手勢描述.外蘊運動信號描述(位置、速度和加速度)是手部肌肉變化的間接反映,信號會受到風力、濕度、場地規模與手部運動范圍等環境因素的影響,因此,需要探索新的人機交互接口來實現手勢識別.作為內蘊運動描述的EMG 信號,其振幅和頻率隨收縮力的變化而變化[6,7],因此可以將用戶的肌肉收縮相聯系以控制相關設備.通過皮膚電傳感器的一條通道可以檢測到許多肌肉的活動,這使得我們可以利用更少的[8]電極獲得足夠多的信息.

為了打破傳統提線木偶動畫的束縛,實現提線木偶的科技化保護,本文設計了基于EMG 信號手勢識別的虛擬現實提線木偶動畫方案,實現了利用MYO 臂環肌電信號的人體生理信號控制動畫原型軟/硬件系統設計.MYO 臂環通過測量前臂的運動得到八通道EMG 脈沖信號并傳輸到Unity 3D 中,Unity 3D 獲得EMG 信號后對其進行信號分析與特征提取.同時,基于SVM 多分類器的手勢識別系統根據提取特征進行手勢識別,構建手勢與動作之間的關聯關系,實現在Unity 3D 的運動顯示輸出.SVM 多分類器的手勢識別系統基于先驗數據庫進行訓練.用戶可以通過佩戴頭盔或大屏幕顯示,實現木偶動畫的虛擬現實環境帶入.

用戶佩戴MYO 臂環于小手臂高位處,臂環內置的肌電信號感應器可以采集到八通道的原始肌電序列信號,通過低值濾波等預處理獲得用戶單個動作的有效信號,通過對有效信號提取特征,采用分類器實現手勢識別,獲得手勢標簽.為了實現木偶動畫操控,構建木偶動作與手勢關聯的木偶動作庫,在Unity 3D 中根據手勢標簽實現木偶運動.結合虛擬現實中的動作、聲音與環境模塊,使得用戶獲得有沉浸感與科技體驗的序列木偶動畫.

我們的主要創新性工作為:

(1)構建了基于手勢識別的虛擬現實動畫方案,從EMG 信號序列中提取動作信號時域與時頻域特征,根據這些特征,構建多分類SVM 算法,實現了不同手勢的區分.

(2)構造了以人體內蘊EMG 信號驅動的木偶動畫,實現了單純依靠人體生理信號的虛擬現實運動控制.

(3)基于我們構建的動畫方案,以提線木偶為例實現了動畫原型系統.通過一個準確性驗證實驗與兩個用戶調查結果驗證了所提方案和系統的可行性.對于用戶來說,該系統造作更方便,準確性更高,學習時間更短.

本文第1 節介紹國內外相關工作,詳細介紹手勢識別方法與EMG 肌肉電信號應用的國內外研究現狀.第2節介紹系統設計方案與算法實現方法,包括數據預處理、特征提取與多分類SVM 實現方法.第3 節為實驗與數據分析,驗證肌電信號特征與分類器的有效性.第4 節為用戶調查,通過將普通用戶人群和專業用戶在設計方面與實體提線木偶進行比較,實現算法的有效性分析與泛化性能討論.第5 節總結整體工作并給出未來研究方向.

1 相關工作

EMG 接口通過相關的肌肉活動獲得信號,并將信號與給定設備的期望功能相關聯,由此可以提供一種直觀、簡單的通信方式.這里,我們將展示三維手勢識別方法以及EMG 信號處理與應用的最新研究進展.

三維手勢識別為我們提供了智能、自然與方便的人機交互方式.根據用于捕捉手勢的傳感技術的不同,三維手勢識別可以主要分為三大類:基于視覺的無接觸手勢識別、基于接觸性設備的外蘊傳感手勢識別與基于接觸性設備的內蘊傳感手勢識別[9,10].基于計算機視覺的方法可以跟蹤手部運動并有效地識別手勢而不干擾用戶.Starner[11]利用桌面攝像頭實現了40 個單詞的美國標志語言生成,正確率達到91.9%.Shanableh[12,13]等人實現了以視覺為基礎的阿拉伯手語的識別,對23 個手語手勢識別的準確率為97%～100%.然而,基于視覺的手勢識別對環境較為敏感,背景紋理、顏色和照明[9,10]都會極大地影響手勢識別的準確率.雖然有研究者應用彩色手套[7]或多個攝像機[14]進行手勢增強,但在移動環境下其應用依然受限.基于接觸性設備的外蘊傳感手勢識別,主要是指通過配備了彎曲傳感器和加速度計的數據手套來捕捉手和手指的旋轉和運動.Fang[15]使用兩個數據手套與3 個位置跟蹤器作為輸入,實現了基于模糊決策的中文手語分類器,平均準確率達到91.6%.Pawe[16]通過具有4個傳感器的數據手套實現了22 個手勢的識別,在10 人中1ms 的響應時間內獲得了98.24%的準確率.數據手套傳感器配置相對比較豐富,信源多,識別精度較高.但其要求用戶佩戴笨重的數據手套以捕捉手和手指的運動,使其交互的便捷性與自然性差強人意.基于接觸性設備的內蘊傳感手勢識別,主要是指通過EMG 信號技術實現手勢識別.EMG 信號可實現細微的手指形狀、手形狀與手腕動作[17]的辨別.使用EMG 信號為截肢者提供利用殘余肌肉控制上緣假肢已在醫學上被長期使用[18-20].而在手勢識別中,Wheeler[21]實現了基于EMG 信號的手勢識別在虛擬環境中操縱桿的運動.Saponas[17]等人構建了10 傳感器的前臂窄帶采集設備,以實現前臂手指按壓的位置和壓力的區別.Ploengpit[22]開發了一個“石頭剪刀布”應用系統,應用決策樹方法對8 條EMG 信道的最大值進行分類.然而,表面肌電信號非常容易受到干擾:電源線噪聲、高信號、傳感器的接觸阻抗引起的變異性、皮膚出汗或不同肌肉間的纖維串擾信號[23]都會造成信號不穩定性.因此,如何有效地提取EMG 信號特征,如何構造穩定的分類器,如何提高識別系統的穩定性與魯棒性,是基于EMG 信號的手勢識別向商業化應用的關鍵.

通常,我們應用模式識別方法實現EMG 信號的手勢識別系統應包括預處理、特征提取和分類算法這3 部分[24].在預處理階段,除了簡單的模擬或數字濾波器的應用外,還會應用到數據維數縮減技術,如主成分分析(principal component analysis,簡稱PCA)[25]和獨立成分分析(independent component analysis,簡稱ICA).Hargrove等人[26]發現,在EMG 中使用PCA 進行分析,當分析窗口長度從256ms 減少到128ms 時對分類的準確性沒有影響,并且使用PCA 會明顯降低截肢者的分類錯誤率[27].應用ICA 技術可以有效地降低串擾效應.Ganesh 等人[28]在四通道EMG 信號下的手勢識別任務中比較了不同ICA 算法的性能.EMG 信號數據顯示,在低收縮水平下是超高斯的[29],因此,Timemy[30]發現,使用Fast ICA 預處理技術可以將異構窗口長度的EMG 信號的分類準確率從88%提高到93%.改善信噪比技術,例如普通空間模式(common spatial pattern,簡稱CSP)[31],也經常被使用.特征提取主要是指信號描述特征向量的計算.EMG 信號數據特征通常是在時域、頻域和/或時頻域中計算[32].時域特征主要為絕對值、方差、標準差、振幅三階矩、振幅四階距、首極大點振幅、零交叉、自動回歸系數等20余項特征.頻域特征主要應用功率譜密度(power spectral density,簡稱PSD)以及作用在功率譜密度上的各種統計量進行計算,例如峰值頻率(peak frequency,簡稱PKF)等.平均功率(mean power,簡稱MNP)與總功率(total power,簡稱TTP)也常會被使用.時頻域特征主要包括短時傅里葉變換(short time Fourier transform,簡稱STFT)、連續小波變換(continuous wavelet transform,簡稱CWT)、離散小波變換(discrete wavelet transform,簡稱DWT)、小波包變換(wavelet packet transform,簡稱WPT)和平穩小波變換(stationary wavelet transform,簡稱SWT).面向EMG 特征信號的分類器有不同類型,包括歐氏距離、邏輯回歸、k近鄰(kNN)、模糊分類器[33]、隱馬爾可夫模型(HMM)[34]、人工神經網絡(ANN)[35]、支持向量機(SVM)[32]和線性判別分析(linear discriminant analysis,簡稱LDA)[36]等.前期分析可以發現EMG 信號具有非線性與時變性,因此,有效的特征選擇算法是EMG 信號應用的基礎,更為高效、可靠的識別算法是EMG 應用的關鍵.通過前序研究,我們還未發現有人提出應用MYO 臂環提取肌電信號來實現木偶動畫的控制,故此希望做出相關研究.

2 研究方法

對于面向木偶動畫的交互,我們的研究重點在于通過MYO 臂環提取肌肉運動產生的肌電信號,通過分類器實現手勢快速識別.希望驗證在使用通用設備的基礎上,僅應用人體內蘊的運動生理信號也可實現虛擬現實下的精確動作控制.研究的本質是將傳統的計算機視覺問題轉換成為對序列數據進行分類,并通過特征選擇,在一定樣本的條件下構造有監督的學習方案訓練出準確率高的手勢識別分類器.研究方法架構如圖1 所示.

這一研究項目可分為手勢識別與動畫操控兩個部分.手勢識別又可細分為數據處理與分類器兩個部分.數據處理部分,應用MYO 臂環獲取到8 個通道的肌電信號后,通過低值濾波與移動平均得到平滑的肌電信號序列,并設置閾值切分該序列,獲得每個手勢相關的信號段.通過提取多樣的時域與時頻域特征,應用LDA 融合降維,分析各種特征與手勢的關聯性,得到包含信息相對完善的信號特征.分類器部分,將信號特征輸入到多分類SVM 中進行訓練,獲得準確率高的手勢識別模型,實現手勢識別.動畫操控部分,在Uinty 3D 中設置手勢標簽與動作的關聯關系,應用關聯關系實現動畫運動庫的鏈接,在輸入信號識別出手勢標簽后,實現運動文件的查找與驅動,進而實現木偶動畫操控.

Fig.1 Framework of our method圖1 研究方法框架

2.1 數據預處理

Fig.2 The original EMG signal obtained by MYO armband圖2 MYO 臂環獲得的EMG 原始信號

MYO 臂環內置的肌電信號感應器由8 位芯片構成,由其獲得的EMG 信號數值范圍是-128～127,由MYO 臂環獲得的原始信號如圖2 所示.

圖2 所示為外揮動作的八通道原始信號,縱軸是信號強度,橫軸是時間軸,采樣率為58Hz,圖3 展示了250 時間步的結果.原始信號雜亂,且存在大量噪聲,必須經過預處理后才能進行特征提取.我們在時域序列上對EMG 信號處理進行了加窗、濾波、移動與分割等處理,具體預處理步驟如圖3所示.

為了減少微弱信號的影響,設置閾值為4 對數據進行低值濾波.為了獲得相對穩定的平滑包絡,使用移動平均技術[37]進行平滑處理.通過設置閾值150 確定最佳分割點,進而獲得單個動作的完整信息.圖4 所示為一段單通道EMG 信號預處理結果,其中,實線為原始輸入信號,取絕對值之后進行平滑處理得到虛線的數據,根據移動平均法和設定的閾值確定圓圈標志動作起始分割點和正方形標志動作結束分割點.

Fig.3 The procedure of pretreatment圖3 預處理步驟

Fig.4 Results after smoothing original data圖4 原始數據平滑處理結果

2.2 基于時域頻域的特征提取

在時域序列上,提取了絕對值均值(MAV)、標準差(DEV)與波形變化長度(WL)[38]作為特征.由于單純的時域序列不能刻畫非平穩的EMG 信號所有特征,我們利用離散小波變換提取時-頻域信號特征.面對MYO 臂環采集到的EMG 信號,采用Daubechies2(db2)小波基函數[39],選用了level=3 層進行小波變換,得到了1 層低頻信息和3層高頻信息分解,S={S1,S2,S3,S4},圖5 所示為小波變換結果,S1,S2,S3,S4分別表征了原始信號低頻信息與高頻信息.選擇小波變換中常用的小波系數最大值MAX、小波系數奇異值SVD、小波系數能量E[40]作為時頻域上的特征.

Fig.5 Results of wavelet transformation圖5 小波變換結果

由于EMG 信號序列本質上是一個時間序列,可以獲得在時域和時頻域上常用的一些特征,比如均值、標準差等,則可利用公式(1)～公式(6)進行計算.這里,設某一時刻t的肌電信號表示為選取一段長度為Lp的序列來進行特征向量計算,其中,i為通道數.

·絕對值均值(MAV)

·標準差(DEV)

·波長變化(WL)

·小波系數最大值(MAX)

其中,{S1,S2,S3,S4}為4 層小波變換結果序列.

·小波系數奇異值(SVD)

對于小波分解的每一層系數Sj,通過正交分解,得到正交矩陣Uj、Vj,使得則有

·小波系數能量(ENG)

其中,Lj為的序列長度.

綜上,可以獲得如表1 所示的特征選擇表.

Table 1 EMG signal feature selection表1 EMG 信號特征選擇表

時域上,絕對值均值MAV 表征信號在時間序列下不同時刻的能量的大小,標準差DEV 表征不同信號的穩定程度,WL 累積了不同信號的波長變化情況,3 類特征都是經典的時域序列特征,可以較好地區分不同的序列.時頻域上,經過小波變化,不同級的小波分解系數可以在不同程度上表征信號,小波系數最大值MAX 表征每級信號頻率的最大值,而小波分解奇異值SVD 具有較好的穩定性,當原始信號發生小的變化時,奇異值的變化很小,而小波系數能量均值表征了小波分解意義上的能量大小,3 類小波分解系數也可以較好地表征信號.

2.3 基于LDA的特征選擇

在基于EMG 信號的手勢識別任務中,由于特征向量維度較高而訓練樣本較少,在特征空間中的樣本分布將極為稀疏,不能體現出不同分類的統計特征,因此必須對特征進行降維.選擇LDA[41]實現有監督的降維,將時域與時頻域上的3 類特征分別投影到低維空間中,消除特征之間關聯性的同時提高了算法魯棒性.

從EMG 信號序列中提取出每個動作對應的不同特征集合,表示為

其中,p為每個動作對應的8 維emg 信號時間序列,y屬于k個動作類別之一,即用d維特征向量b標識為

定義Mj=(j=1,2,…,k)為第j類動作樣本個數,Bj=(j=1,2,…,k)為第j類樣本特征向量集合,μj=(j=1,2,…,k)為第j類樣本的均值向量,為第j類樣本的協方差矩陣,那么k類樣本的類間離散度矩陣Sb與樣本的類內離散度矩陣Sw的計算方法如公式(9)與公式(10)所示.

LDA 需最大化不同類別的數據的類中心距離,即要找到一個投影方向矩陣W=(w1,w2,…,w1),最大化類間離散度,最小化類內離散度,即優化公式(11)的Fisher 準則函數:

根據線性代數瑞利商(Rayleigh quotient)算法思想,得到對應的維特征向量x.

為了提高識別結果,我們對提取的特征向量進行了標準化,標準化公式如下:

其中,x是所提取的特征向量,是x的平均值,σ是x的標準差.

2.4 基于SVM多分類器的肌電信號分類過程

手勢識別很明顯是一個多分類問題,即使經過LDA 降維,訓練樣本的稀疏性依然明顯.故此,利用在小樣本下可獲得良好分類效果的OVO SVM[42]算法進行分類.OVO SVMs 在每兩個類樣本中設置一個二分類SVM模型.對于N類別問題,需建立T個SVM 模型,其中,個模型都得出相應預測后,計算相同類別的出現次數,將最大次數的類別Scorej作為最終預測,其中,

gk(xi,j)為第n個二分類SVM 對于xi類別的預測和j類別的比較.

由于訓練樣本D將樣本映射到更高維空間φ(x),并引入高斯核函數:

由于樣本集中切分數據算法含有一定的錯誤率,在訓練集中可能會出現錯誤的樣本,采用hinge 損失函數對多分類SVM 分類器進行優化并加上正則化一項以增大模型容錯率,即軟間隔SVM.其中,hinge 損失函數為

其優化目標函數為

其中,t為樣本容量,yi表示xi對應的正確的手勢類別.利用拉格朗日乘子法求解公式(15),可得:

并選擇*α中正分量計算超平面參數:

最后利用符號函數計算決策函數:

分類器中參數γ和C的值通過GridSearch 方法[43]獲得.

3 實驗結果與數據分析

項目軟件平臺為Windows 10,Unity 2017.1.0f3 與Python 3.6,硬件系統由Intel? Core? i7 CPU,8.GB 內存與MYO 臂環構成.虛擬木偶操控系統通過Windows 系統下Unity 3D 軟件開發圖形界面,以MYO 臂環提供的肌電數據作為原始數據,處理后利用SVM 算法識別手勢來操控木偶,通過屏幕以全息投影技術呈現.具體系統包括數據處理、手勢識別、動作匹配和木偶運動這4 個模塊.

3.1 框架有效性分析

通過個體數據提取與離線SVM 分類測試,驗證整體框架的有效性.實驗主要對特征選擇的有效性、特征壓縮的有效性、分類器的準確性進行了分析.其中,在手勢識別模塊,定義了8 個不同的手勢(如圖6 所示):雙擊(a)、握拳(b)、停留(c)、舒張(d)、外揮(e)、內揮(f)、勝利(g)和否認(h),8 個手勢對應的8 個動作如圖7 所示.由于肌電信號的不穩定性,利用迪克遜準則剔除了原始數據中的異常值,為了保持樣本平衡,每類動作數據選取800 個,最終收集了6 400 個有效的動作數據.將所有數據分為40 組,每組含有8 類動作各20 個,對40 組數據采用余一法交叉驗證.

Fig.6 8 customized gestures圖6 8 種自定義手勢

Fig.7 Puppet model actions related to gestures圖7 與手勢相關的木偶模型動作

動作匹配模塊,在Unity3D 平臺上建立手勢標簽與人物模型動作的連接,每種手勢都與模型人物的動作關聯.圖8 所示為系統主要界面,圖9 所示為三維場景漫游界面.

Fig.8 System interface圖8 系統界面

Fig.9 3D roaming system圖9 3D 漫游系統

(1)時域特征提取

經過預處理的EMG 時域序列信號,每段信號長度超過70 個時間步,且肌電信號并不穩定.為了增加分類識別的魯棒性,進一步提取每個動作單通道EMG 信號的絕對值均值、標準差、均方根高度這3 個特征.表2 是被試10 次動作的相關特征均值結果.

根據表2,3 類特征都能在一定程度上表征不同手勢之間的信號特性.絕對值均值能一定程度地反映不同通道信號的能量信息.波形變化長度可以累積信號變化信息,在不同手勢標簽間區分也較為明顯.而標準差反映了信號的穩定性,也可作為信號特征用于分類.我們首先利用SVM 算法對上述各8 維的3 類特征進行區分比較,并進一步融合所有24 維特征,采用LDA 方法降到6 維作為新的特征向量,通過分類器進行效果比較.降維后前4 維的數據分布如圖10 所示.絕對值均值(MAV)、標準差(DEV)、波形變化融合(WL)選出的特征散點大致分布于8 個區域之中,其中,握拳、外揮、內揮動作的可分性良好,但是,雙擊、舒張、停留、勝利動作有數據交集,不易于區分.

Table 2 Mean value of relevant features of 10 movement表2 被試10 次動作的相關特征均值結果

Fig.10 Visualization of the first four dimensional comparions of dimensional reduction features fused in time domain圖10 時域融合降維特征前4 維對比的可視化

不同特征所包含的信息對于識別結果的影響是不一樣的,我們分別根據這4 類特征進行SVM 分類識別,對于不同特征,使用能獲得最佳識別結果的參數,識別結果見表3.

根據表3,絕對值高度可以最大程度地區分不同手勢,平均召回率高達90.30%.而標準差的平均召回率只有89.91%,所以,對于EMG 信號時域特征而言,以絕對值均值作為特征能夠獲得更好的分類結果.時域特征融合后不同動作的識別結果均有所提高,平均召回率高達94.56%,比融合之前表現最好的絕對值均值特征提升了4.26%.從表3 可以看出,相較于其他動作,舒張動作的識別率最差,雙擊動作最容易被混淆.分析其原因應該是來自于兩個動作施展時力度都相對較小所致,MYO 臂環能夠收集的信號強度相似,故此區分不夠明顯.外揮動作與內揮動作的識別率與召回率都很高,這與兩個動作幅度大,涉及手臂上的肌肉群數量較多有直接關系.

Table 3 Results of recognition of 4 features based on time domain (%)表3 時域4 個特征分別的識別結果(%)

在時頻域部分,分別對小波系數能量值、系數矩陣奇異值、系數最大值進行了LDA 降維處理,將32 維向量降維成6 維,并用6 維的向量作為SVM 分類器輸入.進一步融合了3 類時頻域特征,共96 維,再通過LDA 降維到6 維后作為融合結果2 進行測試.圖11 所示為融合結果2 中前4 維特征對比圖.

Fig.11 Visualization of the first four dimensional comparions of dimensional reduction features fused in time-frequency domain圖11 時頻域融合降維特征前4 維對比的可視化

從對比圖可以看到,時頻域特征信息與時域特征信息類似,其中,內揮動作與外揮動作離散度較大,區分明顯,而舒張動作與雙擊動作依然有一定重合,無法直接區分.將所有時頻域識別結果與時頻域融合結果進行對比,使用能獲得最佳識別結果的參數,表4 給出各類特征在SVM 分類器下獲得的對比結果.

時頻域特征也能較好地區分不同動作,3 類特征小波系數能量值、系數矩陣最大值、系數奇異值分類效果依次降低,以小波系數能量值(ENG)效果最佳.融合所有特征,降維后整體識別準確率達到了88.57%,也能較好地用于區分不同動作.比較這四者的F1 值也能看出,融合之后的特征包含更多的信息.

Table 4 Results of recognition of 4 features based on time-frequency domain (%)表4 時頻域4 個特征分別的識別結果(%)

在使用LDA 方法獲得了6 維融合的時域特征和6 維的頻域特征之后,將時域和頻域上的特征再次融合,繼續采用LDA 方法進行降維處理,并獲得6 維的特征向量融合結果3.

在進行融合之后,使用SVM 分類器獲得的結果見表5.融合結果1 代表了時域特征的最佳識別區分效果,融合結果2 代表了頻域特征最佳區分效果,融合結果3 是用于識別的所有特征的區分效果,對比后可以發現,頻域特征相對區分效果最差,而時域特征優于頻域特征,同時,再次融合可以進一步增加相關結果區分效果,使得最后的識別結果可以達到95.59%.圖12 所示為融合結果3 中前4 維特征對比圖,可以看出,多數的手勢都有了進一步的區分度.

Table 5 Recognition results of fused features in time domain and time-frequency domain (%)表5 時域和時頻域融合后特征分別的識別結果(%)

Fig.12 Visualization of the first four dimensional comparions of dimensional reduction features fused in time domain and time-frequency domain圖12 時域-時頻域融合降維特征前4 維對比的可視化

(2)分類器識別結果

使用SVM 算法與隨機森林算法(random forests,簡稱RF)分別進行分類器設計的對比,選擇融合結果3 作為輸入,表6 和表7 是最后的識別結果,表9 是實時手勢的識別結果.與Ploengpit[22]提出的“石頭剪刀布”系統相對比,同樣只采用EMG 信號進行判斷.我們使用握拳作為“石頭”,勝利作為“剪刀”,舒張作為“布”(三者動作相同)作為新的訓練集,采用本項目的方法進行訓練,對比可知,我們的方法的準確率有大幅度提升.并且,在分類8 種手勢時,我們的方法的準確率也高達95%以上,對于手勢類別進行了良好的擴充(見表8).

Table 6 SVM classifier recognition result表6 SVM 分類器識別結果

Table 7 RF classifier recognition result表7 RF 分類器識別結果

由表6 與表7 對比可知,SVM 算法與RF 算法對于EMG 信號分類識別均表現良好,能以較高準確率識別出相應動作,并且,Accuracy 達到了94%以上.其中,SVM 算法的分類準確率優于RF 算法.

基于以上結果,在Unity 3D 中使用SVM 算法實現實時手勢識別.由于時域信號已能基本區分不同手勢,時頻域信息的加入對于識別準確率效果的提升并不明顯,因此,選擇EMG 信號時域特征,將其融合降維后作為分類特征,實現了提線木偶動畫的實時操控,并對系統實時動作識別結果進行了統計,統計結果見表8.相比于靜態數據結果,實時系統的準確率稍有降低,準確率為90.75%.分析準確率降低的原因是:首先,在靜態數據獲取時,被試每組動作是相同的,可以較好地保持動作的一致性.而在實時系統中隨機表示手勢時,每類動作的一致性降低.其次,實時手勢表示時,外界干擾增強,被試可能受識別結果影響調整了動作幅度.

Table 8 Online recognition result (%)表8 實時識別結果(%)

Table 9 Recognition result compared with previous method (%)表9 識別結果對比(%)

相比原始SDK 提供的手勢識別,識別率提高了6.65%,并且在原來的基礎上擴充了手勢.原始SDK 和本項目對不同手勢的識別程度有較大差異.SDK 中識別率較高的舒張動作和外揮動作,是利用了陀螺儀和加速度計測量了外蘊運動信號,將速度與加速度信息與EMG 信號合成后進行手勢判斷.表10 給出了具體數據.

Table 10 Online recognition result compared with original SDK (%)表10 與原始SDK 實時識別結果對比(%)

3.2 普通用戶研究

我們采用用戶實驗來驗證算法在人群中的魯棒性以及測試基于算法實現的虛擬系統的可用性.通過對比算法在不同人群中的表現,獲得人群識別準確率;讓用戶對比真實提線木偶操控與虛擬系統操控,從而對比兩個系統的相似性,并獲得虛擬系統可用性.

用戶選擇:因為MYO 臂環檢測的是手臂上的肌肉電信號,所以選擇32 個年齡在20 歲左右(均值為20.34,方差為7.01)、右利手、雙目視覺正常、BMI 值正常(均為20.58,方差為2.55)的人群(其中,16 名男生,16 名女生,來自北京師范大學的學生志愿者)作為普通用戶的測試.對比項為真實提線木偶操縱和臂環操縱虛擬木偶兩者的成功率、訓練時間及用戶體驗.為了公平地檢測MYO 臂環和真實的提線木偶的體驗感受,我們將32 個人分為兩組,兩組人數和男女人數均相同,A 組先體驗臂環,B 組先體驗提線木偶.

實驗設計:所有人在操控提線木偶前都會被工作人員教授使用提線木偶的技巧,讓他們學會如何使用手部動作控制木偶,同時記錄下他們學習手勢的時間.然后進行測試,記錄能否使用教授的8 個動作成功地對木偶進行控制.所有人在使用臂環之前,首先會學習佩戴臂環的方法以及與木偶操作相對應的8 個手勢.然后進行識別訓練,同時記錄下學習和訓練的時間,再進行正式的操控虛擬木偶的測試.在進行測試時,會記錄下識別正確和錯誤的手勢個數以及臂環操控木偶動作的反應時間.測試的流程如圖13、圖14 所示.

Fig.13 The test procedure of Group A圖13 A 組測試流程

Fig.14 The test procedure of Group B圖14 B 組測試流程

木偶的測試是在工作人員提示動作順序的情況下,完成提線木偶——走、跑、跳、點頭、打招呼、跳馬一整套動作.臂環的測試是在確認能夠切分木偶的手勢動作后,在提示動作順序的情況下,完成雙擊(走)、握拳(打招呼)、舒張(點頭)、停留(跳)、內揮(跑)、外揮(跳馬)的一套動作.虛擬木偶的動作與真實提線木偶有細微的差別,但可視為近似相同的動作.通過在虛擬木偶中配備全息體驗環境,以最小化敘事環境對被試者的感受差異.

完成相關測試后,我們對用戶進行了量表分析.國際標準化組織在IOS 9241-11 條目中將人類工效學里的“可用性(usability)”定義為產品在多大程度上滿足了用戶在完成目標過程中的有效性(用戶使用系統完成任務的能力,以及這些任務的完成質量)、效率(執行任務所消耗的資源水平)以及滿意度(用戶對使用系統的主觀評價).在這一定義的基礎上,研究者們提出了許多理論模型來評價產品的可用性,并開發了相應的測量工具.技術接受模型是Davis[43]提出的理論框架,用于解釋和預測用戶對于信息技術和信息系統的接受程度.在此基礎上,研究者們將影響因素分為用戶因素和系統因素.用戶因素包括態度和情緒、自我效能感、滿意度、使用意愿等,系統因素包括有用性、易用性、易學性等[44-46].

(1)人群數據客觀結果分析

在普通用戶人群的調查中,我們獲得了用戶的實時動作準確率和用戶學習時間等客觀評價標準.基于臂環的用戶動作識別準確率如圖15 所示,其中,虛線表示16 個女性的準確率,而實線表示16 個男性的所有動作識別準曲率.從圖中可以看出,算法在人群中泛化性能較好,男性平均識別率為85.1%,女性平均識別率為81.7%,性別差異對結果影響不明顯,男性動作識別準確性略高于女性,男女性識別準確率在同一范圍內交錯;1～8 號男女性為A 組,9～16 號為B 組,兩組結果也無顯著差異,是否提前接觸真實提線木偶對結果影響也無顯著差異,見表11.由此,合并所有用戶的實驗結果,直接在真實提線木偶操控與虛擬系統操控中進行對比,整體而言,32 位被試者動作平均識別準確率超過83%,最差識別準確率超過66%.

由圖16 可以發現,同樣的人群中,佩戴臂進行虛擬操控的識別準確率為83.39%,而應用提線木偶在實體環境中進行操控的準確率為94.14%,兩者確實存在差距.但是,結合圖17 可知,木偶的學習時間近乎是臂環學習時間的兩倍,同時,學習木偶最差的成功率只有37.5%.說明,對于一些個體,沒有辦法掌握很精細的手部操作,而臂環系統控制的虛擬木偶普適性則很強.

Table 11 Comparions of results between men and women表11 男女性別分組對比

Fig.15 Comparions of recognition accuracy between gender groups圖15 兩組不同人群的EMG 信號手勢識別準確率

Fig.16 Comparions of recognition accuracy between two systems圖16 人群中對虛擬木偶與真實木偶的動作識別準確率

表12 給出了基數為32 的人群對于6 個基本動作的識別結果.從表中可以看出,內揮動作的可識別性最強,其召回率、精確度和F1 score3 值均為最佳;而舒張動作的可識別性最低,其召回率只有70%,并且F1 score 也低于72%,該動作易與停留動作發生混淆.但在備試人群中大部分動作都可以準確識別,文中方法泛化性較好.

Table 12 Online recognition results of 6 gestures in general people表12 6 個動作實時識別結果

Fig.17 Comparions of time consumption between systems圖17 系統學習時間對比

為了驗證系統的操控性,我們對實際系統和虛擬系統的時間進行了分析(如圖17 所示).對比真實木偶和臂環操控所需的學習時間,木偶操控的平均學習時間為5.75 分鐘,臂環動作平均學習時間為3.82 分鐘,可以發現,利用臂環所需學習時間比真實木偶操控的學習時間要短.由于存在個體動手能力差異性,一些個體木偶操控學習時間會超過10 分鐘,學習臂環動作則不存在學習時間超長問題.

(2)人群量表結果分析

采用量表對虛擬系統與真實提線木偶操控進行對比.實驗量表共有57 道題,其中,9 道題是用戶基本信息調查,用于分析不同特征人群中的差異,24 道題是臂環使用感受的量表,24 道題是操縱真實木偶感受的量表.每個操作木偶的量表包含7 個維度,其中,用戶因素包含4 個維度,系統因素包含3 個維度.用戶因素為:態度和情緒、自我效能感、滿意度、使用意愿.系統因素為:有用性、易用性、易學性.用戶因素的平均分加和作為用戶接受度的總分,系統因素的平均分加和作為系統可用性的總分.

對量表進行統計分析,整體內部一致性系數Cronbach'α為0.946,臂環組的內部一致性是0.906,木偶組是0.942,說明內部一致性信度和內容效度良好.對7 個維度及接受度、系統可用性兩個方面分別進行95%置信區間的相關樣本t檢驗,結果見表13.其中,使用意愿、易用性和易學性在兩組之間存在顯著差異,而且都是臂環組顯著高于木偶組,其他維度上兩組不存在顯著差異.也就是說,相比提線木偶,用戶更愿意在現在或將來使用臂環控制木偶,臂環控制木偶比提線木偶更加易用和易學.

Table 13 Statistical results of user experience表13 用戶體驗統計檢驗結果

我們進一步在用戶接受度和系統可用性兩大方面進行了對照組對比,結果見表14.

Table 14 Statistical results of different groups表14 對照組統計檢驗結果

A、B 組對照結果顯示,所有顯著性p值均大于0.05,無明顯差異.兩組間在真實木偶和虛擬木偶體驗與感受方面均相似,且均值及標準差都接近,因此,是否提前接觸提線木偶對結果并無影響.性別方面,男女性別差異對實驗結果也無影響.

為了便于直觀理解臂環系統和真實提線木偶的差異,我們繪制了圖18.

Fig.18 Comparison of the results of user scales between two systems圖18 兩個系統用戶量表結果的對比

從圖18(a)可以發現,A、B 兩組中臂環和木偶的接受度相近,實際其接受度顯著性p值為0.382,無顯著性差異.這表明,使用木偶和使用臂環的用戶感受相近,操控虛擬提線木偶和真實提線木偶體驗相似.同時,由圖18(b)可知,在系統可用性方面,不論是先體驗木偶還是先體驗臂環,用戶均認為臂環系統可用性高于木偶系統可用性,表明我們的系統優于真實木偶操控.

3.3 木偶愛好者用戶分析

我們同時還邀請了一個木偶愛好者來體驗我們的臂環,其本身對木偶就有很大的興趣,接觸提線木偶的時間超過100 小時.用戶BMI 值為19.50,右利手,雙目視覺0.8 以上.實驗設計上與普通用戶所不同的是,我們選擇了比較難的虛擬木偶動作以達到更加炫酷的效果,同時將手勢增加到8 個,讓虛擬木偶做出走、跑、跳、打招呼、點頭、轉圈、劈叉、飛這8 個動作.愛好者用戶先學習臂環的操作,然后進行測試.我們也記錄了愛好者的學習時間和識別率,填寫了臂環的量表,最后讓愛好者根據我們的虛擬木偶動作用真實的木偶做出動作.根據實驗結果我們發現,只需4 分鐘就能上手操控虛擬木偶,同時識別率達到87.5%.結合愛好者的問卷結果我們發現,其臂環用戶接受度和系統可用性都很高,同時愛好者對我們的臂環系統非常滿意,并寄予厚望,認為臂環操控虛擬木偶的結果和真實木偶不相上下.盡管手部的動作不盡相同,但是臂環系統更容易上手操作,更能夠引起人們的興趣,讓更多的人了解提線木偶文化,有利于它的傳播.

3.4 用戶研究結果討論

我們在進行用戶研究時,為了保證算法的泛化性,改進了采樣的精度.但是,由于臂環受佩戴位置和人體肌肉強度的差異影響,即使我們采取了歸一化、標準化等手段使其達到同一量綱,準確率相比于同一個人的實時結果仍有所降低.但與真實的木偶操控相比,臂環系統可以在較短的時間內,讓人們體驗到提線木偶的樂趣.

通過問卷答案和客觀量的統計,可以認為用戶對于操縱真實木偶和使用臂環操縱虛擬木偶的感受是相似的,但是用戶普遍認為臂環系統的有用性高于木偶操控.因此我們得出結論:對于普通沒有接觸過提線木偶的大眾來說,無論是先接觸木偶還是先接觸臂環,都認為臂環更易學易用,接受度和木偶也沒有明顯差別.同時利用臂環來感受木偶是很好的一種體驗,它不僅能夠帶來與真實木偶相似的體驗,還方便了用戶的操作.

同時,木偶愛好者也給予我們的臂環系統以很高的評價,認為臂環系統可以給人帶來與實體木偶類似的感受,并能很好地傳播木偶文化.我們相信發揮其方便易學的優點,能夠很好地激發用戶對于提線木偶的興趣,讓更多的人了解提線木偶文化,并可直接增強人們對木偶的接觸和了解意愿.

4 結 語

本文提出了一種基于EMG 信號的手勢驅動虛擬現實提線木偶動畫方案,并給出了整體算法流程.設計了基于人體內蘊EMG 信號為輸入的動畫運動方法,實現了單純依靠人體生理信號的虛擬現實運動控制.面向構建的動畫方案,我們以提線木偶為例實現了動畫原型系統.經過靜態實驗驗證了離線動作平均識別準確率為95.59%,實時動作平均識別準確率達90.75%,在1.1s 左右完成手勢識別.經過普通用戶調查實驗可知,用戶對傳統木偶與新型的基于EMG 信號手勢識別交互的木偶動畫接受度上無顯著差異,表明使用木偶和使用臂環的用戶感受相似,操控系統和現實提線木偶體驗相似.在系統可用性方面,不論是先體驗木偶還是先體驗臂環,用戶都認為臂環系統可用性高于木偶系統可用性,表明與真實木偶相比,本文系統操控性更強.專業用戶的調查實驗結果表明,由于具有背景知識,專業用戶對于臂環交互系統學習速度更快,識別率更高.同時,專業用戶認為臂環操控虛擬木偶和真實木偶不相上下,盡管手部的動作不盡相同,但是臂環系統更容易上手操作,更能夠引起人們的興趣.

但是作為通用的交互設備MYO 臂環每通道肌電信號所關聯的肌肉束非唯一也不穩定,且肌肉束之間的電信號會產生交叉影響,因此,僅依靠MYO 臂環獲得的肌電信號實現手指精細動作分類非常困難.這造成了我們設計的手勢與木偶操控的手指運動方式會存在一定差異.在前序已有的EMG 信號手勢識別有效性的基礎上,后續研究中將在硬件上專門設計開發適合于提線木偶動畫的肌電信號采集設備和處理系統,實現更為精細的手指運動手勢識別.