基于VR設備中IMU的無手交互方法研究

張雁鵬,陳世均,高建勇

(蘇州熱工研究院有限公司 設備管理部，廣東 深圳 518028 )

0 引言

虛擬現實(VR,virtual reality)設備是一種頭戴式設備，允許用戶通過顯示立體視覺圖像與三維虛擬現實環境進行交互。該設備可以分析用戶的頭部狀態，并在虛擬現實世界中調整虛擬攝像機的位置，以增強沉浸感。隨著VR技術的發展，基于這項技術的教育和培訓越來越流行[1-7]。

使用虛擬現實進行教育和培訓可以與使用二維計算機輔助教學模擬相媲美。在每一個層次的教育中，VR都有發揮作用的潛力，引導學習者獲得新發現，激勵、激發學習熱情。學習者可以在學習環境中獲得一種存在感、一種融入環境的感覺。在教育和培訓中使用VR的優勢可以總結為：

1) 沉浸式虛擬現實提供第一人稱非象征體驗，可以專門設計適應于幫助某個學生的學習材料；

2) 這些體驗在常規教育中無法獲得。

3) 這種體驗構成了我們與外界日常互動的大部分，盡管學校更提倡第三人稱的象征體驗。

4)知識建構理論與虛擬現實技術的融合，使得學習能夠通過虛擬世界中物體相對大小的操縱，通過傳遞其他不易察覺的信息源，以及通過具體化迄今為止無法表達的抽象概念來促進。

采用外部視覺跟蹤設備對頭部進行姿態測量和運動感知[8-9]，雖然具有很高的精度，但是無形之中增加了教學成本和場地使用的局限性。此外，還需要兩種系統間的通信，難免會存在時間上的延遲。將低成本慣性測量單元(IMU，inertial measurement unit)與VR設備進行剛性連接，然后對人體頭部姿態和運動狀態進行測量的方式[10-11]，可以充分利用IMU中嵌入的加速度計、陀螺儀以及磁強計等傳感器對姿態和運動信息進行感知，保證了可靠的精度，降低了成本，同時降低了設備使用的局限性，提高了使用的獨立性。

在VR設備與用戶的交互設計中，最流行的當屬體感游戲的設計。在基于VR的體感射擊游戲中，文獻[12]中使用原地踏步走(WIP，walking-in-place)來模擬前進運動，這種方式的優點在于可以解放使用者的雙手，正如文章標題中所示的“無手交互”，達到更加逼近真實體驗的效果。大多數使用WIP方式交互的VR設備使用硬件(例如跑步機)進行步行運動識別[13-14]。近年來，僅使用移動VR設備中IMU的研究越來越多[15-18]。因此，可以借鑒VR體感射擊游戲中WIP技術的應用，輕松實現教育培訓中遇到的動態人機交互問題。

針對VR設備與使用者的動態交互問題，本文提出了將姿態感知與步態識別相結合的交互方法，來實現虛擬的靠近和躲避。首先，設計了基于間接擴展卡爾曼濾波器的姿態感知算法用于感知頭部的姿態，該方法采用多傳感器融合的方法，利用比力和地磁信息對姿態角誤差進行外部觀測，進而通過卡爾曼濾波器得到姿態誤差角的最優估計量，最后對原始姿態進行補償，實現了高的姿態測量精度；其次，由于原地踏步走時人體重心會有起伏，通過固定滑窗計算比力的峰值，并根據峰值大小和相鄰峰值時間間隔進行靜止和行走狀態的識別；最終，將計算出的航向角和固定步長代入三角函數公式計算出虛擬運動的軌跡，模擬實現了前進與躲避障礙物。

1 姿態感知算法

圖1 測姿算法整體框圖

1.1 擴展卡爾曼濾波器設計

EKF作為標準卡爾曼濾波器在非線性情況下的推廣，其設計的關鍵在于狀態方程(時間更新)和測量方程(測量更新)的推導。該濾波方法利用泰勒級數展開對非線性狀態方程和非線性測量方程進行線性化，所以從本質上講它也是一種線性卡爾曼濾波的方法，具體詳見文獻[20]。在本文中，我們使用它的間接形式，即先估計出系統狀態的最優誤差量，然后再對系統狀態進行補償。

1.1.1 系統誤差狀態模型

因為需要對姿態進行計算，所以我們設定系統狀態向量xk包含3-D姿態角φk和陀螺儀零位偏移bω,k，因此有：

(1)

其中:姿態角φk可以通過四元數計算得到。那么，姿態角φ(包含俯仰角θ、滾轉角γ、偏航角ψ)可以表示為：

(2)

其中:q0q1q2q3表示四元數矢量的4個元素。四元數可以表示為q=q0+q1i+q2j+q3k，其中q0表示四元數的實部或標量部分，而q1i+q2j+q3k表示虛部或矢量部分。

下一時刻的旋轉四元數可以通過四元數更新方程[19]求得：

(3)

如果只考慮陀螺儀零偏誤差bω,k，角速度真值ωk可由陀螺儀實際測量信號yk得到：

(4)

(5)

緊接著，利用EKF的間接形式，我們可以引入姿態測量系統狀態向量xk的誤差量δxk，最終對系統狀態xk進行補償。因此，系統的誤差狀態向量將包含6維元素，即:

δxk=[δφk,δbω,k]T

(6)

其中:δbω,k表示陀螺儀零位偏移誤差，δφk表示姿態誤差角。

根據文獻[20]所述，要設計擴展卡爾曼濾波器的狀態方程，首先寫出誤差狀態量的微分方程，然后再將其離散化。那么，連續誤差狀態方程可以描述為：

(7)

那么，離散化后的誤差狀態方程為：

(8)

將離散狀態轉移矩陣Φk進行一階泰勒級數展開(相當于將非線性模型線性化)，保留一階項，那么有:

Φk=exp(Fc,kΔt)≈I6×6+Fc,kΔt

(9)

其中:Δt表示IMU的采樣間隔。

1.1.2 系統誤差測量模型

系統誤差測量模型可以表示為：

zk=Hδxk+nk

(10)

其中:zk為誤差測量向量；H為測量轉移矩陣；nk為測量噪聲的協方差矩陣。

假定人體運動的加速度遠小于重力加速度，通過比力fk可以求得俯仰角和滾轉角，那么有:

(11)

(12)

式中，n系下IMU的滾轉角γk和俯仰角θk可以通過公式(11)求得。

由于地磁北極與地理北極不完全一致，定義地球表面任意點的地磁場強度矢量所在的垂直平面(地磁子午面)與地理子午面的夾角為地磁偏角(D)，不同地區對應有不同的磁偏角。因此地磁航向角可以表示為：

(13)

濾波器更新方程為：

(14)

2 步態感知算法

我們利用比力模值來進行靜止和行走行為的識別。比力模值的計算公式為：

(15)

其中:f表示比力矢量(比力表示加速度計測量到的包含重力加速度的加速度)，fx，fy，fz分別表示3個軸向的比力分量。

對計算所得的比力模值信號進行均值濾波，從而對信號進行平滑，減小運動時振動的影響。選取長度為N的滑窗，計算窗口中的最大值。當該最大值與重力加速度的絕對值小于某個范圍時，則認為當前時間段內為靜止狀態；當大于這個范圍且相鄰兩個滿足條件的峰值的時間間隔大于某個時間時，則認為當前時間段內為行走狀態，且在當前峰值狀態時可以用來進行位置的更新。用公式可以表示為：

(16)

圖2 靜止和行走識別結果

3 虛擬軌跡計算

在計算虛擬路徑時，僅在檢測到比力模值峰值時，對位置進行更新。通過文中第二節提出的方法，可以判斷出不同峰值時人體所處的運動狀態。針對不同運動狀態對應不同的位置更新公式，如下：

(17)

其中:P表示2D位置矢量；SL表示給定的步長，在本文中采用固定步長；t表示峰值所在的時間點。該公式可以解釋為：當靜止狀態(still)時，說明人體沒有移動，保持與上一峰值時相同的位置；當行走狀態(walk)時，利用步長和航向角，根據三角函數關系計算出該時刻的位置。

4 實驗結果與分析

為了驗證本文提出算法的有效性，本文設計了多姿態運動實驗和模擬交互實驗。多姿態運動實驗包括蛇形、俯仰、晃動、轉圈和倒退5種姿態進行運動實驗。模擬交互實驗包括模擬直線行走和模擬在直線行走過程中躲避障礙物兩種實驗。使用的IMU是SBG公司生產的IG-500N，包含三軸加速度計、三軸陀螺儀和三軸磁強計。其中，加速度計的量程為±5 g，零偏穩定性為±4 mg；陀螺儀的量程為±300°，零偏穩定性為±0.1°/s；磁強計量程為±1.2 Gauss，零偏穩定性為±0.5 mGauss。

4.1 多姿態運動實驗

多姿態運動實驗的測試地點為室內直線走廊。該實驗的具體過程為：測試者將IMU佩戴在頭部的額頭位置，依次按照蛇形(原地從左轉到右再轉到左來模擬蛇形運動)、俯仰(頭部先向前傾，進而向后仰)、晃動(左右晃動頭部)、轉圈(原地轉圈)和倒退(原地身體邊后傾邊原地踏步來模擬倒退運動)5種姿態進行原地運動。將IMU內部集成的商業姿態感知算法實時輸出的姿態角和本文提出的姿態感知算法解算出的姿態角畫在同一坐標系中進行對比，如圖3所示。圖中，深色線表示本文算法解算出的姿態角；淺色線表示IMU直接輸出的姿態角。可以看出，兩條線基本重合。

圖3 多姿態運動解算結果對比

4.2 模擬交互實驗

為了檢驗提出的交互方法的有效性，模擬交互實驗包含模擬直線行走和模擬在直線行走過程中躲避障礙物兩種實驗。IMU的安裝位置為額頭處。具體的實驗過程為：(1)測試者佩戴IMU面朝一個方向不斷原地踏步來模擬在現實世界中的直線行走，本文提出的系統計算出的路徑如圖4所示；(2)測試者面朝一個方向通過原地踏步走模擬直線行走，同時不同改變朝向來模擬躲避前方障礙物，然后恢復與起始朝向相同的方向向來實現沿原軌跡繼續直線行走，所提系統的計算結果如圖5所示。

圖4 模擬直線行走實驗結果

圖5 模擬避障實驗結果

4.3 結果分析

如圖3中結果顯示，在多種運動狀態下，本文提出姿態算法可以精確的計算出相應的姿態信息，同時本文所提算法與IMU自帶的商業解算程序計算的結果基本重合，通過計算得出與商用慣性測量單元提供的姿態角具有1.1×10-2°的平均姿態偏差，從而最終證明本文提出的姿態感知算法的有效性，可以精確有效的解算出人體頭部的真實姿態。

從模擬交互實驗中兩組實驗的結果(如圖4～5所示)可以看出，本文提出的交互方法能夠很好的模擬實現人體的前進和在前進的過程中躲避前方的障礙物。將本文所提算法部署到VR設備中，能夠有效的幫助使用者在體驗VR的同時，實現與VR視頻中對象的靠近與躲避，從而實現人與設備之間的交互，達到身臨其境的沉浸式效果。

但是該算法也有不足的地方，在未來的工作中，期望能夠加入更多的交互動作，比如說后退或者側行，來進一步豐富體驗者與VR設備間的交互方式。

5 結束語

針對VR設備與使用者的動態交互問題，本文提出了姿態感知與步態識別相結合的交互方法，實現了靠近或躲避VR視頻中的對象。實驗證明，提出的姿態感知算法可以有效的計算出使用者頭部的姿態，且具有較高的解算精度，與商用慣性測量單元提供的姿態角基準相比具有1.1×10-2的平均姿態角偏差；提出的步態識別算法可以有效的識別出人體的靜止與行走狀態；所提出的兩者結合的交互方法，可以有效的實現虛擬的靠近與躲避。在未來的工作中，期望能夠加入更多的交互動作，比如說后退或者側行。