虛擬現實仿真培訓系統的人機交互設計

許育敏 嚴浩軍 張潔 黃俊惠

DOI：10.19392/j.cnki.16717341.201722009

摘要：虛擬現實（VR）技術已經廣泛應用于仿真培訓，本文針對仿真培訓的需求特點，結合當前VR技術的軟硬件功能，比較了基于頭戴式VR設備人機交互方式與傳統交互方式的不同，討論了全沉浸環境下人機互動設計方法，并以信息機房巡視仿真培訓為例介紹了互動設計方法的應用效果，以期為類似的全沉浸人機互動仿真培訓系統提供參考。

關鍵詞：虛擬現實；仿真培訓系統；人機交互

VR技術是一種使人沉浸于由計算機生成或以計算機為中介的可交互虛擬環境中的顯示和控制技術，其特點是沉浸感、交互性和想象性。這些特點使其非常適合應用于復雜和危險工作環境下的仿真培訓中。HMD出現后帶來了全新的沉浸體驗和交互方式，因此有必要深入研究新型交互方式的優缺點和適用場景。

1 VR人機交互技術概況

VR概念最早在上世紀50年代就出現，在1990后才被廣泛認識和應用，其中在19902000年間進入第一次應用高潮。這個期間出現了模擬仿真、教育培訓、娛樂、電視游戲、建筑設計等領域等應用。這個時期PC的性能已經能夠支持簡單場景的實時模擬，顯示方式以屏幕或投影為主，輸入的方式以鼠標、手柄、搖桿為主。在拼幕或CAVE系統中，用戶通過按鍵手柄、數據手套或者定制的操作控制臺等作為輸入設備，與虛擬場景進行實時互動。而外骨骼數據手套，除了具備定位數據手套的功能外，還通過外骨骼實現一定的力反饋功能。

2 VR人機交互方式對比

2.1 物理交互

傳統的VR系統，顯示方式無論是電腦屏幕、拼幕還是CAVE，本質上都是將VR場景顯示在屏幕上，再通過鼠標、鍵盤或者手持設備實現輸入與互動，我們統稱這樣的系統為屏幕顯示VR系統。用戶并沒有與現實環境完全隔離，還可以看到現實中的鼠標、輸入手柄、數據手套、控制臺等輸入設備。這種交互方式的特點是輸入精確，但是沉浸感差，無法實時空間定位。部分近期的VR系統還嘗試使用手勢作為互動方式，實現隔空操作的效果，但是只能支持少量預定義手勢。

HMD VR系統與屏幕顯示VR系統比較而言，沉浸感強、體積小，可以實時空間定位，立體聲源控制相對簡單，只需要在虛擬場景中重構聲源即可，無須考慮實際物理設備的布置。但是由于HMD使用戶視覺完全被虛擬場景包圍，與物理環境隔離，傳統的按鍵手柄交互十分不自然，物理控制臺更是無法使用。取而代之的是具有定位功能的手柄、數據手套或手勢。通過將具有定位功能的手柄轉換成任意的虛擬物件，用戶就可以在虛擬場景中使用這些工具與虛擬場景互動。定位數據手套可以獲得手的位置和各個手指的動作，從而可以在虛擬場景中重構用戶的“手”，用戶通過虛擬的手與虛擬場景進行互動。這比通過按鍵手柄的互動要自然的多。

2.2 虛擬交互

硬件設備主要解決信息輸入的問題，與虛擬物體互動方面，一般可以分為選擇、操作或控制三種或三種的混合。對于屏幕顯示VR系統而言，與虛擬物體的交互模式比較簡單而且易于理解。對于HMD VR系統而言，由于沒有了物理按鍵，則需要在虛擬場景總構造激光筆、代理物件或手勢，通過碰撞體觸碰點選、視角注視等方式選中要互動的物體，操作可以直接用代理物件。

在仿真系統中，還有一個經常使用的交互方式，菜單和導航。在屏幕顯示VR系統中，菜單和導航信息都顯示在平面上，用戶已經形成了固定交互定式。但是在HMD VR系統中，由于用戶完全沉浸在虛擬世界中，憑空出現的菜單和導航地圖就顯得很怪異，而且容易出現被遮擋的情況。因此，HMD VR通常會使用基于虛擬物體的菜單，即完全模擬現實世界的交互界面的形式實現菜單展示與選擇。同時在導航方面，屏幕導航地圖也不再是最優選擇，而是應該使用路徑指示或方向引導的形式。

3 檢修仿真培訓系統的交互設計

在實際生產中，VR仿真培訓系統應用最多的場景就是檢修仿真培訓。如變電設備檢修、信息機房巡視等。這類應用主要的功能是場地漫游、檢查設備，尋找缺陷，記錄工作，修復處理等。信息機房巡視涉及眾多設備和內容，而且需要按照一定的巡視路線進行。因此，我們以此為例討論它的人機交互設計特點。

3.1 人機物理交互設計

基于HMD的VR信息機房巡視仿真培訓系統，學員戴上VR眼鏡后就“進入”了實訓現場，在虛擬培訓指導員的指導下或者獨立操作，不再是通過鼠標鍵盤，而是手握VR互動手柄，學員看到的是各種手柄代理工器具，如萬用表、測溫槍等，通過視場和手柄的實時定位與同步，實現手握工器具動作反映到虛擬場景中，進行各種各樣的消缺操作。HMD和手柄都是通過無線信號與定位基站通信，避免發生絆倒等意外。

3.2 系統交互設計

培訓模式以第一人稱視角進入現象，系統通過地面指示引導受訓人員按照標準巡視規程發現缺陷并正確處理。學員在這個模式下可以在任意角度觀摩，聽取語音指導，使用VR手柄發射虛擬激光進行選擇，激光停留在某個互動物體上時會有震動反饋，使用手柄的其他物理按鍵執行確認、暫停、回放、慢動作、局部放大等操作，同時將菜單附著在具體的互動物體上，方便用戶互動。這種方式注重視覺交互和方便的“播放”操作。根據信息機房巡視的特點，分為門禁巡視、消防巡視、通信設備巡視和機房環境巡視、空調、照明、UPS電源、工器具巡視若干子項。每個子項將作業指導書的要求作為VR仿真互動內容。如引導學員發現門禁的缺少小動物擋板的缺陷，核對工器具清單等。

4 結語

與傳統的仿真培訓系統相比，基于HMD 的VR仿真培訓系統為培訓者提供了身臨其境的真實感，人機互動也更加自然和符合實際，顯著縮短培訓時間和提升培訓效果。由于VR仿真培訓系統可以全程記錄學員學習過程和訓練反饋，結合技能薄弱點分析能夠實現更靈活的因材施教。同時，該技術也可以用于輸變電檢修、營銷客服服務等注重場景實操的專業培訓中。

參考文獻：

[1]陳天翼，邱家駒，邱淘西.電力系統虛擬現實場景開發研究[J].電力系統及其自動化學報，2000，12（5）：710.

[2]王彥，尹福榮，李紅軍，張志生.220kV景洪變電站三維仿真系統的應用研究[A].2010年云南電力技術論壇論文集（優秀論文部分）[C].2010.