淺談基于虛擬現實體感交互技術的軍事模擬訓練應用

◆石慧煊 周耘芃

?

淺談基于虛擬現實體感交互技術的軍事模擬訓練應用

◆石慧煊 周耘芃

（中國電子科技集團公司第二十八研究所共性產品中心 江蘇 210007）

本文研究了虛擬現實體感交互技術現狀，分析市場主流體感設備產品特性及技術特點；探討了虛擬現實體感交互技術在軍事模擬訓練中的應用，主要涉及訓練仿真、數據融合、以及數據評估分析等方面，該研究為發展基于虛擬現實體感交互技術的軍事模擬訓練提供參考。

虛擬現實；體感交互；軍事模擬訓練

0 引言

體感交互設備是虛擬現實技術的重要組成部分，為虛擬現實在各應用領域的發展提供了技術支撐。從紅外成像動作捕捉設備在影視娛樂領域帶來的虛擬角色構建技術革命，到頭戴式顯示設備掀起的虛擬現實熱潮，體感交互設備始終扮演著推動虛擬現實技術不斷革新的角色。

虛擬現實軍事模擬訓練系統是以虛擬現實技術為核心的新一代模擬訓練系統，在繼承傳統計算機模擬訓練系統的基礎上，強調受訓人員以第一人稱高度沉浸在模擬環境中。在虛擬現實軍事模擬訓練中，模擬訓練系統的仿真度與沉浸感是影響系統訓練效果的重要因素。僅通過單一的體感設備提供單一視覺、聽覺、或觸覺感知反饋難以滿足虛擬現實軍事模擬訓練對虛擬場景仿真度與沉浸感的要求，必須嘗試針對訓練科目，將多種體感設備整合，為用戶提供綜合的沉浸式感知反饋。通過多種感知反饋的綜合作用，進一步提升虛擬現實軍事模擬訓練的沉浸感，從而提升模擬訓練的效果。

本論文結合中國電子科技集團公司第二十八研究所多年以來在軍工技術及虛擬現實技術領域的研究成果，闡述了體感交互設備的技術現狀，研究了目前市場主流體感交互設備的產品特性、技術特點、以及在虛擬現實軍事模擬訓練中的應用，提出了通過整合多種體感交互設備實現具有更高訓練效果和沉浸感的虛擬現實模擬訓練構想。

1 體感交互設備概況

1.1 虛擬現實頭盔

虛擬現實頭盔以全封閉頭盔的形式，利用陀螺儀等傳感器采集用戶頭部姿態數據，采用實時計算的虛擬視覺信號替代真實世界影像，欺騙用戶的視覺感知系統，使用戶產生身處虛擬環境的錯覺[1]。

1.2 空間定位與動作捕捉

常用空間定位技術大致可分為七類：紅外光學定位、藍牙定位、UWB定位、WiFi定位、電磁定位、傳統激光定位、及大空間激光定位，七類定位技術對比如表1所示：

表1 七種空間定位技術對比

定位精度定位范圍問題設備費用 紅外光學毫米級支持大空間遮擋問題昂貴 藍牙米級小范圍信號干擾中等 UWB厘米級小范圍超聲波衰減中等 WiFi米級小范圍信號干擾低 電磁米級小范圍延遲高、信號干擾中等 傳統激光毫米級小范圍遮擋問題低 大空間激光毫米級支持大空間無低

（1）紅外光學定位

紅外光學動作捕捉系統是基于具有高度反光特性的標記點反射特定波長的紅外光的原理，反射光被數個安裝在不同位置的高頻紅外攝像機捕捉成像，再經過圖像處理算法對各個攝像機生成的二維圖像進行三維重建，計算出各個標記點在三維空間中的位置。此種動作捕捉技術的特點是定位精度高，系統延時低。

（2）藍牙定位

藍牙空間定位技術主要利用信號強度信息RSSI實現室內高精度定位。基于RSSI指紋標定的定位方法定位精度不佳，且需要耗費大量人力采集標定數據，限制了該方法的推廣應用。其缺點為定位精度不佳，對設備要求高，耗費大量人力時間，使用繁瑣。

（3）UWB定位

UWB定位采用時間間隔極短的脈沖進行通信的方式實現定位，由于超聲波在空氣中的衰減較大，該技術智能適用于較小范圍，測量的精度也僅為厘米級，無法用于大范圍定位。

（4）WiFi定位

WiFi定位主要基于WiFi基站和帶有WiFi模塊的手機或者PDA等終端設備。定位精度差，誤差為米級，且較易受到干擾，需要經常更新。

（5）電磁定位

電磁定位技術通過計算磁場強度的方法來得到位置與姿態信息。該技術的缺點為延遲較高，定位精度差，且較易受到干擾。

（6）傳統激光定位

傳統激光空間定位技術是使用一對以時分復用形式發射紅外光的定位基站，光敏傳感器通過被激活的時間測量出相對于基站的角度，結合多個傳感器的測量結果就可以計算出自身的空間位置和運動軌跡。同時該系統也存在光敏傳感器因遮擋而無法定位的問題。

（7）大空間激光定位

通過激光信息編碼技術，在掃描激光中加入定位基站的身份標識信息，從而將多個定位基站整合到系統中，使得定位空間能夠隨著定位基站的增加而擴大，理論上可擴大至上千平米[2]。

1.3 慣性傳感器動作捕捉

基于慣性傳感器的動作捕捉系統，依靠固定于身體關鍵肢體部位的慣性傳感器，測量肢體的姿態角度及加速度等信息，由此計算出每個肢體的空間位置。由于通過每個傳感器測量得到的都是相對數據，當從身體根節點向下計算每個節點的絕對位置時，這些測量誤差就會逐級傳遞下去并不斷被放大[3]。

1.4 語音識別

語音識別技術主要使用深度神經網絡配合隱馬爾科模型的框架，由深度神經網絡提供特征輸入，再由隱馬爾科模型對語音的時序進行建模[4]。深度神經網絡的特征提取經歷了從前饋型深度神經網絡，到循環神經網絡，再到卷積神經網絡的三次技術改進。前饋型深度神經網絡使得在提取語音特征時，可以直接處理連續的拼接語音幀。隨后，具有更強長時建模能力的循環神經網絡替代前饋型深度神經網絡成為了語音識別技術的主流。卷積神經網絡也被嘗試用于進行語音識別，只要輸入的語音足夠長，并具有良好的上下文相關性，使用卷積神經網絡同樣可以對語音的長時相關性進行建模。

1.5 半實物仿真裝備

半實物仿真裝備通過在外形、重量、材質、后坐力、操作方式等方面對真實裝備進行仿真，高度還原裝備使用環境及操作流程。

單兵武器裝備如槍械、肩扛式發射器等的半實物仿真設備可以對裝備的外形、材質、重量、后坐力、操作方式等特性進行較為精準的仿真，還可以將扳機、按鈕等操作轉換為電子信號發送至計算機進行數據匯總處理，作為虛擬現實軍事模擬訓練的數據輸入，在虛擬場景中模擬彈藥發射。大型裝備的半實物仿真設備可以對操作臺、駕駛艙等操作環境進行仿真，再現真實操作環境中的按鈕、拉桿、方向盤、腳踏板、指示燈等裝置。

2 體感交互設備的數據融合

2.1 光慣結合動作捕捉

通過結合激光空間定位技術與慣性傳感器技術，融合室內空間定位數據與受訓者關鍵骨骼部位運動數據，對受訓者進行虛擬姿態重建，從而完成對虛擬場景中虛擬角色的動作同步與行為驅動。以虛實結合的方式，提高虛擬現實模擬訓練的沉浸感。

基于激光掃描空間定位技術的精準室內空間定位，與慣性傳感器（IMU）技術相結合，利用多傳感器深度融合算法對采集的數據進行處理、融合和姿態重建，并與虛擬現實系統對接，實現動作姿態數據與人員實時位置數據的無縫平滑融合，從而完成對虛擬場景中虛擬角色的動作同步與行為驅動。以虛實結合的方式，在訓練場景中，深化角色的真實感，提高受訓者的操作沉浸感。

2.2 動作捕捉系統與眼動儀的數據融合

將空間定位技術與眼動儀結合，通過坐標系變換，將用戶視線方向從眼動儀坐標系轉換至空間定位系統的坐標系中，將眼動數據與空間定位數據融合，可以獲取用戶在移動過程中的視線方向，并可通過計算得到視線與場景物體的交點位置。

在進行數據融合時，會存在空間及時間上的偏差。采用位數更多的數據類型存儲運算中間結果，可以在一定程度上減少因數據精度不足產生的計算誤差。通過盡可能精確地測量空間定位系統以及眼動儀的數據延時，可以更精確地在時間上匹配兩種數據，減少數據融合時產生的時間偏差。

3 體感交互設備在模擬訓練中的應用

3.1 模擬訓練仿真

（1）戰場空間仿真

使用高精度模型與高解析度貼圖，通過性能強大的計算機對場景進行高幀率實時渲染，產生可以用于虛擬現實軍事模擬訓練的戰場場景。聲音應該使用實時計算的三維聲音，受訓人員佩戴虛擬現實頭盔和耳機即可感受到臨場感十足的視覺與聽覺感知反饋。

結合空間定位系統對虛擬現實頭盔進行空間定位，從而允許受訓人員在空間中不借助手柄或按鈕進行自由移動，受訓人員以這種方式進行移動不容易產生眩暈感。

（2）戰術動作仿真

受訓者在虛擬現實軍事模擬訓練中使用自然動作驅動訓練流程能夠獲得更好的訓練沉浸感。將采集到的動作數據進行實時處理，并用于驅動虛擬場景中的虛擬角色，使虛擬角色的動作與受訓者的真實動作保持一致[5]。

基于激光的動作捕捉系統主要特點是動作捕捉的精準度較高，一般都可以將誤差控制在1毫米以內。基于慣性傳感器的動作捕捉系統不存在遮擋問題，并且成本相對較低。

（3）武器裝備操作仿真

虛擬現實軍事模擬訓練中，各類武器裝備的操作是較為重要的訓練環節，其中包括輕武器射擊、交通工具駕駛、大型設備操作等。

目前的虛擬現實技術不足以提供復雜、真實的觸覺感知反饋。為繞過這一問題，通常根據訓練科目，使用如輕武器、肩扛式發射器以及駕駛艙等高度定制的半實物仿真武器裝備輔助訓練。受訓者借助半實物仿真設備可以完全還原真實武器裝備的操作使用流程與關鍵動作，在開始真實武器裝備訓練之前獲得一定裝備使用經驗。

（4）作戰指令仿真

在虛擬現實軍事模擬訓練中，通過對語音及手勢進行識別，可以分別對上述兩種下達作戰指令的方式進行模擬仿真。

通過語音識別可以獲取受訓者說出的指令關鍵詞，并將其轉換為虛擬場景中對虛擬士兵下達的作戰指令。采用命令詞識別的形式事先定義好一組作戰指令命令詞以及相應的句式規則，在進行語音識別時只需要將用戶的輸入與定義好的命令詞及句式規則進行匹配，可以有效提升識別準確率。數據手套可以對受訓者的手部動作進行精細化采集。通過手勢識別算法對采集到的手部運動數據進行處理，識別出用戶的手勢動作，最后將手勢動作映射到模擬訓練中的不同作戰指令。

3.2 模擬訓練評估分析

（1）模擬訓練數據采集

根據數據產生的來源可將數據分為系統模擬數據和真實體感數據兩大類，前者采集模擬訓練系統中虛擬兵力、裝備、火力、戰損等模擬數據；后者采集實際在環受訓人員的真實體感數據，包括手勢、動作、姿態等，為訓練評估提供數據支撐。通過體感交互設備上的傳感器和虛擬場景中的同步視頻跟蹤攝像機，自動采集模擬訓練推演過程中紅藍雙方隊員的部署位置、裝備使用、彈藥消耗、傷亡狀態和在場指揮訓練人員的真實口令、動作等實時數據。

（2）體感數據的評估分析

將虛擬現實模擬訓練過程中采集的數據作為機器學習算法的輸入，采用線性模型與神經網絡等結構訓練生成評估模型。線性模型是機器學習中較為基礎的模型，已有相對成熟的理論基礎，模型訓練及參數調整難度較低，適用于簡單評估指標的預測計算。神經網絡目前被大量用于深度學習、強化學習等技術，可以生成非線性的高復雜度模型，適合評估難以通過簡單變量概括的抽象評估指標的計算。

4 結束語

虛擬現實體感交互技術的不斷發展，使得軍事模擬訓練能夠越來越多地融入虛擬現實要素，大幅度提升軍事模擬訓練的沉浸感與仿真程度，從而提高訓練效果。

靈活選擇體感交互設備，充分發揮不同體感交互技術的優勢，彌補各自的劣勢，使虛擬現實軍事模擬訓練真正做到安全、有效、低消耗、可重復。

[1]曹煊. 虛擬現實的技術瓶頸[J]. 科技導報, 2016.

[2]李禾. 郭成：下一代計算平臺不想再錯過[J]. 創新時代, 2015.

[3]汪俊, 許勝強, 程楠, 等. 基于多傳感器的運動姿態測量算法[J]. 計算機系統應用, 2015.

[4]唐貴堯, 萬鑫. 語音識別技術的研究及基本實現[J]. 電子技術與軟件工程, 2015.

[5]王君, 王黎. 模擬對抗訓練系統及虛實兵力結合技術[J]. 指揮信息系統與技術, 2014.