基于VR 技術的礦山救援小隊在線協同訓練系統設計及實現

孫云川 ，劉 雄 ，唐 聃 ，蔣旭剛 ，魏 曉

（中煤科工集團重慶研究院有限公司，重慶 400037）

作為處理礦山災變事故的重要組織，礦山救援隊能否發揮積極有效的作用取決于平時的訓練效果。目前，指戰員的訓練主要包括基礎業務學習和實戰訓練2 部分[1]。其中基礎業務主要是思想政治、心理素質、體能、裝備管理以及一般技術操作等方面的學習，提升個人的技戰術水平。實戰訓練則是以救援小隊的形式，模擬實際的災變環境，鍛煉每位指戰員的綜合實戰執行能力和協同作戰能力。

目前構建演習巷道的實戰訓練方式，普遍存在動態災變環境的模擬程度不高、場景固定、

演練成本高、考核難度大、存在安全隱患等問題。隨著計算機技術的發展，利用虛擬現實（VR）技術進行災變環境模擬，進行相關業務的模擬訓練，是一種新型的培訓模式。劉雄等[2-3]、侯建明等[4]基于虛擬現實技術開發了礦山救援醫療急救培訓系統，通過在復雜環境中對復雜傷情進行傷口包扎、骨折固定、止血方法、心肺復蘇等訓練，提高救護隊員的現場急救能力；劉曉丹等[5]、張慧等[6]利用套接字技術實現多人在線交互演練，進行多行業協同的城市運行安全突發事件應急演練；鄢陽等[7]、王亮等[8]、王輝東等[9]、蘇雷濤等[10]、陳益等[11]在電力行業應用VR 技術，如電纜接頭的理論學習、電纜接頭制作、故障檢修等培訓，降低了風險，提高了作業人員動作標準化程度；戴紅芬等[12]、王進嘉等[13]開發了心血管介入仿真模擬系統，模擬導絲介入手術，具有較好的仿真模擬效果；劉廣文[14]、牛坤等[15]基于VR 技術進行機車駕駛模擬演練研究，使培訓人員在三維仿真的駕駛環境下進行反復的學習演練，熟悉機車操縱流程和檢查標準化作業。

為此，設計了基于VR 技術的礦山救援小隊在線協同訓練系統，利用虛擬現實技術呈現高級視覺環境，模擬實際場地所不能模擬的救災場景，使得救援小隊在零風險情況下根據自己的角色分工及災害類型選擇合適的救援裝備，進行標注礦圖、偵察災區、搶救遇險遇難人員、處置災害等救援任務，同時系統將進行智能考核評價，查找不足和問題所在，更好地提高指戰員的綜合實戰執行能力和協同作戰能力。

1 系統總體設計

1.1 系統架構

礦山救援小隊在線協同訓練系統架構設計圖如圖1。整個系統架構由用戶層、表現層、業務邏輯層以及數據訪問層組成。

圖1 礦山救援小隊在線協同訓練系統架構設計圖Fig.1 Architecture design of online collaborative training system for mine rescue team

用戶層主要是根據訓練隊員、指揮員、裁判員、管理員和觀眾5 種用戶角色設計，根據不同角色功能需求，選用合適的硬件設備，保證良好交互體驗效果；表現層主要是針對特定用戶采取的硬件設備，根據需要滿足的功能，設計良好的交互管理界面及展示場景，其中包括三維實時渲染界面、二維窗口功能界面等，該層將軟件進行可視化，相當于整個系統的門戶；業務邏輯層主要是程序數據分析和腳本控制等模塊構成，主要表現界面按鈕的邏輯關系，實現數據的同步傳輸、調用、運算等功能；數據訪問層主要由相關的相關資源庫構成，通過存儲相關場景模型、考題、評分規則和日志等資源，供業務邏輯層進行調用，是整個軟件的基礎。

1.2 系統內容

系統訓練內容將嚴格按照礦山救援比武標準設計，以實際救援流程為藍本，涵蓋領取任務、站前檢查、建立井下基地、災區偵查、醫療急救和災害處置等內容。整個內容設計上既保證了整體流程的一致性，同時又根據災害場景變化，將井下訓練內容進行隨機搭配，從而保證訓練內容的多變性，實現“變”與“不變”的有機統一。具體為：

1）領取任務和裝備。①領取任務：考核要點為語音口述傳達任務及相關注意事項；②領取裝備：考核要點為根據災害類別，領取相應的裝備。

2）站前檢查。氧氣呼吸器自檢、互檢試題：考核要點為客觀彈題考核氧氣呼吸器自檢、互檢的注意事項。

3）建立井下基地。選擇下井點：考核要點為井下基地的建設要點。

4）災區偵察。①偵察路線：考核要點為排成1 隊，斜著前行，隊長在前，副隊長在后，相互看到，中間無遮擋；②測氣：考核要點為測氣位置、操作要求；③測風：考核要點為位置、電子風表的操作要求、注意事項；④頂板檢測：考核要點為位置、正確操作方法；⑤礦圖標注：考核要點為位置、礦圖標識識別；⑥現場標注：考核要點為位置、標注內容要點；⑦通訊信息：考核要點為是否匯報、匯報內容是否匹配、是否同意；⑧溫度檢測：考核要點為位置、設備的使用；⑨采集氣樣：考核要點為位置、設備的使用。

5）醫療急救。遇難和遇困人員：考核要點為考察相關人員的處置流程，包括判斷現場環境、判斷傷員意識、佩戴2 h 正壓呼吸器、救治傷員、擔架轉移等。

6）災害處置。①火災：考核要點為考察大火和小伙不同的處置方式，包括干粉滅火器滅火使用方法、打板閉、建風障等間接滅火流程；②頂板支護：考核要點為液壓手動泵的使用要點；③水災：考核要點為潛水泵的使用要點；④瓦斯超標區：考核要點為風排瓦斯的要點；⑤煙霧區：考核要點為風排煙霧的要點。

1.3 系統功能

系統在整個架構設計的基礎上，進一步分析各模塊的功能需求，通過搭建Host 服務器控制整個程序流程及各個模塊之間的協作。系統功能模塊包括總控、網絡、多角色管理、相機管理、場景管理、交互提醒、人物動畫、實時語音、角色狀態、裝備管理、地圖、礦圖標注、場景標注、時間管理、考核功能、日志和生成報告等功能模塊，各功能模塊通過腳本控制實現其邏輯化，再設計其界面實現交互可視化，從而使得達到日常訓練、觀摩和競賽的目的。具體為：

1）總控功能。控制整個程序流程及各個模塊之間的協作。

2）網絡功能。搭建Host 服務器；廣播服務器信息；同步客戶端所有數據；發送和接收所有數據包；處理網絡數據邏輯等。

3）多角色管理功能。救援小隊成員、指揮員、裁判員、觀摩員、管理員等多角色。

4）相機管理功能。視角切換，礦圖標注、日志、礦圖人物位置等UI 顯示。

5）場景管理功能。演練場景切換：地上場景，地下場景，系統中預設多個場景，隊伍隨機抽選。

6）交互提醒功能。手柄上各按鍵功能提醒、PC端各功能模塊提醒、場景中可交互對象提醒功能。

7）人物動畫功能。人物動畫的站立行走動作等與VR 頭盔和手部的IK 匹配；人物通過網絡模塊實現人物動畫同步。

8）實時語音功能。實時語音同步交流。

9）角色狀態功能。模擬人物的狀態信息。

10）裝備管理功能。管理隊員隨身攜帶裝備，裝備包含質量，概率損壞等數據，并與技能配合使用。

11）地圖功能。UI 顯示地下場景小地圖功能。

12）礦圖標注功能。UI 顯示地下場景小地圖，并在上面標注各種事件圖標。

13）場景標注。場景中面對巷道或者在標注板上，標注需求信息。

14）時間管理。模擬巷道中操作時間消耗等信息，模擬時間消耗。

15）考核功能。根據考核內容進行智能考核評價。

16）日志功能。管理所有的隊員操作記錄，包括操作時間、操作地點、操作人員等。

17）生成報告功能。礦圖記錄數據、技能操作記錄數據、技能操作在礦圖的位置信息數據、題答題記錄數據等。

2 系統實現

2.1 實現途徑

系統實現途徑整體設計圖如圖2。

首先，管理人員將通過后臺數據管理模塊進行救援小隊訓練任務的發布，其中包括訓練隊伍、時長和場景的安排；然后，救援小隊隊員、指揮員、裁判和觀眾等各角色分別從對應的端口進行登錄，其中以救援小隊VR 協同演練為中心，指揮員負責控制整體演練進程和指令下達，隊員進入發布的場景中進行選擇裝備、災區偵查、礦圖標注、搶救人員和災害處理等訓練，其訓練內容將實時同步到裁判端和觀摩端，伴隨語音播報，供參觀、學習和考核；同時，系統內部將演練的操作進行記錄，并自動考核，演練結束之后給出成績；最后，將演練的日志、成績以及音視頻資料上傳服務器，通過后臺進行統一管理，針對性提高救援小隊協同作戰能力。

2.2 實現過程

2.2.1 構建場景模型

場景模型制作流程示意圖如圖3。

圖3 場景模型制作流程示意圖Fig.3 Schematic diagram of scene model production process

利用3dsmax 軟件構建煤礦虛擬現實模型，進行巷道的類型、位置、大小、形狀、支護形式等編輯，實時生成巷道模型，并建立相應的模型數據庫、任務預置體，實時生成井巷內傷員、災害（煤礦瓦斯災害、水災、火災、頂板災害等）位置等，通過該數據庫可以構建不同條件下、不同災害類型的煤礦救援現場動態災變場景，滿足復雜條件下的多人協同訓練。在此基礎上，利用Unity3D虛擬現實開發平臺，結合煤礦虛擬現實模型，實現動態災變環境重建功能，并能模擬隨時間和空間的變化而不斷變化的動態災變環境，同時，場景也能隨任務完成度的變化不斷發生變化。

系統場景包括煤礦綜采工作面、掘進工作面、變電所、井底車場等，其中涉及裝備、設施種類繁多，其對應的碰撞體與模型本身還不盡相同。因此在程序開發過程中，需要經過大量的人工測試，減少“孤島”、“狹口”、“階梯”和“黑洞”等現象，確保演練流程順利以及良好交互。通過碰撞體檢測算法，輔助開發人員進行自測和調試，提高場景測試的效率和準確率。

碰撞體檢測技術實現效果如下：

1）“孤島”效應。判斷碰撞體局部形成的單獨空間，采用高亮的提示效果展示，幫助開發人員確定該區域是否需要聯通，避免該區域任務不能觸發，導致演練進程中斷。

2）“狹口”效應。判斷人物碰撞體的大小，給予一定的富裕指數（人為設置），然后檢測場景內連通道，判斷是否滿足人物碰撞體的需求，對不符合要求的區域進行高亮提示，供開發人員再次判斷和修改。

3）“階梯”效應。輸入碰撞體高度值，進行檢索，供開發人員判斷是否需要對其做斜坡平滑處理，解決VR 萬向移動平臺不具備跳躍功能問題。

4）“黑洞”效應。判斷巷道穿模導致局部面片脫落的情況，并高亮顯示，輔助開發人員進行模型優化，其中在一些復雜、大角度交叉的巷道口容易出現。

2.2.2 VR 交互

系統采用VR 萬向行走平臺、VR 手柄和頭盔等設備實現交互操作。為保證良好的VR 交互體驗效果，從硬件設備、場景構建、交互功能設計和輔助教學4 個方面進行考量，實現界面、語音、邊緣閃爍提示、射線、動畫的良好體驗效果。同時，針對使用VR 萬向行走平臺不習慣的用戶，設計多種交互方式供選擇，力求簡化操作，方便控制。

1）行走控制。通過VR 萬向行動平臺可實現360°旋轉和踏步行走功能，更符合行為習慣；同時也提供手柄圓盤交互方式，采用“上、下、左、右”控制方向，更易于上手。

2）IK 動畫匹配。通過代碼任意控制模型的手、腳、頭，從而實現采集氣樣、檢測氣體、敲幫問頂、礦圖標注、醫療急救等，展示醫療急救過程中探脈搏、消毒的技術操作。

2.2.3 智能考核評價

嚴格遵循礦山救援規程考核標準和礦山救援比武評分標準，設置考核點、分值、難易等級、難易比例，形成評分規則數據庫。以任務區為核心概念，進行任務邏輯的構建，演練過程中系統自動記錄個人和隊伍的操作，并計入演練日志數據庫，以設定的任務邏輯為藍本比對實際完成情況，進行計分。對于不能用任務區的形式考核的要點，比如行進隊列、話術應用等內容，采用裁判員進行主觀評分，同時錄入對應的分值系統，由系統進行最后統一折算。智能考核評估的實現路徑圖如圖4。

圖4 智能考核評估的實現路徑圖Fig.4 Implementation path of intelligent assessment

為實現智能考核評價，其中關鍵在于構建任務的邏輯關系，因此通過子任務庫、區域任務和演練任務3 個維度構建任務邏輯，并制定區域任務開啟和關閉規則，同時將每一個子任務賦予對應的分值，實現智能評分。

1）子任務庫。任務預置體由基礎子任務和基礎實體子任務構成，通過自編任務預置體模板形成基礎數據庫，使用時將其進行分數賦值。

2）區域任務。區域大小可調節、名稱可編輯、與巷道可適配，同時區域任務由基礎子任務庫編輯而成，其中通過“序列”、“并列”和“全域” 3種邏輯關系進行有機統一。

3）演練任務。演練任務是本次演練方案所有任務的集合體，主要包括井下所有區域任務和特殊任務。其中特殊任務指的是過失性錯誤，將直接扣分或者直接演練結束，得0 分；區域任務進行“序列”化，按規則進行扣分。

3 系統展示

系統界面展示圖如圖5。

1）VR 演練端界面。VR 演練端包括接警出警、領取任務、選取裝備、自檢互檢、建立井下基地、礦圖標注、災區偵查、醫療救治、災害處置等模塊。

2）指揮端界面。指揮員端具備一鍵啟動、標定身高、開始教學、開始考核、暫停競賽、結束競賽、查看隊員在線與否、競賽中下達任務等功能。

3）后臺管理端界面。后臺管理端具備服務器、信息錄入、順序選擇、錄入主觀成績、導出成績、導出比賽過程記錄等功能。

4）觀摩/裁判端界面。裁判及觀摩端可顯示當前參賽隊伍順序、得分排行榜、新上榜隊伍及其得分情況、隊員視角監控、人員定位監控、礦圖標注監控、現場標注監控，同時還可顯示當前參賽隊伍任務列表及當前執行任務、時間、扣分情況、系統日志及操作日志等信息。

4 結 語

設計及實現了基于VR 技術的礦山救援小隊在線協同訓練系統。系統采用當下最新的VR 技術、網絡技術以及建模技術等，開發了后臺管理、VR演練、模擬指揮、裁判和觀摩4 大模塊，滿足日常訓練、觀摩、競賽等需求。

1）系統訓練內容緊貼實際救援流程，包括領取任務、站前檢查、建立井下基地、災區偵查、醫療急救和災害處置等方面。

2）系統通過記錄任務區內演練人員的操作日志，對比礦山救援規程和礦山救援比武標準進行智能考核分析，從而實現高頻操作錯誤的重點糾正。

3）系統通過3D 建模技術將服務礦井進行等比例復原，同時將可能發生的火災、水災、爆炸等災害環境進行虛擬仿真重建，同時采用VR 技術進行“行走”、“蹲下”、“抬手”、“擺頭”等更加真實的肢體交互，實現高沉浸、互動強、零風險等多人協同演練。

綜上所述，通過這種新型的培訓方式極大地提高了救援小隊協同訓練效率和標準化程度，有效克服了傳統演習巷道模擬程度不高、場景固定、演練成本高、考核難度大、存在安全隱患等問題，能有效提高指戰員的綜合實戰執行能力和協同作戰能力。