基于VR 技術的全三維危險實景動態反饋培訓平臺

杜志勇

（神華寶日希勒能源有限公司，內蒙古 呼倫貝爾 021025）

安全培訓是煤礦安全生產工作中的一項重要保障，培訓效果的好壞直接影響到企業的發展穩定，而人是實現安全生產的關鍵因素[1-3]。從以往發生的安全事故來看，煤礦企業80%以上都是因為違章作業、違章指揮、設計和管理不規范等人的不安全行為造成的。出現這些危險事故很重要的一個原因是相當多的工人安全觀念淡薄，缺乏安全生產基本常識，沒有自律意識，自我保護能力較差，造成傷亡事故甚至是重特大事故屢屢發生。因此，加強安全教育培訓，不斷強化全員安全意識，增強全員防范意識，提高從業人員的安全管理水平和操作技能，才能從根本上改變當前煤礦事故多發的現狀[4-6]。虛擬現實技術與實際操作培訓相融合，不僅能夠在沉浸式的虛擬場景中開展煤礦安全事件的學習和應急處置演練，在短時間內能夠大幅提升從業人員的安全素質，也避免了資金、人力資源的浪費，有利于企業提高安全管理水平[7-8]。

1 平臺設計與使用

1.1 平臺搭建

平臺總共分為硬件設計和軟件開發2 部分。平臺結構示意圖如圖1，全三維危險實景動態反饋培訓平臺VR 可穿戴設備包括VR 頭盔，VR 頭盔的上端設置有頭帶，頭帶的下端側邊連接有VR 頭盔殼體，頭帶的下端兩側設置有耳機，VR 頭盔通過無線藍牙連接操控手柄。

圖1 平臺結構示意圖

操控手柄背面結構示意圖如圖2，上端設置有套繩，操控手柄的兩側設置有手柄調節組件。其中VR 頭盔殼體內置2 塊3.5 英寸AMOLED 屏幕，麥克風、SteamVR 追蹤技術、G-sensor 校正、gyroscope陀螺儀、proximity 距離感測器和瞳距感測器，并設置有用于捕獲到用戶頭部運動的精確位置信息的位置傳感器。VR 頭盔1 采用人體工學設計，可調整鏡頭距離、瞳距、耳機和頭帶長度，連接方式包括USB-C 3.0、DP1.2、無線藍牙3 種。

圖2 操控手柄背面結構示意圖

全三維實景模型是按照真實場景搭建，模擬真實現場生產過程。通過采取專家意見，選取事故多發典型場景作為應用背景，能夠達到提高操作人員安全意識的功能[9]。

與以往的三維動畫展示、VR 展示不同是，本平臺開發重點在于使用者在虛擬實景中真正參與到事件其中，有改變事件走向的權利，可以在虛擬空間中對典型事故案例進行還原和變向，同時可以在虛擬演練過程中排查危險源。其交互性能包括以下方面：

1）露天煤礦事故案例。提供模擬實景觀摩及事故行為預測的功能。

2）露天煤礦危險源排查。按照實際危險源存在模式在虛擬空間中進行高仿真排查。

3）工具選擇。通過使用手柄觸碰屏幕顯示的不同圖標，進行事件的觸發或危險源的選擇，方便直觀。

4）深度考核。通過受訓人員改變事故走向及危險源排查，實時評測打分，得到實訓結果。

1.2 具體使用方式

使用時，操作人員將手套進套繩中，避免操控手柄脫落摔壞，調節手柄組件使之固定。將頭帶戴在頭部，調節VR 頭盔殼體內顯示屏間距，現場模擬的聲音由耳機傳輸，雙手握住操控手柄進行調控，在圖形工作站和虛擬現實集成控制器的軟件配合下進行全三維危險實景體驗及交互。

利用VR 頭盔，借助其陀螺儀功能的空間定位相互結合，可以讓使用者沉浸在1 個由軟件模擬的危險實景環境中。用戶穿戴上VR 頭盔，拿起手持操控手柄、即進行操作。

2 平臺技術特點

1）典型事故案例VR 深度交互。通過VR 交互的功能以及提供事故案例觀影模式，可以創新性地采用深度交互模式，同時用戶可以觸發一系列事件，改變事故的走向，完成虛擬參與到案例其中，深刻感受按規程操作的正確結果和違規操作帶來的嚴重后果。

2）危險源排查VR 實訓考核。針對排查危險源的特點，設計了移動-排查-提交的實訓交互模式，通過交互手柄找尋危險源，通過交互面板進行危險源的對應選項，通過提交成績菜單告知實訓結果。該培訓可以檢驗員工對設備危險源排查范圍和流程的熟悉程度，考察員工對危險源狀態和隱患判別認定的準確度，強化各工種員工對自身排查項目的掌握程度。

3）全三維危險實景動態反饋參訓平臺開發。全三維危險實景動態反饋參訓平臺是綜合涉及到典型案例、危險源排查的虛擬平臺，因此針對用戶需求其功能不僅有現場觀看模式，還有深度交互操作。基于這些特點建立1 個基礎的虛擬仿真平臺，以達到對整個軟件的模型材質、動畫制作、導向邏輯控制、操作邏輯控制以及工具調用的協同管理。此平臺是以Unity3D 為核心進行開發，內容開發完成后與沉浸式虛擬現實操作平臺（VR 頭盔套裝）進行對接，將內容發布到沉浸式虛擬現實操作平臺環境內進行顯示，并使用沉浸式虛擬現實操作平臺配套交互追蹤系統和操作手柄實現虛擬深度交互操作。

4）功能化設計與模塊定制。針對事故導向、正確操作和錯誤操作，從而實現場景功能與應用功能設計，在沉浸式環境中進行人機交互控制，并在符合物理邏輯順序的基礎上，通過導航式觸控交互點進入到下一環節。對多個分支的互動操作，由于有些事件過程會出現多個需判斷走向的交互分支，因此將采用射線的方式根據提示區的提示選擇需要再次交互的程序，選擇的程序事件將載入當前環境中。由于現實需求的不斷變化，導致新的功能需求出現，或原有的功能需要更新、廢除時，滿足新需求的功能模塊可以隨時方便地添加，舊功能模塊可以隨時快捷地修改、更新、廢除。

5）網絡基礎硬件配置。整體裝置由VR 頭盔套裝、服務器、主交換機、路由器、集成控制器、工作站等構成，在使用場地建立內部局域網，應用系統采用3 層架構，即客戶端軟件、瀏覽器/應用服務器/數據庫服務器，OOP（面向對象）方式進行基礎運行框架搭建。將應用服務器與數據庫服務器分離，其間通過高速以太網連接。在客戶端部署專用軟件及捆綁專用瀏覽器，主干可通過快速以太網，為大量數據傳遞、數據查詢提供足夠帶寬。在設計模式上應用了技術領先的MVC 模式，保證了系統的高可擴展及高可維護性等。

3 應用案例

1）煤礦典型事故案例。案例設計以“電鏟掉石塊砸電纜事故”為例，當電鏟車司機即將進行回轉操作時（此時為既定動畫），駕駛室前擋風出現電子圖標（動態效果，提示駕駛員觀察四周），同時語音提示（“請遵守鏟車作業規范，作業前注意檢查作業環境，對現場危險源進行辨識，作業過程中時刻關注地面監護員發出的提示與指令！”）。語音結束后，駕駛室前擋風出現懸浮圖標，手柄觸碰不同圖標，會觸發不同事件。觸碰觀察四周圖標后駕駛員將轉動駕駛艙，觀察到地面監督員正在做旗語動作，提示地面有電纜，規避掉事故風險（動畫）。而觸碰盲目操作圖標駕駛員將盲目操作，未能觀察到監督員提示信息，進入既定動畫播放流程（事故發生）。

2）露天煤礦危險源排查。危險源排查以平路機檢查為例。預設危險源位置，且均集中于設備外觀可見部位，不涉及內部結構。經過主動觀察發現危險源后按壓控制鍵，觸發選擇項會直觀的在界面顯示出來。通過固定語音提示，能夠判斷危險源是否存在隱患；進而根據語音提示，指示隱患事由，判斷是否選擇為潛在危險要素。最后現場給出考核成績單。

4 結語

基于VR 技術的全三維危險實景動態反饋培訓平臺利用最新的VR 虛擬現實軟件技術、HMD（頭戴式可視設備Head Mount Display）設備及高端圖形工作站，建立“全三維危險實景動態反饋參訓平臺”，大力改善了神寶能源露天煤礦培訓數字化程度，確實提高了企業培訓效率和水平，可以真正幫助實現企業安全生產，助力企業進入數智化新時代。