基于VR虛擬現實的半實物綜采實操平臺

劉寧寧

（1.煤炭科學技術研究院有限公司，北京 100013；2.煤礦應急避險技術裝備工程研究中心，北京 100013；3.北京市煤礦安全工程技術研究中心，北京 100013）

煤炭行業面臨的自然因素復雜，危險因素多，屬高危行業。隨著機械化水平的提高，機械操作的復雜化、精細化對作業人員的素質提出了更高要求。傳統復雜設備培訓方式主要有3種[1-3]：①以煤炭生產企業為代表的設備實操培訓，主要依靠口頭傳授和老技工傳帶，影響正常的生產作業，設備的誤操作甚至帶來嚴重的安全事故；②以大中專院校為代表的理論培訓，理論知識與動畫、物理模型相結合，重課堂講解輕方法創新、重知識灌輸輕技能培養[4]，基本不具備設備操作能力；③以環幕、立體投影等單一顯示技術為基礎的三維動畫漫游、展示，具有一定的沉浸感[5-7]。

半實物仿真是在計算機仿真回路中接入一些實物，將對象實體的動態特性通過建立數學模型、編程在計算機上運行，受訓人員通過操作真實設備控制虛擬設備動作，廣泛應用于飛機訓練模擬器、石油鉆井等復雜工業系統操作培訓[8-11]。近年來煤炭行業也出現了半實物虛擬仿真系統的雛形，如河南理工大學開發的煤礦副井提升機、采煤機虛擬培訓系統[12-13]。通過操作物理模型控制三維虛擬設備動作，提高了可操作性和互動性，但受限于三維虛擬設備的顯示方式，沉浸感不強，缺乏設備的真實操作體驗。

近年來隨著VR虛擬現實技術的發展，尤其是以HTC、Oculus等廠家開發的虛擬現實硬件的成熟，為煤礦復雜機械設備培訓提供了新思路，即以虛擬現實技術為顯示手段，將高仿真、全比例硬件進入計算機系統，兼顧復雜機械系統操作的高沉浸感和強互動性。

1 系統的總體架構

1.1 系統架構

平臺整體架構如圖1。以實現培訓內容為目的，平臺主要由2部分構成：高仿真、全比例實物操作臺，包括采煤機操作臺和液壓支架操作臺，用于平臺的交互輸入，實現操作的真實性；典型場景、設備的VR虛擬現實仿真軟件，作為實現培訓內容的主體，響應操作臺控制動作。基于單片機的數據采集與通信系統實現實物操作臺與虛擬軟件的實時通信。為了解決佩戴VR頭顯設備條件無法觀看外部真實設備的問題，開發虛擬現實定位及動作捕捉裝置，實現精準操作。

圖1 系統整體架構

1.2 培訓內容規劃

實操平臺的開發主要為滿足采煤機司機實際操作能力的培訓和考核使用，同時兼顧理論知識學習，采用模塊化設計，將大綱要求的培訓內容融入典型采煤工作面的工藝流程中，并適當擴展。共劃分理論教學、認知漫游、結構教學、仿真訓練、模擬考核5個模塊，各模塊主要培訓內容規劃如下：①理論教學：炮采、普采、綜采、綜放采煤工藝基本知識；②認知漫游：對炮采、普采、綜采、綜放工作面漫游；③結構教學：采煤機、液壓支架、刮板運輸機、轉載機、泵站等采煤工作面主要設備原理及結構；④仿真訓練：包括單機操作和工藝聯合2個子模塊，工藝聯合子模塊分別對不同進刀、割煤、放煤方式進行培訓，內容相比大綱適當拓展；⑤模擬考核：嚴格依據大綱設定考核內容，具備考生信息管理及自動評分功能。

2 軟件系統

1）軟件功能細化分解。依據系統培訓內容及整體模塊劃分，將軟件功能細化分解，為腳本及程序編寫提供依據,軟件系統功能細化如圖2。

2）場景設定。軟件所有功能在統一構建的虛擬場景內實現，充分考慮場景元素的真實性和代表性。設定開采煤層為近水平厚煤層，工作面長度150 m，煤層厚度6.0 m，采用綜采放頂煤開采，采放比1：2，煤層結構簡單；切眼采用梯形斷面，錨網抬棚支護，用以模擬初采過程；進風巷、回風巷均采用梯形斷面，上、下寬分別為 4.2、4.8 m，高 3.3 m，錨網支護，提供端部進刀及設備列車運行空間。

3）原型設備選型及建模。綜采面采煤機、液壓支架、刮板運輸機等是模擬操作的核心設備。設備選型在與設定的開采條件相適應，并合理配套的基礎上，尤其注意設備結構形式和操作方法應具有典型代表性，以最大程度適應礦井的實際生產需要。采用3DMAX與Unity3D配合進行建模開發，幾何建模保證設備的外形與真實設備相同，形象建模實現設備外形美觀，行為建模實現設備運行行為的真實。工作面原型設備選型如下：①MGTY400/930-3.3D雙滾筒電牽引采煤機 1 臺，采高 2.2～3.5 m，截深 800 mm；②SGZ-1000/1225刮板運輸機1臺，刮板鏈速1.2 m/s，中間槽尺寸為1 500 mm×1 000 mm×337 mm；③ZFS7200/18/35液壓支架94架，低位放頂煤，支柱高度 1.8～3.5 m；④ZFG9000/22/38 排頭支架 6 架，支柱高度 2.2～3.8 m。

3 硬件平臺開發

3.1 實物操作臺

實物操作臺的設計是實現操作真實性的關鍵。設計采煤機操作臺和液壓支架操作臺各1臺，其中液壓支架操作臺可以通過軟件設定順序移架或成組移架過程需要操作的支架。支架移架及放煤方式多樣，液壓支架設計為可擴展形式，即1臺采煤機操作臺也可以和2臺及以上的支架操作臺配合運行。

操作臺面板上按鈕、旋鈕、儀表盤、遙控器等控件種類、功能、大小、布局方式與原型設備完全一致。加工制造過程中尤其保證加工精度，為控件在虛擬場景中的精確定位提供基礎。

3.2 數據采集及通信系統

數據采集及通信系統的作用是實時采集受訓人員的操作數據，并轉換為能夠為計算機所識別的電信號，驅動虛擬軟件相應動作；同時將設備動作后的運行狀態反饋給操作臺顯示。基于原型設備，編制通訊協議約定各變量輸入輸出類型及取值范圍，其中采煤機設計了控制開關機、行走及滾筒升降在內的30個開關量，1個噴霧水閥模擬量，遙控器設計了控制開關機、行走及滾筒升降的12個開關量，液壓支架設計了控制各閥組動作的9個模擬量和支架選擇用的4個開關量。

圖2 軟件系統功能細化

基于4塊ATmega16型8位單片機，設計操作臺數據采集電路，4塊單片機采用1主3從結構，主從通訊采用I2C總線，能夠采集64個開關量和32個模擬量數據，主單片機與計算機采用RS485串口和Modbus協議通訊。

3.3 虛擬現實定位及動作捕捉系統

以HTC、Oculus等為代表的VR硬件廠商設備的典型特點是，佩戴頭部現實設備后，僅能觀看虛擬場景，無法觀看現實世界中的操作臺面板。僅能通過專用手柄的少數按鈕實現簡單的操作，不能滿足復雜設備的操作需求。虛擬現實定位及動作捕捉系統通過解決真實控件在虛擬場景中的定位和手部動作的捕捉，實現佩戴頭部顯示設備情況下控件的準確操作。

VR虛擬場景的坐標系以定位基站位置為固定參考點，場景建模及頭部顯示設備位置均在此坐標系進行定位。控件與VR硬件設備的定位基站的空間位置相對固定，因此控件位置可在坐標系內依據圖紙準確建模定位。控件狀態的變化如操作手柄的位移量可通過數據采集系統采集到的數據進行反算，以更新虛擬場景中相應位置。據此，佩戴頭部顯示設備后能在真實空間位置看到對應的虛擬控件。

操作人員手的位置與定位基站相對位置不固定，不能采用控件定位的類似方式進行定位。實際測試表明，手部固定Vive Tracker后僅能定位手掌大體位置，由于個體化差異，并不能通過統一方式進行糾偏或推算手指位置，實際操作過程中總會產生1～2 cm偏差，即無法準確找到并操作控件。對此可采用手套固定彎曲傳感器的方式實現對手指動作和位置的準確捕捉，即通過單獨系統將手指準確位置輸入計算機虛擬軟件，經坐標轉換為統一坐標系下的實時建模。

4 結語

依據培訓大綱和考核要求規劃培訓內容，研發了由高仿真、全比例實物操作臺和VR虛擬現實仿真軟件構成的半實物綜采實操平臺；基于主從單片機，開發了可擴展的數據采集及通信系統，實現了硬件平臺的數據采集及與軟件實時交互；基于VR物理空間定位及彎曲傳感器，開發了虛擬現實定位及動作捕捉系統，解決佩戴VR頭部顯示設備條件下的設備準確操作問題；平臺能夠克服傳統培訓方式的弊端，具有強烈的沉浸感和逼真的互動操作性，培訓效果良好，為掘進機、連采機等煤礦復雜設備操作培訓提供了新思路。