數據驅動下的工業設備虛擬仿真與遠程操控技術研究

張旭輝，王妙云，張雨萌，杜昱陽，馬宏偉，毛清華，車 承 ，田鳳陽，王 鳳

(1.西安科技大學機械工程學院，陜西 西安 710054；2.陜西省煤礦機電設備智能監測與控制創新團隊，陜西 西安 710054；3.河北省帶式輸送機工程技術研究中心，河北 衡水 053020)

0 前言

虛擬現實技術(Virtual Reality，VR)被譽為21世紀人類在人機交互上需攻克的最后堡壘。從美國人Morton發明了第一臺VR設備至今，VR技術應用經歷三次浪潮。人類對以沉浸-交互-構想為基本特性的VR技術始終衷情不舍。早期的VR技術平臺基于圖形工作站構建，價格昂貴且技術復雜，只應用在軍事方面和一些特殊領域。計算機技術發展為VR推廣創造了有利條件，目前VR技術已廣泛應用于軍事、航空、教育、醫學、工業和娛樂等眾多領域。但是VR應用領域主要還集中在游戲、娛樂、交互式媒體、旅游等方面，占到了80%左右，工程技術方面的應用研究不足2%[1]。

1 虛擬現實技術在工程方面的應用分析

近幾年國內外學者將虛擬現實技術應用于工程實踐作為研究的熱點。在醫療康復、腦機控制等具有多維信息融合和表達需求的研發方面進展迅速。燕山大學謝平等人采集執行不同手勢動作對應的腦電信號及表面肌電信號，基于肌電特征模式識別結果實現對虛擬場景及目標的控制[2]。華東理工大學蔣婷婷基于觸覺設備Phantom Omni搭建觸覺交互系統，用H3D交互軟件創建虛擬環境應用于中風病人肢體功能康復，極大地調動了患者的訓練積極性[3]。北京服裝學院劉昊等利用Unreal Engine 4引擎設計了基于HTC VIVE的上肢康復訓練方案，通過HTC VIVE的手持控制器與虛擬場景進行人機交互，實現了上肢對虛擬現實場景中對象的控制，患者在無外力支持或在外骨骼康復機器人協助下進行主動康復訓練，把康復訓練、心理治療、信息反饋有機結合[4]。東南大學秦超龍設計了一種下肢康復訓練機器人，機器人具有力反饋輸出，利用Kinect攝像頭捕獲人體運動信息，將患者的體感信息作為系統輸入控制虛擬人物的同步運動與場景交互，采用基于OpenGL函數庫和基于Unity3D游戲引擎的方法開發了用于情景交互的虛擬場景，實現了康復訓練過程中的同步交互[5]。天津大學孔麗文等人將腦-機接口技術與VR相結合，提出基于虛擬現實的腦-機接口，兼取兩者優勢[6]。

危險復雜環境下設備遠程操控應用方面也是虛擬現實技術研究的熱點。北京工業大學章朋田等人通過學習熟練焊工得到焊接電流和焊接速度的關系模型，應用于構建的人機協作焊接系統，彌補了初級焊工的技能[7]；魯麗彬采用Vega Prime開發船舶操縱控制的視景仿真平臺,通過船舶操縱控制的三維姿態數據加載和程序控制,在視景仿真平臺上對船舶操縱控制進行位置調整和參量優化配置[8]。林康等人基于3DVIA Virtools開發了深水鉆機虛擬操作系統，實現了石油鉆井裝備的聯合作業流程仿真，用于控制程序的輔助測試,降低機電液聯調試驗風險[9]；中國農業大學翟志強研究基于虛擬現實技術的拖拉機雙目視覺導航試驗方法[10]；劉忠凱構建了基于Unity3D的裝甲車輛虛擬運動系統，通過C#編寫腳本,實現了裝甲車輛在場景中的運動與碰撞檢測算法[11]。

目前虛擬現實技術已成功應用于設備操控方面，但是對基于虛擬環境的控制思路未形成統一認識。西安科技大學張旭輝等人從煤礦井下自動化工作面設備遠程控制需求出發，提出一種“虛實同步、數據驅動、遠程干預、人機協作”的設備遠程操控策略[12][13]，實現了監測數據驅動下的虛擬交互式設備遠程操控，并在工業設備虛擬仿真與遠程操控方面作了大量研究，涉及煤礦智能鉆機、智能懸臂式掘進機、煤礦救援探測機器人和綜采工作面設備等方面的遠程操控技術。

2 數據驅動的工業設備遠程操控系統

自動化裝備本質上是“數據驅動”和軟件控制的工業裝備。數據驅動的工業設備虛擬遠程操控，關鍵在于將表征工業現場設備狀態、相互關系、環境變化等復雜多維信息數字化，借助VR/AR技術呈現多維空間，作為遠程控制決策的依據，克服傳統遠程控制依據數字、簡單圖形和監控視頻表達的現場設備信息不完整、不直觀、決策難的問題。

數據驅動的工業設備遠程操控包括場景及設備虛擬模型構建、工作面控制模型、顯示及控制模型的動態修正、設備間防碰撞預警和遠程操控等關鍵技術。本文以綜采工作面設備遠程操控系統為研究對象，分析數據驅動的工業設備遠程操控的使能技術。

2.1 綜采工作面設備遠程操控系統總體方案

煤礦井下開采環境惡劣、工況復雜，涉及多種設備耦合或干涉(支架、刮板機)，依靠數字化、自動化、智能化技術保障采煤機安全運行，是目前綜采工作面自動化開采面臨的首要問題。通過虛擬現實技術，使煤礦井下設備部分具備人的視覺、觸覺等功能，才有可能真正替代人實現少人甚至無人開采。

利用VR/AR技術在煤礦精準開采及井下設備群多維信息整合方面的優勢，張旭輝等人構建了“人、機、環”有機交互的綜采工作面多維空間模型，實現了基于虛擬工作面的截割軌跡預測和三機“虛實同步、數據驅動、遠程干預、人機協作”的自動控制策略，工作在順槽或地面的操作者通過觀測虛擬工作面中的設備群異常狀態，人工干預自動截割作業過程，工作面變化及設備位姿等數據反饋到虛擬平臺，實時修正工作面和設備群位姿模型，保證人為干預決策的可靠性。總體思路如圖1所示。

圖1 煤礦虛擬工作面設備操控系統總體方案

2.2 場景及設備虛擬模型構建方法

工作面煤層建模主要利用煤礦鉆孔數據、工作面煤巖界面開切眼數據和工作面運輸巷與回風巷順槽地質數據，其中順槽地質數據需要現場測量。鉆孔信息可清晰顯示所處煤層工作面測點的頂底板位置以及煤層厚度等；利用采煤機位置和姿態傳感器獲取工作面煤巖界面開切眼數據；通過運輸巷和回風巷順槽工作面地質圖紙獲取兩側煤巖數據信息。煤層工作面與巷道關系圖如圖2。

虛擬工作面設備及場景的構建包括構建三維模型、將模型倒入虛擬現實軟件中、設置交互邏輯三個主要環節。在建模軟件中根據綜采工作面設備的結構及尺寸完成3D建模，在確保模型必要精確度和逼真度的同時，減少紋理精細度、降低細節等級并減少圖形復雜度以提高系統運行效率。

2.3 虛擬工作面模型動態修正方法

綜采設備在工作面運行時，由于工作面底板起伏變化，綜采設備會有多種不同的工作位姿。因此，需根據綜采設備機身傳感器數據傳輸到虛擬操控系統上位軟件，對虛擬模型的位姿進行實時修正，從而實現綜采設備虛實同步控制。

2.4 工作面設備群間防碰撞檢測

為了實現工作面設備之間快速防碰撞預警，采用基于包圍盒技術的防碰撞檢測方法，建立采煤機滾筒與液壓支架防碰撞數學模型。由采煤機滾筒尺寸和液壓支架頂梁尺寸分別建立滾筒包圍盒和液壓支架包圍盒。根據建立的包圍盒防碰撞模型約束條件對采煤機與液壓支架進行防碰撞檢測。通過對綜采設備模型的基本自由度的分析，運用虛擬現實軟件的ODE 技術建立綜采設備物理防碰撞模型，如圖3 所示。

圖3 基于包裝盒的綜采設備物理防碰撞示意圖

2.5 遠程操控平臺(人機交互)

人機交互實現綜采工作面設備遠程操控原理如圖4所示，安放在順槽操控室或者地面遠程監控中心的控制臺發出控制指令，通過多通道數據采集卡采集遠程操控臺上安裝的開關、手柄等指令。一路控制指令通過操控系統上位軟件發給下位機，下位機接收并控制工作面三機運動；另一路控制指令通過虛擬現實數據接口傳送到操控系統上位軟件，實現虛擬樣機與綜采設備“虛實同步”運動；采煤過程中工作面設備工況、位姿傳感器數據經通訊接口傳輸到遠程控制端，處理后存儲到數據庫，以此修正虛擬模型實現“數據驅動”，遠程操作人員根據實時修正的虛擬場景和設備群關系，“遠程干預”自動開采流程，結合碰撞檢測等功能，完成“人機協同”的綜采工作面設備群遠程控制。

圖4 人機交互實現遠程操控原理示意圖

3 數據驅動的設備遠程虛擬操控技術應用

數據驅動的設備遠程虛擬操控技術在定向鉆機、智能掘進、煤礦救援機器人和綜采工作面設備方面取得了一定進展。不同設備由于功能和使用場合等因素，開發時對關鍵技術的關注度也是不一樣的。從模型復雜度(場景實時動態或靜態)、驅動數據的類型(工況、位姿或性能參數)、遠程決策依據類型、遠程控制數量等等方面進行分析，可知定向鉆機在鉆進施工時主要是觀測虛擬的管理壓力表和返液情況，周圍環境基本不變化；而智能掘進、煤礦救援機器人和綜采工作面設備遠程控制的首要條件是設備精確定位，否則構建的虛擬場景及設備難以作為遠程控制依據使用；同時按照施工過程變化，接收精確定位數據，完成控制模型和顯示模型的實時修正。

4 結束語

飛速發展的虛擬現實技術為其在工業領域的應用提供了軟硬件方面的技術儲備。利用VR/AR在解決多維信息空間數據呈現方面的優勢，建立融合人、設備、環境有機融合的多維空間，為實現復雜或危險作業環境下的工業設備順利作業提供了可能。“虛實同步、數據驅動、遠程干預、人機協作”的設備遠程操控策略，可以實現監測數據驅動下的虛擬交互式設備遠程操控，在煤礦定向鉆機、智能掘進機、煤礦救援機器人和綜采工作面等設備虛擬操控的初步研究表明，該技術可以有效提高遠程控制決策的可靠性和安全性，是實現少人或無人工作面截割控制的關鍵，在煤礦井下開采方面具有廣闊的應用前景。