基于虛擬現實與數字孿生技術的綜采工作面直線度求解

閆澤文， 謝嘉成，3， 李素華， 沈衛東， 王怡榮， 王學文

（1. 太原理工大學 機械與運載工程學院，山西 太原 030024；2. 煤礦綜采裝備山西省重點實驗室，山西 太原 030024；3. 新加坡國立大學 設計與工程學院，新加坡 119077）

0 引言

國家八部委聯合發布的《加快煤礦智能化發展的指導意見》中明確指出，應將新一代信息技術與煤炭行業深度融合，為煤礦智能化快速發展提質增效。綜采工作面是煤礦智能化的核心場景，仍面臨著裝備連接關系復雜、全方位傳感數據獲取難度大、作業流程繁瑣、難以在先驗信息缺失的地質環境中整體協同推進、透明化地質保障技術精度不足等系列復雜技術難題亟待解決[1-4]。

直線度問題是綜采工作面智能化建設的卡脖子問題之一，解決該問題的關鍵在于刮板輸送機或者液壓支架群的位姿獲取。在獲得裝備精確位姿的基礎上，可對綜采工作面的直線度進行判斷，在確定的調直基準下進行調直工作。刮板輸送機位姿檢測方法包括直接在中部槽電纜槽下方安裝位姿傳感器[5]、基于光纖光柵應變傳感器[6]的直接測量方式及基于采煤機位姿反演的間接獲取方式[7]，這些方法可較好地獲得刮板輸送機位姿信息，但由于傳感器成本及裝備結構問題，實現比較困難。液壓支架位姿信息獲取同樣有較大難度，激光測距傳感器[8]、架間行走機器人[9]、視覺和點云測量裝備[10]等為液壓支架位姿檢測提供了新的解決方案，但是在目前條件下成本較高，且在井下惡劣環境中使用存在較大限制。

近年來，虛擬現實（Virtual Reality，VR）與數字孿生（Digital Twin，DT）技術在綜采裝備領域的應用發展探索[11-12]證明了兩者不僅可以進行培訓教學展示，還可為復雜裝備的運行仿真與計算提供平臺[13]。利用 VR 技術接入實時運行數據，進而構建綜采工作面生產系統的實時DT 虛擬鏡像已成為研究熱點，對裝備的動態配套關系、作業過程、運行態勢和綜采工作面三維地質模型等精準呈現正逐步成為工作面常規技術手段。葛世榮等[14]提出了DT 智采工作面的技術架構，并將其與工作面自主截割等技術相融相通，指出VR 技術是DT 技術應用的底層關鍵技術，為進一步實現兩者的應用提供了頂層方案指導。毛善君等[15]提出了透明化礦山的概念、核心內容及構建透明化礦山需要遵循的5 個原則，為礦山的透明化遠程管控提供了參考。任懷偉等[10]給出了智能開采“環境裝備?仿真模擬?反向控制”運行體系下的智能決策過程，實現了虛擬仿真系統對工作面裝備運行狀態的實時監測和反向控制。張旭輝等[16]實現了掘進工作面物理空間與掘進信息虛擬空間的深度融合與交互，驗證了DT 技術的應用可以解決工作面復雜問題。

筆者所在團隊致力于VR 與DT 技術在綜采工作面煤機裝備智能化發展中的應用研究，已對綜采工作面煤層與裝備耦合模型[17]、虛實交互通道[18]、裝備位姿監測[19]、分布式協同運行[20]、人機交互[21]、智能預測和反向控制[22]等關鍵技術進行了全面研究，建立了集仿真、感知、預測、決策與控制為一體的復雜綜采工作面DT 系統。本文在此基礎上，應用VR 與DT 技術求解綜采工作面直線度問題，以期為綜采工作面直線度問題提供新的解決方案。

1 綜采工作面直線度求解框架

基于VR 與DT 技術的綜采工作面直線度求解主要分為機理解析、模型構建、融合推演、重構監測、預測控制5 個步驟，如圖1 所示。根據物理場景中真實的地質模型與裝備建立對應虛擬場景，建立集雷達、傾角傳感器等于一體的DT 系統；根據實時獲得的傳感數據及虛擬場景中得到的運行數據進行融合推演，實現虛擬監測；在虛擬場景中對保證直線度所需的推移行程進行預測，并將其反饋至物理場景中進行直線度控制。

圖1 基于VR 與DT 技術的綜采工作面直線度求解框架Fig. 1 A framework for solving the straightness of fully mechanized working face based on VR and DT technology

1） 機理解析：依據物理綜采工作面裝備的運行機理，對裝備結構視情簡化，進一步對其運行機理進行分析。綜采工作面“三機”運行過程中，綜采支運裝備相對位置關系分析的關鍵在于連接液壓支架底座與刮板輸送機的浮動連接機構，本文根據浮動連接機構的運動特性將其簡化為機器人模型[23]，進行正逆向運動解析。

2） 模型構建：以理論分析結果為基礎構建虛擬應用模型，進而描述實際運行過程。本文通過對浮動連接機構機器人模型正向解析，依據真實的煤層環境[24]，在Unity3D 中建立基于關節的綜采支運裝備運動仿真模型，構建VR 場景，實現虛實映射。

3） 融合推演：在VR 技術應用過程中，原始獲得的傳感數據往往不能滿足解決復雜問題的需求，需要加入非接觸式的視覺傳感器來增強信息，提供更高精度的虛實映射數據。本文加入非接觸式傳感器，利用浮動連接機構機器人模型正向解析，實現綜采支運裝備位姿檢測。

4） 重構監測：在完成虛擬仿真系統搭建后，利用虛實交互技術，聯合真實的物理場景構建DT 系統，實現對綜采工作面的虛擬監測。本文通過構建綜采支運裝備DT 系統，實現對樣機系統的虛擬監測。

5） 預測控制：根據監測數據及推演結果，實現對真實綜采裝備的控制，解決實際問題。本文通過虛擬推演預測推溜移架過程中刮板輸送機的推移量，指導綜采裝備的調直，解決直線度問題。

2 綜采工作面直線度求解方法

2.1 機理解析

2.1.1 浮動連接機構模型簡化

浮動連接機構由推移油缸、推移桿和連接頭等部件組成，如圖2（a）所示。每個部件又含有多個自由度，其姿態受到多個因素影響。首先應考慮在推溜移架時連接頭在銷耳間隙的不同狀態，為了便于研究，將其簡化為推溜點和移架點2 個狀態，如圖2（b）所示。其次是忽略其他運動部件的間隙量，對浮動連接機構模型進行簡化，便于虛擬場景的搭建。在液壓支架推溜移架的過程中，將浮動連接機構簡化為機器人模型進行研究，能夠準確表達其各關節在空間中的運動量，實現對各部件的定量分析，如圖2（c）所示。

圖2 浮動連接機構簡化Fig. 2 Simplification of floating connection mechanism

在分析浮動連接機構的機器人模型時，首先要建立D?H 坐標系，以區分不同關節的自由度。將液壓支架的底座作為初始基準，連接頭與刮板輸送機的連接銷軸作為機械手的末端關節執行機構，通過機器人運動學的正逆向解析，可以實現對刮板輸送機與液壓支架底座相對位姿的分析，為編輯Unity3D底層腳本與物理仿真提供參考。

2.1.2 浮動連接機構正逆向運動解析

根據活塞桿的伸長量、各部件隨連接銷軸的偏轉角建立各關節的變換矩陣，再根據各部件的變換矩陣建立浮動連接機構綜合變換矩陣，可以實現對綜采支運裝備相對位姿的定量分析。 但是，由于浮動連接機構運動的復雜性，在井下難以對其各部件實現精確測量，所以需要對轉換得到的機器人模型進行逆向解析，確定關節變量。

浮動連接機構機器人模型正逆向運動解析的實現，為虛擬仿真過程中基于物理的浮動連接機構的搭建提供了理論基礎。同時，針對浮動連接機構在井下移動隨機性較強的特點，可以基于Unity3D 的物理仿真引擎來驗證逆解過程中的最優解。

2.2 模型構建

實現虛擬仿真系統與實際開采過程深度結合、建立物理綜采工作面高度映射的關鍵在于以下方面：首先需要建立仿真度較高的虛擬系統，在虛擬系統中，虛擬綜采支運裝備除了要符合真實裝備的外形尺寸及各裝備之間的配合關系外，還要融合浮動連接機構運動學模型，使仿真達到“形似”且“內在機理”與真實情況一致的水平。

2.2.1 虛擬裝備及煤層3D 模型構建

在虛擬仿真系統中，煤層作為支撐整個仿真模型的運動基準，其精度決定了DT 系統數據的準確性。根據真實綜采工作面地質探測數據，建立精度較高的初始煤層，在虛擬綜采工作面裝備運行過程中，根據采煤機的截割軌跡，應用插值算法對截割底板進行平滑處理，對初始煤層模型進行實時修正，保證虛擬裝備的正常運行。對于綜采支運裝備的仿真，通過CAD，UG 等軟件保證虛擬模型與實際工作面裝備的結構和尺寸一致。

2.2.2 虛擬應用模型構建

建立反映液壓支架、浮動連接機構與刮板輸送機之間關系的裝備模型（圖3（a）），基于浮動連接機構機器人模型，在各部件間添加對應的關節類型（圖3（b）），并依據真實場景，限制各關節的活動范圍，保證運動過程能夠模擬真實的物理狀態。最后，利用C#編輯底層腳本，通過對推移油缸添加力來實現推溜和移架過程，使模型運動更加符合實際情況（圖3（c））。

圖3 虛擬應用模型構建Fig. 3 Construction of virtual application model

2.3 融合推演

2.3.1 非接觸式視覺傳感器技術

由于浮動連接機構需求解的未知參數較多，通過液壓支架底座傾角傳感器、推移行程傳感器及采煤機反演獲取刮板輸送機的位姿。可引入非接觸式的視覺傳感器（如雷達和深度相機等）來獲取裝備之間的相對信息。將雷達安裝在液壓支架的電液控制器上，通過雷達點云圖分析刮板輸送機與液壓支架底座間的相對位置關系。液壓支架底座的姿態數據依靠液壓支架傾角傳感器與推移機構的行程傳感器獲得，刮板輸送機位姿數據通過推移前采煤機反演得到。利用Matlab 仿真及浮動連接機構逆向運動學解析，實現對浮動連接機構姿態的初步求解。

2.3.2 虛擬傳感器技術

通過物理空間中的雷達實現信息增強后，能獲得浮動連接機構的初始信息，但由于信息準確度不高，仍可能出現無解情況。因此，本文借助DT 虛實融合的理念，在虛擬空間中構建物理空間傳感器的數字孿生體，依靠虛擬應用模型的高保真度，通過虛實信息融合進一步求解浮動連接機構各關節。

以在虛擬仿真系統中引入虛擬雷達為例，利用RaycastHit 組件實現虛擬雷達的激光射線，通過碰撞監測獲得與物理雷達測量結果一致的點云圖。

2.3.3 虛實融合技術

通過對比及融合物理場景與虛擬場景中采集的數據及點云圖，結合浮動連接機構正向運動學解析，在Matlab 中求解綜采支運裝備的相對位姿。為了模擬真實綜采工作面信息采集環境，可以通過腳本為傳感器加上噪聲。同時，對Matlab 與Unity3D 進行雙向耦合，實現對推移行程的準確計算，用于控制綜采工作面直線度。

2.4 重構監測

針對綜采支運裝備位姿檢測及調直問題，搭建綜采支運裝備的DT 系統，如圖4 所示，具體包括物理樣機系統、虛擬仿真系統及DT 檢測系統。

圖4 DT 系統Fig. 4 Digital twin system

2.4.1 物理樣機系統

由于井下條件復雜，為了更好地模擬井下條件，根據綜采工作面裝備的協同運動關系，按照一定比例搭建物理樣機系統，實現對真實綜采工作面的運行模擬。搭建綜采工作面樣機，對綜采支運裝備調直過程進行模擬，可以有效提高分析效率，為綜采工作面的直線度控制提供建設性意見。

為了保證虛實映射的準確度，要根據煤層的初始探測信息，按照同樣的比例搭建樣機煤層實驗臺，與虛擬環境中煤層形成映射，煤層的準確度直接影響虛實場景映射程度。基于真實液壓支架底座的浮動連接機構模型，搭建樣機推移模型，保證虛擬場景中的關節組件與樣機場景中的結構能夠一一對應，實現虛實場景運行過程的高度一致性。同時，可以模擬綜采工作面調直過程易出現的各種問題，利用虛擬仿真平臺進行調直預演。

2.4.2 虛擬仿真系統

虛擬仿真系統不僅可以反映真實的綜采工作面，還可以實現數據監測與虛擬推演功能，在得到物理樣機系統的綜采支運裝備位姿數據后，在虛擬仿真系統中實現煤層與裝備運行狀態重構。根據重構得到的裝備位姿，利用虛擬數據系統分析直線度，控制虛擬綜采支運裝備推進，完成推演，再對其直線度進行評估。將數次推演結果傳輸至DT 系統中分析。

2.4.3 DT 檢測系統

DT 檢測系統對物理樣機系統和虛擬仿真系統中綜采支運裝備的位姿數據、虛擬綜采工作面的虛擬推演數據、煤層更新數據、裝備直線度等數據進行收集和分析，驅動物理樣機系統和虛擬仿真系統迭代運行及虛擬檢測系統實時更新，將綜采支運裝備的直線度檢測方法及調直程序編入數據系統底層，根據虛擬仿真系統推演得到的最優方案控制樣機系統推移，從而實現直線度檢測，解決運行過程中出現的直線度問題。

2.5 預測控制

2.5.1 調直原理

采用以刮板輸送機為基準的綜采工作面調直方法，即在保證刮板輸送機直線度的前提下，對液壓支架群的直線度進行調整。這樣不僅可避免部分誤差累計，還可保證調直過程的方向性。液壓支架和刮板輸送機的調直重點在于浮動連接機構的推移量控制。首先，獲取重構的綜采支運裝備的狀態，根據其直線度誤差確定推移量，根據采煤機截割軌跡對底板進行修正，控制浮動連接機構完成刮板輸送機的虛擬推演，液壓支架按照獲得的推移量進行刮板輸送機直線度調整；其次，對液壓支架群進行直線度分析，通過精準控制推移量，實現液壓支架群直線度控制，使虛擬場景中綜采工作面的直線度符合要求。

2.5.2 調直架構

基于DT 系統的綜采工作面調直架構如圖5 所示。首先基于采煤機和傳感器數據獲得刮板輸送機和液壓支架的位姿信息，作為先驗信息實現綜采支運裝備的虛擬重構，在虛擬仿真系統中完成直線度檢測，解析出初始刮板輸送機調直及后續液壓支架群調直各自所需要的推移量。在虛擬推演過程中，根據DT 系統實時解算結果，結合非接觸式傳感器和煤層的實時修正信息，在虛擬場景中對推移量進行實時調整。經過推演后確定最優推移方案，指導真實場景中的推溜移架。

圖5 基于DT 系統的綜采工作面調直架構Fig. 5 Straightening architecture for fully mechanized working face based on DT system

在下一刀采煤機運行過程中，通過綜采支運裝備位姿信息對虛擬重構場景中的綜采支運裝備進行修正，以避免出現累計誤差。

3 結論

1） 提出融合VR 與DT 技術解決綜采工作面直線度問題，搭建了綜采工作面直線度求解框架，主要分為機理解析、模型構建、融合推演、重構監測、預測控制5 個步驟。

2） 指出綜采支運裝備相對位置關系分析的關鍵在于連接液壓支架底座與刮板輸送機的浮動連接機構，將浮動連接機構作為關鍵部件進行簡化、建模和正逆向運動解析，構建VR 場景，結合非接觸式視覺傳感器、虛擬傳感器、虛實融合等技術實現虛擬場景中的位姿重構，通過搭建綜采支運裝備的DT 系統，實現虛擬監測和預測控制。

3） VR 與DT 技術的應用能夠解決綜采工作面直線度問題，為解決綜采工作面其他實際應用難題提供解決思路，為煤炭行業智能化發展提供支持。本文研究仍存在部分不足，下一步研究主要集中在以下方面：① 加強實驗論證，驗證物理綜采工作面調直完成后的直線度與虛擬綜采工作面推演結果的一致性。② 提高虛擬綜采工作面與物理場景信息交互的時效性。③ 進一步探索虛擬環境中液壓支架與刮板輸送機位姿的準確求解方法。