AR/VR融合驅動的綜采工作面智能監控關鍵技術研究與試驗

王學文，劉曙光，王雪松，謝嘉成,4，王彬彬，王振威

(1.太原理工大學 機械與運載工程學院,山西 太原 030024;2. 太原理工大學 煤礦綜采裝備山西省重點實驗室,山西 太原 030024;3.礦山采掘裝備及智能制造國家重點實驗室,山西 太原 030024;4. 太重煤機有限公司博士后科研工作站,山西 太原 030024)

國家八部委聯合發布《關于加快煤礦智能化發展的指導意見》，標志著智能化已成為煤炭工業高質量發展的核心技術支撐。2021年初，中國煤炭學會將“煤礦智能化機器人”列為“十四五”期間煤炭十大重點領域之一，明確指出需重點攻關透明地質、煤礦5G無線通信、井下視頻高效處理及AR/VR、井下精確定位與設備導航、礦井機電設備在線監測與診斷維護等核心技術。

VR技術逐步在智能化建設中占據重要地位，特別是為透明綜采監控提供了三維可視化解決方案，與傳統視頻監控和二維組態監控相比，抗干擾能力與直觀性均有提升，具有對工作面裝備運行狀態實時監測和反向控制能力。但VR環境是一個由計算機生成的完全浸入式的環境，其依賴于外部多源輸入信息的融合算法精度，不具備自主獲取信息的能力，對真實場景的感知存在局限。

受限于技術特點，VR監控有待進一步完善，而AR技術為綜采工作面虛擬監控進一步突破技術瓶頸提供了可能。AR技術可以利用攝像頭、傳感器、實時計算和匹配技術，將交互式虛擬信息與物理世界巧妙地實時“無縫”集成于同一三維尺度空間，在特征上與數字孿生的概念有著先天的吻合性，有助于數字孿生技術推動智能化采礦進入新時代。基于此，黃曾華等提出將AR技術引入綜采工作面可視化遠程干預監控，并給出了系統架構；ANDHAN等開發了一種基于AR的指揮控制系統儀表板，以保證煤礦工人的人身安全；成董浩等采用AR技術實現通風巷道數據的可視化，為礦井通風系統智能化提供了一種新的技術手段；張旭輝等提出一種數字孿生+MR的機電設備輔助維修指導方法，可實現對現場維修人員的實時指導。

目前在煤炭領域，AR技術的應用還處于較為初級的階段，與該技術在數字化工廠、醫學、建筑學等其他領域的應用相比，深度上和廣度上都存在較大差距。AR具有三大特征，即虛實融合、實時交互、三維注冊，其虛實融合的特征可有效彌補VR監控與真實場景有割裂感的缺陷，且實時交互手段與VR相比也有所擴充，而視覺信息作為除傳感器外的另一種數據源能夠提供更多信息反饋。將AR技術引入煤礦智能化建設并與現有VR技術相結合，發揮各自優勢，可形成AR/VR技術深度融合的透明化綜采工作面智能監控體系。

筆者以VR監控技術及科研成果為基礎，以AR技術在綜采工作面智能監控中的應用為研究重心，以HoloLens2為主要開發平臺，從實際需求出發，構建AR/VR融合驅動的綜采工作面智能監控技術架構，提出綜采工作面多監控終端協同工作、基于計算機視覺的全綜采裝備識別跟蹤、綜采工作面AR/VR融合閉環監控3種關鍵技術，并對這些關鍵技術的解決方案進行探討、剖析與試驗，以期為AR/VR技術在煤炭領域的應用提供新思路，為綜采工作面的智能虛擬監控提供更為完善的方法。

1 總體架構

1.1 綜采工作面AR/VR監控技術融合原理框架

在AR/VR融合驅動的綜采工作面智能監控中，AR與VR技術的融合主要體現在以下3個層面，詳細融合原理如圖1所示。

圖1 綜采工作面AR/VR監控技術融合原理框架

(1)VR技術對AR技術的支撐。VR與AR技術在應用于綜采工作面虛擬監控時，兩者在實現路徑、開發方式等方面均存在類似性。綜采裝備與地質數字孿生體構建、傳感器布置與感知信息獲取、裝備群協同仿真與實時數據驅動、分布式系統的驅動模式、虛擬監控UI界面設計等VR監控關鍵技術可以為AR監控研究奠定基礎。

(2)AR技術對VR技術的補充。VR環境與現實呈隔絕狀態，而AR技術更強調虛實融合。基于計算機視覺的AR識別跟蹤、基于視覺的綜采裝備位姿測量、綜采工作面多終端AR協同工作技術、基于UGUI與自然手勢的AR交互等AR監控關鍵技術可以擴充VR監控的維度。

(3)AR與VR技術的巧妙集成。VR在計算機強大運算能力的加持下，可對綜采工作面的整體運行情況進行宏觀把控。而AR設備雖性能有限，但可利用其虛實融合的優勢，更深入、細致地獲取工作面的局部運行情況。集成AR與VR技術的優勢，發揮兩者所長，可形成兼顧綜采工作面局部與整體、虛實融合的全時空綜合監控技術架構。

1.2 AR/VR融合驅動的綜采工作面智能監控技術架構

在AR/VR監控技術融合下構建AR/VR融合驅動的綜采工作面智能監控技術架構，分為4個層級：云服務器層、設備層、應用層與輔助技術層，具體架構如圖2所示。

圖2 AR/VR融合驅動的綜采工作面智能監控技術架構

(1)云服務器層包含云處理器模塊、網絡處理模塊及數據庫。其中云處理器模塊負責對系統運行過程中產生的數據進行儲存、分析與處理；網絡處理模塊負責與設備層各設備間的網絡通信，網絡通信在輔助層中的通用高效可擴展網絡框架下進行；數據庫中包含綜采裝備特征點與描述符數據庫、AR標識庫、綜采工作面運行狀態數據庫以及數字孿生綜采工作面模型數據庫。

(2)設備層包含真實物理綜采裝備與AR移動/頭戴終端。其中真實物理綜采裝備主要包括綜采工作面三機即采煤機、刮板輸送機、液壓支架及其控制系統與傳感器；AR移動/頭戴終端主要包括HoloLens2、手機及平板電腦。

(3)應用層為AR/VR融合驅動的綜采工作面智能監控應用程序，集成了綜采工作面多監控終端協同工作、基于計算機視覺的全綜采裝備識別跟蹤、綜采工作面AR/VR融合閉環監控3種關鍵技術。

(4)在輔助層技術中，通用高效可擴展網絡框架突破了網絡瓶頸，保障了系統的可靠性；跨終端空間虛實融合全息輔助標注、多終端AR同地無縫協作以及多終端遠程AR視頻會議3個功能為系統提供了更豐富的技術支持。

層級的聯系主要集中在云服務器層與設備層之間以及設備層內部。隸屬于設備層的AR終端為了完成全綜采裝備的識別跟蹤，需將其捕獲的視覺信息與云服務器層中的數據庫數據進行匹配；基于多傳感器的綜采裝備位姿測量以及對綜采工作面的AR遠程反向控制依賴于AR終端、云服務器層中云處理模塊、物理綜采裝備3者間的交互。

系統可在4個層級的作用下實現AR移動/頭戴終端對全綜采裝備的識別跟蹤，在此基礎上完成AR/VR技術融合下的綜采工作面監測與控制。

2 綜采工作面多監控終端協同工作技術

2.1 通用高效可擴展端云協同異步網絡框架

傳統的C/S(服務器/客戶端)網絡架構不支持UWP平臺開發，無法在HoloLens2設備上使用。為滿足潛在的多終端并發處理需求，減少線程阻塞，并兼顧UWP平臺的適用性，搭建了1種基于完成端口(IOCP)機制的通用TCP/IP客戶端及云服務器網絡框架，IOCP是一種基于事件的異步模型。采用SAEA(Socket Async Event Args)Socket類進行框架搭建，該類封裝了IOCP的使用。云服務器與客戶端的連接邏輯如圖3所示。

圖3 SAEA云服務器、客戶端連接邏輯

在該框架的基礎上定義了數據模型，模型分為3個層級：類型層、請求層與消息層，采用Encode()與Decode()方法對數據進行編解碼。在消息層中，消息分為兩類：一類是需要服務器處理的消息，如用戶信息的獲取與更新、空間錨點的上傳與下載等；另一類是需要云服務器轉發的消息，如AR場景中綜采裝備的位置、姿態、動作等。定義不同的消息類型并采用Serialize()與Deserialize()方法進行消息的序列化與反序列化。通過Heart Thread. IsAlive語句為云服務器添加心跳監測功能，定時向服務器發送心跳包，以對客戶端的異常斷開進行監測。

2.2 跨終端空間虛實融合全息輔助標注

在通用高效可擴展網絡框架下捕捉并傳輸包含AR設備空間矩陣信息的視頻數據，經過2次轉換，即AR設備與Unity3D空間矩陣轉換、二維標注到三維空間的轉換實現遠程空間全息標注。

..AR設備攝像頭空間矩陣數據處理

AR設備通常包含一個面向世界的攝像頭，其捕獲的圖像幀包含一個坐標系以及2個變換：儲存捕獲幀的坐標系、攝像頭外部視圖變換以及攝像頭投影變換。視圖變換代表攝像頭在世界中的位置信息，投影變換代表攝像頭映射到圖像中的像素信息。

欲將包含AR設備空間矩陣信息的圖像數據傳輸至發送端，需獲取AR設備的攝像頭空間矩陣，并將其轉換為Unity3D空間矩陣。轉換過程可以簡化為如下模型：從AR設備攝像頭2D投影空間到其相對的3D視圖空間，然后再到AR攝像頭空間，最后到Unity3D應用程序坐標系，矩陣轉換原理如圖4所示。

圖4 AR攝像頭空間矩陣轉換原理

該模型可簡化為一系列矩陣運算：攝像頭投影變換矩陣經轉置運算得到′，攝像頭外部視圖變換矩陣經轉置運算與求逆運算得到′，儲存捕獲幀的坐標系矩陣經轉置運算得到′，以匹配預期的Unity3D格式；上述矩陣混合運算并將右手坐標系轉化為UnityEngine左手坐標系后最終得到AR設備攝像頭空間矩陣到Unity3D空間矩陣的變換矩陣，具體轉換過程如下：

(1)

=′·[(-1)·(′·′)]

(2)

(3)

式中，(-1)為初等矩陣。

..二維標注到三維空間位置轉換

發送端做出的標注為二維圖像，而接收端中顯示的標注包含三維信息，故在發送標注信息時需將二維標注向三維空間轉換。

AR設備攝像頭空間投射原理如圖5所示。以矩形標注為例，利用幾何相似關系可以按比例計算出投射面對應形心投射點位置及長寬,。空間中任何三維物體都可看作是若干三角形Mesh組合而成。HoloLens2等AR設備可自動識別三維物體表面，生成三角形Mesh網格并添加Mesh Collider碰撞體，如圖6所示。

圖5 AR攝像頭空間投射原理

圖6 HoloLens2三角形Mesh網格效果

當接收端收到二維標注數據時，攝像頭從位置發出檢測射線，經過形心投射點位置，到達實際形心位置并與Mesh Collider發生碰撞。在C#程序中通過RaycastHit.triangleIndex語句進行三角形索引，利用M?ller-Trumbore相交算法確定射線與三角網格的碰撞點，算法原理如圖7所示。

圖7 M?ller-Trumbore算法原理

射線()可用參數方程來定義：

()=+(-)

(4)

式中，為射線方程中的參數。

三角形參數方程可用其在重心坐標系中的3個頂點，，表示：

(,)=(1--)++

(5)

其中,1--，，分別為，，在重心坐標系中的權重，且滿足≥0，≥0，+≤1。將射線與三角形參數方程聯立求解：

+(-)=(1--)++

(6)

展開并移項得：

-=-+-+-

(7)

提取未知數，，，將方程寫成線性方程組的形式：

(8)

其中，-=-，又令-=，-=，-=，則該線性方程組可寫為

(9)

由Cramer法則解得：

(10)

使用向量混合積公式對解進行改寫：

(11)

通過RaycastHit.Distance語句檢測攝像頭到碰撞點的距離，依據幾何相似關系計算出矩形標注在實際空間中的尺寸，，從而生成三維空間中的矩形標注。

2.3 多終端AR同地無縫協作

在綜采工作面生產全過程中，存在諸多需要面對面交流協作的場景。如作業方案規劃、工作面運行情況探討與分析、采后總結等。

開發完成的多終端AR同地無縫協作功能最大特征為：多個用戶能夠同時看到同一工作空間中的真實與虛擬物體，在相同的絕對位置感知到它們，并通過多種方式實現對虛擬物體的交互，即具備多終端間“無縫銜接”的性質，可實現空間共享。

功能的實現依托于2個前提：第三視角技術與空間狀態同步。第三視角技術可使用戶在自己的AR終端中看到其他終端中的影像。而多個終端各自擁有不同的AR坐標系，空間狀態同步可確保各個終端中的影像在世界坐標系中擁有相同的位置和狀態，如圖7所示。第三視角技術與多設備空間狀態同步均通過空間坐標校準實現。

圖8 空間狀態同步示意

分別使用2種方案來完成不同設備間的空間坐標校準：① 通過ARFoundation中的圖像識別定位功能進行非HoloLens2設備間的空間坐標校準；② 通過空間錨點進行HoloLens2之間或HoloLens2與其他設備間的空間坐標校準。

在ARFoundation平臺中調用AR Tracked Image Manager腳本，多個設備同時掃描基準圖片即可完成多設備的坐標系統一，如圖9所示。

圖9 多設備坐標系統一方法

ARFoundation不支持HoloLens2開發，故將空間錨點作為HoloLens2的空間坐標校準解決方案。在Unity3D中編寫C#程序，調用UnityEngine中的WorldAnchorTransferBatch API在場景中掛載空間錨點，HoloLens2讀取錨點數據即可完成同步。

2.4 多終端遠程AR視頻會議

綜采工作面往往長達數百米，開采過程中如需分享自己當前所在位置工況，或需要專家進行遠程協助以解決專業問題時，為了提高生產效率，異地間遠程協作也十分必要。

AR技術可利用其虛實融合的特性提升傳達的信息量，提高遠程交流效率。Vorraber等將HoloLens作為遠程維護過程中的輔助工具，這種口頭與視覺同步交流的遠程指導方式可以更快地解決問題。

通過構建可用于遠程監控、遠程指示等協同工作的多終端遠程AR視頻會議功能，任一與會者只需一臺AR設備即可在系統中觀看其余與會者所持設備拍攝的實時視頻畫面，把握遠程異地工作人員的周邊工況，并可在視頻畫面中進行2.2節中所述全息標注，實現遠程協作與指導。該系統發揮了直播視頻的即時性與AR全息影像的可視化指導作用，使得遠程異地間的交流更加有效。

其中，多終端間的視頻通話是通過以下方法實現的：在Unity3D中使用WebRTC完成音視頻通訊服務器原型搭建。利用Instance.GetAudio()與Instance.GetVideo()語句捕獲聲音與視頻畫面，利用GetPbAudioPacket()與GetPbVideoPacket()語句提取數據。Serialize()與SendDataByYourNet-work()語句將音視頻數據序列化并上傳至云服務器；GetDataByYourNetwork()與Deserialize()語句從云服務器讀取音視頻數據并反序列化。最后將數據解碼還原為音視頻訊息。

3 基于計算機視覺的綜采工作面AR識別跟蹤技術

目標識別跟蹤是AR的核心技術之一，也是聯系虛擬與真實世界的基礎環節。綜采工作面區域廣、裝備多，實現對綜采裝備的監控必須以準確區分目標對象為前提。針對綜采工作面的特點，采取了基于AR標識與稀疏匹配融合的目標識別跟蹤方法，實現對綜采裝備的識別跟蹤。

3.1 基于稀疏匹配的綜采裝備識別跟蹤

基于自然特征的目標識別跟蹤是利用預先從對象的外觀中提取的自然特征數據與對象的特征數據進行匹配，從而確定對象的識別跟蹤方法。而稀疏匹配是基于自然特征的目標識別中的一種基于特征點的方法，它無需找到圖像中每個像素的對應關系，只需尋找為數不多但足以表征目標物體的顯著特征點。

采煤機、刮板輸送機、液壓支架等綜采裝備形態各異，彼此之間外觀差異顯著，自然特征較為明顯，特征點丟失的概率極低，故采用稀疏匹配的方式對其進行區分。

基于稀疏匹配的目標識別跟蹤流程如圖10所示，包括預處理和識別處理兩部分。在預處理階段中，首先從拍攝目標物體所得二維圖像或三維點云中提取特征點，計算用于特征點匹配的特征點描述符，再計算特征點三維坐標，建立世界坐標系中包含特征量與三維坐標信息的特征點數據庫。在識別處理階段中，同樣需要經過特征點提取與描述符計算，之后將計算得到的描述符與數據庫中的預處理描述符進行比對，完成匹配，并且能夠計算出世界坐標系中攝像頭的位姿。

圖10 稀疏匹配識別跟蹤流程

..基于HoloLens2與Azure Kinect DK的綜采裝備三維點云獲取

綜采裝備三維點云的獲取分為3個步驟：定位掃描、修補掃描及點云注冊融合，具體步驟如下，流程如圖11所示。

圖11 綜采裝備三維點云獲取流程

(1)定位掃描階段，在Unity3D中利用C#腳本和MRTK工具編寫三維重建程序。使用HoloLens2運行程序，利用SpatialAwareness功能對綜采裝備進行掃描與重建。重建完成后，經pcl處理將三維模型轉化為三維點云。

(2)修補掃描階段，在液壓支架群中第5(=1，2，3，……)臺支架頂梁下架設多臺Azure Kinect DK設備，在控制臺中利用k4ARecorder工具進行RGB-D視頻流錄制。提取視頻中關鍵幀，得到RGB圖像和深度圖像組，并轉化為點云坐標。

(3)點云注冊融合，采用直通濾波算法對兩階段獲取的點云進行處理，去除多余點，得到綜采裝備初步三維點云模型。將兩階段點云進行配準，先采用SAC-IA算法進行粗配準，再用ICP算法進行精配準，逐步拼接完善綜采裝備點云模型。

HoloLens2重建范圍廣，覆蓋區域大，可精確反映單臺綜采裝備在裝備群中的位置；而Azure Kinect DK得到的RGB圖像+深度圖像組轉換為三維點云后密度較高，可較真實地反映形狀特征；以定位掃描階段點云為基準，修補掃描階段點云為補充，可得到定位較準確、精細度較高且外觀較真實的綜采裝備點云，圖12為用本方法獲取的實驗室成套綜采裝備點云。

圖12 綜采裝備三維點云

..綜采裝備三維點云特征點提取

綜采裝備三維點云是一個包含無數綜采裝備表面點的稠密點集，想要提高識別跟蹤的準確性，就要提取三維點云中的特征點。選取綜采裝備點云中的角點作為特征點，所謂角點，是指同時具有如下特征的點：① 物體輪廓過渡處的交點；② 對于同一物體，即使觀看視角變化，仍然具備穩定不變的特征；③ 該點附近區域的點在梯度方向與梯度幅值上均存在較大變化。

采取Harris算法對綜采裝備點云中的角點進行提取。Harris算法對物體姿態變化魯棒性好，對旋轉不敏感，檢測精度較高。其主要原理為點云的局部自相關性：以點云中每一點為中心，取一個窗口，描述每點點周圍的環境。如果把某點的窗口向任意一方向移動都會產生較大的窗口變化，則該點會被提取為角點。描述局部本征值變化程度的函數為

(12)

式中，和分別為和方向平移量；為本征值強度，范圍為0～255；(，)為高斯窗口函數。

根據泰勒級數計算1～階的偏導數，最終得到Harris矩陣公式：

(13)

式中，與為在和方向上的偏導數。

根據Harris矩陣計算矩陣特征值與，然后計算Harris角點響應值：

(14)

式中，為系數，通常取0.04～0.06；trace為矩陣的跡；det為矩陣的行列式。

當為局部最大時，該點即為角點，以液壓支架單機為示意，提取到的角點如圖13所示。

圖13 Harris算法獲取的液壓支架角點

..特征點描述符創建與匹配

描述符是將特征點與目標對象進行匹配的一種數據結構，理想狀態下，目標對象的每一點都應具有獨一無二的描述符。選定綜采裝備三維點云特征點后，需要計算特征點描述符。

采用尺度不變特征變換(SIFT)算法計算SIFT特征向量算子作為綜采裝備特征點描述符，該算法生成描述符的步驟如下，生成過程如圖14所示。

圖14 SIFT算法生成描述符過程

(1)以Harris算法提取的特征點為圓心，以1.5為領域半徑，取8×8圖像塊為采樣窗口，其中為DOG檢測算子中得到的尺度因子。

(2)將8×8采樣窗口劃分為4個4×4區域，每個區域內有8個像素點，建立帶有像素點梯度向量幅度與梯度朝向的直方圖。

(3)上述步驟得到一個2×2×8=32維的特征向量，這一特征向量便是標準SIFT特征向量算子。

描述符匹配本質上是最近鄰搜索問題。綜采裝備結構復雜，包含描述符數量較多，若以窮舉搜索的方式進行檢索會帶來較大的時間延遲，故采用啟發式搜索算法K-D Tree對綜采裝備描述符進行檢索，該算法可在對數時間上檢索，大大提升效率，但算法本身缺陷可能導致部分匹配特征丟失。故在其基礎上引入Spill Tree算法，使多個K-D Tree重疊，降低特征丟失概率。

根據描述符匹配結果，將識別處理階段中提取的特征點的描述符與數據庫中描述符實現配對，即可完成對綜采裝備的識別跟蹤。

3.2 基于AR標識的液壓支架群識別跟蹤

綜采裝備的外觀差異使得基于自然特征的識別跟蹤方法對其有出色的適用性，然而對于液壓支架群，其中每一臺液壓支架都具有相似甚至相同的外觀，即自然特征類似，難以通過自然特征被區別。針對這一問題，采用基于AR標識的識別跟蹤方法，以區分支架群中不同液壓支架。

采用Vuforia的Vumark作為AR標識。一個完整的Vumark由輪廓線、邊線、圖像編碼、空白區域與背景5部分構成，如圖15所示。

圖15 Vumark標識組成部分

其中輪廓線是算法最先識別的部分，存在輪廓線時才能繼續識別圖像編碼。圖像編碼是儲存Vumark信息的區域，通過不同的圖形組合儲存不同的信息。通過Vumark實現對液壓支架群識別跟蹤的步驟如下：

(1)制作與液壓支架群中液壓支架數目相同的Vumark，其中每一個Vumark的圖像編碼對應液壓支架群中一臺液壓支架的ID。

(2)將制作完畢的Vumark上傳至云服務器的AR標識數據庫中。

(3)將制作完畢的Vumark打印并粘貼到每臺液壓支架易于觀察的位置。

(4)在AR設備檢測到Vumark時，則會將其與數據庫中的Vumark進行匹配，從而獲取對應的液壓支架ID。

通過基于稀疏匹配的識別跟蹤方法區分綜采三機，通過基于AR標識的識別跟蹤方法區分液壓支架群中不同支架，2種方法相結合，可實現對綜采裝備的完全識別跟蹤。

4 數字孿生綜采工作面AR/VR融合閉環監控技術

近年來，數字孿生技術日趨成為智能制造的源動力之一。相關學者提出一種基于數字孿生的綜采工作面生產系統設計與運行模式，并提出一種基于數字孿生理論的液壓支架虛擬監測方法。ZHU等將AR技術與數字孿生結合，開發了一種可視化數控銑床數字孿生AR應用程序。

基于配置有多傳感器的物理綜采裝備+云服務器+AR數字綜采裝備的數據傳輸鏈，搭建了虛實融合數字孿生數據通道，架構如圖16所示，AR/VR融合閉環監控即在該通道下實現。

圖16 “虛實融合”數字孿生數據通道架構

4.1 視覺與多傳感器融合的數字孿生綜采工作面虛擬監測

筆者探索了一種計算機視覺與多傳感器融合的綜采裝備位姿測量方法，從視覺與傳感器2個渠道獲取綜采裝備實時位姿數據，增加了數據來源。

監測邏輯與圖16中①②③路徑對應。物理綜采裝備可將其上布置的多傳感器實時參數上傳至云服務器，AR設備可從云服務器中讀取數據并與其獲取的視覺數據融合，驅動數字綜采工作面同步運行，實現“物理→數字”的可視化正向監測。

..多傳感器綜采裝備位姿測量

為滿足監測需求，在采煤機與液壓支架關鍵部位安裝了相應的傳感器以獲得綜采裝備位姿信息，如圖17所示。

圖17 綜采裝備多傳感器配置

(1)采煤機搖臂安裝傾角傳感器，牽引部安裝軸編碼器，機身安裝慣導系統。將慣導系統與軸編碼器進行采煤機復合定位。采煤機機身工作姿態可由慣導系統獲得，搖臂傾角可由傾角傳感器獲得。

(2)需實時測量的液壓支架參數包括底座姿態、支架高度、頂梁傾角和護幫板傾角。傾角傳感器可以獲得相應傾角。將傾角與液壓支架結構件長度結合，可計算出支架高度。

(3)由于布置較為困難，且可靠性較低，故刮板輸送機上一般不布置傳感器，而是根據采煤機與刮板輸送機的連接運行關系解算刮板輸送機的實時三維形態。

(4)采煤機與液壓支架群通過通信線與PLC控制箱相連，PLC控制箱通過無線通信模塊將多傳感器獲取的綜采裝備位姿數據上傳至云處理器模塊以供后續分析處理。

理論上，傳感器數目越多，對綜采工作面狀態感知越精確。然而在實際井下，盲目增加傳感器會極大增加運行和維護成本，降低系統可靠性。因此，傳感器的數目往往十分有限。此外，傳感器存在自身基本測量誤差，外界干擾、測量方法等也會帶來一定的系統誤差。如在使用傳感器對刮板輸送機軌跡進行三維形態反演時，測量結果與實際軌跡存在一定偏差。

..計算機視覺綜采裝備位姿測量

針對傳感器的局限性，以AR設備為工具從視覺的角度對綜采裝備絕對與相對位姿進行無接觸測量，不會對綜采工作面的運行造成影響。

(1)基于空間錨點坐標的綜采裝備位姿測量。

如2.2.2節中所述，AR設備可在三維物體表面生成三角網格并添加碰撞體。這可確保錨點放置于物體表面，避免視覺偏差引起的測量誤差。

通過手勢交互在物體表面放置錨點，通過gameObject.transform.position語句獲取錨點三維坐標。通過計算兩錨點間距離或坐標差值獲取液壓支架支護高度、采煤機采高等與長度相關的參數；通過向量運算可獲取與角度相關的位姿參數，如液壓支架護幫板傾角、立柱與頂梁和底座的夾角等。

以液壓支架支護高度為例對基于空間錨點坐標的位姿測量方法進行驗證，如圖18所示。

圖18 空間錨點測量液壓支架支護高度

在液壓支架群中任選一臺支架，使用卷尺手動測量支護高度。保持其他條件不變測量5次，平均測量值為2.84 m。使用HoloLens2分別在支架最高點與地面放置兩錨點，對支護高度進行測量。保持錨點放置位置不變，改變測量者站立位置，在5個不同位置各測一次，平均測量值為2.791 m。測量結果見表1，根據兩方法的平均測量值，基于空間錨點坐標的綜采裝備位姿測量方法相對于手動測量方法相對誤差為1.74%，精度較可觀。

表1 手動測量與空間錨點測量結果對比

(2)基于特征點匹配的綜采裝備位姿測量。

空間錨點測量原理簡單，操作便捷，但存在一個缺陷：測量時需手動選取錨點，若裝備處于運動中，該方法獲取的是錨點選取時刻而非計算時刻的位姿信息，在時間上產生了一定的遲滯，適合對在一定時間內不發生變化的位姿特征進行監測。

為提高監測的實時性，引入基于特征點匹配的測量方法。該方法是在3.1節中基于稀疏匹配的綜采裝備識別跟蹤的基礎上實現的。云服務器數據庫中存有綜采裝備初始狀態的完整特征點與描述符，AR設備可提取特征點、計算描述符，與數據庫中描述符進行匹配，計算該描述符與初始描述符的相對位姿，并與初始狀態下的絕對位姿疊加，即為該時刻描述符的位姿，也即描述符所在裝備的位姿。

以液壓支架護幫板傾角為例對該方法進行檢驗。選取實驗室6臺液壓支架，利用傾角傳感器將其護幫板調整到不同的角度。將傾角傳感器測量值與基于特征點匹配方法的測量值進行對比，結果如表2與圖19所示。試驗數據表明，6組平均誤差為1.551%，能夠滿足精度要求。

表2 傳感器與特征點匹配監測結果對比

圖19 傳感器與特征點匹配監測結果對比

同理，綜采裝備間相對位姿關系也可通過當前兩描述符相對位姿與數據庫中初始兩描述符相對位姿相對比計算而來。得益于特征點匹配的實時性，該方法可實時不間斷地對綜采工作面進行監測。

..視覺與多傳感器融合的綜采裝備位姿確定

“視覺與多傳感器融合”在此是廣義的，即并非通過某種單一固定的方式對視覺與多傳感器數據進行組合運算，而是針對不同綜采裝備的不同位姿參數具體分析，采取不同的融合方式。以下對各綜采裝備及其之間的位姿確定方式分別展開敘述。

(1)采煤機位姿確定。

將慣導系統+軸編碼器復合定位結果與視覺測量結果采用支持向量機(SVM)進行多源數據融合，得到誤差較低的位置測量結果；將慣導系統、傾角傳感器測量數據分別與視覺測量數據進行多源數據融合，生成最終的機身工作姿態以及搖臂姿態傾角測量結果。

(2)刮板輸送機位姿確定。

將基于采煤機運行軌跡的刮板輸送機形態解算結果與視覺測量結果進行SVM多源數據融合生成最終的工作姿態測量結果；由于無法通過傳感器獲取刮板輸送機的位置信息，故單獨采用視覺方法確定刮板輸送機各中部槽位置。

(3)液壓支架位姿確定。

將視覺測量數據作為液壓支架實時位置測量結果；將傾角傳感器測量數據與視覺測量數據進行SVM多源數據融合生成最終的支架各部件姿態測量結果。其中護幫板一般不布置傾角傳感器，故以視覺測量數據為最終結果。

(4)綜采裝備間相對位姿確定。

傳感器通常只能反映單臺綜采裝備的位姿信息，難以獲取多臺綜采裝備間的相對位姿關系，限制了對綜采工作面運行狀態的整體把握，故單獨采用視覺測量結果確定綜采裝備間相對位姿。

..綜采工作面虛擬監測結果可視化

上文所述視覺與多傳感器融合的綜采裝備位姿測量方法可獲取大量絕對與相對位姿數據。但獲取位姿數據的根本目的是將原始數據通過一定的模型轉化為易于理解與接受的信息，達成對綜采工作面運行狀態的直觀把握。

完成了監測數據的分析與處理，最終將監測結果可視化，包含2個部分：位姿與狀態信息可視化、數字孿生工作面三維可視化。

(1)位姿與狀態信息可視化。① 對于綜采裝備絕對位姿，使用AR設備識別綜采裝備，設定On Target Found()語句對應的事件為從云服務器接收該綜采裝備的狀態數據，通過UGUI選擇想要監測的綜采裝備，即可在AR設備中進行顯示；② 對于綜采裝備間相對位姿，不在AR設備中直接顯示數據，而是與云服務器中的數據庫比對，進行模式識別。以液壓支架群為例，數據庫中儲存了理想支護狀態及異常支護狀態的數據集，系統會將當前監測到的相對位姿數據與數據集進行匹配，確定支架的支護狀態并顯示。

(2)數字孿生工作面三維可視化。數字孿生工作面是基于綜采裝備以及煤層地質VR虛擬數字模型構建技術完成的。① 利用CAD三維精細化建模技術建立綜采三機以及煤層地質數字孿生體，并上傳至云服務器中。可從云服務器中對數字孿生體進行調用，將其部署至AR設備；② AR設備可從云服務器中讀取視覺與多傳感器融合的位姿信息，將其接入數字孿生綜采工作面，驅動其與物理綜采工作面同步運行，完成對工作面的AR可視化監測；③ 同時使用AR與VR兩種技術，發揮各自所長，可兼顧綜采工作面的局部與整體，使監測體系得到擴充。

4.2 數字孿生綜采工作面AR反向控制

反向控制是數字孿生的高級階段，只有實現反向控制，才能形成完整的數字孿生閉環。AR反向控制從數據流向看與虛擬監測互逆，對應圖16中④⑤兩路徑。數字工作面的數據變化可由物理工作面控制系統接收并驅動工作面產生動作。數據的分析與處理在云服務器中完成。具體實現原理如下：

(1)可在AR設備中通過UGUI、自然手勢、語音、凝視等AR交互手段對數字綜采裝備進行操控，并將操控過程中數字綜采裝備的位姿狀態實時上傳至云服務器。

(2)物理綜采裝備從云端讀取AR設備上傳的位姿數據，并發送至采煤機控制系統與液壓支架電液控系統，驅動物理綜采裝備與數字綜采裝備同步動作，實現“數字→物理”遠程反向控制。

其中基于UGUI的交互與在集控中心進行控制類似，通過按下AR設備中的UGUI按鈕可遠程實現采煤機牽引啟停、左右牽引、牽引加減速、左右搖臂升降、急停、截割啟動，液壓支架升降柱、推溜、移架等操作。

基于自然手勢的交互是AR特有的交互手段，例如在數字工作面中握持液壓支架立柱進行升降柱、抓取采煤機搖臂進行調高等。對采煤機進行運動學分析求解并運用D-H建模方法對液壓支架進行逆運動學解析，將解析結果以腳本的形式編入數字綜采裝備，使得在應用自然手勢交互時，綜采裝備的運動符合其運動學規律。

5 試驗驗證

在實驗室環境下搭建了煤礦綜采成套試驗系統與綜采工作面比例試驗臺，煤礦綜采成套試驗系統如圖11(a)所示，綜采工作面比例試驗臺如圖20所示。2套試驗系統均按照4.1.1節所述方式布置了傳感器，且分別連接具有Wifi通信模塊的PLC控制箱和Arduino單片機，用于收發數據。依據本文提出的關鍵技術，使用Unity3D引擎開發了AR/VR融合驅動的綜采工作面智能監控應用程序，并集成了同地AR無縫協作與遠程AR視頻會議功能。將應用程序部署至各平臺，并以HoloLens2為主要終端，在通用高效可擴展云協同異步網絡框架下進行測試。

圖20 綜采工作面比例試驗臺

5.1 同地AR無縫協作與遠程AR視頻會議功能測試

..同地AR無縫協作功能測試

采用一臺HoloLens2頭顯、一臺平板電腦及一部手機作為同地AR無縫協作的3個終端，輸入云服務器IP地址接入網絡，完成終端連接。

在完成空間坐標校準后，任一終端可在模型選擇界面中選擇所需的數字綜采裝備應用到場景中，其余終端可在真實世界中同一位置觀察到數字綜采裝備，且任一終端均可對數字綜采裝備進行交互，如圖21所示。

圖21 同地AR無縫協作功能測試

經試驗驗證，該功能易于操作，交互性強，空間中同一AR影像在不同終端中定位誤差在2 cm內，可用于智能監測控制過程中的同地交流協作。

..遠程AR視頻會議功能測試

在煤礦綜采成套試驗系統中測試遠程視頻通話效果，并將平板電腦作為發送端，HoloLens2作為接收端對全息輔助標注進行測試。

兩終端連接到服務器后，任一方點擊對方用戶名即可進行視頻通話呼叫。通話過程中，接收端HoloLens2朝向液壓支架，發送端在接收到的視頻畫面中對支架立柱進行標注并輔以語音講解，接收端HoloLens2中可看到發送端做出的全息標注。測試過程如圖22所示。

圖22 空間全息標注遠程專家實時輔助指導系統測試

經測試，視頻通話過程中畫面全程流暢，幀率較高，延遲較低且標注誤差較小，可用于智能監測控制過程中的遠程交流協作。

5.2 綜采工作面AR識別跟蹤與虛實映射智能監控測試

由于基于計算機視覺的綜采工作面AR識別跟蹤是后續監控的前提，若無法完成識別跟蹤就無法完成監控，故只需對監測控制功能進行測試，便可同時證明識別跟蹤的有效性。

..綜采工作面智能虛擬監測測試

(1)在綜采工作面比例試驗臺對狀態監測信息的可視化進行測試。佩戴HoloLens2對試驗臺進行觀察，應用程序可綜合傳感器與視覺信息將綜采裝備運行狀態直觀顯示在用戶界面，如圖23所示。

圖23 液壓支架異常支護狀態監測

經測試，應用程序能夠完成對綜采裝備的狀態識別，對液壓支架群的咬架、擠架2種異常支護狀態做出了判斷。

(2)在煤礦綜采成套試驗系統、云服務器、數字工作面3者的數字孿生閉環中對監測效果進行測試。為使測試效果更直觀，將數字工作面部署在物理工作面附近，可通過HoloLens2同時觀察到兩者，如圖24(a)所示。

在煤礦綜采成套試驗系統運行過程中用戶可對數字工作面運行情況進行觀察，并在監測界面上獲取位姿信息，如圖24(b)所示。

圖24 AR監測效果驗證

測試結果表明，監測過程體現了虛實融合的特性，具有高度的真實性與沉浸感，且數字工作面的動作與真實物理工作面同步，無明顯延遲。

..綜采工作面AR智能控制測試

(1)在實驗室環境下，使用AR全息UGUI對煤礦綜采成套試驗系統進行反向控制，順利完成了液壓支架升降柱、推溜、移架以及采煤機搖臂調高等操作。

試驗表明，AR全息UGUI界面直觀，操作邏輯簡單，操控效果與集控中心相同，且在靈活性上遠勝于集控中心，可實現隨時隨地遠程反向控制。

(2)使用自然手勢對綜采工作面比例試驗臺進行反向控制，將液壓支架數字孿生體疊加至試驗臺，抓取數字液壓支架立柱并移動，成功驅動液壓支架完成升降柱，如圖25所示。

圖25 通過自然手勢控制液壓支架單機

經試驗驗證，該控制方式能夠遵循運動約束控制綜采裝備單機，交互方式自然，學習成本低，是一種更符合用戶心理的控制方式。

6 應用分析

6.1 應用現狀

在5G技術全面研發應用的大背景下，煤礦企業對于利用VR技術構建數字孿生綜采工作面需求旺盛。目前，本課題組VR虛擬監控技術已在神東礦區某煤礦等取得實際應用，在生產調度中心完成綜采工作面三維可視化監控(圖26)，應用效果獲得煤礦企業的充分認可，顯著提升了煤礦安全高效生產水平。

圖26 綜采工作面VR監控井下實際應用

而AR監控井下應用的主要問題為：市面上還沒有符合井下防爆安全標準的AR設備，無法達到下井要求。因此在實際綜采工作面環境下完成對AR/VR融合監控驗證試驗的條件尚不成熟。未來希望通過產學研合作與協同攻關方式，設計可為AR設備提供防爆功能的裝置及結構，力求盡快使AR設備達到安全要求并實現井下應用。

6.2 應用展望

5G技術能夠很好地滿足云端實時渲染和虛實融合操控等需求，有助于AR技術走上發展的快車道。5G網絡大帶寬、高速率、低時延、廣連接的特點為AR/VR技術重新定義煤礦生產的協同交互創造了天然條件。結合煤礦井下綜采工作面實際需求，提出以下幾種典型應用場景：

(1)井上井下協同巡檢運維。綜采裝備的智能化程度越來越高，系統也愈加復雜，綜采過程中的巡檢運維往往需要多人協作或由遠程專家協助完成。AR/VR融合驅動的綜采工作面智能監控集成了PC端VR與移動端便攜式Web AR/VR，具有完成井上井下協同互動式巡檢運維的能力，為綜采工作面安全高效開采提供了有力支撐。

(2)綜采遠程可視化實時監控。實時性監控是智能化綜采的卡脖子難題，而在5G技術高速率、低時延特性的加持下，AR/VR融合驅動的綜采工作面遠程檢測與控制可兼顧控制的可視化與實時性，從綜采工作面整體與局部實現與井下工況的無縫對接，為遠程實時可視化操控提供指導，進一步完善綜采工作面智能監控體系。

(3)透明化工作面智能開采。AR設備可將掃描、視頻數據充分融入綜采工作面智能開采過程中，加強環境感知與信息集成。AI+AR/VR深度融合的發展趨勢助力了復雜生產環境下的智能分析與決策。隨著多種異構物聯設備的不斷接入，AR/VR融合驅動的綜采工作面智能監控能夠和巡檢機器人、采礦機器人等形成一個協同運行的智能開采大系統，為實現透明化綜采工作面開采奠定堅實基礎。

7 結 論

(1)通用高效可擴展端云協同異步網絡框架下的綜采工作面多監控終端協同工作技術，可以創造一個可供多人、多終端協作共享的基礎環境，在此環境下可有效提高綜采工作面智能監控效率。

(2)計算機視覺的引入可以實現對全綜采裝備的高效穩定識別，為綜采工作面虛擬監測增加了另一重要數據來源，提高了監測的準確性、有效性與穩定性。

(3)AR技術以其虛實融合、環境感知能力強的特點，巧妙彌補了VR監控的不足。集成AR與VR技術的優勢，發揮兩者所長，可形成兼顧綜采工作面局部與整體、虛實融合的全時空綜合監控技術架構，完善了綜采工作面智能監控體系。

(4)使用AR人機交互方式對綜采工作面進行反向控制，在實現傳統控制功能的基礎上可提高控制系統的集成性，降低學習成本與操作難度，是一種契合人機工程學基本思想的控制方式。

(5)在合理設計具備防爆功能的礦井用AR/VR穿戴設備前提下，AR/VR技術有望在5G技術加持下實現井上井下協同巡檢運維、綜采遠程可視化實時監控、透明化工作面智能開采等井下實際應用，敦促煤炭行業生產模式的變革。