履帶式液壓支架機器人數字孿生教學實驗平臺

王學文，王禧龍，沈衛東，劉曙光，謝嘉成

（1.太原理工大學機械與運載工程學院，太原 030024；2.煤礦綜采裝備山西省重點實驗室，太原 030024）

0 引言

隨著“工業4.0”和“中國制造2025”的提出與推進［1］，煤炭行業也結合大數據、云計算［2］、物聯網、第五代移動通信技術（5G）、虛擬現實（VR）等［3］，探尋智慧礦山運行新模式。中國煤炭學會將“煤礦智能化機器人［4］”列為“十四五”期間煤炭十大重點領域之一［5］，鼓勵大力研發應用煤礦機器人，為煤炭生產注入新動能。對于未來從事以煤礦為背景的機器人相關工作學生的培養，實習實踐不可或缺，但是由于煤礦井下生產環境的特殊性，學生難以獲得足夠的機會到生產現場對煤機設備進行相應的學習，而數字孿生［6］技術提供了一種良好的解決方案。

對于機器人數字孿生系統的研究，董靖川等［7］建立了一套并聯機器人數字孿生實驗系統，用于各類機器人控制教學實驗。陳成軍等［8］設計了面向遙操作機器人在線示教的數字孿生系統，結合增強現實（AR）技術，完成機器人的控制。王亮亮等［9］開發了工業機器人數字孿生教學系統，包括離線仿真與機電一體化兩大模式。陳良［10］采用Simpro 仿真軟件，基于數字孿生技術輔助工業機器人實訓教學，培養學生針對工業機器人的操作技能。當前數字孿生教學系統與VR和AR結合較淺，難以將機器人動態特性更加全面、清晰地展示在教學過程中。

針對履帶式液壓機器人數字孿生教學系統［11］的開發，結合VR和AR技術，設計了虛擬監控系統。學生可以通過穿戴式設備更加直觀地了解液壓支架煤礦機器人的機械結構、工作原理和控制原理，將井下復雜環境以及工況更加清晰地呈現在教學任務中。

1 總體框架

履帶式液壓支架機器人數字孿生監控系統設計總體框架如圖1 所示，包括物理系統設計、虛擬監控系統設計、數字孿生AR監控系統設計三部分。

圖1 總體框架設計

（1）履帶式液壓支架機器人物理系統設計。對履帶式液壓機器人物理實體的設計及制作，以滿足機器人實體基于履帶輪系統的靈活行走、基于多傳感器的巷道地形感知與自適應支護為目的。

（2）履帶式液壓支架機器人虛擬監控系統設計。完成虛擬場景搭建，實現虛擬環境下數字孿生體的仿真動作，開發適用于PC 端及AR 設備的人機交互界面，并搭建虛實交互通道，為完成基于數字孿生理論的三維可視化虛擬監控創造條件。

（3）履帶式液壓支架機器人數字孿生AR監控系統設計。完成網絡框架的搭建，制定物理系統與虛擬監控系統之間的通信策略，選擇合理的數據處理與傳輸方法，實現遠程虛實融合同步監測與AR 多模態交互機器人遠程控制。

2 履帶式液壓支架機器人物理系統設計

2.1 樣機結構設計

ZY4000／18／38 型液壓支架各部分設計較為復雜。在實驗模型的構建上，為方便后續實驗，利用SolidWorks軟件對履帶式液壓支架機器人實體零件進行等比例建模，并且完成裝配體的裝配（見圖2）。

圖2 支架機器人三維建模

2.2 物理樣機選材及制作

選用亞克力板作為主體材料；頂梁、后連桿監測選用ADXL345 傾角傳感器，底座角度通過JY901 姿態角度傳感器獲得；支護高度由HC-SR04 超聲波測距模塊測量；頂板壓力監測選用薄膜壓力傳感器；選用MQ型氣體檢測模塊監測巷道里瓦斯的濃度；選用Arduino Uno開發板為感知元件供電并收集傳感信息，然后將傳感數據通過WI-FI傳輸至上位機。履帶式液壓支架機器人物理系統如圖3 所示。

圖3 履帶式液壓支架機器人物理系統

3 履帶式液壓支架機器人虛擬監控系統設計

3.1 虛擬監控系統總體方案設計

虛擬監控系統由巷道支護的虛擬監測、超前支架的虛擬控制、人機交互界面和虛實交互通道等組成，如圖4 所示［12］。虛擬監控系統的基礎是構建真實巷道和巷道支護設備的數字孿生體，搭建虛實交互通道。

圖4 履帶式液壓支架機器人虛擬監控系統

虛擬監測是基于實時傳感數據，驅動虛擬設備運行，實現對真實工況的直觀再現和裝備運行參數的可視化，即實控虛；虛擬控制是通過虛擬場景控制腳本和虛實交互通道，實現對虛擬設備和物理設備的同步控制，虛實設備分別對虛實巷道煤層頂底板進行自適應支護，即虛控實；人機交互界面對虛實設備的控制提供接口，并對虛擬設備的運行參數進行可視化展示。

3.2 虛擬場景構建

選用Unity3D軟件構建虛擬監控場景。在ug 中對煤層裝備進行三維建模，通過3DMAX 轉換文件格式，再將FBX 文件導入Unity3D 軟件的虛擬場景中，完成虛擬模型的構建。在Unity3D 軟件中，基于各零部件的父子關系，對機構進行運動解析，編寫控制腳本，實現虛擬支架推進支護等功能。建立可視化以及按鍵控制的圖形用戶界面（GUI），實現人與系統的雙向交流與互動。配置多串口通信進行虛實信息交互。虛擬模型效果如圖5 所示。

圖5 履帶式液壓支架機器人樣機虛擬模型

3.3 虛擬監測與控制子系統設計

虛擬監控場景是以支架運行仿真為基礎，由傳感數據、傳感數據處理腳本以及虛擬監測與控制腳本集成實現。

傳感監測數據包括支架實時坐標、支架高度、后連桿傾角、護幫板角度、頂梁俯仰角以及底座的俯仰角、橫滾角和偏航角，通過腳本將傳感信息處理后數據賦值給虛擬樣機的驅動變量，實現虛擬樣機的實時數據驅動。

虛擬監測通過Serial.Controller.cs、data.cs 和ZhiJia＿Monitor.cs 3 個腳本實現。Serial.Controller.cs負責與下位機建立串口通信通道，data.cs負責傳感數據的分析和處理，ZhiJia＿Monitor.cs負責虛擬樣機的數據驅動。虛擬控制的實現主要通過ZhiJia＿Control.cs和Serial.Control.cs腳本實現。腳本Serial.Controller.cs負責與下位機通信，將控制指令傳達到物理系統；點擊控制“模式按鈕”，ZhiJia＿Control.cs 腳本啟用，ZhiJia＿Monitor.cs 腳本禁用，支架進入控制模式。

通過虛擬監測與控制面板對應操作界面，可控制虛擬樣機實現對應操作，并通過虛擬控制串口通信通道向下位機發送控制指令，控制對應支架物理樣機執行對應操作。實現過程如圖6 所示。

4 履帶式液壓支架機器人數字孿生AR 監控系統設計

4.1 AR監控系統總體方案設計

構建了AR監控系統邏輯模型，由數據采集層、數據傳輸層、數據中心層和應用系統層組成，如圖7 所示。數據采集層為本系統的監控終端，即履帶式液壓機器人物理系統；應用系統層的用戶為AR 監控客戶端，即AR設備；數據中心層實現數據采集終端和監控系統的信息交互。

圖7 數字孿生AR 監控系統邏輯模型

虛擬監控系統需要對多個遠程終端設備進行監控，為了減少線程阻塞，提高通信服務的輸入／輸出（I／O）性能。無線遠程監控系統的通信服務器采用異步編程模型AMP，利用.NET 提供的SocketAsyncEventArgs類異步接收客戶端數據，使用緩沖池和連接池提高系統效率。采用esp8266 WI-FI 模塊實現Arduino 與AR 設備的無線通信，集成Uduino插件并發布至AR設備的Unity3D監控程序。通過IP地址（互聯網協議地址）及端口訪問esp8266 WI-FI 模塊，構建虛實雙向交互通道，為AR 監控的實現提供基礎。

4.2 基于AR技術的虛實融合和監控系統實機開發

采用基于自然特征檢測的目標識別跟蹤方法實現AR設備對履帶式液壓支架機器人的識別和跟蹤。在實時交互方面，開發了多模態交互方法，集成手勢操作與語音命令2 種交互通道。

（1）手勢操作。HoloLens2 提供了底層應用程序編程接口（API）和高層API，可通過這些API滿足不同的手勢定制需求。底層API能夠獲取手的位置和速度信息，高層API則借助手勢識別器識別預設的手勢，如圖8 左圖所示。

圖8 手勢與語音交互開發

（2）語音命令。由UnityEngine.Windows.Speech命名空間設定語音命令關鍵詞，并設定Action 為Trigger，將關鍵詞與機器人的相關動作行為相對應，如圖8 右圖所示。當用戶說出關鍵詞時，預設的動作就會被觸發。

將開發完畢的系統打包為通用Windows 平臺（UWP）應用程序以兼容HoloLens2，并通過Visual Studio編譯將程序部署至HoloLens2 真機以供測試。HoloLens2 可準確識別真實場景中的履帶式液壓支架機器人，并將數字孿生體疊加到物理系統上。通過手勢操作或語音指令，操作者可與AR 場景中的全息用戶界面（UI）進行交互，實現對履帶式液壓支架機器人的非交互式監控，如圖9 所示。

圖9 HoloLens2下的數字孿生AR監控系統畫面

5 履帶式液壓支架機器人數字孿生監控系統集成與測試

5.1 子系統功能測試

布置煤層模型和支架機器人，確保機器人供電和接線正常；布置超帶寬（UWB）定位基站并進行定位初始化；在控制器上安裝無線通信模塊，建立與計算機的無線通信；通過上位機發送控制指令至支架機器人，依次控制履帶輪前進、后退、轉彎以及支架升降柱和頂梁自適應頂板的功能。機器人在上位機發送指令后可實時執行控制指令，而且上位機可實時接收傳感系統的機器人位姿數據，如圖10（a）所示。結果顯示，無線通信流暢穩定，機器人執行機構運行正常，傳感系統可正常工作，滿足系統設計要求。

圖10 分系統功能測試

虛擬機器人和物理機器人動作同步，兩者均行走至虛實煤層的相同位置，并且姿態一致，如圖10（b）所示。虛擬監測面板實時顯示支架位姿信息。測試結果表明，虛擬監控系統滿足虛實同步性要求。傳感器能夠準確地記錄實時位置與傾角變化，系統的位姿參數準確性滿足系統監測需求。

操作人員頭戴AR 交互設備，通過手勢交互點擊控制按鈕并拖動slider 滑條，控制物理機器人的行走以及支護動作。AR監控第一人稱視角如圖10（c）所示。虛擬煤層裝備和物理煤層裝備同時空間疊加，物理樣機跟隨交互手勢完成指定動作，數字孿生體基于實時傳感數據完成AR 監測任務，同時AR 監測面板實時刷新并顯示物理機器人的實時位姿信息。測試結果顯示，數字孿生AR監控系統虛實疊加效果清晰，虛實設備運行實時同步，手勢交互方式可靠，滿足數字孿生AR監控系統的預期設計要求。

5.2 整體運行測試

操作人員通過數字孿生AR 監控系統對物理系統進行手勢控制，通過虛擬監控系統對物理系統進行監測。測試結果如圖11 所示。物理機器人按照指令完成行走和支護，并且虛擬監控場景與真實支架實時同步運行，虛擬監測面板可實時展示物理機器人位姿信息。結果表明，虛擬場景運行幀率流暢，各子系統間通信流暢且具有較好的實時性和同步性，達到系統的預期設計目標。

圖11 整體系統測試

6 結語

履帶式液壓支架機器人數字孿生系統目前已用于本科生教學和研究生科研。實驗臺包括機器人樣機、各類傳感器、HoloLens2 頭戴式AR設備。學生和研究人員可通過此實驗平臺更加直觀地體驗VR、AR 以及數字孿生系統在機器人設備上的應用。

·名人名言·

科學家必須在龐雜的經驗事實中抓住某些可用精密公式來表示的普遍特征，由此探求自然界的普遍原理。

——愛因斯坦