基于5G+AR技術的智慧礦井巡檢方案設計

王 萌

聯通（江蘇）產業互聯網有限公司

0 引言

我國煤炭資源賦存條件復雜，瓦斯、火、煤塵等自然災害嚴重，煤礦進入深部開采時，高應力、高地溫、高巖溶水壓問題日趨突出，煤巖極易大規模失穩，災害形式由單一災害轉變為多種災害耦合。目前針對礦井巡檢，巡檢人員多配備多種氣體檢測儀以及手機等裝備，數據多為手工記錄，操作繁瑣且數據精度不高，實時性較差，可視化程度較低，無法對礦井面臨的災害進行預警，巡檢人員生命安全同樣容易受到威脅。

目前，我國一些煤礦正在開展智能化建設工作。相關文獻討論了無線傳感器網絡在煤礦井下環境參數，如礦井瓦斯、溫濕度、粉塵、火災、頂板塌落監測中的應用。提出了基于MSP430和ZigBee設備設計的一套可通過無線傳感網絡進行液壓支架壓力監測的微型監測系統。針對煤礦井下設備群同時作業時設備監測數據高并發導致的低傳輸效率問題，提出了一種煤礦設備狀態監測系統設計方案。提出了基于“互聯網+”的遠程互聯優勢開發的具有遠程診斷和預警的煤礦水文監測系統，系統實現了鉆孔水壓、管道流量、礦井水質等水文參數的井地一體化監測。現有的方案設計多著眼于煤礦環境的異常監測，對于工作人員日常的井下巡檢和發生異常后故障的處理修復尚沒有完善的技術手段。

因此，本文提出一種基于5G+AR技術的智慧礦井巡檢方案，利用5G網絡特性以及AR（Augmented Reality，增強現實）系統，實時收集礦井現場數據，在平臺側對多源數據進行融合，并與AR眼鏡進行結合，對數據進行可視化展示，且對設備常規操作流程進行三維展示，解放運維人員雙手，輔助運維人員對礦井進行日常巡檢。在遇到礦井應急搶修時，通過拍照攝像和語音通話功能，與后臺技術人員對隱患點和故障點進行交互，提高礦井巡檢和生產效率，實現礦井巡檢智能化。

1 基于5G+AR技術的礦井智能巡檢

1.1 應用架構

2019年11月，工信部印發《“5G+工業互聯網”512工程推進方案》。2020年3月工信部再次印發《關于推動工業互聯網加快發展的通知》，打造5個產業公共服務平臺，遴選10個重點行業，形成至少20大典型工業應用場景。其中，電子設備制造、裝備制造、鋼鐵、采礦、電力5個行業率先發展，助力企業降本提質和安全生產。因此，本文以5G+工業互聯網出發，提出一種基于5G+AR技術的智慧礦井巡檢方案的應用架構，如圖1所示。

圖1 基于5G+AR技術的智慧礦井巡檢方案的應用架構

應用架構的最底層是由多種傳感器構成的數據感知層。甲烷傳感器、溫度傳感器、聲音傳感器、煤霧傳感器用于收集井下環境數據；雙目視覺傳感器由3D成像單元和運動路徑規劃單元組成，復原井下環境的3D立體信息，在無GPS（Global Positioning System，全球定位系統）的環境下提供高精度定位功能。數據感知層的作用是采集數據，把氣體濃度、溫度、聲音、3D環境建模等實際的量轉換成數字信號供后續處理。通過5G網絡將數據感知層的數據傳輸到平臺層，平臺層負責數據匯集與處理，是應用層的有力支撐。

AR可視化平臺具備工業級實時渲染引擎，支持高質量數字模型的可視化渲染方式，適配AR眼鏡等顯示設備，同時支持5G及云應用。物聯網平臺將通過5G網絡上傳的各類傳感器與井下設備收集到的數據進行分析、判斷、處理、整合，提供礦井環境及設備運行的實時在線監測及故障告警等功能。同步定位與地圖構建技術（Simultaneous Localization And Mapping，SLAM）被較多應用在機器人技術中，其工作原理是利用傳感器數據在未知環境中建立實時定位和環境地圖。多年來，出現了多種使用不同傳感器的新方法，如聲吶，激光雷達和攝像機。在該井下巡檢方案中，采用在AR眼鏡上安裝攝像頭的設計方式，基于SLAM場景定位服務來獲取周圍環境信息，從而為工作人員指引標準巡檢或直達故障地點的路線。

基于數據感知、多平臺的能力底座，打造礦井智能巡檢方案的三大應用模塊，實時監測系統通過監測、比對、分析各類傳感器與井下設備收集到的數據，如有超出正常范圍的情況，將發出告警信息到中控室，同時生成任務單推送到井下巡檢系統。井下巡檢系統分為日常巡檢和應急搶修兩種工作模式，日常巡檢重點在AR眼鏡上展示巡檢人員周邊設備及環境狀態數據，應急搶修側重利用專家遠程指導系統與技術人員的溝通協作及信息交互。

1.2 5G技術與礦井巡檢場景的結合

目前多數礦井下的數據實時性差，巡檢人員無法實時獲得巡檢標準信息，更難定位故障，管理部門無法及時得到巡檢的統計分析結果，不能保證管理的準確性和連貫性，且受限于網絡通信技術及終端裝備技術，專家無法為現場作業人員提供技術支撐。

在智慧礦井巡檢場景下，對通信方式所能達到的數據傳輸量以及時延程度要求很高。Wi-Fi等無線通信技術雖在日常生活中被廣泛應用，但因為傳輸距離短、穿透性差、不穩定等問題，不適用于礦井作業環境。此處選取4G、5G這兩種常見的無線傳輸方式從傳輸速率、時延、連接密度等多個角度進行對比，如表1所示。

表1 4G/5G能力對比

由此可以看出5G網絡在高帶寬、低時延、廣連接等方面的優勢，適合用于智慧礦井巡檢等場景。在高帶寬特性方面，依賴其10Gbps以上的傳輸速率，5G網絡可為現場環境3D建模、云渲染等應用提供基礎支撐；在低時延特性應用方面，依賴其近1ms的超低時延，5G網絡能夠為實現巡檢人員與專家遠程音視頻連線、實時獲取設備的運行狀態數據和周邊環境數據等，對時延要求高的功能模塊提供支撐。在廣連接特性方面，依賴其每平方公里百萬級的并發接入能力，5G網絡可廣泛覆蓋井下大量的傳感器及設備，助力實現全面的數據感知。

因此，5G無線通信技術契合當今礦區對于數據傳輸及處理技術的需求，能夠良好解決常規有線網絡遇到的問題。

1.3 AR技術在礦井巡檢場景下的應用

增強現實技術，是一種實時地計算攝影機影像的位置及角度并加上相應圖像、視頻、3D模型的技術。它以交互性和構想為基本特征進行計算機高級人機交互。AR不僅展現了真實世界的信息，而且將虛擬的信息同時顯示出來，兩種信息相互補充、疊加，包含了多媒體、三維建模、實時視頻顯示及控制、多傳感器融合、實時跟蹤及場景融合等新技術與新手段。利用AR設備，施工人員可以把真實畫面與電腦標準圖形、信息、數據多重合成在一起，便可進行實時比對和判斷，對生產制造過程進行監控。但因AR技術需要實時進行視頻交互，其時延要求低至19.3ms，同時對井下環境通過AR眼鏡進行3D建模、云渲染，對于數據計算和傳輸帶寬要求每秒10Gbps，5G網絡為AR眼鏡功能的實現提供了網絡基礎支撐，因此本次采用5G+AR技術，輔助巡檢人員便捷、高效、安全地進行井下巡查和設備故障維修工作。

目前AR系統主要通過AR眼鏡設備實現，AR眼鏡以佩戴者第一視角進行交互，將虛擬信息以及真實世界信息展示在佩戴者的視場中，為佩戴者提供增強現實的感官體驗。其主要包括現場信息數據采集、AR算法處理實現虛實結合以及信息輸出這三部分，圖2為AR眼鏡工作原理框架圖。

圖2 AR眼鏡工作原理

AR智能眼鏡通過攝像頭、傳感器等設備，對真實世界信息進行實時感知、采集，同時構建虛擬場景信息，并傳輸到眼鏡的芯片中，再通過跟蹤定位技術和場景渲染等運算，將虛擬影像信息疊加到真實場景信息上，最后通過顯示輸出設備進行場景的呈現。圖像的位置和角度能夠隨著佩戴者的視線而變化，可以通過手勢、語音等進行交互，感受沉浸式視覺體驗。

2 基于5G+AR技術巡檢技術的應用

2.1 5G組網方案

5G組網方案的目標是搭建能夠實現智慧礦井巡檢的專用網絡，支持AR眼鏡設備的大數據傳輸，和甲烷傳感器、溫度傳感器等物聯網設備的智能互聯。系統總體架構如圖3所示。

圖3 煤礦5G專網組網方案

5G系統采用礦用5G核心網，所有應用及控制面信息直接在煤礦園區內閉環，保障數據不出煤礦園區。與運營商大網連接，保證與外網語音和數據的互聯互通。

在百余米深的礦井下覆蓋5G網絡施工難度和強度非常大，井下粉塵、陰暗、潮濕、噪音等都是影響施工進程的因素，且施工人員必須穿著厚重的防護服、戴著礦燈、攜帶特殊裝置等，這些都會增加施工難度。另外礦井下由于粉塵密集、可燃性物質多，嚴禁架設功率較大的通訊設備，所以對于井下布放的通信設備的標準十分嚴苛。

井下建設5G網絡采用定向天線覆蓋；巷道交錯區域，在交叉路口設立一個分站，并采用多個天線進行分別覆蓋；井下硐室區域采用室內部署基站的方式覆蓋；礦用基站控制器放置在變電所等空間足夠的區域。所有基站的供電采用獨立的UPS供電方式，每套設備配置一臺UPS電源就近接入。

井下5G網絡建設用到的主要設備有礦用隔爆兼本安型無線基站、內置BBU或HUB設備的礦用隔爆型基站控制器。礦用隔爆兼本安型無線基站（RRU），支持4/5G無線基站模塊、光/電及電/光轉換器、混合電路等功能模塊，支持現射頻光信號和射頻電信號之間的雙向轉換功能。內置BBU設備的礦用隔爆型基站控制器，實現井下5G無線基站的接入。內置設備集中管理整個基站系統，包括操作維護、信令處理和系統時鐘；提供基站與傳輸網絡的物理接口，完成信息交互；提供與OMC連接的維護通道；完成上、下行數據基帶處理功能；提供和環境監控設備的通信接口，接收和轉發來自環境監控設備的信號，以及礦用隔爆兼本安型無線基站的上行數據的匯聚處理。內置HUB（遠端匯聚單元）設備的礦用隔爆型基站控制器也用于實現井下5G無線基站的接入。內置設備作為遠端匯聚單元，主要負責井下5G無線基站設備的接入，并將5G無線基站數據上傳至礦用隔爆型基站控制器（內置BBU）設備。

2.2 5G+AR智慧礦井巡檢

利用AR系統具有真實世界和虛擬世界信息的集成能力、實時交互性、能夠在三維尺度空間中增添定位虛擬物體的三大特點，本次提出了一種基于5G+AR智慧礦井巡檢方案，分為日常巡檢和應急搶修兩種工作模式。

針對日常巡檢，巡檢人員根據工作安排進行井下例行巡檢，進入礦井環境后，佩戴的AR智能眼鏡為其指引標準巡檢路線，避免工作人員誤入危險區域。當巡檢人員處于井下設備附近指定的監測區域時，AR眼鏡界面上將展示該設備的運行狀態數據（設備型號、設備出產日期、運行時長、故障歷史記錄等）和周邊環境狀態數據（溫度、濕度、甲烷濃度等），巡檢人員根據工作經驗分析AR眼鏡中呈現出的數據，如有隱患可做到早發現早解決。

針對應急搶修，甲烷傳感器、煤霧傳感器、溫度傳感器、聲音傳感器等探測到的井下環境數據以及井下設備運行狀況通過5G上傳到實時監測系統，系統將其與預設指標進行比對，如有超出正常范圍的情況，將發出告警信息到中控室，同時生成任務單推送到井下巡檢系統。巡檢人員下井后沿著AR眼鏡上指引的路線到達故障發生地點，根據數據異常情況，分析故障來源并修理。如仍無法解決，可選擇聯系專家遠程指導，實時音視頻連線，讓專家與巡檢人員共享同一視角，便于其查看現場狀況，另外專家可以在設備內部拆解的3D模型上標注涂鴉，幫助巡檢人員定位故障點。

2.3 智慧礦井巡檢測試應用

在礦井下巷道和綜采工作面部署防爆5G基站設備，使得靠近基站區域上行速率提升20%-60%，偏遠弱覆蓋區域可提升最高300%。本文選擇某檢修場景對5G+AR技術進行測試驗證。

圖5 多方語音通話測試

圖6 文字圖片推送

圖7 指示標記顯示

圖4-圖9為測試圖片，系統可運行在智能眼鏡、智能手機、PC電腦等多終端設備多平臺系統上進行可視化遠程協助，遠程專家可以與前端的工作人員進行多方實時語音通話，專家可以推送圖片、文字消息到前端智能手機/AR眼鏡的屏幕上，技術資料圖片文檔可以共享給前端工作人員進行查看，與前端工作人員協同工作。同時，技術專家在前端用戶實時回傳的視頻畫面上，使用鼠標點選指定位置或部件，即可將標記信息發送到前端智能眼鏡屏幕同樣位置上，使用這種清晰明確的交互方式，將有效提高前后方協調工作效率和溝通便捷性。

圖4 AR眼鏡跨平臺展示

圖8 桌面共享

圖9 多方協同會商

此外，遠程技術專家可以邀請其他專家加入視頻會商，移動端的專家可在手機上觀看現場視頻，共同討論解決方案，指導一線人員排除故障，使得一線人員無須過多操作，專心故障的排除而無須分心。

3 結束語

本文針對礦井巡檢現狀，打造了一套基于5G+AR的巡檢系統，搭建了視頻采集、智能分析、全面感知、設備健康管理以及VR高清直播等智慧應用，解放運維人員雙手，并對現場情況進行可視化實時展示，進一步推進5G+智慧礦山建設，實現傳統行業與新一代信息通信技術的融合創新。本文僅是將5G與AR技術進行融合提出的智慧巡檢系統，未來將依托5G專網架構，實現煤炭生產業務的閉環，這樣既可以實現數據安全的保密性要求，同時還可以提供煤礦生產所需的多種算力，這些智能化應用和煤炭的生產環節完全打通融合之后，智慧礦井時代將全面實現。