基于混合現實的地下礦山設備巡檢系統研究

馬新博 荊洪迪 柳小波 于健洋 孫效玉

(1.東北大學智慧礦山研究中心,遼寧 沈陽 110819;2.中國科學院沈陽自動化研究所,遼寧 沈陽 110169)

近年來,國家明確要求加快建設數字化、智能化、信息化、自動化礦山,國家“十四五”規劃綱要中指出“推動互聯網、大數據、人工智能同各產業深度融合,推動傳統產業高端化、智能化、綠色化”,不斷加快對礦業領域的改革,智慧礦山建設已經成為傳統礦山未來發展的必然趨勢,傳統的生產模式也亟待優化。

成套化、自動化、大型化是礦山設備的未來發展趨勢,而礦山設備保持穩定運行對于維持礦山經濟發展起著重要的作用,因而有必要進一步重視井下設備巡檢工作并提出更高的要求。井下作業需要配備大批巡檢人員對故障設備進行及時有效地維護,因此,地下礦用設備巡檢成為維持礦山系統正常工作必不可少的一環[1]。在傳統礦山生產過程中,設備維修環境惡劣、維修耗時問題顯著、檢修不到位、維修不及時、維修人員專業知識儲備不足等情況經常出現,并且一線熟練工程師培養周期較長,人工成本較高且容易流失,現場處置受人為經驗主導,在一定程度上影響了作業效率,進而影響了礦山效益。

目前,增強現實(Augmented Reality,AR)、虛擬現實(Virtual Reality,VR)和混合現實(Mixed Reality,MR)技術已逐漸成熟并在醫療、軍事、教育和建筑等領域得到了廣泛應用[2-6]。其中MR技術將計算機產生的模擬信息帶入用戶的感受范圍內,并以真實場景為主體,以計算機搭建的信息平臺以及虛擬物體為客體,讓用戶沉浸在真實與虛擬的交互過程中[2]。LINDGREN等[7]通過研究中學生在混合現實系統中學習重力以及行星運動,研究得出,在該系統中可以帶來顯著的學習收獲、更高的參與度以及對科學更積極的態度;JUAN等[8]研究表明MR技術將是對礦業與冶金工程專業人才教育的新方法。在國內,混合現實技術主要在模擬現場教學和設備的維修輔助等方面得到應用。賀凱等[9]將MR技術應用于礦用電氣設備防爆教學實操演練;李喆等[10]利用混合現實技術實現了核電設備的維修輔助;在電網應急作業過程中,劉建明等[11]將混合現實技術與電網搶修的關鍵流程實現了融合,使得電網搶修作業效率得到了改善。MR設備可以輔助工程師完成檢修工作,但未進行巡檢路徑規劃和檢修記錄更新等,只完成巡檢流程的一部分工作,因而其實用性有待提高。目前,國內外基于混合現實的巡檢設備、系統研發正處于初步探索階段,尤其在礦山領域的研究仍較少且缺少相對成熟的案例。

混合現實技術具有的各種特點和巨大的應用潛力,使得它能夠有效提高地下礦用設備的巡檢效率,巡檢人員通過MR眼鏡可以直觀地獲取設備模型以及相關信息,便于做出相應的檢修指導,非專業人員也能夠獨自完成設備巡檢工作。本研究結合傳統礦用設備維修輔助方法和巡檢工作流程,將混合現實技術應用于移動端設備,設計了基于混合現實的地下礦用設備巡檢系統。該系統利用頭戴式混合現實設備實現了巡檢工作中的設備信息化管理和可視化操作,有助于解決巡檢周期長、巡檢人員業務能力有限、工作流程繁瑣及信息交接不充分等問題,從而可以顯著提高巡檢工作效率。

1 系統框架設計

本研究設計的地下礦用設備巡檢系統的總體框架分為數據層、開發層及應用層,如圖1所示。

圖1 地下礦用設備巡檢系統框架Fig.1 Framework of the inspection system of underground mine equipment

(1)數據層。利用SQL Server將地下礦山井巷路徑節點、硐室信息等錄入基礎數據庫,以實現路徑導航最優化計算及設備信息可視化管理的調用和更新;將檢修指導流程、檢修說明、專家意見指導等錄入檢修意見指導庫,有效輔助檢修工作。

(2)開發層。系統開發內容主要包括MR場景搭建和系統功能模塊開發。MR場景搭建包括在Unity3D中完成模型建立和環境建立,并實現虛擬信息與使用者的交互;根據巡檢工作實際需求設計開發五大功能模塊,通過構建操作界面將數據庫信息傳遞給使用者,同時建立一套完整的系統以增強使用者在混合現實終端設備上的交互體驗。

(3)應用層。將開發的系統模塊通過C#語言進行二次開發實現有邏輯、有層次的控制,并將各功能模塊整合為系統應用程序,通過Visual Studio將解決方案部署至混合現實終端設備進行真機測驗和系統優化。

2 MR場景搭建

2.1 混合現實設備選擇

為實現該系統的功能開發目標,本研究通過對幾大主流混合現實設備進行對比并選取HoloLens為該系統的終端設備。微軟推出的HoloLens眼鏡是MR的代表設備之一,可以使用戶通過鏡片,采用語音、手勢和視線這種全新的交互方式進行虛擬和現實之間的沉浸式交互體驗[12]。混合現實設備參數對比見表1。

表1 混合現實設備參數對比Table 1 Comparison of the parameters of MR device

2.2 模型建立

該系統的模型構建基于3ds Max-Unity3D-Holo-Lens平臺實現,使用3ds Max軟件搭建井巷、礦用設備及標志物三維模型,借助第三方虛擬現實平臺Unity3D進行數字孿生模型構建,并結合MR技術將數字孿生模型以HoloLens眼鏡為載體進行數字信息呈現,以全息視覺體驗數字信息模型的方式為巡檢人員提供維修指導服務。創建設備3D模型時,設備的拆裝過程要進行過程建模,采用層次/關系模型方法使得創建的設備部件結構層次清晰、父子等級關系明確,來避免邏輯不清等人為不必要的麻煩[13]。標志物模型的建立選取箭頭、警示等醒目易于察覺的符號,以簡單化、透明化的風格使用戶方便接受。將傳統的二維礦山數據信息存儲在數據庫中,將CAD設計圖以1∶1的比例在3DMine軟件中進行三維重建,并在Unity3D軟件中進行透明化處理,以便各功能模塊方便獲取其位置及形狀信息,且不影響用戶在實際應用中的視覺體驗。

2.3 環境搭建

在Unity3D軟件中使用MRTK(混合現實工具包),使攝像機能夠將虛擬場景投影到鏡片上,Holo-Lens設備通過全息投影方式讓用戶能夠體驗虛實融合的混合現實視覺效果。用戶頭部所戴眼鏡位置即為Unity3D中攝像頭的位置。HoloLens眼鏡通過慣性傳感器、環境感知攝像頭和深度攝像頭來跟蹤用戶頭部的方向和位移。為使兩眼的屏幕上各自渲染適合的畫面,使用戶看到非常真實的全息景象,工程設置對話框中需勾選“VR Support”,攝像頭需設置“ClearType為Solid Color”,設置顏色為純黑(RGB:0,0,0)。

2.4 人機交互設計

HoloLens眼鏡是MR的代表設備之一,使用者可以通過鏡片,采用視線跟蹤、手勢識別、語音交互這種全新的交互方式進行虛擬和現實之間的沉浸式交互體驗。

(1)視線跟蹤(Gaze)。即凝視點為全息透鏡的中心點,用戶的視線被全息透鏡中心的光標檢測跟蹤。內置紅外攝像頭根據用戶的視線判斷用戶的頭部位置及朝向并發射射線,此時,在光標處可同時獲得碰撞點的3D位置參數和碰撞對象。

(2)手勢識別(Gesture)。以點擊手勢和綻放手勢為例,點擊手勢分為準備和點擊兩個步驟,用來進行虛擬對象選取操作。可以采用Air Tap點擊手勢來觸發圖形用戶界面中的功能按鈕或進行當前界面的拖拽;綻放手勢分為準備和返回兩個步驟。

(3)語音交互(Voice)。主要采用兩種交互方式,第1種是用來進行語音提示的不具備真正交互意義的語音交互技術;第2種則是具有真正交互意義的語音輸入與識別處理式交互,可以通過關鍵字特定語音輸入的方式觸發相應功能,實現語音交互。

3 系統功能模塊及關鍵技術

地下礦用設備巡檢系統功能主要有巡檢路徑導航、設備標識牌識別、設備信息管理、檢修意見指導和需檢部件空間標記五大功能模塊,如圖2所示。該系統以HoloLens為載體,通過視覺SLAM算法[6]得到大面積的空間信息完成自定位,選擇目標點進行巡檢路徑導航;再通過掃描識別標識牌,獲取當前設備管理信息進行查看和更新;通過 GGV(Gesture、Gaze、Voice)人機交互,調取三維模型和動畫,實現對設備的旋轉、放大、拆解、裝配等虛擬操作;調用檢修意見指導庫提供相應的檢修意見;移動預設指示物對需檢部件進行空間標記。

圖2 系統功能流程示意Fig.2 Schematic of system function flow

3.1 巡檢路徑最優化導航

巡檢路徑的最優化導航是該系統巡檢工作的第一步,巡檢人員在該功能界面手動選擇需要前往檢修的硐室或設備,系統自動規劃出本次巡檢的最優化路徑,同時路線指引箭頭在地面亮起閃爍提供可視化導航。井巷之間相互連通,形成了一個具有網絡特征的三維空間。利用Unity3D編輯器對井下各巷道兩端的節點進行編號,并將編號通過插值方法將其對應的位置坐標進行存儲,考慮到地下礦山操作人員位置的變動性,采用Floyd動態規劃算法尋找給定的加權圖中多源點之間的最短路徑[14-17]。地下礦山可視化路線導航功能如圖3、圖4所示。

圖3 巷道三維可視化模型Fig.3 3D visualization model of roadway

圖4 可視化路線導航功能模塊Fig.4 Visual route navigation function module

3.2 設備檢測及ID識別

該模塊使巡檢人員可以通過查看標識牌直接獲得該設備的3D虛擬模型及數據庫中存儲的信息面板,使其可以快速、直觀地查看和了解檢修記錄及設備狀態,便于從整體上把握該設備的狀況,有效提高巡檢工作效率。

使用Vuforia數據庫錄入礦用設備標識牌的三維空間特征點并獲得指定的ID,在Unity3D軟件搭建的場景中嵌入Vuforia模塊,利用HoloLens攝像機檢測和跟蹤標識物特征點,并根據標識牌的位置,調用并顯示數據庫中的信息。此處采用圖紙打印后近90°豎直放置來模擬工程實際情況,標識牌模型空間信息采集情況如圖5所示,圖中采集點為Vuforia掃描標識牌后采集的空間特征點。

圖5 標識牌模型空間信息采集Fig.5 Collection of the spatial information of the identification card model

3.3 檢修意見指導

檢修意見指導系統的知識庫來源于傳感器采集故障類別數據、設備檢修技術手冊等,主要包括工作原理、各零部件名稱及故障類型、易損部件維護及更換等設備信息,結合專業檢修人員工作經驗給出相應的檢修指導方案,生成檢修指導流程動畫。利用SQL Server數據庫完成數據的存儲、更新以及Unity3D之間的數據交互[18-19],通過C#腳本調用數據庫信息完成在HoloLens設備上的信息展示。

3.4 需檢部件指示物標記

設備易損、易壞部件和本次工作中因工具、零件不足等問題未能完全完成檢修的部件,需要進行指示物的標記,以便下次開展巡檢工作時能及時注意到并處理。在該系統中,虛擬3D模型能夠對現實空間中的設備進行精確標記而不會對其進行任何物理上的破壞,有效滿足了需檢部件標記需求。

目標指示物以紅色箭頭為例,通過C#腳本控制,使其可以由用戶手勢或語音指令控制進行放大、旋轉、移動等操作。當指示物對準需檢部位,利用空間錨技術[20-21]使其與真實空間坐標系統融合,進行鎖定。雖然實際上空間錨物體對于Unity空間來說坐標一直在變動,但是空間錨在真實世界中的位置是穩定的,以它為基準點的坐標系也隨即穩定下來。空間錨的核心作用在于提供一個相對于真實世界足夠穩定的坐標系,這就保證了指示物不會因巡檢人員移動或系統重啟等原因導致HoloLens視角下的偏移錯位。

4 應用案例

本研究以眼前山鐵礦破碎機為例進行地下礦用設備巡檢工作,具體操作流程分析如下。

(1)由導航模塊規劃出本次巡檢的最優化路徑,根據亮起的路線指示燈與指示標牌巡檢至待檢修破碎機處,如圖6所示。

圖6 混合現實導航模塊現場應用Fig.6 Field application of mixed reality navigation modules

(2)對設備標識牌進行識別,載入設備信息管理面板,查驗是否有需檢部件指示物標記,有則優先檢修,無則常規檢修,如圖7所示。

圖7 設備信息管理面板Fig.7 Device information management panel

(3)巡檢人員根據檢修意見指導庫中生成的指導動畫進行檢修,并在系統內詳細記錄本次巡檢信息,如圖8所示。

圖8 設備拆裝指導動畫Fig.8 Guide animation of equipment disassembly and assembly

5 結 論

(1)地下礦山混合現實設備巡檢系統主要通過3ds Max建立模型、Unity3D搭建環境和調用數據,最終搭載于HoloLens混合現實穿戴設備。該系統具有語音交互、手勢識別和視線跟蹤等良好的人機交互方式,巡檢路徑導航能夠指引巡檢人員簡便有序地完成任務,實現了待檢部件主動提示與故障信息隨檢更新等功能;自動識別設備實現了現場信息化管理和無紙化辦公,避免發生因巡修人員遺忘或巡檢人員更替導致信息交接不充分等問題,改變了傳統的巡檢工作模式,使巡檢工作變得精準、高效、便捷,可在國內其他環境復雜的地下礦山中進行推廣應用。

(2)隨著5G技術的飛速發展以及在礦山領域的積極推廣,未來可以將該系統接入互聯網。結合云平臺和5G高速傳輸技術將設備傳感器數據實時傳入該系統,地下礦用設備巡檢系統的應用將會變得更加高效和便捷。