基于AR眼鏡的卷煙工廠制絲設備智能化 點檢模式的研究與應用

吳曉東，劉帆，宋賀萱，曾慶輝，劉田，栗翔

湖北中煙工業有限責任公司，湖北武漢，441003

0 引言

增強現實（AR）作為一種新的人機交互技術，可以更直觀地展示現實場景中的物理對象和數據信息[1]。經過長期的技術積累，AR已從實驗室走向了工業界。卷煙工廠制絲車間設備種類繁多，如各類機械、電氣及儀表設備，且多設備和多系統間存在復雜耦合關系，維持各類設備的正常運行能保障生產的順利進行，設備點檢是維持設備穩定運行的主要因素。在實踐過程中，大部分卷煙工廠仍采用傳統的紙質點檢或平板點檢方式，這類工作方式人為影響因素大，對點檢人員的責任心有較高的要求。同時，由于傳統點檢方式存在點檢記錄查詢困難、點檢記錄利用率低等問題，點檢過程中數據統計不完善、點檢過程發現異常無法及時通知維修人員和設備點檢員巡檢不認真、不到位、不全面等不良情況常有發生。針對制絲設備專業點檢和保養過程中的難點和問題，結合AR和室內定位技術的智能點檢模式可提升設備點檢質量和效率，并能為其他工藝線設備點檢提供借鑒和技術支持。

鑒于此，針對卷煙工廠對制絲設備智能化點檢的應用需求，本文以空間定位技術和圖像識別為基礎，實現了一種基于AR技術的制絲設備智能化點檢方法。從點檢模型、設備識別、數據傳輸、數據分析等方面詳細闡述，以簡便的操作實現了制絲設備的專業點檢智能化，提升了設備點檢效率和過程數字化、流程化水平；車間環境精確定位系統的實現增強了對點檢工作人員的監管力度，并為點檢員提供精準豐富的點檢位置信息服務。

1 相關工作

1.1 點檢系統研究現狀

設備點檢對維持設備正常運行具有重大的意義。隨著卷煙工廠智能化建設進程的加快，卷煙制絲車間對設備管理和維護的要求隨著智能化建設進程的加快而不斷提高，未能及時發現故障和故障的延誤處理都可能導致嚴重的安全和質量問題，由此，移動智能點檢這一概念應運而生。工業領域移動智能點檢的應用提高了自身的市場競爭力和創新力，2017年包鋼鋼聯股份有限公司煉鋼廠通過手持移動智能點檢儀的使用，規范了麥窯風機的點檢工作，對風機實施了精密點檢[2]；2019年河北新啟元能源技術開發股份有限公司引進并全面應用設備智能點檢技術，逐步實現了企業設備的智能化管理[3]；2019年河鋼宣鋼物流公司通過創新鐵路智能點檢管理模式提高了鐵路運輸設備的點檢效率和準確性[4]。

1.2 室內定位研究現狀

精準的室內位置信息有助于卷煙工廠制絲設備專業點檢中人員/物品的高效管理、保障安全及提高工作效率。超寬帶定位技術、藍牙定位技術和WiFi定位技術等主流室內空間定位技術經過近十幾年的飛速發展，實現了從“特定設備、特定技術、高成本”到“普適性定位、低成本定位、高精度定位”的發展[5]。其中，藍牙定位技術難以實現傳輸距離長、環境相對復雜等情況下的精確定位[6]；WiFi定位技術以其室內傳輸距離遠、使用方便等優點成為常用的室內定位技術。然而，卷煙工廠車間設備“廣、長、高”及車間環境噪聲較大、車間相關信息密度較大、干擾信息較多影響了WiFi定位的精度且增加了定位系統的能耗。

1.3 AR技術

AR通過圖像處理、可視化和傳感技術將虛擬對象準確放置到現實中，實現現場與虛擬場景的疊加，讓真實世界和虛擬物體共存。微軟公司開發的頭戴式AR設備Hololens眼鏡實現傳統2D屏幕向3D全息圖界面的顯著轉變，且因其便攜等特點有助于獲得實時、高質量的深度數據[7]。在工業領域Hololens眼鏡已在各大工廠展開應用[8]。2017年國家電網湖北省電力公司檢修公司將AR智能眼鏡技術應用于電力設備巡檢，有效完成了智能巡檢[9]；2019年湖南中煙工業有限責任公司通過基于Hololens頭戴式雙目視覺設備上設計的系統方法實現了傳統煙草工業制造設備運維升級的智能管理[10]。AR技術同樣適用于卷煙工廠制絲設備標準化的專業點檢和保養，提升點檢的工作質量和效率。卷煙工廠制絲設備傳統點檢現存問題如下：

（1）點檢工作效率低，現場工作人員需在點檢工作中填寫紙質報告，并將其錄入數據庫中，此過程導致工作效率低，且信息錄入時錯錄、漏錄情況時有發生；

（2）難以實現點檢數據的實時共享，點檢過程中設備故障時無法及時通知維修人員，相關維修人員無法第一時間了解故障設備的具體信息，包括故障設備位置、故障參數、故障時長等；

（3）點檢人員管理存在盲區，點檢人員到崗情況無法及時監管，點檢工作開展情況無法實時掌控，錯檢、漏檢、不檢等情況時有發生；

（4）點檢作業中，由于設備繁重、環境復雜等情況導致點檢人員對危險源不清楚，點檢環境存在潛在的安全隱患。

2 AR眼鏡智能化點檢

2.1 點檢模型

以現代設備點檢管理的需求為基礎，以智能制造、數字孿生、工業互聯網和大數據等關鍵技術和先進理論為指導思想，并結合當前的制絲設備點檢標準規范、工藝流程、點檢制度要求，建立制絲設備點檢模型，該模型主要包括點檢標準、點檢內容和制絲設備圖像數據。點檢模型作為卷煙工廠制絲設備點檢過程中的關鍵數據，指導點檢員的日常點檢工作，在保障自身及設備安全情況下，進一步提高點檢效率。通過三維空間建模和圖像識別技術將制絲設備及相關點檢部件圖像數據存儲于AR眼鏡中，便于AR眼鏡進行點檢設備識別、定位，并指導點檢員精確定位、精確識別，識別內容主要包括設備對象（設備、子系統、部件、零件）及點檢內容等?；贏R眼鏡的卷煙工廠制絲設備智能化點檢系統主要分為制絲設備專業點檢系統和AR端兩個部分，圖1為基于AR眼鏡的智能點檢系統框架圖。

圖1 基于AR 眼鏡的智能點檢系統框架圖

2.2 設備識別

在點檢過程中，設備點檢員可借助AR眼鏡和混合現實應用程序無限制地進行協作、精確操作，并提高工作效率。首先，基于Unity引擎和C語言完成場景的搭建，引入MRTK包完成AR項目的制作，將項目文件發布到AR眼鏡中。AR眼鏡的內置語音命令使設備點檢員根據智能導航提示快速進入需點檢的設備位置，AR眼鏡將會采集點檢設備所在位置的場景圖像，將實際圖像和項目文件中的訓練圖像進行匹配，經過比對得到和采集的場景圖像吻合程度最高的訓練圖像。在實地場景圖像和訓練圖像計算匹配過程中，AR眼鏡通過其外部環境錨定功能，隨著點檢員的移動錨定不同位置的圖像，進而通過存儲模型實現不同位置場景圖像與訓練圖像的匹配，從而實現設備的定位。在此過程中，提示點檢員的設備相關信息等數字內容會持續存在，錨定在工作的物體或表面上。在點檢過程和點檢員移動過程中，人的頭部運動由AR眼鏡中的頭部姿態傳感器捕獲，由此實現對點檢設備的實時跟蹤，使得點檢設備及虛擬信息能較好地融合。在識別出待點檢的制絲設備后，由眼鏡中內置的點檢工作路徑和具體點檢內容對點檢員進行提示和實時指引，從而實現標準化點檢工作。AR的現實捕獲功能[11]可以用照片或視頻記錄實現與他人的實時共享，這能保證點檢員與遠程同事的實時聯系，并在覆蓋于物理環境中的大幅全息畫布上協同工作，快速解決點檢過程中的問題。

2.3 數據傳輸

點檢標準、點檢內容等數據通過WiFi和5G技術進行數據傳輸，在WiFi覆蓋范圍內AR眼鏡會自動上傳和下載數據，實現低延時和高可靠的數據傳輸。首先，將會傳輸點檢流程，該數據通過制絲設備專業點檢系統下發到AR眼鏡中，用于指導設備點檢員對制絲設備進行點檢，提高工作效率。其次，點檢員在點檢過程中，通過AR眼鏡對需要點檢的制絲設備全面識別，通過匹配項目文件信息，顯示識別到的制絲設備屬性、設備相關參數和設備器件組成等信息。設備點檢員根據下發的點檢工作任務和點檢工作流程完成點檢工作后，AR眼鏡會自動將點檢數據上傳至制絲設備專業點檢系統中。

2.4 數據分析

該模塊對上傳至制絲設備專業點檢系統中的點檢過程數據進行統計分析，對設備異常點位信息、點檢員任務完成情況以及是否達到點檢標準等數據采用柱狀圖、折線圖等方式進行可視化展示。設備異常點位數據折線圖可顯示設備異常點位隨時間的變化趨勢，對一段時間內頻數較高的異常設備點位進行預警，使點檢員及時實施檢查、診斷和維修；點檢員任務完成情況柱狀圖能準確清晰地展示各個點檢員的任務完成情況，進而對點檢員實施有力的監督。

3 AR眼鏡點檢流程

點檢任務模塊提供多種功能，包括：新建點檢任務、規劃點檢計劃、點檢任務處理及點檢任務統計查詢等。在制定好點檢計劃后，系統會自動生成點檢日、周等任務。設備點檢員登錄AR眼鏡后，待執行的點檢任務會自動下載至眼鏡中，點檢員根據眼鏡中的任務和提示進行點檢作業，確認待點檢設備是否出現異常，若出現問題則進行拍照，并填寫異常原因，任務完成后，將點檢數據統一提交至制絲設備專業點檢系統。點檢任務流程如圖2所示。

圖2 點檢任務流程圖

（1）在制絲設備專業點檢系統中創建新的點檢任務，填寫任務內容、任務計劃開始時間、截止時間、點檢員等基本信息，并明確本次點檢設備、待點檢的零件及任務流程和任務內容。

（2）點檢員佩戴AR眼鏡進行點檢作業，AR眼鏡將自動下載待執行的點檢任務，點檢員根據任務流程開展點檢工作，如逐條檢查任務項是否符合要求，保存點檢結果。

（3）在任務執行過程中，如發現異常，則以文字或者拍照的方式記錄異常原因。

（4）所有任務項完成后，提交任務結果，完成點檢任務。

4 總結

本研究設計的智能點檢系統具有以下優勢。①解放雙手：點檢過程中無需攜帶設備紙質資料或提前了解點檢內容，與點檢任務相關的信息能顯示在AR眼鏡中，且點檢過程數據會上傳到系統中，不需要再次錄入點檢數據，解放點檢員雙手，讓點檢員專注于工作本身。②直觀呈現：采用AR技術為點檢員開啟了人、計算機和制絲設備間自然直觀的3D交互。AR眼鏡通過制絲設備空間映射和定位點的環境，將點檢中的設備信息轉換為圖文信息，實現遠程指導和協同，指導設備點檢員執行點檢任務。③知識共享：制絲設備專業點檢系統可以將點檢方法、點檢標準等內容通過AR眼鏡共享給分布在各處的設備點檢員，指導點檢員根據標準規范執行相關的點檢任務作業。④專業督導：利用AR眼鏡指導點檢員按時、按量完成點檢任務，節省專業點檢員的培訓時間和人力成本等。

依據AR眼鏡點檢設計模式，在某卷煙工廠進行了試點應用部署，服務端（制絲專業點檢系統）部署于內網，同時提供若干臺AR眼鏡，構建了一套完整的基于AR眼鏡的卷煙工廠制絲設備智能化點檢系統，并投入使用。分析該系統試運行期間內的各項點檢任務執行時間及點檢效率，系統試運行期間，點檢任務執行時間縮短了20%，點檢效率提高了20%。結果表明，研發的制絲設備智能化點檢系統大幅度降低了人力成本、提高了點檢效率，進而提升了卷煙工廠制絲設備的穩定運行率。