基于AR 技術的工業控制交互的智能化協同應用

沈 毅 李華明 吳 罡 焦 亮

（湖南中煙工業有限責任公司長沙卷煙廠，湖南 長沙410007）

1 概述

當前煙草工業對煙機裝備的管理維護處于精耕細作的狀態，但對于信息化和信息化技術的融合運用，依存在傳統制造和精益化制造的實施階段，處于廠家配套加現場調配維修等平臺的系統狀態，對現有MES 系統的改善和拓展，停留在穩步探索的迭代階段。而面向行業未來裝備的實際保障需求，因為設備資產面臨跨專業、跨平臺融合智能單機協同的工業升級挑戰，包括無人操作、AI 協同[1]、大數據等研究的技術推進，提供了煙草工業主要裝備維護改進的優化空間及可選方案，包括設備的遠程管理和協助控制的可視化用途研究，為目前工業生產控制的進一步診斷提供了拓展空間。

2 案例研究和存在問題

德國西門子某工廠通過提出遠程專家協助系統的優化需求，研發了AR（Augmented Reality）遠程標準化作業系統，通過使用AR 智能眼鏡傳輸數據，指導工程師進行設備安裝、維保、檢修等工作，主要案例包括運用AR、MR 遠程專家系統實現的德國克虜伯電梯維修實例[2]。實際工作中，發現問題在于AR 眼鏡選配環境的適應性，眼鏡電池用量、可觀察視距與視野FOV、語音控制的噪音干擾等都有影響。

中船某工廠遠程數據可視化監控系統，利用虛擬現實及現場三維圖像采集技術[3]，以沉浸式虛擬現實的方式實現監控工廠現場情況，便于用戶隨時隨地使用系統觀察廠房當前環境。該系統實現了遠程工作人員的作業監控指揮、遠程三維可視化數據的實時同步、遠程協同作業等，及時性數據的獲取提升了車間作業的效率，降低車間人員的管理成本和專業資源投入。此案例不足在于，設備及產線的變化修護無法同步到監控系統獲得遠程信息的及時更新，缺乏移動式便攜操作的靈活性和可控度。

湖南中煙某工廠由于集中采購、設備利舊與發展階段的原因，其制絲、卷接和包裝、甚至于高架庫倉儲等生產車間主力裝備，多年未曾批量更新，同時，該廠設備維修的一線技術人員普遍存在年齡偏高、面臨未來離退休交接班的調整。由此，企業面臨生產裝備和維護團隊的更新瓶頸，提升主力裝備的持續平穩，培養接班人的知識轉換和經驗積累，是企業制訂未來五年計劃重點攻關目標的明確方向。

解決問題的目標方案，就是對于某廠用戶的終端需求，研發一款適用于便攜式系統，能夠運行在智能眼鏡和平板電腦平臺上的AR app[4]，通過采用設備維修的若干新技術，構建一個多功能集成前沿技術的AR 系統應用，歸納問題庫、答案庫的收集，培育維修人員和設備專家的經驗庫和知識庫，檢驗遠程專家的多方協同交互功能，是否滿足需要。

3 解決方案與效果分析

3.1 系統設計

系統交互設計，AR 遠程專家系統的用戶，通過語音和指示實時指示相應的表達目標，在智能眼鏡端的移動視野中發布指示圖標，達到輔助雙方指示目標的作用。

系統安全設計，確保遠程操作被記錄，傳輸數據被安全加密，只能選擇VPN 或堡壘主機進行認證傳輸。設備維護的過程記錄，將作為車間用戶對某臺設備的維修記錄，進入設備經驗庫予以保存使用。網絡訪問通過云應用進行授權和處理，通過某工廠域控制內網實現遠程訪問單點控制。確保專家在任何地方遠程解決突發故障時，無須趕到現場。

系統功能設計，現場設備用戶或設備維修專家在AR app發起聯機遠程協助的申請，通過AR 眼鏡或安卓平板電腦，操作APP 遠程查驗故障案例，提供人工干預的動作指導，完成遠程協助控制的共享交互操作，共同實現未識別故障的遠程維修。

3.2 架構設計

AR app 遠程協助和交互控制功能分四類：（1）遠程視頻通話：通過視頻了解現場的狀況，通過語音了解對方的需求并解決問題；（2）遠程指導：在遠程端通過繪圖或者圖標指引的方式，配合語音，指點現場員工操作并解決問題；（3）繪圖或圖標：引導雙方，確定重點，避免錯誤理解；（4）遠程專家會診：多專家遠程會診故障，并提出相應解決方法。本文AR-App 系統架構設計原理如圖1。

圖1 AR app 智能化場景遠程協同的系統架構設計圖

3.3 設備操作運行維護保養的遠程協助服務功能設計

設備生態場景化維修：利用增強現實技術，將用戶維修過程中針對所有的零部件發生過的故障形成經驗庫，讓用戶通過現場戴上AR 眼鏡，在設備維修中，輔導維修工循序漸進完成維修作業。

設備遠程專家協助：通過流媒體技術將維修現場和非現場進行實時音視頻互動[5]，實現專家通過系統的遠程指導操控、多人會診并實時輔助維修現場的具體維修工作。通過AR 增強現實技術，將具體操作步驟或者零部件操作維修方法推送給一線的設備維修工，輔助指導維修人員完成維護作業。AR-App 遠程專家經驗庫錄入如圖2。

圖2 AR app 遠程專家經驗庫操作界面圖

3.4 遠程跨平臺多方視頻通話

3.4.1 網絡視頻框架。遠程協助功能是實施遠程通話和桌面分享等作用，根據當前系統使用人員情況，系統利用P2P 打洞技術，并將所有底層的、復雜的、繁瑣的細節統一封裝，構建安全接口，系統通過接口形成網絡視頻框架。用戶只要連接到系統服務器，將隨時可以訪問任何一個在線用戶的多媒體設備。

圖3 智能工具端遠程協助功能定制P2P 路由圖

（1）P2P 打洞技術原理。當服務端之間相互通信時，網絡視頻框架會自動進行P2P 連接，如果P2P 通道能創建成功，該兩個客戶端之間的后續通信都經過P2P 通道進行。通過P2P 打洞技術，在帶寬一定的情況下，實現視頻音頻的高速傳輸。本文遠程視頻P2P 路由原理如圖3。

（2）1 對1、1 對N、N 對N、N 對1 遠程協助的功能。在系統中，每一個用戶都有Traveler 和User 雙重身份。當用戶作為Traveler 時提供自身的桌面、攝像頭、話筒等多媒體，當用戶作為User 時可以訪問其他用戶的Traveler 功能[6]。

1 對1：當2 個用戶同時開放自己自身的雙重身份，使用User 身份訪問對方的Traveler 的時候就實現了1 對1 的遠程協助；

1 對N：當一個用戶只使用User 身份，訪問其他用戶開放Traveler 身份，就實現了1 對N 的遠程協助。

N 對N、N 對1 同理。本文1 對1、1 對N、N 對N、N 對1 遠程協助的功能原理如圖4。

圖4 1 對1、1 對N、N 對N、N 對1 遠程協助功能原理圖

3.4.2 遠程協助實時空間點標注。在實際通話過程中，語音的描述并不能快速定位到工程師所指示的位置，系統加入實時空間點標注功能。在遠程協助過程中，工程師點開空間點標注功能并標注具體位置，標注數據就會發送給對方。本文AR-App遠程協助實時標注空間點功能如圖5。

圖5 遠程專家協助實時空間點標注功能效果展示圖

圖6 HoloLens 端視頻協助效果

3.4.3 HoloLens 端遠程協助設計。AR 眼鏡端作為一個被動接受的學習端，在操作過程中并不需要設計過多的操作手勢及命令，主要是接受遠程工程師的指導意見，有效合理溝通。AR眼鏡端在聯網之后會自動從服務器獲取遠程工程師在線列表，通過P2P 技術直接與工程師端進行數據通信，效果[7]如圖6。

3.4.4 移動端/PC 端遠程協助設計

移動端/PC 端視頻協助，使得單方或多方遠端專家可以通過PC、平板、手機多種形式接收遠程支持請求。在遠程專家端，專家可以利用快速查詢功能，快速在文件資料庫中調取需要的文件并發送到主叫方。本文AR-App 遠程專家/視頻協助原理和效果引述如圖7。

圖7 AR-App 遠程協助專家原理圖

3.5 故障經驗庫

故障庫收錄歷史設備故障及維修故障過程的信息，存管工程師多維度狀態的維修經驗，通過數據分析在設備正常運轉的情況下判斷故障部位和故障原因，為未來狀態進行預防維修提供依據，故障庫的運行設計思路即與設備診斷的安全高效邏輯具備強相關性。

操作工根據機器的當前故障，通過故障任務提交系統，拍攝當前機器的故障部位的視頻，圖片等，并在圖上標注出來故障部位，詳細填寫故障的可能原因、故障現象、故障名稱等。提交給故障維修人員，可指定維修工程師，可提交公共維修小組，由小組指派人員維修。操作人員實時查看當前故障的解決進度，關注追溯是否有人接受相關的任務，維修人員及設備配置情況等。AP app 故障任務系統的錄入功能設計如圖8。

圖8 AR-App 故障任務系統錄入流程

3.5.1 故障庫智能錄入

信息智能錄入：通過藍牙定位技術，判斷智能眼鏡端用戶所處機臺位置，每次遠程協助結束時，只要被人工判定為一次有效通話，系統自動讀取系統登陸用戶信息、系統時間、機臺位置、機臺數據等信息完成錄入。

智能語音管控輔助錄入：系統加入智能語音識別技術輔助簡化錄入過程，用戶只需要語音描述，系統自動匹配數據庫匹配專業詞匯，減少用戶錄入工作量，簡化錄入過程。

3.5.2 故障庫定制服務

AI 技術具備學習訓練能力，因故障庫存儲隨機倍增，AR app 提供用戶定制化服務。AI 模型自動學習用戶的操作習慣和職業規律，為用戶提供不同的定制化歸集數據方案，預測用戶行為。用戶無須檢索或僅需輸入關鍵信息，快速感知設備維護所需的信息。AI 技術的運用研發，減少設備運維團隊查找數據所消耗的時間，提高學習效率。

3.6 遠程控制

AGV 小車具備自身零排放和全自動化的主要特點[8]，是煙草工業生產過程中的自動化運輸機器人以及柔性生產的關鍵設備。

隨著工業制造升級的自動化需求，對于AGV 要求高效和靈活，擔負更多自動裝卸和搬運任務。某工廠在生產現場研究改進AGV 自動物流小車，結合圖形圖像算法、空間掃描、三維重建、人工智能識別等技術的室內空間定位系統，認為在技術配置上可優化導航設備，有效提升AGV 小車運用的范圍，通過5G蜂窩移動通信技術，利用高帶寬、低時延等特性，實現AGV 小車全?？刂频闹悄芑瘧肹9]。

3.6.1 AGV 遠程控制示例

某工廠計劃在配送作業的優化流程中，將AGV 小車改造成為“全能型配送員”，不受計劃行徑的約束，而是在用戶指定范圍內自由行走，不需要劃定所屬部門和工作區域。每一臺AGV 小車擁有自檢功能，只要用戶有需求進行遠程“下單”，每一臺AGV 小車自行完成條件判斷：“自身是否有搬運任務”、“自身狀態能否完成搬運距離”、“是否距離目標點最近”、“任務優先級是否最高”等，并選派最合適的一臺機器去執行任務。

在此系列“配送“作業中，AGV 小車將自身傳感器數據通過5G 移動蜂窩傳送給遠程終端，遠程終端把傳感器數據通過數字孿生技術進行還原，反饋給用戶。用戶通過電腦端、移動端、AR眼鏡等遠程終端實時監測到AGV 小車的行為，反饋一系列命令給AGV 小車而達到遠程控制的目的，本文AR-App 手機端遠程控制物流小車原理如圖9。

4 總結與展望

本文在智能眼鏡端/PC 平板端的AR app 定制化設計研發中，實現了某工廠圍繞“遠程專家、物流小車AGV 改進、經驗庫智能維修”等創新應用的研究，經過系統測評，該廠設備維修專家和一線操作員工，都能在兩類終端操作AR 支持的智能化應用，遠程控制實現設備故障部位的智能識別和經驗信息庫的整理提取，進一步協助老員工經驗的轉移及保存，AR app 將維修現場和外地專家進行實時音視頻互動，支持遠程專家指導、多人會診并實時輔助維修現場的具體維修工作，利用設備零部件的VR 拆裝功能實現用戶的輔助培訓。未來在該工廠制造流程的智能維修場景，AGV 改造、遠程交互智能化、員工輔助培訓是最實用的示范功能。

由于智能眼鏡或平板電腦的硬件設備、計算性能的設計局限，本文的研究難點，體現在設備出廠限制、HoloLens 瓶頸、數據模型的智能分析、語音識別與操作等區域，如何破局？下一步，首先需要進一步突破技術限制的難關，完善解決方案，聚焦關鍵技術及架構設計。其次，智能化的目標應用，實現核心在于打通供應鏈和生產系統之間的數據節點，讓數據運行得到合理真實的數據匯總，形成AI 智能生態維修體系。最后，研究和推進增強現實技術的意義，在于解放雙手，解放生產力，實現虛擬信息的增強可視化，提高現實社會的智能化應用實例，實現對現實世界人機交互的多重輔助效果。