基于增強現實技術的設備遠程協同維修系統

陳睿澤 梁劍濤 惠博涵 任宇

摘要：傳統模式下的大型機械維修往往需要對維修工人耗費大量時間培訓，維修時，工人仍需查閱厚重的維修指南。對于更為精密的設備，專家還需專赴現場進行指導。本文介紹了一種通過增強現實（AR）技術構建的維修指導平臺，適用于復雜機電裝備的遠程指導裝配與維修。工作時，維修工人通過AR眼鏡等設備接受來自專家端的AR標志及來自電子手冊的維修指導，以快速尋找到故障點并維修，減少傳統方式所需的人力物力及財力。

關鍵詞：增強現實;遠程指導;裝配維修

中圖分類號：TP391.9? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文獻標識碼：A? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文章編號：1674-957X（2021）10-0166-02

0  引言

增強現實（AR）技術借助計算機圖形圖像與數據交互技術，將虛擬信息實時映射到真實場景中，兩種信息相互補充，增加了人類感知真實場景的信息量與理解程度。將AR技術應用于復雜裝備維修，可在一定程度上解決新型復雜裝備維修人員少、技術資料海量等問題，提高維修效率。

在維修業內，無論是在技術培訓中還是遠程維修協作中，或是預覽產品構型，AR技術的應用前景正在日趨擴大。所以，我們欲結合AR眼鏡等硬件，配合軟件輔助，搭載成集遠程技術指導、解放雙手的自然交互以及輔助決策的維修平臺。

1? 相關研究

2000年Fussell等[1，2]的研究表明基于實時視頻流的協同模式可以提高任務完成的效率。在此之后，結合投影儀和可穿戴AR設備的工作模式開始出現。2008年Desney[3]等人描述了遠程交互方式的的效率性以及其評價方法，并通過實驗測試了不同交互方式的效率。2012年，John[4]等人試圖研究以機器人為中介的遠程交互，研究表明，人類能夠理解遠程機器人手勢，并且重要的是，可以將這些手勢與共同出現的語音相結合，論證了機器自主推送維修方案的可能性。Wang Peng[5]等又提出了一種基于投影儀的混合現實遠程協作系統，該系統使遠程用戶可以使用手勢和頭部指向協作完成物理任務，并驗證了其效率性。國內的柳有權[6]等學者也設計了多種手勢指向使得遠程協同維修更具直觀性。以上大量理論性的研究為此后AR遠程協同交互的具體應用打下了基礎。

在實際應用領域，眾多國際先進制造企業也已經著手利用AR技術提高維修工作和技術培訓的效率[7]。空客利用手持式的AR設備上的傳感器跟蹤使用者的運動和所處環境，在產品上顯示相關部件的3D模型以及相關數據和信息，幫助工程師順利完成施工和檢查。法荷航維修工程公司在所有維修人員培訓中使用混合現實和虛擬現實技術，受訓者只需要5天時間便可完成全部培訓課程。

2? 本文方法

2.1 調研結果及分析

結合前期市場調研的反饋結果，我們總結出裝備的遠程維修主要存在以下需求：①產品現場故障診斷困難，普通技術人員較難解決;②現場維護人員技能培訓需要較長周期，且流動性大;③傳統產品使用手冊查閱難、搜索難、理解難;④產品故障現場經常出現“小問題，大成本”的現象;⑤產品售后技術支持不及時，影響客戶滿意度及品牌形象;⑥技術專家的寶貴知識與經驗較難保留和傳承。

根據以上結果，該平臺應達到以下目標：①使現場可視化：專家端可以以第一視角的方式看到工作現場，實時給予指導，降低錯誤率，同時也省去了專家往返兩地的時間與路費。②支持解放雙手的自然交互方式：現場操作人員頭戴AR眼鏡，通過凝視、手勢、語音方式與專家端交互。③支持輔助決策：針對設備的操作規程及維修步驟，制作基于AR的三維可視化的交互式電子手冊，系統會根據要求自動推送正確操作的流程。

2.2 系統結構化設計

本平臺分為操作端、服務端以及專家端三模塊，并且整合了AR眼鏡等硬件設備實現遠程提供技術指導和輔助決策，從而快捷、高效地進行設備的遠程維修指導，工業巡檢等工作。

2.3 操作端設計

操作端作為產品的前端，主要有數據采集和數據展示的功能。操作端采集第一人稱視頻，并與專家端雙方實時通話;接收專家發出的圈注、標記。基于5G通信的高速率、低延時，實時畫面較為流暢。

現場維修人員頭戴AR眼鏡通過凝視、手勢、語音方式與虛擬設備進行交互，此操作也可在手機、平板上進行。而且當圖像識別匹配當前有故障的零部件或故障點時，還可自動激活電子手冊專家庫中與當前故障部件相關的操作、維修或保養方式的指導程序，進行輔助決策。

AR智能眼鏡完全解放了裝配人員或維修人員的雙手，特別是做攀爬的維修作業時，使其集中精力完成任務，根據裝配人員或維修人員的需求，隨時將信息推送到眼前，從而提高工作效率。

2.3.1 數據采集

數據采集包括音視頻采集、音視頻處理和音視頻發送。通過操作端設備自帶的相機和麥克風等追蹤用戶的聲音、動作和周圍環境，并利用聲網提供的軟件開發工具包（Agora Video SDK），調用其中函數并做處理，借助工具包中豐富的應用程序編程接口（API）組合，運用視頻通話等接口，實現音視頻處理及發送。

2.3.2 數據展示

平臺集成聲網視頻會議SDK，通過Vuforia處理信息，在AR眼鏡中或者手機客戶端軟件內顯示專家發送的三維標注。每一次維修案例都是寶貴的經驗，維修人員可以通過截屏以及錄屏等方式保存指導過程，并可以通過時間、故障類型、專家姓名等方式進行檢索。此外，維修人員還可在操作端選定三維可視化的交互式電子手冊專家庫，查看工作流程，在用戶進行任務時，系統自動檢測用戶的每一步操作，并進行步驟提示。

2.4 服務端設計

服務端是部署在服務器上的后臺管理軟件，為客戶端和專家端提供服務，如管理用戶ID，充當數據轉發中介以及儲存電子手冊專家端信息等。

2.4.1 后臺管理服務

后臺管理系統最大的作用是對用戶進行管理，其數據庫對每個用戶的使用情況進行追蹤，實現用戶ID與動態ID綁定，建立用戶ID列表，并使用My SQL語言實現對用戶角色訪問權限的控制。

2.4.2 數據轉發

平臺集成Agora Video SDK中的Chat接口以及文檔、圖片發送等通道，同時也在Unity平臺上將Agora Video SDK和AR標注的功能集成，從而形成數據傳輸服務器來實現技術人員和專家之間的實時視頻通話交流。

數據傳輸服務器是一種計算機實施的信息傳輸方法，包括在服務器上對選擇規則進行評估，以便選擇數據流和確定數據流內容。該方法還包括將數據流內容送至另一個計算機以便向用戶呈現。

2.4.3 電子手冊專家庫

電子手冊專家庫支持專家自主構建術語、圖片、視頻等維修知識庫。可由專家端入口上傳，在操作員進行維修任務時，系統自動檢測用戶的每一步操作，并進行步驟提示。

2.5 專家端設計

專家端是部署在移動設備及個人電腦上的專家指導客戶端軟件，可以由一位或多位技術專家參與遠程指導技術。專家可以在專家端軟件界面看到來自操作端維修人員第一視角的視頻，通過實現凍屏標注、三維標注等功能指導維修人員參與維修。

專家端上可進行凍屏標注，進行二維手勢交互，將標注內容采集保存后將其處理成若干個坐標點發送至服務端。利用服務端中在Unity平臺上將Agora Video SDK和AR標注的功能集成，通過手勢識別算法，結合操作端采集的三維空間信息，將繪制的線條轉化為相應的動態三維標識，再轉發到操作端設備上。區別于普通的二維標識，該標識具有三維信息，可從各個視角觀察。

3? 實驗與分析

為了驗證該平臺的確可以為使用者節省時間以及提供便利性，本文設計了智能小車裝配的實驗。

本實驗選取了五十位從未接觸過智能小車裝配的人員，平均分兩組參加實驗。一組通過該平臺由一位經常進行小車裝配的“專家”進行遠程指導，另一組作為對照組只提供紙質版的裝配手冊，分別記錄兩組的裝配時間。在裝配完成之后，各組組員再分別從直觀性和便利性兩方面為兩組裝配指導方式進行評分。

①將定時器插頭插入主板接收孔里。

②將定時器固定到指定位置。

③逆時針擰緊螺絲。

④將車輪固定至指定位置。

結果顯示，使用本文方法的人員平均裝配時長為237.8秒，直觀性平均分為7.6分，便利性平均分為7.6分;而使用傳統紙質手冊的人員平均裝配時長達到303.4秒，直觀性與便利性平均分僅為3.8分與4.4分。

由實驗結果可知，在用戶反饋之中，無論是直觀性還是便利性，使用本平臺都要遠優于傳統紙質書方法。另外，使用本文的方法可提高約22%的裝配效率。

4? 結語

本文根據前期調研，提出了一種基于增強現實技術的遠程協同維修系統。使用時，操作端的維修工人可以通過AR眼鏡等設備收到來自專家端具有空間錨點功能的三維立體指導以及來自服務端自動推送的電子手冊專家庫步驟提示。較大程度地提高了效率以及直觀性和便利性。

未來平臺將繼續拓展電子手冊專家庫，并向信息分享模式化的方向上進步。計劃到達項目中期時，專家庫中將獲得較大規模操作信息，可向外部租用或分享數據庫。到達項目后期，平臺將融入人工智能及深層思考技術，使平臺完全自主推送維修教程，無需專家加入。

參考文獻：

[1]FUSSELL SR， KRAUT RE， SIEGEL J. Coordination of communication： effects of shared visual context on collaborative work[C]//ACM conference on Computer Supported Cooperative Work. New York： ACM Press， 2000： 21-30.

[2]KRAUT RE， FUSSELL SR， SIEGEL J. Visual information as a conversational resource in collaborative physical tasks[J]. Human-Computer Interaction， 2003， 18（1-2）：13-49.

[3]Desney S. Tan，Darren Gergle， Regan Mandryk，Kori Inkpen，Melanie Kellar，Kirstie Hawkey， Mary Czerwinski. Using job-shop scheduling tasks for evaluating collocated collaboration[J]. Personal and Ubiquitous Computing， 2008， 12（3）.

[4]John-John Cabibihan，Wing-Chee So，Sujin Saj，Zhengchen Zhang. Telerobotic Pointing Gestures Shape Human Spatial Cognition[J]. International Journal of Social Robotics， 2012， 4（3）.

[5]Peng Wang， Shusheng Zhang， Xiaoliang Bai， Mark Billinghurst，Li Zhang， Shuxia Wang，Dechuan Han， Hao Lv，Yuxiang Yan. A gesture-and head-based multimodal interaction platform for MR remote collaboration[J]. The International Journal of Advanced Manufacturing Technology， 2019， 105（7-8）.

[6]柳有權，王愿超，徐琨，劉正雄，黃攀峰.基于混合現實的遠程協同式裝配維修引導[J/OL].圖學學報：1-7[2021-03-29].

[7]Lindsay Bjerregaard，藍楠.VR/AR技術正在走進MRO領域[J].航空維修與工程，2018（07）：28-29.