基于增強現實的裝配引導技術綜述

劉宇，徐鋒，張丹，阮橋，左敦穩

南京航空航天大學 江蘇南京 210016

1 序言

在工業4.0時代，質量和效率是制造業產品增值的關鍵因素。增強現實技術（AR）憑借其能夠幫助操作人員建立物理世界與數字信息環境連接的特性，在制造業中已經被視為提高效率的強大技術工具。增強現實區別于虛擬現實(VR)，它以交互的方式，實時地在真實環境中注冊虛擬對象，是對真實物理環境的補充，這顯著減少了其對硬件的依賴，提高了工業應用能力。工業增強現實適用性分布研究報告中指出，在機器人操作、維護、制造等10個AR工業應用類別中，增強現實技術在手動裝配領域的應用最廣，占比達到32%?；谠鰪姮F實的裝配引導技術已經成為了智能制造研究的熱點，其重要性得到了普遍認可。

2 研究進展

基于增強現實的裝配引導技術一般以系統平臺的形式進行開發部署，將增強現實技術應用于產品裝配引導，以實現產品、真實環境和虛擬信息與操作人員實時交互。圖1所示為典型的視覺增強現實裝配引導系統運行流程圖，主要分為視頻流采集、圖像處理、跟蹤注冊和信息交互4個步驟。其中圖像處理對采集的視頻幀進行分析，為跟蹤注冊或信息交互提供響應信號。

圖1 典型視覺增強現實裝配引導系統運行流程

在國外，基于增強現實的裝配引導技術正趨于集成化與智能化，并已應用于真實的裝配環境中。Zhl等研發出了面向機械裝配的智能增強現實裝配系統，該系統的視覺模塊由兩個單目相機組成，其中AR相機基于人工標識進行跟蹤注冊，識別相機基于R-CNN神經網絡對裝配工具或裝配部件進行智能識別，并標記其在視場的位置。此系統被應用在數控雕刻機的裝配中，通過增強現實的指令引導，操作人員裝配時間及錯誤率顯著降低。Mura的研究團隊開發了支持車身面板對準裝配的增強現實原型系統，它通過傳感器實時測量汽車所需裝配面板之間的間隙及其他公差信息，并與矩陣模板庫進行對比，最后轉換成增強現實指令以校準工人的裝配誤差。系統對裝配誤差的及時檢測與回饋，提高了裝配的精確度，極大減少了裝配過程對操作人員經驗的依賴。然而，此系統仍然存在部署繁瑣、矩陣模板測量困難等問題，還存在很大的改善空間。

在國內，此項技術的研究主要集中在高校，距離工業應用還存在一定差距。南京航空航天大學的楊康康等針對跟蹤注冊流程提出一種基于RGB-D數據的配準方法，基于此方法開發了增強現實裝配指導系統，同時以發動機模型的裝配為例，驗證了配準方法的穩定性與準確性。上海交通大學的劉然等以車門驅動電動機為裝配對象，使用基于自然特征和LINEMOD算法分別對裝配基體和安裝的零部件進行識別、跟蹤注冊，最后根據增強指令進行零部件裝配。此方法對大基體、小零部件的工業產品具有良好的適用性。

目前，國內外對增強現實裝配引導技術的研究正處于如火如荼的關鍵時期，其整體的發展正向著集成化、智能化、普適化和精確化的目標前進，但這仍然需要研究人員的艱苦攻關。

3 關鍵技術

基于增強現實的裝配引導技術的關鍵是三維跟蹤注冊技術，它直接影響虛擬信息的可讀性以及信息呈現在真實環境中的位姿。而信息顯示與交互技術是基于增強現實的裝配引導技術的重要組成部分，是聯系人機的紐帶。

3.1 三維跟蹤注冊技術

三維跟蹤注冊是將虛擬信息實時地與真實環境進行配準融合，其中應用最廣泛的是基于計算機視覺的跟蹤注冊技術，根據環境中有無標志物可再細分為基于人工標識和無標識的三維跟蹤注冊方法。

（1）基于人工標識的三維跟蹤注冊方法 基于人工標識的三維跟蹤注冊方法應用最為廣泛，并且已開發出成熟的增強現實軟件開發工具包（SDK），如AR TOOL Kit。該方法（見圖2）預先在裝配場景中放置預定義的人工標識，相機對其捕捉識別后進行配準，而這些標識大多由黑白兩色組成，易被識別?；谌斯ぷR別的三維跟蹤注冊方法的工作流程為特征點提取、位姿矩陣計算、虛實融合3個步驟。該方法魯棒性、實時性好，受環境因素影響小，但還存在著如下問題：進行裝配操作時標識易被遮擋，使跟蹤注冊失效；對零部件造成二次污染；操作視野小。這些都制約著此方法在增強現實裝配引導技術中的發展和應用。

圖2 基于人工標識的三維跟蹤注冊方法

（2）無標識的三維跟蹤注冊方法 有以下幾種。

1）基于自然特征的跟蹤注冊方法?；谧匀惶卣髋c基于人工標識的方法，其工作流程類似，區別在于基于自然特征的方法以具有豐富特征的自然圖像作為計算位姿變換矩陣的依據。對自然場景圖像進行特征點提取與匹配的相關算法已經非常成熟，其中具有代表性的有SIFT（Scale- Invariant Feature Transform）、ORB（Oriented FAST and Rotated BRIEF）等，利用ORB算子進行特征點匹配的效果如圖3所示。各個算法的側重點不同，其選取和改進的方向依賴于自然場景的具體特征，否則將會影響增強現實系統的實時性與魯棒性。此方法避免了標識對裝配環境的“污染”，但受環境影響較大且對弱紋理的工業零件識別效果差，具有一定的局限性。

圖3 利用ORB進行特征點匹配

2）基于模型的跟蹤注冊方法。基于模型的跟蹤注冊方法是解決弱紋理零件跟蹤注冊的主要方法，其中邊跟蹤與基于點云配準的方法發展最快。此類方法通過三維重建或Solidworks等繪圖軟件建立零件模型，并以此獲得零件的輪廓特征或點云數據作為先驗知識，最后在捕捉的視頻幀或RGB-D數據中尋找最優關系，進行配準和注冊。目前，高通公司的Vuforia發布了model target插件，在Unity平臺實現了基于模型的跟蹤注冊技術（見圖4）的商業應用，加快了增強現實裝配引導系統的開發流程。基于模型進行跟蹤注冊仍有很大的局限性，它依賴于零件本身：特征單一、輪廓簡單的零件誤識別率高；特征繁多，輪廓復雜的零件計算量大，實時性識別難以保證。

圖4 Vuforia中model target的跟蹤注冊

3）基于深度學習的跟蹤注冊方法。近幾年，深度學習快速發展，在增強現實領域中，各種深度學習的方法及體系結構憑借其強大的計算能力可以更有效、更魯棒地執行和解決跟蹤注冊的任務，其中直接以RGB圖像為輸入，以目標物體六自由度位姿為輸出的深度學習網絡模型發展最為迅猛。此類方法主要以李代數、四元數或控制點來表示目標物體的旋轉和位移，將位姿估計問題轉化為回歸問題，主要流程如圖5所示。

圖5 基于深度學習的位姿估計方法主要流程

Tekin等基于YOLOv2網絡提出了YOLO-6D網絡模型。以光驅為識別對象的YOLO-6D位姿預測通過輸入的RGB圖像來實時預測目標物體3D邊界框的8個角點及中心點的2D投影坐標，最后使用PnP（Perspective-n-Point）算法來計算目標對象在三維空間的旋轉和平移矩陣（見圖6）。Kstner等基于YOLO-6D網絡，在HoloLens上實時檢測和標注移動機器人的位姿，在實時性與預測準確性方面都取得了不錯的效果，張德等提出通過YOLO和關鍵點檢測器網絡（KPD），分別實現目標檢測和標記被訓練關鍵點的2D投影位置的功能，然后根據關鍵點2D-3D關系，利用概率神經網絡算法計算位姿，此方法無需再進行位姿的二次優化就能達到較高的精度。

圖6 基于YOLO-6D的位姿預測

基于深度學習的跟蹤注冊方法較于傳統方法具有較高的精度和魯棒性，但還存在所需數據龐大、數據集制作困難以及模型訓練周期長等問題，限制了它的快速發展。

3.2 信息顯示與交互技術

信息顯示與操作人員的裝配過程直接相關，是引導裝配的重要一環。信息顯示取決于硬件設備，比較經濟的方案是利用多目攝像頭和顯示器，來組成系統的場景信息收集和信息顯示模塊，但是此方案存在視野固定，調試部署周期長，設備零散等問題。目前較流行的還是Microsoft公司發布的HoloLens2，它集成了深度相機、磁力儀等多種傳感器，使操作人員可以更靈活地進行裝配操作，具有較好的沉浸式體驗。雖然HoloLens2因為存在成本較高、易致人眩暈等問題，而沒有在工業上廣泛應用，但信息顯示的硬件載體將會繼續沿著集成化的方向發展。

信息管理是根據對裝配作業的認知，對裝配工藝等信息進行獲取、維護和管理。常見的方法是信息建?；蜻\用知識圖與語義網技術。華中科技大學的藍珊將基本的裝配工藝信息與裝配過程的多媒體信息進行IDEF1X建模，將它們分類組織、轉換、關聯，從而轉換成在增強現實裝配引導的數據信息庫，并在裝配過程中進行調用。語義網技術主要是將各種文本格式的文件及其他非結構化的信息編碼轉化成計算機能理解的結構化信息和推理規則集，而知識圖更側重于數據和語義的圖形化結構。知識圖與語義網技術相輔相成，通過上下文信息，極大地豐富了數據的內容。Walczak等提出了一種分布式增強現實服務的體系結構，利用語義網技術有效地搜索上下文描述的分布式資源，構成交互式增強現實演示，以提供搜索和反饋服務。

隨著傳感器技術的發展，人機交互的方式越來越多樣化。傳統的鍵鼠交互方式雖然穩定，但是操作效率低，無法實現虛實場景的無縫銜接，已經漸漸被摒棄。而基于深度學習和多傳感器的語音、手勢、眼控等交互方式具有簡單、自然、效率高等特點，是目前人機交互研究的重點和熱點。董瓊等就在利用增強現實進行裝配的場景中，通過提煉的關鍵語音命令搭建了指導裝配的語音交互系統，提高了人機交互的效率和用戶體驗。

4 結束語

基于增強現實的裝配引導技術為用戶提供了新的交流和獲取信息的方式，能夠有效提高產品裝配的效率。目前，此項技術正向著集成化和智能化方向發展，而深度學習是智能化的重要技術工具，它能夠提高整個系統的效率和有效性，并將“智能”灌輸到系統中，在跟蹤注冊、人工交互等技術領域相比于傳統方法，在效率和精確度方面取得了不錯的應用效果。同時，科研人員提出使用虛擬合成數據來代替部分真實數據的方法來彌補訓練深度學習模型時所需數據量大、數據集制作困難等問題，從而顯著降低了深度學習應用的門檻。未來，基于增強現實的裝配引導技術的發展會與深度學習進行更深層次的結合，將進一步強化此項技術的功能、應用和服務，這還需要科研人員不斷的研究和創新。