增強現實機器人的虛實同步手勢交互方法

關鍵詞：增強現實；手勢交互；機器人；姿態跟蹤；虛實同步

中圖分類號：TP391 文獻標志碼：A 文章編號：1001-3695（2025）08-006-2290-07

doi：10.19734/j.issn.1001-3695.2025.01.0010

Virtual-real synchronous gesture interaction method for augmented reality robot

Wang Zhenyu1，2.3， Xu Chi ^2，3? ，Li Lin2，Hong Yuel （1.ColegeofIfoatioiringyngUniesitfecalTeolenang4Ca.ateKybf Robotics，hagstiuteftiecdefenin;ybotorfodro Systems，Chinese Academy ofSciences，Shenyang11O016，China）

Abstract：Toaddress theisuesofpoorpereption，lowsynchronizationaccuracy，andlowexecution eficiencyindyamic human-robot interaction withinAR scenarios，thispaper establishedan AR-based virtual-real synchronous interactionframework forrobotsandproposedavirtual-realsynchronousgesture interactionmethod.Firstly，itintroducedagesturerecognition andvirtual-realcordinate mappng method，whichutilizedposeparsingandforward/inverse kinematics matrices tomaphand gesturestorobotjoints.Thisenabledbidirectionalcontrolforvirtual-realsynchronizationandenhancedthesystem’perabilityand perceptioncapabilities.Secondly，itproposedalow-passfiteringalgorithmbasedonpositionvectors toreducenoiseinterferenceinvirtual-realinteractions，improvingthesmoothnessof human-robotinteraction.Finally，itdevelopedandexperimentallyvalidatedaprototypesystemforrobotvirtual-real interaction.Theexperimentalresultsdemonstratethatthesystem controls the maximum error in path adjustment and pose tracking within ±0.01m ，verifying the system’s applicability and high precision in achieving virtual-real synchronization for robots.

Key words：augmented reality；gesture interaction；robots；pose tracking；virtual-real synchronization

0 引言

隨著智能制造的快速發展，機器人廣泛應用于汽車制造、電子裝配、食品加工等領域，極大地提高了生產效率和產品質量，在現代制造業中扮演著越來越重要的角色。然而，傳統的機器人編程和操控，是工程師一邊觀察機器人運動狀態，獲得必要的機器人位姿和軌跡數據，一邊控制機器人示教器。這種編程和操控方法復雜且耗時，對工程師專業性要求很高，而且操作過程中易造成機器人與周邊設備發生刮擦甚至碰撞，無法滿足日益增長的靈活性和智能化需求。

增強現實（AR）技術作為一種新興的人機交互方式，通過將虛擬信息疊加到真實世界中，使用戶能夠直觀地感知和操作復雜的系統。基于AR建立機器人的虛擬空間，開展實時編程和操作模擬，實現虛實同步，可以解決交互不及時、可視化程度低等問題。具體優勢可總結為：a）可視化編程。操作員通過AR技術可以在虛擬環境中直觀地模擬和調整機器人的工作路徑和姿態，無須復雜的編程語言，從而大大降低了編程門檻。b）實時監控與調試。AR技術可以將虛擬機器人模型疊加到真實工作環境中，操作員可以實時監控機器人的工作狀態，并在虛擬環境中進行調試和驗證，確保機器人在實際工作中安全可靠地運行。c）遠程協作。遠程專家可以通過虛擬環境對現場操作員進行指導和支持，提供即時的技術幫助和解決方案，從而提高問題解決的效率和準確性[1～3]

近年來，AR與機器人結合，在虛實建模、路徑優化、人機交互及智能裝配等方面取得了一定的研究進展。李穎等人[4]研究了面向智能制造場景的機器人數字孿生建模與控制方法，通過虛實結合提升了機器人控制與仿真的精確性和實時性。黃凱歌等人[5]提出了一種面向機器人虛擬展示的三維模型簡化技術，為機器人仿真和虛擬展示提供了高效的數據處理支持。曹錦旗等人將虛擬模型結合到工業機器人的軌跡規劃上，優化軌跡移動時間和效果。與此同時， Zhao 等人開發了一種結合增強現實與數字孿生技術的機器人遠程操作系統，應用于廢舊電池拆解任務，顯著提升了系統的交互效率和遠程操作精度。Sahoo等人[8]則提出了一種基于數字孿生的虛擬現實模型，利用實時數據分析優化了機器人的操作性能。在機器人感知與控制方面，王耀南等人[9]對智能制造中機器人感知與控制的關鍵技術進行了全面探討，強調了其在復雜制造場景中的應用潛力。Kapinus等人[10]提出了增強現實空間編程方法，通過簡化用戶編程流程降低了操作復雜性。Blankemeyer等人[]研究了基于增強現實的人機協作手部交互模型，有效提升了人機協同操作的精確性。方維等人[12]對增強現實裝配中的跟蹤注冊方法進行了系統研究，為AR在裝配領域的應用提供了關鍵技術支持。丁志昆等人[13結合數字孿生與增強現實技術，提出了增強現實支持的多人協作裝配系統，解決了復雜裝配任務中的協同控制問題。Aivaliotis等人[14]開發了一種交互式增強現實框架，支持人機協作裝配操作，顯著提高了裝配效率。陳成軍等人[15]則研究了基于增強現實技術的工業機器人引導示教方法，使示教操作更加直觀、靈活。 Li^[16] 提出了一種基于增強現實的六自由度工業機器人路徑優化方法，提升了路徑規劃的效率和準確性。在智能裝配領域，曹鵬霞等人[7]研究了基于邊云協同的增強現實裝配方法，結合智能裝配技術實現了數據與控制的高效協同。 Xu 等人[18]則通過傳感器融合與增強可視化技術，開發了大空間實時捕捉技術，為機器人控制提供了技術支持。此外，Konstantinos等人[19]提出了一種支持柔性制造的人機協作增強現實框架，有效增強了工人在復雜任務中的操作效率。徐文彪等人[20]開發了力觸覺增強的虛擬現實工廠系統，為工業機器人操作提供了更真實的反饋體驗。鄭湃等人[2對增強現實輔助裝配技術進行了全面綜述，總結了其在裝配精度和效率提升方面的研究進展。Konstantinos等人[22]通過虛擬機器人仿真實訓系統，為產線操作和仿真提供了虛擬支持。最后，王國慶等人[23提出了從多模態信息融合到人-機器人-數字人三位一體交互的可信交互模型，突破了傳統交互方式的局限性，為機器人智能交互開辟了新的方向。

然而，已有研究主要關注于基于增強現實的機器人運動規劃與路徑控制，并沒有考慮到系統靈活性的問題，且多為單向控制，無法實現物理機器人與虛擬模型之間的真正交互，在動態場景或突發情況下無法提供及時反饋。虛實同步交互的核心難點在于：如何確保物理機器人與虛擬模型的高度一致性，并提供直觀、自然的交互方式。在實際應用中，由于物理機器人和虛擬機器人通常處于不同的控制坐標系，如何有效地進行姿態映射和同步成為關鍵問題[12]。同時，傳統機器人交互方式依賴示教器或預設軌跡，缺乏靈活性，難以滿足實際生產環境中對交互便捷性和操作自由度的要求。此外，信息延遲和反饋精度的不足，可能導致虛擬模型與物理機器人之間的同步誤差增大，影響操作穩定性[21]。針對上述問題，本文提出了一種AR機器人的虛實同步手勢交互方法。具體來說，本文設計了一個AR機器人系統，通過對機器人正/逆運動學建模與仿真，并設計符合人類直觀操作習慣的手勢指令，實現了物理機器人與虛擬機器人之間的雙向同步手勢控制，大幅降低了控制難度，使得機器人控制更加人性化、直觀化，減少了操作者對機器人操作的要求。

本文貢獻如下：

a）針對人與機器人交互靈活性較差的問題，通過機器人正向和逆向運動學建模，提出基于手勢識別的控制方法。通過引入手勢交互機制，本地操作人員可以有效完成機器人的軌跡規劃，實現更高的靈活性和可操作性。

b）針對信息延時反饋導致的同步精度低、軌跡跟蹤偏差大的問題，提出了一種支持虛擬機器人坐標系與物理機器人坐標系重合的遠程AR配準方法，達到虛實同步的效果，顯著提高了遠程協作的效率。

c）開發了AR機器人系統，通過雙向傳輸機器人位姿狀態等數據，實現虛實同步控制。物理實驗結果表明，本文系統具有良好的實時性與沉浸性，能夠滿足機器人的實時監測與可視化控制要求，實現了虛擬機器人與真實工作環境的無縫銜接。

1機器人虛實同步交互架構

AR機器人虛實同步交互架構如圖1所示，分為物理層、連接層、虛擬層和應用層。a）物理層指真實的物理世界，涵蓋機器人、控制器、示教器、傳感器等可識別的物理實體及環境。b）連接層負責實現物理層與虛擬層的互聯，通過數據采集、傳輸與處理實現雙向交互，確保物理層與虛擬層狀態的同步收斂。c）虛擬層是物理層的數字孿生體，通過三維建模和渲染貼圖，創建與物理層高度一致的數字對象，并利用腳本添加物理屬性、約束等特征，同時提供人機交互界面。d）應用層基于連接層和虛擬層，利用實時和歷史數據進行仿真和數據建模，支撐物理層的監測與數據存儲，可應用于描述、診斷、預測和處理等場景。

圖1系統架構

Fig.1System framework

2機器人的虛實同步手勢交互方法

2.1機器人虛實同步交互系統

虛實同步交互系統是實現虛擬機器人與實體機器人協同工作的核心，通過數據采集、解析、處理和控制指令生成，實現虛擬環境與現實設備之間的高度一致性。該系統的核心目標是確保虛擬機器人能夠實時反映物理機器人的狀態，同時為物理機器人生成高精度的動作指令，驅動其完成目標任務。

如圖2所示，虛實同步交互系統的核心模塊包括物理實體、虛擬模型以及正向和逆向運動學模塊。正向運動學模塊根據物理機器人反饋的關節角度計算末端位姿，并更新虛擬環境中的模型狀態，確保虛擬機器人與物理機器人在姿態上的一致性。逆向運動學模塊則根據虛擬模型生成的目標末端位姿，計算對應的關節角度，并將其作為控制指令發送至物理機器人，完成動作執行。這種雙向數據流的設計既保障了實時性，也增強了系統在復雜任務場景中的適應性。

虛實同步交互系統的實現依賴于雙向數據流動。一方面，物理機器人通過傳感器采集實時數據，包括關節角度、末端位姿和速度等。這些數據經過高實時高可靠的通信模塊傳輸至虛擬模型，并通過正向運動學模塊處理，計算末端執行器的位姿。隨后，虛擬模型實時更新其可視化狀態，使虛擬機器人在虛擬環境中的姿態與物理機器人保持一致。

另一方面，虛擬模型不僅是物理機器人的狀態呈現工具，還是任務規劃的核心。在虛擬模型中，根據任務需求生成目標末端位姿，通過逆向運動學模塊將高層次的位姿信息轉換為具體的關節角度指令。這些指令通過通信模塊發送至物理機器人，驅動其執行相應動作，完成指定任務。這種從虛擬到物理的控制流確保了虛擬機器人對物理機器人的有效驅動，同時實現了虛擬與現實之間的閉環控制。

通過圖2可以看到，虛實同步交互系統以正向和逆向運動學為基礎，形成了從數據采集到指令生成的完整閉環。物理機器人提供傳感器數據作為輸入，虛擬模型負責路徑規劃、狀態更新和指令生成。正向運動學模塊解析物理數據，逆向運動學模塊生成控制指令，使虛擬與物理機器人實現了高度同步。虛實同步交互系統的這一閉環設計不僅解決了信息延遲和數據誤差等問題，還提升了機器人在實時控制與精確任務執行中的表現，為智能制造和復雜工業場景的應用提供了可靠的技術支撐。

2.2增強現實環境中的手勢操作

2.2.1手勢的識別與虛擬空間的映射

AR眼鏡內置的手勢識別，可實現操作者手部動作與虛擬空間的實時交互，通過手勢追蹤提取關鍵數據，如手掌位置、手指關節坐標及運動軌跡，并將其映射到虛擬環境。手勢的捕獲依賴于多模態傳感器，如深度攝像頭與慣性測量單元（IMU），能夠在三維空間中實時記錄手部的動態變化。手部空間信息最初位于AR眼鏡的本地坐標系中，為后續的坐標轉換和運動指令生成提供了準確的輸入基礎。

圖2虛實同步雙向數據交互框架

手勢識別的實現以動態變化的姿態軌跡為基礎，通過深度學習模型訓練的大規模手勢識別數據集，具備對手勢動態的自適應學習能力。借助AR眼鏡內置的高效分類與預測框架，能夠快速區分多種預定義的手勢類型，例如抓取、拖動、釋放等。通過這些直觀的手勢，用戶可以直接與虛擬機器人交互，完成控制指令的輸入。

為了進一步提升交互效率，系統支持單手和雙手操作模式。單手操作可以提供機器人末端的初步位置信息，雙手操作則增加姿態控制的能力，為虛擬機器人的精確操控奠定了基礎。圖3展示了手勢數據映射到虛擬機器人的流程，從手部位姿數據捕獲、經過坐標轉換與姿態變換后，最終通過逆運動學算法將位姿信息轉換為虛擬機器人控制指令，完成虛擬機器人動作的執行。

2.2.2手勢坐標到虛擬機器人坐標的轉換

手勢識別后的坐標數據需要經過多層坐標系轉換，才能被虛擬機器人和物理機器人有效利用。這一過程的核心在于將手勢的本地坐標映射到AR眼鏡的全局坐標系，并最終轉換到虛擬機器人基座的坐標系中。為了實現這一目標，坐標系的配準與轉換涉及位置、旋轉和縮放三個核心方面。

圖4是系統的坐標系分布，全局坐標系XYZ是整個增強現實環境的參考框架，用于描述設備和虛擬機器人在空間中的絕對位置。設備坐標系 X₁Y₁Z₁ 綁定在AR眼鏡上，隨著設備的移動動態變化，用于捕捉操作者的運動軌跡。而虛擬機器人基座坐標系 X₂Y₂Z₂ 則是固定在虛擬機器人基座上的參考系，用于描述虛擬機器人的姿態與運動。通過增強AR眼鏡內置的傳感器和定位功能，這些坐標系能夠實時配準與轉換，從而確保手勢數據在虛擬與物理環境中的精確映射。

圖4全局坐標系和基座坐標系 Fig.4Global and base coordinate systems

1）從手勢坐標到AR眼鏡的全局坐標映射

手勢捕獲的位置信息最初定義在本地坐標系中，而AR眼鏡通過其自帶的空間定位功能（如SLAM技術），實時確定其在全局坐標系中的位置和姿態。這使得手勢的本地坐標可以結合設備在全局坐標系中的定位信息，直接轉換為全局坐標系中的位姿。轉換公式如下：

T_hand-global=T_hand-local?T_{device-global}

其中： T_hand-global 表示手部在全局坐標中的位姿; T_hand-local 表示手部在AR眼鏡本地坐標中的位姿; T_{device-global} 表示AR眼鏡在全局坐標中的位姿。這一轉換的關鍵在于實時獲取AR眼鏡在全局坐標系中的位置和方向，并以此為基準，將手勢數據定位到更大的物理空間范圍內。

2）從全局坐標到虛擬機器人基座坐標映射

虛擬機器人在增強現實系統中具有固定的基座坐標系，作為機器人操作的空間參考。為了實現虛擬機器人對手勢的響應，需要將手部的全局坐標轉換到虛擬機器人基座的坐標系中。這一步的目標是通過坐標系變換矩陣，將全局位姿數據精確映射到虛擬機器人基座的參考系中。轉換公式為

T_{global-virtual}=T_hand-global?T_robot-global^-1

其中： T_{global-virtual} 表示手部相對于虛擬機器人基座的位姿;T_hand-global 表示手部在全局坐標中的位姿； T_robot-global 表示虛擬機器

人基座在全局坐標系中的位姿。通過這一轉換，手部的運動被精確映射到虛擬機器人所在的坐標系，為后續姿態與運動指令的生成提供了基礎。

為了實現虛擬機器人與手勢運動的精確對齊，需要進行更為精細的三維坐標轉換。假設存在兩個坐標系 A 和 B ，點 m 在兩者之間的變換關系可以描述為

（B）m=R（B-A）S（B-A）（A）m+（B）A

其中： （B）m 是點 m 在 B 坐標系中的位置； （A）m 是點 m 在 A 坐標系中的位置； R（B-A） 表示從 A 到 B 坐標系的旋轉矩陣；S（B-A） 表示從 A 到 B 坐標系的縮放矩陣； B（A） 表示 A 坐標系原點在 B 坐標系中的位置。

A 坐標系的 X，Y，Z 軸相對于 B 的旋轉 R（B-A） ，當 A 和 B 的坐標系原點重合時，可表示為

A 坐標系各軸的單位向量相對于 B 的縮放 s（B-A） ，當 A 和 B 坐標系的位置和姿態保持一致時，可表示為

為簡化三維坐標變換的描述，引入齊次變換矩陣：

上述公式構建了從坐標系 A 到 B 的齊次變換矩陣 T（B? （2號A）。該變換矩陣不僅包含了位置偏移、姿態旋轉和尺度縮放的信息，還能夠統一描述不同坐標系之間的變換關系。在實際應用中，齊次變換矩陣 T（B-A） 是實現虛擬機器人與物理機器人同步的關鍵工具，該矩陣可以確保虛擬機器人在AR眼鏡坐標的基礎上實時響應手勢的變化，從而保持虛實協作的精確性。

通過以上兩步轉換，手勢的本地坐標被逐步映射到虛擬機器人基座的坐標系中。最終，虛擬機器人和物理機器人共享同一個參考坐標系，使得兩者能夠在同一空間范圍內完成任務協作。這一過程保證了手勢操作的空間一致性和精確性，為虛實同步提供了可靠的坐標支持。

2.2.3手勢的姿態與運動指令生成

在完成手勢坐標到虛擬機器人基座坐標的轉換后，系統需要根據手勢信息生成虛擬機器人的目標姿態和運動指令。這一過程涉及姿態解析、運動學建模和逆運動學求解等步驟，將手勢操作轉換為虛擬機器人的具體動作。

在姿態解析中，系統首先利用手勢操作的輸入生成目標位姿，包括位置和方向兩部分信息。單手操作用于提供目標位置向量 P=[x，y，z]^T ，雙手協作則通過捕捉左右手的相對位置和方向生成 3×3 旋轉矩陣 R ，從而完成目標姿態的構建。目標位姿表示為齊次變換矩陣：

手勢操作的目標位姿 T_end-effector 定義了虛擬機器人末端執行器相對于基坐標系的期望狀態。

為了將目標位姿轉換為機器人可執行的運動參數，系統利用D-H（Denavit-Hartenberg）建模方法構建了虛擬機器人的運動學模型，并展示了關節joint i 和連桿 i 之間的幾何關系，D-H參數定義了各關節的運動參數，包括 a_i、α_i、d_i、θ_i ，分別表示鏈接長度、連接旋轉、鏈接偏移和關節角度，如圖5所示，這些運動學參數為虛擬機器人與物理機器人之間的姿態轉換提供了數據支撐，確保了坐標系配準的準確性和一致性。

圖5機器人連桿坐標系

Fig.5Robot linkage coordinate system

兩個坐標系之間的齊次變換矩陣定義為

通過逐次連乘各關節間的變換矩陣，可以得到機器人末端相對于基座的正向運動學模型：

其中： ⁰T_?N 表示機器人末端（第 N 軸）相對于基坐標系的位姿，包括位置和方向； ⁱT_i-1 表示從第 i-1 到 i 軸的齊次變換矩陣。正向運動學的作用不僅在于構建虛擬機器人的運動學模型，還可以用于驗證逆運動學解的準確性，將逆運動學求解得到的關節角度代入正向運動學公式后，計算出的末端位姿應與目標位姿一致。

在運動指令生成中，手勢識別得到的目標位姿需要映射為虛擬機器人可執行的控制參數。系統采用逆運動學求解方法，計算出實現該位姿所需的關節角度。逆運動學的求解過程是根據目標末端執行器的位姿反推出關節的運動參數。

其中：IK表示逆運動學求解函數； θ 為虛擬機器人關節角度的向量。通過該過程，手勢操作被轉換為虛擬機器人的運動指令。

通過運動學建模和求解，虛擬機器人能夠根據手勢指令精確生成動作。同時，虛擬機器人和物理機器人共享相同的運動學模型和坐標系，從而確保虛實同步操作的準確性和實時性。

2.3虛實同步優化算法

盡管通過手勢操作可以實現自然的交互，但由于環境的變化和操作者手勢的復雜性，手勢操作可能受到傳感器噪聲和系統延遲的影響，傳感器噪聲、系統延遲等因素會在數據采集和傳輸過程中引人高頻噪聲和隨機抖動，從而影響物理機器人的跟蹤效果。這種抖動和誤差不僅會降低物理機器人對虛擬機器人軌跡的跟隨精度，還可能導致任務失敗或運動軌跡的不平穩。為了解決這些工程問題，必須引人有效的數據濾波技術，以優化手勢控制的效果，減少由于環境和設備因素造成的誤差。同時在虛實同步交互系統中，虛擬機器人和物理機器人需要保持高度的同步，以確保操作的精度和響應速度，并滿足機器人在復雜交互場景中的實時響應需求。

為此，本文采用了低通濾波算法進行優化，可以有效降低高頻噪聲對系統響應的影響，從而使物理機器人在跟隨虛擬機器人的過程中更加平穩。所采集的原始數據包括操作者手勢識別后生成的虛擬機器人位置數據和物理機器人通過傳感器獲取的實際位置數據。這些位置數據通過時間差分計算，轉換為反映運動趨勢的位移數據，用于分析虛擬機器人與物理機器人之間的同步性能。這種濾波方法能夠有效抑制高頻噪聲和短期隨機抖動，使虛擬機器人和物理機器人之間的同步更為平滑、同步性更高。盡管兩種算法的輸入相同，但輸出數據分別反映了不同濾波方法對信號的改進效果，為虛實同步交互系統的濾波算法選擇提供了對比和參考。

在虛實同步交互系統中，低通濾波主要用于抑制位置數據中的高頻噪聲，以減少物理機器人跟蹤虛擬機器人時的抖動。低通濾波通過控制信號中高頻成分的衰減，保留低頻成分，從而使數據變化更加平穩。低通濾波的理論基礎可以通過其傳遞函數進行描述：

其中： s=Pπf 為復數頻率變量 ;f_c 是濾波器的截止頻率，定義了信號高頻成分的衰減范圍。

根據式（11）的傳遞函數，將其轉換為頻率響應形式：

其中： H（f） 表示濾波器對不同頻率信號的幅頻響應 _;f 是信號的頻率。該頻率響應函數表明，低頻信號 （flt;c ）可以被濾波器完整保留，而高頻信號 （fgt;gt;f_c ）被顯著衰減，從而實現噪聲抑制的效果。

為了在離散系統中實現低通濾波，對上述連續系統模型進行離散化處理，同時根據式（7）中的目標位置向量 P ，得到遞歸公式：

P_filtered-LP（n）=α?P_raw（n）+（1-α）?P_filtered-LP（n-1） （13）其中： P_filtered-LP（n） 表示經過低通濾波處理后的位置向量;P_raw（n） 為第 n 時刻的原始目標位置向量； α 為濾波系數，控制低通濾波的響應強度，其計算公式為

其中： RC 是濾波器的時間常數，決定信號平滑的程度； Δt 是采樣時間間隔。

3系統搭建

為驗證所提算法有效性及優勢，搭建了AR機器人控制系統。系統集成了HoloLens增強現實眼鏡、UR5機器人，并配備Inteli7CPU、16GBRAM和NVIDIAGTX1O8OGPU的計算平臺構成了實驗的硬件環境。本實驗平臺基于Unity3D開發，結合Blender和3dsMax進行UR5機器人及其工作環境的三維建模。

首先，使用Blender進行UR5機器人及其工作環境的三維建模，依據實際尺寸與結構創建精確的三維模型，并導出為STEP或IGES格式。之后將導出的STEP或IGES文件導入3dsMax進行進一步優化，添加紋理、材質和動畫設置，最終導出為Unity3D兼容的FBX格式。在Unity3D中，創建項目場景，將FBX文件導入項目窗口，并調整模型的位置、旋轉和縮放，確保模型與實際機器人結構保持一致。同時，使用MRTK插件與C#編程，實現對機器人的算法控制。通過將三維模型與算法結合，使虛擬機器人能夠在Unity3D中按照設定的指令完成動作，具備真實感和細節表現。

如圖6所示，模型創建與導入的流程包括三維建模、模型優化、導入、編程與算法集成，最終形成完整的虛擬場景搭建過程。

為實現虛擬機器人的運動控制，需要為每個關節設置父子關系，使其能夠按照真實機械臂的運動邏輯進行動作模擬。如圖7所示，通過父子層級關系，確保各關節間的運動約束與物理特性相符。以UR5機械臂為例，若滿足Pieper準則，則存在解析解。UR5機器人為六自由度串聯型機器人，其運動學建模基于D-H模型原理。表1為UR5機器人的D-H參數，用于描述機器人的幾何結構特性，并為正運動學建模提供必要的基礎。

表1示例UR5機械臂的D-H參數

Tab.1Example of D-H parameter for UR5 robot arm

結合表1中的D-H參數，實驗中首先建立了UR5機器人的正運動學模型，用于計算各關節的具體位置和運動軌跡，確保虛擬機器人與物理機器人動作的一致性。同時，通過逆運動學算法，根據機器人末端的目標位置和姿態，求解出各關節的角度。這些關節角度為動作控制提供了數據支撐。在實驗中，根據式（9），正向運動學用于根據關節角度計算機器人末端的具體位置和姿態；根據式（10），逆向運動學則用于根據目標末端位置和姿態求解各關節的角度。兩者被集成至Unity3D環境中，用于虛擬機器人動作的模擬與控制。基于目標任務需求，系統通過基于TCP/IP協議的socket通信協議將逆運動學計算得到的關節角度傳輸至UR5機器人的控制器中。機器人根據接收到的指令執行精準動作。同時，物理機器人通過傳感器實時采集運動狀態數據，傳回虛擬環境以更新姿態，從而確保虛實同步的效果。

4實驗分析

實驗過程中，考慮到數據采集的穩定性和可重復性，主要采用平移和旋轉兩種基本運動模式來驗證系統的虛實同步精度。主要原因在于：標準化的運動方式便于通過傳感器和數學建模準確計算誤差，而復雜的交互模式（如非固定路徑跟隨）可能引入更多不確定因素，增加同步性能評估的復雜性。實際上，復雜的交互動作是由這些基本的簡單動作（平移和旋轉）通過疊加和耦合形成的，因此選擇簡單、可控的運動模式有助于減少外部干擾，確保數據分析的準確性。

1）虛實同步測試

配置物理機器人控制器，讀取機器人各關節角度和位置數據，并通過基于TCP/IP協議的 socket通信協議發送至Unity3D環境。虛擬機器人根據接收到的數據同步顯示物理機器人的狀態，觀察并記錄物理機器人對虛擬指令的響應情況，驗證虛實模型之間的同步精度。

圖8展示了基于手勢交互的反向同步實驗。在HoloLens渲染的手控機器人AR場景中，主端操作員利用手勢交互技術操控虛擬機器人，并同步控制從端的物理機器人。在平移、旋轉等多種運動模式下的實驗結果顯示，系統在實時性、精確性和用戶體驗方面均達到了預期目標。

圖8基于手勢交互的反向同步實驗

圖9展示了基于示教器控制的正向同步實驗。在該實驗中，從端操作員通過示教器發送命令，直接控制物理機器人，同時通過HoloLens設備的虛實同步技術，實時顯示虛擬機械臂的運動狀態和末端點位信息。實驗過程中，虛擬機械臂的位姿信息（如位置和旋轉角度）與物理機械臂保持一致，用戶能夠直觀地觀察到兩者的同步變化。這種同步效果不僅增強了主端操作員的臨場感和操控感受，還進一步驗證了虛實交互的準確性與實時性。

Fig.9Forward synchronization experiment based on teach pendant

實驗結果表明，手勢交互技術和虛實同步技術在多種運動模式下實現了機械臂的精確同步，提升了遠程操作中的實時性和控制精度。該技術有效減少了遠程操作中的延遲問題，增強了用戶的臨場感和交互體驗，展示了在人機協同操作和遠程機器人控制領域的廣泛應用潛力。這為未來在增強現實環境下實現高效遠程控制和虛實融合技術的發展提供了重要的實踐參考。

2）濾波算法對虛實控制的同步效果提升

本實驗通過對虛擬機器人與物理機器人之間的同步控制進行濾波處理，為了展示低通濾波在不同噪聲環境下的性能，選擇了滑動平均濾波作為對比算法。滑動平均濾波具有計算簡單、直觀的特點，它通過對相鄰數據點取均值來減少短期波動，平滑信號。兩者的比較有助于更好地理解低通濾波在虛實同步控制中的優勢，較好地展示虛實同步的效果。下面對兩種濾波方法的軌跡同步效果和誤差表現進行了分析，結果如圖10和11所示。

圖10展示了原始數據、低通濾波和滑動平均濾波處理后的軌跡同步效果。從圖中可以看出，原始數據（藍線，見電子版）存在顯著的高頻噪聲和短期抖動，導致物理機器人難以平穩地跟隨虛擬機器人的運動軌跡。經過低通濾波處理后（紅色虛線），軌跡曲線變得更加平滑，明顯抑制了高頻噪聲，信號滯后約 40.6ms ，使機器人在全局范圍內能夠更精準地接近虛擬機器人的目標軌跡，跟隨效果顯著提升。而滑動平均濾波處理后的軌跡（綠色虛線）在平滑短期抖動方面表現良好，但對高頻噪聲的抑制能力相對有限，因此整體同步精度的提升不如低通濾波顯著。由此可見，低通濾波在虛實同步場景中具有更強的適用性。此外，為了進一步分析低通濾波對系統響應滯后的影響，通過峰值對比方法計算了系統的延遲。實驗結果表明：截止頻率為 0.1Hz 時，系統響應滯后約 40.6ms 。截止頻率為 0.5Hz 時，系統響應滯后降低至 38.0ms ，延遲減少約2.6ms 。這些結果表明，通過適當提高截止頻率，低通濾波器能夠有效減少滯后并提升系統的實時性。在本研究的實驗范圍內， 40.6ms 的滯后量被認為是合理的，且不會對系統實時性產生明顯影響。然而，進一步提高截止頻率（如至 1Hz ）可能會減少更多滯后，但需要權衡噪聲抑制效果，避免過度提高截止頻率導致噪聲引入。

圖10濾波算法的軌跡同步效果對比

Fig.10Comparison of trajectory synchronization effect of filtei

為了分析兩種濾波方法在誤差控制上的表現，圖11展示了低通濾波和滑動平均濾波的誤差對比曲線。在 0～20s ，滑動平均濾波誤差（藍線，見電子版）波動幅度較大，尤其在10s附近出現顯著峰值，表明其對高頻噪聲的抑制效果不足，而低通濾波誤差（紅線）則較為平穩，表現出更好的噪聲抑制能力。在 20～40s ，滑動平均濾波的誤差幅度依然較大，尤其在 40s 左右達到較高峰值，整體波動顯著高于低通濾波。相比之下，低通濾波的誤差在這一時間段保持較為穩定，顯示出其更強的魯棒性。在 40～80s ，低通濾波的誤差曲線（紅線）波動幅度較小，基本保持在 ±0.01m 以內，充分體現了其對高頻噪聲的抑制效果和同步精度的提升能力。而滑動平均濾波的誤差曲線（藍線）在這一階段波動幅度相對較大，難以達到低通濾波的穩定性和精度。綜合來看，低通濾波在復雜噪聲場景下表現出更強的適應性，是實現高精度同步的優選方法。

圖11濾波算法的誤差曲線對比 Fig.11Comparison of error curves of filtering algorithms

結合兩張圖的分析可以得出，低通濾波在軌跡平滑性和誤差控制方面表現出更明顯的優勢，是實現虛擬機器人與物理機器人高精度同步的更優選擇。通過對高頻噪聲的有效抑制，低通濾波使物理機器人能夠更準確地響應虛擬機器人的運動指令，從而提升了同步控制的整體性能。而滑動平均濾波在輕微噪聲場景中具有一定的輔助作用，但在復雜噪聲環境中不如低通濾波效果顯著。

圖10和11分別展示了濾波算法的軌跡同步效果對比與誤差曲線對比，總體而言，低通濾波在本實驗中表現出了更加優越的性能，是實現高質量虛實同步控制的有效方法。

5結束語

本研究基于AR技術和手勢操作控制，提出了一種增強現實機器人的虛實同步手勢交互方法，并搭建了AR機器人控制系統開展應用驗證。結果表明，該系統支持手勢識別，具備良好的虛實同步性，用戶可以使用自然直觀的手勢來控制機器人，在操作簡便性、效率和實時性方面顯著優于傳統方法，能夠有效降低操作難度、提高靈活性和安全性，可應用于危險環境遠程操作、工廠智能維護與培訓等新興領域。未來可以探索多模態交互方式的融合，例如結合語音識別技術和觸覺反饋，通過智能語音助手和力反饋手套等設備，進一步增強人機交互的效率和可靠性。此外，擴展到多機器人系統的虛實同步控制也將是一個重要的研究方向，可以通過分布式控制和協同算法來實現多機器人的協調作業，從而為智能制造和遠程協作提供更高效的支持。

參考文獻：

[1］任洋甫，李志強，張松海．沉浸式環境中多場景視覺提示信息可視化方法綜述[J]．中國圖象圖形學報，2024，29（1）：1-21.（Ren Yangfu，Li Zhiqiang，Zhang Songhai. Survey of visualizationmethods for multiscene visual cue informationin immersive environ-ments[J]. Journal of Image and Graphics，2024，29（1）：1-21.）

[2]葉成英，李建微，陳思喜.VR全景視頻傳輸研究進展［J]．計算機應用研究，2022，39（6）：1601-1607，1621.（YeChengying，LiJianwei，Chen Sixi. Research progress of VR panoramic video trans-mission[J].Application Research of Computers，2022，39（6）：1601-1607，1621.）

[3]王慶輝，趙凱航，宋國立，等．基于增強現實的脊柱微創手術導航系統[J]．機器人，2023，45（5）：546-553.（WangQinghui，Zhao Kaihang，Song Guoli，et al．Augmented reality-based navigationsystem for minimally invasive spine surgery[J].Robot，2023，45（5）：546-553.）

[4］李穎，高嵐，朱志松．面向智能制造場景的機器人數字孿生建模與控制［J]．系統仿真學報，2024，36（7）：1536-1545.（LiYing，Gao Lan， Zhu Zhisong.Digital twin modeling and control of ro-bots for intelligent manufacturing scenarios[J].Journal of SystemSimulation，2024，36（7）：1536-1545.）

[5]黃凱歌，惠延波，劉永剛，等.VR交互式三維虛擬起重裝備建模與仿真[J]．計算機工程與應用，2024，60（7）：204-211.（Huang Kaige，Hui Yanbo，Liu Yonggang，et al.VR interactive 3Dvirtual crane modeling and simulation[J].Computer Engineeringand Applications，2024，60（7）：204-211.）

[6]曹錦旗，韓雪松．工業機器人軌跡規劃的研究方法綜述［J]．信息與控制，2024，53（4）：471-486，498.（Cao Jingqi，Han Xuesong.Review of research methodsfor industrial robot trajectoryplanning[J].Informationand Control，2024，53（4）：471-486，498.）

[7]Zhao Feifan，Deng Wupeng，Pham TD.A robotic teleoperation sys-temwith integrated augmented realityand digital twin technologiesfordisassembling end-of-lifebatteries[J].Batteries，2024，10（11）：382.

[8]SahooSK，NalinipriyaG，SrinivasanPS，etal.Development ofavirtual reality model using digital twin for real-time data analysis [J].SNComputerScience，2023，4（5）：549.

[9]王耀南，江一鳴，姜嬌，等．機器人感知與控制關鍵技術及其智能制造應用[J]．自動化學報，2023，49（3）：494-513.（WangYaonan，Jiang Yiming，Jiang Jiao，et al.Key technologiesof robotperception and control and itsintelligent manufacturing applications[J].Acta Automatica Sinica，2023，49（3）： 494-513.）

[10]Kapius M，Beran V，MaternaZ，et al.Augmentedrealityspatialprogramming paradigm applied to end-user robot programming [J].Robotics and Computer-Integrated Manufacturing， 2024，89：102770.

[11]Blankemeyer S，Wendorff D，Raatz A.A hand-interaction model foraugmented reality enhanced human-robot collaboration[J].CIRPAnnals-Manufacturing Technology，2024，73（1）：17-20.

[12]方維，許澍虹，韓磊，等．AR增強裝配中的跟蹤注冊方法研究與應用進展［J]．系統仿真學報，2023，35（7）：1438-1454.（FangWei，Xu Shuhong，HanLei，etal.Researchandapplicationprogress of tracking registration methods in AR assembly[J]. Jour-nal of System Simulation，2023，35（7）：1438-1454.）

[13]丁志昆，孫奕程，段亮亮，等．基于數字孿生的增強現實多人協作裝配［J]．計算機集成制造系統，2023，29（6）：2019-2034.（Ding Zhikun，Sun Yicheng，Duan Liangliang，etal.AR multiplayercollaborative assembly method based on digital twin[J].ComputerIntegrated Manufacturing Systems，2023，29（6）：2019-2034.）

[14]Aivaliotis S，Papavasileiou A，Konstantinou C，etal.An interactiveaugmented reality based framework assisting operators in human-robotcollaborative assembly operations [J].Procedia CIRP，2024，126：170-175.

[15］陳成軍，丁旭彤，潘勇，等．基于數字孿生的遙操作機器人在線示教系統［J]．計算機集成制造系統，2023，29（3）：951-963.（ChenChengjun，Ding Xutong，Pan Yong，et al. Online teaching system ofteleoperation robot based on digital twin model[J]. Computer Inte-grated Manufacturing Systems，2023，29（3）：951-963.）

[16]Li Junchen.Optimization of operation path of six-DOF industrial robotarm based on augmented reality[J].International Journal of Manu-facturing TechnologyandManagement，2022，36（5-6）：284-297.

[17］曹鵬霞，李文新，黃羿博．基于邊云協同和增強現實的智能裝配方法［J/OL]．計算機工程與科學.（2024-08-30）．http：//kns.cnki.net/kcms/detail/43.1258．tp.20240830.0924.002.html.（Cao Pengxia，LiWenxin，HuangYibo.Intelligent assembly methodbased on edge-cloud collaboration and augmented reality[J].Com-puter Engineeringamp; Science.（2024-O8-30）.http：//kns.cnki.net/kcms/detail/43.1258.tp.20240830.0924.002.html.）

[18]XuFang，Xia Pengxiang，You Hengxu，etal.Robotic cros-platformsensor fusionand augmented visualization for large indoor space realitycapture[J/OL]. Journal of Computing in Civil Engineering，2022，36（6）.https：//doi.org/10.1061/（ASCE）CP.1943-5487.0001047.

[19]Konstantinos L，NikosF，Spyridon K，et al．Augmented reality（AR）based framework for supporting human workers in flexible manu-facturing[J].Procedia CIRP，2021，96：301-306.

[20]徐文彪，許馳，史洪巖，等．力觸覺增強的虛擬現實工廠系統[J]．應用科學學報，2023，41（1）：71-79.（Xu Wenbiao，Xu Chi，Shi Hongyan，et al.Force haptic-enhanced virtual reality factory sys-tem[J].Journal of Applied Sciences，2023，41（1）： 71-79.）

[21］鄭湃，李成熙，殷悅，等．增強現實輔助的互認知人機安全交互系統［J]．機械工程學報，2023，59（6）：173-184．（Zheng Pai，LiChengxi，Yin Yue，et al.Augmented reality-assisted mutual cogni-tive system for human-robot interaction safety concerns [J]. Journalof Mechanical Engineering，2023，59（6）： 173-184.）

[22]Konstantinos L，Christos G，NikosF，et al.ARbased robot program-ming using teaching by demonstration techniques[J]．ProcediaCIRP，2021，97： 459-463.

[23］王國慶，裴云強，楊陽，等．多模可信交互：從多模態信息融合到人-機器人-數字人三位一體式交互模型［J]．中國科學：信息科學，2024，54（4）： 872-892.（Wang Guoqing，Pei Yunqiang，YangYang，etal.Multimodal trustworthyinteraction：frommultimodal infor-mation fusion to a trinitarian human-robot-digital human interactionmodel[J].Scientia Sinica Informationis，2024，54：872-892.）

收稿日期：2025-01-17；修回日期：2025-03-07 基金項目：國家自然科學基金資助項目（92267108，62173322）;遼寧省科學技術計劃資助項目（2023JH3/10200004，2022JH25/10100005）；興遼英才計劃資助項目（XLYC2403062）

作者簡介：王振宇（1999—），男，安徽六安人，碩士研究生，CCF會員，主要研究方向為增強現實、機器人；許馳（"^1987-）"，男（通信作者），遼寧沈陽人，研究員，博士，CCF高級會員，主要研究方向為工業控制系統、工業無線網絡、5G/6G、邊緣計算等（ xuchi@ sia.cn）；李琳（1990—），女，遼寧鞍山人，工程師，碩士，主要研究方向為工業控制系統、機器人;洪悅（1980—），男，遼寧沈陽人，講師，博士，主要研究方向為物聯網技術及應用、機器學習與計算智能優化方法.