增強(qiáng)現(xiàn)實(shí)機(jī)器人的虛實(shí)同步手勢交互方法

關(guān)鍵詞：增強(qiáng)現(xiàn)實(shí)；手勢交互；機(jī)器人；姿態(tài)跟蹤；虛實(shí)同步

中圖分類號：TP391 文獻(xiàn)標(biāo)志碼：A 文章編號：1001-3695（2025）08-006-2290-07

doi：10.19734/j.issn.1001-3695.2025.01.0010

Virtual-real synchronous gesture interaction method for augmented reality robot

Wang Zhenyu1，2.3， Xu Chi ^2，3? ，Li Lin2，Hong Yuel （1.ColegeofIfoatioiringyngUniesitfecalTeolenang4Ca.ateKybf Robotics，hagstiuteftiecdefenin;ybotorfodro Systems，Chinese Academy ofSciences，Shenyang11O016，China）

Abstract：Toaddress theisuesofpoorpereption，lowsynchronizationaccuracy，andlowexecution eficiencyindyamic human-robot interaction withinAR scenarios，thispaper establishedan AR-based virtual-real synchronous interactionframework forrobotsandproposedavirtual-realsynchronousgesture interactionmethod.Firstly，itintroducedagesturerecognition andvirtual-realcordinate mappng method，whichutilizedposeparsingandforward/inverse kinematics matrices tomaphand gesturestorobotjoints.Thisenabledbidirectionalcontrolforvirtual-realsynchronizationandenhancedthesystem’perabilityand perceptioncapabilities.Secondly，itproposedalow-passfiteringalgorithmbasedonpositionvectors toreducenoiseinterferenceinvirtual-realinteractions，improvingthesmoothnessof human-robotinteraction.Finally，itdevelopedandexperimentallyvalidatedaprototypesystemforrobotvirtual-real interaction.Theexperimentalresultsdemonstratethatthesystem controls the maximum error in path adjustment and pose tracking within ±0.01m ，verifying the system’s applicability and high precision in achieving virtual-real synchronization for robots.

Key words：augmented reality；gesture interaction；robots；pose tracking；virtual-real synchronization

0 引言

隨著智能制造的快速發(fā)展，機(jī)器人廣泛應(yīng)用于汽車制造、電子裝配、食品加工等領(lǐng)域，極大地提高了生產(chǎn)效率和產(chǎn)品質(zhì)量，在現(xiàn)代制造業(yè)中扮演著越來越重要的角色。然而，傳統(tǒng)的機(jī)器人編程和操控，是工程師一邊觀察機(jī)器人運(yùn)動狀態(tài)，獲得必要的機(jī)器人位姿和軌跡數(shù)據(jù)，一邊控制機(jī)器人示教器。這種編程和操控方法復(fù)雜且耗時，對工程師專業(yè)性要求很高，而且操作過程中易造成機(jī)器人與周邊設(shè)備發(fā)生刮擦甚至碰撞，無法滿足日益增長的靈活性和智能化需求。

增強(qiáng)現(xiàn)實(shí)（AR）技術(shù)作為一種新興的人機(jī)交互方式，通過將虛擬信息疊加到真實(shí)世界中，使用戶能夠直觀地感知和操作復(fù)雜的系統(tǒng)。基于AR建立機(jī)器人的虛擬空間，開展實(shí)時編程和操作模擬，實(shí)現(xiàn)虛實(shí)同步，可以解決交互不及時、可視化程度低等問題。具體優(yōu)勢可總結(jié)為：a）可視化編程。操作員通過AR技術(shù)可以在虛擬環(huán)境中直觀地模擬和調(diào)整機(jī)器人的工作路徑和姿態(tài)，無須復(fù)雜的編程語言，從而大大降低了編程門檻。b）實(shí)時監(jiān)控與調(diào)試。AR技術(shù)可以將虛擬機(jī)器人模型疊加到真實(shí)工作環(huán)境中，操作員可以實(shí)時監(jiān)控機(jī)器人的工作狀態(tài)，并在虛擬環(huán)境中進(jìn)行調(diào)試和驗(yàn)證，確保機(jī)器人在實(shí)際工作中安全可靠地運(yùn)行。c）遠(yuǎn)程協(xié)作。遠(yuǎn)程專家可以通過虛擬環(huán)境對現(xiàn)場操作員進(jìn)行指導(dǎo)和支持，提供即時的技術(shù)幫助和解決方案，從而提高問題解決的效率和準(zhǔn)確性[1～3]

近年來，AR與機(jī)器人結(jié)合，在虛實(shí)建模、路徑優(yōu)化、人機(jī)交互及智能裝配等方面取得了一定的研究進(jìn)展。李穎等人[4]研究了面向智能制造場景的機(jī)器人數(shù)字孿生建模與控制方法，通過虛實(shí)結(jié)合提升了機(jī)器人控制與仿真的精確性和實(shí)時性。黃凱歌等人[5]提出了一種面向機(jī)器人虛擬展示的三維模型簡化技術(shù)，為機(jī)器人仿真和虛擬展示提供了高效的數(shù)據(jù)處理支持。曹錦旗等人將虛擬模型結(jié)合到工業(yè)機(jī)器人的軌跡規(guī)劃上，優(yōu)化軌跡移動時間和效果。與此同時， Zhao 等人開發(fā)了一種結(jié)合增強(qiáng)現(xiàn)實(shí)與數(shù)字孿生技術(shù)的機(jī)器人遠(yuǎn)程操作系統(tǒng)，應(yīng)用于廢舊電池拆解任務(wù)，顯著提升了系統(tǒng)的交互效率和遠(yuǎn)程操作精度。Sahoo等人[8]則提出了一種基于數(shù)字孿生的虛擬現(xiàn)實(shí)模型，利用實(shí)時數(shù)據(jù)分析優(yōu)化了機(jī)器人的操作性能。在機(jī)器人感知與控制方面，王耀南等人[9]對智能制造中機(jī)器人感知與控制的關(guān)鍵技術(shù)進(jìn)行了全面探討，強(qiáng)調(diào)了其在復(fù)雜制造場景中的應(yīng)用潛力。Kapinus等人[10]提出了增強(qiáng)現(xiàn)實(shí)空間編程方法，通過簡化用戶編程流程降低了操作復(fù)雜性。Blankemeyer等人[]研究了基于增強(qiáng)現(xiàn)實(shí)的人機(jī)協(xié)作手部交互模型，有效提升了人機(jī)協(xié)同操作的精確性。方維等人[12]對增強(qiáng)現(xiàn)實(shí)裝配中的跟蹤注冊方法進(jìn)行了系統(tǒng)研究，為AR在裝配領(lǐng)域的應(yīng)用提供了關(guān)鍵技術(shù)支持。丁志昆等人[13結(jié)合數(shù)字孿生與增強(qiáng)現(xiàn)實(shí)技術(shù)，提出了增強(qiáng)現(xiàn)實(shí)支持的多人協(xié)作裝配系統(tǒng)，解決了復(fù)雜裝配任務(wù)中的協(xié)同控制問題。Aivaliotis等人[14]開發(fā)了一種交互式增強(qiáng)現(xiàn)實(shí)框架，支持人機(jī)協(xié)作裝配操作，顯著提高了裝配效率。陳成軍等人[15]則研究了基于增強(qiáng)現(xiàn)實(shí)技術(shù)的工業(yè)機(jī)器人引導(dǎo)示教方法，使示教操作更加直觀、靈活。 Li^[16] 提出了一種基于增強(qiáng)現(xiàn)實(shí)的六自由度工業(yè)機(jī)器人路徑優(yōu)化方法，提升了路徑規(guī)劃的效率和準(zhǔn)確性。在智能裝配領(lǐng)域，曹鵬霞等人[7]研究了基于邊云協(xié)同的增強(qiáng)現(xiàn)實(shí)裝配方法，結(jié)合智能裝配技術(shù)實(shí)現(xiàn)了數(shù)據(jù)與控制的高效協(xié)同。 Xu 等人[18]則通過傳感器融合與增強(qiáng)可視化技術(shù)，開發(fā)了大空間實(shí)時捕捉技術(shù)，為機(jī)器人控制提供了技術(shù)支持。此外，Konstantinos等人[19]提出了一種支持柔性制造的人機(jī)協(xié)作增強(qiáng)現(xiàn)實(shí)框架，有效增強(qiáng)了工人在復(fù)雜任務(wù)中的操作效率。徐文彪等人[20]開發(fā)了力觸覺增強(qiáng)的虛擬現(xiàn)實(shí)工廠系統(tǒng)，為工業(yè)機(jī)器人操作提供了更真實(shí)的反饋體驗(yàn)。鄭湃等人[2對增強(qiáng)現(xiàn)實(shí)輔助裝配技術(shù)進(jìn)行了全面綜述，總結(jié)了其在裝配精度和效率提升方面的研究進(jìn)展。Konstantinos等人[22]通過虛擬機(jī)器人仿真實(shí)訓(xùn)系統(tǒng)，為產(chǎn)線操作和仿真提供了虛擬支持。最后，王國慶等人[23提出了從多模態(tài)信息融合到人-機(jī)器人-數(shù)字人三位一體交互的可信交互模型，突破了傳統(tǒng)交互方式的局限性，為機(jī)器人智能交互開辟了新的方向。

然而，已有研究主要關(guān)注于基于增強(qiáng)現(xiàn)實(shí)的機(jī)器人運(yùn)動規(guī)劃與路徑控制，并沒有考慮到系統(tǒng)靈活性的問題，且多為單向控制，無法實(shí)現(xiàn)物理機(jī)器人與虛擬模型之間的真正交互，在動態(tài)場景或突發(fā)情況下無法提供及時反饋。虛實(shí)同步交互的核心難點(diǎn)在于：如何確保物理機(jī)器人與虛擬模型的高度一致性，并提供直觀、自然的交互方式。在實(shí)際應(yīng)用中，由于物理機(jī)器人和虛擬機(jī)器人通常處于不同的控制坐標(biāo)系，如何有效地進(jìn)行姿態(tài)映射和同步成為關(guān)鍵問題[12]。同時，傳統(tǒng)機(jī)器人交互方式依賴示教器或預(yù)設(shè)軌跡，缺乏靈活性，難以滿足實(shí)際生產(chǎn)環(huán)境中對交互便捷性和操作自由度的要求。此外，信息延遲和反饋精度的不足，可能導(dǎo)致虛擬模型與物理機(jī)器人之間的同步誤差增大，影響操作穩(wěn)定性[21]。針對上述問題，本文提出了一種AR機(jī)器人的虛實(shí)同步手勢交互方法。具體來說，本文設(shè)計了一個AR機(jī)器人系統(tǒng)，通過對機(jī)器人正/逆運(yùn)動學(xué)建模與仿真，并設(shè)計符合人類直觀操作習(xí)慣的手勢指令，實(shí)現(xiàn)了物理機(jī)器人與虛擬機(jī)器人之間的雙向同步手勢控制，大幅降低了控制難度，使得機(jī)器人控制更加人性化、直觀化，減少了操作者對機(jī)器人操作的要求。

本文貢獻(xiàn)如下：

a）針對人與機(jī)器人交互靈活性較差的問題，通過機(jī)器人正向和逆向運(yùn)動學(xué)建模，提出基于手勢識別的控制方法。通過引入手勢交互機(jī)制，本地操作人員可以有效完成機(jī)器人的軌跡規(guī)劃，實(shí)現(xiàn)更高的靈活性和可操作性。

b）針對信息延時反饋導(dǎo)致的同步精度低、軌跡跟蹤偏差大的問題，提出了一種支持虛擬機(jī)器人坐標(biāo)系與物理機(jī)器人坐標(biāo)系重合的遠(yuǎn)程AR配準(zhǔn)方法，達(dá)到虛實(shí)同步的效果，顯著提高了遠(yuǎn)程協(xié)作的效率。

c）開發(fā)了AR機(jī)器人系統(tǒng)，通過雙向傳輸機(jī)器人位姿狀態(tài)等數(shù)據(jù)，實(shí)現(xiàn)虛實(shí)同步控制。物理實(shí)驗(yàn)結(jié)果表明，本文系統(tǒng)具有良好的實(shí)時性與沉浸性，能夠滿足機(jī)器人的實(shí)時監(jiān)測與可視化控制要求，實(shí)現(xiàn)了虛擬機(jī)器人與真實(shí)工作環(huán)境的無縫銜接。

1機(jī)器人虛實(shí)同步交互架構(gòu)

AR機(jī)器人虛實(shí)同步交互架構(gòu)如圖1所示，分為物理層、連接層、虛擬層和應(yīng)用層。a）物理層指真實(shí)的物理世界，涵蓋機(jī)器人、控制器、示教器、傳感器等可識別的物理實(shí)體及環(huán)境。b）連接層負(fù)責(zé)實(shí)現(xiàn)物理層與虛擬層的互聯(lián)，通過數(shù)據(jù)采集、傳輸與處理實(shí)現(xiàn)雙向交互，確保物理層與虛擬層狀態(tài)的同步收斂。c）虛擬層是物理層的數(shù)字孿生體，通過三維建模和渲染貼圖，創(chuàng)建與物理層高度一致的數(shù)字對象，并利用腳本添加物理屬性、約束等特征，同時提供人機(jī)交互界面。d）應(yīng)用層基于連接層和虛擬層，利用實(shí)時和歷史數(shù)據(jù)進(jìn)行仿真和數(shù)據(jù)建模，支撐物理層的監(jiān)測與數(shù)據(jù)存儲，可應(yīng)用于描述、診斷、預(yù)測和處理等場景。

圖1系統(tǒng)架構(gòu)

Fig.1System framework

2機(jī)器人的虛實(shí)同步手勢交互方法

2.1機(jī)器人虛實(shí)同步交互系統(tǒng)

虛實(shí)同步交互系統(tǒng)是實(shí)現(xiàn)虛擬機(jī)器人與實(shí)體機(jī)器人協(xié)同工作的核心，通過數(shù)據(jù)采集、解析、處理和控制指令生成，實(shí)現(xiàn)虛擬環(huán)境與現(xiàn)實(shí)設(shè)備之間的高度一致性。該系統(tǒng)的核心目標(biāo)是確保虛擬機(jī)器人能夠?qū)崟r反映物理機(jī)器人的狀態(tài)，同時為物理機(jī)器人生成高精度的動作指令，驅(qū)動其完成目標(biāo)任務(wù)。

如圖2所示，虛實(shí)同步交互系統(tǒng)的核心模塊包括物理實(shí)體、虛擬模型以及正向和逆向運(yùn)動學(xué)模塊。正向運(yùn)動學(xué)模塊根據(jù)物理機(jī)器人反饋的關(guān)節(jié)角度計算末端位姿，并更新虛擬環(huán)境中的模型狀態(tài)，確保虛擬機(jī)器人與物理機(jī)器人在姿態(tài)上的一致性。逆向運(yùn)動學(xué)模塊則根據(jù)虛擬模型生成的目標(biāo)末端位姿，計算對應(yīng)的關(guān)節(jié)角度，并將其作為控制指令發(fā)送至物理機(jī)器人，完成動作執(zhí)行。這種雙向數(shù)據(jù)流的設(shè)計既保障了實(shí)時性，也增強(qiáng)了系統(tǒng)在復(fù)雜任務(wù)場景中的適應(yīng)性。

虛實(shí)同步交互系統(tǒng)的實(shí)現(xiàn)依賴于雙向數(shù)據(jù)流動。一方面，物理機(jī)器人通過傳感器采集實(shí)時數(shù)據(jù)，包括關(guān)節(jié)角度、末端位姿和速度等。這些數(shù)據(jù)經(jīng)過高實(shí)時高可靠的通信模塊傳輸至虛擬模型，并通過正向運(yùn)動學(xué)模塊處理，計算末端執(zhí)行器的位姿。隨后，虛擬模型實(shí)時更新其可視化狀態(tài)，使虛擬機(jī)器人在虛擬環(huán)境中的姿態(tài)與物理機(jī)器人保持一致。

另一方面，虛擬模型不僅是物理機(jī)器人的狀態(tài)呈現(xiàn)工具，還是任務(wù)規(guī)劃的核心。在虛擬模型中，根據(jù)任務(wù)需求生成目標(biāo)末端位姿，通過逆向運(yùn)動學(xué)模塊將高層次的位姿信息轉(zhuǎn)換為具體的關(guān)節(jié)角度指令。這些指令通過通信模塊發(fā)送至物理機(jī)器人，驅(qū)動其執(zhí)行相應(yīng)動作，完成指定任務(wù)。這種從虛擬到物理的控制流確保了虛擬機(jī)器人對物理機(jī)器人的有效驅(qū)動，同時實(shí)現(xiàn)了虛擬與現(xiàn)實(shí)之間的閉環(huán)控制。

通過圖2可以看到，虛實(shí)同步交互系統(tǒng)以正向和逆向運(yùn)動學(xué)為基礎(chǔ)，形成了從數(shù)據(jù)采集到指令生成的完整閉環(huán)。物理機(jī)器人提供傳感器數(shù)據(jù)作為輸入，虛擬模型負(fù)責(zé)路徑規(guī)劃、狀態(tài)更新和指令生成。正向運(yùn)動學(xué)模塊解析物理數(shù)據(jù)，逆向運(yùn)動學(xué)模塊生成控制指令，使虛擬與物理機(jī)器人實(shí)現(xiàn)了高度同步。虛實(shí)同步交互系統(tǒng)的這一閉環(huán)設(shè)計不僅解決了信息延遲和數(shù)據(jù)誤差等問題，還提升了機(jī)器人在實(shí)時控制與精確任務(wù)執(zhí)行中的表現(xiàn)，為智能制造和復(fù)雜工業(yè)場景的應(yīng)用提供了可靠的技術(shù)支撐。

2.2增強(qiáng)現(xiàn)實(shí)環(huán)境中的手勢操作

2.2.1手勢的識別與虛擬空間的映射

AR眼鏡內(nèi)置的手勢識別，可實(shí)現(xiàn)操作者手部動作與虛擬空間的實(shí)時交互，通過手勢追蹤提取關(guān)鍵數(shù)據(jù)，如手掌位置、手指關(guān)節(jié)坐標(biāo)及運(yùn)動軌跡，并將其映射到虛擬環(huán)境。手勢的捕獲依賴于多模態(tài)傳感器，如深度攝像頭與慣性測量單元（IMU），能夠在三維空間中實(shí)時記錄手部的動態(tài)變化。手部空間信息最初位于AR眼鏡的本地坐標(biāo)系中，為后續(xù)的坐標(biāo)轉(zhuǎn)換和運(yùn)動指令生成提供了準(zhǔn)確的輸入基礎(chǔ)。

圖2虛實(shí)同步雙向數(shù)據(jù)交互框架

手勢識別的實(shí)現(xiàn)以動態(tài)變化的姿態(tài)軌跡為基礎(chǔ)，通過深度學(xué)習(xí)模型訓(xùn)練的大規(guī)模手勢識別數(shù)據(jù)集，具備對手勢動態(tài)的自適應(yīng)學(xué)習(xí)能力。借助AR眼鏡內(nèi)置的高效分類與預(yù)測框架，能夠快速區(qū)分多種預(yù)定義的手勢類型，例如抓取、拖動、釋放等。通過這些直觀的手勢，用戶可以直接與虛擬機(jī)器人交互，完成控制指令的輸入。

為了進(jìn)一步提升交互效率，系統(tǒng)支持單手和雙手操作模式。單手操作可以提供機(jī)器人末端的初步位置信息，雙手操作則增加姿態(tài)控制的能力，為虛擬機(jī)器人的精確操控奠定了基礎(chǔ)。圖3展示了手勢數(shù)據(jù)映射到虛擬機(jī)器人的流程，從手部位姿數(shù)據(jù)捕獲、經(jīng)過坐標(biāo)轉(zhuǎn)換與姿態(tài)變換后，最終通過逆運(yùn)動學(xué)算法將位姿信息轉(zhuǎn)換為虛擬機(jī)器人控制指令，完成虛擬機(jī)器人動作的執(zhí)行。

2.2.2手勢坐標(biāo)到虛擬機(jī)器人坐標(biāo)的轉(zhuǎn)換

手勢識別后的坐標(biāo)數(shù)據(jù)需要經(jīng)過多層坐標(biāo)系轉(zhuǎn)換，才能被虛擬機(jī)器人和物理機(jī)器人有效利用。這一過程的核心在于將手勢的本地坐標(biāo)映射到AR眼鏡的全局坐標(biāo)系，并最終轉(zhuǎn)換到虛擬機(jī)器人基座的坐標(biāo)系中。為了實(shí)現(xiàn)這一目標(biāo)，坐標(biāo)系的配準(zhǔn)與轉(zhuǎn)換涉及位置、旋轉(zhuǎn)和縮放三個核心方面。

圖4是系統(tǒng)的坐標(biāo)系分布，全局坐標(biāo)系XYZ是整個增強(qiáng)現(xiàn)實(shí)環(huán)境的參考框架，用于描述設(shè)備和虛擬機(jī)器人在空間中的絕對位置。設(shè)備坐標(biāo)系 X₁Y₁Z₁ 綁定在AR眼鏡上，隨著設(shè)備的移動動態(tài)變化，用于捕捉操作者的運(yùn)動軌跡。而虛擬機(jī)器人基座坐標(biāo)系 X₂Y₂Z₂ 則是固定在虛擬機(jī)器人基座上的參考系，用于描述虛擬機(jī)器人的姿態(tài)與運(yùn)動。通過增強(qiáng)AR眼鏡內(nèi)置的傳感器和定位功能，這些坐標(biāo)系能夠?qū)崟r配準(zhǔn)與轉(zhuǎn)換，從而確保手勢數(shù)據(jù)在虛擬與物理環(huán)境中的精確映射。

圖4全局坐標(biāo)系和基座坐標(biāo)系 Fig.4Global and base coordinate systems

1）從手勢坐標(biāo)到AR眼鏡的全局坐標(biāo)映射

手勢捕獲的位置信息最初定義在本地坐標(biāo)系中，而AR眼鏡通過其自帶的空間定位功能（如SLAM技術(shù)），實(shí)時確定其在全局坐標(biāo)系中的位置和姿態(tài)。這使得手勢的本地坐標(biāo)可以結(jié)合設(shè)備在全局坐標(biāo)系中的定位信息，直接轉(zhuǎn)換為全局坐標(biāo)系中的位姿。轉(zhuǎn)換公式如下：

T_hand-global=T_hand-local?T_{device-global}

其中： T_hand-global 表示手部在全局坐標(biāo)中的位姿; T_hand-local 表示手部在AR眼鏡本地坐標(biāo)中的位姿; T_{device-global} 表示AR眼鏡在全局坐標(biāo)中的位姿。這一轉(zhuǎn)換的關(guān)鍵在于實(shí)時獲取AR眼鏡在全局坐標(biāo)系中的位置和方向，并以此為基準(zhǔn)，將手勢數(shù)據(jù)定位到更大的物理空間范圍內(nèi)。

2）從全局坐標(biāo)到虛擬機(jī)器人基座坐標(biāo)映射

虛擬機(jī)器人在增強(qiáng)現(xiàn)實(shí)系統(tǒng)中具有固定的基座坐標(biāo)系，作為機(jī)器人操作的空間參考。為了實(shí)現(xiàn)虛擬機(jī)器人對手勢的響應(yīng)，需要將手部的全局坐標(biāo)轉(zhuǎn)換到虛擬機(jī)器人基座的坐標(biāo)系中。這一步的目標(biāo)是通過坐標(biāo)系變換矩陣，將全局位姿數(shù)據(jù)精確映射到虛擬機(jī)器人基座的參考系中。轉(zhuǎn)換公式為

T_{global-virtual}=T_hand-global?T_robot-global^-1

其中： T_{global-virtual} 表示手部相對于虛擬機(jī)器人基座的位姿;T_hand-global 表示手部在全局坐標(biāo)中的位姿； T_robot-global 表示虛擬機(jī)器

人基座在全局坐標(biāo)系中的位姿。通過這一轉(zhuǎn)換，手部的運(yùn)動被精確映射到虛擬機(jī)器人所在的坐標(biāo)系，為后續(xù)姿態(tài)與運(yùn)動指令的生成提供了基礎(chǔ)。

為了實(shí)現(xiàn)虛擬機(jī)器人與手勢運(yùn)動的精確對齊，需要進(jìn)行更為精細(xì)的三維坐標(biāo)轉(zhuǎn)換。假設(shè)存在兩個坐標(biāo)系 A 和 B ，點(diǎn) m 在兩者之間的變換關(guān)系可以描述為

（B）m=R（B-A）S（B-A）（A）m+（B）A

其中： （B）m 是點(diǎn) m 在 B 坐標(biāo)系中的位置； （A）m 是點(diǎn) m 在 A 坐標(biāo)系中的位置； R（B-A） 表示從 A 到 B 坐標(biāo)系的旋轉(zhuǎn)矩陣；S（B-A） 表示從 A 到 B 坐標(biāo)系的縮放矩陣； B（A） 表示 A 坐標(biāo)系原點(diǎn)在 B 坐標(biāo)系中的位置。

A 坐標(biāo)系的 X，Y，Z 軸相對于 B 的旋轉(zhuǎn) R（B-A） ，當(dāng) A 和 B 的坐標(biāo)系原點(diǎn)重合時，可表示為

A 坐標(biāo)系各軸的單位向量相對于 B 的縮放 s（B-A） ，當(dāng) A 和 B 坐標(biāo)系的位置和姿態(tài)保持一致時，可表示為

為簡化三維坐標(biāo)變換的描述，引入齊次變換矩陣：

上述公式構(gòu)建了從坐標(biāo)系 A 到 B 的齊次變換矩陣 T（B? （2號A）。該變換矩陣不僅包含了位置偏移、姿態(tài)旋轉(zhuǎn)和尺度縮放的信息，還能夠統(tǒng)一描述不同坐標(biāo)系之間的變換關(guān)系。在實(shí)際應(yīng)用中，齊次變換矩陣 T（B-A） 是實(shí)現(xiàn)虛擬機(jī)器人與物理機(jī)器人同步的關(guān)鍵工具，該矩陣可以確保虛擬機(jī)器人在AR眼鏡坐標(biāo)的基礎(chǔ)上實(shí)時響應(yīng)手勢的變化，從而保持虛實(shí)協(xié)作的精確性。

通過以上兩步轉(zhuǎn)換，手勢的本地坐標(biāo)被逐步映射到虛擬機(jī)器人基座的坐標(biāo)系中。最終，虛擬機(jī)器人和物理機(jī)器人共享同一個參考坐標(biāo)系，使得兩者能夠在同一空間范圍內(nèi)完成任務(wù)協(xié)作。這一過程保證了手勢操作的空間一致性和精確性，為虛實(shí)同步提供了可靠的坐標(biāo)支持。

2.2.3手勢的姿態(tài)與運(yùn)動指令生成

在完成手勢坐標(biāo)到虛擬機(jī)器人基座坐標(biāo)的轉(zhuǎn)換后，系統(tǒng)需要根據(jù)手勢信息生成虛擬機(jī)器人的目標(biāo)姿態(tài)和運(yùn)動指令。這一過程涉及姿態(tài)解析、運(yùn)動學(xué)建模和逆運(yùn)動學(xué)求解等步驟，將手勢操作轉(zhuǎn)換為虛擬機(jī)器人的具體動作。

在姿態(tài)解析中，系統(tǒng)首先利用手勢操作的輸入生成目標(biāo)位姿，包括位置和方向兩部分信息。單手操作用于提供目標(biāo)位置向量 P=[x，y，z]^T ，雙手協(xié)作則通過捕捉左右手的相對位置和方向生成 3×3 旋轉(zhuǎn)矩陣 R ，從而完成目標(biāo)姿態(tài)的構(gòu)建。目標(biāo)位姿表示為齊次變換矩陣：

手勢操作的目標(biāo)位姿 T_end-effector 定義了虛擬機(jī)器人末端執(zhí)行器相對于基坐標(biāo)系的期望狀態(tài)。

為了將目標(biāo)位姿轉(zhuǎn)換為機(jī)器人可執(zhí)行的運(yùn)動參數(shù)，系統(tǒng)利用D-H（Denavit-Hartenberg）建模方法構(gòu)建了虛擬機(jī)器人的運(yùn)動學(xué)模型，并展示了關(guān)節(jié)joint i 和連桿 i 之間的幾何關(guān)系，D-H參數(shù)定義了各關(guān)節(jié)的運(yùn)動參數(shù)，包括 a_i、α_i、d_i、θ_i ，分別表示鏈接長度、連接旋轉(zhuǎn)、鏈接偏移和關(guān)節(jié)角度，如圖5所示，這些運(yùn)動學(xué)參數(shù)為虛擬機(jī)器人與物理機(jī)器人之間的姿態(tài)轉(zhuǎn)換提供了數(shù)據(jù)支撐，確保了坐標(biāo)系配準(zhǔn)的準(zhǔn)確性和一致性。

圖5機(jī)器人連桿坐標(biāo)系

Fig.5Robot linkage coordinate system

兩個坐標(biāo)系之間的齊次變換矩陣定義為

通過逐次連乘各關(guān)節(jié)間的變換矩陣，可以得到機(jī)器人末端相對于基座的正向運(yùn)動學(xué)模型：

其中： ⁰T_?N 表示機(jī)器人末端（第 N 軸）相對于基坐標(biāo)系的位姿，包括位置和方向； ⁱT_i-1 表示從第 i-1 到 i 軸的齊次變換矩陣。正向運(yùn)動學(xué)的作用不僅在于構(gòu)建虛擬機(jī)器人的運(yùn)動學(xué)模型，還可以用于驗(yàn)證逆運(yùn)動學(xué)解的準(zhǔn)確性，將逆運(yùn)動學(xué)求解得到的關(guān)節(jié)角度代入正向運(yùn)動學(xué)公式后，計算出的末端位姿應(yīng)與目標(biāo)位姿一致。

在運(yùn)動指令生成中，手勢識別得到的目標(biāo)位姿需要映射為虛擬機(jī)器人可執(zhí)行的控制參數(shù)。系統(tǒng)采用逆運(yùn)動學(xué)求解方法，計算出實(shí)現(xiàn)該位姿所需的關(guān)節(jié)角度。逆運(yùn)動學(xué)的求解過程是根據(jù)目標(biāo)末端執(zhí)行器的位姿反推出關(guān)節(jié)的運(yùn)動參數(shù)。

其中：IK表示逆運(yùn)動學(xué)求解函數(shù)； θ 為虛擬機(jī)器人關(guān)節(jié)角度的向量。通過該過程，手勢操作被轉(zhuǎn)換為虛擬機(jī)器人的運(yùn)動指令。

通過運(yùn)動學(xué)建模和求解，虛擬機(jī)器人能夠根據(jù)手勢指令精確生成動作。同時，虛擬機(jī)器人和物理機(jī)器人共享相同的運(yùn)動學(xué)模型和坐標(biāo)系，從而確保虛實(shí)同步操作的準(zhǔn)確性和實(shí)時性。

2.3虛實(shí)同步優(yōu)化算法

盡管通過手勢操作可以實(shí)現(xiàn)自然的交互，但由于環(huán)境的變化和操作者手勢的復(fù)雜性，手勢操作可能受到傳感器噪聲和系統(tǒng)延遲的影響，傳感器噪聲、系統(tǒng)延遲等因素會在數(shù)據(jù)采集和傳輸過程中引人高頻噪聲和隨機(jī)抖動，從而影響物理機(jī)器人的跟蹤效果。這種抖動和誤差不僅會降低物理機(jī)器人對虛擬機(jī)器人軌跡的跟隨精度，還可能導(dǎo)致任務(wù)失敗或運(yùn)動軌跡的不平穩(wěn)。為了解決這些工程問題，必須引人有效的數(shù)據(jù)濾波技術(shù)，以優(yōu)化手勢控制的效果，減少由于環(huán)境和設(shè)備因素造成的誤差。同時在虛實(shí)同步交互系統(tǒng)中，虛擬機(jī)器人和物理機(jī)器人需要保持高度的同步，以確保操作的精度和響應(yīng)速度，并滿足機(jī)器人在復(fù)雜交互場景中的實(shí)時響應(yīng)需求。

為此，本文采用了低通濾波算法進(jìn)行優(yōu)化，可以有效降低高頻噪聲對系統(tǒng)響應(yīng)的影響，從而使物理機(jī)器人在跟隨虛擬機(jī)器人的過程中更加平穩(wěn)。所采集的原始數(shù)據(jù)包括操作者手勢識別后生成的虛擬機(jī)器人位置數(shù)據(jù)和物理機(jī)器人通過傳感器獲取的實(shí)際位置數(shù)據(jù)。這些位置數(shù)據(jù)通過時間差分計算，轉(zhuǎn)換為反映運(yùn)動趨勢的位移數(shù)據(jù)，用于分析虛擬機(jī)器人與物理機(jī)器人之間的同步性能。這種濾波方法能夠有效抑制高頻噪聲和短期隨機(jī)抖動，使虛擬機(jī)器人和物理機(jī)器人之間的同步更為平滑、同步性更高。盡管兩種算法的輸入相同，但輸出數(shù)據(jù)分別反映了不同濾波方法對信號的改進(jìn)效果，為虛實(shí)同步交互系統(tǒng)的濾波算法選擇提供了對比和參考。

在虛實(shí)同步交互系統(tǒng)中，低通濾波主要用于抑制位置數(shù)據(jù)中的高頻噪聲，以減少物理機(jī)器人跟蹤虛擬機(jī)器人時的抖動。低通濾波通過控制信號中高頻成分的衰減，保留低頻成分，從而使數(shù)據(jù)變化更加平穩(wěn)。低通濾波的理論基礎(chǔ)可以通過其傳遞函數(shù)進(jìn)行描述：

其中： s=Pπf 為復(fù)數(shù)頻率變量 ;f_c 是濾波器的截止頻率，定義了信號高頻成分的衰減范圍。

根據(jù)式（11）的傳遞函數(shù)，將其轉(zhuǎn)換為頻率響應(yīng)形式：

其中： H（f） 表示濾波器對不同頻率信號的幅頻響應(yīng) _;f 是信號的頻率。該頻率響應(yīng)函數(shù)表明，低頻信號 （flt;c ）可以被濾波器完整保留，而高頻信號 （fgt;gt;f_c ）被顯著衰減，從而實(shí)現(xiàn)噪聲抑制的效果。

為了在離散系統(tǒng)中實(shí)現(xiàn)低通濾波，對上述連續(xù)系統(tǒng)模型進(jìn)行離散化處理，同時根據(jù)式（7）中的目標(biāo)位置向量 P ，得到遞歸公式：

P_filtered-LP（n）=α?P_raw（n）+（1-α）?P_filtered-LP（n-1） （13）其中： P_filtered-LP（n） 表示經(jīng)過低通濾波處理后的位置向量;P_raw（n） 為第 n 時刻的原始目標(biāo)位置向量； α 為濾波系數(shù)，控制低通濾波的響應(yīng)強(qiáng)度，其計算公式為

其中： RC 是濾波器的時間常數(shù)，決定信號平滑的程度； Δt 是采樣時間間隔。

3系統(tǒng)搭建

為驗(yàn)證所提算法有效性及優(yōu)勢，搭建了AR機(jī)器人控制系統(tǒng)。系統(tǒng)集成了HoloLens增強(qiáng)現(xiàn)實(shí)眼鏡、UR5機(jī)器人，并配備Inteli7CPU、16GBRAM和NVIDIAGTX1O8OGPU的計算平臺構(gòu)成了實(shí)驗(yàn)的硬件環(huán)境。本實(shí)驗(yàn)平臺基于Unity3D開發(fā)，結(jié)合Blender和3dsMax進(jìn)行UR5機(jī)器人及其工作環(huán)境的三維建模。

首先，使用Blender進(jìn)行UR5機(jī)器人及其工作環(huán)境的三維建模，依據(jù)實(shí)際尺寸與結(jié)構(gòu)創(chuàng)建精確的三維模型，并導(dǎo)出為STEP或IGES格式。之后將導(dǎo)出的STEP或IGES文件導(dǎo)入3dsMax進(jìn)行進(jìn)一步優(yōu)化，添加紋理、材質(zhì)和動畫設(shè)置，最終導(dǎo)出為Unity3D兼容的FBX格式。在Unity3D中，創(chuàng)建項(xiàng)目場景，將FBX文件導(dǎo)入項(xiàng)目窗口，并調(diào)整模型的位置、旋轉(zhuǎn)和縮放，確保模型與實(shí)際機(jī)器人結(jié)構(gòu)保持一致。同時，使用MRTK插件與C#編程，實(shí)現(xiàn)對機(jī)器人的算法控制。通過將三維模型與算法結(jié)合，使虛擬機(jī)器人能夠在Unity3D中按照設(shè)定的指令完成動作，具備真實(shí)感和細(xì)節(jié)表現(xiàn)。

如圖6所示，模型創(chuàng)建與導(dǎo)入的流程包括三維建模、模型優(yōu)化、導(dǎo)入、編程與算法集成，最終形成完整的虛擬場景搭建過程。

為實(shí)現(xiàn)虛擬機(jī)器人的運(yùn)動控制，需要為每個關(guān)節(jié)設(shè)置父子關(guān)系，使其能夠按照真實(shí)機(jī)械臂的運(yùn)動邏輯進(jìn)行動作模擬。如圖7所示，通過父子層級關(guān)系，確保各關(guān)節(jié)間的運(yùn)動約束與物理特性相符。以UR5機(jī)械臂為例，若滿足Pieper準(zhǔn)則，則存在解析解。UR5機(jī)器人為六自由度串聯(lián)型機(jī)器人，其運(yùn)動學(xué)建模基于D-H模型原理。表1為UR5機(jī)器人的D-H參數(shù)，用于描述機(jī)器人的幾何結(jié)構(gòu)特性，并為正運(yùn)動學(xué)建模提供必要的基礎(chǔ)。

表1示例UR5機(jī)械臂的D-H參數(shù)

Tab.1Example of D-H parameter for UR5 robot arm

結(jié)合表1中的D-H參數(shù)，實(shí)驗(yàn)中首先建立了UR5機(jī)器人的正運(yùn)動學(xué)模型，用于計算各關(guān)節(jié)的具體位置和運(yùn)動軌跡，確保虛擬機(jī)器人與物理機(jī)器人動作的一致性。同時，通過逆運(yùn)動學(xué)算法，根據(jù)機(jī)器人末端的目標(biāo)位置和姿態(tài)，求解出各關(guān)節(jié)的角度。這些關(guān)節(jié)角度為動作控制提供了數(shù)據(jù)支撐。在實(shí)驗(yàn)中，根據(jù)式（9），正向運(yùn)動學(xué)用于根據(jù)關(guān)節(jié)角度計算機(jī)器人末端的具體位置和姿態(tài)；根據(jù)式（10），逆向運(yùn)動學(xué)則用于根據(jù)目標(biāo)末端位置和姿態(tài)求解各關(guān)節(jié)的角度。兩者被集成至Unity3D環(huán)境中，用于虛擬機(jī)器人動作的模擬與控制。基于目標(biāo)任務(wù)需求，系統(tǒng)通過基于TCP/IP協(xié)議的socket通信協(xié)議將逆運(yùn)動學(xué)計算得到的關(guān)節(jié)角度傳輸至UR5機(jī)器人的控制器中。機(jī)器人根據(jù)接收到的指令執(zhí)行精準(zhǔn)動作。同時，物理機(jī)器人通過傳感器實(shí)時采集運(yùn)動狀態(tài)數(shù)據(jù)，傳回虛擬環(huán)境以更新姿態(tài)，從而確保虛實(shí)同步的效果。

4實(shí)驗(yàn)分析

實(shí)驗(yàn)過程中，考慮到數(shù)據(jù)采集的穩(wěn)定性和可重復(fù)性，主要采用平移和旋轉(zhuǎn)兩種基本運(yùn)動模式來驗(yàn)證系統(tǒng)的虛實(shí)同步精度。主要原因在于：標(biāo)準(zhǔn)化的運(yùn)動方式便于通過傳感器和數(shù)學(xué)建模準(zhǔn)確計算誤差，而復(fù)雜的交互模式（如非固定路徑跟隨）可能引入更多不確定因素，增加同步性能評估的復(fù)雜性。實(shí)際上，復(fù)雜的交互動作是由這些基本的簡單動作（平移和旋轉(zhuǎn)）通過疊加和耦合形成的，因此選擇簡單、可控的運(yùn)動模式有助于減少外部干擾，確保數(shù)據(jù)分析的準(zhǔn)確性。

1）虛實(shí)同步測試

配置物理機(jī)器人控制器，讀取機(jī)器人各關(guān)節(jié)角度和位置數(shù)據(jù)，并通過基于TCP/IP協(xié)議的 socket通信協(xié)議發(fā)送至Unity3D環(huán)境。虛擬機(jī)器人根據(jù)接收到的數(shù)據(jù)同步顯示物理機(jī)器人的狀態(tài)，觀察并記錄物理機(jī)器人對虛擬指令的響應(yīng)情況，驗(yàn)證虛實(shí)模型之間的同步精度。

圖8展示了基于手勢交互的反向同步實(shí)驗(yàn)。在HoloLens渲染的手控機(jī)器人AR場景中，主端操作員利用手勢交互技術(shù)操控虛擬機(jī)器人，并同步控制從端的物理機(jī)器人。在平移、旋轉(zhuǎn)等多種運(yùn)動模式下的實(shí)驗(yàn)結(jié)果顯示，系統(tǒng)在實(shí)時性、精確性和用戶體驗(yàn)方面均達(dá)到了預(yù)期目標(biāo)。

圖8基于手勢交互的反向同步實(shí)驗(yàn)

圖9展示了基于示教器控制的正向同步實(shí)驗(yàn)。在該實(shí)驗(yàn)中，從端操作員通過示教器發(fā)送命令，直接控制物理機(jī)器人，同時通過HoloLens設(shè)備的虛實(shí)同步技術(shù)，實(shí)時顯示虛擬機(jī)械臂的運(yùn)動狀態(tài)和末端點(diǎn)位信息。實(shí)驗(yàn)過程中，虛擬機(jī)械臂的位姿信息（如位置和旋轉(zhuǎn)角度）與物理機(jī)械臂保持一致，用戶能夠直觀地觀察到兩者的同步變化。這種同步效果不僅增強(qiáng)了主端操作員的臨場感和操控感受，還進(jìn)一步驗(yàn)證了虛實(shí)交互的準(zhǔn)確性與實(shí)時性。

Fig.9Forward synchronization experiment based on teach pendant

實(shí)驗(yàn)結(jié)果表明，手勢交互技術(shù)和虛實(shí)同步技術(shù)在多種運(yùn)動模式下實(shí)現(xiàn)了機(jī)械臂的精確同步，提升了遠(yuǎn)程操作中的實(shí)時性和控制精度。該技術(shù)有效減少了遠(yuǎn)程操作中的延遲問題，增強(qiáng)了用戶的臨場感和交互體驗(yàn)，展示了在人機(jī)協(xié)同操作和遠(yuǎn)程機(jī)器人控制領(lǐng)域的廣泛應(yīng)用潛力。這為未來在增強(qiáng)現(xiàn)實(shí)環(huán)境下實(shí)現(xiàn)高效遠(yuǎn)程控制和虛實(shí)融合技術(shù)的發(fā)展提供了重要的實(shí)踐參考。

2）濾波算法對虛實(shí)控制的同步效果提升

本實(shí)驗(yàn)通過對虛擬機(jī)器人與物理機(jī)器人之間的同步控制進(jìn)行濾波處理，為了展示低通濾波在不同噪聲環(huán)境下的性能，選擇了滑動平均濾波作為對比算法。滑動平均濾波具有計算簡單、直觀的特點(diǎn)，它通過對相鄰數(shù)據(jù)點(diǎn)取均值來減少短期波動，平滑信號。兩者的比較有助于更好地理解低通濾波在虛實(shí)同步控制中的優(yōu)勢，較好地展示虛實(shí)同步的效果。下面對兩種濾波方法的軌跡同步效果和誤差表現(xiàn)進(jìn)行了分析，結(jié)果如圖10和11所示。

圖10展示了原始數(shù)據(jù)、低通濾波和滑動平均濾波處理后的軌跡同步效果。從圖中可以看出，原始數(shù)據(jù)（藍(lán)線，見電子版）存在顯著的高頻噪聲和短期抖動，導(dǎo)致物理機(jī)器人難以平穩(wěn)地跟隨虛擬機(jī)器人的運(yùn)動軌跡。經(jīng)過低通濾波處理后（紅色虛線），軌跡曲線變得更加平滑，明顯抑制了高頻噪聲，信號滯后約 40.6ms ，使機(jī)器人在全局范圍內(nèi)能夠更精準(zhǔn)地接近虛擬機(jī)器人的目標(biāo)軌跡，跟隨效果顯著提升。而滑動平均濾波處理后的軌跡（綠色虛線）在平滑短期抖動方面表現(xiàn)良好，但對高頻噪聲的抑制能力相對有限，因此整體同步精度的提升不如低通濾波顯著。由此可見，低通濾波在虛實(shí)同步場景中具有更強(qiáng)的適用性。此外，為了進(jìn)一步分析低通濾波對系統(tǒng)響應(yīng)滯后的影響，通過峰值對比方法計算了系統(tǒng)的延遲。實(shí)驗(yàn)結(jié)果表明：截止頻率為 0.1Hz 時，系統(tǒng)響應(yīng)滯后約 40.6ms 。截止頻率為 0.5Hz 時，系統(tǒng)響應(yīng)滯后降低至 38.0ms ，延遲減少約2.6ms 。這些結(jié)果表明，通過適當(dāng)提高截止頻率，低通濾波器能夠有效減少滯后并提升系統(tǒng)的實(shí)時性。在本研究的實(shí)驗(yàn)范圍內(nèi)， 40.6ms 的滯后量被認(rèn)為是合理的，且不會對系統(tǒng)實(shí)時性產(chǎn)生明顯影響。然而，進(jìn)一步提高截止頻率（如至 1Hz ）可能會減少更多滯后，但需要權(quán)衡噪聲抑制效果，避免過度提高截止頻率導(dǎo)致噪聲引入。

圖10濾波算法的軌跡同步效果對比

Fig.10Comparison of trajectory synchronization effect of filtei

為了分析兩種濾波方法在誤差控制上的表現(xiàn)，圖11展示了低通濾波和滑動平均濾波的誤差對比曲線。在 0～20s ，滑動平均濾波誤差（藍(lán)線，見電子版）波動幅度較大，尤其在10s附近出現(xiàn)顯著峰值，表明其對高頻噪聲的抑制效果不足，而低通濾波誤差（紅線）則較為平穩(wěn)，表現(xiàn)出更好的噪聲抑制能力。在 20～40s ，滑動平均濾波的誤差幅度依然較大，尤其在 40s 左右達(dá)到較高峰值，整體波動顯著高于低通濾波。相比之下，低通濾波的誤差在這一時間段保持較為穩(wěn)定，顯示出其更強(qiáng)的魯棒性。在 40～80s ，低通濾波的誤差曲線（紅線）波動幅度較小，基本保持在 ±0.01m 以內(nèi)，充分體現(xiàn)了其對高頻噪聲的抑制效果和同步精度的提升能力。而滑動平均濾波的誤差曲線（藍(lán)線）在這一階段波動幅度相對較大，難以達(dá)到低通濾波的穩(wěn)定性和精度。綜合來看，低通濾波在復(fù)雜噪聲場景下表現(xiàn)出更強(qiáng)的適應(yīng)性，是實(shí)現(xiàn)高精度同步的優(yōu)選方法。

圖11濾波算法的誤差曲線對比 Fig.11Comparison of error curves of filtering algorithms

結(jié)合兩張圖的分析可以得出，低通濾波在軌跡平滑性和誤差控制方面表現(xiàn)出更明顯的優(yōu)勢，是實(shí)現(xiàn)虛擬機(jī)器人與物理機(jī)器人高精度同步的更優(yōu)選擇。通過對高頻噪聲的有效抑制，低通濾波使物理機(jī)器人能夠更準(zhǔn)確地響應(yīng)虛擬機(jī)器人的運(yùn)動指令，從而提升了同步控制的整體性能。而滑動平均濾波在輕微噪聲場景中具有一定的輔助作用，但在復(fù)雜噪聲環(huán)境中不如低通濾波效果顯著。

圖10和11分別展示了濾波算法的軌跡同步效果對比與誤差曲線對比，總體而言，低通濾波在本實(shí)驗(yàn)中表現(xiàn)出了更加優(yōu)越的性能，是實(shí)現(xiàn)高質(zhì)量虛實(shí)同步控制的有效方法。

5結(jié)束語

本研究基于AR技術(shù)和手勢操作控制，提出了一種增強(qiáng)現(xiàn)實(shí)機(jī)器人的虛實(shí)同步手勢交互方法，并搭建了AR機(jī)器人控制系統(tǒng)開展應(yīng)用驗(yàn)證。結(jié)果表明，該系統(tǒng)支持手勢識別，具備良好的虛實(shí)同步性，用戶可以使用自然直觀的手勢來控制機(jī)器人，在操作簡便性、效率和實(shí)時性方面顯著優(yōu)于傳統(tǒng)方法，能夠有效降低操作難度、提高靈活性和安全性，可應(yīng)用于危險環(huán)境遠(yuǎn)程操作、工廠智能維護(hù)與培訓(xùn)等新興領(lǐng)域。未來可以探索多模態(tài)交互方式的融合，例如結(jié)合語音識別技術(shù)和觸覺反饋，通過智能語音助手和力反饋手套等設(shè)備，進(jìn)一步增強(qiáng)人機(jī)交互的效率和可靠性。此外，擴(kuò)展到多機(jī)器人系統(tǒng)的虛實(shí)同步控制也將是一個重要的研究方向，可以通過分布式控制和協(xié)同算法來實(shí)現(xiàn)多機(jī)器人的協(xié)調(diào)作業(yè)，從而為智能制造和遠(yuǎn)程協(xié)作提供更高效的支持。

參考文獻(xiàn)：

[1］任洋甫，李志強(qiáng)，張松海．沉浸式環(huán)境中多場景視覺提示信息可視化方法綜述[J]．中國圖象圖形學(xué)報，2024，29（1）：1-21.（Ren Yangfu，Li Zhiqiang，Zhang Songhai. Survey of visualizationmethods for multiscene visual cue informationin immersive environ-ments[J]. Journal of Image and Graphics，2024，29（1）：1-21.）

[2]葉成英，李建微，陳思喜.VR全景視頻傳輸研究進(jìn)展［J]．計算機(jī)應(yīng)用研究，2022，39（6）：1601-1607，1621.（YeChengying，LiJianwei，Chen Sixi. Research progress of VR panoramic video trans-mission[J].Application Research of Computers，2022，39（6）：1601-1607，1621.）

[3]王慶輝，趙凱航，宋國立，等．基于增強(qiáng)現(xiàn)實(shí)的脊柱微創(chuàng)手術(shù)導(dǎo)航系統(tǒng)[J]．機(jī)器人，2023，45（5）：546-553.（WangQinghui，Zhao Kaihang，Song Guoli，et al．Augmented reality-based navigationsystem for minimally invasive spine surgery[J].Robot，2023，45（5）：546-553.）

[4］李穎，高嵐，朱志松．面向智能制造場景的機(jī)器人數(shù)字孿生建模與控制［J]．系統(tǒng)仿真學(xué)報，2024，36（7）：1536-1545.（LiYing，Gao Lan， Zhu Zhisong.Digital twin modeling and control of ro-bots for intelligent manufacturing scenarios[J].Journal of SystemSimulation，2024，36（7）：1536-1545.）

[5]黃凱歌，惠延波，劉永剛，等.VR交互式三維虛擬起重裝備建模與仿真[J]．計算機(jī)工程與應(yīng)用，2024，60（7）：204-211.（Huang Kaige，Hui Yanbo，Liu Yonggang，et al.VR interactive 3Dvirtual crane modeling and simulation[J].Computer Engineeringand Applications，2024，60（7）：204-211.）

[6]曹錦旗，韓雪松．工業(yè)機(jī)器人軌跡規(guī)劃的研究方法綜述［J]．信息與控制，2024，53（4）：471-486，498.（Cao Jingqi，Han Xuesong.Review of research methodsfor industrial robot trajectoryplanning[J].Informationand Control，2024，53（4）：471-486，498.）

[7]Zhao Feifan，Deng Wupeng，Pham TD.A robotic teleoperation sys-temwith integrated augmented realityand digital twin technologiesfordisassembling end-of-lifebatteries[J].Batteries，2024，10（11）：382.

[8]SahooSK，NalinipriyaG，SrinivasanPS，etal.Development ofavirtual reality model using digital twin for real-time data analysis [J].SNComputerScience，2023，4（5）：549.

[9]王耀南，江一鳴，姜嬌，等．機(jī)器人感知與控制關(guān)鍵技術(shù)及其智能制造應(yīng)用[J]．自動化學(xué)報，2023，49（3）：494-513.（WangYaonan，Jiang Yiming，Jiang Jiao，et al.Key technologiesof robotperception and control and itsintelligent manufacturing applications[J].Acta Automatica Sinica，2023，49（3）： 494-513.）

[10]Kapius M，Beran V，MaternaZ，et al.Augmentedrealityspatialprogramming paradigm applied to end-user robot programming [J].Robotics and Computer-Integrated Manufacturing， 2024，89：102770.

[11]Blankemeyer S，Wendorff D，Raatz A.A hand-interaction model foraugmented reality enhanced human-robot collaboration[J].CIRPAnnals-Manufacturing Technology，2024，73（1）：17-20.

[12]方維，許澍虹，韓磊，等．AR增強(qiáng)裝配中的跟蹤注冊方法研究與應(yīng)用進(jìn)展［J]．系統(tǒng)仿真學(xué)報，2023，35（7）：1438-1454.（FangWei，Xu Shuhong，HanLei，etal.Researchandapplicationprogress of tracking registration methods in AR assembly[J]. Jour-nal of System Simulation，2023，35（7）：1438-1454.）

[13]丁志昆，孫奕程，段亮亮，等．基于數(shù)字孿生的增強(qiáng)現(xiàn)實(shí)多人協(xié)作裝配［J]．計算機(jī)集成制造系統(tǒng)，2023，29（6）：2019-2034.（Ding Zhikun，Sun Yicheng，Duan Liangliang，etal.AR multiplayercollaborative assembly method based on digital twin[J].ComputerIntegrated Manufacturing Systems，2023，29（6）：2019-2034.）

[14]Aivaliotis S，Papavasileiou A，Konstantinou C，etal.An interactiveaugmented reality based framework assisting operators in human-robotcollaborative assembly operations [J].Procedia CIRP，2024，126：170-175.

[15］陳成軍，丁旭彤，潘勇，等．基于數(shù)字孿生的遙操作機(jī)器人在線示教系統(tǒng)［J]．計算機(jī)集成制造系統(tǒng)，2023，29（3）：951-963.（ChenChengjun，Ding Xutong，Pan Yong，et al. Online teaching system ofteleoperation robot based on digital twin model[J]. Computer Inte-grated Manufacturing Systems，2023，29（3）：951-963.）

[16]Li Junchen.Optimization of operation path of six-DOF industrial robotarm based on augmented reality[J].International Journal of Manu-facturing TechnologyandManagement，2022，36（5-6）：284-297.

[17］曹鵬霞，李文新，黃羿博．基于邊云協(xié)同和增強(qiáng)現(xiàn)實(shí)的智能裝配方法［J/OL]．計算機(jī)工程與科學(xué).（2024-08-30）．http：//kns.cnki.net/kcms/detail/43.1258．tp.20240830.0924.002.html.（Cao Pengxia，LiWenxin，HuangYibo.Intelligent assembly methodbased on edge-cloud collaboration and augmented reality[J].Com-puter Engineeringamp; Science.（2024-O8-30）.http：//kns.cnki.net/kcms/detail/43.1258.tp.20240830.0924.002.html.）

[18]XuFang，Xia Pengxiang，You Hengxu，etal.Robotic cros-platformsensor fusionand augmented visualization for large indoor space realitycapture[J/OL]. Journal of Computing in Civil Engineering，2022，36（6）.https：//doi.org/10.1061/（ASCE）CP.1943-5487.0001047.

[19]Konstantinos L，NikosF，Spyridon K，et al．Augmented reality（AR）based framework for supporting human workers in flexible manu-facturing[J].Procedia CIRP，2021，96：301-306.

[20]徐文彪，許馳，史洪巖，等．力觸覺增強(qiáng)的虛擬現(xiàn)實(shí)工廠系統(tǒng)[J]．應(yīng)用科學(xué)學(xué)報，2023，41（1）：71-79.（Xu Wenbiao，Xu Chi，Shi Hongyan，et al.Force haptic-enhanced virtual reality factory sys-tem[J].Journal of Applied Sciences，2023，41（1）： 71-79.）

[21］鄭湃，李成熙，殷悅，等．增強(qiáng)現(xiàn)實(shí)輔助的互認(rèn)知人機(jī)安全交互系統(tǒng)［J]．機(jī)械工程學(xué)報，2023，59（6）：173-184．（Zheng Pai，LiChengxi，Yin Yue，et al.Augmented reality-assisted mutual cogni-tive system for human-robot interaction safety concerns [J]. Journalof Mechanical Engineering，2023，59（6）： 173-184.）

[22]Konstantinos L，Christos G，NikosF，et al.ARbased robot program-ming using teaching by demonstration techniques[J]．ProcediaCIRP，2021，97： 459-463.

[23］王國慶，裴云強(qiáng)，楊陽，等．多模可信交互：從多模態(tài)信息融合到人-機(jī)器人-數(shù)字人三位一體式交互模型［J]．中國科學(xué)：信息科學(xué)，2024，54（4）： 872-892.（Wang Guoqing，Pei Yunqiang，YangYang，etal.Multimodal trustworthyinteraction：frommultimodal infor-mation fusion to a trinitarian human-robot-digital human interactionmodel[J].Scientia Sinica Informationis，2024，54：872-892.）

收稿日期：2025-01-17；修回日期：2025-03-07 基金項(xiàng)目：國家自然科學(xué)基金資助項(xiàng)目（92267108，62173322）;遼寧省科學(xué)技術(shù)計劃資助項(xiàng)目（2023JH3/10200004，2022JH25/10100005）；興遼英才計劃資助項(xiàng)目（XLYC2403062）

作者簡介：王振宇（1999—），男，安徽六安人，碩士研究生，CCF會員，主要研究方向?yàn)樵鰪?qiáng)現(xiàn)實(shí)、機(jī)器人；許馳（"^1987-）"，男（通信作者），遼寧沈陽人，研究員，博士，CCF高級會員，主要研究方向?yàn)楣I(yè)控制系統(tǒng)、工業(yè)無線網(wǎng)絡(luò)、5G/6G、邊緣計算等（ xuchi@ sia.cn）；李琳（1990—），女，遼寧鞍山人，工程師，碩士，主要研究方向?yàn)楣I(yè)控制系統(tǒng)、機(jī)器人;洪悅（1980—），男，遼寧沈陽人，講師，博士，主要研究方向?yàn)槲锫?lián)網(wǎng)技術(shù)及應(yīng)用、機(jī)器學(xué)習(xí)與計算智能優(yōu)化方法.