結合路徑規劃的虛擬夾具遙操作研究

摘" 要： 在傳統的遙操作任務中，由于環境的不確定性和動態變化，傳統虛擬夾具面臨著實時適應環境變化的挑戰，這限制了其在多變環境中的應用范圍。為了解決這一問題，文中提出一種結合反向搜索可視圖路徑規劃算法與虛擬夾具技術的創新策略，以實現自適應虛擬夾具的構建和應用。搭建了基于觸覺設備Geomagic Touch和ABB公司的IRB 1410型機械臂的遙操作系統，在該系統上進行了路徑規劃對比實驗，并設計了具有突發情況的多組虛擬夾具對比實驗。實驗結果表明，這種自適應虛擬夾具有效地提高了遙操作系統在復雜環境中的適應能力，它不僅能夠保護遙操作系統免受意外傷害，還顯著提高了操作者的工作效率。研究結果證明了自適應虛擬夾具在提高遙操作系統靈活性和準確性方面的重要價值，為遙操作技術的進一步發展提供了有力的理論和實踐支持。

關鍵詞： 虛擬夾具； 遙操作； 機械臂； 路徑規劃； 觸覺； 共享控制； 自適應； 圖像采集； 運動控制

中圖分類號： TN911.73?34； TP249" " " " " " " " " 文獻標識碼： A" " " " " " " " " "文章編號： 1004?373X（2024）11?0118?07

Research on virtual fixture teleoperation combined with path planning

DING Shichan， ZHU Zhen， ZHONG Yongyan， CHEN Juan

（School of Electrical Engineering， Nantong University， Nantong 226019， China）

Abstract： In the traditional teleoperation tasks， due to the uncertainty and dynamic change of the environment， the traditional virtual fixture （VF） is faced with the challenge of adapting to the change of the environment in real time， which limits its application range in the changeable environment. In view of this， an innovative strategy combining reverse search viewable path planning algorithm and VF technology is proposed to realize the construction and application of adaptive VF. In this paper， a teleoperation system based on haptic device Geomagic Touch and ABB′s IRB 1410 robotic arm is set up， and a path planning contrast experiment is performed on the system， and multiple groups of VFs with unexpected situations are designed for contrast experiments. The experimental results show that the adaptive VF can effectively improve the adaptability of teleoperation system in complex environment. It can not only protect the teleoperation system from accidental damage， but also significantly improve the working efficiency of the operator. The research results prove the important value of adaptive VF in improving the flexibility and accuracy of teleoperation system， which provides strong theoretical and practical support for the further development of teleoperation technology.

Keywords： VF; teleoperation; robotic arm; path planning; sense of touch; shared control; self?adaptation; image acquisition; motion control

0" 引" 言

遙操作機器人是一種創新的交互模式，將人類智慧與遠程機器人的能力結合起來，從而拓展了人類的感知和作業范圍[1]。遙操作機器人用于幫助人們突破物理障礙阻隔，如超長距離操作（地空、深海操作）、有毒有害環境（核廢料、爆炸物處理）以及涉及到空間尺度變換場合（微納操作或大型機器操控）[2]。遙操作系統的控制方式根據主從端的連接形式和信息交換方式，可分為直接控制、監督控制和共享控制[3]。其中，共享控制結合了直接控制的直接感知和監督控制的從端自主智能，被認為是最理想的遙操作系統形式[4?5]。在共享控制策略中，虛擬夾具（Virtual Fixture， VF）作為一種關鍵的輔助工具，通過提供增強的引導力協助操作者按照特定路徑精確地操控遠程操作工具，從而有效提升遠程操作的性能[6]。

文獻[7]首次引入了虛擬夾具的概念，并通過遠程軸孔裝配實驗來驗證該技術的有效性。實驗表明，虛擬夾具可以幫助操作者更快速、更準確地完成任務。此后許多研究者開始探索虛擬夾具在其他領域的應用。文獻[8?9]在遙操作任務執行前，根據操作者和任務的特點預先構建一系列虛擬夾具。使用隱式馬爾科夫模型學習操作者的行為，并在任務執行過程中根據操作者的動作和概率進行匹配，以選擇合適的虛擬夾具。文獻[10]提出了一種基于視覺的機器人學習方法的遙操作虛擬夾具，通過學習專家的操作技能生成專家軌跡來訓練新手。文獻[11]針對白內障手術，提出了一種帶有虛擬夾具和虛擬力反饋的安全控制策略的主從式機器人系統，減少了手術對醫生經驗的依賴。

上述的研究在系統設計初期就設置了多種虛擬夾具，以便在執行任務時選擇最合適的夾具來輔助操作者。然而，這種方法由于任務的多樣性和虛擬夾具類型的固定性而受到限制。本文提出了一種新的方法，即基于路徑規劃算法自適應構建虛擬夾具。任務確定后，通過圖像識別和路徑規劃，并根據當前任務需求定制虛擬夾具，既保護系統，又輔助操作者。在已知環境的路徑規劃中，經典方法如細胞分解和可視圖算法常被采用[12]。雖然這些傳統算法在搜索時間上可能不具優勢，但它們能夠有效地找到地圖上的最短路徑。

因此，本文對可視圖路徑規劃算法進行改進，開發了一種高效的新型反向搜索可視圖算法。這種算法不僅有效地在地圖上尋找最短路徑，而且顯著提升了搜索速度，大幅縮短了所需時間。這項改進為虛擬夾具的高效構建提供了強大的技術支持，從而增強了其在遙操作系統中的實用性和靈活性。

1" 基于虛擬夾具的遙操作系統

基于虛擬夾具的遙操作系統的核心由四個主要模塊組成：主端控制模塊、從端控制模塊、觸覺交互模塊和視覺交互模塊，其系統原理框圖如圖1所示。

圖1中，從端攝像頭獲取到從端環境圖片，利用OpenCV對圖片中的障礙物進行處理，并規劃出從起點到終點的最短路徑，以圖像呈現給主端操作者；操作者利用該路徑信息操作主端操縱桿，虛擬夾具會根據操縱桿的位置信息（位移/速度）產生相應的牽引力或阻力；同時從端機器跟隨操縱桿動作，與環境接觸，感知接觸力；該接觸力與虛擬夾具生成的力疊加，作用于操縱桿，這樣操作者可以感受力反饋，并根據觸覺模塊提供的反饋來優化控制。四個模塊的詳細功能及其在系統中的作用如下：

1） 主端控制模塊的觸覺設備負責收集操作者的運動信息和提供力反饋信息。通過這些設備，操作者可以感知和控制遠程機器人的動作。

2） 從端控制模塊包括一個或多個機械臂，這些機械臂在遠程環境中與物體直接交互。從端模塊的關鍵功能是將主端的運動指令通過觸覺設備和控制器映射到機械臂上，實現精確的遠程操作。

3） 觸覺交互模塊負責為操作者提供遠程機械臂交互中的觸覺感知。這一過程包括分析從端機械臂的力矩信息以獲取其與環境的接觸力，構建虛擬夾具并在模擬環境中設置特定的力學約束條件，以模擬真實的物理互動，最后結合從端機械臂的接觸力和虛擬夾具的力約束，通過觸覺設備向操作者提供相應的力反饋。

4） 視覺交互模塊的任務是將環境圖像傳輸到顯示器，并通過路徑規劃分析環境中的障礙物和目標區域，制定出最優路徑，以確保遙控系統中的機械臂能夠安全、高效地到達目的地。這不僅減少了碰撞風險，也提高了操作的精確度和效率。

2" 反向搜索的可視圖路徑規劃算法

可視圖算法最早由文獻[13]提出，是解決多邊形障礙物中最短路徑問題的經典方法。可視圖是一種緊湊的無向圖，通過記錄障礙物頂點之間的可用直線路徑，從而尋找從機器人初始位置到其目標位置的最短路徑。由于其用到的節點數量較多，導致算法規劃時間過長。

反向搜索可視圖算法基于可視圖路徑規劃，在其基礎上進行改進，實現在尋找最短路徑的同時縮短路徑規劃時間。其主要步驟包括：初始化、封閉矩形構建、新起點生成以及反向確定最短路徑等。

步驟1：初始化。反向搜索可視圖算法處理圖示意如圖2a）所示。其中，帶序號的多邊形代表障礙物，左下的叉點代表起始點[s]，右上的叉點代表終點[g]，虛線為起始點到終點的直線[L1]。

步驟2：在起始點和終點分別構建直角坐標系組成封閉矩形，完全在封閉空間外的障礙物無需考慮，經過封閉空間處理可以減少小部分障礙物，一定程度上簡化了地圖。然后將其他障礙物的頂點按照順時針進行排序，如Ⅴ號障礙物。地圖處理如圖2b）所示。

步驟3：障礙物簡單處理后，開始正式構建可視圖。反向搜索可視圖算法的基本思想是在構建起始點與終點的直線[L1]后，依次處理穿過的障礙物，逐步生成可能的可視圖，最后找出最短路徑。如圖2c）所示，從左到右處理起始點與終點間的障礙物，圖中Ⅲ號障礙物阻礙了[L1]， 則起點[s]與Ⅲ號障礙物進行位置判斷，得出僅相交一次的交點[a1]和[a2]，并作為新的起始節點。

步驟4：重復上述步驟，直到得到起始點到終點的可用路徑，在所有路徑中取最短路徑即為反向搜索路線圖的目標路徑。

3" 自適應虛擬夾具

虛擬夾具是遙操作系統中的關鍵組件，分為剛性虛擬夾具和柔性虛擬夾具兩種類型[14]。剛性虛擬夾具通過對從端的運動施加嚴格限制，確保操作僅在指定空間內進行，并對任何超出范圍的運動提供剛性反饋。相對地，柔性虛擬夾具對從端的末端位置不設強制限制，允許在超出預設條件時在一定程度上執行運動并提供適當的力反饋，增加了操作的靈活性。剛性夾具適用于簡單、明確的任務，提高效率和精度；而柔性夾具則適用于復雜環境，能夠靈活處理突發情況并幫助避開障礙。本文提出的自適應虛擬夾具模型結合了這兩種夾具的優勢，利用剛性夾具防止碰撞，同時通過柔性夾具指導和調整任務執行，實現遙操作系統在不同場景下的高效和安全操作。

3.1" 剛性虛擬夾具建模

在考慮路徑規劃時，需要注意的是規劃出的路徑通常不包含寬度，這就要求在規劃路徑和構建剛性虛擬夾具時考慮到機器人末端的尺寸。為此，本文利用OpenCV對障礙物進行多邊形包圍，并在此基礎上向外擴展設定的偏移距離，這樣得到的擴展多邊形既作為剛性虛擬夾具的外觀尺寸，也用于路徑規劃中作為障礙物的參考。

多邊形擴充的頂點計算方式如下：當前頂點為[A（x，y）]，設定偏移長度為[l]，以頂點[A（x，y）]的兩條邊所組成的三角形的內心向外延伸，其偏移后的頂點為[A（xoffset，yoffset）]，當前頂點相鄰的頂點為[B（xp，yp）]和[C（xn，yn）]。

如圖3所示，已知偏移長度為[l]和[A（x，y）]，若能夠得到向量[AA]與[x]軸的夾角角度[∠α]，即可得到[A]的坐標值。

如圖3所示，通過角度與平行線的相關定理，可以得出：

[∠α=π2+∠p-∠n2]" （1）

由于頂點[ABC]的坐標已知，則可以得到：

[∠p=arctany-ypx-xp] （2）

[∠n=arctany-ynx-xn]" （3）

通過以上式子，[∠α]的計算與已知條件聯系起來，下面通過三角函數計算[∠α]的值：

[tan∠α=-tan∠p-∠n2]" （4）

[tan∠α=-sin∠n+sin∠p-cos∠n+cos∠p]" （5）

[∠α=arctansin∠n+sin∠pcos∠n-cos∠p] （6）

根據以上分析，已知偏移長度為[l]、頂點[A]的坐標[（x，y）]和角度[∠α]，[A]的坐標[（xoffset，yoffset）]計算如下：

[xoffset=x+l×cos∠α] （7）

[yoffset=y+l×sin∠α] （8）

實物圖進行輪廓擴充后效果如圖4所示，從圖4中可以看到擴充效果和預想效果一致。圖中障礙物外圍的黑色粗線為障礙物的多邊形輪廓，黑色細線為擴充后的障礙物范圍，左上角的點為起始點，右下角的點為終點。

以上述的擴充輪廓建立剛性虛擬夾具，對于機器人深入剛性虛擬夾具的運動不予執行，并反饋給操作者較大的力覺反饋，能夠有效地保護機器人與障礙物的直接接觸，能夠有效地保證遙操作系統的安全運行。

3.2" 柔性虛擬夾具建模

在進行剛性虛擬夾具建模后，采用反向搜索可見圖算法進行路徑規劃，測試效果如圖5所示。圖中虛線路徑為改進的可見圖算法所有備選路徑，實線路徑為代價最小的路徑。

路徑確定后，柔性虛擬夾具根據該路徑創建輔助功能，通過生成一個基于胡克定律的力場環繞路徑。該力場的設計使得反饋力隨著與路徑距離的增加而增強。在操作者與路徑的距離較小時，由于主端設備的硬件特性，操作者可以清晰地感受到柔性虛擬夾具的輔助效果。然而，當距離增加到一定程度，硬件無法提供更大的力反饋時，柔性虛擬夾具會自動屏蔽那些會導致進一步偏離路徑的運動指令。

4" 系統實現及實驗驗證

4.1" 系統搭建

根據結合路徑規劃的虛擬夾具遙操作系統框圖構建了硬件上基于IRB 1410機械臂和Geomagic Touch的遙操作系統。從端包括攝像頭和IRB 1410機械臂，用來與環境進行交互；主端包括計算機和觸覺設備Geomagic Touch，完成與操作者的交互。遙操作系統實物如圖6所示，圖中左邊是主端，右邊是從端。

計算機通過3D system提供的QuickHaptics軟件工具包進行開發，調用相應API與觸覺設備Geomagic Touch進行數據交互以實現坐標讀取和力反饋控制；計算機獲取從端影像是通過OpenCV軟件庫訪問攝像頭IP地址并逐幀讀取；計算機通過建立Socket通信與IRB 1410機械臂進行數據交互，以實現獲取機械臂的實時參數及運動控制。

4.2" 遙操作實驗

4.2.1" 路徑規劃實驗

在圖7所示的任務環境中，操作者通過操作主端的觸覺設備，控制從端機械臂避開障礙物的前提下完成從左下角[S]點到右上角點[G]。

針對上述任務環境，首先采用反向搜索可視圖算法對上述任務進行路徑規劃。為了證明算法的有效性，除了將反向搜索路線圖算法和路線圖算法對比，實驗對比環節加入Informed RRT*算法。

4.2.2" 虛擬夾具實驗

在上述實驗完成路徑規劃的基礎上加入突發情況，如圖8所示，突然出現的障礙物在圖中由矩形框出。

為了明確看出柔性虛擬夾具的特點以及與剛性虛擬夾具進行對比，將柔性虛擬夾具指導實驗分為兩個不同彈性系數進行實驗。因此，共需進行4個實驗，在有突發情況的前提下開展，具體如下：

1） 無虛擬夾具輔助實驗；

2） 剛性虛擬夾具指導實驗；

3） [k]=0.03的柔性虛擬夾具指導實驗；

4） [k]=0.10的柔性虛擬夾具指導實驗。

4.3" 實驗結果與分析

4.3.1" 路徑規劃算法對比

算法對比實驗的設備運行環境如下：CPU為2.40 GHz的Intel i5?9300H，操作系統為64位的Windows 10家庭中文版20H2，RAM為8.00 GB。對比實驗在同一設備環境和圖7實驗場景下進行，路徑規劃對比圖如圖9所示。

在圖9中，同一實驗環境中，可視圖算法的子路徑是最多的，反向搜索可視圖算法子路徑是最少的；從最終規劃的路徑中則可以看出，可視圖算法和反向搜索可視圖算法規劃的路徑一樣，且較為規則，而Informed RRT*算法規劃的路徑則較為復雜。三種算法的搜索時間及路徑代價對比如表1所示。

從表1可以看出，運行時間的對比為反向搜索路線圖算法是最短的，約為路線圖算法的一半，且都比路線圖算法的運行時間低一個數量級；從路徑代價來看，路線圖算法和反向搜索路線圖算法都是最短路徑，都是優于Informed RRT*算法規劃的路徑。

4.3.2" 虛擬夾具實驗對比

在實驗中，4個小實驗分別整理機械臂末端位置及主端操作者所受到的力反饋，結果如圖10所示，實驗對應完成的時間記錄如表2所示。其中，突發情況為規劃路徑上突然出現的障礙物，障礙物在[x]坐標等于800之后出現。

由圖10可看出，虛擬夾具在突發狀況的表現各不相同。從圖10a）可以看出，在遇到突發情況時，無虛擬夾具的影響，操作者能夠完美躲避障礙物完成任務。圖10b）中表示在遇到突發情況后只有預規劃的路徑，因為剛性虛擬夾具無法偏離預規劃路徑，故無法完成任務。圖10c）和圖10d）的柔性虛擬夾具，能夠給予操作者一定的自由，在遇到突發情況后，操作者能夠實現避障操作。在完成避障后，由于虛擬夾具的力反饋效果，操作者在虛擬夾具的輔助之下會很快回到預規劃的路徑上，其中彈性系數越大，操作者偏離路徑時付出的努力越多。

表2中，由于剛性虛擬夾具下操作者無法完成任務實驗，對實驗時間不進行分析。實驗時間對比中可以看出，在[k]=0.03的柔性虛擬夾具輔助下，實驗完成的時間最短，無虛擬夾具完成實驗所需的時間最長。對于兩個不同彈性系數的柔性虛擬夾具指導下的實驗，彈性系數小的柔性虛擬夾具輔助下的實驗時間最短。

5" 結" 論

構建一個遙操作系統，在該系統上對本文提出的方法進行實驗驗證，得到以下結論：

1） 反向搜索可視圖算法在運行時間上優于一般的概率性路徑規劃算法，能夠遠遠小于同類型的路徑規劃算法，且保留了同類型算法能夠找到最短路徑的優點。

2） 在無需避障的環境中，剛性虛擬夾具指導下的遙操作任務，能夠快速且準確地指導操作者完成任務，但是在需避障時，剛性虛擬夾具反而會起到反作用，甚至無法完成任務；其中操作者自主操作與柔性虛擬夾具指導下的操作，都可以較好地適應各種環境并完成任務，在柔性虛擬夾具的指導下，操作者完成任務的時間較短，可以看出柔性虛擬夾具對于提升操作者的任務執行效率有一定的作用。

注：本文通訊作者為鐘永彥。

參考文獻

[1] EL RASSI I， EL RASSI J M. A review of haptic feedback in tele?operated robotic surgery [J]. Journal of medical engineering amp; technology， 2020， 44（5）： 247?254.

[2] NIEMEYER G， PREUSCHE C， STRAMIGIOLI S， et al. Telerobotics [M]// SICILIANO B， KHATIB O. Springer handbook of robotics. Heidelburg， Gernamy： Springer， 2016： 1085?1108.

[3] LUO J， LIN Z D， LI Y N， et al. A teleoperation framework for mobile robots based on shared control [J]. IEEE robotics and automation letters， 2020， 5（2）： 377?384.

[4] SELVAGGIO M， CACACE J， PACCHIEROTTI C， et al. A shared?control teleoperation architecture for nonprehensile object transportation [J]. IEEE transactions on robotics， 2022， 38（1）： 569?583.

[5] GOTTARDI A， TORTORA S， TOSELLO E， et al. Shared control in robot teleoperation with improved potential fields [J]. IEEE transactions on human?machine systems， 2022， 52（3）： 410?422.

[6] PRUKS V， RYU J H. Method for generating real?time interactive virtual fixture for shared teleoperation in unknown environments [J]. The international journal of robotics research， 2022， 41（9/10）： 925?951.

[7] ROSENBERG L B. Virtual fixtures： Perceptual tools for telerobotic manipulation [C]// Proceedings of IEEE Virtual Reality Annual International Symposium. New York： IEEE， 2020： 76?82.

[8] KRAGIC D， MARAYONG P， LI M， et al. Human?machine collaborative systems for microsurgical applications [J]. International journal of robotics research， 2005， 24（9）： 731?741.

[9] EKVALL S， AARNO D， KRAGIC D. Online task recognition and real?time adaptive assistance for computer?aided machine control [J]. IEEE transactions on robotics， 2006， 22： 1029?1033.

[10] SHARP A， PRYOR M. Virtual fixture generation for task planning with complex geometries [J]. Journal of computing and information science in engineering， 2021， 21（6）： 061001.

[11] YANG Y F， JIANG Z L， YANG Y Y， et al. Safety control method of robot?assisted cataract surgery with virtual fixture and virtual force feedback [J]. Journal of intelligent amp; robotic systems， 2020， 97（1）： 17?32.

[12] PATLE B K， PANDEY A， PARHI D R K， et al. A review： On path planning strategies for navigation of mobile robot [J]. Defence technology， 2019， 15（4）： 582?606.

[13] LOZANO?PéREZ T， WESLEY M A. An algorithm for planning collision?free paths among polyhedral obstacles [J]. Communications of the ACM， 1979， 22（10）： 560?570.

[14] 張韜.基于虛擬夾具的力反饋遙操作技術研究[D].北京：北京郵電大學，2014.