基于虛擬人機協作的咽拭子采樣機器人遠程控制策略

陳英龍，宋甫俊，弓永軍

（大連海事大學，遼寧 大連 116026）

隨著新冠肺炎疫情的常態化，醫學檢測的需求出現了前所未有的增長。其中，核酸檢測作為新冠肺炎檢測最常用的檢測手段，咽拭子則是其最主要的采樣方式。為應對這一非同尋常的需求增長，采用機器人輔助醫務人員完成采樣任務成了研究熱點［1］。目前，咽拭子采集機器人的研發主要分為兩種，一類是機器人咽拭子自主采集；另一類則是遠程人機協作咽拭子采集。

國外的南丹麥大學（SDU）首推了一款咽拭子自主采集機器人，該機器人裝配了UR3協作式機器人手臂，以及一個定制的3D打印末端執行器。檢測的過程本身非常簡單，基本上能夠實現自主的整套咽拭子采集流程。而國內的清華大學孫富春教授團隊結合自主研制的柔性觸覺傳感器及視觸覺多模態感知方法的研究基礎，也設計開發了一套咽拭子自主采樣的機器人原型系統。然而，機器人咽拭子自主采集存在智能化不足、安全隱患等問題，就目前來看，在醫療中完全自動化仍然是不可靠的［2］。且目前的自主機器人還有一個固有限制，即由于它們所執行任務的知識基礎有限，機器人不太可能對不尋?；蛞馔獾氖录鞒稣_反應。

與機器人自主控制相反，人機協作恰好彌補了這一方面不足，通過融合了人類和機器人的優勢，可以更有效地完成目標任務。在醫療領域中，人機協作已經得到廣泛應用。比如，機器人輔助微創外科手術（RMIS）作為一門新興的技術被廣泛地應用于各類手術中［3］。這種基于人機協作的遙操作方式較傳統手術能夠更好地提高醫生對手術的執行能力。而國內早期中科院沈自所和鐘南山團隊合作開發了可以遠程人機協作方式的咽拭子采樣機器人系統，可以輕柔、快速地完成咽部組織采樣任務。當然，遠程協作也帶來了新的挑戰，尤其是在醫療操作中，網絡基礎設施自身性能、帶寬受限等問題，導致通信延遲和數據丟失給遠程人機協作過程造成嚴重的安全隱患。因此，為了避免因延遲引起事故，遠程人機協作時必須引入安全約束。

而早在1993年斯坦福大學的Rosenberg教授提出了廣泛應用于遙操作手術、空間維護等領域的虛擬夾具技術，在虛擬空間構建像機械剛性夾具那樣對不期望方向運動的約束，成功地解決了遙操作系統中的環境交互問題［4］。在羅伯森提出虛擬夾具技術之前，醫療手術實施的形式是機器人完全自動化操作。隨后，Davies等提出了機器人輔助膝關節置換手術中稱為“主動約束”的平行概念。在這個概念下，外科手術工具繼續由外科醫生手動操作，但是，當外科醫生移向不應該被移除的材料時，該方向的硬度就會增加，以防止過度切割［5］。自從這種控制形式的概念提出以來，許多研究機構已經大力發展并使其多樣化［6］。例如，Mako通過基于力反饋的觸覺交互技術保證安全性［7］。唐宇存等基于虛擬夾具的手術機器人，結合導納控制原理，實現二維手術平面內虛擬約束［8］。而Alessandro Bettini等提出一種基于視覺的毫米至微米尺度協同操作系統，該系統是基于導納控制算法，實現了一種指導模式的虛擬夾具［9］。

虛擬約束可以解決遙操作模式下存在的不足之處（如可視環境狹窄、延遲易導致反饋信息的缺失等）帶來的安全隱患。因此，本文采用動態人工勢場的虛擬約束，基于虛擬力的人機協商策略實現非結構化環境下的人機協作，完成咽拭子采集任務。比較傳統的固定參考區域的人工勢場的約束方法［10］，本文中人工勢場由接觸力決定，能夠根據接觸狀態改變勢場。而通過虛擬力進行操作模擬物理人機協作，能夠調控機器人的柔順性，比位姿輸入更適應非結構化、動態可變環境下的跟蹤以及接觸力控制。

1 問題描述

咽拭子采集過程可分為兩個階段：一個是機器人末端執行器未到達目標位置時的運動，稱之為自由空間運動；另一個是末端執行器接觸到咽后壁后的運動，稱之為接觸空間運動。而在兩個階段中，為了安全、平穩且準確地完成采集任務，咽拭子采集常常會面臨以下3個挑戰。

1）由于機器人視覺采集傳感器自身性能限制，而被采集的口腔部位的視覺范圍狹窄，使獲得三維掃描信息并不準確，從而導致咽拭子到達目標位姿超前或者滯后，機器人自動操作過程對患者具有一定危險性。

2）在實際采集過程中受患者的身體應激反應等客觀因素，采集任務并不是一帆風順的。尤其是患者的身體位姿輕微變化都將會產生干擾，對此醫生往往需要再次判斷后繼續操作，而對于機器人咽拭子采集，其并不能夠自主地做出相應的正確反應，而重新操作則降低了采集效率。

3）人體口咽屬于柔軟組織，因此必須施加合適的接觸力，既要保證足夠的刮拭力度，也要避免對咽后壁造成損傷。然而傳統的遠程人機協作的網絡延遲則并不能保證接觸力的實時閉環控制性。

針對以上這些情況，單純依靠機器人是不合適的，同時還面臨著遠程操作帶來的挑戰。因此，本文采用虛擬約束的方式，構建基于虛擬力的人機協作控制策略來解決實際中出現的問題。

2 人機協商策略

首先，當機器人運行至起始點，根據視覺反饋和力反饋信息，在遠程操作端的醫務人員發現情況，做出判斷并對機器人干預。采納虛擬人機協作策略對采樣軌跡完成修正和規劃，最后操作者停止干預，機器人自主規劃和跟蹤軌跡，人類將處于一個監管狀態。

通過時間閾值Tthr、虛擬關節力矩閾值τthr、接觸力閾值Tcthr進行判斷，建立人機協作有限狀態機模型，將整個協作過程定義為3個不同階段的工作狀態，具體如下：

其中，τ、T、Fc分別是虛擬關節力矩、干預時間、環境接觸力。

人機協作過程中S1表示自由空間的人類引導狀態，處于這個狀態的環境被認為是已經發生變化的，導致原先跟蹤軌跡很明顯不再滿足要求，這也使得機器人末端并未與咽后壁接觸。而S2則代表著在人類引導下機器人末端接觸到咽后壁，接觸力達到設定的接觸閾值，進入約束空間的人類引導狀態。隨著人類的遠程引導，機器人末端運行至合適的位置點時，人類逐漸減小虛擬力，機器人開始主導進行軌跡跟蹤，此時整個系統處于機器人引導的S3狀態。當人類不再施加虛擬力，停止干預時，S3觸發，機器人根據人類引導的數據實現自主規劃和跟蹤軌跡。

3 虛擬約束

采用相應的方法對機器人執行機構的運動加以限制，避免過度操作導致的意外情況發生。1986年Khatib提出了人工勢場法的概念，其基本思想是構造一種由引力場與斥力場共同作用形成的虛擬勢場，從而對機器人的運動加以引導和限制。人工勢場法結構較簡單，易實現底層的實時控制，并且可以根據不同的實際需求來設計修改所生成的勢場，廣泛應用于實時壁障和平滑的軌跡控制等方面。斥力勢場函數與引力勢場函數的定義分別為：

式中：η、ξ分別表示斥力勢場、引力勢場的尺度因子；d0表示著距離閾值，決定了斥力場對物體的作用范圍；d（q，q0）表示物體與參考目標之間的距離。

3.1 自由空間的虛擬約束

遠程協作時系統不可避免會存在延遲問題，這使得閉環實時性能不足，人類不能很好地對錯誤操作（如手抖引起的碰撞、位移過大等）做出相對反應，因此我們對S1狀態的末端點設定了一種虛擬的引力勢場約束。傳統的“人工勢場”的參考基準都是固定的，本文提出的虛擬引力約束根據前一時刻的末端位姿點的受力情況構建約束場，且約束場是時刻變化的，在人機交互過程中虛擬引力傳遞給操作者一種“牽扯”感，提醒需要調節執行機構的位移幅度，從而達到實時、靈活約束的目的。

圖1為引力場的結構模型，其具體表達可由引力勢場函數式（2）對距離求導可得，如下所示：

圖1 基于虛擬力的人機協商框架

其中，Pk＋ti、Pk＋ti－1分別表示t時刻以及前一時刻的末端軌跡點坐標，且Pk＋ti＝［x，y，z］；fa則表示著機器人在勢場中受到的引力作用力，且力的約束方向由Pk＋ti指向Pk＋ti－1。

3.2 接觸空間的虛擬約束

在接觸的瞬間，Fc≥0，此時末端的位姿設為Pk＋ti，根據約束要求，定義禁止區域F為以點Pk＋ti－1為中心，長徑R1，短徑R2的橢球面外區域部分，其中長徑R1約束X、Z方向運動，短徑R2則約束深度Y方向運動。禁止區域部分的表達式：

S2觸發后，由于實際接觸的咽后壁可近似為一種較小曲率的曲面，而傳統的固定參考禁止區域F并不能滿足實際情況，因此提出一種隨末端位姿Pk＋ti的變化而變化的禁止區域Ft。根據ti時刻的末端接觸力Fc＋t和末端位姿Pk＋ti構建ti時刻的禁止約束區域Ft，如圖2所示。該斥力場模型表達如下：

圖2 虛擬約束架構圖

式中：R2（0）為最大允許接觸力fc0對應的最大約束范圍；R2（t）為ti時刻的深度方向約束范圍。

根據上述的勢場函數式（1）對斥力場求梯度，建立斥力數學表達式如下：

其中：ρtool為末端點Pk＋ti距離禁止約束區域Ft的值；ρmax為勢場作用的最大距離，且ρmax＝0.5R2（t）；fr是機器人在勢場中受到的作用力，力的作用方向由Pk＋ti指向Pk＋ti－1。而為了避免在實際操作中產生過大排斥作用，在禁止區域外還需要設置安全距離ρmax，且當ρtool＜ρmin，令fr＝fmax，表示機器人允許的最大斥力。

3.3 機器人自主控制

由于實際的咽后壁一般是對稱的，那么基于人類引導采樣的過程，機器人可根據之前的軌跡跟蹤經驗，在無人類遠程干預的情況下實現自主的軌跡規劃。已知干預過程的軌跡Pk＋ti、ρmax和禁止約束區域的模型Ft，為了保證機器人獨立采樣中的約束，設定禁止約束區域的模型Ft不發生變化，根據參考跟蹤軌跡點的力反饋調整ρmax（t），從而實時地修正不同位姿時的約束力fr。

在th時刻，人類停止干預意圖并退入監督模式，S3觸發，機器人進行自主采樣，而參考跟蹤軌跡由干預過程的軌跡Pk＋ti以過分界點Pk＋tm的YZ平面為鏡像映射獲得，其表達如下：

其中，T為Pk＋ti→Pk＋t*i的坐標映射矩陣。

利用獲得的參考跟蹤軌跡點P*k＋ti和禁止約束區域的模型Ft可以構建斥力勢場。此過程中實際接觸環境和參考軌跡之間存在偏差，因此，為了避免實際接觸力過大的情況發生，斥力場的范圍需要隨著接觸力的實時變化而變化。其表達式為：

式中，k為勢場作用范圍的變化系數，當在末端點處于約束范圍外且接觸力接近甚至達到預定警戒值Fw時，k存在。

3.4 可變阻抗控制

自從Hongan提出機器人的阻抗控制方法后，許多學者對阻抗控制進行研究，而在人－機器人協作中，質量－彈簧－阻尼系統經常被用來表示施加在機器人的力與所對應位置的位移之間的動態關系。其典型的二階線性阻抗控制關系描述如下：

在本文中表達式可轉換為：

其中，Md、Dd（t）、Kd（t）∈R3×3分別表示平移慣性、阻尼和剛度的所需對稱正定矩陣，Fext∈R3為所施加的外力，ΔX（t）是期望位姿Xd（t）與實際位姿Xc（t）之間的偏差值，ΔX（t）＝Xc（t）－Xd（t）。

采用了連續的阻抗調節方法，調整阻尼和剛度范圍以確保整個系統的穩定性。在VF正常運行的前提下，人為干預時，Dd（t）、Kd（t）減小，以保證機器人的順從性。當人類意圖停止干預或者離開后，Dd（t）、Kd（t）增加，以保持機器人在精度上的優勢。

整個過程中Md一直都不變，Dd（t）、Kd（t）的變化由虛擬力的變化來決定，基于虛擬力的阻尼和剛度的變化函數如下：

其中，Fvthr是虛擬力的判斷閾值；ε（i＝1，2，）表示阻尼、剛度的衰減系數；Kmax、Dmax則分別表示最大允許的剛度、阻尼值；L（x）為邏輯回歸函數。式中比較虛擬力與閾值，阻尼、剛度值發生改變。

4 仿真分析

為了驗證提出策略的有效性，本文基于模型設計的方法建立了6自由度機器人的虛擬仿真環境，如圖3所示，主要包括機器人模型和口腔咽后壁模擬模型，并使用Simulink搭建的控制框架。其中，有限狀態機表示人機協商過程，主要對應人類干預與機器人獨立控制2種情況；可變阻抗控制用來調節人機協作時的柔順性，貫穿整個人類干預過程；虛擬約束針對不同的機器人末端接觸狀態可分為自由空間和接觸空間約束，從而實現對機器人更優良、匹配的約束效果。

圖3 基于模型設計的仿真環境

通過搭建的Simulink模型進行仿真，在上述人機協作控制框架中，虛擬約束主要分為自由空間和接觸空間2種，由此可以分別通過兩種仿真進行驗證。自由空間的虛擬約束仿真對應S1狀態，主要表現了無接觸時人類遠程引導機器人移動時對變化情況的約束效果；接觸空間約束仿真則對應S2和S3狀態，分別表現了接觸時人類引導與機器人獨立控制的約束效果。

4.1 自由空間虛擬約束仿真

在自由空間的虛擬約束下，機器人主要受到X、Y、Z方向的ti－1時刻對ti時刻的引力作用。為了明顯對比約束效果，將階躍信號施加在原先的運行軌跡上，從而模擬人類引導時的抖動，而最大約束范圍ρmax值設為8 mm，并分別在0.2 s時和0.4 s時施加Z方向的5 mm和10 mm的階躍信號，得到的仿真結果如圖4所示。

圖4 自由空間虛擬約束軌跡

圖中軌跡1和軌跡2分別對應10 mm階躍時的變化軌跡，而圖5則是虛擬約束力的變化情況，可以看出在0.4 s時的階躍信號作用下機器人末端受到引力約束并不能快速突變，而是經過約0.2 s的緩沖后才到達指定位置。軌跡3和軌跡4則是5 mm突變下的跟蹤情況，由于不在約束范圍內，因此機器人無引力約束。

圖5 自由空間虛擬約束力

4.2 接觸空間虛擬約束仿真

當末端執行器接觸到環境后，虛擬約束由引力勢場轉為斥力勢場，機器人在人類的引導下進行擦拭咽后壁，禁止區域部分Ft則隨著接觸力Fc變化而變化，其中，設置安全距離ρmin＝0.5 mm，最大約束范圍R2（0）＝3 mm，橫向約束范圍R1＝4 mm，尺度因子η＝10，而最大斥力fmax＝5 N。在接觸空間機器人末端受3個方向的接觸力，由于咽后壁的曲率較小，且采樣過程的擦拭速度低，因此深度方向的接觸力變化更明顯，因此主要選取深度方向接觸力的約束情況進行仿真分析。仿真結果如圖6所示，軌跡1和軌跡2分別代表著無約束與由約束情況下的跟蹤情況。在A點狀態之前機器人末端被設定為人引導的正常接觸，B點之后則是機器人根據穩定的虛擬約束力進行獨立采樣，而A、B點則分別模擬人類引導時的變化狀況。

圖6 接觸空間虛擬約束軌跡

在A點時，模擬了機器人在人類引導下的深度方向突變情況，變化值為1 mm。接觸力Fc，如圖7所示，初始接觸力為3 N，變化后的接觸力約為5 N；圖8表示虛擬約束力fr1的變化情況。從兩張仿真結果效果可以看出：勢場力與接觸力的變化相關。

圖7 A點狀態的接觸力

圖8 A點狀態的虛擬約束力

在B點時，同樣模擬了機器人在人類引導下的深度方向突變，變化值亦為1 mm。接觸力fc如圖9所示，初始接觸力為5 N，變化后的接觸力約為5.6 N；圖10表示虛擬約束力fr2的變化情況。從兩張仿真結果可以看出：勢場力與接觸力的變化相關，同時，相對于A點狀態，由于虛擬約束與接觸力的關系，B點狀態的接觸力更大，而虛擬約束效果也更強，這證明了文中提出的接觸空間虛擬約束算法的正確性、有效性。

圖9 B點狀態的接觸力

圖10 B點狀態的虛擬約束力

5 結論

提出了一種基于虛擬人機協作的控制方案，旨在解決實際咽拭子采集過程中出現的挑戰，并通過仿真驗證這一策略的有效性。該方法通過基于虛擬力的人機協商策略判斷人機協作狀態，然后構建了一種動態的人工勢場。比較傳統的人工勢場，其具有更加靈活、契合的約束效果，能夠對機器人執行機構的空間運動引導和約束。這種方法無需構建復雜的幾何模型，虛擬約束的定義方便快捷，在減少安全隱患的同時，能夠更好地輔助醫生操作，對其他遠程人機協作機器人系統及類似的人機交互環境具有普適意義。

下一步研究工作包括基于實際人體口咽模型搭建機器人實驗平臺，并應用上述方法。后期的研究還會結合機器學習，將醫生的操作經驗融入人機協作過程，進一步完善與優化解決方案。