虛擬現實技術在柔性上肢康復機器人中的應用

杜 豪，楊 巖，張成杰

重慶理工大學 機械工程學院，重慶400054

1 引言

虛擬現實技術是以計算機為核心，結合網絡技術、圖像仿真、人機接口、模式識別、傳感器、AI、自動控制及遠程操控等技術，將抽象模糊的信息處理為與某一特定真實環境完全相似的模擬環境，用戶借助人機交互設備控制模擬環境中的對象，讓用戶身臨其境，實時感受模擬環境中的三維世界[1]。針對當前的傳統康復治療方法，虛擬現實技術與機器人技術相結合逐漸受到人們的重視，并應用到運動康復醫療領域，成為新型的康復模式，患者可以在虛擬場景中進行運動技能的恢復，手眼協調、空間定位、日常人物等多種康復訓練[2]。虛擬現實技術的特點是帶給患者沉浸感和交互性，可以有效彌補傳統康復訓練方法的局限性，提高在康復機器人輔助訓練中的趣味性和患者的主動性[3-5]。

基于虛擬現實技術的康復機器人在各國得到了普遍重視，也取得了一定的進展，比如Connelly等人[6]利用VR結合充氣手套對腦卒中后手功能康復訓練，Kayyali等人[7]結合有觸覺反饋的收據手套，開發了一套針對腦卒中患者的虛擬康復系統，Godfrey[8]利用VR 結合外骨骼機器人，對慢性腦卒中患者進行康復訓練，華南理工大學的伍平平[9]開發了一套針對腦卒中恢復期患者偏癱上肢運動功能康復的虛擬現實系統。

針對現有的上肢康復機器人訓練模式單一、結構復雜、控制難度大等缺陷，設計了一款由繩牽引的柔性上肢康復機器人。它是一種混聯機構，既能對患者進行主動訓練，也能進行被動訓練，不僅彌補了康復訓練模式單一的缺陷，同時又精簡了本體結構，降低了康復控制難度。該柔性上肢康復機器人與虛擬現實技術相結合，為患者在安全和可靠的治療環境中提供具有特定任務的重復訓練，允許患者嘗試不同的場景和不同的任務，不僅增添了康復治療的趣味性，還極大提升了康復訓練效果和患者的滿意度。

2 柔性上肢康復機器人

2.1 康復理論研究

腦卒中是由急性腦血管病引起的，發病后患者的主要特征有：高位運動調控中樞受損、肌張力異常、運動模式異常，具有語言、認知、智力等伴隨癥狀[10]。對腦卒中康復治療，是為了防止肌肉萎縮、關節痙攣等各類癥狀的出現；是為了維持和擴大關節活動度；也是為了增強肌肉力和協調性，最終重建肢體功能以便回歸正常生活[11]。從解剖學角度看，人體上肢是由骨骼、關節和肌肉組成，在運動過程中，骨骼起到杠桿的作用，關節作為支點，肌肉則為上肢運動力[12]。通過對人體上肢生理結構分析，根據康復機械設計要求，針對肩關節和肘關節進行的主被動康復訓練，各個關節運動原理和角度如圖1所示[13]。

肩關節是由肩胛骨和肱骨頭的關節盂組成的，是一種球窩關節，可以在三個相互垂直的方向進行屈伸、收展和旋轉運動；肘關節由橈尺近側關節、肱橈關節和肱尺關節共居同一個關節囊內組成，是一種復合關節，可以做屈伸和旋轉運動。通過對偏癱患者的全面康復治療和康復功能評定學的研究，如圖2[13]，兩個關節的動作方向與角度范圍如表1和表2所示。

圖2 上肢關節運動方向

表1 肩關節動作方向和角度范圍

表2 肘關節動作方向和角度范圍

2.2 上肢康復機器人結構模型

結合人體上肢結構及運動特性所設計的柔性上肢康復機器人結構如圖3 所示，主要由滑臺模組、懸吊系統（卷線裝置和T 型架）和支撐機架等幾部分組成。該機器人以患者肘關節和腕關節為著力點，采用3根繩索懸吊上肢進行康復訓練。其中，肘關節處采用1 根繩索，腕關節處采用2根繩索，3根繩索的上端連接于懸掛機構上的支架，下端通過連接護具套對上肢進行懸吊，同時，將滑臺布置于患者上方，通過彈性繩連接驅動手臂完成患者上肢的空間運動。

圖3 柔性上肢康復機器人

不考慮繩索晃動所引起的誤差，該機器人模型的空間幾何關系如圖4 所示[13]。整個機構為混聯機構形式，串聯部分由滑臺模組裝置的兩個平移自由度(d1,d2)和旋轉裝置的轉動自由度θ1組成；并聯機構部分由3根繩索上下收放自由度(d3、d4、d5)組成。其中，基坐標系的原點為O,A代表肘關節位置，其初始坐標為(Ax,Ay,Az)=(d2,d1,d3),B代表腕關節位置，其初始坐標為(Bx,By,Bz),θ3代表腕關節的旋轉角度，L1、L3代表T型架對應結構的桿長，L2代表前臂長度，L4代表腕關節直徑，θ2代表AB與AB′1的夾角，即AB與豎直面yoz的夾角，θ1代表旋轉裝置的轉動自由度。

圖4 康復機器人空間幾何關系

通過正運動學分析，可得：

結合式（1），通過逆運動學分析，可得角度θ1和θ2分別為：

而θ1和θ2取值范圍分別為(-60°,90°)、(-45°,45°),所以θ1和θ2只有唯一解。

前臂旋前和旋后動作通過改變懸繩d4和d5的長度實現腕關節的動作，根據上述公式求得。其余動作懸繩d4和d5的長度始終相等，且滿足公式：

綜上，該機器人共有6 個自由度，懸繩個數小于自由度數，該機構是欠約束結構式的，能夠遍歷健全上肢的空間運動域。其中，滑臺模組由兩個伺服電機驅動工字型同步帶，實現肩關節的屈伸、收展2個自由度；卷線裝置由3 伺服電機實現3 根繩索在豎直空間中的運動，從而實現肩關節的旋轉、肘關節的屈伸和旋轉3個自由度；T型架由伺服電機驅動蝸輪蝸桿實現上肢在水平面內轉動1個自由度。

2.3 柔性上肢康復機器人運動方案

結合柔性上肢康復機器人本體結構，實驗室設計了基于虛擬現實技術的柔性上肢康復機器人控制系統，如圖5 所示。控制系統主要由CPAC 控制器、虛擬現實交互環境、Nokov動作捕捉系統等輔助訓練設備構成。該控制系統模式含有主被動兩套訓練方式。被動式康復訓練模式是在患者上肢未完全喪失功能，具備一定的自主運動能力下進行的一種模式，該模式簡單有效，當前多數上肢康復機器人都能實現這種訓練模式。基于被動康復訓練模式，利用輔助設備開發了一種主動式康復訓練，即實時監測上肢運動情況，機器人自主帶動患者進行康復訓練。

圖5 康復機器人系統原理圖

通過對腦卒中患者的犯病特征和上肢的異常運動的深入觀察，閱讀和查詢了大量相關文獻，重慶醫科大學附屬醫院從醫學角度出發，結合臨床試驗，分析了患者上肢各個關節的運動狀況，設計了一套上肢吃飯動作訓練方案，其肩關節和肘關節的運動狀態如表3所示。

表3 吃飯訓練運動方案

3 VR在柔性上肢康復機器人中的應用

3.1 VR交互系統

虛擬現實（VR）技術是一門借助計算機構建出一個與現實環境十分逼近的虛擬環境，且支持用戶使用自然的技能親身感受的人機交互技術[14-17]，其基本特征為3I，即immersion（沉浸）、interaction（交互）和imagination（構想）。

虛擬現實系統中的交互既包括人與系統發生的交互，還包括虛擬對象間的交互。這兩個層面的交互存在對應關系：首先，用戶的交互行為映射為虛擬環境中虛擬對象的交互行為；然后，虛擬對象之間生成交互，相互作用，并使得其自身狀態和環境狀態產生變化；最后，用戶根據對象狀態變化及其變遷過程，調整自己的交互行為。設計了基于Unity3D 引擎的虛擬現實康復訓練游戲。上肢康復訓練是上肢運動功能反復學習的過程，將虛擬現實技術融入到上肢康復訓練當中，可以提供反復刺激，促進運動學習，并保持所學習的技能。虛擬康復訓練游戲具備真正的互動體驗，使患者在訓練中沉浸在一起，并得到積極的反饋。如圖6所示。

圖6 人機交互康復訓練系統

3.2 場景加載

基于上肢康復運動方案，設計了上肢康復機器人VR系統，構建了吃飯、梳頭、洗澡、穿衣四個訓練運動模型，如圖7 所示。模型的制作過程中包括建模、材質和動畫環節。使用SolidWorks 或proe 等專業工程建模軟件搭建餐桌、盤子、勺子、食物、手臂等三維模型，但在制作VR內容時，過于精細的模型會占用大量的CPU導致VR展示時幀率過低出現卡頓，使用效果不佳，所以用工業軟件搭建三維模型后，利用3DMAX進行精簡和渲染處理，最后保存的fbx 格式文檔導入Unity3D 進行開發。在Unity3D中給物體增加剛體組件和碰撞體后，仿真系統中的物體就具備碰撞檢測和重力等物理特性。本實驗采用HTC VIVE虛擬設備，通過VR虛擬頭盔建立虛擬場景空間原點，操控手柄基于頭盔建立相對運動坐標系，各個模塊的空間布局以空間原點為參考點進行規劃，同時，對于部分原始模型可采用二級建模的方式來避免模型面數較多、布線不合理的問題。

圖7 動態交互模型

3.3 動態模型的交互性節點設計

交互性節點：虛擬對象可以通過各自成功匹配的交互節點建立相應的聯結約束關系，是操作行為能夠得以發生的接口。

在虛擬仿真設計中，連續運動節奏的好壞對界面動畫效果產生直接的影響，為保證虛擬動作顯得自然生動，需要嚴格標定動態模型的節點坐標[18]。

假設虛擬模型上的點P在場景圖像中的亞像素坐標和對應的空間三維坐標分別為(m,n)和(Xu,Yu,Zu)。通過式（5）將場景中的亞像素坐標來獲得徑向和切向畸變中攝像機坐標的歸一化坐標。

其中，ax、ay為虛擬場景中圖像坐標系在X軸和Y軸的尺度因子；xd(1)、xd(2)為進行歸一化的虛擬場景X、Y軸向坐標點；m0、n0為虛擬場景中心像素坐標。對歸一化處理后的動畫場景圖像坐標xn，經過多次迭代實現徑向和切向畸變補償，當xn對應的初始估計值為xd，通過來表示xn，利用式（5）聯合求解得到歸一化處理后的動態坐標xn，表示為：

式（6）中的?1和?2分別為切線畸變值，k為徑向畸變值，通過xn與?、k的多次迭代，獲得收斂的xn值，由于xn為線性模型中攝像機坐標系的歸一坐標，當攝像機測量的現場坐標為(Xc,Yc,Zc)，通過公式實現場景三維坐標系和攝像坐標系的轉化：

其中，t 和R 分別為攝像機外部平移向量和對應的選擇矩陣，通過上式獲得動畫場景中節點的深度值。

3.4 上肢運動捕捉與補償

由上述分析中，當知道節點在虛擬場景中的各坐標分量，通過對攝像機坐標系的歸一化處理，得到上肢運動坐標與虛擬運動坐標的轉化，進而將捕捉到關鍵點的空間坐標位置轉化為由一系列動畫幀組成的運動序列，如圖8為運動捕捉模塊，即在一個連續事件上追蹤關節點運動，描述三維空間運動過程，創建三維人物骨骼動畫源文件。

圖8 運動捕捉模塊

為獲得患者上肢在空間中的運動坐標，實驗室使用了Nokov（度量）光學三維動作捕捉系統如圖9所示。

圖9 康復運動信號采集

通過標定，確定三維空間的原點位置，構建三維空間坐標體系：每個紅外鏡頭都會拍一個2D圖像，其中至少有兩個鏡頭拍到同一個點，才會呈現出3D效果，并測出其空間坐標，拍攝鏡頭越多，坐標位置越精確。完成標定后，紅外攝像頭拍攝到熒光點的運動即為在控制器作用下的腕關節和肘關節的運動，生成.trc 格式的三維數據跟蹤文件。

柔性上肢康復機器人進行被動訓練后，患者上肢具有一定的自主能力，但與正常人相比，患者上肢的自主運動不夠連續，主動運動的速度達不到康復運動速度，因此，在對患者上肢進行主動康復訓練時，柔性上肢康復機器人應該對康復運動進行補償，如圖10所示。

圖10 運動補償流程圖

利用大量的患者上肢康復過程中訓練數據，擬定適合患者上肢運動的速度是V0。柔性上肢康復機器人進行主動康復訓練，通過NOKOV動作捕捉系統實時測量上肢在運動空間的位置變化參數。在CPAC控制器里，計算動作捕捉系統中每一幀的空間坐標變化量(V)，并且與擬定的速度(V0)進行比較。當測得患者上肢運動速度V＜V0時，表示患者自主運動能力不足，需要在康復機器人的牽引下進行運動訓練，因此，CPAC控制發出脈沖信號，驅動末端執行機構，使得繩索牽引上肢運動。當上肢運動速度V≥V0時，表示患者能夠自主運動，故末端執行機構跟隨上肢，做主動運動。

當獲取上肢運動空間坐標位置后，利用Unity3D軟件的SDK數據插件讀取空間坐標位置并轉化為虛擬動態模型節點坐標系，實現虛擬現實運動交互。

3.5 柔性上肢康復運動虛擬現實交互功能與驗證

患者戴上VR頭盔，握住操控手柄，康復機器人處于初始狀態，此時Unity3D中的空間原點與硬件驅動傳過來的點進行匹配，使得虛擬環境中的手臂位置與患者坐的位置保持一致。通過配套的兩個紅外攝像頭對手柄進行定位，即測量康復機器人末端位置。獲取數據后，通過驅動接口傳入Unity3D軟件，實現虛擬手臂跟隨運動，如圖11所示。

圖11 VR訓練裝置

患者和虛擬現場場景中的交互，不僅通過虛擬場景觀察手臂的實時運動效果，同時可以檢測到任務動作路徑的規范性和有效性。本文通過患者的坐姿特征，在場景嘴的同等高度下設置了碰撞檢測體，實現碰撞功能提高吃飯訓練動作的仿真度，驗證吃飯動作的準確度，如圖12所示。

圖12 碰撞檢測體

在虛擬場景中，結合患者的視覺特征，碰撞檢測體設置在機器人視覺正下方，替代患者的嘴，通過刀叉食物的實時狀態，判斷吃飯訓練動作的準確性和可行度。

本虛擬現實系統的碰撞檢測算法采用層次包圍盒算法。在Unity3D 中，根據手柄與周圍物體間的碰撞形式：進入碰撞與未發生碰撞的臨界狀態、碰撞發生中、脫離碰撞狀態，會分別調用On Collision Enter() 、On Collision Stay()、On Collision Exit()三個函數[19]，將碰撞時所要執行的邏輯分別加入到這三個函數中，從而實現碰撞檢測功能，完成吃飯訓練，如圖13所示。

圖13 碰撞檢測試驗

當食物在靠近嘴時，程序檢測到碰撞發生，將虛擬場景中的食物顏色由黃色變為青色，脫離碰撞狀態后，食物消失，這表明本虛擬現實系統具有碰撞功能，并驗證了吃飯訓練完成。

4 結論

虛擬現實技術和柔性上肢康復機器人中的聯合驅動，為患者在康復過程中提供了有效的康復訓練，增強了患者進行康復訓練的主動性和趣味性。虛擬現實技術在柔性上肢康復機器人的應用主要包括：

（1）柔性上肢康復機器人復合訓練動作設計，驗證康復運動訓練的可行性。

（2）結合康復機器人運動域，運用3DMAX和Unity3D軟件搭建上肢康復運動場景。

（3）標定上肢運動節點坐標，通過引入交互節點實現運動場景的坐標系和攝像坐標系的轉化，完成虛擬動態模型交互。

（4）設置碰撞檢測體，完成碰撞檢測試驗，實證吃飯動作訓練，完善柔性上肢康復機器人虛擬現實交互功能。