基于力跟蹤的上肢康復機器人系統中視覺與觸覺反饋融合技術研究

王昱，吳向東，施長城，張佳楫，李娜，馬冶浩，陶亮，唐敏，左國坤

1.西南交通大學機械工程學院，四川成都市 610031；2.中國科學院寧波材料與工程研究所，慈溪生物醫學工程研究所，浙江寧波市 315300；3.中國科學院寧波材料與工程研究所，醫用植介入材料浙江省工程研究中心，浙江寧波市 315300；4.寧波市康復醫院神經康復科，浙江寧波市 315040

截至2019 年底，全國60 周歲及以上老年人口2.54億，占總人口的18.1%[1]。未來一段時間，我國老齡化程度將持續加深，并將是一個長期趨勢。伴隨著人口老齡化的加劇以及生活與飲食習慣的改變，腦卒中患者數量在逐年遞增[2]。腦卒中往往導致不同程度的肢體功能障礙，其中上肢功能障礙約占80%，嚴重影響患者的日常生活[3]。傳統的康復模式是康復醫師通過一對一的方式協助患者進行大量重復性的康復運動，逐步刺激腦部神經，以達到康復目的[4]。這種康復方式成本高，效率低，難以滿足當前的康復需求。隨著康復機器人的誕生，腦卒中患者的康復成本和康復效率得到大幅度改善，但仍然存在一些不足[5-6]。

將虛擬現實技術與上肢康復相結合可以為患者提供身臨其境的康復環境，降低患者的抵觸情緒，激發患者的康復動力，進而提高康復效果[7-8]。理想的虛擬環境應該能為患者提供一個多源的信息反饋，包括視覺、觸覺和聽覺，但目前的康復設備大多只能提供視覺和聽覺，不能完全的使患者沉浸其中[9]。同時，臨床研究也表明[10]，對患者實施任務導向性的運動和多感覺融合性訓練，有助于提升其獨立完成日?；顒拥哪芰?。

Marchal-Crespo 等[11]設計了一種基于位置誤差的力反饋策略，該策略在提供重力和摩擦力補償的前提下為患者提供三種不同的力反饋模式，分別為無指導、錯誤縮小和錯誤放大。在錯誤縮小和錯誤放大模式中，控制器根據患者任務的完成精度為其提供一個與期望方向相同或相反的力，力的大小與完成精度相關。Wright 等[12]通過評估患者完成點到點和畫圓運動的表現為其定制化地設計一種力場，以降低其在康復運動中肢體活動的頻率。Majeed 等[13]根據臨床研究結果設計了一種與運動速度相關的黏性力場。Lokesh等[14]通過實驗證明，在康復過程中，約束較少的力反饋更有助于患者運動學習。以上力場較為固定且無法與現實生活相關聯，不具備游戲的樂趣，患者只能被動感受到虛擬環境對其的力反饋，無法對虛擬環境產生力的作用，不能實現真正的交互。

與簡單的康復任務相比，與現實場景相似的康復任務要求更加復雜的大腦活動[15]，可以為大腦提供更多的信息，有助于腦部神經的重塑。Basalp 等[16-18]設計了一種用于上肢訓練的虛擬劃船系統，該系統可以為用戶提供視覺、觸覺和聽覺反饋，同時為了滿足不同用戶的任務需求，該系統還允許用戶調節虛擬水的密度，改變水與漿的交互力。該系統的臨場較強，可以滿足用戶更加豐富的訓練要求，但其觸覺反饋系統需要對整個系統的動力學參數進行精確的辨識，具有一定的復雜性。Keller 等[19]為青少年設計了一套用于上肢康復的六自由度外骨骼機器人，該系統將電腦游戲與康復相結合，可以提高參與者的興趣，但其反饋力仍不夠真實。

本研究基于末端牽引式上肢康復機器人提出一種針對腦卒中患者上肢運動康復的多感覺反饋融合訓練系統。該系統通過采集關節電機的運行狀態，將用戶手臂的運動信息發送給虛擬環境，再由虛擬環境對該事件進行響應，計算出用戶應該接受的期望力反饋，最終由控制器根據當前用戶與系統的交互力和期望力反饋之間的偏差調節關節電機輸出扭矩，讓用戶感受到虛擬環境中的力反饋。此外該方法還允許康復醫師針對不同患者的康復需求，通過切換虛擬環境或者調節虛擬環境參數，定制個性化的康復任務。

1 系統設計

1.1 硬件系統

本研究的實驗平臺采用團隊自主研發的末端牽引式上肢康復機器人[20-21]。該平臺由開發機和下位機兩部分組成。開發機為裝有電機控制軟件和Unity3D 軟件的臺式機和顯示器，可以為訓練者提供視覺反饋。下位機由伺服控制器和執行機構組成，與訓練者進行觸覺交互。執行機構共有三個電機，可以分別控制搖桿沿X 軸和Y 軸方向轉動，以及Z 方向移動。在搖桿的末端裝有把手，用于訓練者與系統進行交互。此外在把手下方裝有多維力傳感器，可以實時采集訓練者與搖桿的交互力。

該系統的原理見圖1。首先，訓練者操作搖桿，將手臂末端的位置和速度信息傳遞給虛擬環境。然后，虛擬環境對接收到的信息進行響應，計算代理點與環境之間的期望交互力Fd，并將其傳遞給控制器，同時通過顯示器將虛擬環境中的視覺信息反饋給訓練者。接著，控制器根據采集到的機械臂關節角度θ、訓練者與機械臂的接觸力Fm和期望交互力Fd，調節機械臂輸出力矩τd，使訓練者與機械臂的交互力Fm跟蹤期望交互力Fd，最終使訓練者感受來自虛擬環境的觸覺反饋。

圖1 系統原理圖

1.2 控制器設計

為了模擬機械臂末端與訓練者之間的接觸力，將機器人末端假設為一個由質量、彈簧和阻尼器組成的二階系統[22-23]，其動力學模式可表示為

其中，M、C、K分別為二階系統的理想質量、阻尼和剛度參數。Fm為訓練者與機械臂末端的實際接觸力。x、分別為機械臂末端的位置矢量、速度矢量和加速度矢量。

經典的定阻抗控制其參數恒定，交互力只與機械臂末端的位置和速度有關，無法實現訓練者在同一運動狀態感受到不同交互力的要求[24-25]。為了實現訓練者能在同一運動狀態感受到不同的交互力，系統的阻抗參數需要能根據交互力的偏差和運動狀態進行自適應調節。康復訓練是一個低速且速度變化緩慢的運動，將系統假設為二階系統后，訓練者于機械臂的交互力主要由虛擬彈簧產生。因此可以在不改變質量M和阻尼系數C的情況下，調節彈簧剛度K實現交互力的跟蹤。

其中，k0為系統的初始剛度，Ef為期望交互力Fd與實際交互力Fm之間的偏差。kp、ki、kd分別為交互偏差的比例、積分和微分增益參數。

將式(2)帶入式(1)可得

該控制器的特點是在阻抗控制器中引入PID 控制器，使虛擬剛度K可以根據期望交互力Fd與實際交互力Fm之間的偏差Ef實現自適應。然而，期望交互力Fd由虛擬系統設定可以發生突變，而實際交互力Fm不會突變。直接采用他們之間的誤差Ef來消除這個誤差，就意味著讓不會突變的值跟蹤可能會發生突變的值，跟蹤效果勢必無法滿足任務需求[26-27]。

對此，本文引入跟蹤微分器[26](tracking differentiator,TD)，對交互力偏差Ef進行過渡處理，使其無法突變，同時獲得過渡過程的微分信號。跟蹤微分器包含一個輸入信號x(t)和兩個輸出信號x1(t)、x2(t)。信號x1(t)將在速度因子r的限制下“最快地”跟蹤輸入信號x(t)，x2(t)是x1(t)的微分，可以近似為x(t)的微分。則式(3)可變為

由式(4)-(5)可獲得搖桿末端運動期望軌跡x，經機器人逆運動學變換獲得機械臂各關節運動軌跡θd。為了提高位置跟蹤精度，首先對機器人的關節進行重力和摩擦力補償[28]，再通過機器人實時采集的關節位置信息θ與期望位置θd進行比較，調節各電機扭矩τ，實現康復機器人的力跟蹤。為了防止系統可能對訓練者帶來的二次傷害，本文對由虛擬環境傳來的期望交互力進行限位，使其在±10 N 之間。本文的控制框圖見圖2。

1.3 虛擬環境設計

圖2 系統控制框圖

本文設計的虛擬環境采用Unity3D 軟件編寫，通過TCP/IP協議通訊與控制器連接，接收控制器發來的機械臂末端運動信息x和，同時向其發送期望交互力Fd。如圖3 示，在該場景中訓練者可以水平面自由移動，控制代理小球(黃色)將其他小球打入平臺前面和兩側的洞內。所有小球帶有靜電荷，紅色表示帶正電，藍色表示帶負電。為了區分代理小球和其他小球，無論其帶什么屬性的電荷均用黃色表示，但會在右上角的UI 界面顯示其電荷屬性。在該場景中訓練者受到來自虛擬環境中的兩種力，分別是由其他小球對其的庫倫力Fq和與地面摩擦力Ff。

所有小球之間的庫侖力Fq可以通過庫侖定律獲得

其中，K為庫倫常數，Q為小球自身所帶電荷量，Qi為其他小球所帶電荷量，ri為與其他小球之間的距離。N為除自身以外帶電小球的個數。

目前已有多種摩擦力模型[30-32]。本文采用叢爽等[32]提出的摩擦力數學模型。

其中，Tc為最大靜摩擦，Ts為動摩擦，v為速度，c為阻尼系數。

如圖4 所示，當速度v在零點附近時，上述摩擦力會出現突變，使系統產生抖動，引起用戶的不適，為此我們對上述摩擦力模型進行一定改進。在|v|≤v0的范圍內引入過渡函數，可以使摩擦力的變化更加平穩。

圖3 虛擬環境

過渡函數

其中，參數a為過渡系數，用于調節過渡函數的變化陡峭度，v0表示過渡函數的范圍。

圖4 修改前后摩擦力模型

摩擦力模型可以表示為

則訓練者在該場景中受到的力Fd可以表示

在虛擬環境的右上角有UI 界面，可以定制代理小球所帶電荷屬性，切換地面材質。同時還實時地顯示代理小球受到的庫侖力Fq、摩擦力Ff和合力F的大小。

2 方法

2.1 試驗方法

為了驗證本文所提的方法能將虛擬環境中的交互力準確、快速地反饋給用戶，且提高其訓練的參與度，共招募8 例健康受試者進行驗證，其中男性7 例，女性1 例，平均年齡(25.5±3.2)歲，均為右利手。試驗于中國科學院寧波材料技術與工程研究所康復機器人實驗室進行，由中國科學院寧波材料技術與工程研究所慈溪生物醫學工程研究所倫理委員會批準通過。在開始試驗之前，每位受試者均已充分了解試驗流程，并簽署知情同意書。

本試驗共有兩種模式，分別為有反饋融合模式和無反饋融合模式，每種模式各做3 次，交替進行。在兩種模式中，受試者均被要求控制如圖3所示的小球，從A 點移向B 點，并通過排斥力將B 點的紅色小球推到前壁中的洞內。當紅色小球進入洞內后，受試者控制小球從B 點回到A 點完成一個循環，此時B 會再次生成一個紅色小球，直到任務完成。每當紅色小球進入目標洞內，虛擬環境會發出一聲清脆的鈴聲。每種模式均包含20次任務，受試者需要盡可能保持每次任務中用時相同。

2.2 數據的采用與處理

本文對試驗過程中的機械臂關節角度θ、傳感器讀數Fm、期望交互力Fd，以及受試者上肢肱二頭肌、肱三頭肌、三角肌前束、三角肌后束的肌電信號進行采集。機械臂關節角度θ、實際交互力Fm、期望交互力Fd、電機輸出力矩τ利用電機控制軟件進行采集，采樣頻率為1000 Hz；肌電數據采用Delsys 公司Trigo Wireless System 設備進行采集，采樣頻率為1927 Hz。本文使用數據處理軟件對肌電數據進行分析。

2.2.1 表面肌電信號預處理

首先使用軟件對肌電信號進行50～400 Hz 的帶通濾波以及濾除50 Hz 的工頻信號，然后對信號進行去均值、整流、取包絡線等處理[33-35]，最后以包絡線作為肌電信號的特征值。

2.2.2 數據分割

我們要求受試者盡可能保持每次任務用時相同，但不可避免的存在一定的差異。首先計算20次任務過程中機械臂關節角度θ的極小值，然后根據計算得到的極小值下標對傳感器讀數Fm、期望交互力Fd，以及肌電信號進行分割，獲得單個任務中其對應的信號。

2.2.3 計算單個任務過程中肌電積分值(integrated EMG,iEMG)和單位時間內肌電幅值(EMG amplitude per unit time,EMG/T)

分別計算兩種不同模式下單次任務的iEMG，用于反映每次任務中肌肉消耗的能量。再根據公式(13)計算EMG/T，用于反映單次任務中肌肉的平均功率。

其中N為單次訓練任務的肌電數據樣本數，Ei為肌電包絡線，Δt為采樣間隙。

2.2.4 計算均方根誤差(root mean square error,RMSE)

計算實際交互力Fm與期望交互力Fd間的RMSE，作為評價跟蹤效果的指標。

2.3 統計學分析

采用SPSS 22.0 對兩種訓練模式下iEMG 和EMG/T 進行成對樣本t檢驗。分別計算所有受試者在有反饋融合模式下與無反饋融合模式下iEMG 的比值P1，以及EMG/T的比值P2。顯著性水平α=0.05。

3 結果

圖5 中上半部分為受試者從A 點出發到B 點，下半部分為用戶從B 點回到A 點。在從A 點到B 點的過程中受試者受到小球間的排斥力和摩擦力共同作用，而回去的過程中只受到摩擦力，因此正方向的交互力明顯大于反方向。在向前推動的一瞬間實際交互力Fm會大于期望交互力Fd，這是系統和算法本身延時引起。反饋任務過程中的實際與期望力反饋的均方根誤差為(0.757±0.171) N，表明本文提出的技術可以精確實現交互力的跟蹤。

有反饋融合模式下四塊肌肉iEMG 均顯著大于無反饋融合模式(P＜0.001)。訓練模式下的P1均值均大于1(圖6)。肱二頭肌和三角肌前束P1的標準差明顯大于其余兩塊肌肉。見表1、圖6。

有反饋融合模式下肱二頭肌、肱三頭肌、三角肌前束的EMG/T 均顯著大于無反饋融合模式下(P＜0.001)，而兩種模式下三角肌后束EMG/T 無顯著性差異(P＞0.05)。兩種訓練模式的P2均值均大于1。肱二頭肌和三角肌前束P2的標準差相對于其他兩塊肌肉較大。見表2、圖7。

4 討論

本研究顯示，有反饋融合模式下四塊肌肉iEMG均顯著大于無反饋融合模式，表明融合反饋訓練需要被試付出更多能量。肱二頭肌和三角肌前束P1的標準差大于其余兩塊肌肉，這可能與不同受試者之間的發力方式有關。在被試向前推動小球時，反饋給其的力由兩部分組成，電荷小球間的排斥力和摩擦力。當速度超過一定閾值，速度對摩擦力的影響較小。而排斥力則不同，不同的速度會引起小球之間距離發生變化，使排斥力發生較大改變。在向前移動的過程中，手臂的運動主要由肱二頭肌和三角肌前束發力，因此排斥力的變化會導致肱二頭肌和三角肌前束的P1的標準差較大。

本研究還顯示，兩種模式三角肌后束EMG/T 無差異。這可能是由于受試者從B 點返回A 點的過程中直接借助小球間的排斥力回來，而沒有花費太多力氣，進而與無反饋融合模式交互力相近。四塊肌肉P2均值均大于1，表明融合反饋訓練需要被試付出更多力量。同樣因為不同受試者的發力方式不同，肱二頭肌和三角肌前束P2的標準差相對于其他兩塊肌肉較大。

圖5 代表性受試者在有反饋融合模式下的期望與實際交互力

表1 兩種模式下四塊肌肉iEMG比較(n=8,×10-5 V?s)

表2 兩種模式下四塊肌肉EMG/T比較(n=8,×10-6 V)

圖6 上肢肌肉P1

圖7 上肢肌肉P2

針對現有上肢康復訓練系統提供視覺和觸覺反饋無法關聯的問題，本文在末端牽引式上肢康復機器人系統中設計一種基于力跟蹤的視覺與觸覺力反饋融合康復訓練模式。該模式采用力跟蹤算法將在虛擬環境中所看見的力學事件通過搖桿傳遞給訓練者。通過對比試驗發現有無反饋融合條件下受試者上肢用力情況存在差異。本文提出的技術可以精確地根據虛擬環境中視覺反饋構建的力反饋傳遞給用戶，通過多感覺融合反饋增加對訓練者外周神經功能的刺激，進而加強中樞神經功能重建，并促使用戶付出更多的努力。其次，該技術所提供的力反饋模式更加自由，所需的力反饋完全在上位機虛擬環境中計算完成，可實現虛擬環境中統一位置上兩種以上力學模型的疊加。再次，該力反饋算法避免的對系統進行動力學建模，降低了對系統參數識別精度的要求，具有較好的可移植性。

本文提出的反饋融合技術也存在一定局限性，例如力反饋的響應時間相對較長(0.5 s 左右)，難以實現虛擬場景中剛性物體碰撞產生的力反饋。下一步將針對不同的虛擬場景中的視覺反饋研究多樣化的機器人力反饋融合策略。

利益沖突聲明：所有作者聲明不存在利益沖突。