基于上臂關節角度和肌電信號的二自由度假肢控制方法

孫文濤 佘浩田 李鑫 朱金營 姜銀來 橫井浩史 黃強

殘肢患者對靈巧、穩定、智能假肢的需求推進著假肢行業的發展.中國肢體殘疾人口超過2400萬,社會對假肢和康復輔助器具的需求量很大[1].上肢假肢用來彌補患者由于上臂肢體殘缺而造成的生活不便,根據驅動方式的不同,大致分為被動式假肢和主動式假肢.被動式假肢又稱傳統假肢,這類假肢多采用繩驅動,佩戴者通過背部肌肉拉伸繩索,實現對假肢的控制.這種機械式的控制方式受繩索驅動的限制,功能有限,不能很好地滿足人們的日常生活需求,正在逐步被電機驅動、肌電信號控制的主動式假肢所取代.主動式假肢采用從截肢患者殘留的肌肉處提取的肌電信號作為控制源,利用假肢中集成的微處理器對肌電信號進行處理并控制假肢隨佩戴者的意識而動[2].

主動式上肢假肢的研究目前主要集中在肌電信號提取和使用者意圖識別兩個方面.肌電信號一般通過金屬電極采集,按電極對人體入侵程度分為植入式電極和表貼式電極兩種,肌電信號反映的是人體神經—肌肉系統的活動狀況.由于采集到的肌電信號是由多根肌肉纖維束的信號疊加而成,因此對肌電信號的分析多采用統計學方法,例如利用肌電信號的時序特征[3?4]和頻域特性分析肌肉的出力狀態[5?6],同時基于肌肉電生理模型的分析方法在估計肌肉狀態中也取得了很好的效果[7].在意圖識別方面,近年來,基于模式識別的方法非常熱門,其利用監督學習建立肌電信號和動作間的映射關系.目前,模式識別方法已經取得了很多讓人振奮的研究進展,例如利用神經網絡、支持向量機等機器學習算法的肌電信號識別算法,對多達10種以上動作的離線識別準確率超過90%[8],利用模式識別方法實現了假肢的同時比例控制[9].2015年1月第一個基于模式識別算法的上肢假肢產品COAPT在美國通過產品化審核[10].

基于模式識別方法的肌電假肢正在蓬勃發展中,但是也暴露了很多問題.模式識別方法在實際使用中受空氣濕度、患者體表出汗、肌電信號采集位置變動和肌肉疲勞等諸多因素的影響[11?13],使采集到的肌電信號發生特征的變化,進而導致模式識別方法準確率下降,影響患者使用.由于這些原因,目前市場上最先進的假肢,Touch Bionics的BeBionic3、OttoBock的Michelangelo和RSL Steeper的iLimb均采用開關量控制方式[14].開關量控制是指當肌電信號的幅值超過閾值時即觸發假肢動作,一般這種控制方法通過在一組拮抗肌上安裝兩個肌電信號傳感器實現,單側肌肉的收縮使假肢沿對應方向運動,當一組對抗肌同時收縮時觸發動作的切換.這種控制方法簡單可靠,但是在控制多自由度的假肢時需要繁瑣的順序動作切換過程[15],給假肢使用者帶來不便.

為了解決模式識別方法受肌電信號采集環境影響的問題,本文提出一種基于上臂關節角度和肌電信號實現對二自由假肢(手掌一自由度+腕部旋轉一自由度)的控制方法.方法通過模式識別建立肩關節角度和肌電信號與假肢動作間的映射關系,由于關節角度值的測量不易受外部環境的影響,將其作為信號源能夠避免單獨利用肌電信號中的不穩定問題.方法利用肩關節角度控制腕關節旋轉,利用肌電信號控制手部開合,這種方式可以避免開關控制在控制手、腕兩個自由度間的動作切換.通過與開關量控制方法的抓取實驗對比證明了所提出控制方法在使用上的穩定性和高效率.

1 方法

本文利用肩關節在抓握物體時關節角度變化規律的不同,將上肢的抓握動作分為側握、抓取和托起三類,對應腕關節為豎直、掌心朝下和掌心朝上三種姿態.通過將人體在執行抓握動作時歸一化的關節角度值和關節角度變化方向作為特征數據,利用支持向量機實現對三種動作的分類.同時利用上臂的肌電信號控制假肢手部的開合,保證對使用者意圖識別的準確率和穩定性.

本文選用由Thalmic Labs公司生產的MYO腕帶作為測量傳感器,MYO具有8通道表面肌電信號傳感器,6軸姿態傳感器(加速度計+陀螺儀),通過藍牙和計算機連接,MYO肌電信號的采樣頻率為200Hz,精度為8位,姿態傳感器的采樣頻率為50Hz,精度為8位.MYO腕帶的自身姿態坐標系和傳感器通道編號如圖1所示,MYO腕帶具有穿戴簡單,使用方便等優點.

圖1 MYO的佩戴方式以及肩關節角度的定義Fig.1 De finition of shoulder joint angles and the position of MYO

1.1 肩關節角度測量

MYO輸出的姿態四元數是經由Kalman濾波后的結果,利用MYO輸出的姿態四元數經逆運動學可求解肩關節角度.在使用時,將MYO戴在上臂處,佩戴方向如圖1所示,MYO的第4通道位于體側,同時假設使用中佩戴者不發生大幅位移.MYO在使用前需要校準,佩戴者保持手臂自然下垂,將MYO此時輸出的姿態作為姿態求解的參考坐標系.

人體肩關節是一個復合關節,既可旋轉又能平移,但是由于肩關節平移對手臂姿態影響較小,因此本文將肩關節簡化為由三個旋轉副構成,則MYO在參考坐標系的角速度W表示為

其中,為肩關節三個轉動軸在參考坐標系中的坐標,均是單位向量.θ1,θ2,θ3為肩關節的旋轉角度.

將MYO的角速度轉換為其姿態四元素q的導數

則從關節角速度到四元數導數的雅可比矩陣J為

利用Levenber?Marquardt方法求解逆運動學[16],該方法保證每次迭代中關節角度的更新Δθ使下面的值取最小.

其中,e表示目標姿態四元數與當前姿態四元數的差值.

關節角度的更新值為

其中,I為3×3的單位矩陣.

圖2是四元數姿態誤差的模長隨迭代次數變化曲線.迭代初始時的關節角度θ1,θ2,θ3均設為0,λ的值選擇為0.8,此值由觀察誤差隨迭代次數變化曲線得出.每次最大迭代次數為5次,誤差的模小于0.001后則停止迭代.

1.2 上臂肌電信號的提取與識別

本節利用MYO采集的肌電信號來判斷上臂的靜態收縮.上臂的肌肉狀態可以分為上臂放松、上臂靜態收縮和上臂自由運動三種狀態.上臂放松是人手臂自然下垂時的狀態;上臂靜態收縮是指有意識地收縮上臂肌肉,此時肌肉出力大,但是上臂保持靜止或慢速運動;上臂自由運動即自然驅動上臂運動,此時上臂的運動速度隨肌肉出力變化.本節利用MYO輸出的肌電信號分辨上述三種狀態.

圖2 四元數姿態誤差的模長隨迭代次數變化曲線Fig.2 Plot of the norm of the state error in each iteration

利用支持向量機對三種動作進行區分,需要獲得不同動作對應的肌電信號.MYO肌電信號采樣頻率為200Hz,訓練集采樣時長為1.6s,共獲得320個點的8路肌電信號序列,由于某個時間點的肌電信號沒有意義,肌電信號需要成段處理[17].如圖3所示,設置采樣窗長為320ms,則每個采樣窗內64個點,窗間重疊為280ms,這樣在訓練集上形成33個窗,即33個樣本點.對于窗內的數據,每路信號提取4個特征值,分別是信號的均值差(Mean absolute value,MAV),過零點數(Zero crossing,ZC),波長(Waveform length,WL)和斜率變換數(Slope sign changes,SSC).

每個通道4個特征值,8路通道,共32個特征值.因此每個訓練集內是33個32維的向量,由于上臂放松、上臂靜態收縮和上臂自由運動中,上臂自由運動出現的概率較大,同時在對動作的識別中,允許將上臂收縮識別為上臂自由運動,但是反之將上臂自由運動識別為上臂靜態收縮影響較大,此時后果比較嚴重,在假肢控制中容易出現誤動作,因此,采用上臂自由運動的樣本量為上臂靜態收縮的3倍,即上臂放松33個樣本,上臂靜態收縮33個樣本,上臂自由運動99個樣本.

圖3(a)是肌電信號數據,圖3(b)為訓練樣本集的特征平均值在不同動作下的分布,A為上臂放松,B為上臂靜態收縮,C為上臂自由運動.從圖中可以看出,不同動作時,肌肉各個通道的信號特征有顯著的差別.圖3(c)是將信號由32維特征空間利用主成分分析(Principal component analysis,PCA)投影到二維平面的結果,投影保留原數據94.46%的方差.圖中信號分布有顯著的差異,利用線性支持向量機就可以實現對不同動作的區分.圖3(d)是3名健康被試者利用此方法區分動作準確率的結果,是3名被試者動作識別準確率隨時間變化曲線.準確率的測試集是由被試者在特定時間做上臂放松、上臂靜態收縮和上臂自由運動,每個動作各5.12s所構成的數據集.

1.3 肩關節角度和抓取動作

肩關節的運動帶動人體整個上肢的運動,上肢的運動中存在著協同關系[18],人的抓握姿態與肩關節的運動具有一定的協同關系.本文將人的抓握過程按手腕的最終動作分為三類,分別是用于抓握直立物體的側握,單手可以掌握的抓取以及用于托起諸如盤子等物體的托起,如圖4所示,三者的主要區別在于腕部旋轉角度不同.本節利用支持向量機,通過肩關節角度和關節角度變化量來區分這三類不同的動作.

圖3 肌電信號的提取與識別Fig.3 The extraction and recognition of myoelectric signal

圖4 三種不同的抓握動作Fig.4 Three different types of grasping

為了分析通過肩關節區分抓握姿態的可行性,采集了6名被試者(5名男士和1名女士(編號6))在抓握圖4中的物品時的肩關節角度值,采集過程中,被試者將MYO佩戴在左上臂,當被試手臂自然下垂時,MYO的4通道標志朝向體側,并將此時的肩關節角度設為零位.實驗中,被試者坐于椅子上,胸口距桌子邊緣25cm左右,所抓取物體擺放在身體正前方50cm左右.實驗開始時,被試者左臂自然下垂,此時被試者面前的屏幕會提示此時處于校準狀態,被試者此時持續保持左臂自然下垂,當屏幕上的校準字樣消失后,此時被試者按照自己習慣的方式抓取面前的物體,當抓到面前的物體后,被試者做出上臂靜態收縮動作,數據采集停止,此時屏幕顯示采集完畢字樣提示被試采集結束,被試者可以恢復到左臂自然下垂的姿態,每名被試者每組3個動作,共采集10組.

從圖5的肩關節角度空間曲線可以看出,雖然被試者抓取的關節角度軌跡間沒有明顯的一致性,但是對于每名被試者,其在以三種不同的姿態抓取時,肩關節角度曲線在空間上的分布有明顯的區別,由于難以利用明確的規則區分不同的抓取姿態,因此對每名被試者的抓取動作采用模式識別的方法加以區分,用于模式識別的第i個特征為

其中,θ=[θ1,θ2,θ3]T表示肩關節角度,由于肩關節角度變化在?180°～180°之間,因此除以180進行歸一化,而同樣角度變換值除以其模長進行歸一化.由于三種抓取姿勢在開始階段差別并不明顯,因此數據中θ1≤10°的肩關節角度點去掉不作為訓練數據.

利用高斯核支持向量機分類方法對每名被試者的10組數據3種動作進行區分,采用10折交叉驗證方法對結果進行驗證,每名被試者的結果如圖6.

圖5 6名被試者抓握動作在肩關節空間的分布Fig.5 Curves of the grasping of 6 subjects in the space of joint angles

圖6 6名被試三類動作分類準確率和標準差Fig.6 Classi fication accuracy and standard deviation of the three movements for 6 subjects

從圖6可以看出,利用模式識別方法,根據肩關節角度對三類抓取方式分類的準確率高達90%以上,同時10組驗證數據的標準差浮動不大,說明被試者在每次抓取相同物體時都遵循類似的運動模式,即習慣的方式,因此根據肩關節的運動來控制腕關節的方法是可行的,而且也比較穩定.但是離線數據測試的是反復對同一物體抓取的結果,在實際使用中的表現在第2節中進行了測試.

1.4 假肢控制策略

將肩關節角度和肌電信號應用在假肢腕關節的控制上,利用肩關節運動特征判斷抓取姿勢,側握、抓取或是托起物品,利用上臂的靜態收縮作為判斷抓取姿勢的結束以及手部在開合間的切換信號.系統的控制流程如圖7所示,為單片機中完成肌電信號和運動信號異步處理的流程圖.

本文方法在假肢上的控制在θ1≥10°時起作用,而且每次判斷抓取姿態后,必須將θ1再次置于10°內才能進行下次抓取姿勢的判斷,同時利用上臂靜態收縮動作作為抓取姿勢判斷的結束和手部動作的切換,上臂的靜態收縮會鎖定手腕的角度.對于抓取動作的判斷根據FIFO緩沖區內數量最多的動作,目前緩沖區存儲動作的數目為25個,即通過前0.5s內的運動判斷抓取動作.

2 抓取實驗

為了對比具備腕關節控制和無腕關節控制對假肢在使用中的影響,設計實驗如下:實驗所采用平臺是一個具備二自由度的上肢假肢(如圖8所示),其中手部1個自由度(兩個關節聯動),可以實現手部的張開和握緊,腕關節1個自由度,可以實現腕部的旋轉,整體重量為794.2g,該假肢是為健康人模擬殘疾人佩戴情況設計,具有一個供健康人穿戴的承筒用以將假肢固定在健康人前臂.實驗計數2分鐘內假肢佩戴者將指定物品移動的次數,每次佩戴者將物品放置在指定方框內,并拍擊按鈕,視為成功完成一次物品的移動.

圖7 假肢控制流程圖Fig.7 Control flow of the prosthetic hand

圖8 假肢構造Fig.8 Mechanism of the prosthetic hand

實驗仍由上面的6名健康被試者參與,本次為11件日常物品的移動,通過統計這11件物品在使用本文的控制方法和利用開關控制時的物體成功被移動次數,對比兩種控制方法對假肢使用的影響,每名被試每件物品移動3次,取平均值作為該被試移動該物品的次數.在實驗中利用本文的方法時,僅在實驗開始前進行一次訓練,在實驗進行中不進行訓練.實驗中抓取和移動的物品如圖9所示.

圖9 實驗中抓取和移動的物品Fig.9 Objects used in the grasping experiment

圖10所示為被試者在抓取物品中的截圖,每次將物品移動至白色方框內放下,敲擊圓形按鈕視為成功移動一次.

圖10 實驗過程截圖Fig.10 Snapshots of the grasping experiment

圖11統計了被試者在實驗中移動物品次數的平均值,即該圖評價的是控制方法對各種物品抓取的表現,從圖中可以看到,相對于開關量控制方法,本文所提出的方法表現優異,尤其是涉及到對物體的抓取需要腕關節運動的時候.利用開關量控制方法驅動腕關節時需要利用靜態收縮將控制信號切換到腕部,這個切換過程耗費時間,使得被試者在2分鐘內的抓取物品移動的次數較少.同時在實驗中發現,被試者在追求快速搬運物體時,基本不會主動切換控制腕關節,而是靠身體動作的動作補償實現對物體的抓握,這也說明了開關量控制在實際使用中對于多自由度假肢存在實用性不高的問題.

圖11 抓取次數統計Fig.11 Statistics of the grasping experiment

3 結論

高效、穩定、簡單是假肢控制的三個重要方面,尤其伴隨著科學技術的發展,假肢可控的自由度越來越多,如何利用肢體的各種信號實現對多自由度假肢的控制已經越來越受到研究者的關注[19].本文利用肩關節角度和肌電信號實現了對二自由度假肢的控制,并與開關量控制在抓握方面的表現進行了對比.所提方法利用在不同抓握動作下肩關節運動軌跡的不同區分抓握的物體,進而控制腕關節旋轉到相應角度,方便使用者抓握物體.所提方法在使用者抓取物體的過程中判斷腕關節角度,可以提高使用者抓取物品的效率,同時由于關節角度測量計算簡單,在較長時間的使用中表現穩定.利用關節角度的控制方法在下肢假肢中已經取得了應用,由于下肢的運動具有明顯的周期規律性,利用關節角度信息可以直接判斷下肢運動所處于的相位,但是上肢的運動具有物體導向性,上肢的運動會隨著抓取物品位置和形狀的不同發生變化,本文利用上肢在運動時肩關節角度變化的不同,完成了對假肢的控制.上肢的關節運動軌跡中蘊含著大量有關抓取的信息[20],充分利用這些信息可以作為肌電信號的輔助,提高假肢控制的準確率和穩定性.未來的工作將會圍繞利用上肢的運動學信息與肌電信號并行控制假肢.

References

1 Hou Zeng-Guang,Zhao Xin-Gang,Cheng Long,Wang Qi-Ning,Wang Wei-Qun.Recent advances in rehabilitation robots and intelligent assistance systems.Acta Automatica Sinica,2016,42(12):1765?1779(侯增廣,趙新剛,程龍,王啟寧,王衛群.康復機器人與智能輔助系統的研究進展.自動化學報,2016,42(12):1765?1779)

2 Zhang Liang-Qing,Su Yi-Feng,Yang Wan-Zhang,Li Guang-Lin.Research progress of multifunctional upper-limb prosthesis systems.International Journal of Biomedical En-gineering,2013,36(5):311?316(張良清,蘇沂峰,楊萬章,李光林.多功能上肢假肢的研究進展.國際生物醫學工程雜志,2013,36(5):311?316)

3 Tong Li-Na,Hou Zeng-Guang,Peng Liang,Wang Wei-Qun,Chen Yi-Xiong,Tan Min.Multi-channel sEMG time series analysis based human motion recognition method.Acta Automatica Sinica,2014,40(5):810?821(佟麗娜,侯增廣,彭亮,王衛群,陳翼雄,譚民.基于多路sEMG時序分析的人體運動模式識別方法.自動化學報,2014,40(5):810?821)

4 Kamavuako E N,Scheme E J,Englehart K B.Determination of optimum threshold values for EMG time domain features;a multi-dataset investigation.Journal of Neural Engineering,2016,13(4):Article No.046011

5 Liu J.Feature dimensionality reduction for myoelectric pattern recognition:a comparison study of feature selection and feature projection methods.Medical Engineering and Physics,2014,36(12):1716?1720

6 Politti F,Casellato C,Kalytczak M M,Garcia M B S,Biasotto-Gonzalez D A.Characteristics of EMG frequency bands in temporomandibullar disorders patients.Journal of Electromyography and Kinesiology,2016,31:119?125

7 Li Yang,Tian Yan-Tao,Chen Wan-Zhong.Modeling and classifying of sEMG based on FFT blind identi fication.Acta Automatica Sinica,2012,38(1):128?134(李陽,田彥濤,陳萬忠.基于FFT盲辨識的肌電信號建模及模式識別.自動化學報,2012,38(1):128?134)

8 Ortiz-Catalan M,H?akansson B,Br?anemark R.Real-time and simultaneous control of arti ficial limbs based on pattern recognition algorithms.IEEE Transactions on Neural Systems and Rehabilitation Engineering,2014,22(4):756?764

9 Jiang N,Rehbaum H,Vujaklija I,Graimann B,Farina D.Intuitive,online,simultaneous,and proportional myoelectric control over two degrees-of-freedom in upper limb amputees.IEEE Transactions on Neural Systems and Rehabilitation Engineering,2014,22(3):501?510

10 Ciancio A L,Cordella F,Barone R,Romeo R A,Bellingegni A D,Sacchetti R,Davalli A,Di Pino G,Ranieri F,Di Lazzaro V,Guglielmelli E,Zollo L.Control of prosthetic hands via the peripheral nervous system.Frontiers in Neuroscience,2016,10:Article No.116

11 Li Q X,Chan P P K,Zhou D L,Fang Y F,Liu H H,Yeung D S.Improving robustness against electrode shift of sEMG based hand gesture recognition using online semi-supervised learning.In:Proceedings of the 2016 International Conference on Machine Learning and Cybernetics.Jeju,South Korea:IEEE,2016.344?349

12 Cipriani C,Sassu R,Controzzi M,Carrozza M C.In fluence of the weight actions of the hand prosthesis on the performance of pattern recognition based myoelectric control:preliminary study.In:Proceedings of the 2011 Annual International Conference on Engineering in Medicine and Biology Society.Boston,USA:IEEE,2011.1620?1623

13 Staudenmann D,Roeleveld K,Stegeman D F,van Die?n J H.Methodological aspects of SEMG recordings for force estimation-a tutorial and review.Journal of Electromyography and Kinesiology,2010,20(3):375?387

14 Young A J,Smith L H,Rouse E J,Hargrove L J.A comparison of the real-time controllability of pattern recognition to conventional myoelectric control for discrete and simultaneous movements.Journal of Neuroengineering and Rehabilitation,2014,11:Article No.5

15 Clement R G,Bugler K E,Oliver C W.Bionic prosthetic hands:a review of present technology and future aspirations.The Surgeon,2011,9(6):336?340

16 Tabandeh S,Melek W,Biglarbegian M,Won S H P,Clark C.A memetic algorithm approach for solving the task-based con figuration optimization problem in serial modular and recon figurable robots.Robotica,2016,34(9):1979?2008

17 Montagnani F,Controzzi M,Cipriani C.Exploiting arm posture synergies in activities of daily living to control the wrist rotation in upper limb prostheses:a feasibility study.In:Proceedings of the 37th Annual International Conference of Engineering and Medicine and Biology Society.Milan,Italy:IEEE,2015.2462?2465

18 Vandenberghe A,Levin O,Schutter J D,Swinnen S,Jonkers I.Three-dimensional reaching tasks: effect of reaching height and width on upper limb kinematics and muscle activity.Gait and Posture,2010,32(4):500?507

19 Ding Qi-Chuan,Xiong An-Bin,Zhao Xin-Gang,Han Jian-Da.A review on researches and applications of sEMG-based motion intent recognition methods.Acta Automatica Sinica,2016,42(1):13?25(丁其川,熊安斌,趙新剛,韓建達.基于表面肌電的運動意圖識別方法研究及應用綜述.自動化學報,2016,42(1):13?25)

20 Papaleo E,Zollo L,Garcia-Aracil N,Badesa F J,Morales R,Mazzoleni S,Sterzi S,Guglielmelli E.Upper-limb kinematic reconstruction during stroke robot-aided therapy.Medical and Biological Engineering and Computing,2015,53(9):815?828