基于MYO和Android的肌電假肢手控制系統設計與實現

，， ，佳樂，

(上海師范大學 信息與機電工程學院， 上海 201418)

基于MYO和Android的肌電假肢手控制系統設計與實現

程璐璐，李傳江，王朋，王佳樂，張崇明

(上海師范大學信息與機電工程學院，上海201418)

針對目前假肢手控制系統成本高、操作不靈活、實用性差等問題，設計了一種基于MYO和Android的肌電假肢手控制系統;在Android平臺上，開發了一款智能終端應用，實現了對MYO臂環采集的表面肌電信號進行數據處理和模式識別，并實時控制假肢手完成5種模式;實驗結果表明，系統的在線識別率可達98.2%，并可在300 ms左右完成一次識別過程，滿足了假肢手控制的精度和實時性要求;該系統設計成本低廉、方便攜帶且易于擴展，很好地滿足了截肢患者對假肢手控制的需求。

假肢手；MYO臂環；Android；表面肌電信號

0 引言

當今社會，由工傷、交通事故、戰爭以及疾病等原因造成失去完美肢體的人越來越多，增加了人們對擬人化肢體替代品的需求。據不完全統計，全球超過10億人帶有某種形式的殘疾而生存，其中大約1.9億人有“嚴重的殘疾”[1]；根據中國殘聯會統計數據顯示，我國肢體殘疾人總數接近2472萬人口[2]，而且還在上升。因此，假肢手扮演了重要的角色，可以為上肢截肢患者日常生活提供一定的幫助。

傳統的假手(裝飾性假手、機械假手[3]、自身動力假手)具有結構單一、靈活性差和穩定性差等特點，已經不能滿足截止患者的需求，肌電假手[4-6]從而被深入研究。文獻[4]提出了一種通過數據手套多指抓取的肌電控制器的設計和初步試驗驗證，雖然效果較好，但是需要健康的肢體，顯然不能用到截肢患者身上；文獻[7]提出了一種基于ARM的肌電假肢控制器設計方案，通過BP算法實現了5種手勢動作的在線實時識別。隨著生物電信號和檢測技術的不斷研究，在研究表面肌電信號(Surface electromyography, sEMG)[8]的手勢識別[9-10]上，國內外很多學者都取得了一定的成果。文獻[9]建立了一個手勢識別的動態貝葉斯網絡識別模型，通過對深度信念網絡(DBNs)的推理學習實現手勢識別，雖然識別率較高，但是目前只是在仿真階段，運用到實際應用還需更深入的研究。文獻[11]提出了一種基于圓弧掃描線的手勢特征提取和實時手勢識別方法，結合了線性判別分析(LDA)算法和加權K-近鄰算法，具有較高的識別率，但是魯棒性[12]較差，無法得到最佳的識別效果。

目前sEMG信號的研究主要集中在仿真階段，運用到實際應用中還有待更深入的研究。針對目前假肢手控制的電極成本較高、操作不靈活和實用性差等問題，本文結合MYO臂環的創新性和Android智能手機[13]廣泛使用的優勢，設計了一套假肢手的在線實時控制系統，將絕對平均值(mean absolute average, MAV)等5種時域特征作為BP神經網絡分類器的輸入向量，實現了5種動作模式。這套系統將會為基于生物電的人機交互模式提供現實依據、為上肢殘疾患者的康復訓練和日常生活提供便利。

1 系統總體方案設計

在日常生活中，考慮到截肢患者使用假肢手絕大部分為四五種動作模式，本系統以能夠準確、可靠、快速識別出5種手勢動作為目標。因此，只需要選取5種區分度較好的動作種類，通過訓練即可對應任意5種假肢手的抓握模式。本文選用5種動作模式，分別為：(a)手腕內翻(Wrist Flexion，WF)，(b)握拳(Hand Close，HC)，(c)“OK”手勢(OK Gesture，OKG)，(d) 剪刀手(Scissor Hand，SH)，(e)無動作(No Action，NA)，如圖1所示。

圖1 5種手勢動作

假肢手控制系統主要包括3個部分：MYO臂環、假肢終端和上位機軟件。MYO臂環主要用來采集原始sEMG信號，并通過藍牙傳送給APP；假肢終端包括：通信模塊、假肢手模塊等部分；上位機軟件。MYO臂環主要用來采集原始sEMG信號，并通過藍牙傳送給APP；假肢終端包括：通信模塊、假肢手模塊等部分；上位機軟件是在Android平臺下開發完成的。肌電假肢手在線實時控制系統整體設計框圖如圖2所示。

圖2 系統整體設計框圖

2 信號采集與動作模式分類

2.1 信號采集

本文采用加拿大創業公司Thalmic Labs推出的創新性MYO臂環讀取sEMG信號(見圖3)，可以佩戴在任何一條胳膊的肘關節上方(見圖4)來采集手臂肌肉產生的sEMG信號。它有八個通道，每個通道等間距排列[14]。另外，MYO臂環采集原始sEMG信號，通過低功率的藍牙將信號傳出，干擾小，信號質量好，并且價格低廉。從而MYO臂環作為控制源，具有成本低、佩戴舒適等特點，且符合實用性。

圖3 MYO臂環

圖4 MYO穿戴位置

2.2 動作模式分類

動作模式分類主要包括sEMG信號采集和預處理、判斷動作起止點、特征提取、在線識別等模塊。

在sEMG信號采集和預處理模塊中，采用MYO臂環采集八路肌電信號，通過低功耗藍牙傳送給上位機；由于MYO臂環的采樣率是200 Hz[15]，利用20 Hz的低通濾波器對sEMG信號進行濾波，盡量減小信號噪聲的干擾，得到較好的信號。

判斷起止點模塊是為了確定動作的起始點和結束點，從而得到穩定的動作信號為特征提取做好充分的準備。為了提高系統的實時性，我們采用時域特征絕對平均值(MAV)作為動作起止點的判斷標準，如公式(1)所示。本文中將臂環的八路肌電信號的MAV相加，通過有無動作的比較來確定動作起止點的門限值。

(1)

其中:N信號為采樣點的個數。

特征提取模塊的主要目的是得到手臂運動時肌肉信號與時域特征之間的關系。為了保證系統的實時性，采用計算量少、獲取迅速的時域特征作為信息度量。本文提取5種時域特征作為識別的特征向量，其分別是絕對平均值(MAV)、平均絕對值斜率(MAVS)、過零點數(ZC)、斜率變化數(SSC)和波形長度(WL)。

(1)平均絕對值(MAV)：對長度為N的信號求絕對值后再求幅度值，其計算公式如(1)所示。

(2)平均絕對值斜率(MAVS)：該時域特征是兩個相鄰分析窗口的絕對平均值之差，能夠有效反映幅值差值特性，計算公式如下：

MAVS=MAVi+1-MAVi

(2)

(3)過零點數(ZC)：相鄰兩個數據點的乘積滿足小于0，稱之為過零點，它的計算公式如下：

xi-1×xilt;0orxi×xi+1lt;0

(3)

(4)斜率變化數(SSC)：對于3個連續的采樣點xi-1，xi，xi+1,當滿足公式(4)條件時，該值加1，且能夠有效滿足信號的波峰和波谷之和的個數。

xigt;xi-1andxigt;xi+1or

xilt;xi-1andxilt;xi+1

(4)

(5)波形長度(WL)：此特征是N個數據點內波形的累積長度，計算公式如式(5)所示。能夠有效估計波形幅值、頻率和持續時間。

(5)

訓練和識別的分類器采用三層神經網絡(見圖5)，其由輸入層、隱含層和輸出層組成。輸入層為n(n=20)個神經元,對應MYO的八路sEMG信號的5個特征值，隱含層設置q(q=10)個神經元，輸出層為m(m=5)個神經元，分別對應5種不同的手勢動作。

圖5 BP神經網絡結構模型

其中網絡結構模型所需的權值、閾值由BP神經網絡[7,16]離線訓練得到，然后寫入到系統中用于在線識別。首先通過公式(6)根據Vqn和θq計算獲得隱層q個神經元sq。

,...,Q

(6)

通過傳遞公式(7)獲得隱層第q個神經元的輸出hq。

(7)

然后通過公式(8)根據Wmq和φm計算獲得輸出層的輸出rm。

,...,M

(8)

通過傳遞函數(9)獲得輸出層的輸出ym。

(9)

最后找出識別相似度值ym中的最大值，即為識別結果。

3 系統軟件設計

該系統軟件部分主要是實現了動作模式分類整個流程，然后通過藍牙發送相應的控制命令給假肢手，對其進行在線實時控制。考慮到Java跨平臺的特點和移動端的便攜性，本系統上位機部分使用Android系統平臺開發完成，以便移動設備端的移植。軟件設計的主界面如圖6所示。從主界面向右滑動會顯示菜單界面，包括：連接MYO，連接BLE，軟件簡介，關于我們，版本幾個選項，如圖7所示。主界面從上到下分為5個部分。第一部分，“Locked”為MYO當前狀態，“MYO-假肢手”為當前手勢，當連接上時MYO，處于Locked狀態，做出一個啟動手勢的時候會解鎖為“Unlocked”狀態。而此時“MYO-假肢手”會變成藍綠色。并在臂環解鎖后會檢測比如所帶的手臂(如：左手臂，右手臂)，在臂環做出動作時會顯示相應動作的名稱。第二部分為圖片展示區，在默認情況下為MYO的Logo，該Logo也會在無動作狀態下顯示。做出某一動作時，該區會顯示相應動作。第三部分顯示BLE的連接情況，包括BLE的地址、名稱和連接狀態。第四部分主要用于調節假肢手的作用。當肌肉疲勞的時候，可以通過按鍵來控制假肢手，可以緩解截肢患者的肌肉疲勞。第五部分顯示的是本系統設計的幾個動作示意圖，做出動作的時候，該區域的相應的圖片會被點亮，可以用來提示當前動作模式。

圖6 軟件主界面 圖7 軟件菜單界面

4 假肢終端

4.1 通信模塊

MYO臂環和假肢手都是通過BLE(Bluetooth Low Energy)與Android客戶端通信。在本設計中，我們采用的是用BLE轉RS-422串口與假肢手進行通信。由于BLE電路采用的是COMS電平設計，因此，在電路中加入了MAX490電平轉換芯片，保證信號的穩定傳輸。

4.2 假肢手

系統中提到的假肢手類似于智能假肢，可定義為聽從大腦指令的方式替代截肢患者的軀體部分缺失或損毀的人工裝置。假肢手模塊主要功能是實現與手勢動作相對應的動作。

5 實驗結果及分析

5.1 動作模式仿真識別實驗

在本系統研究中，通過穿戴MYO臂環采集5種動作模式的sEMG信號，每個動作模式做200次，分別提取5種時域特征，組成特征向量。在MATLAB2014a中，將提取的特征向量前100次用于BP神經網絡的訓練，得到神經網絡的權值、閾值；將剩下的送入訓練得到的神經網絡模型仿真識別。5種動作模式的BP神經網絡仿真識別結果如表1所示。

表1 5種動作的BP神經網絡仿真識別結果

從上表可以看出，只有剪刀手(SH)有三次誤判成“OK”手勢，其他的動作模式識別結果都是正確的。實驗結果表明，5種動作的BP神經網絡的仿真識別率達到99.4%左右。

5.2 測試Android客戶端實驗

該MYO臂環與Android客戶端之間通過BLE進行通信，在APP中進行數據、算法處理，最后顯示相應的手勢動作圖片，如圖8所示，其中無動作我們設置成沒有手勢圖片顯示。在APP主界面中有相應的手勢動作按鍵，在用戶肌肉疲勞的情況下，可以通過點擊相對應的手勢按鍵，觸發假肢控制信號，然后通過Android手機藍牙傳輸控制指令給假肢手，觸發假肢手做出同樣效果的手勢動作。

圖8 5種動作模式的APP測試實驗

5.3 系統聯調實驗

首先，將假肢模塊上電，并檢查是否通電；在前臂肘關節上方穿戴好MYO臂環，然后打開Android APP。其次，進入APP主界面，分別進入連接MYO、假肢模塊的子界面，逐步連接上對應的BLE；若手機藍牙沒有打開，會有“允許”或“拒絕”打開手機藍牙的提示，若藍牙已經打開，點擊選擇設備，提示連接成功，表明模塊之間就建立了通信。最后，測試整個假肢手控制系統。如圖9所示是系統對應的5個動作的在線控制實驗圖。

圖9 5種動作在線控制實驗圖

在MATLAB2014a中，用BP神經網絡對5種動作進行訓練，得到權值、閾值系數，保存到手機中，打開APP自動掃描文件，實現在線實時識別。實驗中，每個動作做100次，記錄實驗過程中誤判和準確識別的次數。實驗結果表明，系統總體識別率(Classification accuracy, CA)達到98.2%，如表2所示。

表2 5種動作在線識別結果

以同樣的方式，分別采集另外5個人的sEMG信號，提取特征，進行MATLAB訓練，將得到權值、閾值系數保存到Android手機客戶端，然后進行在線識別實驗，得到的結果和第一個人類似。

5.4 實時性分析

實時性在假肢領域中占了至關重要的作用。在本系統中，實驗過程中通過秒表計時完成20次手勢識別動作所需時間大概5.95 s，求出每次手勢動作的時間大概297.5 ms，符合實時假肢控制領域不高于300 ms的要求[17]。由于現階段假肢手本體的動作速度還是比較慢的，整體系統的速度難以達到300 ms以內。因此，在現有基礎上，可通過改進算法以及減少假肢手本體的延時，提高假肢系統的實時性。

6 總結與展望

為了給上肢殘疾患者的康復訓練和日常生活提供便利，設計了一款基于MYO和Android的肌電假肢手控制系統。BP神經網絡總體識別率達到了99.4%，系統在線識別率可達到98.2%，1 s內大約可完成3次識別過程，很好的滿足了截肢患者對肌電假肢手的要求。

由于肌電假肢研究是一個比較新的領域，特別是在實際應用中，實時性和識別率是個難點。接下來，將在分類算法上以及手勢動作進行改進，爭取設計出具有高識別率和滿足實時性、實用性要求的肌電假肢控制系統。

[1] Lancet T. World Report on Disability[J]. The Lancet，201l, 377(9782): 1977.

[2] 趙燕潮. 中國殘聯發布我國最新殘疾人口數據[J]. 殘疾人研究, 2012,1: 8-9.

[3] 謝 宏,楊 鵬,陳海濱,等. 遺傳優化模糊PID融合算法的5自由度機械手控制[J]. 電子測量與儀器學報, 2015, 29(1): 21-30.

[4] Dalley S. A, Varol H. A, Goldfarb M. A method for the control of multi-grasp myoelectric prosthetic hands[J]. Neural Systems and Rehabilitation Engineering, 2012, 20(1): 58-67.

[5] Li S C, Sheng X J, Liu H H, et al. Design of a myoelectric prosthetic hand implementing postural synergy mechanically[J]. Industrial Robot, 2014, 41(5): 447-455.

[6] Christian P, Stefan S, Leonhard D. Results of an Internet survey of myoelectric prosthetic hand users[J]. Prosthetics and Orthotics International, 2007, 31(4): 362-370.

[7] 卜 峰,李傳江,陳佳佳,等. 基于ARM肌電假肢手控制器[J]. 上海大學(自然科學版), 2014, 20(4): 442-449.

[8] 席旭剛,武 昊,左 靜,等. 基于sEMG與足底壓力信號融合的跌倒檢測研究[J]. 儀器儀表學報, 2015, 36(9): 2044-2049.

[9] 侯亭亭,肖秦琨,楊永俠. 基于動態貝葉斯網絡的手勢識別[J]. 國外電子測量技術, 2015, 34(1): 36-39.

[10] Dipak K G, Samit A. On an algorithm for Vision-based hand gesture recognition[J]. Signal, Image and Video Processing, 2016, 10(4): 655-662.

[11] 劉硯秋,王修暉. 基于圓弧掃描線的手勢特征提取和實時手勢識別[J]. 數據采集與處理, 2016, 31(1): 184-189.

[12] 齊 燁. 超高頻RFID魯棒性標簽天線研究[D]. 北京：北京郵電大學, 2015.

[13] 李神送,溫嘉銘,劉學鋒. Android手機上傳感器信息的實時獲取與可視化[J]. 電子測量技術, 2015, 38(6): 104-107.

[14] Thalmic Labs. MYO — The Gesture Control Armband[EB/OL]. URL: https://www.thalmic.com/myo/, June, 2014.

[15] MYO, Myo profile[EB/OL]. https://www.thalmic.com/en/myo/.

[16] 周婷婷. 基于MFCC和PSO-BP神經網絡的說話人識別系統[D]. 南京:南京郵電大學, 2016.

[17] 楊大鵬,趙京東,李 楠,等. 基于預抓取模式識別的假手肌電控制方法[J]. 機械工程學報, 2012, 48(15): 1-8.

DesignandImplementofElectromyographyProstheticHandsControlSystemBasedonMYOandAndroid

Cheng Lulu, Li Chuanjiang, Wang Peng, Wang Jiale, Zhang Chongming

(College of Information, Mechanical and Electrical Engineering，Shanghai Normal University，Shanghai 201418，China)

For the current issue like the high-cost of electrodes which control myoelectric prosthetic hands, poor flexibility of operating and difficulty of applicability, electromyography prosthetic hands control system based on MYO and Android is designed. On the Android platform, we developed an intelligent terminal application, realize data processing and pattern recognition to collect surface electromyography with the MYO armband, to real-time control prosthetic hand and have completed five hand motions. Experimental results show that the recognition rate of the system reaches 98.2%, and completes an identification process around 300 ms, to meet the accuracy and real-time requirements with prosthetic hand control. This system is low cost, easy to carry and easy to expand, so it is able to meet the needs of the control of prosthetic hand for amputees.

prosthetic hand; MYO armband; Android; surface electromyogram signal

2017-02-14；

2017-04-12。

上海市科委科技專項項目資助(16070502900)；上海師范大學創新團隊項目資助(A-7001-15-001005)。

程璐璐(1994-)，女，河南人，碩士研究生，主要從事肌電假肢控制方向的研究。

李傳江(1978-)，男，河南人，博士，副教授，主要從事新型人機接口技術、智能測控儀表、先進控制理論及其應用等方向的研究。

1671-4598(2017)09-0064-04

10.16526/j.cnki.11-4762/tp.2017.09.017

TP273

A