基于人體上肢運(yùn)動(dòng)信息的助殘手抓取意圖識(shí)別方法

崔建偉，李志鋼，曹爾凡，杜 韓，陸普東

（東南大學(xué)儀器科學(xué)與工程學(xué)院，南京 210000）

據(jù)統(tǒng)計(jì)，我國現(xiàn)有的8500 萬各類殘疾人，其中，肢體殘疾人數(shù)約有2500 萬，手殘人約占1/3。人造靈巧手作為手殘人肢體功能的延伸，具有通用性強(qiáng)、操作靈活、抓取穩(wěn)固等優(yōu)點(diǎn)，在助殘領(lǐng)域發(fā)揮著越來越重要的作用[1]。因此，提高助殘手在完成日常生活動(dòng)作時(shí)行為控制的穩(wěn)定性和準(zhǔn)確性，能更加有效地幫助手部殘缺人士實(shí)現(xiàn)日常生活的自理。

助殘機(jī)械手的操作必須與使用者的意圖相協(xié)調(diào)，而上肢運(yùn)動(dòng)意圖的識(shí)別則是關(guān)鍵問題。一些研究試圖從表面肌電、腦電和外周神經(jīng)等信號(hào)中獲取上肢運(yùn)動(dòng)意圖的信息[2-4]。雖然通過獲取表面肌電信號(hào)或人體神經(jīng)信號(hào)可以直接反映人體行為的變化規(guī)律，但是肌肉的萎縮程度、殘肢位置等因素，都會(huì)使得肌肉內(nèi)的肌電信號(hào)無法被準(zhǔn)確采集[5]。腦電信號(hào)包含了人腦活動(dòng)的有用信息，已經(jīng)成為運(yùn)動(dòng)意圖識(shí)別的熱點(diǎn)方向。然而，在腦電信號(hào)的測量過程中，腦電帽采集的數(shù)據(jù)極易受到使用者動(dòng)作的影響。而且腦電信號(hào)極其微弱，夾雜著許多噪聲，對(duì)腦電信號(hào)的解碼能力有著很高的要求[6]。

慣性傳感器憑借著可穿戴性強(qiáng)、功耗低等優(yōu)點(diǎn)在上肢運(yùn)動(dòng)識(shí)別方向有著廣泛的應(yīng)用[7]。但是目前基于慣性傳感器的機(jī)械手控制方法大都先采集人體手臂的姿態(tài)信息，再轉(zhuǎn)換成機(jī)械手的關(guān)節(jié)變量。文獻(xiàn)[8]利用慣性傳感器檢測人體手臂的運(yùn)動(dòng)姿態(tài)，進(jìn)而控制機(jī)械臂復(fù)現(xiàn)人體手臂的動(dòng)作。文獻(xiàn)[9]通過九軸姿態(tài)傳感器采集手臂和手腕的運(yùn)動(dòng)姿態(tài)，實(shí)現(xiàn)了機(jī)械手實(shí)時(shí)跟隨人手運(yùn)動(dòng)。上述的研究方法僅針對(duì)于機(jī)械手的遙操作，然而對(duì)助殘機(jī)械手的控制則缺乏更深入的研究。

在人腦的動(dòng)作意圖無法直接傳達(dá)到助殘手的條件下，通過上肢運(yùn)動(dòng)信息分析判斷人的動(dòng)作意圖，則有可能得到比較滿意的結(jié)果，本文針對(duì)人體的上肢運(yùn)動(dòng)意圖進(jìn)行研究，利用角速度傳感器檢測上肢的運(yùn)動(dòng)狀態(tài)信息，并且從運(yùn)動(dòng)學(xué)的角度對(duì)數(shù)據(jù)進(jìn)行分析，總結(jié)上肢的角速度變化與運(yùn)動(dòng)狀態(tài)之間的聯(lián)系。最后，設(shè)計(jì)助殘手抓取意圖的識(shí)別方法，并且將該識(shí)別方法應(yīng)用于助殘手系鞋帶的實(shí)驗(yàn)中。

1 上肢的運(yùn)動(dòng)意圖研究

通常為了穩(wěn)定地抓取物體，健康人會(huì)在上肢靜止時(shí)張開或者閉合手指。相比于抓取動(dòng)作，完成系鞋帶的動(dòng)作時(shí)不僅需要考慮手指開閉的時(shí)機(jī)，而且由于系鞋帶的操作步驟多、動(dòng)作復(fù)雜，更需要跟蹤系鞋帶的動(dòng)作過程以識(shí)別上肢的動(dòng)作意圖。因此，本文通過采集正常人系鞋帶時(shí)上肢的運(yùn)動(dòng)信息，分析手指張開或閉合與上肢角速度數(shù)據(jù)之間的聯(lián)系。

1.1 實(shí)驗(yàn)設(shè)備

上肢運(yùn)動(dòng)數(shù)據(jù)的采集由數(shù)據(jù)手套完成，實(shí)驗(yàn)設(shè)備如圖1 所示。數(shù)據(jù)手套可穿戴于上肢的手掌、小臂和大臂三個(gè)部分，并且每一部分均集成了MPU6050 慣性傳感器，可以直接輸出角速度數(shù)據(jù)，采樣頻率為50 Hz。實(shí)驗(yàn)設(shè)備的另一部分為助殘機(jī)械手，助殘機(jī)械手與單片機(jī)相連接，當(dāng)單片機(jī)接收到PC 端的控制命令后會(huì)立即輸出高低電平以控制助殘機(jī)械手的手指實(shí)現(xiàn)張開或閉合。

圖1 實(shí)驗(yàn)設(shè)備Fig.1 Experimental equipment

1.2 傳感器信號(hào)預(yù)處理

由于傳感器的內(nèi)部設(shè)計(jì)、手臂的抖動(dòng)以及傳感器長時(shí)間工作產(chǎn)生的漂移等原因[10]，使得真實(shí)的傳感器數(shù)據(jù)中夾雜著噪聲干擾，角速度傳感器采集到的原始數(shù)據(jù)如圖2 所示。因此，對(duì)于角速度傳感器采集的數(shù)據(jù)，選用卡爾曼濾波器對(duì)其進(jìn)行濾波處理。卡爾曼濾波的過程分為兩個(gè)部分：預(yù)測和校正。為了得到第k時(shí)刻真實(shí)的角速度值，在預(yù)測階段，卡爾曼濾波器根據(jù)第k-1 時(shí)刻的傳感器數(shù)據(jù)預(yù)測第k時(shí)刻的傳感器數(shù)據(jù)，同時(shí)得到觀測變量。在校正階段，濾波器以觀測變量對(duì)預(yù)測階段獲得傳感器數(shù)據(jù)進(jìn)行修正，以獲得第k時(shí)刻的最優(yōu)估計(jì)值。其中，過程方差Q=1e-3 (rad/s)2，測量方差R=1e-2 (rad/s)2。

圖2 角速度傳感器原始數(shù)據(jù)Fig.2 Raw data of angular velocity sensor

對(duì)角速度數(shù)據(jù)進(jìn)行卡爾曼濾波處理，處理后的角速度曲線如圖3 所示。其中，三條曲線分別是x 軸角速度、y 軸角速度和z 軸角速度。相對(duì)于傳感器的原始數(shù)據(jù)，濾波后的角速度數(shù)據(jù)在整個(gè)采樣區(qū)間內(nèi)數(shù)值變化平滑，波動(dòng)明顯減少，說明經(jīng)過濾波，有效地減少了隨機(jī)噪聲的影響。

圖3 濾波后的角速度變化曲線Fig.3 Angular velocity curve after filtering

1.3 人手動(dòng)作的運(yùn)動(dòng)信息分析

為了研究上肢的運(yùn)動(dòng)意圖，利用角速度傳感器采集人手系鞋帶時(shí)上肢各部位的角速度，包括大臂、小臂和手掌。由于在系鞋帶過程中大臂、小臂、手掌的角速度變化趨勢相似，所以選取小臂角速度進(jìn)行分析。考慮到完成一次系鞋帶動(dòng)作的數(shù)據(jù)量較大，而且部分動(dòng)作會(huì)重復(fù)操作，因此選擇完成第一遍動(dòng)作的數(shù)據(jù)進(jìn)行分析。

圖4 中下半部分的角速度曲線圖是人手系鞋帶時(shí)小臂的實(shí)驗(yàn)數(shù)據(jù)，橫軸表示以采樣時(shí)間為20 ms 得到的采樣點(diǎn)，縱軸表示角速度。其中，藍(lán)色曲線、紅色曲線、黃色曲線分別是x 軸、y 軸、z 軸方向的傳感器數(shù)據(jù)。三維空間的手臂運(yùn)動(dòng)分解到三個(gè)軸向，x 軸表示左右空間、y 軸表示前后空間、z 軸表示上下空間。

圖4 人手系鞋帶時(shí)小臂角速度的曲線圖Fig.4 Curve diagram of forearm angular velocity when tying shoelaces by hand

圖4 上半部分為人手系鞋帶的動(dòng)作示意圖。AB段是上肢動(dòng)作前的預(yù)備階段，手指張開，上肢呈現(xiàn)靜止?fàn)顟B(tài)。此時(shí)小臂的角速度接近于0 rad/s，并且在0值上下有微小的波動(dòng)。CD 段、EF 段、GH 段、IJ 段、KL 段均是上肢在動(dòng)作后呈現(xiàn)靜止的階段，同樣小臂的角速度接近于0 rad/s，變化穩(wěn)定。更為關(guān)鍵的是，在此一階段健康人會(huì)張開或閉合手指，以做出抓取或放開鞋帶的操作。

而其余各段反映的是上肢動(dòng)作的過程。其中，BC段表示手臂從腰間處向鞋帶處移動(dòng)的過程，從圖中可以看出，在BC 段小臂的角速度數(shù)值逐漸增大，存在較大范圍的波動(dòng)，而且小臂的z 軸角速度曲線(即黃色曲線)呈現(xiàn)出近似的凹形，這是由于手臂的移動(dòng)過程主要發(fā)生在上下空間造成的。

FG 段、JK 段表示人手松開鞋帶后再重新朝鞋帶處移動(dòng)的過程，因此小臂的角速度存在較大范圍的波動(dòng)。并且小臂的z 軸角速度曲線呈現(xiàn)出近似的正弦圖形，這也是由于在手指松開鞋帶后上肢會(huì)先遠(yuǎn)離鞋帶一定的距離，然后再朝鞋帶處移動(dòng)這一過程造成的。而DE 段、HI 段、LM 段表示手臂擺動(dòng)或抽動(dòng)鞋帶的過程，此時(shí)小臂的角速度數(shù)值明顯變大，三個(gè)軸向的角速度曲線只存在波峰或波谷。相比于BC 段、FG 段和JK 段的角速度曲線，此一階段角速度曲線的采樣點(diǎn)個(gè)數(shù)較少，這是由于手臂擺動(dòng)或抽動(dòng)的持續(xù)時(shí)間較短造成的。

通過分析人手系鞋帶時(shí)小臂角速度的實(shí)驗(yàn)數(shù)據(jù)，發(fā)現(xiàn)角速度的變化規(guī)律與上肢的運(yùn)動(dòng)狀態(tài)特征之間存在著一定的聯(lián)系：

（1）在小臂處于靜止?fàn)顟B(tài)時(shí)，各軸向的角速度均在零值附近有較小的波動(dòng)，波動(dòng)范圍為 ±5 rad/s；

（2）在上肢動(dòng)作的過程中，無論是手臂朝鞋帶處移動(dòng)的過程，還是手臂擺動(dòng)或抽動(dòng)鞋帶的過程，小臂的角速度均會(huì)至少經(jīng)歷一次加速過程和減速過程，即存在明顯的波峰或波谷；

（3）在上肢靜止前，小臂的角速度數(shù)值均有明顯趨于零的趨勢。張開或閉合手指的動(dòng)作發(fā)生在上肢靜止后的階段，并且在手指張開或閉合時(shí)小臂的角速度仍接近于0 rad/s。

2 助殘手抓取意圖的識(shí)別方法

識(shí)別助殘手抓取意圖的關(guān)鍵在于判斷手指張開或閉合的時(shí)機(jī)。基于上述分析得出，在上肢動(dòng)作過程中，上肢各部位角速度所呈現(xiàn)的變化趨勢與運(yùn)動(dòng)學(xué)規(guī)律相符合。并且張開或閉合手指的操作發(fā)生在上肢靜止后，即上肢各部位的角速度均接近于0 rad/s。因此根據(jù)上述上肢運(yùn)動(dòng)時(shí)角速度表現(xiàn)出的變化特點(diǎn)，設(shè)計(jì)助殘手抓取意圖的識(shí)別方法，使得助殘機(jī)械手能夠跟隨人的意圖自動(dòng)地實(shí)現(xiàn)手指張開或閉合。

為了使助殘手能夠更加穩(wěn)定地抓住或松開物體，做如下規(guī)定：（1）在開始動(dòng)作前，助殘手手指呈張開狀態(tài)；（2）助殘手手指張開或閉合的操作發(fā)生在上肢靜止后。助殘手抓取意圖的識(shí)別算法如下：

（1）采集大臂、小臂和手掌的角速度數(shù)據(jù)，每接收到N個(gè)數(shù)據(jù)則進(jìn)行一次濾波處理；

（2）判斷上肢是否已經(jīng)開始動(dòng)作，對(duì)每次濾波后的數(shù)據(jù)按照時(shí)間先后的順序依次做差，計(jì)算方式如下

其中，ωi為第i個(gè)采樣點(diǎn)數(shù)據(jù)；N為做差時(shí)選取的采樣點(diǎn)個(gè)數(shù)，N的取值范圍為8～14；若上肢各部位的計(jì)算結(jié)果均滿足下述條件

則說明此時(shí)上肢已經(jīng)開始動(dòng)作；

（3）分別求取大臂、小臂和手掌的角速度數(shù)據(jù)的絕對(duì)值，判斷各部位的角速度絕對(duì)值的最大值是否均大于閾值α，即

其中，閾值α的取值范圍為18～25 rad/s。若滿足上述條件，說明上肢正在加速朝目標(biāo)位置移動(dòng)；

（4）分別對(duì)大臂、小臂和手掌的角速度數(shù)據(jù)做差，計(jì)算方式如式(4)所示：

若上肢各部位的計(jì)算結(jié)果均滿足下述兩個(gè)條件

說明上肢開始做減速運(yùn)動(dòng)；

（5）分別求取大臂、小臂和手掌的角速度數(shù)據(jù)的絕對(duì)值，判斷各部位的角速度絕對(duì)值的最大值是否均小于閾值β，即

其中，閾值β的取值范圍為3～5 rad/s。若滿足上述條件，說明上肢已呈現(xiàn)靜止?fàn)顟B(tài)，則向助殘機(jī)械手發(fā)送控制命令，機(jī)械手手指張開或閉合。

上述算法僅針對(duì)上肢的一次動(dòng)作過程，即上肢從開始動(dòng)作到靜止。當(dāng)上肢再次動(dòng)作后，該算法則重新進(jìn)行識(shí)別。為區(qū)分每次手指的張開或閉合動(dòng)作，記手指初始狀態(tài)為張開，則第一次接收到控制命令，機(jī)械手手指閉合；第二次，機(jī)械手手指張開，如此循環(huán)。

3 實(shí) 驗(yàn)

實(shí)驗(yàn)內(nèi)容是控制助殘機(jī)械手完成系鞋帶的動(dòng)作，實(shí)驗(yàn)設(shè)備由數(shù)據(jù)手套和助殘手兩個(gè)部分組成。本次實(shí)驗(yàn)設(shè)計(jì)了兩種不同的系鞋帶動(dòng)作，招募10 名健康的志愿者佩戴該實(shí)驗(yàn)設(shè)備進(jìn)行實(shí)驗(yàn)，對(duì)于每一種系鞋帶的動(dòng)作每人進(jìn)行5 次實(shí)驗(yàn)。考慮到在系鞋帶過程中大臂、小臂、手掌的角速度變化趨勢相似，并且完成一次系鞋帶動(dòng)作的數(shù)據(jù)量較大，因此選擇部分連續(xù)動(dòng)作的數(shù)據(jù)進(jìn)行分析。

圖5 的角速度曲線圖是某一志愿者以第一種方式系鞋帶時(shí)的實(shí)驗(yàn)數(shù)據(jù)。藍(lán)色曲線、紅色曲線、黃色曲線分別是x 軸、y 軸、z 軸方向的傳感器數(shù)據(jù)。相較于紅色和藍(lán)色曲線，黃色曲線的波動(dòng)幅度較大，這是由于手臂動(dòng)作主要發(fā)生在z 軸方向造成的。因此，主要以z 軸的角速度曲線進(jìn)行分析。

圖5 第一種系鞋帶時(shí)小臂角速度的曲線圖Fig.5 The first curve of the angular velocity of the forearm when tying shoelaces

C1D1段、E1F1段、G1H1段、I1J1段、K1L1段均是在上肢動(dòng)作后處于靜止的階段，此時(shí)助殘機(jī)械手手指張開或閉合。在這一階段上肢處于靜止?fàn)顟B(tài)，角速度在0 rad/s 附近有較小的波動(dòng)。B1C1段表示手臂從腰間向鞋帶單向移動(dòng)的過程，F(xiàn)1G1段、J1K1段表示人手松開鞋帶后再重新朝鞋帶移動(dòng)的過程，D1E1段、H1I1段、L1M1段表示手臂擺動(dòng)或抽動(dòng)鞋帶的過程。在上述各個(gè)動(dòng)作階段，上肢的角速度出現(xiàn)明顯的加速和減速狀態(tài)，存在波峰或波谷。

在第一種類型的系鞋帶動(dòng)作中，共發(fā)生了12 次手指張開或閉合。每一志愿者進(jìn)行了5 次實(shí)驗(yàn)，手指張開或閉合的動(dòng)作一共出現(xiàn)了60 次，助殘手每次抓取意圖識(shí)別到張開或閉合次數(shù)如表1 所示。基于第一種系鞋帶的動(dòng)作，識(shí)別助殘手抓取意圖的平均準(zhǔn)確率為98.2%。

表1 基于第一種系鞋帶的識(shí)別結(jié)果/次數(shù)Tab.1 The recognition result of the first action

圖6 中的角速度曲線圖是用以第二種方式系鞋帶時(shí)的實(shí)驗(yàn)數(shù)據(jù)，手臂動(dòng)作主要發(fā)生在z 軸方向。其中，C2D2段、E2F2段、G2H2段、I2J2段、K2L2段均是上肢動(dòng)作后處于靜止的階段，此時(shí)角速度接近于0 rad/s，助殘機(jī)械手手指張開或閉合。B2C2段、F2G2段、J2K2段表示人手松開鞋帶后再重新朝鞋帶移動(dòng)的過程，D2E2段、H2I2段、L2M2段表示手臂擺動(dòng)或抽動(dòng)鞋帶的過程。在第二種類型的系鞋帶動(dòng)作中，共發(fā)生了8 次手指張開或閉合。每一志愿者進(jìn)行5 次實(shí)驗(yàn)，手指張開或閉合的動(dòng)作一共出現(xiàn)了40 次，助殘手每次抓取意圖識(shí)別的結(jié)果如表2 所示。基于第二種系鞋帶的動(dòng)作，識(shí)別助殘手抓取意圖的平均準(zhǔn)確率為98.5%。

表2 基于第二種系鞋帶的識(shí)別結(jié)果/次數(shù)Tab.2 The recognition result of the second action

圖6 第二種系鞋帶時(shí)小臂角速度的曲線圖Fig.6 The second curve of the angular velocity of the forearm when tying shoelaces

對(duì)于不同的系鞋帶動(dòng)作，上肢角速度表現(xiàn)出的變化規(guī)律是相同的。將本文設(shè)計(jì)的助殘手抓取意圖識(shí)別方法應(yīng)用于兩種不同方式的系鞋帶操作中，每次實(shí)驗(yàn)均能完成，識(shí)別的準(zhǔn)確率達(dá)到98%，說明該方法具有一定的適用性。實(shí)驗(yàn)結(jié)果表明，基于上述識(shí)別方法可以識(shí)別助殘手的抓取意圖，控制手指張開或閉合。

4 結(jié) 論

本文利用角速度傳感器采集健康人系鞋帶動(dòng)作的角速度數(shù)據(jù)，從運(yùn)動(dòng)學(xué)的角度分析了上肢的角速度的變化與運(yùn)動(dòng)狀態(tài)之間的聯(lián)系。通過利用最大值、差值等特征參數(shù)來表征上肢的不同運(yùn)動(dòng)狀態(tài)，設(shè)計(jì)了助殘手的抓取意圖識(shí)別方法，并且通過實(shí)驗(yàn)對(duì)該識(shí)別方法的可行性和適用性進(jìn)行了驗(yàn)證。實(shí)驗(yàn)結(jié)果表明，該方法用于控制不同的動(dòng)作均是可行的。接下來的工作將聚焦于助殘手連續(xù)動(dòng)作的控制，實(shí)現(xiàn)穿鞋、穿襪、系鞋帶等不同動(dòng)作的連續(xù)控制。