基于人體上肢運動信息的助殘手抓取意圖識別方法

崔建偉，李志鋼，曹爾凡，杜 韓，陸普東

（東南大學儀器科學與工程學院，南京 210000）

據統計，我國現有的8500 萬各類殘疾人，其中，肢體殘疾人數約有2500 萬，手殘人約占1/3。人造靈巧手作為手殘人肢體功能的延伸，具有通用性強、操作靈活、抓取穩固等優點，在助殘領域發揮著越來越重要的作用[1]。因此，提高助殘手在完成日常生活動作時行為控制的穩定性和準確性，能更加有效地幫助手部殘缺人士實現日常生活的自理。

助殘機械手的操作必須與使用者的意圖相協調，而上肢運動意圖的識別則是關鍵問題。一些研究試圖從表面肌電、腦電和外周神經等信號中獲取上肢運動意圖的信息[2-4]。雖然通過獲取表面肌電信號或人體神經信號可以直接反映人體行為的變化規律，但是肌肉的萎縮程度、殘肢位置等因素，都會使得肌肉內的肌電信號無法被準確采集[5]。腦電信號包含了人腦活動的有用信息，已經成為運動意圖識別的熱點方向。然而，在腦電信號的測量過程中，腦電帽采集的數據極易受到使用者動作的影響。而且腦電信號極其微弱，夾雜著許多噪聲，對腦電信號的解碼能力有著很高的要求[6]。

慣性傳感器憑借著可穿戴性強、功耗低等優點在上肢運動識別方向有著廣泛的應用[7]。但是目前基于慣性傳感器的機械手控制方法大都先采集人體手臂的姿態信息，再轉換成機械手的關節變量。文獻[8]利用慣性傳感器檢測人體手臂的運動姿態，進而控制機械臂復現人體手臂的動作。文獻[9]通過九軸姿態傳感器采集手臂和手腕的運動姿態，實現了機械手實時跟隨人手運動。上述的研究方法僅針對于機械手的遙操作，然而對助殘機械手的控制則缺乏更深入的研究。

在人腦的動作意圖無法直接傳達到助殘手的條件下，通過上肢運動信息分析判斷人的動作意圖，則有可能得到比較滿意的結果，本文針對人體的上肢運動意圖進行研究，利用角速度傳感器檢測上肢的運動狀態信息，并且從運動學的角度對數據進行分析，總結上肢的角速度變化與運動狀態之間的聯系。最后，設計助殘手抓取意圖的識別方法，并且將該識別方法應用于助殘手系鞋帶的實驗中。

1 上肢的運動意圖研究

通常為了穩定地抓取物體，健康人會在上肢靜止時張開或者閉合手指。相比于抓取動作，完成系鞋帶的動作時不僅需要考慮手指開閉的時機，而且由于系鞋帶的操作步驟多、動作復雜，更需要跟蹤系鞋帶的動作過程以識別上肢的動作意圖。因此，本文通過采集正常人系鞋帶時上肢的運動信息，分析手指張開或閉合與上肢角速度數據之間的聯系。

1.1 實驗設備

上肢運動數據的采集由數據手套完成，實驗設備如圖1 所示。數據手套可穿戴于上肢的手掌、小臂和大臂三個部分，并且每一部分均集成了MPU6050 慣性傳感器，可以直接輸出角速度數據，采樣頻率為50 Hz。實驗設備的另一部分為助殘機械手，助殘機械手與單片機相連接，當單片機接收到PC 端的控制命令后會立即輸出高低電平以控制助殘機械手的手指實現張開或閉合。

圖1 實驗設備Fig.1 Experimental equipment

1.2 傳感器信號預處理

由于傳感器的內部設計、手臂的抖動以及傳感器長時間工作產生的漂移等原因[10]，使得真實的傳感器數據中夾雜著噪聲干擾，角速度傳感器采集到的原始數據如圖2 所示。因此，對于角速度傳感器采集的數據，選用卡爾曼濾波器對其進行濾波處理。卡爾曼濾波的過程分為兩個部分：預測和校正。為了得到第k時刻真實的角速度值，在預測階段，卡爾曼濾波器根據第k-1 時刻的傳感器數據預測第k時刻的傳感器數據，同時得到觀測變量。在校正階段，濾波器以觀測變量對預測階段獲得傳感器數據進行修正，以獲得第k時刻的最優估計值。其中，過程方差Q=1e-3 (rad/s)2，測量方差R=1e-2 (rad/s)2。

圖2 角速度傳感器原始數據Fig.2 Raw data of angular velocity sensor

對角速度數據進行卡爾曼濾波處理，處理后的角速度曲線如圖3 所示。其中，三條曲線分別是x 軸角速度、y 軸角速度和z 軸角速度。相對于傳感器的原始數據，濾波后的角速度數據在整個采樣區間內數值變化平滑，波動明顯減少，說明經過濾波，有效地減少了隨機噪聲的影響。

圖3 濾波后的角速度變化曲線Fig.3 Angular velocity curve after filtering

1.3 人手動作的運動信息分析

為了研究上肢的運動意圖，利用角速度傳感器采集人手系鞋帶時上肢各部位的角速度，包括大臂、小臂和手掌。由于在系鞋帶過程中大臂、小臂、手掌的角速度變化趨勢相似，所以選取小臂角速度進行分析。考慮到完成一次系鞋帶動作的數據量較大，而且部分動作會重復操作，因此選擇完成第一遍動作的數據進行分析。

圖4 中下半部分的角速度曲線圖是人手系鞋帶時小臂的實驗數據，橫軸表示以采樣時間為20 ms 得到的采樣點，縱軸表示角速度。其中，藍色曲線、紅色曲線、黃色曲線分別是x 軸、y 軸、z 軸方向的傳感器數據。三維空間的手臂運動分解到三個軸向，x 軸表示左右空間、y 軸表示前后空間、z 軸表示上下空間。

圖4 人手系鞋帶時小臂角速度的曲線圖Fig.4 Curve diagram of forearm angular velocity when tying shoelaces by hand

圖4 上半部分為人手系鞋帶的動作示意圖。AB段是上肢動作前的預備階段，手指張開，上肢呈現靜止狀態。此時小臂的角速度接近于0 rad/s，并且在0值上下有微小的波動。CD 段、EF 段、GH 段、IJ 段、KL 段均是上肢在動作后呈現靜止的階段，同樣小臂的角速度接近于0 rad/s，變化穩定。更為關鍵的是，在此一階段健康人會張開或閉合手指，以做出抓取或放開鞋帶的操作。

而其余各段反映的是上肢動作的過程。其中，BC段表示手臂從腰間處向鞋帶處移動的過程，從圖中可以看出，在BC 段小臂的角速度數值逐漸增大，存在較大范圍的波動，而且小臂的z 軸角速度曲線(即黃色曲線)呈現出近似的凹形，這是由于手臂的移動過程主要發生在上下空間造成的。

FG 段、JK 段表示人手松開鞋帶后再重新朝鞋帶處移動的過程，因此小臂的角速度存在較大范圍的波動。并且小臂的z 軸角速度曲線呈現出近似的正弦圖形，這也是由于在手指松開鞋帶后上肢會先遠離鞋帶一定的距離，然后再朝鞋帶處移動這一過程造成的。而DE 段、HI 段、LM 段表示手臂擺動或抽動鞋帶的過程，此時小臂的角速度數值明顯變大，三個軸向的角速度曲線只存在波峰或波谷。相比于BC 段、FG 段和JK 段的角速度曲線，此一階段角速度曲線的采樣點個數較少，這是由于手臂擺動或抽動的持續時間較短造成的。

通過分析人手系鞋帶時小臂角速度的實驗數據，發現角速度的變化規律與上肢的運動狀態特征之間存在著一定的聯系：

（1）在小臂處于靜止狀態時，各軸向的角速度均在零值附近有較小的波動，波動范圍為 ±5 rad/s；

（2）在上肢動作的過程中，無論是手臂朝鞋帶處移動的過程，還是手臂擺動或抽動鞋帶的過程，小臂的角速度均會至少經歷一次加速過程和減速過程，即存在明顯的波峰或波谷；

（3）在上肢靜止前，小臂的角速度數值均有明顯趨于零的趨勢。張開或閉合手指的動作發生在上肢靜止后的階段，并且在手指張開或閉合時小臂的角速度仍接近于0 rad/s。

2 助殘手抓取意圖的識別方法

識別助殘手抓取意圖的關鍵在于判斷手指張開或閉合的時機。基于上述分析得出，在上肢動作過程中，上肢各部位角速度所呈現的變化趨勢與運動學規律相符合。并且張開或閉合手指的操作發生在上肢靜止后，即上肢各部位的角速度均接近于0 rad/s。因此根據上述上肢運動時角速度表現出的變化特點，設計助殘手抓取意圖的識別方法，使得助殘機械手能夠跟隨人的意圖自動地實現手指張開或閉合。

為了使助殘手能夠更加穩定地抓住或松開物體，做如下規定：（1）在開始動作前，助殘手手指呈張開狀態；（2）助殘手手指張開或閉合的操作發生在上肢靜止后。助殘手抓取意圖的識別算法如下：

（1）采集大臂、小臂和手掌的角速度數據，每接收到N個數據則進行一次濾波處理；

（2）判斷上肢是否已經開始動作，對每次濾波后的數據按照時間先后的順序依次做差，計算方式如下

其中，ωi為第i個采樣點數據；N為做差時選取的采樣點個數，N的取值范圍為8～14；若上肢各部位的計算結果均滿足下述條件

則說明此時上肢已經開始動作；

（3）分別求取大臂、小臂和手掌的角速度數據的絕對值，判斷各部位的角速度絕對值的最大值是否均大于閾值α，即

其中，閾值α的取值范圍為18～25 rad/s。若滿足上述條件，說明上肢正在加速朝目標位置移動；

（4）分別對大臂、小臂和手掌的角速度數據做差，計算方式如式(4)所示：

若上肢各部位的計算結果均滿足下述兩個條件

說明上肢開始做減速運動；

（5）分別求取大臂、小臂和手掌的角速度數據的絕對值，判斷各部位的角速度絕對值的最大值是否均小于閾值β，即

其中，閾值β的取值范圍為3～5 rad/s。若滿足上述條件，說明上肢已呈現靜止狀態，則向助殘機械手發送控制命令，機械手手指張開或閉合。

上述算法僅針對上肢的一次動作過程，即上肢從開始動作到靜止。當上肢再次動作后，該算法則重新進行識別。為區分每次手指的張開或閉合動作，記手指初始狀態為張開，則第一次接收到控制命令，機械手手指閉合；第二次，機械手手指張開，如此循環。

3 實 驗

實驗內容是控制助殘機械手完成系鞋帶的動作，實驗設備由數據手套和助殘手兩個部分組成。本次實驗設計了兩種不同的系鞋帶動作，招募10 名健康的志愿者佩戴該實驗設備進行實驗，對于每一種系鞋帶的動作每人進行5 次實驗。考慮到在系鞋帶過程中大臂、小臂、手掌的角速度變化趨勢相似，并且完成一次系鞋帶動作的數據量較大，因此選擇部分連續動作的數據進行分析。

圖5 的角速度曲線圖是某一志愿者以第一種方式系鞋帶時的實驗數據。藍色曲線、紅色曲線、黃色曲線分別是x 軸、y 軸、z 軸方向的傳感器數據。相較于紅色和藍色曲線，黃色曲線的波動幅度較大，這是由于手臂動作主要發生在z 軸方向造成的。因此，主要以z 軸的角速度曲線進行分析。

圖5 第一種系鞋帶時小臂角速度的曲線圖Fig.5 The first curve of the angular velocity of the forearm when tying shoelaces

C1D1段、E1F1段、G1H1段、I1J1段、K1L1段均是在上肢動作后處于靜止的階段，此時助殘機械手手指張開或閉合。在這一階段上肢處于靜止狀態，角速度在0 rad/s 附近有較小的波動。B1C1段表示手臂從腰間向鞋帶單向移動的過程，F1G1段、J1K1段表示人手松開鞋帶后再重新朝鞋帶移動的過程，D1E1段、H1I1段、L1M1段表示手臂擺動或抽動鞋帶的過程。在上述各個動作階段，上肢的角速度出現明顯的加速和減速狀態，存在波峰或波谷。

在第一種類型的系鞋帶動作中，共發生了12 次手指張開或閉合。每一志愿者進行了5 次實驗，手指張開或閉合的動作一共出現了60 次，助殘手每次抓取意圖識別到張開或閉合次數如表1 所示。基于第一種系鞋帶的動作，識別助殘手抓取意圖的平均準確率為98.2%。

表1 基于第一種系鞋帶的識別結果/次數Tab.1 The recognition result of the first action

圖6 中的角速度曲線圖是用以第二種方式系鞋帶時的實驗數據，手臂動作主要發生在z 軸方向。其中，C2D2段、E2F2段、G2H2段、I2J2段、K2L2段均是上肢動作后處于靜止的階段，此時角速度接近于0 rad/s，助殘機械手手指張開或閉合。B2C2段、F2G2段、J2K2段表示人手松開鞋帶后再重新朝鞋帶移動的過程，D2E2段、H2I2段、L2M2段表示手臂擺動或抽動鞋帶的過程。在第二種類型的系鞋帶動作中，共發生了8 次手指張開或閉合。每一志愿者進行5 次實驗，手指張開或閉合的動作一共出現了40 次，助殘手每次抓取意圖識別的結果如表2 所示。基于第二種系鞋帶的動作，識別助殘手抓取意圖的平均準確率為98.5%。

表2 基于第二種系鞋帶的識別結果/次數Tab.2 The recognition result of the second action

圖6 第二種系鞋帶時小臂角速度的曲線圖Fig.6 The second curve of the angular velocity of the forearm when tying shoelaces

對于不同的系鞋帶動作，上肢角速度表現出的變化規律是相同的。將本文設計的助殘手抓取意圖識別方法應用于兩種不同方式的系鞋帶操作中，每次實驗均能完成，識別的準確率達到98%，說明該方法具有一定的適用性。實驗結果表明，基于上述識別方法可以識別助殘手的抓取意圖，控制手指張開或閉合。

4 結 論

本文利用角速度傳感器采集健康人系鞋帶動作的角速度數據，從運動學的角度分析了上肢的角速度的變化與運動狀態之間的聯系。通過利用最大值、差值等特征參數來表征上肢的不同運動狀態，設計了助殘手的抓取意圖識別方法，并且通過實驗對該識別方法的可行性和適用性進行了驗證。實驗結果表明，該方法用于控制不同的動作均是可行的。接下來的工作將聚焦于助殘手連續動作的控制，實現穿鞋、穿襪、系鞋帶等不同動作的連續控制。