基于上肢力學(xué)信息的人體運(yùn)動意圖檢測*

王應(yīng)健, 左國坤, 劉 亮, 劉永永

(1.上海大學(xué) 機(jī)電工程及自動化學(xué)院，上海 200072；2.中國科學(xué)院 寧波材料技術(shù)與工程研究所，浙江 寧波 315201)

0 引 言

為了更好地控制人機(jī)交互系統(tǒng)，人體運(yùn)動意圖獲取很關(guān)鍵，因此,運(yùn)動意圖檢測技術(shù)的研究具有重要意義。如何對人的運(yùn)動意圖信息進(jìn)行定性和定量分析，準(zhǔn)確快速地推測出人的運(yùn)動目的是人機(jī)交互自然性和可靠性的前提。掌握人的運(yùn)動意圖，可以應(yīng)用于人機(jī)交互、智能家居、車輛輔助駕駛、游戲娛樂、助老助殘系統(tǒng)、虛擬現(xiàn)實(shí)等領(lǐng)域[1]。

軍事領(lǐng)域，五角大樓進(jìn)行“思維控制機(jī)器人”的研究工作，希望實(shí)現(xiàn)士兵憑借大腦思維靈活自如地操縱其“阿凡達(dá)”替身在戰(zhàn)場上作戰(zhàn)[2]。汽車領(lǐng)域，運(yùn)動意圖應(yīng)用于汽車輔助駕駛系統(tǒng)能有效地提高駕駛的安全性。清華大學(xué)王玉海等人[3]研究了典型工況下駕駛員換擋操作的特征，將意圖進(jìn)行分類并提出將駕駛員操縱和駕駛環(huán)境相統(tǒng)一的檢測方法。Kumagai T等人[4]利用動態(tài)貝葉斯網(wǎng)絡(luò), 結(jié)合過去駕駛狀態(tài)和當(dāng)前駕駛狀態(tài)對交叉路口處的停車意圖進(jìn)行預(yù)測。工業(yè)領(lǐng)域，日本筑波大學(xué)[5]研制了“混合輔助機(jī)械套裝”，穿戴上該套裝，人體試圖移動時能檢測到運(yùn)動意圖，實(shí)現(xiàn)神經(jīng)控制機(jī)械外骨骼，使力量增強(qiáng)10倍，利于作業(yè)。醫(yī)療領(lǐng)域，日本東京工科大學(xué)的Yokota S等人[6～8]利用身體重心變化檢測出希望運(yùn)動的方向，并利用電機(jī)驅(qū)動輪椅向期望的方向運(yùn)動。

目前,意圖檢測方法主要有：基于腦電信息的意圖檢測[9～11]，基于情感的意圖檢測[12，13]和基于肌電信息的意圖檢測[14]。本文基于多維力傳感器等自動化設(shè)備建立實(shí)驗(yàn)平臺，檢測人的上肢力學(xué)特性，找出力與上肢運(yùn)動意圖的關(guān)系，提出了一種基于人體上肢力學(xué)信息的意圖檢測方法。

1 運(yùn)動意圖檢測原理

1.1 運(yùn)動意圖的產(chǎn)生

運(yùn)動意圖支配人的動作，一個意圖能產(chǎn)生唯一對應(yīng)的動作；動作從一定程度上也能反映人的意圖，但并不能與意圖形成一一對應(yīng)[15]。本文通過加入約束條件，使動作與意圖唯一對應(yīng),將運(yùn)動意圖簡單分為：直行意圖、加速意圖、停止意圖。在外界相關(guān)指令或刺激下，人會產(chǎn)生運(yùn)動意圖，指導(dǎo)整個運(yùn)動方向和目的,意圖產(chǎn)生后的動作執(zhí)行過程中不斷地向大腦反饋信息，使其作出決策指導(dǎo)后續(xù)的動作[16，17]。執(zhí)行動作本身是運(yùn)動意圖的表現(xiàn)形式，可通過分解執(zhí)行的動作判斷人腦產(chǎn)生的運(yùn)動意圖。

1.2 運(yùn)動意圖檢測的理論基礎(chǔ)

采用虛擬環(huán)境誘導(dǎo)人體產(chǎn)生運(yùn)動意圖，引導(dǎo)上肢操縱交互實(shí)驗(yàn)平臺，完成虛擬任務(wù)。在運(yùn)動過程中，人體上肢力發(fā)生變化，通過多維力傳感器檢測和建立阻抗控制模型[18]得到理想的上肢運(yùn)動路徑。機(jī)構(gòu)執(zhí)行部分通電后，伺服電機(jī)編碼器產(chǎn)生角度偏轉(zhuǎn)θ和驅(qū)動力FM，帶動末端執(zhí)行器運(yùn)動得到實(shí)際運(yùn)動路徑SM。人體上肢握于末端執(zhí)行器，當(dāng)執(zhí)行器運(yùn)動的路徑SM與理想的上肢運(yùn)動路徑SH一致時，達(dá)到人機(jī)的協(xié)調(diào)運(yùn)動，即SM=SH，如圖1所示。

圖1 人機(jī)協(xié)調(diào)理論

為了達(dá)到人機(jī)協(xié)調(diào)的效果，本文采用pHRI(physical human-robot interaction)模型作為阻抗控制模型，力和位置變化作為控制的輸入量[18]。根據(jù)執(zhí)行器末端的位置(或速度、加速度)和接觸力的關(guān)系可知，當(dāng)執(zhí)行器末端實(shí)際運(yùn)行的位置X和理想位置X0之間存在偏差ε時，系統(tǒng)會產(chǎn)生相應(yīng)的阻抗力F進(jìn)行調(diào)節(jié)，達(dá)到控制接觸力的目的，即為阻抗控制。圖2為末端執(zhí)行器的受力分析，對人體和末端作用力之間的關(guān)系進(jìn)行動力學(xué)建模，阻抗控制模型可表示為慣性—阻尼—剛度的二階系統(tǒng)

F=M(0-)+B(0-)+K(X0-X)

(1)

式中F為計算后的目標(biāo)阻抗力；K為系統(tǒng)與環(huán)境的接觸剛度系數(shù)；B為系統(tǒng)阻尼系數(shù)；M為系統(tǒng)慣性系數(shù)，反映系統(tǒng)儲能能力；X0,0,0分別為末端理想的位置、速度、加速度；X,,分別為末端實(shí)際的位置、速度、加速度。上述參數(shù)可通過主動控制進(jìn)行調(diào)節(jié)。

圖2 末端執(zhí)行器受力分析示意

(2)

圖3 pHRI虛擬阻抗模型

經(jīng)拉氏變換得到s的代數(shù)方程

(3)

式中KHR為系統(tǒng)剛度系數(shù)，可控制施加的力;MHR,BHR影響系統(tǒng)的響應(yīng)速度和穩(wěn)定性。由式(3)可得傳遞函數(shù)H(s)

(4)

(5)

2 運(yùn)動意圖檢測信息采集系統(tǒng)設(shè)計

為了能夠準(zhǔn)確分析出人體上肢力學(xué)信息與運(yùn)動意圖間的聯(lián)系，找出動作與運(yùn)動意圖的對應(yīng)關(guān)系，分析力、動作、意圖三者的關(guān)系，簡化的人體上肢運(yùn)動和運(yùn)動意圖的對應(yīng)關(guān)系如表1所示。

表1 人體上肢動作與運(yùn)動意圖對應(yīng)關(guān)系

2.1 信息采集系統(tǒng)

系統(tǒng)實(shí)物如圖4所示，主宿機(jī)和目標(biāo)機(jī)實(shí)時通信，獲取力傳感器的力信息，并對硬件系統(tǒng)進(jìn)行實(shí)時控制。利用虛擬環(huán)境誘導(dǎo)人體產(chǎn)生特定運(yùn)動意圖，采用單自由度的手柄沿X軸運(yùn)動，完成指定任務(wù)。系統(tǒng)硬件包括：六維力傳感器(美國ATI，型號Nano25)，直線電機(jī)，伺服驅(qū)動器，PCI6251數(shù)據(jù)采集卡，2臺計算機(jī)(主宿機(jī)、目標(biāo)機(jī))，直線導(dǎo)軌。軟件模塊包括：Matlab Simulink XPC target實(shí)時通信模塊；UDP(user datagram protocol)模塊，將采集信息實(shí)時發(fā)回至主宿機(jī)；V-Realm Builder為搭建的虛擬環(huán)境模塊。

圖4 信息采集系統(tǒng)實(shí)物

2.2 控制系統(tǒng)的設(shè)計

圖5為人機(jī)交互的控制策略，虛擬環(huán)境的任務(wù)要求誘導(dǎo)被測者產(chǎn)生動作意圖，被測者推動手柄，力傳感器獲取上肢的力學(xué)信息，然后通過pHRI模型產(chǎn)生相應(yīng)的運(yùn)動，通過機(jī)構(gòu)控制確保交互設(shè)備執(zhí)行器的運(yùn)動學(xué)特性與肢體表現(xiàn)出的運(yùn)動學(xué)特性一致，實(shí)現(xiàn)人機(jī)交互的協(xié)調(diào)。

圖5 系統(tǒng)的控制框圖

借助虛擬阻抗模型將肢體操縱執(zhí)行器的力學(xué)特性轉(zhuǎn)變?yōu)閯討B(tài)的位移，通過控制策略使得末端執(zhí)行器在提供給操作者完成任務(wù)所需的“力”的同時，保證了肢體與執(zhí)行器之間的干涉力F為零，即設(shè)備與上肢不產(chǎn)生阻礙，實(shí)現(xiàn)肢體運(yùn)動與交互設(shè)備之間的協(xié)調(diào)運(yùn)動。此時，接觸部位的阻抗特性為

(6)

式中q=pd-pr，pr由電機(jī)編碼器的數(shù)值轉(zhuǎn)換得到，pd為采用阻抗模型獲得的位移。代入式(6)，結(jié)合式(5)可得末端執(zhí)行器的加速度為

(7)

式中 Δpdr=pd-pr為手柄和上肢間的相對位移。由F=ma得到需要電機(jī)提供的力，再由電機(jī)力矩與電流的關(guān)系得到所需電流大小，然后輸出給電機(jī)進(jìn)行控制。

為了驗(yàn)證意圖檢測信息采集系統(tǒng)和控制策略的可行性,進(jìn)行了2組實(shí)驗(yàn)。當(dāng)K=100 N/m時，被測者將末端執(zhí)行器從原點(diǎn)處沿X軸正向推，然后松手撤銷力，實(shí)驗(yàn)結(jié)果如圖6(a)和圖6(b)所示。由圖知，0.45 s時被測者施加了一個力，系統(tǒng)緊隨運(yùn)動，圖6(b)中目標(biāo)位移(實(shí)線)與實(shí)際位移(虛線)具有較高的一致性，即系統(tǒng)較好地跟隨被測者運(yùn)動。當(dāng)被測者的力變?yōu)榱銜r，末執(zhí)行器回到原點(diǎn)。當(dāng)K=0 N/m時，即系統(tǒng)處于自由運(yùn)動狀態(tài)下，由圖6(c)和圖6(d)可知，在約7.5 s時力被撤銷，但此時末端執(zhí)行器未回到原點(diǎn)。實(shí)驗(yàn)表明：系統(tǒng)和控制策略達(dá)到了意圖檢測的要求。

圖6 K=100 N/m和K=0 N/m時的力和位移的變化

3 虛擬環(huán)境的意圖檢測實(shí)驗(yàn)

虛擬環(huán)境的使用可使被測者產(chǎn)生更強(qiáng)的臨場感，能夠更好地誘導(dǎo)被測者的運(yùn)動意圖。采用虛擬現(xiàn)實(shí)建模語言(virtual reality modeling language,VRML)，通過V-Realm Builder工具箱可以搭建實(shí)驗(yàn)所需的虛擬環(huán)境。以搭建的摘蘋果游戲?yàn)槔⒌奶摂M環(huán)境界面如圖7所示，蘋果的位置表示上肢末端(或執(zhí)行器)的當(dāng)前位置，箱子表示運(yùn)動的目的地，蝴蝶表示障礙物位置。

圖7 虛擬環(huán)境中的游戲界面

不同被測者的上肢肌張力大小不同，實(shí)驗(yàn)前，選取的4位被測者先手握末端執(zhí)行器，沿X軸來回運(yùn)動，并調(diào)整實(shí)驗(yàn)裝置參數(shù)KHR,BHR,MHR的值，使每個被測者實(shí)驗(yàn)時具有最佳舒適度，得到的4組參數(shù)如表2所示。實(shí)驗(yàn)結(jié)果如圖8。

表2 4位被測者的相關(guān)參數(shù)

每位被測者分別完成如下2組實(shí)驗(yàn)：

1)完成虛擬環(huán)境中蘋果摘取并放入箱子中的動作，此過程中無障礙物;2)在虛擬環(huán)境中加入蝴蝶(障礙物)后，完成蘋果摘取并放入箱子中的動作，即在開始任務(wù)一段時間后突然有一只蝴蝶飛過運(yùn)動路徑。在兩實(shí)驗(yàn)結(jié)果中選擇較清晰的數(shù)據(jù)進(jìn)行分析。

圖8 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)(1)的結(jié)果如圖8(a)所示。由圖8(a1)可知，實(shí)線(目標(biāo)位移)為經(jīng)過虛擬阻抗計算得到理想位置，表示運(yùn)動意圖；虛線是上肢的實(shí)際位移。兩條曲線幾乎一致，說明被測者施加力推動末端執(zhí)行器時系統(tǒng)同步運(yùn)動，無明顯延遲，實(shí)際位置跟蹤了目標(biāo)位置，即系統(tǒng)能跟隨被測者的運(yùn)動意圖。圖8(a2)中，從0.8 s開始力逐漸增大，速度也逐漸增加，動作上表示一個加速度的過程；從1.6～2.9 s內(nèi)，力的變化約為2 N，速度約為50 mm/s，上肢的力緩慢增加，是一個近似勻速運(yùn)動的過程。上肢的力和動作存在對應(yīng)關(guān)系：力增大產(chǎn)生加速度執(zhí)行加速的動作，表示已抓取蘋果，開始轉(zhuǎn)移；力穩(wěn)定不變執(zhí)行勻速運(yùn)動的動作，表示運(yùn)送蘋果至目標(biāo)位置的過程中；力逐漸減小速度也慢慢減小為零，表示接近目標(biāo)位置，放置蘋果。圖8(a3)中，從2.5～3.0 s，力基本保持不變，位置從163～168 mm，而虛擬環(huán)境中箱子的位置為170 mm，可知，當(dāng)快要到達(dá)箱子時產(chǎn)生的是減速運(yùn)動意圖，并準(zhǔn)確放置蘋果，故移動速度相應(yīng)降低。

實(shí)驗(yàn)(2)的結(jié)果如圖8(b)所示。由圖8(b1)可知，實(shí)線和虛線接近重合，說明實(shí)際位置基本跟蹤上了目標(biāo)位置，結(jié)果與圖8(a1)一致。圖8(b2)所示，第2 s時，在蘋果移動的路線上出現(xiàn)蝴蝶(障礙物)，從2.5～3.0 s，上肢的力變化不大，表明人對于環(huán)境突然的變化產(chǎn)生減速反應(yīng)。此后，按照意圖逐漸恢復(fù)正常運(yùn)動。圖8(b3)中，2.5～3.0 s的位移幾乎無變化，相應(yīng)的力也無變化，可知，此時上肢產(chǎn)生了避讓，由于障礙物的出現(xiàn)停止了動作意圖。

4 結(jié) 論

提出了一種基于人體上肢力學(xué)特性的意圖檢測方法。對人體運(yùn)動意圖的產(chǎn)生環(huán)節(jié)進(jìn)行分析，簡化運(yùn)動意圖的定義和分類，根據(jù)人機(jī)協(xié)調(diào)的原理，提出了肢體末端力學(xué)特征研究的基礎(chǔ)理論。利用虛擬環(huán)境誘導(dǎo)被測者產(chǎn)生運(yùn)動意圖，搭建了實(shí)驗(yàn)平臺并進(jìn)行實(shí)驗(yàn)與分析，證明了提出方法的可行性。

[1] 趙其杰,邵 輝,盧建霞.基于頭眼行為的交互意圖檢測方法[J].儀器儀表學(xué)報,2014(10):2313-2320.

[2] 吳 昊.基于分布式認(rèn)知理論的信息化戰(zhàn)爭軍事指揮決策人機(jī)交互環(huán)境構(gòu)建的研究[D].長沙：國防科學(xué)技術(shù)大學(xué),2011.

[3] 王玉海,宋 健,李興坤.基于模糊推理的駕駛員意圖識別研究[J].公路交通科技,2005(12):113-118.

[4] Kumagai T,Sakaguchi Y,Okuwa M,et al.Prediction of driving behavior through probabilistic inference[C]∥Proceedings of the Eighth International Conference on Engineering Applications of Neural Networks,Malaga，Spain,2003:117-123.

[5] 王建梅.凡人的超人之路:機(jī)械外骨骼發(fā)展史[J].電腦迷,2011(15):88-89.

[6] Yokota S,Hashimoto H.The electric wheelchair controlled by human body motion[C]∥Conference on Human System Interactions,2009:247-250.

[7] Yokota S,Hashimoto H,Yasuhiro O,et al.Distinction of intention and improvement of operation on human body motion interface[C]∥The 19th IEEE International Symposium on Robot and Human Interactive Communication,Principe di Piemonte Viareggio,Italy,2010:488-493.

[8] 張良力.面向安全預(yù)警的機(jī)動車駕駛意圖識別方法研究[D].武漢：武漢理工大學(xué),2011.

[9] 陳紹榮.腦的高級功能研究及腦信息處理建模[D].長沙：國防科學(xué)技術(shù)大學(xué),2003.

[10] 韋雪文.腦—機(jī)接口技術(shù)及其在康復(fù)訓(xùn)練中的應(yīng)用[D].南京：東南大學(xué),2010.

[11] Jong-Hwan L,Jeongwon R,Ferenc A.Brain-machine interface via real-time FMRI:Preliminary study on thought-controlled robotic arm[J].Neuroscience Letters,2009,450(1):1-6.

[12] Sloman A,Croucher M.Why robots will have emotions[C]∥International Joint Conference on Artificial Intelligence,Vancouver,Canada,1981,81(2):197-202.

[13] Goleman D.Emotional intelligence [M].New York:Bantam Dell Pub Group,1995.

[14] 劉濤然.人體表面肌電信號的特性研究[D].天津：天津科技大學(xué),2009.

[15] 鄭小蓓,孟祥芝,朱莉琪.嬰兒動作意圖推理研究及其爭論[J].心理科學(xué)進(jìn)展,2010(3):441-449.

[16] 劉 剛.基于應(yīng)變式傳感器的運(yùn)動姿態(tài)的實(shí)時檢測[J].傳感器技術(shù),2005,24(9):73-75.

[17] 鞠升輝,李楊民.基于運(yùn)動分析的運(yùn)動目標(biāo)實(shí)時跟蹤系統(tǒng)[J].傳感器與微系統(tǒng),2016,35(7):58-61.

[18] Lee H,Lee B,Kim W,et al.Human-robot cooperative control based on pHRI(physical human-robot interaction)of exoskeleton robot for a human upper extremity[J].International Journal of Precision Engineering and Manufacturing,2012,13(6):985-992.