基于多傳感器信息融合的步態(tài)識別方法研究

周潔

（西南交通大學電氣工程學院，成都 262500）

基于多傳感器信息融合的步態(tài)識別方法研究

周潔

（西南交通大學電氣工程學院，成都 262500）

準確的步態(tài)相位識別是下肢外骨骼機器人運動意圖判斷與控制策略制定的前提與基礎。通過人體下肢運動信息檢測系統(tǒng)，獲取下肢各關節(jié)運動角度及足底分布式壓力，在運動學步態(tài)分析的基礎上，提取信號有效特征。針對正常步行運動中各步態(tài)存在次序及界限不精確的特性，提出加入模糊邏輯概念的有限狀態(tài)機方法，對下肢傳感器系統(tǒng)提供的運動信號進行多傳感器信息融合，實現(xiàn)步態(tài)識別。實驗結(jié)果證明該方法在2.4km/h、3.6km/h、4.8km/h和6.0km/h四種速率的步行模式下都可以進行有效的步態(tài)識別，具有極高的準確率。

步態(tài)識別；關節(jié)運動角度；足底壓力；模糊邏輯；有限狀態(tài)機；傳感器融合

0 引言

下肢可穿戴外骨骼機器人已經(jīng)在過去的幾十年迅速發(fā)展，并且已經(jīng)證明了能夠很好地協(xié)助人類在各種軍事、醫(yī)療和工業(yè)等領域中的工作。現(xiàn)有的外骨骼機器人研究領域面臨眾多關于硬件和軟件方面的挑戰(zhàn)，其中一個主要的挑戰(zhàn)就是，機器人通常缺乏充分的能力識別到人類佩戴者的行為和意圖。因此，為了克服這些挑戰(zhàn)，工程師們使用了多種傳感器獲取穿戴者的運動信息，并通過多種推理方法獲得穿戴者的步行狀態(tài)與運動意圖，幫助外骨骼制定有效的控制策略[1]。其中比較有代表性的是以下幾種方式：腦機接口（BMI）、肌電信號（EMG）、以慣性測量單元及壓敏傳感器為代表的機械傳感器。其中通過腦機接口得到的腦電圖（EEG）、腦皮層電圖（ECoG）及皮層電極[2]是近年來作為人體運動意圖研究依據(jù)，它的優(yōu)勢是可以允許癱瘓病人可以控制機器人跟隨大腦想法運動[3]，該方法主要運用在康復機器人領域，但是具有無法分辨人腦無意識運動的特點。肌電信號主要測量的是肌肉細胞在肌肉活動之前100ms產(chǎn)生的電信號[4]，HAL助力行走機器人就是主要通過采集肌電信號識別人體運動意圖[5]，該方法具有提前預測性，但易受人體表面出汗等因素的影響。運用機械傳感器主要放置在人體表面或裝置與外骨骼機械上，該方法簡單易實現(xiàn)干擾性小的優(yōu)點。BLEEX下肢助力外骨骼機器人的傳感器系統(tǒng)主要由力傳感器和傾角傳感器測量機器人關節(jié)力和肢體傾角，足底壓力傳感器測量步行時足底壓力分布，陀螺儀用來測量上身的中心和傾角[6]，并將人體步態(tài)劃分為單腿支撐、雙腿支撐以及冗余雙腿支撐三個狀態(tài)[7]。Savelbeg[8]使用人工神經(jīng)網(wǎng)絡對足底壓力及地面反射壓力進行建模，對步態(tài)相位進行預測；Ion P.I.Pappas[9]等人分別運用有限狀態(tài)控制方法將安裝在踝關節(jié)的陀螺儀與足底壓力信號融合，并分為腳跟觸地、支撐、足跟離地、擺動四個步態(tài)相位進行識別；Milica Djuric[10]采用閾值的方法處理大腿、小腿、腳面的角度傳感器與足底的兩點壓力傳感器，并分成8個步態(tài)相位進行識別；高增桂、孫守遷[11]等人則采用基因表達式方法建立膝關節(jié)的運動狀態(tài)識別模型。

本文針對步行狀態(tài)是一系列有次序的運動及步態(tài)相位劃分界限不完全精確的特性，步行狀態(tài)具有次序，提出了加入模糊邏輯概念的有限狀態(tài)機方法對下肢下肢各關節(jié)運動角度信號及足底分布式壓力信號進行融合步態(tài)識別。

1 步態(tài)及信號分析

步行是具有周期性的動作，一側(cè)足跟著地開始到該足跟再次著地構(gòu)成1個單腿步態(tài)周期。根據(jù)腿部動作的特征，可以將步態(tài)分為支撐相和擺動相。支撐相是指從足跟著地到足尖離地的時間，該段時間足底與地面接觸并承受身體的重量，該階段約占步態(tài)周期的60%，擺動相則是從足尖離地到下一次足跟著地的時間，約占步態(tài)周期的40%。但是下肢步態(tài)不能只分成這兩個相位，因劃分的相位數(shù)太少，則利用及傳遞的信息太少，控制策略的制定與實現(xiàn)將更有難度，也會影響整個系統(tǒng)的控制效果。故本文采用J.Rose[12]基于運動學原理提出的根據(jù)標志性事件將步態(tài)進行詳細劃分，這幾個標志性事件為：足跟著地、足平放、足跟離地、足前支撐、足尖離地、足尖近地（擺動中期開始）、脛骨垂直（減速擺動開始），如圖1所示。每個標志性事件到下一事件中間的狀態(tài)定義為一個步態(tài)相位，分別用GP1~ GP7表示。從一個步態(tài)周期開始到標志性步態(tài)所占整個步態(tài)周期的時間可以作為驗證步態(tài)識別方法的評判標準。

圖1 步態(tài)相位劃分

人體下肢運動信息復雜多變，傳感器系統(tǒng)是實現(xiàn)人機信息交互，實時控制的硬件基礎。本文的傳感器系統(tǒng)由人體運動角度感知系統(tǒng)，足底壓力感知系統(tǒng)組成。其中人體運動角度感知系統(tǒng)是安裝在人體下肢各個肢體上，足底壓力測量單元則安裝在外置的鞋內(nèi)，兩套系統(tǒng)的采樣頻率皆為120Hz。

（1）人體運動角度感知系統(tǒng)

人體各肢體運動角度是人體在運動過程中最主要的特征之一。人體運動角度感知系統(tǒng)是在每條腿上分別安裝3個姿態(tài)傳感器，位置分別在人體正表面的大腿，小腿中部位置以及腳面正中位置，測量人體行走過程中，髖關節(jié)、膝關節(jié)、踝關節(jié)的運動角度。傳感器主要采用慣性測量單元（傳感器如圖2（a）所示）進行信息采集，各導向角輸出是通過其自帶的卡爾曼濾波器利用陀螺儀、加速度計、磁力計等數(shù)據(jù)計算出的沒有漂移的高精度的統(tǒng)計最優(yōu)的三維方向估計。下肢各關節(jié)角度的符號約定如下圖2（b）所示，每個關節(jié)的測量角度是以垂直方向到各肢體即逆時針方向為正角度。

（2）足底壓力感知系統(tǒng)

足底壓力信號能夠很好地反應人體在正常行走過程中尤其是下肢支撐狀態(tài)下的運動特點。本文足底壓力感知系統(tǒng)采用的是分布式壓力測量方法（實物如圖3（a）所示），分別在兩只外骨骼足底的大拇指、前掌左側(cè)、前掌右側(cè)、足跟4個位置上（如圖3（b）所示）安裝壓力傳感器，經(jīng)過大量實驗驗證，這4個壓力采集點所在的區(qū)域壓力信息特征較為明顯，且重復性與穩(wěn)定性較好。

圖2 慣性測量單元安裝示意圖及角度定義

圖3 足底傳感器實物圖及示意圖

由傳感器得到的信號采用平滑濾波法去除噪聲進行濾波，其中由于腳面的慣性傳感單元安置問題，會對踝關節(jié)角度進行修正，減去腳面初始角度。通過數(shù)據(jù)點采樣率的壓縮與增加，本文將同一對象在2.4km/h、3.6km/h、4.8km/h、6.0km/h速率下的各關節(jié)運動角度進行對比，如圖4所示，隨著速率的增加，各步態(tài)數(shù)據(jù)的幅值及峰值會有所變化，但同一步態(tài)數(shù)據(jù)的形狀、上升下降起始點結(jié)束點等都十分接近，運動角度及壓力數(shù)據(jù)隨時間變化的規(guī)律基本一致，只存在因步態(tài)運動不完全穩(wěn)定所產(chǎn)生的微小差異。右腿各個關節(jié)的運動角度對應各個步態(tài)具有明顯的特征，如在足跟觸地時，髖關節(jié)、膝關節(jié)、踝關節(jié)角度都接近于正向最大；足平放階段踝關節(jié)角度近似為零；足尖離地時膝關節(jié)、踝關節(jié)信號接近逆向最大等。在不同的步態(tài)時，各關節(jié)運動角度特征具有有強弱之分。

由足底壓力傳感器得到的得到的分布式壓力信號如圖5所示，足底各點壓力分別用fA、fB、fC、fD表示。足底各點壓力數(shù)值會隨速率變化峰值明顯變化，但是隨時間變化規(guī)律基本不變。可以從圖中看出在支撐相，足底出現(xiàn)了明顯的信號波動，腳跟、前掌右側(cè)、前掌左側(cè)、大拇指依次出現(xiàn)信號，而在擺動相時信號沒有明顯變化，其中前掌左側(cè)與右側(cè)的信號起始點，結(jié)束點以及出現(xiàn)峰值的階段基本重合，可作為互補。

2 步態(tài)識別算法研究

圖4 不同速率下各關節(jié)運動角度

圖5 足底壓力信號

在正常步行運動狀態(tài)下，人體的下肢運動是一個在時間軸上連續(xù)的有次序的運動構(gòu)成的動作序列，只要確定當前步行狀態(tài)，則下一個步態(tài)也是基本確定的，只需識別每個狀態(tài)的轉(zhuǎn)移變化過程即可實現(xiàn)動作的判別。因此，本文提出應用有限狀態(tài)機（Finite State Ma-chine，F(xiàn)SM）方法進行初步的步態(tài)識別。FSM是表示有限多個狀態(tài)以及在這些狀態(tài)之間轉(zhuǎn)移和動作的數(shù)學模型。步態(tài)識別FSM可以表示成如下的5元函數(shù)組：

其中，Q表示狀態(tài)的非空有窮集合{q0，q1，q2，...，qn，f0，f1}，該狀態(tài)集中主要包含初始狀態(tài)GF、識別無效的錯誤狀態(tài)GF以及標志性步態(tài)GP1~GP7；Σ表示輸入字母表，包含了各關節(jié)運動角度及足底各點壓力；δ表示狀態(tài)轉(zhuǎn)移函數(shù)，δ：Q×Σ→Q，表示當前狀態(tài)轉(zhuǎn)換到后繼狀態(tài)的條件函數(shù)；q0表示Q的開始狀態(tài)，也可叫作初始狀態(tài)或啟動狀態(tài)；F={f0，f1}表示M的終止狀態(tài)集合，分別表示識別成功及識別無效的狀態(tài)。

根據(jù)傳感器信息分析各步態(tài)所具有的的標志性特征作為步態(tài)間轉(zhuǎn)換的條件，滿足轉(zhuǎn)移條件即發(fā)生狀態(tài)轉(zhuǎn)移，由此得到步態(tài)識別的狀態(tài)轉(zhuǎn)移表與條件轉(zhuǎn)移圖，分別如表1與圖6所示各傳感器狀態(tài)表述為正向最大PL，正向減小PD，負向增大PI，負向最大NL，負向減小ND，正向增大PI以及接近于0的CZ其中步態(tài)識別FSM中的初始狀態(tài)是在不確定當前步態(tài)時的狀態(tài)，需要對每一個條件滿足的程度進行計算，得到當前步態(tài)。在非初始狀態(tài)時則可以只計算轉(zhuǎn)移到下一步態(tài)的條件是否滿足即可。

表1 步態(tài)識別狀態(tài)轉(zhuǎn)移表

圖6 條件轉(zhuǎn)移圖

人體在行走過程中可能突然轉(zhuǎn)變步態(tài)，再由新的步態(tài)重新開始步態(tài)序列。因此為了防止可能由步態(tài)瞬間轉(zhuǎn)換或本身系統(tǒng)產(chǎn)生的步態(tài)誤判、遺漏，設置錯誤狀態(tài)，將錯誤狀態(tài)裝換條件設置為一個步態(tài)持續(xù)到1/5個步態(tài)周期仍未轉(zhuǎn)移到下個步態(tài)，則判定為識別無效，轉(zhuǎn)移到初始狀態(tài)對所有條件進行計算。在步態(tài)識別過程中不斷更新最新的步態(tài)周期。

當步態(tài)識別系統(tǒng)處于初始狀態(tài)時，必須對每個轉(zhuǎn)移條件的強度進行計算，然后那個具有最高激活水平的狀態(tài)獲勝，成為新的當前狀態(tài)。根據(jù)狀態(tài)轉(zhuǎn)移表中各傳感器的特征具有一定的不明確界限的特點，在計算條件強度是加入模糊邏輯的概念。

具體策略為：（1）將傳感器數(shù)據(jù)進行模糊化處理，計算各傳感器對不同狀態(tài)的隸屬度，輸出最大隸屬度的狀態(tài)，實現(xiàn)傳感器不同狀態(tài)的量化；（2）在特征層根據(jù)各傳感器狀態(tài)對各條件的隸屬度，分別通過模糊推理計算出角度傳感器與足底壓力傳感器對應每個轉(zhuǎn)移條件的強度；（3）根據(jù)不同類型傳感器對不同條件的強弱屬性進行加權(quán)融合，篩選出具有最高強度的激活條件，實現(xiàn)狀態(tài)的轉(zhuǎn)移。而當步態(tài)識別系統(tǒng)處于標志性步態(tài)的狀態(tài)下時，因為人體的步態(tài)是連續(xù)依次變化的，故只需要計算轉(zhuǎn)移到下個步態(tài)的條件是否滿足閾值，即可完成狀態(tài)的轉(zhuǎn)移。

在融合過程中采用的模糊推理規(guī)則為：

其中Ai，Bj，…為不同輸入模糊化后得到的不同狀態(tài)，Rp為解模糊化后輸出的不同狀態(tài)。

在確定傳感器狀態(tài)中運用的模糊計算方法為：

其中，μAi，μBj為傳感器信息的數(shù)值及變化率對不同狀態(tài)的隸屬度采用乘運算得到傳感器采用乘運算得到傳感器對應狀態(tài)的隸屬度μRP。

在確定兩種類型傳感器對應各轉(zhuǎn)移條件的強度的模糊計算方法為：

該計算中，μAi，μBj…為各傳感器狀態(tài)對不同轉(zhuǎn)移條件的隸屬度滋RP，采用加權(quán)運算得到各角度傳感器與各足底壓力傳感器融合后的對不同轉(zhuǎn)移條件的隸屬度。最后針對支撐狀態(tài)與擺動狀態(tài)，主要倚靠傳感器類型不同，將兩者得出的條件隸屬度再一次加權(quán)融合，得到最后各條件的強度。各模糊推理過程的解模糊方法均采用的是最大隸屬度輸出的方法。根據(jù)以上融合推理過程，最終得到行走過程中不同步態(tài)的連續(xù)有效的識別。

3 實驗結(jié)果與分析

為了驗證本文提出的步態(tài)識別方法，本文采用步態(tài)傳感器系統(tǒng)針對身高1.75m,體重65kg的男性進行步態(tài)實驗，分別采集2.4km/h、3.6km/h、4.8km/h、6.0km/h四種速率。并采用MATLAB程序進行編程，完成數(shù)據(jù)的處理及步態(tài)識別。圖7所示各速率下的識別結(jié)果，各圖中出現(xiàn)的短暫的信號異常是錯誤狀態(tài)設置起了作用，即GE狀態(tài)。

本文采用步態(tài)相位定義中的各步態(tài)占比對識別到的結(jié)果進行驗證。步態(tài)相位定義中，GP1相位占整個步態(tài)周期的12%，GP2-GP3占38%，GP4占12%，GP5-GP7占38%。本文每個速度下采用50個步態(tài)周期進行步態(tài)識別驗證，并且對每個周期開始點進行校正，得到各速率狀態(tài)下的準確率如表2所示。從表中可以看出每種速率下步態(tài)識別的正確率可以達到95%左右，其中GP1的正確率隨著速率的增加而減少，其原因可能是速率越快該階段對地面沖力越大，該階段占步態(tài)周期相應縮短；在GP4階段正確率相對較低，該階段時間較短且定義較模糊，對該階段的識別提出了一定的難度。

圖7 不同速率狀態(tài)下的步態(tài)識別結(jié)果

表2 不同速率狀態(tài)下步態(tài)識別準確率（單位：%）

4 結(jié)語

本文針對步行狀態(tài)是一系列有次序的運動及步態(tài)相位劃分界限不完全精確的特性，提出了加入模糊邏輯概念的有限狀態(tài)機方法對下肢下肢各關節(jié)運動角度信號及足底分布式壓力信號進行融合步態(tài)識別。本文通過大量的實驗樣本作為數(shù)據(jù)支撐，驗證了該方法分別在四個速率下步行的步行模式下都具有極高的準確率，能夠快速有效地應對步行過程中速度變換下的步態(tài)識別。

本文的不足及待深入研究的方向：（1）提出的方法在前足支撐階段的識別率相對較低，需要對特征和規(guī)則進行優(yōu)化。（2）傳感器系統(tǒng)提供的信息較多，在下一步工作中，可以考慮識別更多的步態(tài)信息，或是在減少部分傳感器的基礎上同時仍能正確識別出正確的步態(tài)相位。（3）增加更多的識別動作，如跑步、上下樓梯、下蹲等。

[1]StrausserK A，Kazerooni H.The Development and Testing of a Human Machine Interface for a Mobile Medical Exoskeleton[C].2011 IEEE International Conference on Intelligent Robots and Systems.San Francisco，CA，USA:2011.

[2]Domen Novak，Robert Riener.A Survey of Sensor Fusion Methods in Wearable Robotics[J].Robotics and Autonomous Systems，November 2015，Vol.73:155-170.

[3]J.L.Collinger，B.Wodlinger，J.E.Downey，etc.High-performance Neuroprosthetic Control by an Individual with Tetraplegia[J].The Lancet，2013，Vol.381:557-564.

[4]C.Fleischer，G.Hommel.A Human-exoskeleton Interface Utilizing Electromyography[J].IEEE Transactions on Robot，2008，Vol.24（4）:872-882.

[5]Hiroaki Kawainoto，Siiwoong Lee，Shigehiro Kanbe，etc.Power Assist Method for HAL-3 using EMG-based Feedback Controller[C]// IEEE International Conference on Systems，Man and Cybernetics.Washington，USA:2003.

[6]Andrew Chu，H.Kazerooni，Adam Zoss.On the Biomimetic Design of the Berkeley Lower Extremity Exoskeleton（BLEEX）[C]//IEEE International Conference on Robotics and Automation.Barcelona，Spain:2005.

[7]Lihua Huang，John Ryan Steger，H.Kazerooni.Hybrid Control of the Berkeley Lower Extremity Exoskeleton（BLEEX）[C]//2005 ASME International Mechanical Engineering Congress and Exposition.Orlando，F(xiàn)lorida USA:2005.

[8]Savelberga H，A.L.H.de Langec，Assessment of the Horizontal，F(xiàn)ore-aft Component of the Ground Reaction Force from Insole Pressure Patterns by Using Artificial Neural Networks[J].Clinical Biomechanics，1999，Vol.14（8）:585-592.

[9]I.P.I.Pappas，T.Keller，S.Mangold，etc.A Reliable Gyroscope-Based Gait-Phase Detection Sensor Embedded in a Shoe Insole[J]. IEEE Sensors Journal，2004，vol.4（2）:268-274.

[10]Milica Djuric.Automatic Recognition of Gait Phases from Accelerations of Leg Segments[C].9th Symposium on Neural Network Applications in Electrical Engineering Belgrade，Serbia:2008.

[11]高增桂，孫守遷，張克俊等.面向外骨骼機器人人機交互的步態(tài)數(shù)據(jù)獲取系統(tǒng)及識別模型[J].計算機科學，2014，41（10）：42-49.

[12]J.Rose，J.G.Gamble.Human Walking[M].2nd ed.Baltimore:Williams&Wilkins，1994.

Research on Gait Recognition Based on Multi-Sensor Fusion

ZHOU Jie

（College of Electrical Engineering，Southwest Jiaotong University，Chengdu 262500）

Accurate gait phase recognition is the premise and foundation for lower extremity exoskeleton robot motion intention judging and control strategy formulating.Through the human lower limb motion information detection system,gets the lower limb joint motion angle and plan-tar distributed pressure,and extracts effective signal features based on the analysis of kinematic gait.According to the characteristics of gait's inaccurate order and limit by normal walking,puts forward a finite state machine method combined of fuzzy logic to realize gait recognition,which fusing multi-sensor information for the motion signals provided by the lower limb sensor system.Experimental results proved this algorithm can achieve effective and accurate gait recognition on the four walking rates of 2.4km/h,3.6km/h,4.8km/h and 6.0km/h.

Gait Recognition；Joint Movement Angle;Fuzzy Logic;Finite State Machine;Sensor Fusion

1007-1423（2016）08-0040-06

10.3969/j.issn.1007-1423.2016.08.008

2015-03-01

2016-03-10

周潔（1990～），女，江蘇省南京人，碩士研究生，研究方向為下肢外骨骼機器人、數(shù)據(jù)分析與識別