基于機器學習的人體虛擬慣性測量組件構建方法

錢偉行，祝燕華，謝 非，王云濤，張 研，宋天威

（1. 南京師范大學 電氣與自動化工程學院，南京 210042；2. 東南大學 儀器科學與工程學院，南京 210096）

基于機器學習的人體虛擬慣性測量組件構建方法

錢偉行1，祝燕華2，謝 非1，王云濤1，張 研1，宋天威1

（1. 南京師范大學 電氣與自動化工程學院，南京 210042；2. 東南大學 儀器科學與工程學院，南京 210096）

利用人體特征輔助行人導航與外骨骼機器人控制是近年來導航與機器人領域中的熱點研究方向。針對慣性測量組件足部安裝方式在過載較高時無法實現有效測量的問題，研究了一種基于機器學習的人體虛擬慣性測量組件構建方法。該方法以同步采集安裝于足部與下肢其他部位的慣性測量組件的輸出作為數據樣本，通過遺傳算法改進的誤差反向傳播（GA-BP）神經網絡實現虛擬慣性測量組件的構建。為進一步改善訓練效果，采用基于步態相位檢測方法對訓練樣本進行篩選。基于Anybody與MATLAB的聯合仿真結果表明，本文所研究的方法可實現采用安裝于髖關節附近位置的慣性測量組件數據，有效模擬足部位置的慣性測量組件數據。該方法對未經訓練的步態也有一定的適應性。本文所研究的方法可進一步應用于行人精確定位與外骨骼機器人控制等領域。

人體運動學模型；虛擬傳感器；機器學習；步態檢測；行人導航

微慣性測量組件應用在穿戴式智能設備（醫療康復外骨骼機器人、行人導航系統、智能穿戴式設備）中，可以實現對人體運動信息的監測功能，是近年來微慣性技術研究的熱點之一。瑞典皇家理工學院、加拿大卡爾加里大學、芬蘭坦佩雷大學、北京理工大學、東南大學等高校的研究人員采用微慣性技術設計并實現了多種基于人體運動特征的行人導航算法，如PDR（Pedestrian Dead-Reckoning）算法與基于零速更新（ZUPT）的SINS算法等[1-3]，美國加州大學、德國柏林科技大學、中國科學技術大學、上海交通大學、南京航空航天大學等高校已將微慣性技術運用于穿戴式機器人與人體運動模式識別領域[4-7]。目前采用微慣性傳感器及其組件進行人體運動實時測量尚存在如下問題：

1）肢體末端（如足部、手掌）是人體運動精確監測的必要位置，但受到人體生理結構特征的影響，肢體末端的運動過載幅度較大，使傳感器在選型與使用時難以兼顧測量精度與量程；

2）為實時監測人體的復雜運動，大量安裝微慣性測量組件（如荷蘭XSENS公司的人體運動捕捉系統）將大幅增加系統硬件的復雜性，從而影響其可靠性。

針對上述問題，本文提出了一種基于機器學習的人體虛擬慣性測量組件構建方法，該方法在人體運動學模型的基礎上，采用基于運動模態識別的訓練樣本自適應提取方法，通過機器學習構建不同肢節之間加速度與角速度的非線性關系，實現虛擬慣性測量組件的構建。該方法旨在解決人體較大運動過載時的慣性測量超限等問題，同時減小硬件復雜性，為外骨骼機器人控制、行人導航、人體運動捕捉等相關功能系統的設計提供新的思路。

1 人體運動學中的慣性信息模型

本文以下肢典型運動在矢狀面內的運動變化為例簡要說明虛擬慣性傳感器組件的構建機理。將Hanavan 15剛體人體模型簡化為4關節5連桿的人體模型[5]，如圖1所示。定義固定坐標系與廣義坐標：固定坐標系以支撐腿的踝關節為原點，徑向為X軸方向，可認為人體在沿著某一航向角運動時，豎直向上為Y方向，Z方向由右手定則確定；各個廣義坐標θi（i=1～5）為各個連桿和豎直軸之間的絕對夾角，順時針方向為正，人體的姿態可以由該固定坐標系原點和各廣義坐標唯一確定[5-6]。

圖1中(xh，yh)為人體髖關節在固定坐標系中的坐標，(xe，ye)為擺動小腿末端在固定坐標系中的坐標，(xb，yb)為以支撐腿的踝關節在廣義坐標系中的坐標，l4與l5分別為擺動腿的小腿與大腿長度，θ4與θ5分別為擺動腿的小腿與大腿的廣義坐標，其他變量定義參考文獻[5]和[6]，本文不再贅述。根據正向運動學理論，可得如圖1所示的擺動小腿末端與髖關節的相對位姿關系：

對公式(1)與(2)求時間的二階導數，可得：

圖1 典型運動中的人體下肢簡化模型Fig.1 Simplified model of human lower limbs in typical movement

由公式(3)與(4)可知：(Xh,Yh)為大腿相對固定坐標系的運動加速度在固定坐標系上的投影，由相關基本定義可知，固定坐標系可視為自由方位導航坐標系的原點由人體質心平移到了支撐踝關節[7]，因此近似于加速度計的輸出在自由方位導航坐標系中的投影；同時，在中低精度慣性系統中，可忽略地球自轉角速度與人體運動速度的微小影響，在此前提下，可視為下肢運動的角速度在自由方位導航坐標系中的投影。上述人體運動學特性可推廣到人體的三維運動中。

由此可知，人體運動模型是一類包含了慣性信息（加速度與角速度）微分、積分以及三角函數混合運算的強非線性方程，在工程應用中的實時解算是較為困難的。基于上述分析，本文研究了一種基于機器學習的下肢虛擬慣性測量組件的構建方法，旨在通過穿戴于人體下肢（如髖關節附近）的微慣性測量組件的量測信息，模擬出擺動腿足部的慣性測量組件信息，以輔助行人導航與穿戴式機器人有關技術的后續研究[8]。

2 基于Anybody-MATLAB的慣性測量組件信息協同仿真方法

AnyBody人體建模仿真系統是計算機輔助的人類工效學和生物力學分析軟件，可用于模擬和分析完整的人體骨肌系統[9]。本文采用AnyBody軟件對人體髖關節處肌肉與踝關節肌肉的運動信息進行仿真，從而提取該兩位置加速度與角速度信息在固定坐標系中的三軸投影，以及下肢各肢節的實時姿態信息。AnyBody骨肌系統模型中用于提取數據的人體位置如圖2所示，即髖關節附近股骨位置、髖關節附近股骨的肌肉表面位置，以及足部質心位置。其中：髖關節附近股骨位置下文簡稱Thigh_in位置；髖關節附近股骨的肌肉表面位置為實際慣性測量組件安裝位置，下文簡稱Thigh_out位置；足部質心位置為虛擬慣性測量組件位置，下文簡稱Foot位置。

圖2 骨肌模型中實際與虛擬慣性測量組件的位置Fig.2 Locations of real and virtual inertial sensor components in musculoskeletal model

在此特別說明，人體肌肉與皮膚等柔性組織在運動中將發生一定程度的形變，其運動特性可視為在人體骨骼運動的基礎上疊加一項或多項周期性噪聲信號，該信號頻率與人體步態等因素有關，在本文的研究中暫不予考慮。在不考慮柔性組織形變的前提下，Thigh_out位置與Thigh_in位置過載信息的矢量和保持一致，與Foot位置的運動學關系都滿足公式(3)和(4)，下文將重點論述由Thigh_out位置的實際慣性測量組件構建Foot位置的虛擬慣性測量組件的過程。

本文研究的人體典型運動包括水平行走、上下樓、下蹲與起立、勻速跑步、跳躍5類常規動作，通過Anybody骨肌系統模型同步仿真固定坐標系中Thigh_out位置與Foot位置的慣性信息的三軸投影，以及這兩個位置的實時姿態信息，在MATLAB中通過固定坐標系與載體坐標系的矢量轉換函數，模擬出兩個位置上的理想六軸慣性傳感器數據，并通過慣性器件仿真函數加入典型特征的隨機誤差（假設慣性測量組件的確定性誤差已經標定，隨機誤差分別按MPU6050型低精度微慣性測量組件與XSENS MTi-300型中低精度微慣性測量組件設置[7,10]）。在此基礎上，通過相同方法生成具有上述隨機誤差特性的上下樓、下蹲與起立等動作的慣性信息，構成綜合步態慣性信息。勻速跑步與跳躍過程中的慣性信息構成方法也相同。

3 基于機器學習的虛擬慣性測量組件構建

3.1 基于GA-BP神經網絡的訓練模型構建

由本文第1節分析可知，人體運動學模型是一類強非線性方程，在工程應用中求解解析解存在一定困難。神經網絡技術是機器學習中較為成熟的分支，對于描述或求解多元高次強非線性方程組具有優良的性能[11-12]。本文采用雙隱層GA-BP神經網絡[12]結構來描述式(3)與式(4)所述的強非線性方程，神經網絡訓練模型結構如圖3所示。輸入層設置7個節點，即Thigh_out位置的三軸陀螺儀、三軸加速度計的慣性信息以及步態相位標志信息。步態相位標志信息為0至16中的其中一個整數，分別表示下落、靜止、抬起三個過程中的17個步態相位標志[10]；輸出層也設置7個節點，即Foot位置的三軸陀螺儀、三軸加速度計的慣性信息以及步態相位標志。本文將隱層的數量選為雙層，旨在加強對非線性方程描述的精確性。由于神經網絡本質上是三個非線性方程，因此與輸入層相鄰的隱層節點數取值為3，與輸出層相鄰的隱層節點數取值范圍可在8～12之間調整。

圖3 神經網絡模型結構Fig.3 Structure of neural network model

3.2 基于步態樣本自適應性提取的神經網絡訓練

神經網絡訓練中采用的樣本質量是影響網絡訓練效果的重要因素，合理選擇訓練樣本是避免網絡輸出進人局部最小值的重要條件之一。本文在虛擬慣性測量組件構建過程中，采用人體運動時下肢不同部位的慣性測量組件輸出信息作為訓練樣本。人體下肢運動同時具有復雜與單調兩種特性，即下肢運動在不同條件（如環境、運動目的、心態等）下表現出明顯的差別，但某一類步態在特定時間窗口內卻具有較強的重復性。在不采用訓練樣本篩選的前提下，2.1節中所構建的神經網絡結構在訓練中將很快進入局部最優狀態。

本文通過陀螺儀與加速度計信號進行步態相位的精確檢測，從而對神經網絡訓練樣本進行自適應提取。在誤差收斂速度減緩時，該訓練過程將只接受所設時間窗口內步態差異性超過一定閾值的慣性測量組件數據，如圖4所示。步態相位采用足部慣性測量組件中加速度計與陀螺儀信息相結合的方法進行實時檢測，具體檢測方法詳見參考文獻[7]。

3.3 虛擬慣性測量組件的性能測試與分析

GA-BP神經網絡對慣性傳感器信息預測的準確性與泛化能力是決定虛擬慣性測量組件性能的兩項關鍵因素。為分析該兩項因素，在相同人體參數的Anybody骨肌系統模型中生成上述各步態以及綜合步態下的慣性信息新樣本，以及未經訓練的跑步與跳躍步態下的慣性信息樣本。在Thigh_out位置的慣性信息樣本中分別疊加具有MPU6050與MTi-300誤差特性的隨機噪聲，作為GA-BP神經網絡的輸入，并以未加入相應噪聲的慣性信息作為泛化能力測試的基準。對比神經網絡輸出與基準慣性信息，結果分別如表1與表2所示。

圖4 GA-BP神經網絡訓練流程示意圖Fig.4 Flow chart of GA-BP neural network training

表1 神經網絡模型對陀螺儀數據的準確性與泛化能力的測試統計Tab.1 Statistics of accuracy and generalization ability of neural network model for gyroscope data

表2 神經網絡模型對加速度計數據的準確性與泛化能力的測試統計Tab.2 Statistics of accuracy and generalization ability of neural network model for accelerometer data

由表1～2可知，在GA-BP神經網絡經過訓練后，對人體運動中下肢的陀螺儀與加速度計信息均可得到一定精度的近似輸出。對于兩種不同誤差特性的陀螺儀，單一步態的誤差均值在4.2 (°)/s以內，誤差標準差比誤差均值小一個數量級，均在0.2 (°)/s以內；對于兩種不同誤差特性的加速度計，單一步態的誤差均值基本在0.41 m/s2以內，誤差標準差也比誤差均值小一個數量級，均在0.06 m/s2以內；對于包含多種步態的綜合步態數據，陀螺儀與加速度計近似輸出的誤差均值與標準差相對較大；對于相同運動模型及參數下仿真生成的未經訓練的跑步與跳躍步態，由于跑步與跳躍中出現大過載與沖擊信號的情況較頻繁，神經網絡訓練后的誤差均值與誤差標準差相對其他步態均有明顯增加。

由上述多種步態下的GA-BP神經網絡預測輸出可知，虛擬慣性測量組件數據可視為具有一定零位偏置（即表1與表2中的誤差平均值），同時具有一定振蕩特性（即表1與表2中的誤差標準差）的數據。其中：虛擬慣性測量組件的零位偏置為其主要誤差特性，且具有一定的穩定性，可通過慣性測量組件標定方法加以修正；虛擬加速度計的振蕩性誤差在量級上與MPU6050基本相當，相比MTi-300偏大；虛擬陀螺儀的振蕩性誤差在量級上與MPU6050和MTi-300均基本相當。由此可知，通過GA-BP神經網絡輸訓練得到的虛擬慣性測量組件的信息，與中低精度微慣性測量組件的誤差特性具有較強的相似性。

4 虛擬慣性測量組件構建技術在行人導航與機器人領域中的應用探討

基于機器學習的慣性測量組件構建方法，可應用于行人導航系統與外骨骼機器人的運動測量與控制，以提高系統的定位與測量、控制精度。對于行人導航系統，安裝于髖關節附近、大腿以及小腿等位置的微慣性測量組件可與安裝于足部的微慣性測量組件構成分布式結構的導航系統。在足部組件受到沖擊和高過載影響而無法有效實現信息測量與導航解算時，可通過故障檢測隔離其慣性器件與系統導航信息，而通過構建虛擬足部慣性測量組件實現導航解算，從而提高整體系統的可靠性；在足部慣性組件正常工作時，可構成基于分布式慣性測量組件陣列的行人導航系統，采用聯邦濾波提高系統整體導航性能。

在外骨骼機器人的運動測量與控制方面，本文所提出的方法可有效減少機器人各自由度上高過載導致的測量誤差，同時對減少系統中慣性測量組件的數量，降低系統成本與功耗，提高系統可靠性等均有一定促進作用。

需要指出的是，通過機器學習預測的虛擬慣性傳感器組件信息的實時性，與訓練與預測模型的復雜性、計算機硬件性能等有關，一般時延在幾十至幾百毫秒。對于外骨骼機器人的精確控制，該時延將導致控制與決策環節的延遲，從而影響整體性能。解決該問題的思路是進一步構建具有運動預測功能的機器學習模型。

5 總 結

本文提出了一種基于機器學習的人體足部虛擬慣性測量組件構建方法，旨在降低人體運動過載對行人導航系統與外骨骼機器人性能影響。該方法在人體運動學模型的基礎上，采用基于運動模態識別的訓練樣本自適應提取方法，通過GA-BP神經網絡模擬下肢加速度與角速度的非線性運動學關系，從而實現足部虛擬慣性測量組件的構建。基于MATLAB與Anybody的聯合仿真表明，該方法可有效構建中低精度的足部虛擬微慣性測量組件，滿足人體較大運動過載時的慣性測量，為外骨骼機器人、行人導航系統等智能裝備的設計與研發提供新的系統構架思路。

（References）：

[1] Xu Y, Chen X Y, Wang Y M, et al. Improved indoor pedestrian navigation method using low-cost foot-mounted AHRS and shoulder-mounted compass[J]. Journal of Chinese Inertial Technology, 2016, 24(3): 325-329.

[2] Norrdine A, Kasmi Z, Blankenbach J. Step detection for ZUPT-aided inertial pedestrian navigation system using foot-mounted permanent magnet[J]. IEEE Sensors Journal,2016, 16(17): 6766-6773.

[3] Perttula A, Lepp?koski H, Kirkko-Jaakkola M. Distributed indoor positioning system with inertial measurements and map matching[J]. IEEE Transactions on Instrumentation and Measurement, 2014, 63(11): 2682-2695.

[4] 路永樂, 張欣, 龔爽, 等. 基于MEMS 慣性傳感器的人體多運動模式識別[J]. 中國慣性技術學報, 2016,24(5): 589-594.Lu Y L, Zhang X, Gong S, et al. Recognition of multiple human motion patterns based on MEMS inertial sensors[J]. Journal of Chinese Inertial Technology, 2016, 24(5):589-594.

[5] 范淵杰. 基于sEMG與交互力等多源信號融合的下肢外骨骼康復機器人及其臨床實驗研究[D]. 上海: 上海交通大學, 2014.Fan Y J. Study on lower llimb exoskeleton for rehabilitation based on multi-source information fusion including semg & interactive force and its clinical trail[D]. Shanghai: Shanghai Jiao Tong University, 2014.

[6] 方郁. 可穿戴下肢助力機器人動力學建模及其控制研究[D]. 合肥: 中國科學技術大學, 2009.Fang Y. Research on dynamic analysis and control of the wearable power assist robot[D]. Hefei: University of Science and Technology of China, 2009.

[7] Qian W X, Xiong Z, Xie F, et al. The key technologies of pedestrian navigation based on micro inertial system and biological kinematics[C]//IEEE/ION PLANS. 2016: 613-621.

[8] ? zdemir A T, Barshan B. Detecting falls with wearable sensors using machine learning techniques[J]. Sensors,2014, 14(6): 10691-10708.

[9] 單麗君, 胡忠安. 基于AnyBody的髖關節康復訓練肌肉力的分析[J]. 大連交通大學學報, 2014, 35(1): 50-52.Shan L J, Hu Z A. Muscle force analysis of hip rehabilitation training based on anybody[J]. Journal of Dalian Jiaotong University, 2014, 35(1): 50-52.

[10] Ruppelt J, Kronenwett N, Scholz Georg. High-precision and robust indoor localization based on foot-mounted inertial sensors[C]//IEEE/ION PLANS. 2016: 67-75.

[11] Le L, Gebre-Egziabher D. Constrained networked inertial navigation for human and humanoid robot feet pose estimation[C]//IEEE/ION PLANS. 2016: 76-84.

[12] 彭基偉, 呂文華, 行鴻彥, 等. 基于改進GA-BP神經網絡的濕度傳感器的溫度補償[J]. 儀器儀表學報, 2013,34(1): 153-160.Peng J W, Lv W H, Xing H Y, et al. Temperature compensation for humidity sensor based on improved GA-BP neural network[J]. Chinese Journal of Scientific Instrument, 2013, 34(1): 153-160.

Construction of human body virtual inertial measurement component based on machine learning

QIAN Wei-xing1, ZHU Yan-hua2, XIE Fei1, WANG Yun-tao1, ZHANG Yan1, SONG Tian-wei1
(1. School of Electrical and Automation Engineering, Nanjing Normal University, Nanjing 210042, China;2. School of Instrument Science and Engineering, Southeast University, Nanjing 210096, China)

In recent years, utilizing human characteristics to assist pedestrian navigation and exoskeleton robot control is one of the hot research directions in the navigation and robotic fields. Aiming at the problem that the foot mounting method of inertial measurement module cannot achieve effective measurement at high overload, a method for constructing virtual inertial measurement component of human-body based on machine learning is studied. With the data samples being taken from the simultaneous measurements of the inertial measurement components installed on the foot and the other parts of lower limbs, the construction of the virtual inertial measurement component is realized by the genetic algorithm improved error back propagation (GA-BP) neural network. In order to further improve the training effect, the training samples are screened based on gait phase detection. The joint simulation results based on Anybody and MATLAB show that the proposed method can be used to simulate the inertial measurement component’s output data of the foot position by using the inertial measurement component installed near the hip joint, and also has certain adaptability to the untrained gaits. The proposed method can also be applied in the fields of pedestrian precise positioning and exoskeleton robot control.

human kinematics model; virtual sensor; machine learning; gait detection; pedestrian navigation

U666.1

：A

1005-6734(2017)03-0289-05

10.13695/j.cnki.12-1222/o3.2017.03.002

2017-02-23；

：2017-05-20

國家自然科學基金（61304227，61503077，61601228）；江蘇省自然科學基金（BK20141453，BK20161021）

錢偉行（1981—），男，副教授，博士，從事慣性與組合導航技術研究。E-mail: 61192@njnu.edu.cn