基于慣性傳感器的人體行為識別系統設計

冉憲宇

(陜西國防工業職業技術學院， 計算機與軟件學院， 陜西， 西安 710300)

0 引言

人體行為識別主要是利用模式識別理論中的方法對人體的運動信息進行處理，實現行為類別的劃分，在醫療保健、體感游戲、智能家居、影視創作、人工智能等多個領域有廣泛應用。但人體動作復雜多變，具有多樣性以及柔韌性且存在個體差異，精準識別非常困難，受惠于MEMS微機電系統在技術上的快速發展，傳感器在價格、尺寸、能耗、質量等多個方面得以改進，穿戴式設備為人體行為識別的數據采集提供了便捷可靠的技術手段。因此，基于傳感器技術設計人體行為識別系統，利用分類算法提升識別準確率，為其在各個領域的應用提供技術保障。

1 基于慣性傳感器進行人體行為識別整體方案

1.1 人體行為識別現狀

目前人體行為識別大體上包括基于計算機視覺、基于傳感器兩類方法，基于計算機視覺的方法在過去十幾年取得了很多成就，但要求存儲的信息量大，監測區域受限，且成像設備不利于攜帶。早期階段傳感器也存在類似問題，研究成果并不理想，隨著MEMS技術的發展，傳感器的限制越來越少，推廣范圍逐步增大，因此也成為熱門研究方向。

1.2 慣性傳感器優勢

計算機視覺方法的智能設備成本較高，不利于推廣，且受光照、遮擋、陰影等環境因素影響較大，而且無法進行大范圍的監測、成像設備體積大、不便攜帶。相較于基于計算機視覺的識別方法，基于慣性傳感器的方法具有更多優勢：首先，采集設備集成度高且價格低，利于推廣；其次，不受光照、障礙物等因素影響，監測范圍廣，可實現大范圍監測；再次，采集設備質量輕、體積小，便于攜帶，更容易集成到各類電子產品之中；最后，傳感器續航能力高，靈敏度高且功耗低，可實現長期監測[1]。

1.3 整體識別流程

為了提升識別精度，傳感器數量非常關鍵，過多不利于佩戴，舒適度降低，而且信息量增加也會導致運算復雜度提高，單個傳感器又存在信息太少影響識別精度問題。因此引出對信號處理環節的研究，進行特征提取、關鍵特征選擇，從算法上提升識別性能。設計系統的整體識別流程如圖1所示。

圖1 基于慣性傳感器進行人體行為識別整體流程

2 人體行為識別系統硬件部分設計

2.1 數據采集模塊

人體動作由一系列的肢體行為構成，包括運動信息，因此采集傳感器在選型時綜合考慮數據整合量、體積、成本等因素后選擇mpu9250作為慣性傳感器，采集過程如圖2所示。將傳感器節點與人體關節進行綁定實現數據采集，為了提升傳感器采集數據的準確性，采用多點佩戴方式，選擇人體運動涉及的主要關節，通過增加傳感器數量確保數據不會出現過大的偏差。采集模塊包括九軸慣性傳感器(三軸加速度計、三軸陀螺儀、三軸磁力計)、微處理器[2]。數據通過ZigBee無線傳輸網絡發送至信息接收模塊。

圖2 慣性傳感器采集流程

2.2 信息接收模塊

信息接收模塊主要實現慣性傳感器與計算服務器之間的數據通信，利用USB接口連接計算機，將數據采集模塊發送的信息通過串口傳輸至計算機處理。主要包括USB轉串口及ZigBee無線網絡構成。由于行為動作捕捉過程中慣性傳感器屬于自給系統，缺少參考點，沒辦法獲得空間位移信息，因此采用精度高、性能好的超寬帶定位技術通過納秒級窄脈沖實現人體位移信息采集。

3 人體行為識別系統軟件部分設計

3.1 數據存儲模塊

根據人體行為識別系統的需求，為了方便處理模塊調用采集到的行為數據，存儲過程中應注重結構簡單、占用空間較小，因此利用BVH格式文件進行存儲以便于數據的讀取。由于人體行為存在個體差異，利用BVH文件中關節的相對位置可調整人體比例。將根節點作為Hips節點，改變其參數實現三維空間的位移。

將每個完整的人體行為存儲為一個BVH文件，利用文件名進行區分，文件名采用“行為編號_人員編號_實驗次序編號.bvh”格式[3]。

3.2 三維重現模塊

人體的關節構成可采用樹狀層次結構進行表示，由一個根節點及多個葉子節點組成。主要關節模型如圖3所示。

圖3 人體主要關節模型

形體的每一次運動過程都可以看做是相對于父節點的關節的運動，由于髖關節活動范圍有限，因此將髖關節作為根節點，將慣性傳感器節點固定在人體關節，即可捕捉行為數據。慣性傳感器獲取人體行為動作傳輸至計算機之后，根據行為數據構建三維人體模型進行行為重現，實現可視化行為展示。

利用Unity3D實現人體模型的三維實時展示，將原始數據經過處理后生成姿態的四元數，采用米作為統一度量單位，站立位置作為初始原點，初始姿態為T字形，人體模型的中心作為軸心，對綁定了慣性傳感器的關節進行設置，實時反饋電量、綁定狀態等信息，實現人體行為的實時捕捉與展示[4]。

3.3 基于SVM算法的人體行為識別模塊

對BVH文件中存儲的人體行為信息進行數據預處理以及特征提取，提取出影響較大的特征矢量，采用分類算法實現人體行為分類實現行為識別。

SVM(支持向量機)算法的學習策略為間隔最大化，將線性數據分割后利用一條直線將數據分開，在三維數據集時，則是利用一個平面進行分割。SVM算法需要找出最接近分割之后超平面的點，以此計算最大支持向量與分割面之間的距離[5]。設訓練數據集為T={(x1,y1),(x2,y2),(xN,yN)}，利用懲罰參數C>0構造并求解凸二次規劃問題：

(1)

ω*·x+b*=0

(2)

式(4)中w為向量，b為常數，則決策函數可記作：

f(x)=sign(ω*·x+b*)

(3)

4 人體行為識別效果驗證

4.1 實驗準備

為了驗證系統的識別效果，采用8個人員進行測試與識別。在受測人員的10個主要關節綁定慣性傳感器：頭、腰、左/右肩、左/右肘、左/右髖、左/右膝。通過這些核心關節的運行狀態判斷人體行為。設計包括上肢、軀干、下肢在內的16種行為動作如表1所示，每人每個動作做4次，每個動作要求在10 s內完成。

表1 行為定義

由于受測試人員存在動作幅度、骨骼比例等差異，因此采用BVH文件進行信息存儲，在BVH文件中可以修改關節點的相對位置，設定人體模型的身體比例，利用歐拉角對骨骼與肢體關節旋轉數據進行描述，通過調整根關節的參數實現人體模型的位移變化，以此減少不同測試人員之間數據采集的誤差。

4.2 數據預處理及特征提取

4.2.1 數據預處理

采集到的數據可能存在異常情況導致最終分類結果不準確，因此需要對原始數據進行預處理，剔除異常數據。經過綜合考慮采用四分位距法統計數據的離散程度，剔除異常值。將采集到的人體行為數據從小到大排序后利用三個點Q1、Q2、Q3分割為四等份，三個點分別是第一、第二、第三四分位數，利用箱型圖篩選異常值，如圖4所示[6]。

圖4 四分位距箱型圖

其中，U為上界，D為下界，則：

U=Q1-k(Q3-Q1)

(4)

D=Q3+k(Q3-Q1)

(5)

式中，k=1.5為中度異常，k=3為極其異常，本文取k=1.5，以此計算得到的離群點即為異常數據，對每個動作的原始數據進行預處理，使數據更加平穩，沒有跳躍點。

4.2.2 特征提取

為了方便后續處理，將BVH文件的數據記作數組形式data[k][e][n]，k代表慣性傳感器數量，e為傳感器節點的歐拉角，n為數據幀數。由于本次實驗中采用10個慣性傳感器，因此k=10，每個傳感器節點選擇3個歐拉角，因此e=3，選擇均值、最大值、最小值、標準差、方差、中值、極差、斜率絕對值、能量9個特征代表人體行為特征，因此n=9。最終BVH文件提取的一組行為數據的數組可記作data[10][3][9]。提取后共產生270個特征。

4.2.3 特征降維

由于特征過多數據訓練時間會非常長，計算過于復雜。因此需要利用主成分分析法選取其中關鍵特征，步驟如下：

(1) 選擇矩陣的一行記作一個特征，求每個特征的均值，利用“原始數據-均值”作為新的中心化后的值。

(3) 根據矩陣S求解特征值、特征向量。

(5) 利用投影矩陣求得降維之后的特征。

經過多次試驗，當損失率取0.08時，可提取60個主成分，滿足實驗要求。因此將特征向量的維度從270維降至60維。

4.2.4 歸一化處理

4.3 識別步驟

由于本文識別的人體行為動作包括16類，因此利用系統中基于SVM算法的人體行為識別模塊構建16類分類器，實驗采集8個人員的動作信息，開啟軟件相應串口后連接慣性傳感器，受測試人員保持T字型靜止，打開慣性傳感器進行自動校準后捕捉人體行為，每個測試人員每個動作重復4次，則每個動作均會產生32個樣本數據，將其中70%作為訓練數據，30%作為測試數據，代入系統的人體行為識別模塊，經過數據預處理、特征提取、特征降維以及歸一化處理后，根據SVM分類算法，采用高斯徑向基函數為SVM的核函數，懲罰因子C=1，利用Python語言編程實現人體行為數據識別，識別率=(識別正確數/實驗總數)*100%，識別結果如表2所示。

表2 行為識別結果

4.4 識別效果分析

根據得到的識別率可以看出，系統設計的分類器對16種人體行為的平均識別準確率可達到86.72%，其中對揮手、交叉、走路等行為識別效果最好，達到100%，對畫圓和畫X識別效果最差，僅為62.5%。由此可以看出，對于動作幅度較大且與其他行為區別比較明顯的行為識別準確率較高，對于畫圓、畫X這種相似行為的動作則識別率會有所降低。

5 總結

人體行為識別系統在硬件部分包括慣性傳感器采集數據、USB串口接收數據、超寬帶定位模塊，并通過SVM算法進行行為分類，利用UNITY3D技術實現動作的可視化重現，經過實際測試驗證整體識別效果較好。但對于幅度不明顯且存在相似動作的行為識別率會有所降低，且不同年齡段、不同身高、不同體重人員會存在個體差異，后續將在特征值提取方面進一步優化，提升系統識別的準確率。