基于智能手機內置傳感器的人體運動狀態識別

殷曉玲，陳曉江，夏啟壽，何娟，張鵬艷，陳峰

?

基于智能手機內置傳感器的人體運動狀態識別

殷曉玲1,2，陳曉江1，夏啟壽1,2，何娟1，張鵬艷1，陳峰1

（1. 西北大學信息科學與技術學院，陜西 西安 710127；2. 池州學院數學與計算機學院，安徽 池州 247000）

針對目前智能手機識別人體運動狀態種類少、準確率低的問題，提出一種利用加速度傳感器和重力傳感器分層識別人體運動狀態的方案。首先，利用加速度和重力加速度的關系計算出與手機方向無關的慣性坐標系下的線性加速度；其次，根據人體運動頻率的變化范圍和線性加速度矢量來確定腳步的波峰和波谷位置；最后，提取線性加速度在時域上的特征向量，使用層次支持向量機方法分層識別人體運動狀態。實驗結果表明，該方法能有效識別人體6種日常運動狀態，準確率達到93.37%。

運動狀態識別；層次支持向量機；智能手機傳感器；時域特征

1 引言

隨著智能手機的不斷發展，智能手機中嵌入了各式各樣的傳感器，如重力傳感器、加速度傳感器和陀螺儀等，使手機的功能變得越來越強大。利用智能手機中的傳感器對人體運動狀態進行識別，正在成為相關領域的研究熱點。該類研究是通過手機中的傳感器采集與人體活動相關的數據來識別手機攜帶者的運動狀態。

在人體運動狀態識別方面，智能手機與其他可穿戴設備相比具有不受外部環境限制、不需要額外增加設備、不妨礙日常生活等優點。智能手機除了用于健康監控、智能家居、智能監控外，還可以在病人監護、運動評估和交通行為監測等方面挖掘其應用價值。

現有的研究在人體運動狀態識別類型和識別精度方面均取得了不錯的效果，但是只有少數研究者考慮了智能手機放置位置[1-3]對人體運動狀態識別的影響。運動傳感器對身體位置的敏感性是智能手機進行運動狀態識別的挑戰之一。在大多數研究中，均將手機放置的位置保持不變，因為位置的變化可能導致運動狀態識別性能的下降。

有些傳感器對方向的變化很敏感，例如加速度傳感器和陀螺儀，手機放置的方向會影響運動狀態識別效果[4-5]。由于缺乏方向獨立性，用戶需要將手機置于特定的方向，限制了用戶使用智能手機的方式。因此，為了方便用戶使用，運動狀態識別方案應該與手機方向無關，手機可以在任意方向識別人體的運動狀態。方向無關性主要通過以下2種方法實現：1) 使用與方向無關的特征向量，如使用加速度矢量和而不是其各自的三軸值來計算特征向量，因為加速度矢量和的大小對于方向的變化不敏感，但這種方法對運動狀態的識別有一定的影響；2) 使用信號轉換，將智能手機的坐標系轉換成慣性坐標系來抵消方位變化[6]，與方法1)相比，如果能夠實現準確轉換，將有利于提高人體運動狀態識別的準確率。

在運動狀態識別中特征向量的提取起著至關重要的作用。從傳感器數據中提取的特征向量主要有時域特征向量和頻域特征向量2類。提取頻域特征向量時需要進行傅里葉變換[7]，計算負載較大。數據采集時，由于受環境的干擾，采集到的數據存在抖動和噪聲脈沖，影響特征向量的最大值或最小值。

針對以上問題，本文從手機攜帶方式、與手機方向的無關性和時域特征向量3個方面進行研究，使用層次支持向量機（H-SVM，hierarchical support vector machine）方法對日常生活中具有代表性的運動狀態進行識別，為生活健康提供監控。根據文獻[8]可知，人的心臟代謝的健康與中等運動強度有一定的關系。因此，本文將靜止（站立/靜坐）、行走、跑步、上樓、下樓和騎行6種日常運動狀態作為研究對象，具有較高的研究價值。本文選擇胸口、上臂、褲前袋、褲后袋和腰部這5個日常生活中人們常放置手機的部位作為手機攜帶方式。根據線性加速度特征向量的取值和對人體運動的先驗知識，先對6種運動狀態進行分層，再采用H-SVM方法對運動狀態進行識別。

本文的主要貢獻如下。

1) 根據人體運動狀態的特征，設計并實現了一個分層識別人體運動狀態系統。當用戶使用不同的手機攜帶方式并且在手機隨機擺放的情況下，系統能有效識別出日常生活中用戶的6種運動狀態。

2) 提出了一種手機坐標系與慣性坐標系的實時轉換算法。通過手機坐標系下加速度和重力加速度之間的關系，精確計算慣性坐標系下人體運動的線性加速度，避免了只使用線性加速度轉換導致的轉換精度不高的問題[9-12]，轉換后的運動數據真實反映了人體的運動狀態，而且與手機放置方向無關，提高了用戶使用手機的自由度。

3) 設計了尋找慣性坐標系下線性加速度的最大波峰點和最小波谷點的腳步識別算法。利用人體日常運動頻率為1~3 Hz[13]的特性，提高了腳步識別算法的計步準確率，有效計算時間窗口內腳步的最大值均值和最小值均值，提高了運動狀態識別的準確率。

2 研究背景及相關工作

基于傳感器的運動狀態識別，國內外學者已經有了較長時間的研究。文獻[14]把單個加速度傳感器固定在人體的骨盆附近，對人體站立、跑步和刷牙等9種運動狀態進行識別，并取得了較好的效果。文獻[15]在室內使用多個傳感器組建傳感器網絡，識別人體在室內的多種活動。文獻[16]提出了基于單個加速度傳感器系統，可以識別出5種運動狀態，識別的準確率達到94%。文獻[17]通過可穿戴的多個傳感器設備，對人體的運動狀態進行實時識別，并根據運動狀態來計算人體運動時的能量消耗。文獻[18]提出一種分級預測模型對人體靜態、動態和過渡活動進行分類，能識別人體的15種活動，并取得了令人滿意的識別精度。

以上研究面臨的一個共同問題就是需要獨立的設備并且佩戴在身體的某個特定部位，這樣會增加成本并給行動帶來不便，另外，還需要對多個傳感器數據進行分析整合，帶來較大的計算開銷，實時性較差，很難達到真正意義上的普及。

文獻[19]使用Android設備識別出高精度的活動，但是識別精度與Android設備放置的方向有關。文獻[20]在智能手機中完成數據采集、特征向量提取和分類識別，識別步行、跑步、騎車、開車、坐/站5種日常活動，但是采集數據時手機需放在固定的位置，并且使用了42個特征向量，增加了手機的負載。文獻[21]提出智能手機采集腰部數據檢測摔倒模型，但手機必須固定在腰部位置。文獻[22]采用線性加速度傳感器和陀螺儀對方向進行校正，使識別的準確率提升到93%，但與文獻[21]相同，采樣時手機固定在某一特定的位置。文獻[23]對加速度傳感器數據進行離散小波變換，將每層高低頻的能量作為運動特征，使用樸素貝葉斯和多層感知器的分類方法對7種運動（靜止、行走、跳、沖刺跑、擊球、截球、運球）分類，識別的準確率最高達到87%，同樣，該方法需將傳感器固定于身體特定位置才能進行識別，降低了靈活性。文獻[24]研究了數據采集與傳感器位置的無關性，但識別精度不及固定傳感器的方法。文獻[25]將動作傳感器在時序前后采集的數據作為上下文來改進用戶活動識別，提高了動作識別的精度，但是實驗的數據來自固定于胸前的傳感器。文獻[26]對比智能手機中三軸加速度傳感器和陀螺儀在單獨使用和聯合使用情況下對走、上樓、下樓、坐、站和躺6種狀態的識別，提出了一種新的特征選擇方法，構造了一個具有較好泛化能力的在線活動識別器，降低了智能手機的功耗，但是沒有對跑步和騎行運動狀態進行研究，同時選擇了運動數據在頻域上的特征向量，增加了手機負載。文獻[27]聯合使用手機內置傳感器和手腕運動傳感器，得到更多的上下文信息，識別了13種生活中復雜的運動，但是系統增加了額外的傳感器。文獻[28]使用線性加速度傳感器的標準差作為特征向量識別站立、行走和跑步3種運動狀態，準確率達到98%以上，但是識別的運動狀態較少。文獻[29]采用傳感器在時域、頻域和時頻域上的特征向量，用近鄰算法、隨機森林算法和支持向量機算法對手機在不同攜帶方式下不同的運動狀態進行分析。文獻[30]把運動狀態分為上樓、下樓、走路、跑步、靜坐和站立6類，在驗證系統的識別效果時只用了3組用戶的實驗數據，而且沒明確手機的攜帶方式，同時缺少了騎行這一常見的運動。

針對以上問題，本文采用智能手機中的線性加速度和重力加速度來識別生活中常見的6種運動狀態。

3 數據采集及處理

本節使用手機加速度傳感器和重力傳感器采集人體運動狀態數據，然后對數據進行校準、平滑、分割、與手機方向無關性處理。圖1為人體運動狀態識別系統的結構。

圖1 人體運動狀態識別系統的結構

3.1 數據采集

本文在Android設備上開發了一個數據采集應用程序，應用程序可以安裝在Android 4.0以上的設備上。在程序運行時，每隔30 ms讀取加速度傳感器和重力傳感器三軸數據，然后將其以明文方式存儲在手機本地test文件夾中。在測試階段，將原始數據傳輸到后端服務器。實驗使用5種不同型號的智能手機進行數據采集，如表1所示。

表1 實驗中使用手機型號

本實驗邀請了在校的20位大學生作為實驗者，其中男性15名，女性5名，年齡分布在18~22歲，體重45~80 kg，身高155~180 cm。數據采集時，將5部手機分別放置在實驗者的胸口、上臂、褲前袋、褲后袋和腰部這5個部位。為使每部手機都能采集到不同部位的運動狀態，每位實驗者在同一種運動狀態中進行5輪數據采集，每完成一輪數據采集后，循環更換手機位置，共收集每位實驗者的30輪數據（5輪采集，6種運動狀態）。

在實驗設置中，上樓和下樓運動狀態是在8層教學樓的樓梯上完成的，行走和騎行運動狀態是在學校的運動場完成的，靜止狀態是在教室內完成的。為了確保每個實驗的運動數據接近正常生活，本文沒有控制運動的速度和手機放置的方向，每2輪實驗之間讓實驗者休息并改變5部手機的攜帶位置和方向。每輪數據采集的持續時間不少于2 min，共收集6 000 min的數據進行驗證。

3.2 數據校準

由于傳感器在制造和安裝過程中存在一定的偏差，影響傳感器數據的準確獲取[31]。為了盡可能地減少傳感器獲取數據的固有偏差，保證數據的準確性和不同加速度傳感器之間數據的一致性，國內外學者針對三軸加速度傳感器的校準進行了研究。文獻[32]使用最大似然求解方法，對加速度傳感器進行自動校正，提高了加速度傳感器的校準精度。文獻[33]先對原始加速度傳感器數據進行預處理，再使用遺傳算法最優化求解校準參數，簡化了傳統標定方法步驟。文獻[34]利用當地重力加速度作為標定基準，使用線性最小二乘法對加速度傳感器進行校準。文獻[35]使用高斯?牛頓迭代法對加速度傳感器進行校準。本文針對加速度傳感器和重力加速度傳感器軸上的輸出的數據，使用縮放矩陣和偏置矩陣校準加速度數據矢量[,,]T，如式(1)所示。其中，為3×3的縮放矩陣，11、22、33為加速度傳感器的標度系數，s(≠)為加速傳感器的安裝誤差系數，矩陣校正加速度傳感器的零位偏差。

靜止時，加速度傳感器數據和重力傳感器數據三軸輸出值、、的平方和等于當地重力加速度的平方，如式(2)所示，對應的線性加速度矢量和為0 m/s2，但是手機獲取的線性加速度輸出并不總是滿足這一條件。

通過采集靜止狀態下加速度傳感器和重力加速度傳感器輸出值，利用差分進化的混合粒子群優化（DE-PSO, differential evolution of particle swarm optimization）算法求解非線性方程組[36]，構造目標函數如式(3)所示。

其中，i為靜止狀態下測試的數據數量，g0為當地的重力加速度，通過最小化目標函數即可得到S和B。靜止狀態下加速度傳感器數據和重力傳感器數據如圖2所示，靜止狀態下加速度數據校準前后對比如圖3所示，經過校準后靜止狀態下加速度數據接近9.81 m/s2，滿足對數據進一步處理的需求。與高斯–牛頓迭代法相比，DE-PSO算法運行速度較快，仿真時間較短，誤差較小，適合智能手機中加速度傳感器數據的校準。

圖3 手機靜止狀態下加速度傳感器數據校準前后對比

3.3 數據濾波

經過校準處理后，線性加速度矢量和應能夠真實地體現人體運動狀態。本文研究的運動狀態除靜止狀態外，其他的運動狀態都是周期運動。以行走為例，從一側腳跟落地開始到其再次落地構成了一個步態周期，雙腳交叉依次進行，由此引起手機加速度傳感器數據變化應該呈現類似于正弦波型，如圖4所示。圖5展示了用戶攜帶手機運動時，某一段時間內加速度傳感器數據變化情況，與理想狀態波形有較大的差別。由于傳感器數據的不穩定性，即使手機處于靜止狀態，其數據也普遍存在抖動現象，有時候甚至會存在脈沖。本文采取滑動加權均值辦法對傳感器數據抖動和脈沖噪聲進行處理，降低此類噪聲對傳感器數據的影響。滑動加權均值辦法是在一個包含21個數據點的窗口內，用窗口內的幾個數據點的權重比之和代表該值的大小，實現數據的平滑處理，如式(4)所示。

圖4 理想狀態下步伐的加速度數據

圖5 加速度傳感器的原始數據

其中，n為窗口中數據的長度，α、β為權重。滑動加權均值濾波可以對數據抖動進行有效的處理，平滑效果與窗口2k+1和權重α的取值都有關，在α一定的情況下，2k+1越大，平滑效果越好，失真的程度也就越高，而窗口起始和結束的k個數據的平滑與β的取值有關。當α=0.2，β=0.8時，k分別取3、7和11時平滑的效果如圖6所示；當k=7，β=0.8時，α分別取0.2、0.6和0.9時平滑的效果如圖7所示。通過多次實驗并與卡爾曼濾波比較，選取α=0.2，β=0.8，k=7能夠得到較好的平滑效果，如圖8所示。與卡爾曼濾波相比，這種濾波方法的降噪性能不夠好，但計算過程簡單快捷，這意味著智能手機的計算負載更輕。與圖5相比，采集到的原始數據經過平滑處理之后，數據質量和平滑度都有了明顯的提高。

圖7 α取不同值時加權濾波

圖8 過濾后的加速度數據

3.4 數據分割

經過校準和濾波處理后的傳感器時序數據雖然已接近理想狀態，但是數據序列較長。如果對時序數據中每個采樣點都進行特征向量計算，雖然單次計算的時間最短，但是隨著檢測次數的增多，會導致總的檢測時間過長，嚴重影響系統的實時性，所以必須對數據進行分割處理。數據分割是保證實時性和準確性的基礎。

本文采取滑動窗口機制，將待處理的長時序數據序列分割成若干個短的時序數據序列，然后對分割后的若干個短的數據序列進行相應的特征向量計算。數據序列的分割會帶來分割窗口邊緣的關鍵數據受損，影響數據的準確性。本文采取重合窗口與動態窗口相結合的方法，即帶有50%重合的滑動窗口策略，如圖9所示。滑動窗口設為1.5 s[37-38]，用窗口內數據的均值代替滑動窗口的值，然后利用各個滑動窗口的特征值向量進行運動狀態的識別和劃分。

3.5 與手機方向無關性處理

在數據采集過程中，本文方案不要求手機按照某一方向攜帶。手機的方向不同，加速度傳感器三軸分別受到重力的影響就不同。文獻[9]假設某段時間內手機方向不發生改變，用此段時間內加速度的均值和加速度的關系，計算加速度傳感器的方向，這樣就可以獲得線性加速度在鉛垂面和水平面上的加速度分量。在實際應用中，手機可能隨時改變方向，用加速度的均值計算加速度傳感器方向存在較大誤差，影響線性加速度在水平面和鉛垂面上分量的準確性。本文采用加速度傳感器數據和重力傳感器數據計算人體運動在水平面和鉛垂面上的線性加速度，算法的時間復雜度為(1)，如算法1所示。

圖9 滑動窗口示意

算法1 坐標轉換算法

Step3 計算重力加速度矢量和

Step4 計算慣性坐標系下線性加速度

4 特征向量選擇及運動狀態分析

特征向量選擇是人體運動狀態識別的重要環節，其目的是在原始數據中選擇有效的特征變量，獲得待研究對象的本質屬性，從而準確描述待研究的對象。特征向量選擇直接影響到整個模型的識別性能。首先，根據ReliefF算法[39]選擇有效的特征變量；然后，利用腳步識別算法計算腳步的波峰和波谷值；最后，根據腳步的波峰和波谷值計算相應的特征向量值。

4.1 特征向量選擇

從已有的研究成果看，目前，應用最廣泛的特征主要包括2類，即時域特征向量和頻域特征向量。時域特征向量計算復雜度相比頻域特征向量低，在人體行為識別的應用中有較理想的體現。時域上的特征向量包括最大值、最小值、中位數、平均值、標準差、方差、偏度、峰度、直方圖信息、均方根、自回歸系數、互相關系數、過零率、上四分位數和下四分位數等。

本文方案只使用時域上的特征向量，有效地降低了算法的復雜度。根據ReliefF算法計算特征向量的權重，采用慣性坐標系下線性加速度在水平方向、垂直方向和矢量和方向的最大值均值、最小值均值、平均值、標準差、最大值均方根、四分位差、偏度和峰度共24個時域特征向量。

計算最大值均值和最小值均值時，需要用腳步識別算法來確定腳步的波峰和波谷位置，然后計算腳步在不同的方向上的波峰和波谷值。最大（小）值均值是指時間窗口內腳步波峰（谷）的平均值。在計算最大（小）值均值時，需要獲取時間窗口內運動的步數。文獻[11]采用固定時間閾值辦法實現正常運動狀態的步數統計，運動狀態變化較大會導致計步精度下降[40]。本文提出了尋找最大波峰點和最小波谷點的腳步識別算法，如算法2所示。首先，尋找時間窗口內線性加速度的最大波峰點和最小波谷點，即時間窗口內某一腳步的波峰點和某一腳步的波谷點，然后分別以此最大波峰點和最小波谷點為起點，在距此波峰或波谷前后0.33~1 s范圍內查找最大波峰點或最小波谷點，此點即為下一腳步或前一腳步的波峰或波谷。以新的波峰或波谷為起點，繼續尋找下一腳步或前一腳步的波峰點或波谷點，直到時間窗口內所有腳步的波峰或波谷都被找到。算法的時間復雜度為()2()。

算法2 腳步識別算法

輸入 線性加速度矢量和Data及相應的時間點time

輸出 步數stepNum?腳步波峰值stepPeak、腳步波谷值stepTrough 和腳步峰谷值stepData

Step1 初始化stepNum、stepPeak和stepTrough

Step2 遍歷窗口內所有數據點，找出最大波峰點maxpoint和最小波谷點minpoint，更新stepNum、stepPeak和stepTrough

Step3 在時間窗口內，以maxpoint為起點，在距離maxpoint 0.33~1 s時間范圍內，查找下一個腳步波峰點，更新stepNum和stepPeak，以新的波峰為起點繼續查找下一個腳步的波峰點，直到窗口內所有的腳步波峰點被查找到

Step4 在時間窗口內，以minpoint為起點，在距離minpoint 0.33~1s時間范圍內，查找下一個腳步波谷點，更新stepNum和stepTrough，以新的波谷為起點繼續查找下一個腳步的波谷點，直到窗口內所有的腳步波谷點被查找到

stepData= stepPeak ∪stepTrough

4.2 運動狀態分析

通過前期數據采集和處理，可以得到每一種運動狀態的慣性坐標系下線性加速度的24個時域特征向量。本文對慣性坐標系下線性加速度矢量和的特征向量做如下分析。

為區分不同的運動狀態，繪制出6種運動狀態的最大值均值圖，如圖10所示。由圖10可知，跑步的最大值均值最大，靜止和騎行運動的最大值均值最小，行走、上樓和下樓的值在以上兩者之間。同樣地，繪制出6種運動狀態的最小值均值、平均值和標準差的特征向量圖，如圖11~圖13所示。可以看出，這3種特征向量與最大值均值有相似的變化規律。通過以上分析可以把運動狀態分成3類，即跑步為一類，行走、上樓和下樓為一類，而靜止和騎行為一類。

圖10 6種運動狀態下的最大值均值

圖11 6種運動狀態下的最小值均值

圖12 6種運動狀態下的平均值

圖13 6種運動狀態下的標準差

下面，進一步分析靜止和騎行運動狀態特征。雖然手機不一定處于水平狀態，但在靜止狀態下加速度和重力加速度數據保持一致，兩者在傳感器三軸方向的加速度只有微弱的波動。線性加速度矢量和反映了靜止狀態下人體對手機的作用結果，從圖14可以看出，人體處于靜止狀態時，最大值均值在0.1~0.2 m/s2范圍內波動，因為人體在相對靜止狀態下，身體仍存在一定的晃動。騎行過程中，最大值均值在0.3~0.5 m/s2范圍內波動，其呈現的規律與靜止狀態沒有明顯區分，但是騎行狀態最大值均值的變化范圍比靜止狀態大，但這2種狀態的最小值均值、平均值和標準差3個特征向量的變化趨勢和變化范圍都有明顯區別，如圖15~圖17所示。從以上分析可知，靜止和騎行這2種運動狀態比較容易區分。

圖14 騎行和靜止狀態下的最大值均值

圖15 騎行和靜止狀態下的最小值均值

圖16 騎行和靜止狀態下的平均值

圖17 騎行和靜止狀態下的標準差

由圖10~圖13可知，行走、上樓和下樓這3種運動的4個特征向量之間沒有明顯區分。進一步研究3種運動狀態的最大值均方根、四分位差、偏度和峰度，各特征向量如圖18~圖21所示。從圖中無法直接對這3種運動狀態進行有效區分，但可以借助SVM（support vector machine）工具，把3個方向上共24個特征向量映射到高維空間進行識別。

圖18 行走、上樓和下樓的最大值均方根

由于SVM具有樣本小、結構風險小和非線性的特點，在高維模式識別中較其他傳統機器學習算法有明顯的優勢，分類思想簡單，分類效果較好。目前，SVM分類策略包括一對一（OVO，one-versus-one）、一對多（OVR，one-versus-rest）和H-SVM等方法。本文選擇H-SVM方法，將運動狀態劃分為如圖22所示的多層識別模型。利用各種運動狀態下的共24個特征向量和運動學的先驗知識，對運動類別進行劃分，每次劃分時子類別內部的運動狀態具有較大的相似性，子類別之間則具有較大的區分，從而盡可能地區分不同的運動狀態。

圖19 行走、上樓和下樓的四分位差

圖20 行走、上樓和下樓的偏度

圖21 行走、上樓和下樓的峰度

圖22 層次向量對運動狀態的劃分

5 實驗及分析

為了評估系統的有效性，進行了如下實驗。首先，用H-SVM方法驗證不同的手機攜帶方式下6種運動狀態識別的準確率；其次，驗證了H-SVM、Na?ve Byes、Decision Tree和KNN識別方法對6種不同運動狀態的識別準確率；再次，驗證了3.2節DE-PSO算法在數據校準上的優勢，驗證了3.5節的坐標轉換算法和4.1節的腳步識別算法在H-SVM識別方法中的作用；最后，分析了時域特征向量和頻域特征向量計算的時間復雜度，并從多個方面將本文方法與相關文獻的方法進行比較。

5.1 不同手機攜帶方式實驗

為了對系統進行全面評價和分析，本文按照5種手機攜帶方式和綜合方式（即把5種攜帶方式下采集的6種運動狀態數據按照運動狀態綜合）進行了6組實驗，在每一組實驗中將6種運動狀態數據按照圖22的H-SVM的分類方式劃分訓練集，即在每種手機攜帶方式下均需要訓練5個二分類的支持向量機，分別用于識別靜止狀態和運動狀態、騎行狀態和行走/跑步狀態、行走狀態和跑步狀態、行走狀態和上/下樓狀態、上樓狀態和下樓狀態。實驗采用十折交叉驗證方法，將訓練的樣本集分為10組，每次選取其中的9組作為訓練集，剩余的一組作為測試集。使用H-SVM，選擇SVM類型為C-SVC、核函數類型為RBF（徑向基）核函數，其中損失參數為32，核函數中參數為0.5，經過多次實驗驗證，以上SVM參數能達到很好的優化效果，提升不同運動狀態的識別準確率。手機放置在不同位置時H-SVM方法識別不同運動狀態的準確率如表2所示。為進一步研究不同運動狀態識別的差錯情況，表3給出了綜合方式下不同運動狀態的混淆矩陣，矩陣中的行表示某種運動狀態數量，矩陣中的列表示H-SVM方法識別某種運動狀態數量。

表2 手機放置在不同位置下H-SVM方法的準確率

表3 綜合方式下不同運動狀態的混淆矩陣

從表2可以看出，在不同運動狀態的識別中，識別準確率最高的是靜止狀態，其次是跑步和騎行狀態，因為這3種運動狀態時間窗口內最大值均值、最小值均值、平均值和標準差的取值范圍與其他運動狀態相比有明顯的區分。行走、上樓和下樓識別準確率相對較低。

不同的手機攜帶方式下，運動狀態的識別準確率不同。當手機放置在腰部時，運動狀態識別準確率最高，當手機放置在上臂時，運動狀態識別準確率最低，原因是手機放在腰部時采集的加速度數據最能反映人體的運動狀態，而手機放在上臂時，加速度數據不僅反映了人體的運動狀態，而且反映了上臂的運動狀態。綜合方式下識別的準確率僅次于手機放置腰部識別的準確率，但它不是手機放置不同位置的識別率的平均值，因為綜合方式識別中訓練數據不僅包含了測試數據，而且包含了更多的其他運動狀態數據，數據測試模型的頑健性較強，減少了異常數據的干擾。雖然綜合方式下識別準確率不及手機在腰部的識別準確率高，但是它很好地反映了日常生活中攜帶手機的隨意性，且準確率達到93.37%。

從表3可以看出，許多預測誤差是由于行走、上樓和下樓這3種活動之間的混淆所致。由于這3種運動較為相似，特征向量區別不是很明顯。受到實驗條件的限制，上樓和下樓的識別準確率最低，因為樓道中間有平臺，在平臺上的運動狀態更接近行走。

5.2 不同的分類算法對比實驗

為了評估本文方法的有效性，把本文的H-SVM識別方法與Naive Bayes、Decision Tree和KNN進行對比實驗，Naive Bayes方法中使用GaussianNB算法，Decision Tree中使用CART（classification and regression tree）算法，在KNN中使用ball-tree算法，其他參數使用默認值。對綜合方式下的數據，采用十折交叉法對實驗進行驗證，得到不同識別方法的準確率，如圖23所示。

圖23 綜合方式下不同分類方法的準確率

從圖23可以看出，4種不同的識別算法中，H-SVM識別率最高，因為使用H-SVM方法時訓練數據根據圖22所示對數據進行分類，使相同類別的內部運動狀態具有較大的相似性，不同類別之間具有較大的差異性，相對于其他識別方法，提高了識別準確率。

5.3 DE-PSO算法和高斯?牛頓迭代法對比實驗

為驗證DE-PSO算法的有效性，根據文獻[36]方法復現實驗。將手機固定在長方體木塊的一個面上，然后分別將長方體的6個面水平放置在桌面上，得到6種放置方式，如表4所示，采集到手機在6種放置方式下一定時間內的加速傳感器數據，并取其平均值，得到6組加速度傳感器的測量值。使用DE-PSO算法和高斯?牛頓迭代法對采集的加速度傳感器數據進行校準，校準后數據如表4所示。

表4 DE-PSO算法與高斯?牛頓迭代法對比

由表4可知，高斯?牛頓迭代法能夠實現加速度數據的校準，但是校準結果與DE-PSO算法相比誤差較大。仿真時發現，高斯?牛頓迭代法運行速度較慢，仿真時間長，容易出現實驗進行不下去的現象，這是因為該算法本身存在不足。通過對比可知，DE-PSO算法運行速度較快，仿真時間較短，誤差較小。

5.4 不同數據處理方法實驗

為檢測慣性坐標系下的線性加速度能否準確反映人體運動狀態的變化情況，以及腳步識別算法中計步的準確性，本節對與手機方向無關性算法和腳步識別算法進行驗證。

5.4.1 與手機方向無關性實驗

與手機方向無關性處理的效果如何，最終體現在人體運動狀態識別準確率的高低。本文首先使用5.1節中的綜合數據，按照文獻[9-12]方法對數據進行與方向無關處理，然后使用本文提出的分層識別方案對人體的運動狀態進行識別。同時為了驗證3.2節數據校準對人體運動狀態識別的影響，本文對校準前后的數據進行了對比實驗。各種方案的識別準確率的結果如表5所示。

表5 5種不同處理方法識別準確率

通過表5可以看出，本文方法的運動狀態識別準確率最高，識別效果最好。本文利用同一采樣點的重力加速度與加速度關系，能夠準確計算出慣性坐標系下的線性加速度。由校準前后的數據對比可知，數據經過校準后運動狀態識別率明顯提高。

5.4.2 腳步識別算法實驗

為驗證本文的腳步識別算法的實用性，實驗時手機分別放置在胸口、上臂、褲前袋、褲后袋和腰部5個不同位置，手機方向隨機。本實驗對10位實驗者在每種手機攜帶方式下以不同的頻率進行200步數據采集，得到5種手機攜帶方式共10 000步數據樣本。對采集的數據進行校準、濾波與方向無關性處理，使用慣性坐標系下的線性加速度，應用本文的腳步識別算法對采集數據進行步數統計，實驗結果如表6所示。本文的腳步識別算法的平均準確率高于文獻[41-42]算法的平均準確率。文獻[41-42]算法在計步判斷的過程中沒有對原始加速度信號進行濾波和與方向無關性處理，在一定程度上影響了算法檢測的準確率。

表6 3種腳步識別算法的計步準確率

本文腳步識別算法利用人體運動頻率的范圍，判斷下一腳步的波峰（谷）距當前腳步波峰（谷）的位置范圍，在此范圍內尋找波峰（谷）的最大（小）值，此值為下一腳步的波峰（谷）位置。因此，該算法可以更精確地計算運動的腳步數，減少了偽波峰對真實波峰的影響。

結果表明，經過轉換的線性加速度能夠準確、有效地反映人體運動狀態。腳步識別算法能夠準確地計算不同運動狀態的腳步數，并能有效計算最大值均值和最小值均值，提高人體運動狀態識別的準確率。

5.5 特征向量計算復雜度分析

在使用頻域特征向量時，大部分研究都使用了快速傅里葉變換（FFT, fast Fourier transform）方法，這種算法運用數學方式把原來復雜度為(2)的樸素多項式乘法轉化為復雜度為(lb)。根據4.1節中的描述，可以計算出對應的特征向量時間復雜度為()。本文采用的特征向量全部為運動數據時域上的特征向量，相比使用頻域上的特征向量，在算法時間復雜度上有所降低。

將本文方法數據采集時手機攜帶位置、識別度運動狀態的數量、使用的特征向量、特征向量計算復雜度和運動狀態識別準確率等指標與近幾年的文獻進行比較，如表7所示。從表7可以看出，雖然本文方法的識別運動狀態的準確率排名第二，但是其他各項指標都優于準確率排名第一的文獻[11]的方法。

表7 本文方法和相似文獻方法的比較

為驗證本文方法的優勢，本文復現了表7中文獻的方法，使用本文中的綜合數據，采用十折交叉法對6種運動狀態進行識別，識別的結果如表8所示。從表8可以看出，本文提出的識別方法最優，其次是文獻[12]。

表8 相似文獻對6種運動狀態識別比較

通過以上實驗和分析可知，利用智能手機內置的加速度傳感器和重力傳感器，采用分層識別方案，能有效地識別人體6種日常運動狀態。

6 結束語

本文研究了智能手機放置方向和位置都不確定的情況下，利用手機內置的加速傳感器和重力傳感器采集用戶日常6種運動狀態數據，根據ReliefF算法提取運動狀態的時域特征向量，利用這些特征向量的值構造出一個最佳的識別模型，并使用該模型識別用戶的運動狀態。首先，選取了日常生活中常用的5種手機攜帶方式采集用戶運動數據，并對采集的數據進行有效處理；然后，利用腳步識別算法，準確計算腳步的波峰和波谷值；最后，利用時間窗口內腳步的波峰和波谷值的時域特征向量和H-SVM分類算法對人體運動狀態進行識別。實驗結果表明，本文方法在保持較高的識別準確率的同時，極大地提高了手機在識別人體運動狀態時對手機位置和方向變化的適應能力，同時利用數據時域上的特征和滑動加權均值有效地降低了手機的負載。本文的研究可應用于移動領域的用戶行為狀態識別、健康生活提示、隨身運動監測和體感游戲等。

本文實驗對實驗者的選擇有一定的局限性，在后續的研究中應該對更多的不同年齡階段的人群進行對比實驗，增加更多的實驗環境，使實驗數據更具有代表性。此外，還將進一步優化腳步識別算法，提高腳步識別的準確率，增強系統的靈活性；進一步增加可識別的人體運動狀態、識別復雜的人體行為以及人體不同的運動與能量消耗之間的關系，為用戶的運動與健康提供科學的指導。

[1] HENPRASERTTAE A, THIEMJARUS S, MARUKATAT S. Accurate activity recognition using a mobile phone regardless of device orientation and location[C]// International Conference on Body Sensor Networks. IEEE Computer Society, 2011:41-46.

[2] SHOAIB M, BOSCH S, INCEL O D, et al. Fusion of smartphone motion sensors for physical activity recognition[J]. Sensors, 2014, 14(6):10146-10176.

[3] GUO H, CHEN L, CHEN G, et al. Smartphone‐based activity recognition independent of device orientation and placement[J]. International Journal of Communication Systems, 2016, 29(16):2403-2415.

[4] THIEMJARUS S, HENPRASERTTAE A, MARUKATAT S. A study on instance-based learning with reduced training prototypes for device-context-independent activity recognition on a mobile phone[C]// IEEE International Conference on Body Sensor Networks. IEEE, 2013:1-6.

[5] USTEV Y E, INCEL O D, ERSOY C. User, device and orientation independent human activity recognition on mobile phones: challenges and a proposal[C]// ACM Conference on Pervasive and Ubiquitous Computing Adjunct Publication. ACM, 2013:1427-1436.

[6] LU H, YANG J, LIU Z, et al. The Jigsaw continuous sensing engine for mobile phone applications[C]// ACM Conference on Embedded Networked Sensor Systems. ACM, 2010:71-84.

[7] FIGO D, DINIZ P C, FERREIRA D R, et al. Preprocessing techniques for context recognition from accelerometer data[J]. Personal & Ubiquitous Computing, 2010, 14(7):645-662.

[8] CAMHI S M, SISSON S B, JOHNSON W D, et al. Accelerometer-determined moderate intensity lifestyle activity and cardiometabolic health[J]. Preventive Medicine, 2011, 52(5):358-360.

[9] MIZELL D. Using gravity to estimate accelerometer orientation[C]// IEEE International Symposium on Wearable Computers. IEEE, 2005:252-253.

[10] GUO H, CHEN L, CHEN G, et al. Smartphone‐based activity recognition independent of device orientation and placement[J]. International Journal of Communication Systems, 2016, 29(16):2403-2415.

[11] 李鋒,潘敬奎.基于三軸加速度傳感器的人體運動識別[J]. 計算機研究與發展, 2016, 53(3):621-631.LI F , P J K. Human motion recognition based on triaxial accelerometer[J].Journal of Computer Research and Development.2016,53(3):621-631.

[12] CHEN Z, ZHU Q, CHAI S Y, et al. Robust human activity recognition using smartphone sensors via CT-PCA and online SVM[J]. IEEE Transactions on Industrial Informatics, 2017, PP(99):1-1.

[13] 李若涵,張金藝,徐德政,等.運動分類步頻調節的微機電慣性測量單元室內行人航跡推算[J].上海大學學報(自然科學版), 2014,20(5):612-623.LI R H, ZHANG J Y, XU D Z , et al. Micro-electro-mechanical system-inertial measurement unit indoor pedestrian dead reckoning based on motion classification and step frequency adjustment[J].Journal of Shanghai University(Natural Science), 2014,20(5):612-623.

[14] RAVI N, DANDEKAR N, MYSORE P, et al. Activity recognition from accelerometer data[C]// The Twentieth National Conference on Artificial Intelligence and the Seventeenth Innovative Applications of Artificial Intelligence Conference. DBLP, 2005:1541-1546.

[15] KASTEREN T V, NOULAS A, ENGLEBIENNE G. Accurate activity recognition in a home setting[C]// International Conference on Ubiquitous Computing. ACM, 2008:1-9.

[16] CASALE P, PUJOL O, RADEVA P. Human activity recognition from accelerometer data using a wearable device[M]// Pattern Recognition and Image Analysis. Springer Berlin Heidelberg, 2011:289-296.

[17] EMMANUEL M T. Using machine learning for real-time activity recognition and estimation of energy expenditure [D]. Bosto :Massachusetts Institute of Technology, 2008: 50-57.

[18] KHAN A M, LEE Y K, LEE S Y, et al. A triaxial accelerometer-based physical-activity recognition via augmented-signal features and a hierarchical recognizer[J]. IEEE Transactions on Information Technology in Biomedicine A Publication of the IEEE Engineering in Medicine & Biology Society, 2010, 14(5):1166-1172.

[19] KWAPISZ J R, WEISS G M, MOORE S A. Activity recognition using cell phone accelerometers[J]. ACM SIGKDD Explorations Newsletter, 2011, 12(2):74-82.

[20] SIIRTOLA P, JUHA R?NING. Recognizing human activities user-independently on smartphones based on accelerometer data[J]. International Journal of Interactive Multimedia & Artificial Intelligence, 2012, 1(5):38-45.

[21] HE Y, LI Y, BAO S D. Fall detection by built-in tri-accelerometer of smartphone[C]// IEEE-EMBS International Conference on Biomedical and Health Informatics. IEEE, 2012:184-187.

[22] USTEV Y E, DURMAZ INCEL O, ERSOY C. User, device and orientation independent human activity recognition on mobile phones: challenges and a proposal[C]. The 2013 ACM Conference On Pervasive And Ubiquitous Computing Adjunct Publication. ACM, 2013: 1427-1436.

[23] MITCHELL E, MONAGHAN D, O'CONNOR N E. Classification of sporting activities using smartphone accelerometers.[J]. Sensors, 2013, 13(4):5317-5337.

[24] KHAN A M, SIDDIQI M H, LEE S W. Exploratory data analysis of acceleration signals to select light-weight and accurate features for real-time activity recognition on smartphones[J]. Sensors, 2013, 13(10): 99-122.

[25] ZHANG L, WU X, LUO D. Improving activity recognition with context information[C]// IEEE International Conference on Mechatronics and Automation. IEEE, 2015:1241-1246.

[26] WANG A, CHEN G, YANG J, et al. A comparative study on human activity recognition using inertial sensors in a smartphone[J]. IEEE Sensors Journal, 2016, 16(11): 4566-4578.

[27] SHOAIB M, BOSCH S, INCEL O D, et al. Complex activity recognition using smartphone and wrist-worn motion sensors[J]. Sensors, 2016, 16(4):426.

[28] JONGPRASITHPORN M, YODPIJIT N, SRIVILAI R, et al. A smartphone-based real-time simple activity recognition[C]// International Conference on Control, Automation and Robotics. IEEE, 2017:539-542.

[29] CHEN Y, SHEN C. Performance Analysis of Smartphone-Sensor Behavior for Human Activity Recognition[J]. IEEE Access, 2017, 5(99):3095-3110.

[30] 彭際群. 基于加速度傳感器的人體運動狀態識別研究[D]. 哈爾濱:哈爾濱工業大學,2014. PENG J Q. The research of human activity state recognition base on accelerometers[D]. Harbin :Harbin Institute of Technology,2014

[31] GLUECK M, BUHMANN A, MANOLI Y. Autocalibration of MEMS accelerometers[C]// Instrumentation and Measurement Technology Conference. IEEE, 2012:1788-1793.

[32] 陸欣,劉忠,張宏欣,等. 三軸MEMS加速度計的最大似然校正算法[J]. 國防科技大學學報, 2017, 39(5):185-191.LU X,LIU ZH,ZHANG H X, et al. Maximum likelihood calibration for MEMS triaxial accelerometer[J].Journal of National University of Defense Technology, 39(5):185-191.

[33] 楊管金子,李建辰,黃海,等,基于遺傳算法的加速度計免轉臺標定方法[J]. 中國慣性技術學報, 2017, 25(1):119-123.YANG G J Z, LI J C, HUANG H, et al. Non-turntable calibration method for three-accelerometer based on genetic algorithm[J].Journal of Chinese Inertial Technology, 2017, 25(1):119-123.

[34] 毛友澤, 張海. 無依托狀態加速度計的新型標定方法[J]. 北京航空航天大學學報, 2011, 37(1):123-126. MAO Y Z, ZHANG H. Novel Calibration method for accelerometers of in-field use[J].Journal of Beijing University of Aeronautics and Astronautics, 2011, 37(1):123-126.

[35] 桂毅. 基于高斯牛頓迭代法的MEMS加速度計標定方法[C]//2016 IEEE Chinese Guidance, Navigation and Control Conference. 2016:3032-3036.GUI Y. Calibration of MEMS accelerometer based on gauss-newton iteration algorithm[C]//2016 IEEE Chinese Guidance, Navigation and Control Conference.2016:3032-3036.

[36] 戴邵武, 王克紅, 慶曾宏. 基于混合PSO 算法的加速度計快速標定方法[J]. 壓電與聲光, 2015, 37(2):232-236.DAI S W,WANG K H, Qing Z H. Rapid calibration of accelerometer based on hybrid particle swarm optimization algorithm[J]. Piezoelectrics & Acoustooptics. 2015, 37(2):232-236.

[37] KRISHNAN N C, COOK D J. Activity recognition on streaming sensor data[J]. Pervasive & Mobile Computing, 2014, 10(Pt B):138-154.

[38] BANOS O, GALVEZ J M, DAMAS M, et al. Window size impact in human activity recognition[J]. Sensors, 2014, 14(4):6474-6499.

[39] ROBNIK, IKONJA M, KONONENKO I. Theoretical and empirical analysis of ReliefF and RReliefF[J]. Machine Learning, 2003, 53(1-2):23-69.

[40] LIU J, CHEN R, LING P, et al. A hybrid smartphone indoor positioning solution for mobile LBS[J]. Sensors, 2012, 12(12):17208-17233.

[41] 梁久禎, 朱向軍, 陳璟. 基于手機加速度傳感器的高精低采樣計步算法設計[J].西北大學學報(自然科學版), 2015, 45(5):738-744.LIANG J ZH, ZHU X J ,CHEN J. A high-accuracy and low-sampling-rate step counting algorithm design based on smartphone’s accelerometer [J].Journal of Northwest University(Natural Science Edition), 2015, 45(5):738-744.

[42] 凌海波, 楊靜, 周先存.基于手機加速度傳感器的波峰波谷計步算法研究[J].四川理工學院學報(自然科學版), 2017, 30(3):21-25.LING H B, YANG J, ZHOU X C. Research on peak and trough step counting algorithm based on mobile accelerometer[J].Journal of Sichuan University of Science & Engineering(Natural Science Edition)，2017, 30(3):21-25.

[43] FIGO D, DINIZ P C, FERREIRA D R, et al. Preprocessing techniques for context recognition from accelerometer data[J]. Personal & Ubiquitous Computing, 2010, 14(7):645-662.

[44] ANGUITA D, GHIO A, ONETO L, et al. Human activity recognition on smartphones using a multiclass hardware-friendly support vector machine[C]// International Conference on Ambient Assisted Living and Home Care. Springer-Verlag, 2012:216-223.

Human motion state recognition based on smart phone built-in sensor

YIN Xiaoling1,2, CHEN Xiaojiang1, XIA Qishou1,2, HE Juan1, ZHANG Pengyan1, CHEN Feng1

1. School of Information Science and Technology, Northwest University, Xi’an 710127, China 2. College of Mathematics and Computer Science, Chizhou University, Chizhou 247000, China

To solve problems of low accuracy and fewer types of human motion state recognized by current smart phones, a method to do hierarchical recognition by using acceleration sensors and gravity sensors was proposed. Firstly, linear acceleration in inertial coordinate system and independent of phone direction was calculated by using the relation between acceleration and gravity acceleration. Secondly, according to the span of human motion frequency and linear acceleration vector, positions of peak and trough of footsteps were determined. Finally, feature vector of linear acceleration in time domain was extracted and human motion states were recognized hierarchically by using hierarchical support vector machine (H-SVM). The experiment shows the method can recognize six usual human motion states, while accuracy rate up to 93.37%.

motion state recognition, hierarchical support vector machine, smart phone sensor, time domain feature

TP181

A

10.11959/j.issn.1000?436x.2019057

2018?04?03；

2018?12?11

何娟，hejuan@stumail.nwu.edu.cn

國家自然科學基金資助項目（No.61170218, No.61272461, No.61373177）

The National Natural Science Foundation of China (No.61170218, No.61272461, No.61373177)

殷曉玲（1975? ），女，安徽樅陽人，池州學院副教授，主要研究方向為云計算、信息安全、機器學習。

陳曉江（1972? ），男，陜西西安人，博士，西北大學教授、博士生導師，主要研究方向為無線傳感器網絡定位、網絡安全、軟件體系結構。

夏啟壽（1975? ），男，安徽廬江人，池州學院副教授，主要研究方向為云計算、信息安全、機器學習。

何娟（1994? ），女，江西萍鄉人，西北大學碩士生，主要研究方向為無線傳感器網絡定位。

張鵬艷（1990? ）女，陜西西安人，西北大學碩士生，主要研究方向為無線傳感器網絡定位。

陳峰（1978? ），男，安徽天長人，博士，西北大學助理研究員，主要研究方向為無線網絡。