多層分類器模型的相似人體活動識別

李 輝，李瑞祥，張耀威，樂燕芬，施偉斌

(上海理工大學 光電信息與計算機工程學院，上海200093)

1 引 言

人體活動識別技術主要應用于醫(yī)療健康[1]、居家監(jiān)控[2]、運動訓練[3]以及跌倒檢測[4，5]等領域.特別對于居家監(jiān)控老人是否發(fā)生摔倒等意外，人體活動識別發(fā)揮了很大作用[6，7].近些年來基于人機交互系統(tǒng)的人體活動識別技術的研究引起了人們的廣泛關注.

傳統(tǒng)人體活動識別方法可分為兩大類：計算機視覺[8，9]與可穿戴設備檢測[10，11].根據監(jiān)控生成的圖片或視頻進行計算機視覺判別分析，此種方法采集數據量大，容易受到光照、場景以及檢測的個體差異等因素影響，難以得到穩(wěn)定的識別精度[12，13].另一方面，隨著微型傳感器技術的發(fā)展，出現了體積小、功耗低、穿戴便捷的慣性傳感器，借助加速度計、陀螺儀等可穿戴傳感器，可以在不泄露隱私的情況下采集用戶的活動信息，協助完成生活輔助、健康檢測等工作.

在以往的單傳感器的人體活動識別研究中，傳統(tǒng)的特征提取方法通常包含了提取活動的幅度、周期以及能量等時域與頻域特征，利用傳統(tǒng)的時域與頻域特征對不同個體的多類活動進行識別時容易產生相似活動的混淆.相似活動是指在單個加速度計傳感器上進行識別，兩種不同的人體活動具有相似的周期與幅度，被識別成相似活動.因為具有相似的周期與時域統(tǒng)計特性，這些相似活動在進行時域與頻域特征提取時往往也具有相似特性.JANSI R等人[14]通過混沌映射對三軸加速度原始數據進行壓縮，對壓縮后的數據提取了均值、標準差、均方根、主頻系數、譜能量等38維時域與頻域特征，取得了83.22%的識別精度，識別結果顯示跑、上樓梯、下樓梯3項活動產生了較大混淆.VANRELL S R等人[15]通過提取單加速度計數據的倒譜系數、時域特征、周期特征等91維特征向量，在10類人體活動識別中達到了91.21%的識別精度，識別結果顯示行走、快走、倒走、上樓梯、下樓梯之間產生了較大混淆.相似活動的混淆原因可總結為兩點，一方面由于實驗者之間存在個體的活動差異，不同實驗者的活動特點有所不同，因此相似活動的混淆產生于不同個體之間.例如，具有特定活動幅度與活動頻率的行走對于某一實驗者定義為正常行走，而具有該種幅度與頻率的行走對于另一實驗者判定為快速行走，如此不同個體間的差異性造成了混淆.另一方面，活動混淆問題也產生于同一個體的不同活動之間，對于相同個體的行走、上樓梯、下樓梯等活動具有相似的活動周期或活動幅度，因此對于同一個體這些活動識別易產生混淆，從而降低了總體的識別精度.

為了解決基于單傳感器的人體活動識別中的相似活動混淆問題，提高多類活動的總體識別精度，本文提出一種廣義判別分析的多層分類器融合的識別算法.首先，本文通過建立特征工程對提取的時域、頻域以及時頻特征進行分類重要性分析，降低特征向量維度和提升特征向量的分類有效性.其次，為了解決傳統(tǒng)提取特征難以很好識別相似活動的問題，采用雙層分類器分析易混淆活動并提取易混淆活動的非線性廣義判別特征.非線性廣義判別分析通過非線性映射增大相似活動特征間的類間距離，將第1層原始特征分類概率與第2層易混淆活動的廣義判別分析特征分類概率加權融合得到最終結果.

本文主要工作包含以下幾個部分，第2部分介紹了多類相似活動識別算法的基本流程、數據的獲取與預處理、原始特征的提取與選擇、廣義判別分析特征提取的原理以及雙層分類器的選擇，其中特征提取與選擇部分包括了特征工程的重要性評估與選擇.第3部分介紹了數據采集位置選擇、分類器參數、特征組合等實驗的結果與分析，在相同的數據集上比較了其他算法和本文所提算法的識別性能.第4部分給出了結論和對未來研究的展望.

2 基于廣義判別分析的多類相似活動識別算法

2.1 基本框架

人體活動識別流程大致分為數據采集與預處理、特征提取與選擇以及分類算法訓練與測試等幾個步驟[16，17].為解決相似活動間的混淆問題，本文提出了基于多層分類器的多類相似活動分類識別算法.圖1為整個算法流程.整個識別流程分為加速度數據采集與預處理、特征提取、第1層分類識別全部活動、廣義判別分析映射相似活動特征、第2層分類識別相似活動以及雙層分類器加權融合等幾個步驟.

2.2 數據采集與預處理

本文采用公開SCUT-NAA三軸加速度活動數據庫[18]，該數據庫自然條件下采集了包括44個不同采集者(34個男性、10個女性)的1278個樣本，采樣速率為100HZ，三軸加速度傳感器分別放置在采集者的腰部、褲子口袋和上衣口袋3個不同位置，每個采集者執(zhí)行了10類動作，10類動作中包含了上下樓梯、行走、競走、倒走以及快走等多類行為.對于10類行為加速度數據采用窗口大小為2s以及50%重合的滑動窗口進行數據分割.其中數據的70%作為訓練數據，30%用于測試數據.

圖1 多類相似活動識別算法流程圖Fig.1 Flow chart of multi-class similar activityrecognition algorithm

2.3 特征提取與選擇

人體活動識別結果很大程度取決于提取有效的特征，信號分析與處理空間包括時域、頻域以及時頻域.基于以往的研究分析[19]，表1記錄了本文提取的一系列有效活動特征，同時本文對變換域特征的有效性進行分析，選擇有效的特征維度.

表1 特征提取類別Table 1 Feature extraction categories

a)-f)分別介紹了表1中總結的時域、頻域以及時頻特征的提取原理.

a)軸間相關系數代表了三軸加速度計3個軸(x、y、z)采集數據間的相關性.

Cij=corr(i，j)

(1)

b)四分位距(IQR)用于表示統(tǒng)計數據中間50%的分散情況.它是上四分位數(Q3)與下四分位數(Q1)的差.將一組加速度數據從小到大排序，記為數組a(1，2，…，N)，a(1，2，…，N)，N代表數據的長度.確定四分位數位置，b=1+(n-1)*0.25，其中b的整數部分為c，小數部分為d.

Q1=a(c)+[a(c+1)-a(c)]*d

(2)

Q3計算方式與Q1類似.

IRQ=Q3-Q1

(3)

c)偏度表現了數據的偏斜方向和程度，定義加速度序列xi(i=1，2，…，N)，其均值為μ，方差為σ，則：

(4)

d)信號幅值面積代表了x、y、z三軸加速度數據讀數大小與坐標軸圍成的面積之和.

(5)

e)傅里葉變換幅值代表了信號在頻域的特性，為選取有效的頻域特征，對活動信號的頻域特性進行分析，如圖2所示

圖2 x軸人體活動加速度數據幅頻分析Fig.2 Amplitude-frequency analysis of x-axis human activity acceleration data

SCUT-NAA中10類活動的幅頻分析，發(fā)現信號的幅度能量多集中與0-20Hz之間，且高頻率多為噪聲，不利于活動的分類.采用單獨的傅里葉幅值特征進行分類評估，圖3顯示了x

圖3 x軸傅里葉變換幅值特征重要性評估Fig.3 Evaluaton of the importance of X-axis Fourier transform amplitude feature

軸加速度數據的頻域特征在分類中的重要性評估，從傅里葉變換的幅度特征的重要性排序可以看出0-10hz頻率的幅值特征的重要性遠大于10-20hz頻率的幅值特征，因此為降低特征向量維度，選取0-10Hz頻率幅值作為頻域提取的特征.

f)小波變換被認為是對非平穩(wěn)信號進行時頻分析和特征提取的有效工具，為克服小波分解在高頻段頻率分辨率差與低頻段的時間分辨率差的問題，離散小波包變換(DWPT)在每個子帶上進行一定程度的迭代，得到近似系數和詳細系數，即各階段的低頻系數和高頻系數.信號能量是反映活動強度的一個重要特征，但由于活動的類間相似性，不同的活動可能顯示出相同的能量，這個問題可以通過分析不同子帶的小波包系數解決，具有相似信號能量的各種活動在不同的頻帶上往往具有不同的能量，因此計算每個子帶的小波能量可以區(qū)分能量相似但頻率不同的活動.

為提取有效的小波能量特征，采用基于小波最優(yōu)基的特征提取方法，小波包基選擇采用距離準則.此外通過頻域信號特征分析，信號能量多集中于低頻，高頻頻帶通常由各種噪聲主導，且由于人類活動的多樣性，不同主體甚至同一主體的同一活動在高頻上也存在一定差異.為了消除傳感器信號內部可變性對活動識別的不利影響，去除高頻頻帶而保留低頻頻帶的小波能量特征，設子帶空間為Z，子帶能量為E(i，j)，表示在分解層次j上的第i個節(jié)點的能量，Ps(n，j，k)代表小波包變換系數.

E(i，j)=∑k∈z[Ps(n，j，k)]2

(6)

對采集信號進行4層小波包分解，通過距離準則計算最優(yōu)小波包基，得到第4層15、16、17、18節(jié)點的能量，并求取4個節(jié)點的總能量為小波能量特征.

2.4 廣義判別分析

傳統(tǒng)提取時域與頻域特征的方法為線性特征提取法，相似活動的時域與頻域特征的類間距離較小，此類特征難以對相似活動進行準確分類，將線性特征轉換為非線性特征是提高相似活動特征類間距離的有效方法.為提取非線性特征與降低相似活動混淆，采用廣義判別分析法進行非線性特征提取.廣義判別分析是對線性判別分析的非線性擴展[20]，通過非線性映射，將輸入特征映射到更高維的特征空間，從而在高維特征空間進行Fisher判別分析[21].

令?為輸入特征空間到高維特征空間F的非線性映射：

?：Rd→F，x→x?

(7)

定義類間散度矩陣SB?和總類內散度矩陣SW?：

(8)

(9)

定義判別準則J(w)：

(10)

求解投影向量wopt就是特征值問題的解.

λSW?w?=SB?w?

(11)

由于特征空間F維度較高無法直接求解，因此引用內積核函數RBF作為映射函數k：

(12)

其中x，y代表對應特征值，σ為常數，代表非線性化程度.

由再生核理論可知，高維空間任一解可以被表示為該空間訓練樣本的線性組合：

(13)

則樣本在最佳投影方向上的投影為：

(14)

2.5 雙層分類器

為了初步對多類活動進行識別，第1層分類器選用在監(jiān)督學習中性能優(yōu)異的隨機森林分類算法.隨機森林(RF，Random forest)作為Bagging的進一步擴展與優(yōu)化，在以決策樹為基學習器構建Bagging集成基礎上引入了隨機屬性選擇的方法，隨機森林算法的隨機性特征選擇使其基學習器具有多樣性，提升了其性能與泛化能力，在本次研究中提取了55維特征向量，隨機森林算法隨機選擇特征子集進行劃分，充分利用了其各個特征包含的信息，在本文中進一步探討了其基學習器數量對整體識別精度的影響.

第2層分類器對相似活動的廣義判別分析特征進一步分類，解決多類相似活動易混淆的問題.由于廣義判別分析特征維度較低因此選擇支持向量機(SVM，Support Vector Machine)算法進行分類，得到相似活動的第2層預測概率.

針對相似活動對第1層分類器得到預測概率與第2層分類器的預測概率進行加權融合，解決多類相似活動易混淆問題，提升分類算法整體的識別精度.當第1層活動識別是行走、上下樓等相似活動時，執(zhí)行廣義判別分析算法進行原始特征映射，得到判別分析后非線性特征向量，使用SVM算法對非線性特征向量分類，得到混淆類別活動的識別概率，將第1層RF算法得到的識別概率與SVM算法識別概率平均加權融合，得到混淆活動的最終識別結果.

3 實驗結果及分析

3.1 實驗設置

本實驗將SCUT-NAA數據集分為占比70%的訓練數據集與30%的測試數據集，基于該數據集進行以下實驗研究驗證分類算法的有效性.

a)根據第1層分類器研究不同位置傳感器采集數據的識別性能.

b)基于同一數據集比較不同基學習器數量的隨機森林分類算法識別性能.

c)根據提取特征進行組合，分析不同組合的分類性能.

d)根據活動混淆矩陣分析相似活動并提取廣義判別分析映射特征進行第2層分類，最后加權融合雙層分類器得到最終分類結果.

e)比較不同分類算法分類性能以及與基于該數據集以往分類算法的研究比較.

3.2 評價指標

本文采用表2中混淆矩陣計算的指標進行評估，正確率為分類正確的樣本數占樣本總數的比例，查準率P為TP/(TP+FP)，查全率R為TP/(TP+FN).F1度量為2×P×R/(P+R).

表2 分類結果混淆矩陣Table 2 Confusion matrix of classification result

3.3 結果及分析

3.3.1 不同人體部位傳感器采集數據集識別性能

SCUT-NAA數據集中包括來自衣服口袋、褲子口袋以及腰部處加速度計采集的活動數據，將不同位置采集數據進行第1層分類識別，表3 為不同位置加速度計采集數據集.使用隨機森林算法分類性能比較，分別從正確率、查準率、查全率以及F1度量4個方面進行比較.

表3 不同部位傳感器識別性能比較Table 3 Comparison of recognition performance ofdifferent placement position sensors

表3表明，在相同識別算法下，腰部傳感器采集的數據集識別性能優(yōu)于放置于褲子口袋與衣服口袋傳感器采集的數據集，腰部傳感器采集數據表達了身體活動的絕大部分信息，而其余位置傳感器對少數活動具有局部限制性，無法完整表征活動狀態(tài)信息，因此位于腰部的傳感器采集數據性能最好.

3.3.2 決策樹數量性能比較

在隨機森林分類算法中最重要的一個參數便是決策樹的數量，基學習器數量決定了分類性能好壞，表4總結了不同位置傳感器數據在不同數量決策樹條件下隨機森林算法進行識別的正確率，從表中可看出隨著決策樹數量增多正確率逐漸上升，且在決策樹數量為100時腰部傳感器與衣服口袋傳感器采集數據識別的正確率達到最高，超過100時正確率不再發(fā)生變化.決策樹的數量影響了分類器的識別效率，本文提出識別算法的基學習器數量保證了訓練效率，同時具有良好的識別正確率.

表4 不同決策樹數量識別的正確率比較Table 4 Comparison of the accuracy of different numbersof decision trees for recognition

3.3.3 特征組合的比較分析

提取的特征向量包括時域特征、頻域特征以及時頻特征，通過特征重要性評估進行特征組合研究，評估不同特征在分類中的貢獻，下面將對不同特征組合向量分類性能進行討論.

表5總結了6種特征組合向量，根據特征重要性排序將均值、均方根、偏度、四分位距、軸間相關系數分為一組，最大值、最小值、信號幅值面積、小波包變換子帶能量分為一組，傅里葉變換幅值為一組，3組特征進行組合評估識別性能.表6概括了6種特征組合向量的10類活動識別的結果.從表中看出，FV2特征向量得到最差的識別正確率87.2%，FV6特征向量得到最好的識別正確率95.4%，根據特征重要性排序，FV2的特征重要性較低，因此識別結果較差.但當FV2加入傅里葉幅值特征，正確率提升了7%，傅里葉幅值特征彌補了FV2特征組合中缺少的頻域信息，因此傅里葉變換幅值在活動識別中具有較高的貢獻度.

表5 特征組合向量識別性能評估Table 5 Performance evaluation of feature combinationvectors for recognition

表6 特征組合向量活動識別性能比較Table 6 Performance comparison of feature combinationvectors for activity recognition

3.3.4 相似活動分析及雙層分類器

在SCUT-NAA活動數據集中包含上下樓梯以及多種行走類活動，這些活動具有相似的周期以及活動幅度特征，在算法識別過程中極易發(fā)生混淆，形成了相似活動.圖4表示腰部傳感器采集數據在第1層分類器下的分類混淆矩陣，橫坐標代表預測類別，縱坐標代表真實類別.從圖4中可看出上下樓梯、行走以及快速走這4種類別容易相互混淆，下樓梯容易錯誤識別為上樓梯，正常行走容易錯誤識別為騎車、上樓梯、放松，快速走容易錯誤識別為正常行走、上樓梯以及放松，尤其對于上樓梯與行走這兩種活動在以往的研究中容易產生很大的混淆.

圖4 第1層分類器人體活動混淆矩陣Fig.4 Confusion matrix of human activity of the first layer classifier

為解決上述4種相似活動的易混淆問題，將4種活動提取的時頻域特征運用廣義判別分析法進一步提取非線性特征，廣義判別分析法將特征向量映射到高維空間，映射特征相較于原始特征聚類程度更強，更加易于分類相似活動，圖5表示4種相似活動中隨機抽取的3個原始特征的空間分布，可明顯看出特征的類間距離較小，類內距離較大，不利于分類器的活動識別.圖6表示4種相似活動的原始特征進行廣義判別分析提取后隨機抽取的3個非線性判別特征，經過映射后類間距離變大，類內距離變小，有利于分類器的識別.

圖5 原始特征Fig.5 Primitive features

圖6 廣義判別分析特征Fig.6 Features of generalized discriminant analysis

將第1層分類器4種相似活動的輸入特征進行廣義判別分析映射后得到高維特征，輸入到第2層分類器支持向量機得到4種相似活動的識別概率，與第1層分類器識別概率進行加權平均得到4種相似活動的最后識別結果.圖7表示了雙層分類器分類融合后的識別結果，可以看出與單層分類器識別相比，上下樓梯、行走以及快速走正確率從95%、91%、91%、89%提升到96%、96%、95%、95%，總體正確率由95.8%提升到97.2%，降低了相似活動的混淆程度.

圖7 雙層分類器識別混淆矩陣Fig.7 Confusion matrix of double-layer classifier identifies

3.3.5 分類算法比較及歷史研究對比

表7對KNN、SVM、Xgboost、BP神經網絡以及本文雙層分類器識別性能進行了對比，本文提出的雙層分類器在F1度量以及正確率都優(yōu)于其他識別算法.

此外，將各類集成算法與廣義判別分析降維算法進行雙層分類組合比較性能，第2層分類器仍采用SVM，組合方式有Adaboost+GDA、Bagging+GDA和Randomforest+GDA，研究從查準率、查全率、F1值以及準確率等4個方面進行比較.表8可以看出，本文提出的Randomforest+GDA雙層分類算法優(yōu)于其他集成算法與GDA組合的雙層分類，總體正確率達到97.2%.

表8 組合算法性能對比Table 8 Performance comparison of combined algorithms

與以往基于SCUT-NAA數據集研究的正確率進行對比，從表9可以看出對于上下樓梯、行走、快速走以及倒走錯誤率降低了59.89%、73.09%、80.48%、80.38%、61.94%.總體錯誤率降低了了35.57%.可以看出正確率有較大提升的幾個活動為相似活動，雙層分類器算法對相似活動混淆問題的分辨有了明顯改善.

表9 歷史研究分類錯誤率比較Table 9 Comparison of classification error rate ofhistorical research

4 結束語

本文提出基于單個加速度計的多類活動識別算法，通過傳統(tǒng)特征的廣義判別分析與雙層分類器結合，降低相似活動混淆，提高了對于多類活動的總體識別正確率.在特征提取部分對頻域特征與時頻特征進行分析與重要性評估，減少了不利于識別的噪聲以及降低了特征向量維度.同時特征向量組合的性能分析表明了提取的特征向量具有良好的有效性與魯棒性.通過基于SCUT-NAA數據集驗證，雙層分類器融合算法在活動數據集得到識別正確率為97.2%以及F1值為0.97的良好性能，比以往基于該數據集研究得到的識別正確率提高了6%.對于正常走、快走、倒走、上樓和下樓等幾類相似活動識別錯誤率降低了35%.因此，基于廣義判別分析的特征提取方法可以將相似活動的特征在高維空間區(qū)別開來，提取出相似活動的有效分類特征，在針對單傳感器相似活動易混淆問題上取得了一些進步.下一步研究本文算法在更多人體活動上的有效性.