人體摔倒行為識別研究中的自動化深度特征提取

潘道華，劉宏偉

（1 哈爾濱工業大學計算機科學與技術學院，哈爾濱 150001； 2 黑龍江民族職業學院電子信息工程系，哈爾濱 150001）

0 引 言

當今社會人口老齡化現象是最顯著的人口特征之一，由于老年人生理結構的老化和身體機能的下降，在生活中老年人意外摔倒不再是個例，是造成老年人嚴重健康傷害、甚至死亡的十大主要原因之一。在日常生活中，尤其是在潮濕處，如廚房、浴室等地，老人就容易出現打滑。 此時，若老年人還患有腦溢血、心臟病等疾病，發生摔倒就有可能危及老年人的生命。 此外，當今社會老人戶外摔倒，若未能遇到路人及時伸出援手，就將導致摔倒后的老人很長一段時間內得不到救助［1］，這種情況就更會加劇對老年人的傷害。 綜上可知，老年人摔倒問題已經衍生成為一個重大的社會問題［2］。 因此，摔倒行為識別對老年人尤為重要，有關人體摔倒行為識別的研究具有很高的實際應用價值。

在人體摔倒行為識別的研究中，特征提取是至關重要的一個環節。 目前，特征提取主要是通過手工法提取，提取的特征包括時域特征、頻域特征和時頻域特征。 這些傳統的手工法提取的特征往往導致分類識別的準確性不夠高。 為了提高識別準確性和特征提取的自動化程度，減少人為的干預，本文提出基于卷積神經網絡（CNN）進行深度特征的提取，而后再經過機器學習分類器算法進行識別的方法。 將深度學習技術與機器學習算法相相合，可以使整個模型的綜合性能得以提高，從而提升人體摔倒行為識別準確率。 將CNN 用作分類器會有一定的局限性。 分析可知，CNN 是多層感知機的拓展模型，通過使用經驗風險最小化的算法來進行訓練學習，這就容易導致模型最終得到的不是全局最優解、而是局部最優解［3］。 另外，當數據到達網絡的輸出層（output layer） 時，經常使用的多分類激活函數（softmax） 往往傾向于把一個極大的值（近似為1）賦給某一個類別，而其它的類別所得的值相比就很小（近似為0），這就明顯降低了CNN 在分類識別中的容錯能力。 因此，CNN 并不適合用作分類器模型［4］。本文選擇了CNN 結合SVM 的混合式模型做人體摔倒行為的分類研究，可以大大提高識別的準確率。

1 人體摔倒過程的分析及數據獲取

1.1 人體摔倒過程的分析

人體摔倒在地面或接近于地面的較低物體上時，會對其產生一定的沖擊，根據沖擊的強度，可以將摔倒分為硬摔倒和軟摔倒兩大類［5］。 其中，硬摔倒是指發生撞擊后，會引起身體的一系列疾病的摔倒。 軟摔倒是指因為撞擊強度低，發生撞擊后，身體不會受到嚴重傷害的摔倒，比如老年人靠在墻邊，或者扶著墻壁等比較緩慢地摔倒。 由于硬摔倒會對身體產生較大的危害，因此，本文著重對這種摔倒進行研究和分析。 根據人體動力學的原理，當人體的重心投向地面的投影不在人體的支撐點上時，人體的力平衡機制就已經被打破。 如果人體的重心或支撐點沒有得到及時調整，就極易發生摔倒。 這種人體的不平衡狀態導致的結果是人體以一定的加速度向下落地，同時，身體的姿態角度發生變化。 根據這一分析，可以將摔倒過程分為4 個階段：

（1）摔倒開始階段：此時摔倒并沒有發生，但人體平衡被破壞了，在這一階段里身體加速度和身體姿態角度都沒有發生改變。

（2）身體下降階段：從人體失去平衡開始，到身體與地面接觸結束。 在這個過程中，人的雙腳著地面會逐漸脫離地面，身體在重力加速度的作用下發生向下的墜落，該階段中，人體處于失重的狀態。 由于人體受到重力加速度的作用，身體的變化速度在與地面發生撞擊之前會逐漸增大，直至達到某個最大值。 身體的加速度值也會發生變化，由重力加速度G逐漸下降為接近于0。 身體繞人體坐標系中的坐標軸旋轉的旋轉角度和旋轉角速度發生變化。

（3）沖擊發生階段：從身體觸碰地面或者較低平面那一刻開始，到身體靜止在地面上為止。 在沖擊階段中，身體的加速度值會發生劇烈的變化，身體將承受很大的沖擊，這一階段也是造成身體損傷的階段。 在身體受到撞擊發生前，身體向下的運動速度達到最大值，此后與地面或其它較低平面發生突然性碰撞，速度發生驟減，減至0。 此時，加速度會迅速地變大，會形成一個明顯的峰值。

（4）身體靜止階段：身體在受到沖擊后通常會躺在地面上一段時間。 一般情況下，無論身體是否受到傷害，在摔倒后的一段較短的時間內，身體都會處于一種相對靜止的狀態。 在這一階段，身體的加速度值處于相對平穩的狀態。

1.2 數據獲取

本文的實驗數據是通過志愿者穿戴著一套動作捕捉設備進行采集的。 該套設備全身共包含16 個傳感器節點，如圖1 所示，每個傳感器節點都為九軸傳感器，分別集成了三軸加速度計、三軸陀螺儀、三軸地磁計。

圖1 數據采集所用的傳感器節點Fig. 1 The sensor nodes used for data acquisition

該套動捕設備通過WiFi 與主機通信，并將采集到的傳感器數據存儲在主機中。 由于本文的實驗是做人體大幅度動作的分類，旨在有效識別出是否有摔倒行為的發生，所以手背處的傳感器節點所采集的數據對于摔倒識別的影響不大。 另外，由于全身的傳感器呈身體對稱性分布，所以本文實驗只選用身體單側肢體的傳感器節點和身體主干上的傳感器節點的數據就可以實現實驗要求，文中選用了7 個關鍵的傳感器節點所采集的傳感器數據進行實驗，這7 個傳感器節點分別位于頭部、胸部、腰部、上臂部、前臂部、大腿部和小腿部。

本文的部分實驗數據是來源于5 位65 歲以上的老年人真實日常生活中的各種行為數據的采集，但是由于沒有那么多老年人可以進行實驗數據的采集，另外又考慮到老年人的安全和健康，本文的另一部分數據獲取來源于征集的20 位青年志愿者，志愿者的年齡范圍為18～22 歲，平均年齡為20.5 歲；體重范圍為46～79 kg，平均體重為62.18 kg；身高范圍為155～178 cm，平均身高為169.6 cm。 所有的志愿者模擬日常生活中7 類常見的行為活動［6］：行走、坐、蹲、躺、站立、上樓、下樓，每種日常行為活動的數據采集持續時間為5 min。每位志愿者進行了模擬摔倒，摔倒分為向前、向后、向左、向右和行走中摔倒（也稱為絆倒）。 分別模擬人體下肢在突然失去控制的情況下和發生眩暈的情況下發生的摔倒，每種摔倒進行20 次，共計100 次，所有的摔倒都是在厚約10 cm 的海綿墊上進行的。 所有傳感器節點的采樣頻率均為120 Hz。

實驗采集的原始傳感器數據信號通過0.2 Hz的三階巴特沃斯高通濾波器［7］進行濾波，接著再通過滑動窗口技術實現傳感器數據的分割，將數據分割成若干個數據片段。 滑動窗口的時間窗口大小是由目標行為活動集來決定的，最終根據實際情況，將滑動窗口的時間設定為3 s，這是一個比較常用的窗口大小［8］。 7 個傳感器節點分別穿戴在人身體上的7 個不同位置，因為每個傳感節點都包括三軸加速度計、三軸陀螺儀、三軸地磁計，所以每個數據文件包括63 列傳感器數據。

2 特征提取

2.1 傳統特征的提取

特征提取是進行人體摔倒行為識別的過程中不可缺少的主要環節，對摔倒行為識別的準確性有著很大的影響。 傳統的統計特征會經常被用在人體行為識別的研究中，通常可分為時域特征、頻域特征和時頻域特征。 Khan 等人［9］和Yan 等人［10］對時域特征和頻域特征進行了對比，結果是在大多數情況下時域特征對分類的作用更大，但是將兩者結合起來是一種更好的方法。

本文進行了傳統特征的提取。 對傳感器的每個軸所采集的數據分別提取了9 種常用特征：均值、方差、中位數、均方根、標準差、最大差值、偏度、峰度和能量，各指標的數學定義公式如下。

（1）均值。 計算公式可寫為：

（2）方差。 計算公式可寫為：

（3）中位數。 計算公式可寫為：

（4）均方根。 計算公式可寫為：

（5）標準差。 計算公式可寫為：

（6）最大差值。 計算公式可寫為：

（7）偏度。 計算公式可寫為：

（8）峰度。 計算公式可寫為：

（9）能量。 計算公式可寫為：

其中，T（i） 表示經過預處理后的數據的第i個采樣點值，F（i） 為T經過傅立葉變換后的第i個傅立葉系數。

經過特征提取后，形成了由各個傳感器數據片段的特征向量組成的多維特征向量。

2.2 深度特征的提取

本文使用卷積神經網絡CNN 來進行深度特征的提取。 為了提取深度特征，構建CNN 的結構［11］如圖2 所示。 在實驗部分，對基于深度特征的摔倒行為識別效果和基于傳統的統計特征的識別效果做了對比。

為了闡述模型的工作機制，用X來表示卷積神經網絡的輸入數據。 經過卷積后，第k個特征圖中的元素被記為［12］：

其中，（p，q） 表示元素在對應的特征圖中的具體位置；bk是偏置項；卷積核的大小用i?j來表示；表示卷積核權重值，這里的α和β標識為該權重在卷積核中的位置。

假設原始傳感器數據序列大小為m?n，表示進行第p?（m－2）＋q次卷積運算時輸入的數據中對應位置的值。F為卷積層的激活函數，本文使用的是ReLu線性整流函數，函數形式可表示為：

經過平化層后，所有的特征圖經由矩陣轉換為1D 的向量。 此后數據再經過全連接層，輸出深層特征。 全連接層的數學原理公式可表示為：

其中，u表示輸入的數據的維度；xγ個輸入的元素；vγ表示第γ個輸出的元素；W表示權重向量；b為偏移值；S是激活函數tanh，其值可由如下數學公式計算求出：

最后一層的輸出向量V ＝［v1，…，vu］ 是卷積神經網絡提取出的深度特征，為下一步將要進行的機器學習分類器做訓練使用的特征。

每個節點的采集數據是由9 個軸的數據組成，采集到的數據序列經過滑動窗口進行分割，分割為每個窗口包含360 個采樣點的傳感器數據文件。 因此，進行深度特征提取的輸入為多個360?9 大小的矩陣。 卷積層采用4 個卷積核，因為每3 個傳感器數據都屬于同一類型，所以使用了4 個大小為3?3的卷積核。 將stride設置為1。 經過卷積運算后的結果，再經過平坦層的一維化運算進入稠密層，該層中設計了64 個權重節點，經過全連接運算后得到64 維的特征向量。

3 實驗對比分析

人體摔倒行為的識別一般采用敏感性、特異性、準確性三個指標來評價。 這3 個指標是用4 種可能情況來計算的，參見表1。

表1 摔倒行為識別的4 種可能情況Tab. 1 Four possible cases of falling behavior recognition

表1 中，True Negatives（TN） 表示摔倒并未發生，可以正確識別為不是摔倒、而是其它行為的樣本數；False Negatives（FN） 表示摔倒發生了、但卻沒有被識別出來的摔倒行為的樣本數； False Positives（FP） 表示摔倒并未發生、但卻把其它的日常行為活動誤判為是摔倒行為的樣本數；True Positives（TP） 表示摔倒發生了、而且能正確地被識別出來的摔倒行為的樣本數。

進而，針對研究采用的評價指標，擬做剖析分述如下。

（1）敏感性。 是標識檢測摔倒能力的指標。 可由摔倒發生并能夠成功檢測到的摔倒數（TP） 與發生的總摔倒數（TP ＋FN） 之比計算得出：

（2）特異性。 是標識避免誤報能力的指標，計算公式為：

至此分析可知，敏感性和特異性用來更好地了解摔倒行為識別的某些限制。

（3）準確性。是有效區分和識別摔倒（TP） 和非摔倒（TN） 的能力，可以通過以下公式計算得出：

其中，P表示摔倒發生的次數，N表示沒有摔倒發生的次數。

總體來說，準確性是一個全局性的指標，本文實驗部分把準確性作為摔倒行為識別的衡量標準。

3.1 基于傳統特征的摔倒識別

通過2.1 節提取的統計特征作為特征向量，利用支持向量機（SVM）［13］、決策樹（DT）［14］、隨機森林（RF）［15］三種分類器模型分別進行訓練與測試，然后采用十折交叉驗證法對分類效果進行驗證。 準確性的實驗比較結果見表2。

表2 基于統計特征的摔倒行為識別準確性Tab. 2 Accuracy of falling behavior recognition based on statistical features

表2 顯示了3 種分類器算法的不同檢測效果。可能是因為DT 分類器和RF 分類器不適合對連續數據進行處理，還可能因為對分類器參數的設置沒有達到最優，所以導致RF 的效果略差，DT 的效果更差。 總的說來，SVM 的平均識別準確性最高，整體效果最好。

另外，傳感器佩戴的不同位置對摔倒行為的檢測準確率有一定的差別。 腰部采集的實驗數據效果最好。 不同傳感器佩戴位置、不同的分類器算法對摔倒行為的檢測準確率有一定的影響，但差別并不明顯。 綜合SVM、DT、RF 三種分類器算法的摔倒行為識別準確率對比效果，如圖3 所示。

圖3 傳感器佩戴位置與摔倒行為識別準確性的關系Fig. 3 The relationship between sensor position and the accuracy of falling behavior recognition

通過實驗可以看出：不同的傳感器佩戴位置對摔倒行為的識別準確率影響并不大，特別是對SVM 這個整體性能比較好的分類器。 雖然方法不同，但這一結論與其他研究工作者得出的結論相似［16］。

3.2 基于深度特征的摔倒識別

3.2.1 基于深度特征的摔倒行為識別的效果

利用本文設計的CNN 結構提取新的深度特征，構成特征向量，利用支持向量機（SVM）、決策樹（DT）、隨機森林（RF）三種分類器模型分別對身體的7 個傳感器節點采集到的數據進行訓練和測試，基于統計特征對身體各傳感器節點的摔倒行為識別的準確性實驗結果見表3。

表3 基于深度特征的摔倒行為識別準確性Tab. 3 Accuracy of falling behavior recognition based on depth feature

3.2.2 基于深度特征與傳統特征的摔倒行為識別的效果對比

為了便于清楚地對比基于深度特征與傳統特征的摔倒行為識別的效果，將識別準確率的效果以圖4 顯示。

圖4 使用深度特征與傳統特征進行的摔倒行為識別準確性的對比圖Fig. 4 Falling behavior identification accuracy using depth features versus traditional features

由圖4 可以看出基于深度特征的人體摔倒行為識別的準確率明顯高于基于傳統統計特征的人體摔倒行為識別的準確率。 圖4 中，分類器算法SVM 通過CNN 提取的深度特征對摔倒識別準確率的提升最為明顯。 另外，在對人體摔倒行為識別的整個實驗過程中，可以發現無論使用哪一種分類器，相對運動幅度比較小的活動的識別精度都相對較高，這是因為相對運動幅度比較小的活動所具有的平穩信號特性。 而對于運動時幅度比較大的動態行為活動，識別準確率略低一些，也許是因為受數據失真的影響更大的結果。 但是本文采用的基于CNN 提取的深度特征的方法可以大大地緩解這個問題。

4 結束語

本文提出了基于CNN 結構進行深度特征提取的方法，將深度特征的提取結合SVM 分類器用于人體摔倒行為識別的實驗研究中，結果表明，提取不同的特征對人體活動識別的準確性有著很大的影響，基于CNN 的深度特征可以大大提高人體摔倒行為識別的準確率。 另外，本文對身體不同的傳感器佩戴位置所采集的實驗數據對人體摔倒行為的識別準確率的影響進行了對比，結果是腰部的識別準確率最高，可達到94.89%。 本文將基于CNN 和SVM 的混合分類識別模型用于人體摔倒行為識別的研究，可以大大提高摔倒行為識別的準確率。