基于SE-CNN 的人體摔倒檢測方法

楊志勇，王俊杰，金 磊

（南昌航空大學 軟件學院，南昌 330063）

0 概述

近年來，60 歲以上的老年人在人口中所占的比例越來越高，且還在迅速增長。老年人尤其是獨居老人的醫療保健是全社會面臨的重大問題，而摔倒和治療延誤造成的事故嚴重威脅著老年人的生命，摔倒檢測已成為當前熱門的研究領域。

目前，摔倒檢測方案可以分為基于可穿戴傳感器的方法、基于環境傳感器的方法、基于計算機視覺的方法和基于無線信號的方法［1］這4 大類。

基于可穿戴傳感器的方法是使用可穿戴傳感器設備如加速度計［2-3］、陀螺儀［4-5］、相機等來檢測人體摔倒行為。文獻［6］利用老人佩戴加速度計進行測試，從加速度計獲取日常步態特征來預測摔倒情況。AIHUA 等［7］利用三軸加速度計、三軸陀螺儀和三軸磁強計獲取加速度和歐拉角，并使用基于加速度和歐拉角的檢測算法檢測摔倒行為。文獻［8-10］結合基于視覺和基于可穿戴傳感器方法的優點，提出一種基于可穿戴相機的摔倒檢測方法，通過分析相機拍攝圖像的變化來檢測摔倒行為。基于可穿戴傳感器的方法優點是不受檢測空間的限制，不易受環境干擾，但該方法需要用戶佩戴可穿戴傳感器，舒適性較差。

基于環境傳感器的方法是將傳感器放置在檢測區域中來檢測人體摔倒行為，常用的傳感器包括壓力傳感器［11］、紅外傳感器［12］、聲音傳感器［13］等。ALWAN 等［14］使用一種特殊的壓電傳感器，通過捕捉地板的振動確定摔倒事件。GUAN 等［15］通過部署紅外傳感器，參考結構層析成像和基于立體視圖的紅外輻射變化傳感機制來檢測人體摔倒行為。文獻［16］以地板和聲傳播為基礎，利用加速度計和聲音傳感器（麥克風）來檢測摔倒事件。基于環境傳感器的方法優點是不需佩戴任何設備，舒適性較好。但該方法容易受到周圍環境的偶然性和不確定性影響，摔倒識別的精度有待提高。

基于計算機視覺的方法是采用紅外攝像機監測用戶行為，利用計算機視覺技術來檢測人體摔倒行為。文獻［17-19］通過建立圖像背景模型，使用圖像減法對個體進行分割，然后提取圖像個體特征來檢測摔倒。如果房間的照明情況發生變化，這種基于圖像的效果就會不理想。而基于深度學習的方法不依賴光照［20］，如深度相機［21］能夠提高深度識別人體摔倒的精確度。SASE 等［22］通過提取視頻、濾波、二值化、關聯成分分析等預處理和設置閾值來檢測人體摔倒動作。文獻［23］結合不同視頻摔倒識別系統的置信度，比較了4 種基于ROC 曲線下面積的聚集方法來識別人體摔倒事件。但基于計算機視覺的方法會產生視頻記錄，涉及用戶隱私問題，在實用性方面也有很多局限，對人員的活動范圍有一定限制。

基于無線信號的方法是利用人體活動對無線信號的影響，找到無線信號的變化與人體不同活動之間的對應關系來檢測人體摔倒行為。常用的無線信號獲取設備有雷達［23-25］和商用WiFi 設備［26-28］。文獻［29］利用雷達獲取時間序列信號，利用深度卷積神經網絡自動提取特征進行人體摔倒檢測。文獻［30］利用離散小波變換對商用WiFi 采集的人體摔倒信號進行去噪處理，并通過循環神經網絡（Recurrent Neural Network，RNN）對人體摔倒行為進行分類。基于無線信號的方法優點是無干擾感知和隱私保護，但該方法對環境要求較高，抗干擾性不強。

針對現有的人體摔倒識別存在適應性差、高入侵性、易誤判、成本昂貴等問題，本文提出一種基于射頻信號強度的人體摔倒檢測方法，利用XGBoost 模型對時域特征分量和小波域特征分量進行處理，并使用排列組合法從中篩選較優的多域特征。通過深度學習網絡得到數據潛在規律的特點，將CNN 網絡結構作為主干網絡，并在相鄰網絡層之間嵌入通道注意力（Squeeze and Excitation，SE）模塊以識別不同人體摔倒動作。

1 本文人體摔倒檢測框架

本文提出的人體摔倒檢測框架如圖1 所示。該框架由RSS 數據采集與聯合特征構建、摔倒檢測模型建立2 個部分組成。對于第1 個部分，在數據采集時，目標人員只需在由多個物聯網節點組建的無線傳感器網絡中模擬摔倒行為，即可通過PC 端收集對鏈路產生遮蔽效果的數據。在聯合特征構建時，對數據進行預處理后提取時域和小波域特征，再利用XGBoost 分類器分別對不同組合的特征進行實驗對比，選出最具有區分能力的時域小波域聯合特征。第2 個部分是建立摔倒檢測模型，為了得到RSS 測量值更深層次的特征信息，將獲得的時域小波域聯合特征和源RSS 測量值一起作為卷積神經網絡的輸入數據，并結合目標人員的不同動作作為標簽進行訓練，對目標人員的活動作出判斷，從而實現對人體摔倒檢測。

圖1 人體摔倒檢測框架Fig.1 Human fall detection framework

2 時域和小波域的聯合特征分量

2.1 射頻信號強度值

在通常情況下，1 個無線傳感射頻網絡由M個節點組成，兩兩節點之間可以無線通信，可得到L=M(M-1)條無線鏈路。節點之間的通信機制是輪詢機制，因此可以將整個無線射頻網絡的射頻信號強度值（RSS）表示為R0，1，…，L={R0，R1，…，RL}，其中R0==1，2，…，M}表示無線射頻網絡內沒有人員情況下的RSS 測量值。RL==1，2，…，M；i=1，2，…，I｝表示某種動作對應的RSS 值。由于實際實驗環境存在無效鏈路，如有K條無效鏈路，那么無線射頻網絡RSS 測量值就可以表示為R0，1…，L-K={R0，R1，…，RL-K}，通過對有效的RSS 提取出不同的活動特征實現摔倒識別。

2.2 時域特征

假設節點的RSS 測量值長度為L，記為[R1，R2，…，RL]，則時域均值特征計算式如式（1）所示：

時域方差特征計算式如式（2）所示：

時域峰峰值特征計算公式如式（3）所示：

時域特征提取完畢后，可以得到一個3×1 維的特征向量，時域特征可以表示為式（4）所示：

2.3 小波域特征

本文采集的信號是RSS，為非穩定信號，利用小波變換來提取小波特征。小波變換的公式如式（5）所示：

其中：a為尺度參數，對應頻率，控制函數的伸縮；τ為平移參數，對應時間，控制函數的平移。

本文對剔除了無效鏈路的信號進行小波變換，選用的小波函數為Daubechies 函數，該函數的正則性隨著N的增加而增加，同時具有正交性。RSS 測量值經過一系列的低通和高通濾波器后，得到對應的近似系數（cA）和細節系數（cD），同時頻譜減少為原來的1/2。假設RSS 測量值長度為L，使用小波變換的單層分解，得到近似系數cA1 和細節系數cD1，并且近似系數cA1和細節系數cD1的長度為原來L/2。如果對RSS 測量值進行多層分解，那么近似系數cA1 可以繼續小波變換得到cA2 和cD2，以此類推，直到分解級數達到N。多層分解還會得到一個長度為L的向量，表達式如式（6）所示：

其中：C是小波分解后的小波系數，包含cA 和cD；X表示分析信號；N為分解級數；wname 是小波基函數，即本實驗的Daubechies 函數。圖2 所示為小波多層分解的示意圖。

圖2 小波分解示意圖Fig.2 Schematic diagram of wavelet decomposition

通常，小波分解的頻率范圍與采樣頻率有關。假設Fs是采樣頻率，如果進行N層分解，則N階細節系數的頻帶范圍為Fs/2（N+1）～Fs/2NHz，近似系數的頻帶范圍為0～Fs/2（N+1）Hz。本文的RSS 數據采樣頻率為5 Hz。從理論上來看，經過5 級小波分解后，五階細節系數的頻率范圍為0.07～0.15 Hz，五階細節系數的頻率<0.07 Hz，這僅包括人體摔倒頻率的正常范圍，正常成年人的摔倒頻率為0.05～0.12 Hz。因此，本文選擇的分解層數為5。

小波變換的結果會因小波變換選擇的小波基不同而不同。在實際應用中，小波基的選擇需要考慮各種因素，例如支撐長度、規則性、對稱性、相似性和消失力矩。在此實驗中對過濾沒有特殊要求，一般來說，Daubechies 小波基通常用于一維信號降噪。

一旦選擇了小波基函數，還需要選擇合適的支撐長度。小波的支持范圍是2N-1。在實際應用中，支撐長度越長，計算時間也越長。根據以往的研究結果，在信號處理中，小波基的支持長度通常在5～10 之間選擇，因為如果支持長度過長，不僅會出現計算復雜性的問題，而且還會引起邊界問題。如果太短，則不利于信號能量的集中。因此，本文選擇支撐長度為10。圖3 是部分原RSS 測量值的波形圖，圖4是向前摔倒的部分原RSS 測量值5 層分解之后得到的近似系數分量和細節系數分量，圖5 是第1 層～第4 層的細節系數分量。

圖3 部分RSS 的波形圖Fig.3 Part of the RSS waveforms

圖4 近似系數分量和細節系數分量Fig.4 Approximate coefficient component and detail coefficient component

圖5 第1 層～第4 層的細節系數分量Fig.5 Detail coefficient components of the first to fourth layers

由圖3～圖5可知，原RSS信號經過5層小波變換后得到的cA5 和cD5 可以在低頻和高頻2 個頻帶較為清晰地表示出原射頻信號強度值。由此選取cA5 和cD5小波系數來提取過零點數、方差、能量等小波域特征。其中過零點數表示動作進行的快慢程度，方差表示實驗人員動作的幅度大小，能量則表示信號的匯聚程度。

假設小波系數向量長度為F，記為[C1，C2，…，CF]，

則小波域過零點數特征計算公式如式（7）所示：

小波域方差特征計算式如式（9）所示：

小波域能量特征計算公式如式（10）所示：

小波域的近似系數分量和細節系數分量在提取特征后得到一個6×1 的特征向量，如式（11）所示：

2.4 時域小波域聯合特征

為驗證時域特征和小波域特征對人員動作分類識別的有效性，本文分別在RSS 測量值的時域和小波域提取出時域特征和小波域特征后，使用2 種方法進行驗證，第1 種方法是使用XGBoost 分別對RSS測量值的時域和小波域特征進行分類識別驗證，獲得各自特征的區分能力；第2 種方法則是使用XGBoost 分類器對時域和小波域特征進行排列組合交叉驗證，選取出最終最具有區分能力的聯合特征。

3 SE-CNN 模型

3.1 卷積神經網絡

卷積神經網絡（Convolutional Neural Networks，CNN）是傳統神經網絡的一種改進的網絡，其網絡層之間加入了卷積操作，具有表征學習能力，使用局部操作對表征進行分層抽象。由于CNN 具有局部感受野、權值共享、下采樣等特點，因此可以增強特征并有效降噪。

本文采用經典的LeNet-5 卷積神經網絡結構，包括輸入層、2 層卷積層、2 層池化層、2 層全連接層和輸出層，共8 層，其網絡結構如圖6 所示。

圖6 LeNet-5 網絡結構Fig.6 Structure of LeNet-5 network

3.2 通道注意力網絡

SE 模塊是Momenta 胡杰團隊提出的一種新的端到端網絡模塊，采取了“特征重標定”的思想來進行特征通道間的融合，在未增加額外特征空間的條件下，以深度學習的方式來自動獲取每個特征通道的重要程度，并賦予有效的特征更高的權重，減小無效或效果不明顯的特征權重，以此來使訓練模型達到更好的效果。SE 模塊不是1 個完整的網絡結構，而是一個端到端的子結構，可以嵌到其他分類或檢測模型中。SE 模塊的網絡結構如圖7 所示。

圖7 SE 模塊的網絡結構Fig.7 Network structure of SE module

3.3 SE-CNN 模型

本文在經典LeNet-5 卷積神經網絡結構中插入2 層SE 模塊層，得到SE-CNN 網絡結構，包括輸入層、2 層卷積層、2 層池化層、2 層SE 模塊層、2 層全連接層和最后一層輸出層，共10 層網絡。SE-CNN 網絡模型結構如圖8 所示。

圖8 SE-CNN 網絡模型結構Fig.8 SE-CNN network model structure

4 實驗與結果分析

4.1 實驗環境搭建

本文通過設計一個無線射頻網絡來進行人體摔倒檢測，該網絡由36 個CC2530 節點構成，這36 個節點分布在6 根等高的PVC 管上，每根PVC 管上按序地從上向下地安置著6 個節點，構成1 個足夠讓實驗人員進行摔倒實驗的三維空間環境。圖9 為實驗環境圖（彩色效果見《計算機工程》官網HTML 版本）。

圖9 實驗環境Fig.9 Experimental environment

4.2 數據采集與預處理

在數據采集過程中，挑選不同的人在空間里進行正常站立、向前摔倒、向后摔倒、蹲下、坐在地上這5 個動作，同時采集一組空環境的實驗數據以供比較。采集數據的過程中，36 個節點以“輪詢”的機制周期性地向Base 節點發送數據，Base 節點與PC 端連接，偵聽和接收來自這36 個感知節點數據包中無線鏈路的RSS 值并使用串口助手將RSS 數據保存為TXT 文本存儲在PC 端。從收集到的數據可以看出，無線鏈路的RSS 值均以十六進制表示，36 個感知節點組成1 個輪詢廣播的RSS 信號采集網絡，按照節點編號依次發送數據，組成一個36×36 的矩陣。每一個數值表示該行和該列對應的2 個節點的鏈路RSS 值。由于節點無法向自身發送RSS 數據，因此數據包內對應自身節點位置的RSS 值為0。

數據預處理流程如下：

1）數據缺失值處理。實驗接收的TXT 文本數據頭部和尾部不是完整周期，需要刪除不完整的周期，同時采用平均值填充的方法對在數據傳輸過程和接收過程中丟失的無線鏈路進行補充。

2）進制轉換。由于接收數據為十六進制，則需要將十六進制轉換為十進制，方便后期的處理。

3）RSS 物理值提取。將從CC2530 節點寄存器讀出的接收信號強度指示（Received Signal Strength Indicator，RSSI）的原始數值，轉換為物理接收信號強度。

4）有效鏈路提取。由于某些無線鏈路不會受到人體動作的影響，所以剔除。如圖9 中的PVC 管1、2、3 上的節點形成的鏈路不會受到人體動作的影響，需要剔除。根據實驗，1～18 號節點與25～36 號節點，19～24 號節點與1～12 號節點處在視距路勁上形成有效鏈路，則有效鏈路共有18×12+6×12=288 條。

4.3 實驗性能分析

4.3.1 不同特征性能分析

本文提出時域小波域聯合特征作為分類識別的特征，在分類識別的過程中，將時域特征和小波域的3 個特征進行組合，總有11 種組合方式。例如，時域特征和小波域能量作為一組特征，分別對這11 種特征進行分類識別。由于XGBoost 在工業界應用廣泛且效果優良，因此采用XGBoost 對這11 種特征進行分類識別，選出具有區分能力的特征作為之后的SE-CNN 的輸入。

1）時域特征性能

將時域的3 個特征用交叉驗證的方式進行分類識別。時域的均值特征用M 表示，時域的方差特征用V 表示，時域的峰峰值特征用P 表示，均值和方差的組合用“MV”表示。不同組合對應的分類識別準確率如圖10 和表1 所示。

表1 時域不同特征的平均準確率Table 1 Average accuracy of different features in the time domain %

圖10 不同組合對應的分類識別準確率Fig.10 Classification and recognition accuracy corresponding to different combinations

由圖10 和表1 的對比結果可知，隨著特征數量的增加，分類識別的準確率也越高，說明特征數量越多，攜帶的信息可能就越豐富，表征能力就越強，區分能力也就強。

2）小波域特征性能

將小波域的3 個特征用交叉驗證的方式進行分類識別。Z 表示小波域的過零點數，V 表示小波域的方差，E 表示小波域的能量，小波域的過零點數和方差組合為“ZV”。不同組合對應的分類識別準確率如圖11 和表2 所示。

圖11 小波域不同特征的準確率Fig.11 Accuracy of different features in the wavelet domain

表2 小波域不同特征的平均準確率Table 2 Average accuracy of different features in the wavelet domain %

由圖11 和表2 可知，小波域特征在單個特征和組合特征的形式下整體的平均準確率均高于時域特征，說明小波域的特征具有良好的區分性。

3）時域特征性能

為驗證時域小波域聯合特征的有效性，將最常用的時域特征和小波域特征進行組合，時域特征用字母縮寫“T”表示，聯合特征不同組合對應的分類識別準確率如圖12 所示。

圖12 不同聯合特征的準確率Fig.12 Accuracy of different joint features

由圖11 和圖12 可知，時域特征與小波域單個聯合特征的準確率均高于時域聯合特征，表明小波域特征比時域特征具有更高的識別率。同時，還可以得知時域聯合特征準確率為63.7%，小波域聯合特征的準確率為75.6%，而時域小波域聯合特征的準確率達86.7%，高于單獨聯合時域特征和單獨聯合小波域特征的準確率。通過對比可知，時域和小波域聯合特征的準確率最高，可以有效識別人體摔倒動作，具有很強的區分能力。

4.3.2 SE-CNN 性能分析

SE-CNN 性能分析的步驟如下：

1）將網絡層嵌入SE 模塊的模型和未嵌入SE 模塊的模型進行性能比較。實驗采用綜合評價指標ROC/AUC，在進行1 000 次iteration 之后，得到對比結果如圖13 所示。

圖13 CNN 與SE-CNN 的對比實驗結果Fig.13 Comparison of CNN and SE-CNN experimental results

由圖13 可知，加入SE 模塊的模型，其AUC 值大于未加入SE 模塊的模型AUC 值，SE-CNN 模型優于CNN 模型，反映了SE-CNN 可以在進行卷積操作輸出特征圖后，獲取特征通道的重要程度，并按照重要程度提升有用的特征，對作用不大的特征進行抑制，從而有效進行人體動作識別。

2）對比使用了聯合特征和未使用聯合特征的SE-CNN 模型的性能，對比結果如圖14 所示。

圖14 聯合特征的對比實驗結果Fig.14 Comparison experiment results of joint features

由圖14 可知，增加了時域和小波域聯合特征模型的AUC 值大于未加入模型的AUC。由此可看出聯合特征可以提高RSS 數據的可區分性，同時SECNN 模型對人體摔倒識別有較高的識別率，保證了該實驗的有效性和可行性。

4.3.3 基于深度學習的人體摔倒檢測性能分析

為了評估基于SE-CNN 的人體摔倒檢測的性能，將本文方法與其他文獻所提方法進行比較。文獻［31］使用體域網和室內傳感器網絡實現老年人行為檢測，其利用MicaZ 節點基于集中式檢測方法的準確率為90%。文獻［32］通過Kinect 傳感器獲得人體跌倒識別的人體骨骼信息后，采用Back Propagation 算法進行分類，準確率為90%。文獻［33］介紹了一種基于HMM 的跌倒檢測系統，該系統基于微波多普勒傳感器來檢測人體摔倒，準確率達95%。文獻［34］通過WiFall 來獲取CSI 信息，利用支持向量機和隨機森林算法實現人類跌倒的識別，準確率分別為90%和94%。表3 為不同人體摔倒識別方法的準確率，從表中可知本文方法與其他方法相比具有較高的準確率，明顯優于其他方法。

表3 不同方法的人體摔倒識別準確率Table 3 Accuracy of human fall recognition by different methods %

5 結束語

本文提出一種基于SE-CNN 模型的人體摔倒動作識別方法，利用人體活動對無線信號鏈路的影響提取無線射頻信號的時域特征，并通過小波變換提取小波域特征，運用XGBoost 對時域和小波域以排列組合的形式進行結合，構建具有顯著區分能力的聯合特征。此外，引入卷積神經網絡和SE 模塊對無線射頻信號及聯合特征進行分類學習，以提高摔倒動作的分類識別準確率。實驗結果表明，聯合特征的加入能夠提高RSS 數據的可區分性，且SE-CNN模型識別準確率高于CNN 模型，可以實現高準確率的人體摔倒檢測。但本文方法目前只考慮了檢測環境中單人的場景，沒有考慮多人場景，下一步將嘗試在多人場景下進行檢測，從中提取出摔倒特征，并獲取日常實際的樣本數據訓練模型，以提高本文方法的魯棒性。