基于LSTM-CNN的跌倒行為檢測

劉函青，鄭萬成

（重慶南開中學(xué)重慶育才中學(xué)，重慶，400030）

0 引言

跌倒是指突發(fā)、不自主、非故意的體位改變，倒在地上或者更低的平面上。老年人的跌倒問題更是不可小覷，其已經(jīng)成為繼惡性腫瘤、心腦血管疾病和呼吸系統(tǒng)疾病之外引起老年人傷害甚至死亡的重要原因。近年來傳感器檢測技術(shù)的發(fā)展，人工智能算法方面的突破為跌倒檢測提供了新的突破點(diǎn)。綜合以往研究成果跌倒檢測方法主要分為三個方面：基于視覺的跌倒檢測方法[1]；基于智能手機(jī)檢測系統(tǒng)[10]；穿戴式跌倒檢測系統(tǒng)[2～9]。

深度學(xué)習(xí)技術(shù)廣泛的應(yīng)用于計算機(jī)視覺和語音識別領(lǐng)域，深度學(xué)習(xí)的本質(zhì)是卷積神經(jīng)網(wǎng)絡(luò)（CNN）通過對輸入數(shù)據(jù)的卷積和池化操作提取得到深層次的特征信息，本文將CNN應(yīng)用在跌倒檢測方面中。長短期記憶網(wǎng)絡(luò)（LSTM）是在循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）的基礎(chǔ)上變種，引入了存儲單元解決了RNN存在的梯度消失問題。本文結(jié)合了LSTM和CNN兩種網(wǎng)絡(luò)的優(yōu)點(diǎn)，提出應(yīng)用在跌倒行為檢測的具有端到端特性的LCNN網(wǎng)絡(luò)。

利用跌倒檢測算法可以完成跌倒動作的識別與分類從而觸發(fā)系統(tǒng)的報警動作，但是跌倒動作的發(fā)生不是孤立的一個人體行為，在其發(fā)生之前仍然有一系列的動作信息可以進(jìn)行提取分析。傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)有很強(qiáng)的模型表達(dá)能力，但是其前后的輸出沒有關(guān)聯(lián)性，這就導(dǎo)致了它對運(yùn)動信息分析能力的不足。因次在人體行為檢測時不僅要判定當(dāng)前狀態(tài)，要根據(jù)之前狀態(tài)至當(dāng)前狀態(tài)發(fā)生的變化判定存在跌倒發(fā)生。

本文按照如下結(jié)構(gòu)逐步開展詳細(xì)論述：LCNN網(wǎng)絡(luò)結(jié)構(gòu)；數(shù)據(jù)采集及結(jié)果分析；結(jié)論。

1 LCNN網(wǎng)絡(luò)

本文主要基于如下兩點(diǎn)構(gòu)建LCNN網(wǎng)絡(luò)：① LSTM、CNN在其建模能力方面都受到模型本身的限制，CNN善于減少頻率變化，LSTM擅長于時間建模。② 跌倒檢測信號屬于時序信號。因此，通過結(jié)合兩種模型的優(yōu)點(diǎn)，構(gòu)建了LCNN模型，其中LSTM模塊用于一次提取包含時序信息的信號特征，CNN模塊用于實現(xiàn)對信號進(jìn)行二次特征提取及信號的分類輸出。

1.1 LTSM網(wǎng)絡(luò)

對于行為信息等序列數(shù)據(jù)，可以設(shè)計RNN(循環(huán)神經(jīng)網(wǎng)絡(luò))來進(jìn)行處理，利用RNN對前后關(guān)聯(lián)信息的處理能力，我們可以通過對跌倒前序列信號的分析得到導(dǎo)致跌倒的行為模式。利用循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）進(jìn)行小樣本的特征提取與學(xué)習(xí)，降低了算法對樣本數(shù)量的敏感性。RNN是一種節(jié)點(diǎn)定向連接成環(huán)的人工神經(jīng)網(wǎng)絡(luò)，其可以利用內(nèi)部的記憶來處理時序信號，但在處理具有長期依賴關(guān)系的時序信號時會出現(xiàn)梯度消失問題。LSTM是對RNN的擴(kuò)展，其使用門控功能來避免RNN網(wǎng)絡(luò)中梯度消失問題。

基本LSTM單元包含三個輸入信號包括當(dāng)前時刻輸入值 x，上一時刻的輸出值 a以及上一時刻的單元狀態(tài)c。LSTM單元中的三個門決定輸出狀態(tài)，遺忘門決定上一時刻的單元狀態(tài) c有多少保留到單元狀態(tài) c（公式（1）），輸入門決定當(dāng)前時刻的網(wǎng)絡(luò)輸入 x有多少保存到單元狀態(tài) c（公式（2）），輸出門控制單元狀態(tài) c有多少輸出到當(dāng)前值 a（公式（3））。LSTM單元的輸出為當(dāng)前時刻的輸出 a以及當(dāng)前時刻的單元狀態(tài) c。

1.2 CNN網(wǎng)絡(luò)

CNN模塊用于實現(xiàn)對信號進(jìn)行二次特征提取及信號的分類輸出。本文卷積神經(jīng)網(wǎng)絡(luò)采用兩層卷積，第一層卷積使用65個3×1的卷積核，步長為1，第二層卷積使用,30個3×1的卷積核，步長為1，非線性激活函數(shù)本文使用PReLU。

1.3 融合網(wǎng)絡(luò)

網(wǎng)絡(luò)模型如圖1所示，其中我們將陀螺儀、加速度計、角度信息延展成一行，作為輸入長度，輸入信號的格式為batch＊seq_len＊n_ch, 其中batch表示每次輸入網(wǎng)絡(luò)中的數(shù)據(jù)大小，seq_len表示序列長度，由于本文所使用的跌倒裝置采樣為20Hz，因此本文30s為一個時間窗長度，因此seq_len為10，n_ch為陀螺儀等延展后的長度，為9。

圖1 網(wǎng)絡(luò)模型

2 數(shù)據(jù)采集及實驗驗證

主要利用加速度傳感器獲取的人體關(guān)節(jié)加速度、角度、速度等信息，分析加速度信號的時頻特性，從不同角度進(jìn)行信號刻畫；通過LCNN算法實現(xiàn)加速度等底層物理信息對人體的高層行為映射，通過還原出的行為信息判別當(dāng)前人體狀態(tài)。

2.1 數(shù)據(jù)采集裝置

加速度數(shù)據(jù)采集部分是整個系統(tǒng)中最底層的部分，原始數(shù)據(jù)采集的優(yōu)劣在一定程度上會直接影響到算法的性能。數(shù)據(jù)采集系統(tǒng)組成如下：

（1）以PCB為主的原型機(jī)搭建：以陀螺儀芯片MPU9250為運(yùn)動傳感器；以及藍(lán)牙HC05為數(shù)據(jù)傳輸模塊；以Atmega32U4為控制器搭建可穿戴式運(yùn)動信息收集裝置原型機(jī)；

（2）底層數(shù)據(jù)采集代碼編寫：該裝置負(fù)責(zé)收集空間XYZ三軸的旋轉(zhuǎn)角、旋轉(zhuǎn)角速度、加速度以及地磁一共12維的運(yùn)動信息，通過藍(lán)牙進(jìn)行傳送，PC端進(jìn)行數(shù)據(jù)接收；

（3）PC端數(shù)據(jù)處理軟件實現(xiàn)：軟件通過藍(lán)牙轉(zhuǎn)串口接收將藍(lán)牙發(fā)送的信息。

根據(jù)以上設(shè)計得到的數(shù)據(jù)采集系統(tǒng)為了滿足用戶使用過程中的高可靠性和舒適性最終的特性如下：

（1）小型化：硬件設(shè)備輕巧靈便，方便攜帶安裝；

（2）采樣頻率：考慮人運(yùn)動信息的實時性與系統(tǒng)檢測濾波輸出準(zhǔn)確性的結(jié)合，根據(jù)實際情況設(shè)定合理的采樣頻率，初始化為20Hz；

（3）低功耗：以紐扣電池為主要供電模塊，選用低功耗處理芯片，系統(tǒng)靜置固定時間后自動休眠，以保證系統(tǒng)長時間工作，減少更換電池的次數(shù)；

（4）數(shù)據(jù)采集傳輸：裝置設(shè)計包括本地存儲與無線傳輸功能，在進(jìn)行數(shù)據(jù)采集過程中，將數(shù)據(jù)同步存儲至SD卡與連接統(tǒng)一局域網(wǎng)的PC端，以時間戳作為數(shù)據(jù)的具體區(qū)分。

圖2 數(shù)據(jù)采集裝置

2.2 實驗驗證

本文對一個實驗者的數(shù)據(jù)進(jìn)行了驗證，實驗數(shù)據(jù)分為訓(xùn)練集與驗證集，其中損失函數(shù)和驗證集準(zhǔn)確率如圖所示，數(shù)據(jù)分為5個動作，分別為正常行走，跳躍、蹲下、向前傾倒、向左傾倒。在測試中其驗證集的準(zhǔn)確率在80%左右，各個動作之間的準(zhǔn)確率如圖3所示。其訓(xùn)練過程中的損失函數(shù)如圖4所示。在測試中，在訓(xùn)練集上的準(zhǔn)確率為92.3%，因此，由于樣本有限，網(wǎng)絡(luò)存在一定的過擬合。由于采集樣本有限，當(dāng)數(shù)據(jù)量更多時其準(zhǔn)確率應(yīng)該比圖中更高。

圖3 各動作之間準(zhǔn)確率

圖4 損失函數(shù)值

3 結(jié)論

現(xiàn)有的跌倒行為檢測方法需要依賴人體行為建模，將傳感數(shù)據(jù)轉(zhuǎn)換至行為特征數(shù)據(jù)，在通過時間軸上行為特征的變化檢測人體跌倒行為。本文端到端的識別算法可以解決對行為建模的依賴行問題，隨著數(shù)據(jù)集的不斷完善最終可以為老年人等失能人員提供精確的檢測結(jié)果。