基于OpenPose改進的老人摔倒檢測算法

胡昕 劉瑞安 黃玉蘭

摘? 要：為避免老人摔倒后未能及時提供醫療援助而造成的人身傷害，研究發現老人摔倒并及時發出警告，可減少老人摔倒的損失和嚴重后果。為了提高老人摔倒檢測算法的檢測精度和實時性能，提出了一種基于OpenPose改進的老人摔倒檢測算法。該算法在OpenPose人體骨架信息識別網絡的基礎上，提出將其部分卷積層替換為深度可分離卷積神經網絡類型。該算法使用長短期記憶神經網絡來檢測老人的摔倒。從URFall公共數據集提取跌倒和相關行為數據，豐富自制數據集，實驗結果表明，本文改進后算法大大提升了系統判別摔倒的識別精度。

關鍵詞：OpenPose；深度可分離卷積；長短期記憶神經網絡；摔倒檢測；深度學習

中圖分類號：TP391.41；TP183 文獻標識碼：A 文章編號：2096-4706（2023）23-0073-07

Improved Elderly Fall Detection Algorithm Based On OpenPose

HU Xin， LIU Ruian， HUANG Yulan

（College of Electronics and Communication Engineering， Tianjin Normal University， Tianjin? 300387， China）

Abstract： In order to avoid personal injuries caused by failure to provide timely medical assistance after an elderly fall， the study finds that elderly falls and timely warnings can reduce the damage and serious consequences of elderly falls. In order to improve the detection accuracy and real-time performance of the elderly fall detection algorithm， an improved elderly fall detection algorithm based on OpenPose is proposed. The algorithm proposes to replace some of its convolutional layers with the Depthwise Separable Convolution neural network type based on the OpenPose human skeleton information recognition network. The algorithm uses the Long Short-Term Memory Networks to detect falls of the elderly. The fall and related behavioural data are extracted from the URFall public dataset to enrich the home-made datasets. Experimental results show that the improved algorithm in this paper greatly improves the recognition accuracy of the system in discriminating falls.

Keywords： OpenPose; Depthwise Separable Convolution; Long Short-Term Memory Network; fall detection; Deep Learning

0? 引? 言

近年來，摔倒行為在老年人日常生活中已經越來越普遍。在美國，65歲及以上的老年人中約有30%的人每年至少摔倒一次，而80歲及以上的老人發生的摔倒行為更是高達50%[1]。中國社區醫學的統計資料表明：30%的65歲以上老年人每年跌倒1次或多次，80歲以上的老年人摔倒的發生率高達50%。摔倒的發生率隨著年齡而增加。女性發生率高于男性。發生摔倒的場所以家中居多，占60%，30%發生在公共場所，10%發生在醫療保健部門。摔倒在我國65歲以上老年人的意外傷害死因順位中居首位，并隨年齡的增加跌倒的死亡率急劇上升，在85歲以上老年人中達到最高[2]。摔倒會對老年人的身體造成很嚴重的傷害，輕則不能自由活動，照顧自己的日常生活起居，嚴重時會造成老年人身體的殘疾甚至死亡，并且影響老年人的身心健康。值得注意的是，送到醫院救治的時間與摔倒死亡率之間存在明顯的正相關關系。也就是說，如果能在很短的時間內送到醫院救治，摔倒的老人可能不會產生特別嚴重的后果。因此，自動化的摔倒監測越來越受到研究者和醫護人員的關注。它最大的功能是可以在監測到老年人摔倒時自動發出警報，其家人或附近的醫院可以迅速做出反應，以及時挽救生命或者降低摔倒受傷后產生的嚴重后果程度。如果能夠在科技方面提供有力的支持，就可以很大程度降低老年人摔倒后身體的傷亡情況。因此，將老年人的健康監護細化，摔倒行為的檢測監護在現階段成為智能養老應用研究的一大熱點。

目前關于跌倒檢測的研究可以分為三類。第一種是使用可穿戴傳感器來檢測跌倒的發生，并使用三軸加速度計等數據來檢測一個人的姿勢。Bourke[3]等人將加速度計和陀螺儀安裝至腰部，從傳感器數據中提取了12種不同運動學、動力學等特征，并將這些特征實現不同的組合，應用機器學習來判斷摔倒姿態。由于算法是基于可穿戴設備的，這樣就會產生像當人跌倒時穿戴在身上的設備可能會因跌倒而損壞，這樣便造成了識別結果的不準確以及設備需要人時刻穿戴在身上，給用戶帶來了極大的不便等問題。第二種使用環境傳感器，通過振動、紅外傳感器或音頻來檢測跌倒。Alwan[4]使用了振動傳感器來判斷摔倒姿態，將多個振動傳感器安裝于地板上，通過對振動信息的處理來判斷人體的位置和姿態。基于環境的檢測算法需要在環境中部署相關的傳感器，這便對其使用環境有了很大的限制。如果環境中出現預期外的東西（如寵物等）也會影響到最終結果的準確性。第三種類型采用計算機視覺，計算機視覺跌倒檢測方法使用圖像處理和概率模型來檢測人的輪廓，并應用機器學習或神經網絡進行運動分類[5]。通過高斯混合模型（GMM）從背景中提取運動物體，生成人體輪廓[5]。這種方法避免了可穿戴傳感器的問題，也不需要高成本的設備。然而，它很容易受到環境的干擾。如光線、衣服或重疊的人像。這種方法還存在著對隱私的擔憂。另一種基于計算機視覺的跌倒檢測方法使用了Kinect和OpenPose或Deepcut的人體骨架來獲得關節點，以識別和預測跌倒[6]。骨架識別與人體輪廓識別相比，骨架識別受環境干擾的可能性較小，而且對隱私的保護也有所提高。由于訓練數據是基于關節點而不是圖片，所以訓練時間更短。然而，這種方法存在著特征質量和缺失的關節點，從而導致較低的跌倒檢測精度。

本文提出一種基于改進OpenPose的長短期記憶（LSTM）模型的摔倒檢測框架，所提出的辦法降低了設備成本，并且不需要用戶佩戴傳感器或使用特定的攝影設備。本文提出的算法可以從視覺傳感器獲得的視頻圖像中自動提取人體關鍵點信息，分析其內部數據相關特性，實現從RGB攝像機圖像處理到老人摔倒檢測的過程。該算法框架從OpenPose主干網絡入手，采用了深度可分離卷積思路，提高了摔倒檢測的識別精度，訓練時間減少，保護用戶隱私。

1? 算法流程

本文提出的框架使用現有的UR跌倒檢測數據集[7]作為輸入，并對數據進行預處理以檢索骨架關節點。對接頭點數據進行進一步處理，以恢復缺失點。然后將它們分為訓練數據集和測試數據集。圖1顯示了數據處理、訓練和測試的程序框圖。該框架首先將數據集中的行為分割成連續的圖像序列。利用OpenPose從圖片序列中提取骨架，獲得25個人體關節點的位置數據。為了對接合點數據進行預處理，提出了一種最小最大值歸一化方法。將處理后的關節點數據分為測試集和訓練集，輸入LSTM模型進行訓練和測試。

1.1? OpenPose網絡

OpenPose于2017年CVPR會議上發表，是美國卡耐基梅隆大學基于卷積神經網絡和監督學習以caffe為框架開發的開源庫[8]，其功能有手指運動、面部表情、人體動作等姿態估計，適用于單人和多人并有極好的穩定性，是全球首個，基于深度學習的實時多人二維姿態估計應用算法，網絡結構如圖2所示。

OpenPose采用了CPM先檢測關鍵點，自下而上地繪制出人體骨干圖的方法，在其中加入了骨干走向的概念Part Affinity Fields（PAFs），PAFs是用來描述像素點在骨架中的走向，在OpenPose網絡中用L（p）表示，關鍵點的位置在網絡中用S（p）表示，通過全卷積網絡來有效定位關鍵點，采用級聯神經網絡和中繼誤差來避免梯度消失，和CPM有相似的優勢，OpenPose的結構分為兩個分支，紅色部分的分支用來預測關鍵點的位置，藍色的部分用來預測點點之間的連接，稱為親和區域，且這兩個分支在每個階段后都有中間監管，計算一次Loss，再輸入下一個階段訓練，隨著迭代次數的增加，可以看出模型可以在一定程度上區分人體骨干的左右。

原文中首先通過VGG網絡的前10層，包括7層卷積3層最大池化，得到一組初始的特征F，隨后將F分別輸入至每個階段的兩個分支，同時每一分支的輸出會作為下一階段的輸入，用于產生更準確地預測結果，在MPII數據集上取得了91.2%的結果。

OpenPose基于卷積神經網絡和監督學習，采用自底向上的方法，比自頂向下擁有更高的效率，在單人和多人人體姿態識別有很高的準確率，也在每個階段后產生損失來避免梯度消失，但原文中的網絡首先使用了VGG16提取特征，隨后通過多個階段的OpenPose網絡，由于卷積層的數量很大，如果要直接移植到移動端用于實時計算延遲會很高，因此還要對提取特征的網絡和OpenPose網絡結構進行優化。

1.2? 基于深度可分離卷積的OpenPose優化

1.2.1? 深度可分離卷積

深度可分離卷積是由 Depthwise Convolution（DC）卷積與Pointwise Convolution（PC）卷積組成。其結構特征和普通卷積相似，均可用于特征的提取，但減少了參數量，降低了計算成本。所以在很多輕量級網絡中，需要強調速率和網絡的便捷度時，經常會用到此類結構，以此達到減少卷積層參數數目的作用。

圖4展示了Mobilenet的Depthwise過程，圖示將輸入層H×W×C分成C組，每組分別做3×3的卷積運算，得到的特征為H×W×C。

圖5展示的是Pointwise過程，輸入為Depthwise過程的輸出，經過k個1×1的卷積核運算，得到最終H×W×k的輸出。

通過Depthwise和Pointwise得到的結構與普通卷積一致，這樣就把一步普通卷積拆分成了兩步，經過計算可以發現計算量比普通卷積得到了壓縮，當k很小時，壓縮的效果并不明顯，當k很大時，如下式可以計算出壓縮的比例得到了很大的變化：

1.2.2? OpenPose的優化

OpenPose網絡有三個過程，首先需要通過一個特征提取的過程，再經過第一階段，該階段主要的作用是檢測定位，其中一半是用來檢測關鍵點，一半檢測關鍵點之間的連接，再通過由后幾個階段組成的第三部分，主要作用是定位檢測不明顯的關鍵點以及連接，如手肘膝蓋等部位。為了提高執行速度減少計算量，本文使用三層卷積加一層最大池化進行特征提取，再將第一階段的部分卷積層替換成深度可分離卷積層，使OpenPose網絡有最快的處理速度，如圖6所示結構。

簡化后的網絡模型與原模型相比少了四層卷積層與兩層最大池化層，并且在第一層中將卷積層替換為了深度可分離卷積，能夠大大減少計算量，可以有效加快運算速度，能夠保證檢測過程的實時性。

1.2.3? 優化后的Openpose檢測出人體骨架

執行過程如圖7所示，Openpose的算法思路首先將圖像數據輸入到網絡，然后分別經過兩個網絡分支，一個與預測圖像中的所有關節點的位置信息，另一個去學習預測關節點之間的向量指向信息，輸出總的PAFs。然后轉化成圖論中的匹配問題：邊權值最大的二分圖匹配。由點拼接處人的骨架。

如圖8所示，OpenPose估計人體共有25個關節點，其中0點表示鼻子，14～17點表示左右眼睛和耳朵，1點表示頸部，2～7點表示左右肩膀、肘關節和手腕，8～13點表示左右臀部、膝蓋和腳踝。

圖9展示了用OpenPose模型檢測出的人體骨架。這種方法能在復雜的環境中識別人體關節點。

1.3? 長短期記憶神經網絡（LSTM）

摔倒和其他人類行為通常可以被視為連續的序列，其空間和時間特征非常重要。循環神經網絡（RNN）[9]雖然有其出色的內存，在處理時間序列數據方面特別強大，但為了解決RNN處理長序列數據的梯度爆炸和消失問題，本研究使用長短期記憶神經網絡（LSTM）[10]來判斷一個人是否產生跌倒行為。LSTM是一種能夠有效解決長期依賴問題的特殊RNN。LSTM與傳統RNN基本結構不同的是LSTM的隱藏層也就是循環層內不再是簡單地使用一個激活函數來控制信息，而是引入了長期記憶細胞狀態，并且使用“門”結構來控制不同時刻的狀態和輸出，緩解了傳統RNN中易出現的梯度消失問題。

LSTM的基本單元是主要由存儲單元和三個門控制單元（包括輸入門（it）、輸出門（ot）和遺忘門（ft））[11]形成的存儲塊。每個單元的內部結構如圖10所示。存儲單元由圖頂部的水平直線表示，用于接收先前時刻的信息，并將處理后的信息傳遞到下一時刻。

對于每個LSTM單元格，第一步是決定我們會從細胞狀態中丟棄什么信息。這個決定是由遺忘門的Sigmoid層做出的。該遺忘門會讀取上一個ht-1和當前輸入xt，做一個Sigmoid的非線性映射，然后輸出一個介于0到1之間的值的向量ft（1表示完全保留，0表示完全舍棄，相當于記住了重要的，忘記了無關緊要的），最后與細胞狀態Ct-1相乘。在跌落檢測過程中，遺忘門選擇性地存儲和忘記由前一個LSTM單元傳輸的信息，以及由輸入門傳輸的信息。然后，遺忘門存儲一系列在行為識別中確定下降的幀圖像。其計算公式如下：

其中xt表示通過輸入門的人體關鍵點信息組，ht-1表示前一個LSTM單元格的輸出，σ是Sigmoid層，ut表示遺忘門的輸入系數矩陣，wf表示遺忘門的網絡系數矩陣，Ct-1表示前一個LSTM單元的單元狀態，Kt表示遺忘門的輸出，用于更新當前單元狀態。在忘記了LSTM單元的當前狀態信息后，輸入門對輸入到當前單元的信息進行處理。

在我們的語言模型的例子中，我們希望增加新的主語的性別到細胞狀態中，來替代舊的需要忘記的主語，進而確定更新的信息。首先，有必要使用ht-1和xt與s型圖層結合，以確定需要在當前單元中更新的信息。第二，利用激活函數tanh來處理ht-1和xt獲取新的候選單位信息作為補充信息。其計算公式如下：

其中it表示并行化后的輸出信息，gi表示候選輸入信息，ui表示輸入門的輸入系數矩陣；wi表示輸入門的網絡系數權重矩陣；ug表示候選輸入信息的權重系數矩陣；wg表示輸入門的權重系數矩陣；jt表示輸入門的輸出，用于更新當前單元狀態；ct表示已更新的單元狀態。

最后，當前的LSTM單元確定輸出值。首先，利用s型層得到輸出判斷條件，然后利用一層tanh得到[-1，1]中的決策間向量。將該向量乘以從輸入門得到的結果，得到最終的LSTM單位輸出值。在跌倒檢測過程中，輸出門對最終信息進行歸一化，以對跌倒和其他動作進行分類。具體公式如下：

其中ot表示并行化后的輸出信息，uo表示輸出門的輸入系數矩陣，wo表示輸出門的網絡系數權重矩陣，ht表示當前LSTM單元的輸出信息。

因此，LSTM在處理長序列數據方面具有獨特的優勢。在本研究中進行的實驗都取得了足夠好的效果。

在獲取到人體關鍵點信息后，便需要對這些關鍵點進行分類，以判斷出圖像中人所處的狀態，進而判斷出視頻中是否存在摔倒的現象。此研究采用LSTM對獲取到的關節點信息進行分類。經訓練后，LSTM分類器對關鍵點狀態分類的準確率達到了99.38%。

2? 實驗結果與評估

2.1? 數據集介紹

1）UR Fall Detection Dataset：該數據集包含70條人體生活序列（30個摔倒動作+40個日常生活動作），數據集由兩個高清深度攝像機鎖記錄，一個安裝于地板，一個安裝在天花板，同時還附有加速度計進行數據記錄[7]。

2）Fall Detection Dataset：該數據集是用于模擬摔倒的數據集，它包括原始的RGB圖像和深度圖像，由一個未校準的Kinect傳感器在640×480大小下調整記錄。

此研究的視頻主要的行為是行走、站立、摔倒和坐著。為了豐富數據集，我們提取并處理了來自URFall公共數據集和FDD公共數據集關于這四種活動的視頻。我們混合了這兩個數據集，一方面是為了確保足夠的數據量，另一方面是為了增加樣本的多樣性，以避免過擬合。如表1所示，本文分別從兩個數據集中提取了相同數量的摔倒和非摔倒數據，形成混合數據集進行模擬訓練。

2.2? 實驗結果

本文研究中使用的數據集包含了在日常生活中與摔倒相關的動作，例如：行走、坐著、站立、摔倒。本文采用了Adam對網絡進行優化，在網絡層采用ReLU方法來提高模型的泛化能力。最后利用全連接層和SoftMax分類器來進行最后的分類。本研究提出的優化的摔倒檢測算法能夠適用于現實的環境中，有效地將摔倒情況與日常情況區分出來，坐姿行為與摔倒行為相似，但本研究的算法可以很好地達到預期效果。本文使用了一些視頻數據集呈現了一些正在運行的結果，具體如圖11所示。

（a）站立? ? ? ? ? ? ? ? ? （b）起身

（c）坐著? ? ? ? ? ? ? ? ? （d）摔倒

2.3? 實驗結果分析

機器學習中，對于一個二分類問題，通?？蓜澐殖蔀樗姆N情況。

這四種情況分別為TP（True Positive）、FP（False Positive）、FN（False Nagative）、TN（True Nagative）。當模型預測為正例，樣本實際也為正例，模型預測正確，稱為TP。當模型預測為反例，樣本實際也為反例，模型預測正確，稱為FP。當模型預測為反例，樣本實際為正例，模型預測錯誤，稱為FN。當模型預測為反例，樣本實際為正例，模型預測錯誤，稱為TN。

查準率可以理解為真實樣本所有預測為正例樣本的比重，查全率可理解為預測為正樣本占所有真實樣本的比重。

在摔倒檢測領域內應用比較廣泛的評判標準主要是三個指標，分別是準確性、敏感性和特異性。

基于OpenPose-LSTM老人摔倒檢測模型，本研究中人摔倒檢測的準確率達到99%，結果可以證明，本研究提出的OpenPose-LSTM網絡模型對實驗數據集具有較高的識別精度。表2顯示了本研究中研究的模型與其他研究中使用的方法和性能比較，進一步表明該方法在準確性、特異性和敏感性方面均有一定程度的提升。

根據表2的模型對比，本文研究提出的基于改進的OpenPose-LSTM老人摔倒檢測網絡結構與文獻[12]

摔倒檢測網絡對比，準確率和特異性分別提升了3.77%和1.4%，摔倒的識別率提高了將近4%，而且誤報率非常低，與文獻[13]相比，性能也有一定的提高，準確率和特異性分別提高了2.26%和1.05%。

綜上所述，本研究提出的基于改進的OpenPose-LSTM老人摔倒檢測模型可以獲得更好的檢測精度。另外，對于老人摔倒檢測來說，使用該算法的目的是為了檢測所有的墜落行為，以便及時對老人摔倒進行醫療救援，防止對老人造成不可逆轉的傷害。因此，有可能有類似摔倒的行為，并被誤判為摔倒，但不可能錯過對摔倒行為的檢測，所以準確度和靈敏性指標也非常重要。

3? 結? 論

本文基于優化的OpenPose-LSTM老人摔倒檢測模型，首先利用改進的OpenPose從視頻幀提取出人體骨架，獲得人體特征信息。本文使用三層卷積加一層最大池化進行特征提取，再將第一階段的部分卷積層替換成深度可分離卷積層，使OpenPose網絡有最快的處理速度。然后利用長短期記憶網絡對骨骼數據進行摔倒檢測，判斷是否摔倒。同時，本研究在URFall公共數據集和FDD公共數據集上驗證了本文提出的方法，證明了該方法可以獲得較高的檢測精度。在未來，我們將評估本文的方法在多次摔倒的情況下的性能。此外，該算法可以布置在移動設備上，以便實現在日常生活中的應用。

參考文獻：

[1] PEEL N M. Evaluation of a health service delivery intervention to promote falls prevention in older people across the care continuum [J].Journal of Evaluation in Clinical Practice，2010（16）：1254-1261.

[2] 耳玉亮，段蕾蕾，葉鵬鵬，等.2014年全國傷害監測系統老年人非故意傷害病例特征分析 [J].中國健康教育，2016，32（4）：312-317.

[3] BOURKR A K，KLENK J，SCHWICKERT L，et al. Fall detection algorithms for real-world falls harvested from limbar sensors in the elderly population：A machine learning approach [C]//38th Annual International Conference of the IEEE Engineering iin Medicine and Biology（EMBC）.IEEE，2016：3712-3715.

[4] ALWAN M，RAJENDRAN P J，KELL S，et al. A smart and Passive Floor-Vibration Based Fall Detector for Elderly [C]//Information and Communication Technologies.Damascus：IEEE，2006：1003-1007.

[5] LIN C，WANG S，HONG J，et al. Vision-Based Fall Detection through Shape Features [C]//In Proceedings of the IEEE Second International Conference on Multimedia Big Data （BigMM）.Taipei：IEEE，2016：237–240.

[6] GUNADI K，LILIANA，TJITROKUSMO J. Fall Detection Application using Kinect [C]//2017 International Conference on Soft Computing，Intelligent System and Information Technology （ICSIIT）.Denpasar，IEEE，2017：279-282.

[7] STONE E E，SKUBIC M. Fall Detection in Homes of Older Adults Using the Microsoft Kinect [J].IEEE journal of biomedical and health informatics，2015，19（1）：290–301.

[8] LIN T，MAIRE M，BELONGIE S，et al. Microsoft COCO：Common Objects in Context [C]//Computer Vision-ECCV 2014.Zurich：Springer，2014：740-755.

[9] SU B Y，HO K C，RANTZ M J，et al. Doppler Radar Fall Activity Detection Using the Wavelet Transform [J].IEEE Transactions on Biomedical Engineering，2015，62（3）：865-875.

[10] 彭澤.基于三維人體姿態估計的老人跌倒檢測 [D].鄭州：鄭州大學，2019.

[11] FENG Q，GAO C，WANG L，et al. Spatio-temporal fall event detection in complex scenes using attention guided LSTM [J].Pattern Recognition Letters，2018，130：242-249.

[12] LINA W，DING J. Behavior detection method of OpenPose combined with Yolo network [C]//2020 International Conference on Communications，Information System and Computer Engineering （CISCE）.Kuala Lumpur：IEEE，2020：326-330.

[13] MUSCI M，MARTINI D D，BLAGO N，et al. Online Fall Detection Using Recurrent Neural Networks on Smart Wearable Devices [J].IEEE Transactions on Emerging Topics in Computing，2021，9（3）：1276-1289.

作者簡介：胡昕（1997—），女，漢族，江西吉安人，碩士研究生在讀，研究方向：人工智能、計算機視覺、人體姿態估計；劉瑞安（1966—），男，漢族，河北趙縣人，教授，碩士研究生導師，博士，研究方向：視線跟蹤技術、人臉檢測和識別、通信技術和通信系統；黃玉蘭（1998—），女，漢族，江西贛州人，碩士研究生在讀，研究方向：機器學習、深度學習、數據挖掘。