基于姿態估計的異常跌倒檢測算法設計與實現

祝衍軍 李建新 劉 捷

（東莞職業技術學院，廣東 東莞 523000）

我國老年化程度持續加深，獨居老年人和空巢老年人在不斷增加，第七次全國人口普查數據顯示我國60 歲及以上人口比重已經達到了18.7%，其中65 歲及以上人口比重達到13.50%。由于老年人身體機能差、平衡能力不強和應變能力弱，摔倒后容易引起嚴重的后果，如果不能及時得到醫護人員救治，極有可能因為錯過了最佳搶救時間而危及生命。為了減輕老人因跌倒而產生的傷害，跌倒檢系統也日漸完善，但目前市場上的大部分跌倒檢測系統都需要配套其對應的終端設備，存在應用場景有限和使用不靈活性等問題。因此本文根據跌倒行為特征，基于深度學習算法工具設計和實現了一個可以在Android 手機上運行的實時性較好和檢測精度較高的異常跌倒算法。

1 跌倒特征提取與算法設計

1.1 跌倒特征提取

跌倒是一個瞬間動作，人體的動作、高度和速度等都會隨著跌倒發生快速的改變，在跌倒過程中，一般都是從站著到坐到地上或者躺倒到地上，人體的中心點快速的從較高位置下降到地面或者接近地面的高度。文獻[1]從頭部、身體質心、小腿中心三個位置相對位置的變化與特征向量與水平地面的夾角來檢測跌倒行為，文獻[2]根據多幀的左右耳、左右目、左右足首等部位相對位置的加權平均變化來判斷跌倒行為，大部分跌倒檢測算法沒有充分考慮跌倒的時空特征，要么只提取跌倒視頻的時間特征，要么只提取跌倒視頻的空間特征，本文充分考慮跌倒的時空特性，從跌倒的連續視頻幀選取人體中心點下降的速度、人體外接矩形寬高比和人體縱向中心線與地面的傾斜角作為跌倒特征。

本文通過Openpose 人體姿態識別獲取人體關節點數據，根據OpenPose 提供的關節點數據來計算人體中心點下降的速度、人體縱向中心線與地面形成的傾斜角和人體外接矩形寬高比。OpenPose[3]人體姿態識別項目是美國卡耐基梅隆大學（CMU）基于卷積神經網絡和監督學習并以caffe 為框架開發的開源庫，可以實現人體動作、面部表情、手指運動等姿態估計。OpenPose 獲取到的人體關節圖總共包括18 個關節點：0：鼻子(Nose),1：脖子(Neck),2：右肩(RShoulder)，3：右肘(RElbow)，4：右腕(RWrist)，5：左肩(LShoulder)，6：左肘(LElbow)，7：左腕(LWrist)，8：右髖(RHip)，9：右膝(RKnee)，10：右踝(RAnkle)，11:左髖(LHip),12:左膝(LKnee),13:左踝(LAnkle),14:右眼(REye),15:左眼LEye,16:右耳(REar),17:左耳(LEar)，具體如圖1 所示。

圖1 OpenPose 獲取的人體關節點數據示意圖

本文以左右髖的中間點作為人體中心點，每隔一段時間獲取一次左髖（8）和左髖（11）的位置，計算這段時間內人體中心點縱坐標值的變化速率做為人體中心點下降速度。設t1 時刻的人體中心點的縱坐標值為yt1，則，其中yt1，8和yt1，11分別為t1 時刻OpenPose 獲取的人體左髖(8)和右髖(11)的縱坐標值，設t2 時刻的人體中心點的縱坐標值為yt2，則，其中yt2，8和yt2，11分別為t2 時刻OpenPose 獲取的人體左髖(8)和右髖(11)的縱坐標值，人體中心點下降速度v 則為：

在跌倒時人體外接矩形寬高比變化最為明顯，當人直立活動時，人體高度會大于寬度，當發生跌倒時人體高度將會快速下降，寬度會快速增大。本文高度取頭部4 個關節點（右眼-14,左眼-15,右耳-16,左耳-17）縱坐標加權平均與腳部2 個關節點（右踝-10，左踝-13）縱坐標加權平均的差值，寬度取左腕(4)和右腕(7)橫坐標的差值，t1 時刻具體寬度W、高度H 和寬高比R的計算公式為：

人體縱向中心線與地面形成的傾斜角通過求取頭部關節點和一條小腿中部位置之間連線的反正切值獲得，本文以OpenPose 獲取的人體鼻子（0）作為頭部關節點，小腿中間位置則取右膝(9)和右踝(10)兩個關節點的平均值，則t1 時刻的小腿中間位置中的值分別為，則t1 時刻人體縱向中心線與地面形成的傾斜角為：

1.2 跌倒算法設計

目前大部分跌倒檢測算法沒有充分考慮跌倒的時空特征，要么只提取跌倒視頻的時間特征，要么只提取跌倒視頻的空間特征，本文將時間特征相關的人體中心點下降速度、人體外接矩形寬高比和空間特征相關的人體縱向中心線與地面傾斜角作為跌倒特征，首先通過獲取到的每幀圖片計算一次人體中心點下降的速度和人體外接矩形寬高比，如果每秒鐘人體中心點下降速度大于1.4m/s，則進一步判斷近3 秒內人體外接矩形寬高比持續增大，且最近一幀的人體外接矩形寬高比大于2，然后再通過計算最近一幀的人體縱向中心線與地面形成的傾斜角是否小于45°來判斷其是否跌倒；如果人體已經處于跌倒狀態，則不能先通過與時間特性相關的人體中心點下降速度、人體外接矩形寬高比來繼續判斷，只能通過計算與空間特征相關的人體縱向中心線與地面傾斜角作為持續跌倒的判定條件，具體的跌倒判定算法流程圖如圖2 所示。如果人體在10 秒內一直處于持續跌倒狀態（不能自行爬起來），則系統需要采取進一步預警措施，如報警或者通知其家人等。

圖2 跌倒判定算法流程圖

1.3 算法驗證

本文將實現跌倒判定算法的APP 部署到華為Mate20 手機進行驗證和測試，使用手機的后置攝像頭對站在距離手機位置1-2 米的位置進行測試，針對日常非跌倒行為的走路、躺下、蹲下、坐下、跳躍和跌倒行為的橫向摔倒、側向摔倒、向后摔倒、向前摔倒進行測試共9 種動作行為進行測試，每種動作行為測試5 次，具體測試數據如表1 所示。

表1 跌倒判定算法驗證實驗結果

從測試實驗結果可以看出，算法對走路、蹲下、坐下、跳躍、橫向摔倒、向后摔倒、向前摔倒這7 種動作行為具有較好的檢測效果，檢測準確度達到了100%，但對躺下、側向摔倒這2 種動作行為的檢測效果較差，需要進一步提取更多的特征對其進行判定。

2 軟件功能設計與實現

本文根據常見的應用場景將整個系統架構分為老年客戶端APP、家屬客戶端APP、數據存儲和后臺管理服務器、第三方即時通訊服務器四部分，具體如圖3 所示。老年客戶端APP 根據設計的異常跌倒檢測算法監控老年人狀態，如果老人10 秒內一直處于持續跌倒狀態，則系統自動促發報警機制，將老人跌倒地址、短視頻等信息發送給家屬客戶端APP；家屬客戶端APP功能主要分為家屬管理和跌倒確認及報警等功能，家屬管理可以動態的增刪家庭成員，設置其是否可以接收到跌倒信息，跌倒確認及報警是指收到跌倒信息后，查看跌倒視頻，再次確認老人是否跌倒以及提供視頻通話和撥打急救電話等功能；視頻通話采用成熟的第三方即時通訊SDK 來實現。

圖3 軟件整體架構

3 結論

本文針對老年人容易摔倒的現狀，基于OpenPose 獲取人體關節點數據，結合跌倒行為特征，設計了一個基于人體關節點來判定跌倒行為的算法，詳細闡述了算法中需要用到的關節點及其計算公式和算法流程，經過在Android 手機終端測試驗證，該算法具有較好的檢測效果。