基于關節點提取的多特征融合人體摔倒檢測

邵曉雷

(安徽建筑大學電子與信息工程學院，安徽 合肥 230601)

1 引言(Introduction)

根據國家統計局2022 年2 月底發布的統計報告[1]顯示：2021 年末我國的65 周歲及以上人口已經達到20,056萬，占總人口比重的14.2%，超過社會深度老年化14%的界限[2]。根據世界衛生組織統計：每年直接或間接因摔倒死亡的人數達64.6萬[3]，統計發現對于摔倒傷害的程度受限于救助的時間。因此，研究能實時高效識別摔倒動作的檢測系統，提醒使用者及時做出反應，對最大限度地減少摔倒帶給老年人的傷害具有重要意義。

目前，主流的人體摔倒檢測方法有基于穿戴式檢測、基于環境監測及基于計算機視覺檢測三類。穿戴式檢測方法[4-7]通過人體腰間或手腕等身體部位佩戴的傳感設備進行運動信號收集，并將收集的數據進行分析處理后判斷人體是否有摔倒行為，但缺點是設備穿戴不便和易脫落，而且需要人體隨時佩戴；環境檢測方法[8-10]需提前在檢測區域內布置和安裝特定的數據傳感器進行檢測，對如壓力、聲音、加速度計和紅外傳感器等異常數據進行捕獲和分析，但缺點是易受其他異常噪聲影響且維修成本高等；計算機視覺檢測方法[11-13]主要是對攝像機拍攝的視頻內容進行檢測，主要步驟有圖像分割、目標對象提取、特征獲取、特征分析和結果檢測等。隨著深度學習與硬件技術的快速發展，基于計算機視覺的檢測方法逐漸成為主流，這種檢測方法只需在安全檢測區域安裝具有一定功能的攝像機即可實現覆蓋檢測，并且對環境要求低，不影響人的正常生活。

2 摔倒檢測方法(Fall detection method)

本研究提出的摔倒檢測方法與現有的基于計算機視覺方法相比具有以下優點：使用目標檢測和Open Pose算法提取人體骨骼關鍵點，精確度更高；利用二維坐標系模型量化人體骨骼關節點的向量距離，為人體檢測提供特征依據；采用的是關節點特征和運動學特征相融合的方法，將人體外接矩形的寬高比、質心節點的下降速度、頭部關節點到地面的距離、人體各軀干與地面呈現的夾角等運動學特征作為人體摔倒檢測的判斷條件。

本研究提出的摔倒檢測方法能對視頻數據進行相關處理，獲取視頻中人體骨骼關鍵點數據，把人體骨骼關節點數據放入直角坐標系模型中，通過分析關節點坐標的動態特征分析人體運動姿態。主要技術思路是利用目標檢測方法檢測視頻中的人體各個部分，再利用骨架提取算法提取人體骨骼關節點。為進一步提高判斷摔倒動作的準確性，減少誤判，設置關節點特征和運動學特征相融合作為判斷摔倒動作的條件。體摔倒檢測方法流程圖如圖1所示。

圖1 人體摔倒檢測方法流程圖Fig.1 Flowchart of human fall detection method

3 目標檢測和骨架提取算法(Object detection and skeleton extraction algorithms)

在進行骨架提取之前，先對視頻中的人體進行目標檢測，定位視頻中人體所在位置，這一操作也可以使后續的骨架提取更加準確。目前，檢測視頻中目標人體的方法主要分為兩大類：一類是one-stage檢測方法，另一類是two-stage檢測方法，這里主要使用two-stage的Yolo5檢測算法。

Yolo5算法的思想主要包括兩個部分：第一部分把圖片分成m×n個網格。對圖片中的每個網格生成三個候選區域，三個候選區域是預先設定好的三種尺寸的先驗框，根據設定好的先驗框確定圖片預測框，再根據先驗框和預測框確定人體真實框；第二部分采用模型中的卷積層、池化層等提取人體特征，預測人體位置并分類，可以達到真實檢測人體目標位置的目的。

檢測完視頻中的人體位置之后，需要提取出人體的骨骼關節點信息，這里使用Open Pose算法提取人體骨架數據，這一骨架提取方法是由卡內基梅隆大學提出的以caffe為框架的開源庫，它采用自頂向下的動作檢測方法，利用親和域場和置信度圖把人體關節點正確地連接起來，在人體姿態識別方面可以實時進行姿態估計，實現從二維圖像上提取人體骨骼的關鍵點。從二維RGB圖像中獲取18 個關節點在直角坐標系中對應坐標圖(圖2)。為便于表示，這里把所有的關節點表示為，將節點i在時間t的位置定義為，其中。

圖2 人體骨骼關節點示意圖Fig.2 Schematic diagram of the joint-point

人體摔倒與其正?；顒泳哂忻黠@不同：當人摔倒時，人體最小外接矩形的長度和寬度的比值有所不同；人體摔倒過程中身體質心點的下降速度會有明顯變化；人在站立和摔倒時身體質心離地面的距離是明顯不同的；在摔倒過程中，人體的主軀干、腿部和手部與地面之間的夾角也會有顯著變化。根據這些特征，下文逐一進行分析。

3.1 人體外接矩形的寬高比

人體摔倒動作和其他正常動作相比，其外接矩形的寬度和高度不同，人體站立時，外部矩形寬度和高度的比值遠小于人體摔倒后外部矩形的寬度和高度的比值，可以把人體外部矩形的寬高比作為一個判斷摔倒動作的決策條件，根據各動作的測試特征值，把寬高比閾值設置為1。人體在站立時寬高比小于1，人體摔倒之后的寬高比大于1。人體寬高比的計算如公式(1)。

人體在站立和摔倒時的人體寬高比的模擬示意如圖3所示。

圖3 人體不同姿態示意圖Fig.3 Schematic diagram of different postures of the human body

3.2 上體質心的下降速度

人在正?；顒訒r其身體豎直方向的速度不會發生明顯變化，一旦發生摔倒行為，其身體豎直方向的速度會瞬間發生明顯變化，并且會超過某個速度值?？梢园讶梭w質心豎直方向的速度作為一個決策條件，這里選擇圖2中的1 號關節點近似表示人體上半身質心。獲取人體質心的坐標?時刻和時刻的縱坐標分別可以表示為的時間差及速度變化如公式(2)和公式(3)所示，根據各動作的測試特征值，可以把質心豎直方向速度的閾值設定為

人體摔倒動作和其他動作的質心速度變化特征擬合曲線圖如圖4所示。

圖4 質心速度下降趨勢圖Fig.4 Downward trend chart of centroid velocity

3.3 頭部與地面間的距離

檢測視頻中是否發生摔倒事件時，人體的行為不同，頭部離地面的距離也不同，人體在摔倒過程中，頭部離地面的距離是逐漸變小的，用頭部離地面的距離可以很好地表示人體摔倒特性，這里把人的鼻子位置近似表示為人體頭部的中心，中心點坐標是，視頻中人體出現摔倒動作時，人體頭部中心點離地面的距離會突然減小，并逐漸小于某個值。這里定義,這些時刻，對應的中心點縱坐標是，如果檢測的中心點縱坐標滿足臨界閾值，則可認為滿足這一決策條件。根據各動作的測試特征值，可以把距離的閾值范圍設置為。不同動作中心點離地面距離的特征擬合曲線圖如圖5所示。

圖5 中心點離地面距離變化圖Fig.5 Distance variation chart of the center point from the ground

3.4 人體傾斜角變化

人體出現摔倒動作一般是軀干失衡導致的。摔倒動作這一過程中，人體軀干、腿部及胳膊與地面之間的夾角不斷減小，直到摔倒之后人體與地面接觸，這時處于穩定狀態，夾角就不再發生大幅度變化。這里選取圖2中的10 號和13 號關節點的中點為，連接和1 號關節點，這個連線作為人體軀干的中心線。定義為向量，2 號與4 號節點的連線作為右胳膊中心線。定義為向量，5 號和7 號關節的連線作為左胳膊中心線，定義為向量，8 號與10 號節點的連接作為右腿的中心線，定義為向量，11號與13 號關節的連線作為左腿的中心線，定義為向量。主軀干與地面之間的夾角可以表示為，同理左、右手臂和左、右胳膊也是同樣的表示方法。當各部分與地面之間的夾角小于一定值時，可以認為滿足判斷摔倒動作的決策條件，根據各動作測試特征值，把這一閾值設定為45°。人體主軀干和四肢與地面之間的夾角特征擬合曲線圖分別如圖6和圖7所示。

圖6 主軀干與地面之間夾角變化趨勢圖Fig.6 Change trend chart of included angle between main torso and the ground

圖7 四肢與地面之間夾角變化曲線圖Fig.7 Change trend chart of included angle between limbs and the ground

4 實驗結果與分析(Experimental results and analysis)

在摔倒測試中，會有四種可能的結果出現，第一種情況是實際發生了摔倒事件，檢測為摔倒的結果(TP)；第二種情況是實際沒有發生摔倒事件，檢測為摔倒的結果(FP)；第三種情況是實際發生摔倒事件，檢測為沒有摔倒的結果(TN)；第四種情況是實際沒有發生摔倒事件，檢測為沒有摔倒的結果(FN)。使用以下三種參數評價本研究提出的檢測方法性能的好壞。

其中，靈敏性評估摔倒的性能：

特異性評估非摔倒的性能：

準確性評估摔倒和非摔倒的性能：

為驗證本研究提出的檢測方法的準確性和隨機性，文中對摔倒事件進行相應的測試。該實驗具有一定的誤差和偶然性。文中在人體摔倒動作的相關公開數據集le2i、UR Fall Detection Dataset、Multiple cameras fall dataset里隨機抽取相關動作視頻，構成40 個摔倒測試樣本和60 個非摔倒視頻測試樣本，總數達到100 個的數據集：非摔倒動作這里分為站立、行走、坐下及彎腰。實驗使用的測試視頻的動作分類和樣本數量如表1所示。

表1 測試動作分類Tab.1 Test action classification

實驗得出的結果中，靈敏性達到97.5%、特異性達到95%、準確性達到96%，取得了不錯的效果，可以有效地區分摔倒動作和正常行為動作；實驗得出的靈敏性、特異性、準確性結果如表2所示。

表2 文中性能測試結果Tab.2 Performance test results in the text

將本研究提出的檢測方法與其他檢測方法進行比較，文獻[11]提出幀間差分法和ViBe算法對人體目標進行分離，然后結合人體運動過程中的各種特性進行判斷，該算法靈敏度較低。文獻[12]使用背景減除法獲取運動目標，與人體不同動作特征進行融合，該算法受環境影響較大且準確性低。文獻[13]通過提取人體關鍵點，利用關節點特征進行判斷，該方法對關節點的提取不準確，判斷條件使用不準確。本研究提出的檢測方法便于實現、成本較低、受環境因素影響較小，并且其靈敏性、特異性、準確性都取得了不錯的實驗效果。幾種不同的方法對比結果如表3所示。

表3 與其他方法實驗對比Tab.3 Experimental comparison with other methods

5 結論(Conclusion)

本研究提出一種使用人體外接矩形的寬高比，質心節點的下降速度，頭部關節點與地面之間的距離，人體主軀干、左右腿、左右胳膊與地面之間的夾角等運動學特征融合人體骨架特征進行摔倒動作進行檢測的方法。實驗結果表明：這種檢測方法的靈敏性、特異性、準確性分別達到97.5%、95%、96%。但是，本次實驗使用的數據集樣本數量偏少，運動目標動作偏少，因此在下一步的研究中將增加實驗數據集樣本和動作分類，綜合考慮多人環境下的人體檢測，以期進一步提升檢測效果。