基于機器視覺的老年人摔倒檢測系統

陳永彬 何漢武 王國楨 王桂棠

基于機器視覺的老年人摔倒檢測系統

陳永彬1何漢武1王國楨2王桂棠1

（1.廣東工業大學機電工程學院 2.北京師范大學-香港浸會大學聯合國際學院）

家庭陪護機器人可以實現老年人的陪護任務，其中主動檢測老年人摔倒情況是一個重要功能，這可以減少獨居老年人因摔倒而導致的傷亡。研究基于機器視覺的老年人摔倒檢測系統，通過攝像機動態采集場景圖像并跟蹤場景中的老年人，結合其體姿態特征提取算法，對人體骨骼特征點變化量進行監測，并分析場景的語義信息，自主地對場景中的老年人進行摔倒檢測。實驗證明，本文提出檢測系統是可行有效的。

機器視覺；動態跟蹤；摔倒檢測；語義信息

0　引言

隨著經濟的不斷發展以及醫療條件的日益完善，出生人口逐年減少以及人口老齡化程度不斷加深，社會養老壓力較大。面對養老機構的缺乏，居家養老將是一個重要趨勢。研究指出，摔倒是導致老年人傷亡的主要原因之一[1]。因此，老年人摔倒檢測的研究具有重要意義。青島大學楊帥[2-3]等人研究在獨居老年人家中的門上安裝傳感器，當老年人經過相應傳感器時記錄其位置信息，根據老年人在該區域停留的時間，判斷其存在異常的可能性。浙江大學葉芳芳[4-5]等人利用攝像機采集家中老年人的狀態，并利用光流信息的混亂程度，判斷老年人存在異常的可能性。以上2種方式沒有結合場景的語義信息，容易導致誤判。南京郵電大學王亞飛[6]等人通過圖像處理提取人體的外接橢圓，并以此判斷人摔倒情況，也存在誤判的可能，如彎腰等動作會觸發檢測系統。

本文通過攝像機采集家庭場景信息，利用光流信息動態跟蹤家中的老年人；采用OpenPose人體姿態識別算法提取人體骨骼特征點，根據脖子特征點的下移量判斷老年人摔倒的可能性；同時，為排除坐、躺等正常狀態對摔倒檢測系統的干擾，文中提取場景語義信息，結合語義信息判斷老年人所處的位置，以此提高摔倒檢測系統的魯棒性。

1　系統框架

基于機器視覺的老年人摔倒檢測流程圖如圖1所示。首先，通過攝像機采集場景圖像并跟蹤場景中的老年人；然后，提取圖像中人體的骨骼特征點并判斷骨骼特征點的變化量；最后，識別場景的語義信息，結合骨骼特征點的變化量，判斷場景中老年人摔倒的可能性。

圖1　基于機器視覺的老年人摔倒檢測流程圖

2　系統設計

基于機器視覺的老年人摔倒檢測系統由人體動態跟蹤、基于骨骼特征點的摔倒檢測和基于語義信息的摔倒檢測約束3部分組成。

2.1　人體動態跟蹤

通過對比攝像機采集到的相鄰視頻幀，利用OpenCV中calcOpticalFlowFarneBack算子計算兩圖像幀之間的光流場變化。如果兩幀間存在移動的人或物，其對應的光流場區域會比較混亂。如圖2和圖3所示，當人靜止時，光流場是整齊有序的；當人走動時，光流場在人體區域是混亂的。由于家庭環境中光照相對不穩定，亮度變化同樣會導致光流場的混亂，因此本系統提出一種基于HSV的光流場動態跟蹤方法。將RGB圖像通道轉換成為HSV通道，如式(1)~式(3)所示，其中H和S通道對光照變化不敏感，V通道對光照變化敏感。

其中，，，分別對應紅、綠和藍；，，分別對應色調、飽和度和明度。

如圖3所示，第二幀相對于第一幀人產生了位移；第二幀亮度明顯變化時，H和S通道圖像變化不大，同時對應的光流場能有效地分離出動態物體的對應區域。如圖4所示，設光流場中像素位移長度閾值為20 pix，提取閾值范圍外的光流區域作為圖像掩膜，最終提取動態的人體區域。

圖2　靜態光流場

圖3　基于HSV圖像的亮度變化對比及動態區域提取

2.2　基于骨骼特征點的摔倒檢測

利用開源的人體姿態識別算法OpenPose進行人體骨骼特征點提取。如圖5所示，對人體關節提取18個關鍵點。OpenPose算法通過深度卷積神經網絡對大量人體姿態數據進行訓練而得到人體姿態識別模型，人體姿態識別示意圖如圖6所示。

0-鼻子 1-脖子 2-右肩 3-右肘 4-右手掌 5-左肩 6-左肘 7-左手掌 8-右腰 9-右膝 10-右腳 11-左腰12-左膝 13-左腳 14-右眼 15-左眼 16-右耳 17-左耳

圖6　人體姿態識別示意圖

本系統選取脖子特征點作為摔倒檢測的參考點。識別脖子特征點的坐標，并對比前后關鍵幀中脖子特征點坐標的變化量。如果該變化量超過系統設置的閾值800 mm，則判斷存在摔倒的可能，進入語義約束程序。如式(4)所示，脖子特征點高度下移量△為連續幀圖像相比初始幀圖像特征點高度差的平均值。

其中，為高度信息；為圖像幀數。

2.3　基于語義信息的摔倒檢測約束

如果僅通過脖子特征點的高度下移量△判斷老年人是否摔倒，存在誤判的可能，如坐在椅子、沙發或躺在床上時，高度下移量△也達到設定的閾值范圍，但這時老年人摔倒的可能性較低。因此，本系統在檢測疑似摔倒的同時，添加場景語義信息作為約束條件。即在老年人疑似摔倒的位置進行語義信息提取，若在椅子、沙發或床上，則可排除摔倒；若在地面上，則判定為摔倒并發出摔倒報警信號。本系統利用開源語義分割算法MaskRCNN[7]對場景進行語義信息提取，該模型主要應用深度卷積神經網絡，對大量帶標注的RGB圖像進行訓練，并得到相應的語義分割模型。當系統采集到RGB圖像后，進行語義分割，實現圖像物體類別識別及像素級別的圖像分割。

其中，()為場景中語義類別；為{0,1,2,3,4,...,}，表示場景物體類型，且0，1，2分別表示場景中床、椅子和沙發。

如果滿足連續15幀圖像語義判別結果相同且皆不為床、椅子或沙發，即可認為存在摔倒風險。

語義約束實驗如圖7所示，通過場景語義信息約束摔倒誤判的概率。實驗人員坐在沙發上，脖子特征點下移量為850 mm，大于閾值800 mm，檢測系統判斷摔倒風險較低。

圖7　語義約束實驗

3　實驗驗證

本實驗通過脖子特征點下移量來判斷老年人是否存在摔倒的風險，并通過多組摔倒圖像對摔倒檢測系統的可靠性進行測試。隨機抽取實驗中的16組摔倒圖像，如圖8所示，實驗結果如表1和表2所示。檢測結果表明，本文提出的摔倒檢測系統可有效識別是否摔倒，且具有一定的魯棒性。

圖8　摔倒實驗圖

表1　摔倒實驗1

表2　摔倒實驗2

4　結語

本文研究了基于機器視覺的老年人摔倒檢測系統，通過攝像頭檢測場景中老人摔倒的可能性，并結合場景語義信息，對摔倒檢測程序進行語義約束。通過實驗證明，本文提出的摔倒檢測系統有效可行。該系統應用于家庭陪護機器人，可減少獨居老年人因摔倒而導致的傷亡情況。

[1] 李薇,路孝琴,王世平,等.防止老年人跌倒的研究[J].中國老年學雜志,200929(17):2267-2268.

[2] 楊帥,于忠清,蘇博群.基于軌跡分割的老人行為識別方法[J].青島大學學報(自然科學版),2017,30(1):103-107.

[3] 楊帥.基于室內軌跡分析的老人行為識別方法[D].青島:青島大學,2017.

[4] 葉芳芳.監控視頻中的異常行為檢測研究[D]:杭州:浙江大學,2014.

[5] 葉芳芳,許力.實時的靜止目標與鬼影檢測及判別方法[J].浙江大學學報(工學版),2015,49(1):181-185,192.

[6] 王亞飛.視頻監控系統中的跌倒異常行為檢測技術研究[D].南京:南京郵電大學,2014.

[7] He K, Gkioxari G, Dollár P, et al. Mask R-CNN[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018:2980-2988.

Fall Detection System for the Elderly Based on Machine Vision

Chen Yongbin1He Hanwu1Wang Guozhen2Wang Guitang1

（1.Guangdong University of Technology 2. Beijing Normal University-HongKong Baptist University United International College）

With the continuous development of economy and the improvement of medical conditions, the birth population is decreasing year by year and the degree of population aging is deepening. The pressure of social pension is great. Facing the lack of pension institutions, home-based pension will be an important trend. Home care robot can achieve the task of care for the elderly, in which it is an important function to actively detect the elderly fall and other abnormal conditions, which can reduce the casualties caused by the fall of the elderly living alone. This paper studies the fall detection system of the elderly based on machine vision, which dynamically tracks the people in the scene through the camera, and combines the human body posture feature extraction algorithm to monitor the changes of human skeleton feature points, and analyzes the semantic information of the scene, and autonomously detects the fall abnormalities of the people in the scene. Experiments show that the proposed method is effective.

Machine Vision; Dynamic Tracking; Fall Detection; Semantic Information

陳永彬，男，1990年生，博士研究生，主要研究方向：圖像檢測、增強現實和人工智能。E-mail: chenyongbin1990@ gmail.com