基于深度數據分析的室內老人摔倒檢測方法

楊 磊，張文強，任衍允

(上海大學 機電工程與自動化學院 上海市電站自動化技術重點實驗室，上海 200072)

0 引 言

全球正以驚人速度奔向老齡化。歐洲較早進入老齡化社會，其中德國被稱為“歐洲養老院”。中國于2000年已正式跨入老齡化社會，據民政部發布數據表明，截至2015年底60歲以上人口占總人口比例為16.1%，是全世界老齡人口最多、老齡化速度發展最快的一個國家。無論是歐美日發達國家還是中國，人口老齡化帶來的社會問題日益突顯。摔倒是老年護理和生活中面臨的一個重要問題。摔倒給老人自身帶來生理、心理以及經濟負擔，也增加了社會、政府關于老年醫療、料理、保險等費用。Noury等的研究顯示，老年人摔倒后如能得到及時救助，可以有效降低80%的死亡風險和26%的住院長期治療風險[1]。若及時發現老人的摔倒事件，對其相關行為進行檢測和處理，則可以有效減少摔倒的各種后果。隨著模式識別與人工智能、計算機視覺、物聯網、多傳感器技術的發展，老人摔倒檢測呈現自動化、智能化和遠程化。通常老人摔倒檢測系統前端采用圖像、聲音、加速度計等傳感器對摔倒過程的各種信息進行采集，然后使用模式識別方法對摔倒進行判斷，如果發生摔倒事件即刻觸發報警設備或遠程呼叫[2-3]。國內外老人摔倒檢測系統中主要使用三類傳感器：以重力與加速度計為感知量的便攜式設備，以聲、電磁、震動等為感知量的環境檢測設備，以及以圖像與視頻為處理對象的監控檢測設備。針對基于穿戴傳感器、環境傳感器和計算機視覺的摔倒檢測系統的不足，文中提出了一種基于深度數據分析的室內老人摔倒檢測方法。

1 相關研究

對于不同的應用，采用不同類型的傳感設備和不同的摔倒檢測算法可構建不同的摔倒檢測系統。依據前端使用傳感設備的不同，摔倒檢測的主流方法可分為三類：基于可穿戴傳感器的方法、基于環境傳感器的方法和基于計算機視覺的方法[4-13]。下面簡要分析不同類型摔倒檢測的特點。

基于可穿戴傳感器的摔倒檢測系統通過穿戴在老年人身體上的傳感器來確定他們的運動狀態或位置信息[4-6]。多數穿戴傳感器(如加速度計、陀螺儀等)比環境傳感器便宜、精確度高且易于操作，但其具有高度侵入性，這是其最大的缺點[6]?；诃h境傳感器的方法將傳感器布置在環境周圍，一般是室內。用于檢測的信號包括壓力、震動、音頻和紅外陣列等[7-9]。大多數基于環境設備的方法是使用壓力傳感器來檢測和跟蹤對象。由于它能感知對象周圍的一切壓力變化，這就容易產生錯誤的警報，降低摔倒檢測的準確性。隨著計算機視覺和數字圖像處理技術的發展，基于視覺的摔倒檢測成為一類重要方法[10-14]?；谝曈X的檢測方法按攝像機個數可分為單攝像機和多攝像機檢測。相對于其他兩類方法，基于視覺的方法對老人的侵入性較低，擁有較高的精度和魯棒性。基于灰度或彩色圖像的摔倒檢測系統包含人的面部信息，涉及個人隱私問題。同時，由于成像模型投影的限制，使該類方法難以檢測發生在攝像機光軸方向上的摔倒行為[11]。對此可選擇避免采用面部特征的方法，如捕捉環境信息或使用深度圖像來檢測摔倒行為。

由上述研究可知，基于穿戴傳感器、環境傳感器和計算機視覺的摔倒檢測系統具有高入侵性、低精度、魯棒性差以及受環境影響大等缺點。相對于彩色或灰度圖像，深度圖像可以更好地反映場景中目標空間位置關系，其不僅包含了特定目標的位置信息，也包含了目標的形狀、運動軌跡等信息。但早期的深度傳感器因價格高、準確性差等原因使得深度圖像在研究領域并未得到廣泛應用。微軟的Kinect傳感器具有廉價、準確、穩定性好等優點，并可以實時獲取深度圖像，其在運動目標檢測、障礙物識別、路徑規劃、摔倒檢測等領域都具有很好的應用前景[14-16]。

利用Kinect傳感器采集的深度信息，文中提出一種基于深度數據分析的室內老人摔倒檢測方法。首先對背景和目標圖像通過中值濾波器進行深度圖像預處理；進而采用高斯模型完成對運動目標的檢測；然后通過最小二乘法估計地面方程并將深度圖轉換為視差圖；最后分析人體對象的動態信息，計算人體重心與地面之間的距離。當人體重心到地面的距離低于閾值時，判定摔倒行為發生。

2 提出的摔倒檢測方法

2.1 方法概述

文中提出一種在室內場景下基于三維深度圖像分析的獨居老人摔倒檢測方法。首先，在預處理階段，對采集的深度圖像進行濾波，并使用高斯模型法提取場景中的運動人體目標。然后，通過統計背景圖像中的水平方向直方圖得到場景V視差圖，然后對V視差圖使用Otsu法及最小二乘法擬合提取地面方程參數。使用一系列圖像中的運動部分來分析人體形態信息，當人體重心高度小于規定閾值時，判斷人體摔倒。

2.2 深度圖像運動目標提取

運動檢測方法主要包括背景差分、幀間差分、光流方法、高斯概率模型等[15-17]。由于目標所處的室內環境中，對于深度圖像，室內場景的背景數據不會變化或變化很小，因此使用單高斯模型對所采集圖像進行預處理和前景提取。首先對背景模型進行初始化，選取50幅背景圖像對背景模型進行訓練。

(1)

(2)

其中，μ(i,j)為背景參數均值；σ(i,j)為背景參數標準差；Depth(i,j)為深度數據。

如圖1(a)所示，文中選取的目標場景為室內一角；(b)為Kinect采集的原始深度圖像；(c)為經過均值濾波處理的背景均值數據圖像?？梢钥闯?，處理過后的背景圖像更加平滑，一定程度上起到了抑制噪聲的效果。

預處理后需要對前景點和背景點進行判斷，對每一個像素的深度數據建立高斯模型，通過比較實時采集的深度數據與背景模型的均值差值和閾值的大小關系，即可判斷出實時采集的像素點為前景點或背景點。選取2.5倍標準差作為消噪的閾值，獲得了比較理想的效果。前景點、背景點的判別公式如下：

Object(i,j)=

(3)

其中，Object(i,j)為像素點的標記值，前景點標記為1，背景點標記為0。

圖1 目標檢測的背景圖像

由此可初步提取出運動目標，但由于各種噪聲的干擾，需對檢測結果做形態學濾波處理。圖2是深度圖像運動的人體檢測結果。由圖2可知，文中方法可對運動目標完成精確檢測。

圖2 運動的人體信息提取結果

2.3 地面信息提取

通過建立攝像機成像模型，利用視差圖可以估計出地面平面參數[17]。如果獲得人體的重心位置，再采用閾值方法則可以對摔倒進行判斷。Kinect的深度數據輸出由紅外投影機和紅外攝像機的視差獲得。對于Kinect透視投影圖像模型，建立圖像坐標系點(x,y)與世界坐標系點(X,Y,Z)的轉換關系：

(4)

其中，(cx,cy)為圖像主點；f為焦距。

在檢測老年人的室內環境中，地面是場景中的主要部分，所以使用Otsu方法來分割地面信息。由于存在測量誤差，所以認為在地面±dt范圍內的點也屬于地面，即如果在視差圖中第y行的深度值為dy，則該行內所有深度值d∈(dy-dt,dy+dt)的點都被判定為地面。大部分的地面信息可以通過V視差圖進行有效提取，然后通過最小二乘法可以獲得地面的平面方程。如圖3(a)所示，V視差圖中包含一條線段，該線段的起點和斜率與Kinect傳感器的高度和傾角有關，線段的長度對應著地面深度圖像和視差圖的位置關系。假設Xi，Yi和Zi為地面點在世界坐標系中的三維坐標值，則地面點可用(Xi,Yi,Zi)來表示。在使用V視差圖得到地面點的三維坐標后，可使用唯一確定平面方程AXi+BYi+CZi=1來表示地面。為了使得到的平面方程系數誤差最小，可以對初步判定為地面的點使用最小二乘法擬合，設地面點的平面方程為：

(5)

對式(5)使用最小二乘法求近似解得：

(6)

為了減少測量過程帶來的噪聲，對于距離求得平面小于0.05的點，都可判定為地面上的點，即

|AX+BY+CZ-1|<0.05

(7)

圖3是經過V視差圖得到的地面估計結果，可以看出，地面被準確地提取出來。

圖3 地面信息提取

2.4 摔倒檢測

(8)

為了檢測摔倒事件發生，以人體和地面的距離作為判據。當檢測到連續10幀深度圖像中人體重心高度小于高度閾值0.4 m時，判定人摔倒。

3 實驗結果

為了驗證該方法的有效性，對不同方向的摔倒進行檢測實驗。圖4給出了一個典型的摔倒視頻序列。在每一幀深度圖像中，標記出了人體的重心，同時使用橢圓擬合出人體部分。在視頻序列的每一幀中，都提取出人體的重心部分，并計算出其與地面的距離，該距離和設定的深度閾值做比較，將比較結果作為判據應用在摔倒檢測判定中。最后一列是被判定為摔倒的圖像幀。

圖4 沿光軸方向摔倒事件檢測結果

圖5給出了視頻序列中的人體重心高度曲線，深色曲線即為摔倒檢測結果。實驗中，高度閾值設定為0.4 m。

如圖4和圖5可見，提出的摔倒檢測方法能穩定、準確地檢測到摔倒行為。圖4實際是一個沿著攝像頭光軸方向的摔倒過程。對于灰度圖像或彩色圖像，一般不能準確檢測發生在視覺傳感器光軸方向上的摔倒行為。實驗結果表明，圖4(b)所示的摔倒發生在Kinect傳感器光軸方向上，該方法依然能準確對摔倒進行檢測。

圖5 視頻序列中的人體重心高度曲線

4 結束語

提出了一種在室內環境中通過分析人體深度圖像形態的摔倒檢測方法。首先對背景圖像和目標圖像經過濾波預處理以減少測量噪聲對該方法的影響；然后由視差圖和最小二乘法獲得場景地面信息及地面方程參數，通過分析深度圖像中的人體形態信息，比較人體重心高度與高度閾值的結果判定人體是否摔倒。通過設定閾值來進行摔倒檢測，當場景地面信息提取后，人體高度信息容易得到，因此該方法簡單有效。通過在包含不同摔倒方向的數據上進行摔倒實驗，驗證了該方法的有效性，為智能摔倒檢測的實現和應用提供了一種新途徑。

參考文獻:

[1] IIO T,SHIOMI M,KAMEI K,et al. Social acceptance by senior citizens and caregivers of a fall detection system using range sensors in a nursing home[J].Advanced Robotics,2016,30(3):190-205.

[2] DELAHOZ Y S,LABRADOR M A.Survey on fall detection and fall prevention using wearable and external sensors[J].Sensors,2014,14(10):19806-19842.

[3] KOSHMAK G,LINDEN M,LOUTFI A.Challenges and issues in multisensor fusion approach for fall detection:review paper[J].Journal of Sensors,2015,5(8):837459.

[4] YANG Lei,REN Yanyun,ZHANG Wenqiang.3D depth image analysis for indoor fall detection of elderly people[J].Digital Communications and Networks,2016,2(1):24-34.

[5] YANG Lei,REN Yanyun,HU Huosheng,et al.New fast fall detection method based on spatio-temporal context tracking of head by using depth images[J].Sensors,2015,15(9):23004-23019.

[6] CHENG Juan,CHEN Xiang,SHEN Minfen.A framework for daily activity monitoring and fall detection based on surface electromyography and accelerometer signals[J].IEEE Journal of Biomedical & Health Informatics,2013,17(1):38-45.

[7] ZIGEL Y,LITVAK D,GANNOT I.A method for automatic fall detection of elderly people using floor vibrations and sound proof of concept on human mimicking doll falls[J].IEEE Transactions on Bio-medical Engineering,2009,56(12):2858-2567.

[8] RIMMINEN H,LINDSTR?M J,LINNAVUO M,et al.Detection of falls among the elderly by a floor sensor using the electric near field[J].IEEE Transactions on Information Technology in Biomedicine,2010,14(6):1475-1476.

[9] SAZONOV E S,BUMPUS T,ZEIGLER S,et al.Classification of plantar pressure and heel acceleration patterns using neural networks[C]//IEEE international joint conference on neural networks.[s.l.]:IEEE,2005:3007-3010.

[10] FENG W,LIU R,ZHU M.Fall detection for elderly person care in a vision-based home surveillance environment using a monocular camera[J].Signal,Image and Video Processing,2014,8(6):1129-1138.

[11] YU M,YU Y,RHUMA A,et al.An online one class support vector machine-based personspecific fall detection system for monitoring an elderly individual in a room environment[J].IEEE Journal of Biomedical & Health Informatics,2013,17(6):1002-1014.

[12] CHUA J L,CHANG Y C,LIM W K.A simple vision-based fall detection technique for indoor video surveillance[J].Signal,Image and Video Processing,2015,9(3):623-633.

[13] 靳海偉,彭 力,盧曉龍.基于輪廓跟蹤的摔倒檢測算法[J].江南大學學報:自然科學版,2015,14(2):172-177.

[14] 羅 凱,金小峰.基于Kinect的跌倒行為識別算法[J].延邊大學學報:自然科學版,2016,42(2):156-160.

[15] 陳鳳東,洪炳镕.基于動態閾值背景差分算法的目標檢測方法[J].哈爾濱工業大學學報,2005,37(7):883-884．

[16] 楊 磊，任衍允，蔡紀源.一種基于深度數據的高斯模型運動目標檢測方法[J].計算機技術與發展,2015,25(9):27-30.

[17] 黃露丹,嚴利民.基于Kinect深度數據的人物檢測[J].計算機技術與發展,2013,23(4):119-121．