基于Kinect的摔倒行為研究

楊張振

(南京郵電大學(xué) 通信與信息工程學(xué)院,江蘇 南京 210003)

0 引 言

隨著人類社會(huì)的發(fā)展和進(jìn)步，人們的物質(zhì)生活水平得到了大幅提高，同時(shí)人們對(duì)身體健康水平和生活環(huán)境的安全穩(wěn)定水平的要求也在不斷增長。出于對(duì)健康和安全的考慮，越來越多的監(jiān)控設(shè)備被應(yīng)用于室內(nèi)環(huán)境以檢測(cè)室內(nèi)可能出現(xiàn)的意外摔倒情況[1]。

摔倒行為可能會(huì)對(duì)人們的健康帶來嚴(yán)重的后果，尤其是出現(xiàn)這一意外情況但沒有及時(shí)發(fā)現(xiàn)處理，將會(huì)加重事件帶來的不利影響，比如老年人出現(xiàn)摔倒情況卻沒有得到及時(shí)救助，后果可能不堪設(shè)想。據(jù)全國傷害監(jiān)測(cè)系統(tǒng)(NISS)2013年的收集統(tǒng)計(jì)，65歲及以上老年人跌倒死亡率為45.72/10萬，因跌倒死亡是65歲及以上人群因傷害致死的第一死因[2]。除導(dǎo)致死亡外，跌倒/墜落造成更多的是殘疾、功能受限、活動(dòng)受限等非致死性后果。因此對(duì)室內(nèi)可能出現(xiàn)的摔倒行為進(jìn)行檢測(cè)是一項(xiàng)很有實(shí)際意義的工作。

傳統(tǒng)的對(duì)摔倒行為進(jìn)行檢測(cè)的技術(shù)手段主要有兩種：一種是利用穿戴式傳感器對(duì)摔倒進(jìn)行檢測(cè)，當(dāng)檢測(cè)到摔倒行為時(shí)，與人體連接在一起的傳感設(shè)備會(huì)發(fā)出摔倒信號(hào)[3-5]；另一種是依據(jù)視頻裝置對(duì)摔倒進(jìn)行檢測(cè)，用一個(gè)或多個(gè)攝像機(jī)對(duì)某個(gè)場(chǎng)景進(jìn)行連續(xù)監(jiān)控，通過對(duì)視頻進(jìn)行處理對(duì)摔倒進(jìn)行檢測(cè)[6]。傳統(tǒng)方法對(duì)摔倒行為的檢測(cè)雖然取得了一定的成果，但是局限性也很大。利用傳感器對(duì)摔倒行為進(jìn)行檢測(cè)會(huì)對(duì)人體行動(dòng)產(chǎn)生不便，利用傳統(tǒng)視頻監(jiān)控設(shè)備對(duì)摔倒行為檢測(cè)不僅難以做到及時(shí)的檢測(cè)識(shí)別，又要面臨外界條件變化所帶來的不利影響。隨著計(jì)算機(jī)視覺技術(shù)的不斷發(fā)展，科研人員開始采用深度圖像對(duì)室內(nèi)異常行為的檢測(cè)進(jìn)行研究[7-8]，而且隨著采集RGB-D圖像設(shè)備的不斷出現(xiàn)，RGB-D圖像得到了越來越多的研究者的青睞。微軟公司于2009年6月推出了Kinect體感設(shè)備，Kinect的突出功能就是處理深度圖像，它的骨骼追蹤技術(shù)就是通過處理深度圖像來建立人體各個(gè)關(guān)節(jié)的坐標(biāo)，能夠通過骨骼追蹤技術(shù)確定人體的各個(gè)部分以及它們的位置。

在傳統(tǒng)的檢測(cè)方案中，需要人來對(duì)監(jiān)控圖像進(jìn)行不斷觀察，這種方法局限性太強(qiáng)，不僅耗費(fèi)了大量的人力物力，不能及時(shí)發(fā)現(xiàn)可能出現(xiàn)的異常行為，而且傳統(tǒng)的檢測(cè)方案對(duì)檢測(cè)到的情況不能進(jìn)行自動(dòng)智能化的處理。因此，文中基于Kinect設(shè)備，對(duì)室內(nèi)環(huán)境進(jìn)行檢測(cè)，利用深度圖像能夠克服外界光線條件變化和遮擋等不利因素影響的優(yōu)點(diǎn)，提高對(duì)摔倒行為檢測(cè)的準(zhǔn)確率，并且能夠?qū)Ξ惓Ｐ袨檫M(jìn)行自動(dòng)化處理，實(shí)現(xiàn)對(duì)異常行為的實(shí)時(shí)性檢測(cè)，達(dá)到保護(hù)人體安全的目的[9-10]。

1 Kinect簡(jiǎn)介

Kinect[11]是微軟公司于2009年6月推出的具有里程碑意義的一種體感設(shè)備。它具有3個(gè)Camera，中間的是RGB Camera，用于獲取640×480的彩色圖像，每秒鐘最多獲取30幀彩色圖像；兩側(cè)是兩個(gè)深度(3D Depth)傳感器，使用紅外線檢測(cè)玩家的相對(duì)位置，其原理和人眼立體成像原理一樣；Kinect兩側(cè)各有兩組麥克風(fēng)用來做3D語音識(shí)別，能夠捕捉到聲源附近各種各樣的信息；下面底座內(nèi)有一個(gè)馬達(dá)可以調(diào)整Kinect的仰角，其仰角可調(diào)整范圍大小為43°。具體如圖1所示。

2 骨骼圖像獲取方法

文中利用Kinect來獲取用戶的骨骼和關(guān)節(jié)點(diǎn)。Kinect左右兩邊的紅外線發(fā)射器和紅外線CMOS攝影機(jī)構(gòu)成了3D結(jié)構(gòu)光深度傳感器。該傳感器通過黑白光譜的方式來感知環(huán)境：純黑代表無窮遠(yuǎn)，純白代表無窮近。黑白間的灰色部分對(duì)應(yīng)物體到傳感器之間的物理距離。Kinect設(shè)備運(yùn)行時(shí)，紅外線發(fā)射器發(fā)出激光覆蓋整個(gè)Kinect的可視范圍，激光在散射體表而產(chǎn)生漫反射，紅外線/VGA攝像頭組接收漫反射光線，通過激光散斑的照明，利用光編碼技術(shù)，對(duì)可視范圍內(nèi)的空間進(jìn)行編碼。然后，Kinect對(duì)獲取的具有三維縱深的編碼進(jìn)行解碼運(yùn)算，獲得相應(yīng)的彩色圖像數(shù)據(jù)、深度圖像數(shù)據(jù)以及骨架模型數(shù)據(jù)。Kinect與計(jì)算機(jī)通過USB接口相連，所獲數(shù)據(jù)通過USB端口輸入計(jì)算機(jī)，通過應(yīng)用程序編程接口(application program interface,API)讀取相關(guān)數(shù)據(jù)，按程序中規(guī)定的算法進(jìn)行運(yùn)算。Kinect提供了人體骨架中的20個(gè)關(guān)節(jié)點(diǎn)(見圖2)，所有關(guān)節(jié)點(diǎn)依靠深度圖像技術(shù)都可通過空間三維坐標(biāo)(x,y,z)進(jìn)行定義，其中VGA攝像頭提供x和y坐標(biāo)值，紅外攝像頭提供z向深度值。

圖1 Kinect傳感器

圖2 Kinect識(shí)別到的20個(gè)人體關(guān)節(jié)點(diǎn)

與深度圖像空間坐標(biāo)不同的是，這些坐標(biāo)單位是m。坐標(biāo)軸x,y,z是深度感應(yīng)器實(shí)體的空間x,y,z坐標(biāo)軸。這個(gè)坐標(biāo)系是右手螺旋的，Kinect感應(yīng)器處于原點(diǎn)位置，z坐標(biāo)軸則與Kinect感應(yīng)的朝向一致。y軸正半軸向上延伸，x軸正半軸(從Kinect感應(yīng)器的視角來看)向左延伸，如圖3所示。

3 檢測(cè)過程

當(dāng)人體做出不同的動(dòng)作時(shí)，由于人的動(dòng)作和骨骼關(guān)節(jié)點(diǎn)空間位置、相對(duì)位置信息的變化有直接的關(guān)系，所以當(dāng)這些關(guān)節(jié)點(diǎn)位置的數(shù)據(jù)發(fā)生變化時(shí)，可以根據(jù)對(duì)這些參數(shù)的處理來判斷人體的動(dòng)作[12-14]。人體從站立到摔倒是一個(gè)非常短暫的過程，所用時(shí)間很少。因此在實(shí)驗(yàn)中，對(duì)當(dāng)前骨骼圖像幀和之前15幀骨骼圖像中的關(guān)節(jié)點(diǎn)位置信息進(jìn)行對(duì)比，按照Kinect 30幀/s的更新速率，文中所選取的兩幀圖像之間的時(shí)間差別僅為0.5 s。摔倒事件自動(dòng)檢測(cè)系統(tǒng)主要選用Kinect所獲取的20個(gè)關(guān)節(jié)點(diǎn)中的2個(gè)用于算法判別[15]，分別為左肩、右肩，2個(gè)關(guān)節(jié)點(diǎn)的三維坐標(biāo)(x,y,z)信息返回到Kinect For Windows SDK (software development kit)開發(fā)包中，形成骨架信息流，供摔倒檢測(cè)算法調(diào)用。

圖3 人體骨骼圖像坐標(biāo)示意圖

(1)

通過式(1)和閾值P，有如下不等式：

(2)

(3)

然后根據(jù)摔倒時(shí)前后幀之間的位移向量與O-X,Y,Z坐標(biāo)體系中的Y軸方向夾角θ加以區(qū)分摔倒和坐下、下蹲等可能會(huì)出現(xiàn)誤判的情況，當(dāng)人體做出坐下或者下蹲動(dòng)作時(shí)，θ為0°～20°，而摔倒情況出現(xiàn)時(shí)，θ為45°～75°。加上此判斷條件后，經(jīng)過實(shí)驗(yàn)驗(yàn)證，達(dá)到了預(yù)期，識(shí)別率達(dá)到了92.3%。

4 實(shí) 驗(yàn)

4.1 實(shí)驗(yàn)平臺(tái)

實(shí)驗(yàn)采用Intel(R) Core(TM) i3 CPU M350 @2.27 GHz 4核。顯卡為AMD Radeon HD 5000。操作系統(tǒng)為32位Windows 7旗艦版，開發(fā)環(huán)境為Visual Studio 2010，OpenCV環(huán)境為opencv-2.4.10。

4.2 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)人員站立于Kinect視場(chǎng)范圍內(nèi)，可以在計(jì)算機(jī)終端顯示4幅圖像和一個(gè)檢測(cè)輸出窗口，其中四幅圖像分別為color image，depth image，mask image和skeleton image,其中mask image是把depth image中的背景用黑色來填充，檢測(cè)到的人體用白色填充的圖像。圖4即為站立時(shí)的depth image，mask image和skeleton image。

圖4 站立時(shí)的深度圖像及骨骼圖像

當(dāng)實(shí)驗(yàn)人員出現(xiàn)摔倒行為后，摔倒后的depth image，mask image和skeleton image如圖5所示。

從摔倒后的骨骼圖像看出，人體骨骼關(guān)節(jié)點(diǎn)信息發(fā)生了明顯變化，其中左肩、右肩和兩肩中心關(guān)節(jié)點(diǎn)位置在空間中的變化較為顯著，結(jié)合實(shí)驗(yàn)結(jié)果的數(shù)據(jù)可以證明文中采用方法選取該關(guān)節(jié)點(diǎn)數(shù)據(jù)的科學(xué)性。

5 結(jié)束語

在現(xiàn)有的視頻檢測(cè)技術(shù)中，多數(shù)依賴于RGB圖像的監(jiān)控，這種方法不僅實(shí)時(shí)性差，而且不利于保護(hù)監(jiān)控環(huán)境內(nèi)的個(gè)人隱私。而采用基于Kinect的骨骼圖像對(duì)摔倒行為進(jìn)行監(jiān)控，不僅能夠?qū)崟r(shí)地檢測(cè)人體行為，而且精度高，同時(shí)有利于保護(hù)被檢測(cè)人的隱私。但是由于Kinect拍攝的圖像中包含了大量的數(shù)據(jù)信息，目前計(jì)算機(jī)對(duì)如此數(shù)據(jù)量的信息進(jìn)行提取計(jì)算的速度還不夠高，還需要對(duì)程序的算法進(jìn)行改進(jìn)，提高計(jì)算效率。同時(shí)采用的設(shè)備為Kinect1.0產(chǎn)品，該產(chǎn)品能獲取的視覺場(chǎng)景范圍有限，并不能完整覆蓋常見的家庭等室內(nèi)環(huán)境。下一步要做的工作是在Kinect2.0設(shè)備的基礎(chǔ)上對(duì)該方法進(jìn)行開發(fā)研究，并且嘗試采用雙設(shè)備甚至多設(shè)備進(jìn)行開發(fā)實(shí)驗(yàn)，進(jìn)一步擴(kuò)大該方案的應(yīng)用場(chǎng)景并且提高檢測(cè)率。

圖5 摔倒后的深度圖像及骨骼圖像

參考文獻(xiàn)：

[1] VAIDEHI V,GANAPATHY K,MOHAN K,et al.Video based automatic fall detection in indoor environment[C]//International conference on recent trends in information technology.[s.l.]:IEEE,2011:1016-1020.

[2] 耳玉亮,段蕾蕾,葉鵬鵬,等.2014年全國傷害監(jiān)測(cè)系統(tǒng)老年跌倒/墜落病例特征分析[J].中華流行病學(xué)雜志,2016,37(1):24-28.

[3] 孔令富,李海濤.基于位置和運(yùn)動(dòng)軌跡的老年人異常行為檢測(cè)[J].計(jì)算機(jī)工程與設(shè)計(jì),2012,33(2):735-739.

[4] 劉 鵬,盧潭城,呂愿愿,等.基于MEMS三軸加速度傳感器的摔倒檢測(cè)[J].傳感技術(shù)學(xué)報(bào),2014,27(4):570-574.

[5] 羅 堅(jiān),唐 琎,毛 芳,等.基于云計(jì)算的可穿戴式老齡人異常行為檢測(cè)系研究[J].傳感技術(shù)學(xué)報(bào),2015,28(8):1108-1114.

[6] 韓 磊.圖像序列中人的行為分析和識(shí)別方法[D].北京:北京理工大學(xué),2009.

[7] YANG S W,LIN S K.Fall detection for multiple pedestrians using depth image processing technique[J].Computer Methods & Programs in Biomedicine,2014,114(2):172-182.

[8] 曹雛清,李瑞峰,趙立軍.基于深度圖像技術(shù)的手勢(shì)識(shí)別方法[J].計(jì)算機(jī)工程,2012,38(8):16-18.

[9] LIU C L,LEE C H,LIN P M.A fall detection system using k-nearest neighbor classifier[J].Expert Systems with Applications,2010,37(10):7174-7181.

[10] LIU Hong,ZUO Changling.An improved algorithm of automatic fall detection[J].AASRI Procedia,2012,1:353-358.

[11] 石曼銀.Kinect技術(shù)與工作原理的研究[J].哈爾濱師范大學(xué)自然科學(xué)學(xué)報(bào),2013,29(3):83-86.

[12] 黃國范,李 亞.人體動(dòng)作姿態(tài)識(shí)別綜述[J].電腦知識(shí)與技術(shù),2013,9(1):133-135.

[13] 胡 瓊,秦 磊,黃慶明.基于視覺的人體動(dòng)作識(shí)別綜述[J].計(jì)算機(jī)學(xué)報(bào),2013,36(12):2512-2524.

[14] 劉 博,安建成.基于關(guān)鍵姿勢(shì)的人體動(dòng)作識(shí)別[J].電視技術(shù),2014,38(5):38-41.

[15] 謝 亮,廖宏建,楊玉寶.基于Kinect的姿勢(shì)識(shí)別與應(yīng)用研究[J].計(jì)算機(jī)技術(shù)與發(fā)展,2013,23(5):258-260.