基于靜態(tài)圖像姿態(tài)估計的服務(wù)機(jī)器人跌倒檢測報警系統(tǒng)

陳旭鳳　趙彥偉　王菲菲　曹學(xué)文　楊一哲

關(guān)鍵詞：計算機(jī)視覺技術(shù)；姿態(tài)檢測；人體骨骼關(guān)鍵點(diǎn)；跌倒檢測

為了降低老年人因為跌倒而受到的傷害，可以設(shè)計出一種跌倒檢測報警系統(tǒng)，實(shí)時檢測老年人的人體姿態(tài)。目前的跌倒檢測系統(tǒng)可大概分為三種類別：（1）以穿戴式傳感器為基礎(chǔ)的跌倒檢測系統(tǒng)；（2）以計算機(jī)視覺等相關(guān)技術(shù)為基礎(chǔ)的跌倒檢測系統(tǒng)；（3）以音頻分析為基礎(chǔ)的跌倒檢測系統(tǒng)。

本文針對基于可穿戴設(shè)備傳感器、視頻分析和環(huán)境傳感器的跌倒檢測方法儲存資源受限、計算資源消耗大和精度低的缺點(diǎn)，結(jié)合室內(nèi)服務(wù)機(jī)器人的計算機(jī)視覺技術(shù)平臺，提出一種基于靜態(tài)圖像姿態(tài)估計的服務(wù)機(jī)器人跌倒檢測報警系統(tǒng)，本文所設(shè)計的系統(tǒng)主要包括三個組成部分：助老機(jī)器人平臺、人體骨骼關(guān)鍵點(diǎn)檢測、跌倒檢測算法。

1助老機(jī)器人平臺

本文基于ROS服務(wù)機(jī)器人操作系統(tǒng)來進(jìn)行研究。ROS機(jī)器人操作系統(tǒng)是一個機(jī)器人軟件平臺，它提供了操作系統(tǒng)應(yīng)有的服務(wù)，包括硬件抽象、底層設(shè)備控制、進(jìn)程間消息傳遞等。其系統(tǒng)架構(gòu)及主要性能如下：（1）視覺傳感器：高分辨率彩色攝像頭（1920×1080、32bit、30fps）、低分辨率深度攝像頭（512×424、16bit、30fps）；（2）行走速度：最大60cm/s；（3）爬坡能力：5度；（4）電機(jī)：12V 146RPM帶編碼器直流減速電機(jī)；（5）驅(qū)動機(jī)構(gòu)：2個主動輪、1個從動輪（90mm全鋁全向輪X3）。

本文的研究主要基于ROS服務(wù)機(jī)器人（如圖1）系統(tǒng)的視覺傳感器。通過視覺傳感器獲取含有服務(wù)機(jī)器人所跟隨目標(biāo)的數(shù)字圖像。

2人體骨骼關(guān)鍵點(diǎn)檢測

本文采用檢測人體骨骼檢測點(diǎn)的方法來進(jìn)行跌倒檢測設(shè)計實(shí)驗。

目前的多人人體骨骼關(guān)鍵點(diǎn)檢測有兩個研究方向，自上而下和自下而上。其中自下而上的方法主要包含兩個部分：關(guān)鍵點(diǎn)檢測和聚類。首先檢測出圖像中的關(guān)鍵點(diǎn)，然后通過相關(guān)技術(shù)手段將關(guān)鍵點(diǎn)聚成不同的個體，其中代表性算法有PAF、Part Segmentation等。目前人體關(guān)鍵點(diǎn)檢測的數(shù)據(jù)集大致可以分為兩類，即2D人體關(guān)鍵點(diǎn)和3D人體關(guān)鍵點(diǎn)。

本文擬采用基于PAF（Part Affinity Fields）的姿態(tài)檢測算法。該方法使用非參數(shù)表示，叫作部分親和域（PAFs），PAF能夠聯(lián)系人體身體部位與目標(biāo)圖像中被檢測到的人體圖像，進(jìn)行編碼，可以使用自底向上的貪婪解析，不論被檢測目標(biāo)圖像中有多少個人體圖像，都能高精確度地實(shí)現(xiàn)性能。

通過姿態(tài)估計算法PAF對靜態(tài)圖像中的人體姿態(tài)進(jìn)行檢測，得到一組人體骨骼關(guān)鍵點(diǎn)的坐標(biāo)，用于下一步的跌倒檢測判別。

3跌倒檢測算法

在一個靜態(tài)的圖像中，當(dāng)人體在處于正常狀態(tài)和處于跌倒?fàn)顟B(tài)時的人體姿態(tài)會有所不同。本文設(shè)計的跌倒檢測算法就是通過設(shè)置人體骨骼關(guān)鍵檢測點(diǎn)之間一系列的角度閾值，對檢測到的目標(biāo)圖像進(jìn)行逐層分析判斷，以此來最終判斷人體是否為跌倒?fàn)顟B(tài)。

3.1多閾值控制設(shè)計

第一，參考坐標(biāo)系選取。識別目標(biāo)圖像時，以移動機(jī)器人的視覺傳感器坐標(biāo)系為參考坐標(biāo)系。

第二，目標(biāo)圖像T1和T2設(shè)定。移動機(jī)器人通過間隔固定時間TH（單位為秒）進(jìn)行跟蹤目標(biāo)的圖像獲取，在Tl時刻獲取到的圖像命名為T1_image，在Tl+TH時刻獲取到的圖像命名為T2_image。本文僅以T1_image和T2_image為例對跌倒檢測報警方案進(jìn)行說明。

第三，跌倒檢測算法所依據(jù)檢測點(diǎn)如圖2所示，關(guān)鍵判斷條件包括七條內(nèi)容：（1）條件一：判斷目標(biāo)圖像rI2一image的檢測點(diǎn)2相對于T1_image是否產(chǎn)生向下的位移；（2）條件二：判斷目標(biāo)圖像T2_image中，檢測點(diǎn)1與檢測點(diǎn)2的連線和縱軸的夾角，是否大于閾值30度；（3）條件三：判斷目標(biāo)圖像rl2_image中，檢測點(diǎn)4與檢測點(diǎn)3的連線和縱軸夾角，是否大于閾值45度；（4）條件四：判斷目標(biāo)圖像T2_jmage中，檢測點(diǎn)4與檢測點(diǎn)6的連線和縱軸夾角，是否大于閾值70度；（5）條件五：判斷目標(biāo)圖像T2_image中，檢測點(diǎn)4與檢測點(diǎn)3的連線和檢測點(diǎn)4與檢測點(diǎn)5的連線夾角，是否大于閾值90度；（6）條件六：判斷目標(biāo)圖像T2_jmage中，檢測點(diǎn)5與檢測點(diǎn)4的連線和檢測點(diǎn)5與檢測點(diǎn)6的連線夾角，是否大于閾值35度；（7）條件七：判斷目標(biāo)圖像T2_jmage中，檢測點(diǎn)6與檢測點(diǎn)5的連線和縱軸夾角，是否大于閾值40度。

以上涉及點(diǎn)3、4、5、6的檢測點(diǎn)對，均為左右兩側(cè)分別判斷，對結(jié)果取邏輯或的關(guān)系；以上提到的縱軸指的是世界坐標(biāo)系下的Z軸而非Y軸；以上涉及的夾角值，范圍為0～180度。

3.2跌倒檢測判定流程

跌倒檢測具體判定流程可詳細(xì)描述為：（1）若依次滿足條件一、條件二、條件三、條件五，再來看是否滿足條件四，若滿足條件四，判斷為跌倒?fàn)顟B(tài)，報警；反之，若不滿足條件四，則判斷為未跌倒?fàn)顟B(tài)，不報警。（2）當(dāng)依次滿足條件一、條件二、條件三，但是不滿足條件五時，再看條件七，若滿足條件七，則判斷為跌倒?fàn)顟B(tài)，報警；反之，若不滿足條件七，則判斷為未跌倒?fàn)顟B(tài)，不報警。（3）當(dāng)依次滿足條件一、條件二，不滿足條件三時，再看條件四，若滿足條件四，則判斷為跌倒?fàn)顟B(tài)，報警；反之，若不滿足條件四，則判斷為未跌倒?fàn)顟B(tài)，不報警。（4）當(dāng)滿足條件一，不滿足條件二時，若不滿足條件四，則判斷為未跌倒?fàn)顟B(tài)，不報警。（5）當(dāng)滿足條件一，不滿足條件二時，若滿足條件四，再看條件六，若滿足條件六，則判斷為跌倒?fàn)顟B(tài)；反之，若不滿足條件六，則判斷為未跌倒?fàn)顟B(tài)，不報警。

通過以上工作流程，服務(wù)機(jī)器人可完成跟蹤目標(biāo)是否跌倒的檢測與判定，再根據(jù)系統(tǒng)功能設(shè)定完成跌倒報警。

4方案驗證與改進(jìn)措施

4.1數(shù)據(jù)采集與關(guān)鍵點(diǎn)識別

數(shù)據(jù)采集。根據(jù)上文提出的設(shè)計思路，設(shè)計多種人體姿態(tài)類型，對每個人體姿態(tài)下采集多張人體圖片作為測試用的數(shù)據(jù)，對應(yīng)標(biāo)簽設(shè)置為二分類，包括跌倒?fàn)顟B(tài)和未跌倒?fàn)顟B(tài)兩種情況。人體的站立、下蹲、坐下、彎腰等這些人體姿態(tài)屬于人體正常姿態(tài)，在老人跌倒報警系統(tǒng)中判定為未跌倒?fàn)顟B(tài)，不報警。人體跌坐在地（發(fā)生跌倒行為后人自行撐起上身，但是也無法自行起身情況）和跌倒在地（完全跌落在地，無法撐起身體）這兩種情況在老人跌倒報警系統(tǒng)中便被判定為跌倒?fàn)顟B(tài)，報警。作為負(fù)樣本，采集了人們在躺椅上休息時的人體姿態(tài)以及癱坐在沙發(fā)上的人體姿態(tài)進(jìn)行數(shù)據(jù)的測試，這些人體姿態(tài)在老人跌倒報警系統(tǒng)中被判定為未跌倒?fàn)顟B(tài)，不報警。將這些圖片采集完成后進(jìn)行跌倒檢測判別。

本文設(shè)計的跌倒檢測報警系統(tǒng)采用基于Par Affinity Fields的姿態(tài)檢測方法，能夠輸出21個骨骼檢測點(diǎn)的人體姿態(tài)圖片，即輸出目標(biāo)圖像中所有人體的2D人體檢測點(diǎn)坐標(biāo)，實(shí)驗數(shù)據(jù)截取部分如圖3所示。

從左到右、從上到下的順序：（a）躺椅.1；（b）躺椅-2；（c）彎腰-1；（d）彎腰-2；（e）休閑躺-1；（f）休閑躺-2；（g）高坐-1；（h）高坐-2；（i）蹲下-l；（j）蹲下-2；（k）低坐-1；（l）低坐-2；（m）跌坐-1；（n）站立-1；（o）跌倒-1；（p）跌倒-2。

4.2跌倒檢測算法驗證

通過多輪測試確定參數(shù)后，進(jìn)行上述跌倒檢測算法的準(zhǔn)確性驗證。使用圖3骨骼檢測點(diǎn)結(jié)果作為輸入圖片，檢測老人跌倒報警方案的判別效果，下表數(shù)據(jù)證明我們的檢測方案是簡易并且有效的。

4.3改進(jìn)措施

針對目前老人跌倒報警方案的設(shè)計，還可以結(jié)合助老移動機(jī)器人的移動功能進(jìn)行功能改進(jìn)：對老人跌倒報警系統(tǒng)判定為疑似跌倒圖像進(jìn)行多方位的檢測。

具體實(shí)施方案：在跌倒檢測系統(tǒng)第一次判定輸出的結(jié)果為“跌倒、報警”信號時，在合理的短時間內(nèi)（結(jié)合移動機(jī)器人性能以最快的移動速度）以服務(wù)對象老人為中心，進(jìn)行一個單向的繞行。在180度內(nèi)完成3次再獲取靜態(tài)目標(biāo)圖像（角度差為60度），進(jìn)行跌倒檢測——如果在這4次檢測結(jié)果中有大于等于2次結(jié)果的均為“跌倒、報警”信號，則此報警系統(tǒng)判定老人為“跌倒，報警”；否則則判定老人為“未跌倒，不報警”。

結(jié)語

本文所設(shè)計的老人跌倒檢測報警系統(tǒng)，是針對靜態(tài)圖像的姿態(tài)估計結(jié)果進(jìn)行跌倒檢測，從一定程度上能夠降低計算量消耗；針對姿態(tài)估計算法所得人體骨骼關(guān)鍵點(diǎn)坐標(biāo)，進(jìn)行人體關(guān)鍵骨骼檢測點(diǎn)之間的幾何關(guān)系與本專利設(shè)定的多個閾值相比，判定最終跌倒與否，降低老人處于蹲下、坐下或是斜躺休息等類似于跌倒動作的誤判概率。多閾值控制提高了判定準(zhǔn)確率，無須再次使用其他網(wǎng)絡(luò)模型等技術(shù)手段進(jìn)行誤判結(jié)果的排除，大大降低了計算復(fù)雜度，提升了系統(tǒng)檢測的時效性。

作者簡介：陳旭鳳（1991—），女，漢族，河北定州人，碩士研究生，講師，研究方向：人工智能、機(jī)器視覺。

*通訊作者：趙彥偉。