基于改進(jìn)Alphapose的紅外圖像人體摔倒檢測(cè)算法

張 鵬，沈玉真，李培華，張愷翔

基于改進(jìn)Alphapose的紅外圖像人體摔倒檢測(cè)算法

張 鵬，沈玉真，李培華，張愷翔

（中航華東光電有限公司，安徽 蕪湖 241002）

紅外圖像中的人體摔倒檢測(cè)不受環(huán)境光照射的影響，在智能安防領(lǐng)域有著重要的研究意義和應(yīng)用價(jià)值。現(xiàn)有的摔倒檢測(cè)方法沒有充分考慮人體關(guān)鍵點(diǎn)的位置變化規(guī)律，容易對(duì)類摔倒動(dòng)作造成誤檢。針對(duì)這一問題，本文提出一種基于改進(jìn)Alphapose的紅外圖像摔倒檢測(cè)算法。該算法使用Yolo v5s目標(biāo)檢測(cè)網(wǎng)絡(luò)，在提取人體目標(biāo)框輸入姿態(tài)估計(jì)網(wǎng)絡(luò)的同時(shí)，對(duì)人體姿態(tài)進(jìn)行直接分類，再結(jié)合人體骨架關(guān)鍵點(diǎn)的位置信息和姿態(tài)特征進(jìn)行判斷。通過實(shí)驗(yàn)證明，該算法在準(zhǔn)確度和實(shí)時(shí)性方面都有良好的表現(xiàn)。

紅外圖像；摔倒檢測(cè)；關(guān)鍵點(diǎn)；目標(biāo)檢測(cè)

0 引言

人體摔倒檢測(cè)可以有效地檢測(cè)視頻中的摔倒行為，降低人在摔倒后無法及時(shí)呼救的風(fēng)險(xiǎn)[1-3]。現(xiàn)有的基于計(jì)算機(jī)視覺的人體摔倒檢測(cè)方法大多使用可見光圖像，這類方法受光照影響在昏暗環(huán)境下效果不佳。紅外圖像能夠保護(hù)個(gè)人隱私，而且不受光照和惡劣天氣的影響，適用于全天候的人體摔倒檢測(cè)，本文將對(duì)紅外圖像摔倒檢測(cè)算法進(jìn)行研究。現(xiàn)有的人體摔倒檢測(cè)方法大致可分為以下3類：1）基于Freeman鏈碼的檢測(cè)方法，文獻(xiàn)[4]利用Freeman鏈碼記錄輪廓信息，計(jì)算實(shí)際Freeman鏈碼與摔倒模板鏈碼的歐式空間距離結(jié)合時(shí)間判定條件判斷是否發(fā)生摔倒行為，但在大規(guī)模遮擋時(shí)容易出現(xiàn)誤差；2）基于關(guān)鍵點(diǎn)的摔倒檢測(cè)方法，文獻(xiàn)[5]利用建立的紅外圖像摔倒數(shù)據(jù)集進(jìn)行CenterNet網(wǎng)絡(luò)訓(xùn)練，識(shí)別紅外圖像中的人體姿態(tài)，但沒有突出摔倒動(dòng)作的時(shí)序性，容易對(duì)緩慢坐地等類摔倒動(dòng)作造成誤檢；3）基于寬高比和質(zhì)心變化率的檢測(cè)方法，文獻(xiàn)[6]利用人體寬高比這一特征來判斷是否有人摔倒，并使用質(zhì)心變化率和有效面積比對(duì)容易造成誤判的情況進(jìn)行修正，從幾何特征的角度判斷人體是否摔倒，但對(duì)特定角度的摔倒檢測(cè)效果不佳。

針對(duì)上述算法的不足，本文在現(xiàn)有的摔倒檢測(cè)方法的基礎(chǔ)上提出了一種基于改進(jìn)Alphapose的紅外圖像摔倒檢測(cè)算法，該算法使用改進(jìn)后的Alphapose檢測(cè)紅外圖像中的骨架關(guān)鍵點(diǎn)和人體姿態(tài)，利用得到的人體骨架關(guān)鍵點(diǎn)信息和姿態(tài)類別進(jìn)行摔倒判定，兼顧了摔倒動(dòng)作的時(shí)序性和前后動(dòng)作的關(guān)聯(lián)性。

1 改進(jìn)的Alphapose算法

1.1 YOLO v5s

人體檢測(cè)的精度直接影響后續(xù)關(guān)鍵點(diǎn)檢測(cè)的效果，是整個(gè)算法精度的保證。YOLO系列算法[7-9]將候選框的搜索和目標(biāo)的識(shí)別定位合二為一，相對(duì)于RCNN[10-12]系列算法先搜索再識(shí)別的兩階段處理模式，YOLO算法的處理速度更快，適用于端到端的訓(xùn)練與預(yù)測(cè)，目前已發(fā)展至YOLO v5版本。YOLO v5的目標(biāo)檢測(cè)網(wǎng)絡(luò)有4種版本，主要區(qū)別在于網(wǎng)絡(luò)深度不同，如表1所示。

表1 YOLO v5各版本參數(shù)對(duì)比

從表1可以看到，YOLO v5s的模型更小、速度更快，方便部署在嵌入式設(shè)備上，本文算法使用YOLO v5s的網(wǎng)絡(luò)結(jié)構(gòu)。

YOLO v5s網(wǎng)絡(luò)首先使用Focus模塊對(duì)輸入圖像進(jìn)行切片操作，如圖1所示。如果網(wǎng)絡(luò)輸入的圖片大小為640×640×3，則將圖像隔行隔列取值，生成320×320×12的子圖，再通過32個(gè)卷積核卷積生成320×320×32的特征圖。相對(duì)于普通下采樣，F(xiàn)ocus模塊保留了原始圖片的完整信息。

圖1 Focus模塊

YOLO v5s的Backbone部分使用了CSP[13]模塊，將輸入的特征映射劃分為兩部分，其中一部分經(jīng)過多個(gè)殘差組件和卷積，然后與另一部分拼接，在減少計(jì)算量的同時(shí)可以保證準(zhǔn)確率。

Neck部分采用了PANet[14]結(jié)構(gòu)，主要用于生成特征金字塔。特征金字塔會(huì)增強(qiáng)模型對(duì)于不同縮放尺度對(duì)象的檢測(cè)，從而能夠識(shí)別不同大小和尺度的同一個(gè)物體。

1.2 Alphapose算法

Alphapose[15]算法是一種人體姿態(tài)估計(jì)算法，能夠檢測(cè)出圖像中的人體骨架，其提出一種區(qū)域多人姿態(tài)估計(jì)框架（regional multi-person pose estimation，RMPE），主要由對(duì)稱空間變換網(wǎng)絡(luò)（symmetric spatial transformer network，SSTN）、參數(shù)化姿態(tài)非極大抑制（parametric pose no-maximum-suppression，PP-NMS）、姿態(tài)引導(dǎo)建議發(fā)生器（pose-guided proposals generator，PGPG）和并行單人姿態(tài)估計(jì)器（parallel single person pose estimation，Parallel SPPE）組成，其中PGPG用于生成大量訓(xùn)練樣本，Parallel SPPE則充當(dāng)額外的正則項(xiàng)，以避免局部最小值，而SSTN又由空間變換網(wǎng)絡(luò)（STN）、單人姿態(tài)估計(jì)器（SPPE）和空間反變換網(wǎng)絡(luò)（spatial de-transformer network，SDTN）組成。Alphapose首先使用目標(biāo)檢測(cè)算法檢測(cè)單張圖片，得到單人人體目標(biāo)框，作為RMPE的輸入，進(jìn)入SSTN模塊。檢測(cè)到的人體目標(biāo)框可能目標(biāo)偏離中心或者目標(biāo)框中人體占比過小，影響后續(xù)姿態(tài)估計(jì)的效果，所以需要先使用STN提取出高質(zhì)量的單人區(qū)域，然后輸入SPPE得到估計(jì)的姿態(tài)，再由SDTN將估計(jì)的姿態(tài)反變換到原始人體區(qū)域框中。冗余的人體區(qū)域框輸入姿態(tài)估計(jì)網(wǎng)絡(luò)，可能會(huì)檢測(cè)到冗余的姿態(tài)。Alphapose提出PP-NMS用來消除多余的姿態(tài)。其定義了一種姿態(tài)距離來度量姿態(tài)間的相似度，并在此基礎(chǔ)上建立了冗余姿態(tài)的消除標(biāo)準(zhǔn)。PP-NMS首先選取最大置信度的姿態(tài)作為參考，并且根據(jù)消除標(biāo)準(zhǔn)將靠近該參考的區(qū)域框進(jìn)行消除，多次重復(fù)這個(gè)過程直到消除所有的冗余識(shí)別框。

1.3 改進(jìn)的Alphapose算法

原Alphapose算法主要使用的人體檢測(cè)器是YOLO v3，與之相比，YOLO v5s的模型更小，速度更快。本文算法使用YOLO v5s作為Alphapose的人體檢測(cè)器，改進(jìn)后的Alphapose算法結(jié)構(gòu)如圖2所示。

改進(jìn)后的算法使用YOLO v5s網(wǎng)絡(luò)完成對(duì)人體姿態(tài)的直接分類，同時(shí)從輸入的紅外圖像中提取人體區(qū)域框，輸入人體姿態(tài)估計(jì)網(wǎng)絡(luò)檢測(cè)人體骨架關(guān)鍵點(diǎn)，將關(guān)鍵點(diǎn)信息與預(yù)測(cè)的姿態(tài)類別一并輸出。

2 基于改進(jìn)Alphapose的紅外圖像摔倒檢測(cè)方法

本文提出基于改進(jìn)Alphapose的紅外圖像摔倒檢測(cè)算法。該算法首先使用YOLO v5s網(wǎng)絡(luò)對(duì)圖像中的人體姿態(tài)進(jìn)行分類，再提取人體目標(biāo)框檢測(cè)出單人的骨架關(guān)鍵點(diǎn)，最后利用關(guān)鍵點(diǎn)和姿態(tài)類別信息，通過關(guān)鍵點(diǎn)分析和摔倒判定，判斷是否出現(xiàn)摔倒。

圖2 改進(jìn)的Alphapose算法結(jié)構(gòu)

2.1 關(guān)鍵點(diǎn)分析

Alphapose算法檢測(cè)出的人體骨架關(guān)鍵點(diǎn)如圖3所示。

圖3 Alphapose關(guān)鍵點(diǎn)檢測(cè)結(jié)果

圖3(a)是站立時(shí)的人體骨架，圖3(b)是摔倒后的人體骨架。圖中編號(hào)為0～17的點(diǎn)代表檢測(cè)得到的18個(gè)人體骨架關(guān)鍵點(diǎn)，其中點(diǎn)11和點(diǎn)12所在位置代表髖關(guān)節(jié)。

通過實(shí)驗(yàn)發(fā)現(xiàn)，站立或行走的人體目標(biāo)在發(fā)生摔倒時(shí)，最直觀的表現(xiàn)是髖關(guān)節(jié)位置在垂直方向上的迅速下跌，所以通過監(jiān)測(cè)髖關(guān)節(jié)在序列幀中的移動(dòng)速度可以及時(shí)發(fā)現(xiàn)產(chǎn)生的摔倒動(dòng)作。但隨著運(yùn)動(dòng)中的人體目標(biāo)與攝像頭的距離越來越遠(yuǎn)，其髖關(guān)節(jié)在圖像上的位移速度也越來越小，容易造成漏檢。針對(duì)該問題，本文提出以前一幀中人體目標(biāo)框的高度作為參考對(duì)象，計(jì)算髖關(guān)節(jié)關(guān)鍵點(diǎn)的相對(duì)移動(dòng)速度。

在對(duì)紅外視頻的檢測(cè)中，設(shè)第幀與第－1幀均為單人紅外圖像，2≤≤，表示紅外視頻的總幀數(shù)，且都是非遮擋狀態(tài)，其髖關(guān)節(jié)關(guān)鍵點(diǎn)均被檢出。設(shè)圖像左上角為原點(diǎn)，水平向右為軸正方向，垂直向下為軸正方向，建立直角坐標(biāo)系。記第幀人體骨架中編號(hào)為的關(guān)鍵點(diǎn)的縱坐標(biāo)為y，取點(diǎn)11和點(diǎn)12的中心點(diǎn)代表髖關(guān)節(jié)，則點(diǎn)在第幀中的縱坐標(biāo)y如式(1)所示。

在摔倒過程中，當(dāng)前一幀人體目標(biāo)框的高度明顯小于其寬度時(shí)，即使下降速度不變，也會(huì)因?yàn)榍耙粠繕?biāo)框高度減小，導(dǎo)致計(jì)算得到的速度偏大，所以本算法引入前一幀人體目標(biāo)框的寬高比作為限制條件，防止前一幀目標(biāo)框?qū)捀弑冗^大導(dǎo)致點(diǎn)的微小起伏被誤識(shí)別為摔倒。記第幀中人體目標(biāo)框的高度為H，寬度為W，則第幀中的人體寬高比P如公式(2)所示：

記第幀中點(diǎn)在垂直方向上的相對(duì)移動(dòng)速度為v，如公式(3)所示：

設(shè)置大于0的閾值Th，檢測(cè)可能出現(xiàn)的摔倒行為，如公式(4)所示。

當(dāng)F等于1時(shí)，判斷可能發(fā)生了摔倒。

2.2 摔倒判定

僅僅分析關(guān)鍵點(diǎn)的下落速度有可能將快速下蹲、俯身拾取等類摔倒動(dòng)作誤識(shí)別為摔倒，為了減少誤判，需要結(jié)合關(guān)鍵點(diǎn)分析結(jié)果和姿態(tài)分類做進(jìn)一步判定。

經(jīng)實(shí)驗(yàn)發(fā)現(xiàn)，摔倒后人體姿態(tài)會(huì)在短時(shí)間內(nèi)穩(wěn)定，直觀表現(xiàn)是坐在地上、躺下或手部撐地，所以本文算法在經(jīng)過關(guān)鍵點(diǎn)分析判斷有可能發(fā)生摔倒后，繼續(xù)檢測(cè)后續(xù)多幀內(nèi)的人體姿態(tài)。

在統(tǒng)計(jì)后續(xù)的人體姿態(tài)中，若第幀圖像中人體姿態(tài)類別為l，則對(duì)應(yīng)的人體圖像得分為s，兩者關(guān)系可用公式(5)表示：

式(5)中：當(dāng)圖像中的人體姿態(tài)類別l為“sit_flat”（坐地）、“l(fā)ie”（躺下）、“push_up”（撐地）這3種姿態(tài)中的任意一種時(shí)，該人體圖像的得分記為1，否則得分記為0。

當(dāng)F＝1，即第幀檢測(cè)到可能發(fā)生摔倒時(shí)，繼續(xù)檢測(cè)后續(xù)20幀圖像的人體姿態(tài)，若累計(jì)圖像得分大于10，最終判定為摔倒，記為FF＝1，如公式(6)所示：

在實(shí)時(shí)檢測(cè)過程中，以實(shí)時(shí)視頻流作為輸入，檢測(cè)每一幀當(dāng)前畫面中的人體姿態(tài)和骨架關(guān)鍵點(diǎn)。從第二幀開始，如果前一幀與當(dāng)前幀均檢測(cè)出同一人的髖關(guān)節(jié)位置，即“無遮擋”狀態(tài)，則進(jìn)行關(guān)鍵點(diǎn)分析，計(jì)算髖關(guān)節(jié)關(guān)鍵點(diǎn)在這相鄰兩幀間的相對(duì)移動(dòng)速率和方向。當(dāng)滿足可能摔倒的條件后，進(jìn)行摔倒判定，開始統(tǒng)計(jì)后續(xù)20幀圖像中的姿態(tài)類別，如果滿足最終摔倒條件，則判斷為一次摔倒。實(shí)時(shí)檢測(cè)的情況下一次完整的摔倒檢測(cè)流程圖如圖4所示。

3 數(shù)據(jù)集

3.1 采集和分類

本文使用的數(shù)據(jù)集分為3部分。第一部分是自建的室內(nèi)紅外數(shù)據(jù)集，攝像頭采用艾睿光電紅外熱成像模組Xmodule T3，分辨率384×288，樣本共6787張，場(chǎng)景包括走廊、辦公室、大廳等室內(nèi)場(chǎng)景；第二部分是運(yùn)動(dòng)物體熱紅外成像數(shù)據(jù)集（moving object thermal infrared imagery dataset，MOTIID），樣本取自其中三段室外行人行走的視頻，獲取樣本571張，均為室外場(chǎng)景；第三部分使用的是開放的免費(fèi)FLIR熱數(shù)據(jù)集FLIR_ADAS，獲取樣本926張。

本文對(duì)紅外圖像下的人體姿態(tài)定義了8種類別，分別是“直坐”、“躺下”、“下蹲”、“站立”、“彎腰”、“撐地”、“坐地”和“遮擋”，如圖5所示。

圖4 總體算法流程

圖5 姿態(tài)分類：(a) 直坐；(b) 躺下；(c) 下蹲；(d) 站立；(e) 彎腰；(f) 撐地；(g) 坐地；(h) 遮擋

3.2 數(shù)據(jù)預(yù)處理

本文采用了Mosaic數(shù)據(jù)增強(qiáng)的方式對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行預(yù)處理，如圖6所示，Mosaic數(shù)據(jù)增強(qiáng)通過每次隨機(jī)抽取數(shù)據(jù)集中的4張圖片，采用隨機(jī)裁剪、隨機(jī)縮放、隨機(jī)組合的方式生成一張新的訓(xùn)練圖片。通過Mosaic數(shù)據(jù)增強(qiáng)，能夠豐富場(chǎng)景內(nèi)容，增強(qiáng)樣本多樣性，提高目標(biāo)檢測(cè)算法的抗干擾性。

4 實(shí)驗(yàn)分析

本實(shí)驗(yàn)的實(shí)驗(yàn)環(huán)境為Win10_x64平臺(tái)，CPU為Intel Core i7-9750H，內(nèi)存16G，GPU為NVIDIA GeForce RTX 2060，使用框架為torch1.6.0＋opencv-python4.4.0，輸入圖片尺寸384×288，學(xué)習(xí)率為0.01，epochs為100。實(shí)驗(yàn)分為兩部分：進(jìn)行紅外人體骨架檢測(cè)實(shí)驗(yàn)，以測(cè)試本文算法定位精度和實(shí)時(shí)性；進(jìn)行紅外視頻摔倒判定實(shí)驗(yàn)，以驗(yàn)證本文策略的可行性。

圖6 Mosaic數(shù)據(jù)增強(qiáng)

4.1 紅外人體骨架檢測(cè)實(shí)驗(yàn)

為了排除遮擋狀態(tài)對(duì)關(guān)鍵點(diǎn)檢測(cè)的干擾，需準(zhǔn)確識(shí)別遮擋與非遮擋狀態(tài)，如圖7所示。

圖7(a)與圖7(d)分別是遮擋狀態(tài)的兩種標(biāo)注方式示意圖，圖7(a)將未被遮擋的人體部分標(biāo)注為遮擋，其預(yù)測(cè)結(jié)果如圖7(b)和圖7(c)所示，圖7(d)在標(biāo)注遮擋類別的目標(biāo)框時(shí)加入部分遮擋物，其預(yù)測(cè)結(jié)果如圖7(e)和圖7(f)所示。從圖7(b)中可以看到，全身被識(shí)別為站立姿態(tài)的同時(shí)，上身也被識(shí)別為遮擋，即出現(xiàn)了冗余檢測(cè)，而如圖7(e)和圖7(f)所示，在遮擋狀態(tài)標(biāo)記框中加入部分遮擋物后，站立和遮擋得到了明顯的區(qū)分。經(jīng)實(shí)驗(yàn)，在標(biāo)記遮擋狀態(tài)時(shí)，當(dāng)選取的遮擋物在標(biāo)記框縱向占比為0.2或橫向占比為0.3時(shí)，對(duì)遮擋和非遮擋狀態(tài)的區(qū)分效果較好。

本實(shí)驗(yàn)將本文算法與原Alphapose算法進(jìn)行對(duì)比，取500張圖片作為測(cè)試集，部分檢測(cè)結(jié)果如圖8所示。

本實(shí)驗(yàn)采用DIoU（Distance-IoU）衡量算法的定位精度，DIoU反映了真實(shí)與預(yù)測(cè)之間的相關(guān)度，計(jì)算方法如公式(7)所示：

式(7)中：和gt分別表示預(yù)測(cè)框和真實(shí)框的中心點(diǎn)位置坐標(biāo)；(,gt)是兩個(gè)中心點(diǎn)之間的歐氏距離；表示真實(shí)框和預(yù)測(cè)框的最小外接矩形的對(duì)角線距離；IoU表示真實(shí)框與預(yù)測(cè)框之間的交并比。DIoU值越接近于1，則預(yù)測(cè)位置越接近真實(shí)位置。

分別使用原Alphapose算法和本文算法計(jì)算DIoU值，其平均值DIoU_Average和平均處理時(shí)間如表2所示。

圖7 遮擋狀態(tài)標(biāo)注與預(yù)測(cè)圖：(a) 標(biāo)注時(shí)不含遮擋物；(b) 無遮擋物標(biāo)注方式檢測(cè)無遮擋狀態(tài)；(c) 無遮擋物標(biāo)注方式檢測(cè)遮擋狀態(tài)；(d) 標(biāo)注時(shí)含部分遮擋物；(e) 含遮擋物標(biāo)注方式檢測(cè)無遮擋狀態(tài)；(f) 含遮擋物標(biāo)注方式檢測(cè)遮擋狀態(tài)

表2 實(shí)驗(yàn)結(jié)果

由圖8(a)和圖8(b)可以看到，因?yàn)樵跇?biāo)記遮擋姿態(tài)時(shí)加入了部分遮擋物，所以識(shí)別出的遮擋姿態(tài)目標(biāo)框也向被遮擋方向進(jìn)行了部分延伸，符合遮擋的特征，這也驗(yàn)證了本文針對(duì)遮擋姿態(tài)修改標(biāo)記方法的有效性。如圖8(a)～圖8(b)所示，原Alphapose算法與本文算法的檢測(cè)結(jié)果基本相近，但也出現(xiàn)少數(shù)偏差。原Alphapose算法對(duì)“躺下”姿態(tài)的定位不夠準(zhǔn)確，導(dǎo)致后續(xù)的骨架檢測(cè)出現(xiàn)誤差，而本文算法得到的預(yù)測(cè)框更加逼近其真實(shí)目標(biāo)框，得到的人體區(qū)域更加緊湊，檢出的人體骨架也較準(zhǔn)確。結(jié)合表2中的計(jì)算結(jié)果可知，本文算法對(duì)人體區(qū)域的定位較準(zhǔn)，速度更快。如圖8(c)～圖8(d)所示，本文算法也可檢測(cè)室外人體目標(biāo)，但對(duì)于遠(yuǎn)距離的人體可能產(chǎn)生漏檢，如圖8(d)所示，遠(yuǎn)處路燈下的人體沒有被檢出。同時(shí)，在人群聚集和多人重疊場(chǎng)景下，容易發(fā)生漏檢現(xiàn)象。

圖8 實(shí)驗(yàn)結(jié)果：(a) Alphapose檢測(cè)自建紅外數(shù)據(jù)集；(b) Ours檢測(cè)自建紅外數(shù)據(jù)集；(c) Ours檢測(cè)MOTIID紅外測(cè)試集；(d) Ours檢測(cè)FLIR_ADAS數(shù)據(jù)集

4.2 紅外視頻摔倒判定實(shí)驗(yàn)

本實(shí)驗(yàn)使用本文算法檢測(cè)實(shí)時(shí)紅外視頻流，從中截取12段熱紅外視頻，共計(jì)36個(gè)摔倒動(dòng)作和51個(gè)類摔倒動(dòng)作，其中類摔倒動(dòng)作包括快速下蹲、俯身拾取和緩慢坐地。記摔倒動(dòng)作被識(shí)別為摔倒的個(gè)數(shù)為TP，摔倒動(dòng)作被識(shí)別為非摔倒的個(gè)數(shù)為FN，類摔倒動(dòng)作被識(shí)別非摔倒的個(gè)數(shù)為TN，類摔倒動(dòng)作被識(shí)別為摔倒的個(gè)數(shù)為FP。改變閾值Th，計(jì)算不同閾值下的準(zhǔn)確率，計(jì)算方法如公式(8)所示：

從表3可以看出，當(dāng)Th大于或等于0.04時(shí)，漏檢的摔倒個(gè)數(shù)逐漸增多，因?yàn)樵O(shè)定的閾值大于部分真實(shí)摔倒動(dòng)作的相對(duì)位移速度，容易將真實(shí)的摔倒動(dòng)作漏檢。而當(dāng)Th小于或等于0.03時(shí)，真實(shí)的摔倒動(dòng)作已全部被正確檢出，但也出現(xiàn)誤識(shí)別的情況，如將俯身拾取動(dòng)作誤識(shí)別為摔倒，如圖9所示。

表3 不同Th下檢測(cè)結(jié)果

圖9(a)與圖9(b)分別是Th取0.03時(shí)，本算法對(duì)真實(shí)摔倒動(dòng)作和俯身拾取動(dòng)作的檢測(cè)結(jié)果，圖9(c)是Th取0.01時(shí)，本算法對(duì)俯身拾取動(dòng)作的檢測(cè)結(jié)果。從圖9(c)可以看出，當(dāng)Th取值偏小時(shí)，因?yàn)楦┥硎叭?dòng)作在下蹲過程中可能其速度大于設(shè)定的閾值，所以有可能將俯身拾取識(shí)別為摔倒。而當(dāng)Th取0.03時(shí)，可有效過濾此類動(dòng)作，并且能夠檢測(cè)出真實(shí)的摔倒動(dòng)作。因?yàn)樵诒緦?shí)驗(yàn)環(huán)境下，閾值Th為0.03時(shí)，準(zhǔn)確率最高，所以取0.03作為本實(shí)驗(yàn)環(huán)境下Th的最佳值。因?yàn)楸疚牟呗砸躁P(guān)鍵點(diǎn)瞬時(shí)位移速度大于閾值為前提，輔以后續(xù)姿態(tài)加以判定，而快速下蹲動(dòng)作不滿足其后續(xù)姿態(tài)判定中對(duì)撐地、坐地或躺下的要求，所以實(shí)驗(yàn)中沒有出現(xiàn)快速下蹲被誤識(shí)別為摔倒的情況。從實(shí)驗(yàn)結(jié)果來看，本算法對(duì)快速下蹲、緩慢坐地、俯身拾取這樣的類摔倒動(dòng)作具有一定的抗干擾性。

圖9 摔倒檢測(cè)結(jié)果：(a) Th=0.03時(shí)，真實(shí)摔倒動(dòng)作檢測(cè)結(jié)果；(b) Th=0.03時(shí)，偽摔倒動(dòng)作檢測(cè)結(jié)果；(c)Th=0.01時(shí)，偽摔倒動(dòng)作檢測(cè)結(jié)果

本實(shí)驗(yàn)的目的是對(duì)真實(shí)摔倒動(dòng)作與類摔倒動(dòng)作進(jìn)行區(qū)分，可以根據(jù)當(dāng)前Th得到的準(zhǔn)確率變化情況更新Th值。如果本輪Th得到的準(zhǔn)確率高于上一輪的準(zhǔn)確率，則表明Th的變化方向是有效的，反之則表明上一輪Th值更接近最優(yōu)值，轉(zhuǎn)而反方向?qū)ぶ怠Ｔ诘^程中，當(dāng)準(zhǔn)確率變化趨勢(shì)發(fā)生改變時(shí)，通過改變步長逼近最佳閾值。閾值Th的更新計(jì)算公式如式(9)所示：

式中：Th表示第輪迭代中的閾值；*(－2)－表示閾值的變化步長。本實(shí)驗(yàn)中取值0.04，的初始值設(shè)為1，記閾值為Th時(shí)的檢測(cè)準(zhǔn)確率為Acc。

更新過程步驟如下：

1）設(shè)置初始閾值Th0＝0.05，此時(shí)＝0，按式(8)計(jì)算對(duì)應(yīng)的檢測(cè)準(zhǔn)確率Acc0；

2）設(shè)＝1，＝0.04，按公式(9)計(jì)算Th+1，并計(jì)算對(duì)應(yīng)的Acc+1；

3）若Acc+1＞Acc，則＝＋1，再按公式(9)計(jì)算下一代閾值Th+1，并計(jì)算Acc+1；否則，＝＋1，＝＋1，再按公式(9)計(jì)算Acc+1；

4）重復(fù)執(zhí)行步驟3）。

5 總結(jié)

針對(duì)現(xiàn)有人體摔倒檢測(cè)方法對(duì)類摔倒動(dòng)作容易誤檢的問題，本文提出基于改進(jìn)Alphapose的紅外圖像摔倒檢測(cè)算法，使用改進(jìn)的Alphapose算法檢測(cè)紅外圖像中的人體關(guān)鍵點(diǎn)和姿態(tài)類別，結(jié)合人體關(guān)鍵點(diǎn)信息和姿態(tài)類別進(jìn)行摔倒判定。本文在原算法的基礎(chǔ)上，使用YOLO v5s作為Alphapose的人體檢測(cè)器和姿態(tài)分類器，在提取人體目標(biāo)框的同時(shí)直接完成對(duì)人體姿態(tài)的分類，在摔倒與類摔倒場(chǎng)景中，對(duì)人體摔倒檢測(cè)的準(zhǔn)確率達(dá)到98%。本算法也存在著不足，如本算法利用人體關(guān)鍵點(diǎn)的位置信息做關(guān)鍵點(diǎn)分析，適用于無遮擋狀態(tài)下的人體摔倒檢測(cè)。閾值的選取與算法在不同設(shè)備上的運(yùn)行速度有關(guān)，對(duì)閾值的自適應(yīng)取值是后續(xù)研究的重點(diǎn)。

[1] 禹明娟. 基于視頻的室內(nèi)老人摔倒檢測(cè)研究[D]. 杭州: 杭州電子科技大學(xué), 2016.

YU M J. Research of Indoor Fall Detection for Elderly Based on Video[D]. Hangzhou: Hangzhou Dianzi University, 2016.

[2] 陳永彬, 何漢武, 王國楨, 等. 基于機(jī)器視覺的老年人摔倒檢測(cè)系統(tǒng)[J]. 自動(dòng)化與信息工程, 2019, 40(5): 37-41.

CHEN Y B, HE H W, WANG G Z, et al. Fall detection system for the elderly based on machine vision[J]., 2019, 40(5): 37-41.

[3] 楊碧瑤. 基于計(jì)算機(jī)視覺的獨(dú)居老人摔倒檢測(cè)方法研究[D] . 西安: 陜西科技大學(xué), 2020.

YANG B Y. Research on Fall Detection Method of Elderly Living Alone Based on Computer Vision[D]. Xi’an: Shaanxi University of Science & Technology, 2020.

[4] 馬照一. 用于老年人居家養(yǎng)老的智能視頻終端的設(shè)計(jì)與實(shí)現(xiàn)[D]. 沈陽: 遼寧大學(xué), 2017.

MA Z Y. The Design and Implementation of Intelligent Video Terminal for The Aged Home Care[D]. Shenyang: Liaoning University, 2017.

[5] 徐世文. 基于紅外圖像特征的人體摔倒檢測(cè)方法[D]. 綿陽: 西南科技大學(xué), 2020.

XU S W. Detection Method of Human Fall Based on Infrared Image Features[D]. Mianyang: Southwest University of Science and Technology, 2020.

[6] 徐傳鐸. 夜間模式下基于人體姿態(tài)的安全監(jiān)控研究[D]. 上海: 東華大學(xué), 2017.

XU C D. Research on Safety Monitoring Based on Human Posture for Night Vision[D]. Shanghai: Donghua University, 2017.

[7] Redmon J, Farhadi A. YOLO9000: Better, Faster, Stronger[C]//, 2017: 6517-6525.

[8] ZHAO L, LI S. Object detection algorithm based on improved YOLO v3[J]., 2020, 9(3): 537.

[9] 李昭慧, 張瑋良. 基于改進(jìn)YOLO v4算法的疲勞駕駛檢測(cè)[J]. 電子測(cè)量技術(shù), 2021, 44(13): 73-78.

LI Z H, ZHANG W L. Fatigue driving detection based on improved YOLOv4 algorithm[J]., 2021, 44(13): 73-78.

[10] Girshick R, Donahue J, Darrell T, et al. Region-based convolutional networks for accurate object detection and segmentation[J]., 2015, 38(1): 142-158

[11] Girshick R. Fast R-CNN[C]//, 2015: 1440-1448.

[12] REN S, HE K, Girshick R, et al. Faster R-CNN: Towards real-time object detection with region proposal networks[C]//, 2015: 91-99.

[13] WANG C Y, Mark Liao H Y, WU Y H, et al. CSPNet: a new backbone that can enhance learning capability of CNN[C]//, 2020: 390-391.

[14] LIU S, QI L, QIN H, et al. Path aggregation network for instance segmentation[C]//, 2018: 8759-8768.

[15] FANG H S, XIE S, TAI Y W, et al. RMPE: regional multi-person pose estimation[C]//2017, 2017: 4321-4331.

Infrared Image Human Fall Detection Algorithm Based on Improved Alphapose

ZHANG Peng，SHEN Yuzhen，LI Peihua，ZHANG Kaixiang

(,241002,)

Human fall detection in infrared images is not affected by ambient light and has important research and application value in intelligent security. Existing fall detection methods do not fully consider the position change law of key points on the human body, which can easily cause false detections of similar fall movements. To solve this problem, we propose an infrared image fall detection algorithm based on an improved alpha pose.The algorithm uses the YOLO v5s object detection network to directly classify human poses while extracting the human body target frame and inputting the pose estimation network. It then evaluates it in combination with the position information and posture characteristics of the key points of the human skeleton. Experiments showed that the algorithm exhibited good performance in terms of accuracy and real-time performance.

infrared images, fall detection, key points, object detection

TP391

A

1001-8891(2023)12-1314-08

2021-09-23；

2021-10-13.

張鵬（1994-），碩士研究生，主要研究領(lǐng)域?yàn)槟Ｊ阶R(shí)別、圖像處理。E-mail: zhangpeng2735@163.com。