999精品在线视频,手机成人午夜在线视频,久久不卡国产精品无码,中日无码在线观看,成人av手机在线观看,日韩精品亚洲一区中文字幕,亚洲av无码人妻,四虎国产在线观看 ?

基于AlphaPose優化模型的老人跌倒行為檢測算法

2022-02-26 06:58:48馬敬奇陳敏翼
計算機應用 2022年1期
關鍵詞:特征檢測模型

馬敬奇,雷 歡,陳敏翼

(1.廣東省現代控制技術重點實驗室(廣東省科學院智能制造研究所),廣州 510070;2.廣東省科學技術情報研究所,廣州 510070)

0 引言

截至2020 年我國60 歲以上(含60 歲)的老年人口突破2.3 億,是世界老年人口最多的國家[1],中國疾病監測系統的數據顯示,跌倒已經成為我國65 歲以上老年人因傷致死的首位原因[2]。醫學調查表明,在跌倒后如果得到及時救治,可降低80%的死亡風險,顯著提高老年人的存活率,因此,快速檢測跌倒事件的發生有重大意義[3]。

目前,常見的跌倒檢測方法主要有3 種:1)基于環境設備的檢測方法。根據人體跌倒時形成的環境噪聲進行檢測,如感知物體壓力和聲音的變化檢測跌倒[4],誤報率較高,極少被采納使用。2)基于穿戴式傳感器的檢測方法。利用加速度計和陀螺儀檢測跌倒[5],長時間配戴傳感器影響人的生活舒適度,會增加老年人機體負擔,從事復雜活動時誤報率較高。3)基于視覺識別的檢測方法[6]。可分為兩類:一類是傳統機器視覺方法,提取有效的跌倒特征,對硬件要求低,但易受背景、光線變化等環境因素的影響,魯棒性差;一類是人工智能方法,將相機圖像數據用于卷積神經網絡(Convolutional Neural Network,CNN)的訓練和推理,雖然識別精度高,但高效的性能往往伴隨著高昂的硬件成本,極大地限制了落地應用。近年來移動終端和小型嵌入式設備也具備了令人青睞的算力,且價格低廉,為人工智能算法的遷移部署提供了可能性。

文獻[7]中以人體三維姿態數據為特征輸入卷積神經網絡,訓練得到跌倒檢測模型,具備了較高的準確率,但平均識別時間為0.178 s,實時性較低。文獻[8]中提出一種嵌入式機器學習算法,使用滑動窗口提取圖像特征,在計算機端利用支持向量機(Support Vector Machine,SVM)對特征進行分類,精度較高,但受低功耗嵌入式設備有限內存和并行計算的限制,該方法無法移植到低成本的嵌入式控制器中。文獻[9]采用帶注意力機制的輕量化結構搭建深度卷積網絡提取人體關節點坐標,利用幀間關節點的變化追蹤行人和檢測跌倒行為,在Jetson TX2(硬件成本約為Jetson Nano 的4 倍)嵌入式平臺幀率達到16.74 frame/s。文獻[10]利用文獻[11]中的深度學習算法獲取人體的骨架圖數據,通過計算人體質心點的下降速度、跌倒后頸部關節點的縱坐標值是否大于閾值,以及肩部和腰部關節點的相對位置關系來判斷跌倒是否發生,在自制數據集上達到92.8%的平均檢測精度。文獻[12]中提出了一種光學匿名圖像傳感系統,利用卷積神經網絡和自動編碼器進行特征提取和分類,檢測老人異常行為,一定程度保護了老年人的隱私。文獻[13]中利用二維圖像數據,通過幀差法、卡爾曼濾波等提取有效的圖像背景作為KNN(K-Nearest Neighbors)分類器的輸入,實現了96%的精確率,易受可變環境因素影響,預處理階段工作量大。文獻[14]中利用YOLO(You Only Look Once)v3 檢測人體目標得到人體區域矩形框,將跌倒過程中的人體運動特征與CNN提取的深度特征融合,進行人體跌倒檢測判別,其環境適應性和跌倒檢測準確率都高于傳統的人體跌倒檢測方法。文獻[15]中利用二維圖像數據計算光流信息,并送入VGG(Visual Geometry Group)對光流信息進行特征提取和分類,檢測跌倒現象。文獻[16]中將CNN 卷積層和全連接層提取的特征信息送入長短期記憶(Long Short-Term Memory,LSTM)網絡中,訓練提取人體空間動作的時序相關性,識別人體行為,LSTM 需要對數據進行動態存儲和更新,實時性受限。

因此,為在低功耗、低成本硬件平臺快速、準確檢測老人跌倒的異常行為,本文提出了一種基于AlphaPose 優化模型的異常行為檢測算法。該算法對行人目標檢測模型和姿態估計模型進行加速優化,通過優化的姿態估計模型快速獲取人體姿態關節點圖像坐標,結合人體跌倒過程瞬時姿態變化特征和跌倒狀態短時持續不變的特征來判斷跌倒現象的發生,并將算法移植到嵌入式開發板,與主要的基于人體姿態的跌倒檢測算法進行了對比分析,實驗結果驗證了所提方法的有效性。

1 AlphaPose人體姿態估計

人體姿態關節點檢測方法主要有兩種:自頂向下和自底向上。1)自頂向下方法以AlphaPose[17]為代表,是一種分階段的檢測模型,首先進行目標檢測,識別出圖像中的人體目標,并標記各個人體區域矩形框,排除非人物體的干擾;再對各個人體區域進行關節點檢測。此種方法具有極高的準確率。2)自底向上方法以OpenPose[11]為代表,是一種端到端的檢測模型,首選檢測圖像中所有的人體關節點,再通過關節點之間的關聯關系區分關節點屬于哪個人體。這種方法運算較快,但容易引入非人物體的干擾,檢測精度較低。表1 為主流人體姿態檢測模型在COCO 數據集上的性能對比[17],可見在主要的精度指標上AlphaPose 均優于對比算法,AP@表示IOU(Intersection Over Union)為某一設定值時的準確率。為保證跌倒算法的可靠性,本文算法在AlphaPose 高精度的基礎上,進行人體姿態模型推理加速和跌倒算法的設計工作。

表1 主流人體姿態檢測模型的性能對比 單位:%Tab.1 Performance comparison of mainstream human pose detection models unit:%

2 人體跌倒檢測方法

本文算法主要的相關工作包括:1)對姿態估計模型進行運算加速優化,加快人體目標檢測和姿態關節點推理,為算法的嵌入式平臺移植應用提供低延遲、高吞吐率的部署推理;2)利用人體姿態關節點圖像坐標數據,建立人體跌倒判定算法,結合人體跌倒過程瞬時姿態變化特征和跌倒狀態短時持續不變的特征,判斷跌倒現象的發生。

2.1 姿態估計模型推理加速優化

AlphaPose 是一種分階段的姿態估計模型,因此推理加速工作主要分為對目標檢測模型的優化和對姿態關節點檢測模型的優化。在人體目標檢測模型推理加速之后,對人體目標圖像進行了序列化,以提高目標檢測模型與姿態關節點檢測模型之間的數據交換效率。

2.1.1 人體目標檢測模型的優化

原AlphaPose 人體目標檢測采用了YOLOv3[18],近年來YOLOv4 出現,在檢測精度和檢測速度方面都明顯超越了YOLOv3,且能應對更復雜的檢測環境(例如復雜光線、遮擋),達到了目標檢測領域的新水準。本文的人體目標檢測模型優化以YOLOv4 系列中的輕量化模型YOLOv4-tiny-416(參數量24.3 MB)為優化目標,在檢測精度和檢測速度之間得到平衡,具體的優化方法如圖1。

圖1 人體目標檢測模型的優化Fig.1 Optimization of human target detection model

YOLOv4 網絡模型輸出維度初始化,其中網絡層'030_convolutional'=[c,h//32,w//32],'037_convolutional'=[c,h//16,w//16],其中:c表示輸入圖像通道數,h表示輸入圖像,w表示輸入圖像寬,//表示整除操作;在維度初始化后的行人目標檢測模型中創建onnx 網絡節點,并移除dummy 網絡層中的route 和yolo 節點;對維度初始化后的行人目標檢測模型中的輸入層進行判別,若輸入層為“convolutional”,則加載卷積權重參數,若輸入層為“upsample”,則加載上采樣參數;創建維度初始化后的行人目標檢測模型計算圖,并加載模型轉換優化器,經過轉換,獲得優化后的目標檢測模型YOLOv4-tiny-trt-416,模型參數量32.7 MB。

2.1.2 人體目標圖像序列化

得到人體目標檢測結果之后,將檢測結果轉化為2 維的tensor 數據結構,Td=[[x1,y1,w1,h1,sc1],[x2,y2,w2,h2,sc2],…,[xi,yi,wi,hi,sci]],其中[xi,yi,wi,hi,sci]表示第i個人體的結構化數據,x表示預測框左上角的圖像橫坐標,y表示預測框左上角的圖像縱坐標,w表示預測框的寬,h表示預測框的高,sc表示判定為人體的置信度。

原始圖像Im變換為浮點32 位的tensor 類型數據Im_t,且對Im_t進行歸一化操作,如式(1):

其中:Im_t[0]為Im的R 通道數據,Im_t[1]為Im的G 通道數據,Im_t[2]為Im的B 通道數據。

根據Td,從原始圖像中截取出人體區域圖像,并按照sc從高到低排列,得到序列化的圖像列表,實現人體圖像的序列化,提高目標檢測模型與人體關節點檢測模型之間的數據交互效率。

2.1.3 姿態關節點檢測模型的優化

原AlphaPose 姿態關節點檢測采用的是以Fast_Reset50為基礎網絡,模型參數量為238.9 MB,優化方法如圖2 所示。

圖2 關節點檢測模型優化Fig.2 Optimization of joint point detection model

姿態關節點檢測模型輸入dummy 網絡層維度初始化,dummy 網絡層輸入維度設置為tensor類型(1,3,Wdummy,Hdummy),其中:1 表示batchsize為1;3 表示圖像通道數;Wdummy、Hdummy表示網絡層輸入圖像歸一化尺度,本文Wdummy=160、Hdummy=224。為維度初始化的姿態關節點檢測模型中創建onnx 網絡節點,并對維度初始化的姿態關節點檢測模型的輸入輸出網絡層定制設計,輸入層設定為“input1”,輸出層設定為“output1”。創建目標檢測模型計算圖,設定計算圖輸入維度為(1,3,Wd,Hd),其中:1 表示batchsize為1;3 表示圖像通道數;Wd、Hd表示網絡層輸入圖像歸一化尺度,本文Wd=160、Hd=224,并加載模型轉換優化器,生成姿態關節點檢測優化模型Pose-trt,模型參數量229.8 MB。

2.2 人體跌倒判定算法

生活中的跌倒過程一般為:行走(站立)→跌倒過程→跌倒狀態,且跌倒過程往往發生得非常突然急促,一瞬間即可完成,由于跌倒過程存在時間短,該過程的跌倒特征并不容易獲取。而跌倒狀態一般會保持一段時間,尤其是老年人發生跌倒之后會持續更長時間的跌倒狀態,其跌倒特征更容易獲取。因此在跌倒過程中,跌倒狀態的可靠快速檢測更具有實際意義。

人體姿態估計模型推理加速優化之后,能夠快速準確地獲取人體的主要關節點圖像位置數據,得到的18 個姿態關節點如圖3(a)所示。利用人體姿態關節點數據,建立人體跌倒判定算法,結合跌倒過程瞬時姿態變化特征和跌倒狀態短時持續不變的特征,檢測跌倒事件。具體包括:1)瞬時跌倒特征,人體跌倒瞬間頭部關節點線速度與胯部關節線速度之間的數學關系。2)跌倒狀態特征,計算人體中垂線與圖像X軸之間夾角(分為軀干上半部中垂線與圖像X軸之間夾角θu和軀干下半部中垂線與圖像X軸之間夾角θd)的變化來判斷跌倒現象的發生。跌倒特征分析如圖3(b)、(c)所示,瞬時跌倒特征的思想來源是人在跌倒初期的某個過程,一般是腳踝位置的位移不明顯,人體軀干圍繞腳踝向某一方向跌倒,類似人體軀干以腳踝為圓心轉動,那么離圓心越遠的點線速度越大。跌倒狀態特征利用的是人體自然站立平衡性的特點,當人體軀干與水平面夾角超過某一角度時,具有極大的跌倒可能性。跌倒檢測算法流程如圖4 所示。

圖3 人體姿態圖與跌倒特征Fig.3 Human pose map and fall characteristics

圖4 人體跌倒判定算法流程Fig.4 Flowchart of human fall determination algorithm

2.2.1 瞬時跌倒特征的計算

步驟1 計算人體頭部關節點0 的線速度V0,計算人體胸部重心O的線速度VO,人體胸部重心位置由人體關節點1、8、11 圖像坐標計算得出。計算人體腳踝線速度V10-13,V10-13是人體關節點11 和13 的平均線速度。以上線速度是由連續M幀圖像、每次間隔N幀圖像所計算出的平均線速度。

步驟2 如果V0、VO、V10-13滿足式(2),則初步判定為疑似跌倒。

其中:χ為設定閾值,α,β分別是速度V10-13的下限、上限值。

2.2.2 跌倒狀態特征的計算

在跌倒以后,一般會保持跌倒狀態一段時間后,才開始發生姿態變化,比如手撐地、坐起、躬身彎腰爬起等,因此需要時間閾值的過濾。根據人體站立平衡的特點,當人體軀干上半部中垂線與水平面夾角滿足某一條件時人體就會失去平衡,發生跌倒,但并不一定滿足,例如彎腰撿東西、系鞋帶等動作。因此,結合步驟2,檢測人體軀干下半部中垂線與水平線夾角的變化,同樣加上時間閾值的過濾,判定人體跌倒情況。

步驟1 計算人體上半身中垂線與水平線夾角θu,如果θu<ε1,且在時間閾值T1 時長內保持θu<ε1,則判定為跌倒;否則到步驟2。

步驟2 計算人體下半身中垂線與水平線夾角θd,如果θd<ε1,且在時間閾值T2 時長內保持θd<ε1,則判定為跌倒;否則判定行人未發生跌倒。

3 實驗結果與分析

實驗所用硬件環境為NVIDIA Jetson Nano 嵌入式開發板,4 核64 位ARM CPU,128 核集成NVIDIA GPU,4 GB LPDDR4 存儲器,外觀尺寸80 mm×100 mm。軟件環境為64位Ubuntu18.04LTS,依賴的主要工具包括opencv4.1.1、torch1.6.0、torchvision0.7.0、tensorRT7.1.3。

實驗數據為從公開數據集le2i fall dataset[19]選取104 段人體跌倒視頻,每段包含完整的跌倒過程(從站立姿態→跌倒狀態),視頻分辨率為320×240,場景包括家庭、辦公室、茶水間3 種。家庭環境為客廳場景,包括沙發、餐桌、樓梯、座椅、臺燈等飾品,包含多種光照條件。辦公室場景內包括桌子、椅子,光照較為正常且分布均衡。茶水間場景內包括沙發、桌子、茶具等,光線較為正常且分布均衡。每段視頻包含的人數為1 人,共7 人參與視頻的采集,包括1 名女士6 名男士,包含多種跌倒姿態,且包括行走、彎腰、坐姿干擾姿態。

將當前主要的基于人體姿態的跌倒檢測算法YOLOv3+Pose、YOLOv4+Pose、YOLOv5+Pose、trt_pose、NanoDet-m+Pose與本文算法進行對比,為確保在嵌入式平臺上的運算效率最優,YOLO 系列的模型具體為YOLOv3-spp-416、YOLOv4-tiny-416、YOLOv5s,實驗分別從模型輕量化優化、定量分析和定性分析3 個方面進行對比。

3.1 模型輕量化優化對比

3.1.1 目標檢測模型對比

由表2 可知,YOLOv4-tiny-trt-416 的檢測幀率達到30.3 frame/s,是原始YOLOv4-tiny-416 的2.83 倍,而平均準確率保持一致,均優于其他對比方法。YOLOv4-tiny-trt-416的平均準確率和檢測幀率均明顯優于NanoDet-m,NanoDet-m也具備一定的實時性。YOLOv5s 的平均準確率與YOLOv4-tiny-trt-416 相差約1.42%,但其檢測幀率明顯低于YOLOv4-tiny-trt-416,難以達到實時性的要求。YOLOv3-spp-416 的平均準確率優于YOLOv4-tiny-trt-416,但其檢測幀率僅為4.15 frame/s,無法滿足實時性的需求。因此從檢測精度和檢測速度綜合考慮,在各對比算法中YOLOv4-tiny-trt-416 是最優的目標檢測方法,適用于低功耗嵌入式開發板。

表2 目標檢測模型的性能對比Tab.2 Performance comparison of target detection models

3.1.2 姿態檢測模型對比

由表3 可知,Pose-trt 模型檢測幀率是原始Pose 的1.7倍,幀率達到了12.5 frame/s,同時保持相同的準確率,具有一定的實時性。Pose-trt 的檢測幀率和平均準確率均優于OpenPose,OpenPose 平均準確率高于trt_pose,檢測幀率約降低為trt_pose 的1/2,但trt_pose 輸入的圖像分辨率為224×224。因此,在對比姿態估計模型中Pose-trt 最優。

表3 姿態檢測模型的性能對比Tab.3 Performance comparison of pose detection models

3.2 定量分析

為驗證本文算法的時效性和準確性,將本文算法與YOLOv3-spp-416+Pose、YOLOv4-tiny-416+Pose、trt_pose、YOLOv5s+Pose、NanoDet-m+Pose 等算法進行對比,評價標準主要包括檢測幀率、檢測準確率,并統計測試視頻的漏檢數、誤檢數,還分析了瞬時跌倒特征和跌倒狀態特征對跌倒事件檢測的有效性。準確率為P=Tc/Ta,其中Tc是跌倒測試視頻中檢測為跌倒的視頻個數,Ta為跌倒測試視頻總數,漏檢為跌倒測試視頻中未能檢測到跌倒的視頻數,誤檢為跌倒測試視頻中將非跌倒行為檢測為跌倒的視頻數。

各對比算法的性能如表4 所示。從表4 中可以看出,本文算法的檢測幀率和準確率均明顯高于其他對比算法,幀率達到8.83 frame/s,具有較好的實時性,誤檢測和漏檢測數最少,準確率超過91%,一定程度上能夠滿足實際落地應用的需要。YOLOv5s+Pose 準確率與本文算法較為接近,YOLOv5s 在目標檢測方面具有較明顯的優勢,是目前最優秀的目標檢測模型之一,但其在Jetson Nano 上的檢測速度較慢,無法滿足實時性的需要。其他對比算法雖然也有較高的準確率,但同樣受限于檢測幀率,無法滿足時效性。trt_pose采用自底向上的方式檢測人體姿態關節點,其檢測效果并不理想,在對比算法中trt_pose 的準確率最低,但其檢測幀率高于YOLOv3-spp-416+Pose、YOLOv5s+Pose、NanoDet-m+Pose。從表4 中也可以看出,跌倒狀態特征生效次數明顯多于瞬時跌倒特征生效次數,跌倒狀態特征能夠更有效檢測跌倒現象的發生,具有更好的實用性。

表4 使用跌倒測試視頻進行的算法性能定量分析Tab.4 Algorithm performance quantitative analysis by using fall test videos

3.3 定性分析

跌倒檢測方法的定性分析主要圍繞不同跌倒姿態、不同著裝、不同場景、不同光照條件進行,所選測試視頻符合這樣的測試條件,同時為了驗證攝像頭拍攝角度、測試人員體型、測試人員身高變化對算法的影響,分析時所選擇的視頻包含了不同測試人員從不同方向進行跌倒,包括了蜷伏、仰俯、側臥、趴倒等多種跌倒姿態。分析過程選取le2i fall dataset 中家庭、辦公室、茶水間場景的9 個測試視頻,截取的測試效果圖像如圖5 所示;另外還針對le2i fall dataset 中的5 類漏檢測情況進行了原因分析,截取的測試效果圖像如圖6 所示,分析的重點聚焦在跌倒狀態的檢測。

如圖5 所示,在le2i fall dataset 中選取9 個測試視頻,每個視頻中的測試人員的跌倒方向均不相同,圖像中帶“◇”標記的表示未能有效檢測跌倒,其他圖像中能夠檢測人體姿態且成功檢測出跌倒現象;姿態關節點連接線的粗細程度表明關節點的置信度,線越粗置信度越高。①、②、③為茶水間場景,光照條件較好且光線分布均勻,①為側臥跌倒姿態,②為仰俯跌倒姿態,③為趴倒跌倒姿態。本文算法均能成功檢測到跌倒現象,且能較完整地檢測人體關鍵點,與真實姿態較為接近。以①為例說明:YOLOv3-spp-416+Pose 成功檢測到跌倒,但對人體上半身的姿態估計較差(圓圈處),關節點之間的連線連接混亂,在②中也出現類似情況,③中關節點置信度較低。YOLOv4-tiny-416+Pose 成功檢測到跌倒,但存在姿態錯誤估計現象(如箭頭所示),真實圖像此處并不存在右臂,在②、③中能夠較好地檢測到跌倒。YOLOv5s+Pose 成功檢測到跌倒,但對人體上半身的姿態估計較差(圓圈處),關節點之間的連線連接混亂,另外對右腿部的姿態檢測不準確(如箭頭所示),在②、③中也出現類似情況(如箭頭所示)。trt_pose 雖然能成功檢測跌倒現象,但對人體關鍵點的估計并不理想,軀干上部關鍵點檢測較為混亂,無法檢測到腿部的關鍵點,且估計的關節點位置與真實的關節點位置存在偏差,在②、③中也出現類似情況,且存在較多的關鍵點缺失。NanoDet-m+Pose 成功檢測到跌倒,但對腿部關節點的檢測效果并不好,右腿姿態與真實姿態存在明顯偏差(如箭頭所示),在②、③中能夠較好地檢測到跌倒,但在②中出現了誤檢(如箭頭所示)。

圖5 le2i fall dataset 上不同算法的測試效果對比Fig.5 Test effect comparison of different algorithms on le2i fall dataset

④、⑤、⑥為家庭場景,光照較弱且光線分布不均,④為仰臥跌倒姿態,⑤為側臥跌倒姿態,⑥為趴倒跌倒姿態,本文算法均能成功檢測到跌倒現象,且能較好地檢測人體關鍵點,但出現了局部關節點檢測不準的現象(如箭頭所示,④右臂處、⑤姿態與真實偏移、⑥右腿腳踝處)。以④為例說明:YOLOv3-spp-416+Pose 成功檢測到跌倒,但對人體姿態估計較差(圓圈處),存在檢測混亂和缺失現象,在⑤、⑥中也出現類似情況。

YOLOv4-tiny-416+Pose 成功檢測到跌倒,姿態檢測較為完整,在⑤中出現軀干上部檢測不準的現象(圓圈處),⑥中的右腿腳踝處與左腿腳踝存在錯誤連接(如箭頭所示)。YOLOv5s+Pose 成功檢測到跌倒,但人體姿態關節點的置信度較低。trt_pose 無法檢測跌倒現象,對人體姿態估計不完整,存在較多的關鍵點缺失。NanoDet-m+Pose 成功檢測到跌倒,姿態檢測效果較好,但在⑤中無法檢測到人體目標,⑥中存在錯誤連接和關節點置信度低的現象(如箭頭所示)。

⑦、⑧、⑨為辦公室場景,光照條件良好且光線分布均勻,⑦為蜷伏跌倒姿態、⑧為側臥跌倒姿態、⑨為仰俯跌倒姿態,本文算法均能成功檢測到跌倒現象,且能較好地檢測人體關鍵點,⑨測試人員右腿部超出圖像邊界,但仍然能夠準確估計人體姿態。以⑦為例說明:YOLOv3-spp-416+Pose成功檢測到跌倒,但對人體姿態估計較差,存在關節點漏檢和置信度較低現象,在⑧、⑨中也出現類似情況,⑨在圖像邊緣處關節點估計置信度較低(如箭頭所示)。YOLOv4-tiny-416+Pose 成功檢測到跌倒,姿態檢測較為完整。YOLOv5s+Pose 成功檢測到跌倒,但人體姿態關節點的置信度較低,存在關節點漏檢現象,在⑧、⑨中也出現類似情況(如箭頭所示)。trt_pose 檢測效果較差,對人體姿態估計不完整,存在較多的關鍵點缺失。NanoDet-m+Pose 雖能成功檢測到跌倒,但姿態檢測存在誤檢及關節點置信度較低的問題,在⑦中左腿腳踝存在誤檢,⑨中軀干部分出現了誤檢,且關節點置信度較低。

在測試時出現了漏檢,可歸結為5 類情況,選取具有代表性的5 個案例進行分析,如圖6 所示,其中圓圈表示檢測到跌倒。①人體區域接近圖像邊緣,測試人員為蜷伏跌倒狀態,雙臂和腿部被自身遮擋,所呈現的人體圖像變形較為嚴重,加之頭部圖像部分缺失,不利于人體特征的提取與判別,因此本文算法、YOLOv3-spp-416+Pose、YOLOv4-tiny-416+Pose、YOLOv5s+Pose 都不能檢測到人體目標,無法進行人體姿態檢測。NanoDet-m+Pose 雖然能夠檢測到人體目標,但人體關節點置信度較低,所檢測的姿態與真實姿態不一致,且出現了誤檢(如箭頭所示)。trt_pose 僅能檢測到左肩部關節點,缺失較多,為無效檢測。②場景光線分布不均勻,測試人員側臥跌倒姿態,人體頭部、雙臂局部自身遮擋,人體所在區域光線暗淡,人體區域梯度特征不明顯,且人體腿部被桌椅遮擋,人體目標不易檢測,對比算法均無法正常檢測到人體目標。③測試人員身著黑色衣物,為側臥跌倒姿態,雙腿粘連在一起,且腳踝圖像缺失,身體輪廓特征較少,本文算法、YOLOv3-spp-416+Pose、YOLOv4-tiny-416+Pose、YOLOv5s+Pose 均無法連續檢測到人體目標,不能進行穩定的跌倒檢測。trt_pose 能檢測到人體膝關節以上的主要關節點,但與真實姿態相差較明顯且姿態關節點位置出現偏移,為無效檢測。NanoDet-m+Pose 無法檢測到人體目標,姿態檢測失敗。④測試人員為側臥跌倒姿態,身著紅色上衣和黑色褲子,頭部和雙臂被自身遮擋,腿部被桌子遮擋,人體圖像特征不明顯,且人員跌倒位置的背景為紅色,與人員上身衣物較為相似,圖像對比度低,不利于人體目標的檢測,對比算法均無法正常檢測人體目標。⑤測試人員為趴倒跌倒狀態,腿部被自身遮擋,由于相機拍攝高度較低,圖像中的人體區域出現明顯的“近大遠小”畸形,較難進行人體目標檢測,YOLOv3-spp-416+Pose 僅能在視頻的部分幀檢測到人體,并不能穩定持續檢測,且檢測出的人體姿態與真實姿態差別較大,可靠程度較低,而其他對比算法無法正常檢測人體目標。

圖6 不同算法漏檢測情況對比Fig.6 Missed detection comparison of different algorithms

4 結語

為進一步推進跌倒檢測系統的落地應用,提高老年人群體在居家生活、獨自活動等情況下的行為安全,本文提出了一種基于AlphaPose 優化模型的異常行為檢測算法。該算法通過對人體檢測模型和人體姿態檢測模型的優化加速,并利用人體姿態數據構建跌倒檢測算法,能夠快速遷移部署在低成本、低功耗的嵌入式開發板。實驗結果表明,該算法具有較高的實時性和準確率,能夠在線快速檢測到老人跌倒行為的發生,具備一定的落地應用價值。

經過實驗對比分析可知,本文所提跌倒檢測算法的缺點有:①在光線分布不均勻的情況下檢測效果不理想;②監控相機高度較低,導致所拍攝圖像中人體跌倒后出現較明顯的圖像畸形,算法無法有效檢測跌倒;③當人體跌倒方向與圖像Y軸平行,跌倒位置與圖像X軸中點較為接近,且人體跌倒時頭部圖像坐標大于腳踝圖像坐標,此時的跌倒姿態與正常站立時的姿態非常接近,無法進行跌倒判別。為了改進算法的準確性,將開展下一階段的研究工作:

1)研究光照自適應補償算法,融合到跌倒檢測系統中,增加系統的抗光照變化能力。

2)研究多相機聯合檢測方法,嘗試用多個相機從多個角度進行跌倒檢測,在一定程度上解決局部遮擋現象。

3)因目前尚無公開的專門針對老人異常行為公開的數據集,測試數據集缺少老年人異常行為視頻數據,擬通過與廣州市黃埔區養老院開展技術合作,逐漸收集老年人異常行為數據,增加更多的其他人體行為和測試場景進行跌倒實驗,進一步發現算法的問題和不足。

猜你喜歡
特征檢測模型
一半模型
“不等式”檢測題
“一元一次不等式”檢測題
“一元一次不等式組”檢測題
重要模型『一線三等角』
重尾非線性自回歸模型自加權M-估計的漸近分布
如何表達“特征”
不忠誠的四個特征
當代陜西(2019年10期)2019-06-03 10:12:04
抓住特征巧觀察
3D打印中的模型分割與打包
主站蜘蛛池模板: 国产福利拍拍拍| 国产国产人在线成免费视频狼人色| 在线观看国产小视频| 久久a毛片| 日本高清视频在线www色| 欧洲熟妇精品视频| av在线无码浏览| 国产另类视频| 亚洲AⅤ综合在线欧美一区| 国产拍在线| 久草视频精品| 欧美在线一二区| 亚洲日韩Av中文字幕无码| 在线欧美a| 国产精品第页| 一本大道视频精品人妻| 久久亚洲精少妇毛片午夜无码| 久久黄色小视频| 亚洲欧洲天堂色AV| 国产草草影院18成年视频| 国产乱子伦精品视频| 亚洲天堂网在线观看视频| 国内精品视频在线| 国产综合网站| 国产精品lululu在线观看| 亚洲精品黄| 2024av在线无码中文最新| 国产一区二区三区免费| Aⅴ无码专区在线观看| 日韩天堂视频| 婷婷午夜影院| 青草视频网站在线观看| 中文字幕在线看| 久久精品中文字幕少妇| 欧美一区二区三区欧美日韩亚洲| 免费人欧美成又黄又爽的视频| 无码中字出轨中文人妻中文中| 在线观看免费国产| 青青热久麻豆精品视频在线观看| 日韩视频福利| 亚洲精品麻豆| 亚洲av无码人妻| 日韩欧美中文亚洲高清在线| 亚洲男人在线| 欧美日韩亚洲国产主播第一区| 日本国产精品| 亚洲动漫h| 欧美第九页| 欧美午夜在线视频| 日韩精品成人在线| 一级一级特黄女人精品毛片| 国产精品开放后亚洲| 国产91丝袜在线播放动漫 | 中文字幕无码中文字幕有码在线| 三级毛片在线播放| 久热中文字幕在线| 亚洲成人黄色在线观看| 国禁国产you女视频网站| 亚洲黄网视频| 四虎永久在线精品影院| 精品一区二区三区水蜜桃| 欧美日韩成人在线观看| 国产精品美女免费视频大全| 午夜精品区| 亚洲AV无码乱码在线观看代蜜桃| 国产精品丝袜视频| 久久天天躁狠狠躁夜夜2020一| 国产情精品嫩草影院88av| 亚洲视频三级| 亚洲视屏在线观看| 五月婷婷亚洲综合| 亚洲开心婷婷中文字幕| 天天摸夜夜操| 亚洲乱伦视频| 三级视频中文字幕| 91色综合综合热五月激情| 97国产在线视频| 99免费在线观看视频| a毛片免费在线观看| 日本高清有码人妻| 日本欧美在线观看| 国产人人干|