結合改進Alphapose和GCN的人體摔倒檢測模型研究

曲英偉,梁煒

(大連交通大學 軟件學院,遼寧 大連 116028)

已有的基于計算機視覺的摔倒檢測模型主要有基于傳統機器視覺方法和基于深度學習方法兩類?；趥鹘y機器視覺方法提取特征易受場景、光線等因素影響,準確率較低;由于硬件突破帶來的算力大幅提升,基于深度學習的方法得到高速發展。郭欣等[1]搭建了使用注意力機制輕量化結構的深度卷積網絡,并提取了骨骼關鍵點信息,檢測摔倒行為依據視頻幀間骨骼關鍵點的變化來判斷。曹建榮等[2]先使用YOLOv3檢測得到人體目標區域矩形框,將跌倒過程中的人體運動特征與卷積提取的特征融合,再進行摔倒判別,該方法比傳統方法有更強的環境適應性。衛少潔等[3]提出一種結合Alphapose和LSTM的人體摔倒模型,主要思想是將姿態估計提取出來的人體骨骼關鍵點的坐標集分為x坐標集和y坐標集,將這兩個坐標集分別輸入長、短期記憶網絡來提取時序特征,最后用一個全連接層進行分類,判斷人體是否發生摔倒,但受制于LSTM需要存儲的特性,不能進行實時檢測。Chen等[4]提出了一種基于對稱性原理的意外摔倒重組的方法,通過OpenPose提取人體的骨骼關鍵點信息,并通過髖關節中心的下降速度、人體中心線與地面的角度、人體外部矩形的寬高比等3個關鍵參數來識別摔倒。

本文提出一種基于改進的Alphapose[5]結合GCN[6]的人體摔倒檢測模型,該模型采用YOLOX[7]結合Deepsort[8]對出現在視頻中的人體目標進行跟蹤,檢測得到每一幀的目標檢測框,將目標檢測框所框定的部分送入改進后的SPPE進行推理,得到人體骨骼關鍵點信息。將得到的骨骼點以圖信息的形式傳入圖卷積神經網絡(GCN)進行圖卷積,將圖卷積后的張量傳入Linear層進行分類,實現人體摔倒檢測。采用Alphapose與圖卷積相結合的方法,很好地避免了對視頻環境的依賴,本模型在公開數據集上與多個模型進行了對比試驗,結果表明本模型具有較高的檢測準確率和較低的場景依賴性。

1 模型總體架構

本模型主要由人體目標檢測(Detections)、人體目標跟蹤(Tracks)、人體姿態估計(SPPE)、人體行為識別(GCN)組成,見圖1。

2 人體目標檢測網絡結構及優化

本模型目標檢測部分使用YOLOX-S輕量化網絡模型,旨在快速得到人體目標檢測框信息、置信度得分以及分類信息。經過閱讀源碼發現,YOLOX中使用的SiLU激活函數具有很強的非線性能力,而SiLU是Swish在β=1時的情況,其計算公式為:

f(x)=x·sigmoid (x)

(1)

式(1)保持了ReLU的優勢,在x>0時不存在梯度消失的問題,與此同時也不存在x<0時輕易死亡的問題,但有計算量較大的缺陷,相比之下,ReLu激活函數的計算簡單而高效。ReLU的計算公式為:

f(x)=max (0,x)

(2)

本模型同時使用ReLU和SiLU兩種激活函數,以較少個數的SiLU來保持良好非線性,再加上較多個數的ReLU來減少計算量,提升推理速度。

由于YOLOX中置信度分支使用BCE損失函數進行計算過于簡單,應該進一步優化。在目標檢測領域,不同的算法可能會生成不同數量的候選框,而其中大部分都是不包含目標的負樣本,只有少部分是包含預期檢測到的目標的正樣本,于是就導致了樣本類別不均衡的情況。負樣本比例太大,且多數是容易分類的,占據了總的損失的大部分,這就使得模型在回歸的時候優化的方向并不如預期。針對這種情況,Lin 等[9]提出了Focal loss,它改進了交叉熵損失函數,通過動態的減少容易樣本的權重,使得模型的注意力集中在更難以分類的困難上。Focal loss公式為:

Focal loss=-α(1-Pt)γ·log(Pt)

(3)

當錯誤地分配了一個樣本時,Pt是一個很小的值,而式(3)前面的調整系數就趨近于1,不會影響對錯誤樣本的損失計算。而當一個樣本很容易被準確分類時,Pt就趨近于1,這時式(3)前面的調整系數就趨近于0了,減少了很容易被準確分類的樣本的損失對于總的損失的貢獻。因此本文采用 Focal loss 代替 BCE loss計算置信度損失。

3 人體目標跟蹤架構

本模型人體目標跟蹤部分使用DeepSort結合YOLOX的方法,其中每個跟蹤實例需要與YOLOX所得的目標檢測結果進行匹配,根據不同的情況可分為3個狀態,初始化時設定為臨時狀態,如果沒有匹配上任何檢測結果則會被刪除;如果連續匹配上一定次數,則被設定為已跟蹤狀態;在已跟蹤狀態時如果未匹配超過設定的最大次數次,則被刪除。使用級聯匹配的方式進行跟蹤實例和檢測實例的匹配,見圖2。

圖2 級聯匹配過程

級聯匹配中需要計算成本矩陣,分為兩種:一種是余弦距離計算的成本矩陣,一種是IOU關聯計算的成本矩陣,然后通過匈牙利算法解決線性指派問題。圖2中級聯匹配層使用的是余弦距離計算的成本矩陣,IOU匹配使用的是IOU關聯計算的成本矩陣且只用來計算沒匹配上和無跟蹤狀態的跟蹤實例。卡爾曼濾波器在多目標跟蹤的應用中分為兩個部分,一個是預測,一個是更新。預測有狀態預測和協方差預測,狀態預測是用跟蹤實例在t-1時刻的狀態來預測其在t時刻的狀態,公式為:

x′=Fx

(4)

式中:x是跟蹤實例在t-1時刻的均值;F為狀態轉移矩陣。

做協方差預測,新的不確定性由上一不確定性得到,并加上外部干擾,如式(5):

P′=FPFT+Q

(5)

式中,P為跟蹤實例在t-1時刻的協方差;Q為系統的噪聲矩陣(一般初始化為很小的值)。

更新基于t時刻得到的檢測實例,矯正與其關聯的跟蹤實例狀態,以得到一個更精確的結果。計算檢測實例和跟蹤實例的均值誤差為:

y=z-Hx′

(6)

式中:z是檢測實例的均值向量;H為測量矩陣,它將跟蹤實例的均值向量x′映射到測量空間。

將協方差舉證P′映射到測量空間,再加上噪聲矩陣R,如式(7):

S=HP′HT+R

(7)

式中:噪聲矩陣R是一個4×4的對角矩陣,對角線上的值分別為中心點兩個坐標值和寬高的噪聲,以任意值初始化。

計算卡爾曼增益K,用于估計誤差的重要程度,如式(8):

K=P′HTS-1

(8)

式(9)和式(10)分別計算了更新后的均值向量x和協方差矩陣P:

x=x′+Ky

(9)

P=(I-KH)P′

(10)

4 基于滑動窗口注意力改進的SPPE

原Alphapose中SPPE的backbone為Resnet50,網絡結構較為簡單。本文引入Swin Transformer[10]算法以期在SPPE的backbone部分進行改進。Swin Transformer算法以其特有的滑動窗口注意力機制結合原本SENet所特有的通道注意力機制,更準確地提取特征,進而提升pose提取的準確率。

Swin Transformer算法由Patch Embedding、Patch Merging、相對位置編碼、Window based Multi-head Self-Attention(窗口多頭自注意力機制)、Shifted Window based Multi-head Self-Attention(滑動窗口多頭注意力機制)等模塊組成。Patch Embedding解決了后續操作的數據輸入問題。Swin Transformer算法采取了對圖像進行相對位置信息編碼的方式,將相對位置信息融合到attention矩陣中。先以feature map的每個像素點為原點,配置其他點的對應坐標;然后按照順序依次縱向拉平;再橫向拼接起來形成像素點個數為寬高相等的正方形坐標矩陣;再統一加上偏移量后除以小于零的坐標值;而為了防止x+y坐標值一樣,又將x坐標值統一乘以y坐標值的最大值;最后將橫、縱坐標相加,得到最后的position id,用于索引embedding的值,就可以在attention矩陣中融合圖像的相對空間位置信息。其公式為:

(11)

式中:B即為相對位置矩陣。

Swin Transformer block使用窗口多頭注意力后,前面劃分的每一個窗口內部的像素就建立了關系,但是不同窗口之間,有的像素也是相鄰的,這時候就需要進行一個窗口的滑動,然后再做自注意力操作,這樣就使得不同窗口之間產生了信息的交互。而窗口的滑動,將特征圖先向上移動3個像素,再向左移動3個像素,就將原來的特征圖劃分為9塊不同的區域,以window_size大小的窗口在滑動后的特征圖上做多頭注意力,在做注意力之前,需要使用mask的方法避免本來不相鄰的像素之間做自注意力操作。窗口滑動的效果見圖3。這樣一層窗口多頭注意力后接一層滑動窗口多頭注意力,就實現了當前階段的全局信息交互。

Patch Merging是對圖片進行切片操作,在行方向和列方向每隔一個像素采樣一個值,類似于近鄰下采樣,然后將每個區域中采樣的每個像素按原圖的位置拼接起來,這樣通道數就會變成原來的4倍,再接一個線性層后將通道數減少變成原來的2倍,寬高就變為原來的1/2,且在沒有信息丟失的情況下得到下采樣的特征圖。

Swin Transformer算法對每一層特征圖的信息都做了較好的信息交互。但是在每一通道上特征圖的重要程度不應該都是相同的,本模型將SENet這一強大、有效的通道注意力機制引入Swin Transformer中,在進行每一次下采樣之后,再增加執行一次SENet模塊,給不同的通道賦予不同的權重,使模型容易學習到重要的特征信息。

本模型設計了FastPoseSwin人體姿態估計網絡,用于提取pose信息,其結構圖見圖4。FastPoseSwin結合了Swin Transformer與原Alphapose中的SENet[11]、DUC[12]、 Pixshuffle[13]等模塊, 主要是添加了SENet模塊的Swin Transforme,作為更高效和更準確的backbone來提取特征圖,以期得到更準確的人體骨骼關鍵點提取結果。其中,DUC是一種用通道數來彌補H和W尺寸上的損失的網絡結構。PixelShuffle通過卷積和周期性篩選來提高特征圖的分辨率。

圖4 FastPoseSwin 網絡結構

本模型得到13個人體骨骼關鍵點在每一幀圖像上對應信息的一個列表,列表里存儲著對應人體目標的bbox、bbox得分、骨骼關鍵點、骨骼關鍵點得分和proposal_score,其中proposal_score是骨骼關鍵點得分的均值+bbox得分+1.25倍最高骨骼關鍵點得分。

5 基于圖卷積的摔倒檢測方法

圖卷積(GCN)是一種具有強大的圖表達能力的深度學習模型,區別于卷積神經網絡,它對非歐幾里得結構的數據有較好的空間特征提取能力。而所提取出來的姿態圖就屬于這種非歐幾里得數據,因此本文采用圖卷積的方式對人體骨骼關鍵點進行處理,將骨骼圖送入圖卷積神經網絡進行訓練,模型推理輸出得到分類結果,如坐著、站立、行走、摔倒等。

拉普拉斯矩陣被用來定義圖卷積神經網絡,對于一個圖G=(V,E),其中V代表頂點(node)的幾何,E代表邊(edge)的幾何。其拉普拉斯矩陣由這個圖的度矩陣和鄰階矩陣共同定義。度矩陣就是對圖中各個頂點的度的描述,即這個頂點與多少個頂點有聯系,度矩陣是一個對角矩陣,其對角線上元素即每個頂點的度。鄰接矩陣是對圖中各個頂點連接關系的描述,因為在圖卷積神經網絡中,圖都為無向圖,由無向圖的鄰接矩陣表示方法可知,GCN中的鄰接矩陣是沿對角線對稱的。拉普拉斯矩陣的計算公式為:

L=D-A

(12)

式中:D為圖的度矩陣;A為圖的鄰接矩陣。

本模型使用如下方式構建圖卷積神經網絡:

(13)

(14)

具體到每一個節點,Symmetric normalized拉普拉斯矩陣中的元素為:

(15)

式中:deg (vi)和deg (vj)分別為節點i,j的度,即度矩陣在節點i,j處的值。該方法引入了自身度矩陣,解決自傳遞問題的同時,對鄰接矩陣進行了歸一化操作,再通過對鄰接矩陣兩邊乘以節點的度矩陣開方然后取逆。

本模型設計了一個簡單有效的人體行為分類模型,將姿態估計部分預測所得到的13個人體骨骼關鍵點的坐標及其置信度得分作為一個形如(13,3)的向量,作為人體行為分類模型的輸入,通過圖卷積層、線性變化層、Dropout等模塊處理,最后輸出一個形狀為(batch_size, num_classes)的特征向量,算法執行過程見圖5。

圖5 GCN摔倒檢測算法執行過程

圖5中,input的輸入形狀為[64,13,3],其中64為batch_size,13為關鍵點個數,3為通道數,代表了關鍵點的橫、縱坐標和置信度得分。整個基于GCN的摔倒檢測算法結構設計較為簡單,先將關鍵點輸入GCN模塊中,求出Symmetric normalized拉普拉斯矩陣Lsym,將Lsym與關鍵點特征向量和初始化的權重W相乘,進行圖卷積后輸入ReLU非線性激活函數,此時特征向量的形狀變為[64,13,512]。隨后再輸入一個GCN模塊,特征向量變為[64,13,32]。這時將特征圖轉換為二維張量,再使用線性層配合ReLU激活函數實現一個簡單的神經網絡,對其特征進行學習。再使用Dropout將激活函數輸出的值以一定的比例隨機置為0,用來防止模型過擬合。最后用一個輸出通道為nclass的Linear線性變換作為分類器,得到分類結果。

6 試驗與結果分析

為了從各方面對本文摔倒檢測模型進行驗證,本文進行以下三部分試驗,分別驗證目標檢測部分、人體姿態估計部分和人體行為識別部分。

6.1 優化后的YOLOX算法性能測試

目標檢測部分的試驗采用CrownHuman[14]數據集進行訓練,其中,訓練集為15 000 張,驗證集為4 000 張,測試集為4 000 張。其中,CrownHuman數據集的標注信息是.odgt文件,只采用其中vbox即可視人體的標注信息,將其轉為COCO數據集所需要的json文件進行訓練。

本節用AP、Parameters、FPS、GFLOPs、Latency等指標來對試驗結果進行評估。AP是指在同一個類別、不同閾值和不同召回率下的準確率,AP越大證明模型準確率越高;Parameters是參數量所占內存空間,體現了模型的大小和復雜度;FPS是每秒所檢測圖片的數量;GFLOPs是指模型每秒執行多少次浮點數運算;Latency是指第一個輸入到第一個輸出所需要的時間延遲。

將本節算法結果YOLOv3、YOLOv5-S和優化前的YOLOX算法在CrownHuman數據集的可視身體框部分進行對比試驗,試驗結果見表1。

表1 CrownHuman數據集上的試驗結果對比

由表1可以看出,本模型所優化后的YOLOX算法在CrownHuman數據集可視身體框部分的表現滿足預期,其中,AP相對YOLOv3提高了9.83%,相對YOLOv5-S提高了3.97%,相對優化前的YOLOX-S提高了1.34%,參數量僅8.6M,比優化前少了0.3 M,較為輕量。而FPS雖然不如YOLOv5-S那么優異,但相較于優化前每秒提升了3幀左右,并且能夠滿足完成實時檢測的要求。優化后的算法時延比優化前縮短了0.52 ms,時延包括了前向推理時間和非極大值抑制處理時間。

6.2 改進后的SPPE算法性能測試

本文人體姿態估計模型使用MsCOCO2017[15]數據集來進行訓練,采用每個目標所有的關鍵點的平均AP即以KeyPointsAP為指標來對模型進行評估,該值越大,證明模型的準確率越高。將本節所訓練的模型與Mask-RCNN、OpenPose、文獻[16]等在COCO2017姿態測試集上進行對比試驗,試驗結果見表2。

表2 COCO2017測試集上的結果對比

由表2可知,本文改進后的人體姿態估計算法在COCO2017測試集上AP比Mask-RCNN、OpenPose、文獻[16]分別提高了8.2%、9.8%、1.9%,說明本文算法在準確率方面具有一定的優越性,能夠提取更高質量的人體骨骼關鍵點。

6.3 基于圖卷積的摔倒檢測算法性能測試

本模型摔倒檢測部分的訓練數據是從Le2i[17]數據集中隨機選取的100個視頻,從這些視頻中截取10 000幀圖片,其中8 000幀用作訓練集,2 000幀用作測試集。對每一幀圖片使用改進后的Alphapose提取到pose,對這些pose信息進行人工標注,標定其人體狀態,并保存為二進制文件。將屬于不同類別的圖片和標注二進制文件放入不同的文件夾中以待訓練。采用準確率和FPS兩個指標對本文的人體行為分類模型進行評估,準確率和FPS的值越大,模型越好。

在Le2i數據集上與做類似工作的文獻[18]、YOLOv4-tiny+pose和YOLOv5-S+pose的結果進行比較,所得結果見表3。

表3 在Le2i數據集上摔倒檢測結果對比分析

對比發現,本文所提出的基于改進的Alphapose結合GCN的摔倒檢測算法, 在FPS優于YOLOv4-tiny+pose和YOLOv5-S+pose的情況下,準確率達到了92.2%,較好地滿足了實時摔倒檢測的要求。

7 結論

本文提出了一種基于改進Alphapose結合GCN的摔倒檢測模型,該模型使用優化后的YOLOX結合DeepSort對視頻中的人體目標進行目標檢測、目標跟蹤,得到每個人體的檢測框,然后再使用改進后的SPPE對檢測到的每個人體進行姿態估計,提取人體骨骼關鍵點,最后再使用GCN對人體骨骼關鍵點進行人體行為分類,判斷是否摔倒。本文在CrownHuman、COCO2017、Le2i等公開數據集上分別對人體目標檢測算法、人體姿態估計算法和人體摔倒檢測算法進行對比試驗,結果表明,本文所提出的摔倒檢測模型在目標檢測、姿態估計上的算法改進和整體的模型設計都具有可行性,并且比其他模型提高了檢測的準確率和實時性,具有一定的使用價值。