基于圖卷積的作業(yè)行為實時檢測方法

田 楓，孫曉悅，劉 芳，盧 俊

(東北石油大學 計算機與信息技術學院，黑龍江 大慶 163318)

0 引 言

現階段，人體行為識別可以分為兩種主流方法：基于圖像的和基于人體骨骼關鍵點的。基于骨架序列的人體行為識別存在一定的優(yōu)勢：人體骨架的關節(jié)數量有限，所耗費的計算資源較低，且對動態(tài)環(huán)境和復雜背景的適應能力較強，除此之外，骨架存在較強的語義信息，可以更好代表人體動作。因此，使用骨架數據來做行為識別成為熱門研究方向。現常用的主流框架主要分為3類：RNN、CNN、GCN等。文獻[1,2]將處理時間依賴關系的LSTM對分組的人體骨骼關鍵點進行分類識別。文獻[3,4]使用卷積神經網絡(CNN)處理骨骼數據，提出了骨架變換模塊自動對重要骨骼關鍵點分配較大權重，并使用窗口提議網絡檢測動作起始時間進行行為識別。文獻[5,6]提出骨骼序列空時圖的概念，并提出了空時圖卷積網絡提取高級特征，并采用基于距離的采樣函數構造圖卷積層，提高識別精度。

現有的關于行為識別方法雖然多種多樣，但面對實時監(jiān)控下的復雜場景識別能力較差，且計算量過大不能滿足實時監(jiān)控的要求，僅處于實驗室研究階段。因此本文提出了一種基于圖卷積的作業(yè)行為實時檢測方法：首先對視頻監(jiān)控的作業(yè)人員以YOLOv5作為基礎模型進行人員定位，然后對其骨架進行提取，并利用DeepSort[7]對骨架進行跟蹤，最后使用圖卷積神經網絡進行行為分類和識別。

1 作業(yè)行為實時檢測算法

動作實施者是人，而作業(yè)現場環(huán)境復雜，非人體部分會存在影響識別精度，且提取特征過多使得模型計算量過大，檢測速度變慢的問題。基于此，文中算法由4部分組成，包括作業(yè)人員定位、人體骨架提取、人員跟蹤、行為分類，算法流程如圖1所示。首先，對視頻中正在作業(yè)的工人進行定位，從而過濾無關人員減少計算量；接著，對定位出來的操作人員進行人體骨架提取，同時使用跟蹤算法結合骨骼信息完成相鄰幀間的目標匹配，能夠滿足檢測時背景以及光照帶來較小影響；最后，通過圖卷積神經網絡對相鄰幀的骨骼關鍵點數據進行不規(guī)范行為識別，可以更好描述人體骨骼關鍵點之間空間和時序拓撲結構，最終實現作業(yè)行為實時檢測。

1.1 作業(yè)人員定位

由于作業(yè)現場環(huán)境復雜，所以為了減少不必要的檢測，需要對正在作業(yè)的工人進行定位，從而減少后續(xù)骨骼提取和行為識別帶來的計算量。本文經過在速度和精度方面的衡量，選用YOLOv5作為作業(yè)人員定位的基礎模型。在輸入端，YOLOv5采用3種數據增強方法：縮放、色彩空間調整和馬賽克增強，其中馬賽克數據增強方法能夠有效提高對小對象的檢測。在整個模型實現過程中，采用了CSPNet和Focus結構。其中CSPNet[8]可以有效地解決梯度信息重復問題，重復利用特征，減少網絡參數數量。同時使用FPN+PAN來增強網絡特征融合能力。在輸出端YOLOv5采用了GIoU_Loss來作為損失函數，并采用加權NMS來解決遮擋嚴重導致檢測不準確的問題。

1.2 人體骨架提取

Alphapose[9]采用自上而下的姿態(tài)估計算法，其中的對稱空間變換網絡能夠使得該模型在復雜場景下具有較高的檢測精度。同時其提出了參數化姿態(tài)非極大值抑制，定義了姿態(tài)距離，消去冗余的姿態(tài)估計結果，提高了人體骨骼提取準確率。

Alphapose可輸出14個關節(jié)點的骨架圖，圖中每個關節(jié)點上的特征向量包含坐標和估計置信度。經過人體定位后，Alphapose使用單人姿態(tài)估計(single person pose estimation，SPPE)算法進行人體骨架提取。由于目前骨架提取存在定位錯誤和產生冗余檢測結果的問題，Alphapose采用對稱變換網絡(SSTN)對人體檢測框進行感興趣區(qū)域提取，自動調整檢測框，使得定位更加準確；添加了姿態(tài)引導的樣本生成器(PGPG)對已有的數據進行數據擴充，進行數據增強；使用姿態(tài)非極大值抑制(PPNMS)計算姿態(tài)相似度去除冗余檢測框。通過上述3種方法，Alphapose能夠更加精確地提取人體骨架。

1.3 融合骨骼數據的人員跟蹤

本文結合二維骨骼數據進行DeepSort跟蹤。整體流程如圖2所示，其處理過程如下：

(1)作業(yè)人員定位：將訓練好的基于YOLOv5的工作人員動作定位模型用來獲取DeepSort算法的檢測目標的檢測框；

(2)跟蹤狀態(tài)預測：首先定義檢測集合Detection用于存儲當前幀檢測到的目標的檢測框坐標數據。跟蹤集合Track用于存儲歷史坐標數據，以及丟失幀計數n。當Detection集合為空集時，則n+1，當n大于閾值時，則認為該目標消失，然后在Track中刪除該目標的歷史數據。當Detection不為空時，則n=0。利用目標所在位置、運動速度、寬高比、加速度等信息使用卡爾曼濾波器預測下一時刻目標狀態(tài)。通過計算當前時刻目標狀態(tài)與下一時刻目標狀態(tài)的協方差矩陣，計算卡爾曼增益，不斷更新當前時刻目標狀態(tài)，使真實值與預測值之間的誤差越來越小，從而完成移動目標的軌跡預測的過程；

(3)利用骨骼信息進行獲取ID：計算物體檢測框di和物體跟蹤框yj之間的距離d，馬氏距離計算如式(1)所示

(1)

上述公式中，dj表示第j個檢測框的位置；yi表示第i個追蹤器對目標的預測位置；Si表示檢測框和跟蹤框之間的協方差矩陣。通過計算當前幀目標的二維姿態(tài)特征和檢測目標姿態(tài)特征之間的余弦距離來預測ID，余弦距離計算公式如式(2)所示

(2)

最后使用兩種距離的線性加權方式作為最終度量，得到代價矩陣。其計算如式(3)所示

ci,j=λd(1)(i,j)+(1-λ)d(2)(i,j)

(3)

(4)級聯匹配：當人物經長時間遮擋后，預測的不確定性會提高，此時采用級聯匹配方法，對更加頻繁出現的目標賦予優(yōu)先權；

(5)跟蹤優(yōu)化：由于檢測目標匹配了錯誤的軌跡，相似目標跟蹤過程經常出現身份轉換問題。因此需要在級聯匹配后計算檢測目標上一幀和當前目標檢測框的歐式距離，當距離大于檢測框寬度的1/4時，則重新匹配ID。

1.4 基于圖卷積的作業(yè)行為識別

本文行為識別算法模型選用場景為作業(yè)現場，通過對工作人員的人體關鍵點以及置信度進行圖卷積建模來實現作業(yè)人員操作是否規(guī)范的識別。

1.4.1 時空圖

由于圖卷積神經網絡需要通過數據間的依賴關系構建相應的圖模型，所以本文利用Alphapose獲取已定位出來的員工骨骼關鍵點坐標作為輸入，同時為了描述人體骨骼點之間的依賴關系，本文將根據人體骨骼的拓撲結構構建圖模型。首先，在單幀上介紹圖卷積網絡，單幀骨架在時間τ上會有N個聯合節(jié)點記為Vt以及相應骨架邊記為Es(τ)={vtivtj|t=τ, (i,j)∈H}。 不同于圖像，人體骨架節(jié)點的鄰域的節(jié)點數不固定，定義第τ幀上的節(jié)點vti的鄰域為B(vti)={vtj|d(vti,vtj)≤D,t=τ}， 其中，從vti到vtj的所有路徑中的最小長度用d(vti,vtj)表示，取D=1，代表取節(jié)點的1鄰域。其采樣函數如式(4)所示

p(vti,vtj)=vtj,vtj∈B(vti)

(4)

由于不同人體骨骼關鍵點的鄰域節(jié)點數量和順序均不固定，于是將鄰域B(vti) 中的節(jié)點劃分為K個固定的子集，每個子集可以寫成一個映射tiB(vti)→{0,…,K-1}， 并對每一個子集分配權重參數。權重函數如式(5)所示

W(vti,vtj)=W′(ti(vtj))

(5)

關鍵點劃分是遵循ST-GCN中的劃分策略將鄰域劃分為3個子集。具體來說，該策略根據經驗將內核大小設置為3，并自然地將采樣區(qū)域分為3個子集：包括根節(jié)點本身；向心子集，其中包含靠近重心的相鄰頂點；離心子集，包含離重心較遠的相鄰頂點。如圖3所示。

空間劃分策略的映射如式(6)所示

(6)

式中：r是骨架重心到節(jié)點i的平均距離。

由于動作在時序上的連續(xù)性，則需要分析骨骼序列隨時間的變化。將相鄰幀之間的同一關節(jié)用邊連接，表示為EF={vtiv(t+1)i|t≤T-1}， 因此對某一關節(jié)點i，EF代表其隨時間的軌跡。

由于每個節(jié)點在時間上的連接形狀是固定的，輸出的特征圖的最后3個維度的形狀是 (C,T,V)， 關節(jié)特征C， 關鍵幀數T， 關節(jié)數V。

1.4.2 添加注意力模塊的圖卷積模型

行為識別模型的主干網絡如圖4所示，由9個時空模塊(ST-GCN)堆疊而成，對于其中每一個時空模塊均進行空間圖卷積和時間卷積。并將第4模塊和第7模塊的時間卷積步長設為2，每個模塊的輸出通道分別為64，64，64，128，128，128，256，256，256，網絡開始階段采用一個BN層將輸入骨架數據進行歸一化處理，在最后添加平均池化層(global average pooling，GAP)，將不同骨架數據池化到相同尺寸大小。最終采用使用SoftMax分類器進行分類，SoftMax定義請見文獻[6]。其卷積輸出函數如式(7)所示

(7)

其中， 1/Zti(vtj) 為規(guī)范化項，Zti(vtj)=|{vtk|ti(vtk)=ti(vtj)}| 對應子集中的節(jié)點個數，其目的是平衡不同子集對輸出的貢獻。

由于注意力能夠對更有判別力的骨骼特征分配更高的關注度，因此分別在第4層、第6層、第8層后添加SELayer[10]作為注意力分支，學習各骨骼關鍵點之間的關聯信息，突出該信息在不同層次的網絡結構中和不同樣本上的獨特性。同時，使用注意力機制能夠使網絡在訓練時主動關注不同關鍵點在不同行為類別起到的重要作用，提高模型適應能力。該注意力模塊產生每個通道調制權重的集合，其輸出如式(8)所示

(8)

其中，X∈RC′×T′×V′為輸入特征圖，vc∈V為卷積核，mc∈MSE為輸出特征圖。模型識別整體流程如圖5所示。

1.4.3 邊重要性加權

人們運動時骨骼關鍵點是相互協作完成的，同一骨骼關鍵點在做不同動作時起到的重要程度有所不同。例如，在做握手動作時，手部的信息比腿部信息更為重要，然而走路時，腿部信息要比手部動作更為重要。因此對不同部位進行建模時，不同的邊應具有不同的重要性，在每一個圖卷積模塊的每一層都添加了可學習的掩碼M，該掩碼將根據ES在空間圖上每個邊所學到的重要性權重來縮放節(jié)點特征對其相鄰節(jié)點的貢獻。

以連續(xù)多幀的人體骨架序列特征(二維坐標以及置信度)作為輸入，經行為識別網絡后，輸出檢測概率最大的類別。設當前時刻t，則某個工作人員k的骨架在經過行為識別后識別出來的行為為B(tk)。 在實際作業(yè)現場監(jiān)控場景下，存在設備或人員遮擋、光照強弱不定等因素的影響，某些幀提取的人體骨架存在誤差，從而導致行為識別錯誤，因此直接將B(tk)作為最終識別結果很容易導致錯檢情況的發(fā)生。由于行為的發(fā)生通常是在一段時間內完成的，其持續(xù)時間不定。在行為發(fā)生的這段時間里，盡管存在錯檢情況，但是該操作人員絕大部分幀的動作會被識別為B(tk)。 因此本文將采用統計方法，對出現的行為進行統計，連續(xù)5次出現同種動作將確定該動作為最終行為類別，中間出現不同動作標簽，將重新進行統計。

2 實驗結果與分析

本次實驗是以油田作業(yè)現場為研究背景，進行相關實驗。由于開關閥門是油田井場生產中經常進行的最基本的操作內容。開關閥門時人要站在側面，防止閥門或絲杠飛出傷人，所以閥門操作是否規(guī)范是確保人身安全的保障措施。因此，通過對油田井場作業(yè)區(qū)域的監(jiān)控視頻進行分析，利用計算機視覺相關知識，自動檢測出員工的不規(guī)范行為，加強井場操作規(guī)范，保障企業(yè)財產和人員安全有重要意義。

2.1 實驗環(huán)境

實驗硬件環(huán)境：硬件平臺為聯想工作站，i7-6700 3.4 GHz CPU、NVIDIA CTX 3080Ti GPU，操作系統為Ubuntu 18.04。

軟件環(huán)境：程序編寫語言為Python3.7。

2.2 數據集

由于現階段研究缺乏閥門操作數據集，因此本文將以油田井場工人真實操作視頻和志愿者模擬操作視頻制作數據集。其中真實油田井場視頻數據包括操作人員正常操作閥門和錯誤操作閥門兩種動作，截取部分視頻幀用于操作人員動作定位模型的訓練。由于真實場景下的視頻數量較少，所以志愿者對不同場景的閥門進行模擬，包括正確操作、錯誤操作、不操作等3種動作類別，部分數據集采樣如圖6所示。

2.3 作業(yè)人員定位實驗及結果分析

工作人員定位階段選用YOLOv5框架，使用自制數據集，其中操作人員數據集包括6300幅訓練圖片、1575幅驗證圖片，將圖像歸一化到640×640，使用Adam優(yōu)化器，置信度閾值為0.7，非極大值抑制閾值為0.4，學習率為10-4。將訓練樣本隨機抽取進行200次迭代，每次迭代樣本數為8。實驗參數見表1。

本文實驗將在精確度(P)、交并比(IoU)和平均精度(mAP)來衡量模型，計算式(9)，式(10)如下

(9)

(10)

表1 實驗參數

其中：TP(true positive)表示被正確分類的正例；FP(false positive)表示本來是負例，被錯分為正例[11]；area(C)檢測后框出的工作人員區(qū)域；area(G)是標記的工作人員區(qū)域。

本文與常見的目標檢測模型Faster RCNN[12]，YOLOv3[13]進行對比。對比結果見表2。

表2 不同算法對比

由表2知，YOLOv5在本文數據集中精確度，檢測速度方面均為最優(yōu)，無論是在AP還是mAP上，作為一階段目標檢測網絡的代表YOLOv5均比兩階段目標檢測網絡Faster RCNN表現能力更好。3種網絡在測試集上的測試效果如圖7所示。

由圖7可知，在測試集上YOLOv5檢測精度為98.9%，單幀處理速度0.18 s，各項指標均比另外兩種網絡要好。

2.4 人體骨骼關鍵點提取實驗及結果分析

經過作業(yè)人員定位后裁剪出來的操作人員人體可能不夠完整，同時由于攝像頭分辨率以及放置距離的不同會導致裁剪出來的人體大小不同，因此在人體骨骼關鍵點提取之前需要對裁剪出來的圖片進行預處理和歸一化。為解決裁剪出來的人體不全問題，將檢測框向外擴大1.2倍，然后將裁剪出來的圖片縮放至固定大小224×160。本文分別采用Openpose[14]和Alphapose進行人體骨架提取，實驗結果見表3，可視化結果如圖8所示。

表3 單人關鍵點提取結果

分析實驗結果，針對同一場景中的作業(yè)人員，由于工作場景中存在欄桿、樹木的遮擋，使用自下而上的Openpose提取的骨骼關鍵點雖然提取速度較快但是有關鍵點缺失情況的發(fā)生，會大大影響后續(xù)行為識別部分。Alphapose提取速度較慢，但是仍能滿足實時檢測需求，且識別精度較高，骨骼提取相對完整。

2.5 人員跟蹤實驗及結果分析

當作業(yè)人員進入作業(yè)區(qū)域時開始進行跟蹤，當目標離開作業(yè)區(qū)域時停止跟蹤。本實驗采用以下方法來計算跟蹤精度，定義如下：在連續(xù)T幀中，若目標保持同一ID的幀數超過95%，定義：Ntr為跟蹤成功的員工數，Ntf為跟蹤失敗員工數，At=Ntr/(Ntr+Ntf)[15]為跟蹤準確度。表4為人員跟蹤結果。

分析表4實驗結果，在有遮擋情況的場景中跟蹤準確度有所下降，分析其原因，檢測目標部分遮擋導致骨架提取不完整，從而導致跟蹤準確度下降。對于較遠距離的實驗場景中，由于檢測目標較小，骨架提取精度有所下降，導致跟蹤精度降低。但在多種實驗場景下，人員跟蹤準確度均在95%以上，能夠為后續(xù)的行為識別提供保障。實際場景下的跟蹤效果如圖9所示，其中圖9(a)為近距離的跟蹤效果圖，圖9(b)為較遠距離的跟蹤效果圖。

表4 人員跟蹤結果

2.6 基于圖卷積的行為識別實驗及結果分析

本次訓練所使用的數據集中，訓練集有5231個骨架，驗證集有2011個骨架。本次訓練每次隨機采樣2000，迭代200次，學習率為10-3，使用Adam優(yōu)化器和交叉熵損失函數。最終的圖卷積模型在訓練集上的分類準確率為98.3%，在驗證集上的分類準確率為96.7%。在第t幀，作業(yè)人員進行閥門操作，若在(t，t+N)幀內閥門操作行為能夠被正確識別，則識別任務完成，否則識別失敗。由于閥門操作動作具有連貫性，選取合理的時間步長對于識別精度是至關重要的，過短的時間步不能夠充分表達一個動作，而過長的時間步則導致運算速度慢，冗余的信息也會干擾識別過程。所以需要選取合適的N。以由4名實驗人員，分別在不同角度(左后方、右后方、正后方)，不同距離(較近、中距離、較遠距離)的300段視頻作為驗證集，3種操作類別的視頻各100個。定義識別正確的視頻片段數量記為Nr,識別錯誤的視頻片段數量記為Nf，則識別正確率Ar=Nr/(Nr+Nf)。 本文采用N=(1,5,10,15,20,30) 作為輸入進行測試。實驗結果見表5。

如表5所示，當N=1時，100段正確操作的視頻僅有54段被正確識別，錯誤操作視頻有53段被正確識別，無操作視頻全部識別成功，整體識別準確率最低，在N=10時，盡管無操作視頻的識別率有所下降，但是整體識別準確率最高。并隨著N的不斷增大，無操作視頻被正確識別的數量逐漸減少，正確操作的識別率不斷增加。當N大于10時，錯誤操作的視頻均能夠被大部分識別。

對其中效果最好的N=10訓練的模型采用300段視頻的測試后的混淆矩陣進行可視化，如圖10所示。

表5 不同時間步長檢測精度對比

從混淆矩陣可以發(fā)現，對于實驗的3個行為類別，無操作的行為識別率最低，與錯誤操作混淆概率較大。100段正確操作視頻和100段錯誤操作視頻均被正確識別，然而100段無操作視頻中，90段視頻被正確分類，兩段視頻被錯誤識別為“operation”，8段視頻被錯誤識別為“error operation”。分析實驗結果產生的原因，主要是測試數據中被錯誤識別的視頻，如圖11(a)所示，截取的視頻為工人靠近閥門，但未進行旋轉操作的狀態(tài)，可視化骨骼數據，如圖11(b)所示，前4幀為工人靠近閥門階段，后6幀為身體彎曲，手接近閥門，但未進行旋轉操作階段。部分核心關節(jié)點組成的集合與“正確操作”的動作序列如圖11(c)所示存在部分重合，容易導致分類錯誤。

由于存在上述誤檢情況，對可視化左肩關鍵點y坐標隨時間變化曲線(圖12)進行分析。前292幀為“正確操作”行為，292-475幀為“無操作”行為，475-682幀為“錯誤操作”行為。由圖可知，每種動作的坐標變化較為規(guī)律，且在兩種動作切換時達到穩(wěn)定狀態(tài)所用時間大概為10幀左右。因此，采用連續(xù)10幀為輸入，同時采用滑窗方法對連續(xù)5次的檢測結果進行統計，只有連續(xù)5次均為“錯誤操作”，則進行報警，能夠達到降低誤報率的效果。最終實驗結果如圖13所示。

在相同數據集上，使用不同方法與本文最終方法進行作業(yè)人員行為識別對比分析，結果見表6，從表中可知，方法1與方法2表明，使用YOLOv5進行人員定位能夠大幅度提高整體的識別速度；方法2與方法3對比表明，使用Alphapose進行姿態(tài)估計雖然耗費時間較多，但檢測精度有所提升，進而表明姿態(tài)估計的準確度能在很大程度上影響識別結果，因此在滿足實時性的要求下，選取較高精度的姿態(tài)估計模型。方法3與方法4對比表明，添加通道注意力，能夠有效提高識別精度。因此本文采用方法4，識別精度較高，且能夠滿足實時檢測，漏警率較低。

3 結束語

本文針對現有方法在真實作業(yè)場景下不能實時準確的識別工作人員操作是否規(guī)范的問題，提出了基于圖卷積的作業(yè)行為實時檢測方法。首先，采用YOLOv5定位監(jiān)控視頻中的作業(yè)人員，并使用Alphapose提取人體骨架；然后使用DeepSort對待識別目標進行跟蹤；最后，使用圖卷積的方法對作業(yè)人員的操作不規(guī)范行為進行識別，并采用統計方法降低誤檢率。實驗結果表明，該方法在真實監(jiān)控場景下檢測速度可達25 fps，閥門操作行為識別準確率可達96.7%，能夠對錯誤操作行為進行及時報警。但是，該算法針對復雜場景中人員密集，骨骼提取速度變慢，并且工作場景中存在大量設備，會產生人體遮擋導致提取的骨架存在部分缺失，使得最終行為識別結果錯誤。所以，在今后將針對多人場景下的行為識別存在的遮擋、實時性問題進行研究。