基于骨骼時空圖的人體行為識別

谷學靜，沈 攀+，劉海望，郭 俊，位占鋒

(1.華北理工大學 電氣工程學院，河北 唐山 063210；2.唐山市科技中心 數字媒體工程技術研究中心，河北 唐山 063000；3.華北理工大學輕工學院 電氣信息學院，河北 唐山 063000)

0 引 言

就目前而言，人體行為識別[1]研究主要分為3個方向，分別是基于靜態圖片信息、視頻序列片段信息以及骨骼點的特征信息的研究方向，通過對3種不同數據類型進行建模，分析人體姿態的行為特征，從而識別出人體的具體行為類型。目前，針對前兩種方法的研究已經取得很大進展，例如文獻[3]采用雙流法(TWO-stream)分別對輸入視頻的每幀RGB圖像和幀與幀之間的密集光流序列信息進行建模，用CNN的方法訓練得到的靜態信息和短時序列模型進行融合(fusion)[3]，從而完成對視頻行為的識別和分類，取得良好效果；文獻[4]中分析了視頻和圖像在維度上的不同之處，采用三維卷積(C3D)的方法用于視頻中的行為特征提取，卷積核由二維變成三維來進行端到端的訓練，其識別速度得到很大提升[4]。相比較而言，基于人體骨骼信息的行為識別關注較少，但是其蘊含著人體重要行為信息用來表示人體的行為特征，因此考慮如何對人體的動態骨骼信息進行深入挖掘，獲得更有效的特征來提高人體識別的準確率仍然有待探索。

基于骨骼信息的研究仍然具有很大的挑戰，骨骼的動態信息可以通過人體的關節位置和時間序列的組合來表示，然后通過分析其關節點的聯合坐標向量來提取動作特征并完成預測。隨著機器學習的發展，利用深度學習方法處理骨骼數據是當前研究的主流方向[5]，比如yang等利用在視頻幀間的關節坐標距離變化量矩陣生成視頻特征，然后把視頻特征輸入到支持向量機中進行訓練和分類[6]，yong等在此基礎上提出了一種端到端的分層神經網絡用于提取骨骼特征，將骨骼信息進行劃分，分塊輸入到神經網絡中，突出了整體結構與部分的關系[7]，liu等在RNN的基礎上通過引入新的門控單元對輸入數據序列進行學習，可以有效解決三維骨架中的遮擋問題[8]。Song等通過加入注意力機制對每一幀的骨骼數據進行不同程度的關注，從而能夠更有效獲取骨骼的動態數據信息[9]。

由此可見，行為識別的關鍵在于如何設計網絡模型提取人體骨骼的動態信息，受到圖卷積(GCN)研究的啟發，考慮保留骨骼信息中關節在運動中的自然連接的空間結構，將骨架整體作為拓撲圖輸入到圖卷積網絡，結合多尺度時間卷(multi scale TCN)對骨骼的時間動態進行建模，使得骨骼信息可以從時空維度進行整合，從而學習更有效的信息來提升行為識別的模型效果。

1 圖卷積網絡

1.1 圖卷積概述

卷積神經網絡對圖像數據具有很強的特征抽取與整合能力，廣泛應用于圖像處理工作，但是其應用有一定限制，輸入的圖像數據必須是具有規則的網格化結構的類型，也就是說需要將數據類型先轉化成規則排列的矩陣類型，如圖1所示。

圖1 規則的網格結構

因此對骨骼信息的應用必須將骨骼的坐標序列轉換成2D的網格形式，從本質來講還是圖像的識別。但是在實際研究和生活過程中并非都具備規則的序列結構，比如社交網絡、通信網絡等都是一定數量的節點相互連接構成的不規則拓撲圖，如圖2所示。

圖2 網絡拓撲結構

即圖論中點和邊構成的集合，用G(E,V)表示，其中E表示邊的集合，V表示點的集合[10]。圖卷積就是在傳統卷積(CNN)的基礎上將其拓展應用到拓撲圖的結構上，更好捕捉圖上節點與節點之間的連接特征關系，并且對連接邊賦予一定權值來進行節點的特征提取過程。

1.2 圖卷積原理

卷積的本質實質是對一定范圍內的像素加權求平均的過程，圖卷積則是對每個節點的特征和與其相連接的鄰居結點進行加權求平均后，傳遞到下一層的過程，如圖3和圖4所示。

圖3 卷積原理

圖4 圖卷積原理

不難看出，同卷積過程類似，將拓撲圖上的頂點理解成像素點，人為給定其傳播方向，將卷積核函數作用得到的聚合特征值作為一個特征圖(featuremap)傳遞到下一個網絡層，同一個卷積核的權值共享，在應用GCN時需要注意由于拓撲圖沒有規則的網絡結構，因此本質上并無明確核函數的概念[11]，為了便于理解，在圖中添加了陰影區域，將這個區域視為卷積中的核函數，其權重為所有參與聚合的節點按一定規則劃分的不同子集構成的集合，例如圖中距離中間節點w0的距離劃分為1和2的不同子集，在對每個鄰域子集的內的節點進行特征值聚合時保持權重不變從而實現權值共享。特征在層與層之間的傳播方式可以用式(1)表示

Mi=f(Mi-1,A),其中M0=X，

f(Mi,A)=σ(AMiWi)

(1)

在式(1)中，M表示特征矩陣，i表示層數，當i=0時，M0表示節點自身的特征矩陣，A表示鄰接矩陣，W為權重，節點特征矩陣分別左乘和右乘鄰接矩陣與權重，可以實現對特征的聚合和加權，因此，如何設計鄰接矩陣A和權重分配策略W是基于骨骼圖卷積研究的重點。

2 基于骨骼的時空圖卷積

2.1 骨骼時空圖構建

人體的骨骼構成也是由關節點和肢體連接線構成的點和邊的集合，符合圖的定義，因此，可以對人體骨骼使用圖卷積，但是需要考慮的一個問題是，在人體動作過程中，并非都是一個靜止的信息，而是具有連續時間序列的一系列數據，為了更好利用圖卷積來提取骨骼的動態信息，除了對空間上的骨骼關節點的自然連接的空間邊以外，還加入了不同時間幀之間的時間邊信息用來描述行為在時序上的變化特征，將傳統的圖卷積擴展應用到時間鄰域上，如圖5所示。

圖5 骨骼時空

關節點作為圖的節點與時空邊的連接構成了時空骨骼圖的結構G(V，E)，圖的信息包含了關節點的數量N，以及輸入的一段視頻所包含的幀數T，每個關節點對應的特征矩陣用Vi表示。所以可以得到所有節點在T幀的特征矩陣集合如式(2)所示

(2)

其中，單幀內的第i個關節點特征向量用f(vi)表示，包含每個關節的坐標以及置信度，在構造骨骼時空圖的過程主要分為兩步，第一步是獲取人體骨架在動作過程中的原始連接關系，不需要進行人為的手工設計，通過openpose工具或者相關設備獲取到視頻序列中的人體關節點信息，依靠獲取到的關節點信息構成自然的身體骨骼結構。多幀的連續骨骼圖還需要對時間邊進行連接，因此邊的集合有兩部分構成，分別用Es和Ef表示，如式(3)所示

(3)

其中，Es為單幀內的骨骼點的連接，Ef為相同骨骼點在不同幀間的連接，通過構建時空圖描述人體運動過程隨時間變化的軌跡信息。

2.2 骨骼空間圖卷積

首先，對骨骼的空間信息進行建模，按照圖卷積的定義，可以在卷積網絡的公式上進行拓展，以卷積運算為例，如式(4)所示

(4)

其中，包含兩個主要函數，分別為采樣函數和權重函數，采樣函數p主要用來對x的鄰域像素進行獲取，即圍繞中心點x的一個大小為K*K的網格狀區域，權重矩陣w則是對采樣函數p所選擇的網格區域內的數據按照一定空間順序進行索引，用權重矩陣w與采樣區域做內積運算即可獲取每個鄰域像素與中心點的權重關系，可以對此公式進行改進來應用于骨骼時空圖，分別對采樣函數和權重函數進行改進，上一節已經構造了時空骨骼圖得到關節點的集合V，因此采樣函數的中心點變成骨骼的關節點v，采樣區域變成與節點相鄰節點鄰域集合，用B(vti)={vtj|d(vtj,vti>=K)} 表示，其中d表示距離采樣點vti的最小距離，K表示距離范圍為K的集合，這里K值取1用來選取距離節點為1的鄰域集合。

然后對權重函數進行重新定義，由于圖卷積在空間并無固定順序，所以需要對鄰域集合B(vti)進行劃分，假設劃分的子集數量為N，通過一個標簽映射函數對其中每個子集進行編碼，如公式所示l(vi)=B(vi)→{0,1,...N}，使鄰域中的點映射到劃分之后特定的子集中，使其具有相同的標簽，可以得到新的權重函數，用式(5)表示

w(vti,vtj)=w′(lti(vtj))

(5)

因此，將式進行拓展，應用新的權重和采樣函數可以得到骨骼的圖卷積表達式如式(6)所示

(6)

其中，Zti(vtj)=|{vtk|lti(vtk)=lti(vtj)}|等于子集的基數，用來減少不同子集對輸出結果的影響。

2.3 多尺度時間卷積

不同的行為類型具有不同的時間特征，動作的持續時間也會隨著動作類型的不同而變化。為了更好描述這一動作變化特征，提出了一種多尺度方法對不同時間跨度的動作類型同時進行卷積，然后將卷積的結果進行線性加權融合，這樣可以讓網絡模型同時捕獲不同時間長度的動作類型特點，適應不同復雜度的行為變化。

將圖卷積的公式擴展到時間域建模，上一節分析的節點鄰域為單幀t內的骨骼圖連接，接下來將考慮其連續幀之間的相同節點之間的連接，如式(7)所示

S(vti)={vqj|d(vtj,vti)≤K,|q-t|≤|Γ/2|}

(7)

式中：Γ表示時間軸的跨度，其值決定了時間卷積時時卷積核的大小，為了使節點vi可以在時間和空間維度生成對應的鄰域空間，需要對上文中已經構建的標簽映射函數進行修改如公式所示

(8)

2.4 多尺度時間卷積方法框架描述

在傳統時間卷積TCN的單一卷積核尺度進行擴充，采用多尺度時間卷積(multi scale TCN)(以下簡稱(MS-TCN))，增加一個時間跨度為2Γ大小的卷積核用來提取持續時間長的行為特征，如圖6所示，在進行時間卷積過程中增加一個尺度為原來卷積核大小兩倍的新卷積對時間特征進行卷積，卷積核的總數量保持不變。此時網絡中包含兩個不同時間跨度的卷積核對骨骼向量同時進行特征提取，這樣可以在每一個卷積層進行多尺度卷積，獲取輸入骨骼信息在不同尺度下的特征，最后，將兩種卷積核提取到的信息進行融合，經過平均池化輸入到softmax完成行為分類，其原理結構如圖6所示。

圖6 多尺度時間卷積網絡結構

多尺度時間卷積中包含的每個卷積核的計算過程是相同的，其原理如式(9)所示

fi=fi-1+Wl*λfi-1

(9)

其中，f表示輸出，i表示網絡層數，W表示第l層所有濾波器的集合，λ為Relu激活函數，設原始TCN網絡濾波器個數為N，則經過多尺度變化為兩個數量為N/2，大小分別為k*1和2k*1的卷積核，在T幀視頻上進行卷積操作，每個節點的特征維度為C,首先對節點Xi進行特征提取，沿著時間序列的方向按照步長為1進行移動，卷積完成后向下移動，遍歷所有的關節點，在每次卷積過程中，將兩種尺度卷積的結果進行連接形成卷積結果，依次在所構建的10個網絡層之間進行傳遞累加，然后將最終的本次網絡的輸入為經過openpose處理后的關節點向量X，經過多尺度卷積分別對X進行卷積，兩個跨度卷積過程如圖中黑色實線和虛線框所示，然后將卷積后的所有結果拼接，將最后得到的結果進行線性加權融合。

3 多尺度時空圖卷積的應用

將時空圖卷積應用到行為識別，首先將對輸入視頻中的人體行為利用openpose處理工具進行姿態估計，將人體標注的關節點連接成骨骼輸出，然后由BN層對不同幀的節點坐標進行批歸一化，可以消除不同量綱之間的影響，降低數據特征由于評價指標不同而對結果產生的影響，進一步增強數據集的可比性。同時在整個網絡中還加入注意力模型層(ATTENTION)，用來學習相鄰節點的權值。因為人體運動過程中的節點不斷變化，每個動態部位的建模與節點聯系的相關度不同，比如在跑步這個動作類型中，腿部信息的重要性要大于脖子，因此加入注意力模型層(ATTENTION)層可以讓網絡模型能夠自主學習每個空間邊緣的重要性，然后輸入圖卷積GCN和多尺度時間卷積(MS-TCN)融合的網絡模型，最后利用softmax分類器，完成人體行為的分類，網絡總體結構如圖7所示。

圖7 網絡結構

3.1 數據預處理

Openpose可以對預先定義好的人體關節點比如頸部、肩膀、手臂等關鍵部位進行標注，然后將標注的關節點進行連接，即人體骨架的提取，這里選取每幀平均置信度最高的兩個人，提取其關鍵點的坐標向量作為輸入。

通常每次輸入網絡的一個批次(batch)視頻可以用一個5維矩陣來表示(N，C，T，V，M)，其中N代表一個批次中視頻的數量，C用來表示關節的特征，即x和y的坐標，以及置信度等3個特征，T表示關鍵幀的數量，V表示關節的數量，由于openpose的標注有不同數量的關節點，因此V的值不一樣所以最終輸入網絡的形狀為(256，3，150，18，2)。

3.2 子集劃分

在進行空間圖卷積的時候，需要對每個節點的鄰域進行劃分，這里考慮到不同行為動作的特點以及節點時空結構特征，將鄰域按照根節點距離重心(所有骨骼點的坐標平均值)的距離劃分為3個子圖，采樣點作為選取的根節點，以根節點距離重心的距離ri為標準，鄰域內的點距離重心的距離rj如果大于ri，則被劃分到子集1，如果距離重心的距離小于ri，則被劃分到另子集2，如式(10)所示

(10)

劃分后的子圖有3個子圖如圖8所示。

圖8 劃分后的3個子圖

通過這樣的劃分方式，分解成3個子圖，分別表示離心、向心和靜止3種運動形態，可以更有效捕獲行為動作的時空信息，卷積核的數量由1個變成3個，即(1,18,18)變為(3,18,18)。然后根據卷積的尺度不變特性，對3個卷積核分別進行卷積，再進行加權平均(和圖像卷積相同)就可以得到最終結果。

3.3 多尺度時間卷積與模型融合

對于網絡而言還需要考慮的一點是如何對模型進行有效融合，由于采用的分類器都為softmax，考慮其函數性質將所有的函數輸出映射到(0，1)輸出，為了體現每個模型的優勢，采用線性加權融合，如式(11)所示

pfusion(yi)=αpa(yi)+(1-α)pb(yi)

(11)

其中，α為參數，p為概率矩陣，按照公式運算即可得到模型融合之后行為類型輸出。

4 實驗結果及分析

本次實驗的數據集采用目前最大的3D行為識別數據集NTU RGB+D數據集，在骨架序列中，包含兩個評估基準，分別是交叉受試者(cross subject，CS)，即來自一個演員的訓練片段子集，通過其他演員的視頻片段對模型進行評估，以及交叉視圖(cross view，CV)，即來自2號和3號攝像頭的視頻片段用于訓練，用1號攝像頭采集的片段對模型進行評估。本次實驗從這兩個角度對網絡模型進行評估。對網絡的初始參數進行設定，整個ST GCN網絡配置見表1。

表1 網絡模型參數配置

10個網絡層的神經元分成3部分，分別為前4層、中間3層以及最后3層，對應神經元數量分別為64，128，256，同時為了能夠在訓練過程不斷調整模型的訓練效果，對學習速率進行調整，每10個epoch以后變為原來的0.1倍，然后對網絡模型進行訓練，分別在CS和CV上進行模型準確率和損失率的評估，其結果如圖9所示。

圖9 訓練準確率變化

圖9顯示用多尺度ST GCN網絡模型在數據集CS和CV的實驗效果，經過100次迭代以后，模型的準確率分別可以達到80.1%和89.8%，在前20個epoch準確率的速率變化非常明顯，大約60個epoch以后，準確率變化逐漸趨于平緩。

同時為了驗證改進的多尺度時間卷積與原始TCN之間的模型效果，在數據集上進一步設計了基于骨骼特征向量的行為識別對比實驗，構建的網絡模型如2.4節的圖6所示，網絡參數不變的前提下，分別使用尺度為8*1的單尺度TCN以及8*1和16*1兩個尺度融合的多尺度時間卷積進行特征提取，在相同的訓練次數和網絡參數下進行訓練，結果如圖10所示。

圖10 不同尺度下的模型準確率對比

由實驗結果圖可以看出，在模型最終的識別準確率上，多尺度的模型要優于單尺度的模型效果，在CS和CV上分別驗證得到的對比結果為61%和70%，78%和83%，分別提高了9個和5個百分點，主要是因為多尺度模型可以捕獲不同時長下的行為特征，針對越復雜的行為動作類型，提升的效果越明顯，將長時信息和短時信息結合，獲取的動作特征具有更強的表征能力，使得模型學習到更具魯棒性的特征，因此，所提出的多尺度時間卷積模型具有更好的性能，相比于單尺度網絡具有更高的識別準確率。

此外，為了進一步驗證模型的效果，與其它幾種主流的網絡模型進行對比，結果見表2。

表2 不同網絡模型準確率對比

從實驗結果來看，Multi scale ST GCN的網絡模型準確率要高于其它幾種算法，無論是和傳統的手工方法還是基于RNN等方法的特征提取相比，均具有一定優勢，主要是因為構建的網絡模型可以從多尺度挖掘骨骼運動的時空信息獲取到更高層的時空結構特征，因此，在模型最終的識別準確率上有了明顯的提升。

5 結束語

從時空層面構建了時空圖卷積網絡，用于人體骨架運動信息的特征提取，從中獲取骨架自然邊的連接關系來構建骨骼時空圖，充分挖掘骨架運動所蘊含的信息，在傳統圖像卷積的基礎上，對圖卷積進行拓展，將骨骼運動的方式進行劃分，從而更好描述和捕捉運動的形態。在原始時間卷積(TCN)的基礎上進行多尺度時間卷積(MS-TCN)的改進，解決了持續時長不同的行為動作類型的識別問題，對連續動作的不同時長的行為特征疊加，同時融合了骨骼空間圖卷積的行為特征，可以更加完整的對骨骼的時空信息進行整合，在NTU RGB+D數據集上取得了很好的效果。在今后的工作中，嘗試對通過引入自適應的方法增加肢體方向和長度等特征，結合雙流框架對骨骼流和節點流進行特征融合的行為識別。