基于雙擴展時域自適應圖卷積神經網絡的骨架動作識別

劉世平， 陳 萌， 夏文杰， 馬梓焱， 黃元境， 張文奇

(1.上海市空間飛行器機構重點實驗室， 上海 201108； 2.華中科技大學機械科學與工程學院， 武漢 430074)

1 引言

動作識別是計算機視覺領域中的研究熱點與難點。 人類可以通過動作來處理事情和表達感受，其能承載豐富的語義信息，因此動作識別在人機交互[1]、視頻監控[2]、視頻檢索[3]等領域得到廣泛應用。

研究人員提出了許多方法來對人體動作進行準確快速的識別。 根據輸入數據的不同，目前主要有RGB 圖像序列[4]、深度圖像序列[5]與人體骨架序列[6]等。 使用RGB 圖像序列與深度圖像序列數據的動作識別，會受到人體所處環境的干擾，而且需要處理巨大的數據量。 對于使用人體骨架序列的動作識別，由于人體每一幀動作序列只包含骨架特征，不會受到環境的干擾，而且需要處理的數據也更少，所以通過對人體骨架序列數據進行動作識別更加輕量并且具有更好的魯棒性。

傳統的基于人體骨架序列進行動作識別的方法為動態時間規整(Dynamic Time Warping，DTW)法[7]。 該方法通過對采集到的每類動作進行特征提取建立動作模板庫，在進行動作識別時，對需要進行識別的動作與動作模板庫中的每類動作進行距離比較，距離最短的一類動作即為所識別到的動作。 由于動態時間規整的方法需要與模板庫中的每類動作進行比較，當動作種類比較多的時候，計算時間會大大增加。

近年來，隨著深度學習的發展，不少研究人員通過深度學習進行骨架序列動作識別。 Ke 等[8]通過CNN(Convolutional Neural Networks)進行骨架序列動作識別，但是該方法需要對骨架序列進行編碼，這會喪失骨架的空間拓撲性，并且不能很好地處理動作的時間序列關系；Liu 等[9]通過LSTM(Long Short-Term Memory)進行骨架序列動作識別，該方法能夠較好地處理時間序列的問題，但由于把骨架序列數據變為向量作為模型的輸入，這同樣會喪失骨架的空間拓撲性；Yan 等[10]首次使用時空圖卷積神經網絡(Spatial Temporal Graph Convolutional Networks， ST-GCN)對骨架序列進行特征學習實現動作識別，該方法保留了骨架的空間拓撲性并且也能較好地處理時間序列；Shi 等[11]對Yan 等[10]的方法進行了改進，建立了自適應圖卷積神經網絡(Adaptive Graph Convolutional Networks， AGCN)，增加了骨架長度信息并且能夠自適應地學習骨架的拓撲結構，但是這2種方法都沒有考慮到局部時間對網絡模型的影響。

針對上述問題，本文設計雙擴展時域自適應圖卷積神經網絡模型(Dual Dilated Temporal Adaptive Graph Convolutional Networks， DTAGCN)。 首先，對于月面多功能機器人在月面復雜非結構環境下航天員的輔助活動設計一套人機交互動作命令集，根據命令集采集數據并進行視點無關變化預處理；然后，通過輸入關節點信息與骨架向量信息建立雙擴展時域自適應圖卷積神經網絡，通過雙擴展時域卷積層獲取局部時間與全局時間對動作的影響；最后，根據采集到的數據集訓練模型進行人體骨架動作識別實驗。

2 數據處理

2.1 數據采集

針對月面多功能機器人在月面復雜非結構環境下航天員的伴隨跟蹤、輔助作業、安全陪護、緊急救助等任務，設計了一套人機交互動作命令集，命令集動作的代表幀，如圖1(a)所示，包括需要/無需攙扶、機器人停止運動、提供工具、緊急撤離、拿起/放下/挖掘物體、在我前方/后方/側方行走、需要救援等12 類語義動作。 骨架動作命令集通過微軟Kinect 傳感器采集得到，共33 人次進行采集，其中每人對每類動作采集30 次。 圖1(b)為需要攙扶類動作所采取的關鍵幀示意圖。

圖1 數據采集示意圖Fig.1 Schematic diagram of data acquisition

2.2 數據預處理

從傳感器中得到的數據是基于相機坐標系的，這會造成坐標數據(x，y，z) 對視點的變化很敏感。 當在不同的位置對同一個動作進行數據采集時會使數據相差很大，因此需要進行視點無關處理，把相機坐標系轉換到人體坐標系，使動作的空間位置基本接近。

建立相機坐標系與人體坐標系，如圖2 所示。圖中相機坐標系已經經過平移，坐標系ncxncyncz為傳感器所采集數據的相機坐標系，坐標系npxnpynpz為人體坐標系，由于人體運動時點1、2、13、17 變化幅度比較小，人體坐標系以點1 為原點，點13 到點17 方向為x軸方向，點1 到點2 方向為z軸方向。

圖2 相機坐標系與人體坐標系Fig.2 Camera coordinate system and human coordinate system

為了達到視點無關性，首先需要進行坐標系平移，對于每一個動作序列，使序列第一幀的點1 為原點，對動作序列中所有骨架節點減去原點坐標vSB(xSB，ySB，zSB) 完成得到新的坐標，以此完成坐標系的平移；然后通過坐標系旋轉使數據從相機坐標系轉換到人體坐標系，使用四元數求解旋轉矩陣的方法完成坐標系旋轉，對于相機坐標系的單位軸向量n(nx，ny，nz)， 與對應人體坐標系軸向量的夾角為θ，則四元數為式(1):

通過對z軸和x軸進行旋轉完成坐標系的旋轉。 對于任意節點v(x，y，z)，其完成坐標系轉換的節點v′(x′，y′，z′) 為式(3):

數據預處理前的骨架序列圖如圖3(a)所示，圖中2 人所做的動作為同一個動作，但是位置不同導致坐標相差較大。 經過視點無關處理骨架序列圖如圖3(b)所示，圖中2 人的動作序列基本相近，經過視點無關處理過的數據用來訓練模型可以使模型識別準確率提高。

圖3 數據預處理結果對比Fig.3 Comparison of data preprocessing results

2.3 數據信息類型

本文所設計的雙擴展時域自適應圖卷積神經網絡模型輸入2 種數據信息類型。 輸入的第一種數據信息類型為骨架關節點信息vi，t＝(xi，t，yi，t，zi，t)，如圖4(a)所示；輸入的第二種數據信息類型為相鄰骨架關節點的向量信息bi，j，t＝(xj，t-xi，t，yj，t-yi，t，zj，t-zi，t)，如圖4(b)所示。 最后得到的結果通過對2 種數據結合得到。

圖4 輸入數據信息Fig.4 Enter data information

3 模型建立

3.1 自適應空間圖卷積層

對于所輸入的數據，圖卷積操作可以提取更高維度的特征[10]。 在空間維度的圖卷積操作如式(4)所示。

然而，式(4)中的鄰接矩陣是人為主觀預定義的，這并不能捕獲人體動作所有關節點之間的關聯程度，使用自適應圖卷積可以解決這個問題，對式(4)進行改進[11]，得自適應圖卷積，如式(5)所示。

式中，Wθk與WΦk通過高斯函數計算得到，Hl-1是第l- 1 層的特征圖，與式(4)和式(5)中的一致。

使用自適應空間圖卷積操作可以捕獲人體整體關節點之間連接關系與關聯程度，使模型能夠適應不同類型的動作。

3.2 雙擴展時域卷積層

Yan 等[10]與Shi 等[11]的方法能在空間圖內學習到較好的特征，但是卻忽略了人體動作的時間變化性，不同的人做同一個動作的速度會不一樣，同時同一個人做同一個動作也可能會時快時慢，因此人體的動作不僅在全局具有關聯性，在局部也同樣有關聯。 由于膨脹卷積能夠快速良好地處理時間問題[12]，為了解決這個問題，本文設計了雙擴展時域卷積層，雙擴展時域卷積層對2 個不同膨脹因子的卷積進行結合，使模型能夠捕獲動作的局部時間信息與全局時間信息。

其中第一個卷積在低層中設置較小的膨脹因子，并且隨著層數的增加而增加，使用卷積核大小為3 的非因果卷積，由于膨脹因子不斷擴大而卷積核的大小一直為3，這一個卷積能在不擴大核尺寸情況下在較高層獲得較大的感受野，因此可以捕獲全局時間信息。 第二個卷積與第一個卷積相反，在低層中設置較大的膨脹因子，隨著層數的增加而減小，使用卷積核的大小與第一個卷積相同，該卷積可以捕獲局部時間信息，每一層的操作可以通過式(7)～(10)描述。

式中，Wd1，Wd2∈?3×Cout×Cout分別是膨脹因子2l-1和2L-l-1核大小為3 的擴展卷積操作的權重向量，其中Cout為當前層卷積濾波器的數目，l為當前層，L為總層數；Hl是第l層的輸出；W∈?1×2Cout×Cout是1×1 卷積的權重；bd1，bd2，b∈?Cout為偏差向量；Relu為激活函數。

3.3 雙擴展時域自適應圖卷積神經網絡

通過空間自適應圖卷積層與雙擴展時域卷積層建立雙擴展時域自適應圖卷積神經網絡模型，模型圖如圖5 所示。 模型第一層通過批量歸一化層(Batch Normalization， BN)對數據做標準化處理，之后通過7 個自適應圖卷積塊(Adaptive Graph Convolutional Blocks， AGCB)與3 個雙擴展時域自適應圖卷積塊(Dual Dilated Temporal Adaptive Graph Convolutional Blocks， DT-AGCB)對數據特征進行提取，除了第一個網絡塊沒有進行殘差操作，其他的網絡塊都增加了殘差操作來緩解層數增加帶來的梯度消失，每一個網絡塊的前三個層為自適應空間卷積操作，后三個層為時域卷積操作。 AGCB 的時域卷積操作的卷積核無膨脹因子，DT-GCB 的時域卷積操作的卷積核膨脹因子隨層數變化而變化(圖5 中的小圓點代表時間幀)。 模型的后面通過全局池化層(Global Average Pooling， GAP)降低參數量，最后通過Soft max 層對動作進行分類，完成動作識別。

圖5 雙擴展時域自適應圖卷積神經網絡模型圖Fig.5 Diagram of dual dilated temporal adaptive graph convolutional networks model

4 模型訓練

本文實驗使用的開發語言為Python3.8，深度學習平臺為Tensorflow2.4，GPU 為NVIDIA Ge-Force RTX 2080 Ti， CPU 為 Intel Xeon E5-2678 v3。

由于每一類動作的數據比較少，為了使訓練的模型效果較好，所采集的數據集中76%劃分為訓練集，12%劃分為驗證集，12%劃分為測試集。模型的損失函數為交叉熵損失函數，batch size 大小設置為8，參數初始化采用He 等[13]的方法。通過epochs 為20 次的訓練，得到時空圖卷積神經網絡、自適應圖卷積神經網絡與雙擴展時域自適應圖卷積神經網絡的訓練結果如圖6 所示。 圖6(a)為訓練過程訓練集的準確率，圖6(b)為訓練過程驗證集準確率，從圖6 可以得出DT-AGCN訓練結果優異，優于ST-GCN 與AGCN，并且在訓練集與驗證集上得到的識別率在98%以上。 并對模型的識別效率進行了測試，對于平均每個動作序列幀，ST-GCN 需要0.3142 s，AGCN 需要0.3162 s，DT-AGCN 需要0.3238 s，因此在識別效率方面，3 種模型速度相差不大。

圖6 數據訓練結果對比Fig.6 Comparison of data training results

對訓練所得到的模型通過測試集進行準確率比較如表1 所示，表中DT-AGCN(Joint)表示對模型輸入骨架關節點信息，DT-AGCN(Bone)表示輸入骨架向量信息，DT-AGCN(Joint＋Bone)表示輸入骨架關節點信息與骨架向量信息的結合。

表1 測試集結果對比Table 1 Comparison of test set results

測試集各個動作類識別準確率的混淆矩陣如圖7 所示。

圖7 動作類識別準確率的混淆矩陣Fig.7 Confusion matrix of action recognition accuracy

從表1 與圖7 可以得出所建立模型識別準確率優異，總的識別率在98.5%，每一類動作的識別率在97.5%以上。 通過對人體實際動作進行測試得到識別效果圖如圖8 所示。

圖8 人體動作識別效果圖Fig.8 Effect drawing of human action recognition

5 結論

本文針對月面多功能機器人在月面復雜非結構環境下基于動作識別的人機交互問題，設計了雙擴展時域自適應圖卷積神經網絡對各個動作類別進行識別；針對具體的人機交互任務設計了一套動作指令集，對采集到的動作幀數據通過坐標系變換進行數據的預處理；針對人體運動的時間局部性與全局性設計了雙擴展時域卷積層，并與空間自適應圖卷積層結合完成了神經網絡模型的建立。 通過所采集到的數據集對所建立的模型進行實驗驗證，并與ST-GCN 與AGCN 進行對比。結果表明，本文所設計模型識別率優異，動作的總體識別率為98.5%，每一類動作的識別率達97.5%以上，能滿足人機交互任務的需求。