基于結構誤差的圖卷積網絡

摘要：針對圖卷積網絡選取交叉熵作為損失函數在小樣本數據集上可能導致模型訓練過擬合、模型泛化能力不強等問題，提出了基于結構誤差的圖卷積網絡。將改進的基于結構誤差的支持向量機（support vector machine，SVM）作為圖卷積網絡的分類器，能夠降低模型過擬合的風險。在SVM的泛化誤差理論基礎上，對SVM的損失函數進行改進，所提出的方法在最大化異類樣本間隔的同時限制同類樣本間的間隔，提升了模型的泛化能力。首先計算特征空間中特征向量到中心點的平均距離，由它近似替換最小包含球的半徑，然后由新的損失函數指導模型的學習。在基于骨骼的行為識別領域的NTU RGB+D60和NTU RGB+D120數據集上的實驗證明，相比于傳統的圖卷積網絡模型，所提出的方法能夠明顯提升識別準確率并且具有更好的泛化性能。

關鍵詞：深度學習；行為識別；圖卷積網絡；SVM；半徑間隔界

中圖分類號：TP183文獻標志碼：A

文章編號：1001-3695（2023）01-025-0155-05

doi：10.19734/j.issn.1001-3695.2022.05.0279

Graph convolutional networks based on structural errors

Wu Lin，Xu Ruyu，Su Xingwang，Huang Jinbo，Wang Xiaoming

（School of Computer amp; Software Engineering，Xihua University，Chengdu 610039，China）

Abstract：In view of the problems that select cross entropy as a loss function in a graph convolution network may lead to the over-training and the weak generalization ability of the model in a small sample data sets，this paper proposed a graph convolution network based on structural error.Using the improved support vector machine（SVM） as the classifier of the graph convolution network could reduce the risk of over-fitting of the model.Based on the generalization error theory of SVM，improving the loss function of SVM，the proposed method maximized the interval of different samples and limited the interval of similar samples，improved the generalization ability of the model.Firstly，it calculated the average distance from the feature vector to the center point in the feature space，used it to approximately replace the radius of the sphere，and then the new loss function would guide model learning.Experiments on the NTU RGB+D60 and NTU RGB+D120 datasets in the field of behavior recognition based on skeleton prove that compared with the traditional graph convolution network model，the proposed method can obviously improve the recognition accuracy and has better generalization performance.

Key words：deep learning；action recognition；graph convolutional network；SVM；generalization error

0引言

近年來，隨著互聯網的快速發展和計算機技術的逐漸成熟，行為識別在人工智能領域的研究成果被廣泛應用于安保監控系統［1］、智能機器人［2］、人機交互［3］等方面。傳統的基于RGB視頻的行為識別方法由于受到光線、被遮擋、顏色變化等因素的干擾，其準確度無法得到保證。而基于骨骼的行為識別在特征提取時受光線、顏色變化等因素影響較小，具有更好的魯棒性，從而受到眾多研究者的廣泛關注。目前，基于深度網絡的骨骼行為識別主要分為基于循環神經網絡（recurrent neural networks，RNN）［4］、基于卷積神經網絡（convolutional neural networks，CNN）［5］以及基于圖卷積網絡（graph convolutional networks，GCN）［6］三種。基于RNN，文獻［7］提出長短時記憶網絡（long short-term memory，LSTM）來提取人體局部特征；基于CNN，文獻［8］提出3D卷積神經網絡來提取骨架的時空信息；基于GCN，文獻［9］首次提出時空圖卷積來提取空間骨骼信息和時間信息。而后基于該網絡涌現了大量優秀的圖卷積模型，其中，Zhang等人［10］提出了一種基于語義的圖卷積模型（semantics-guided neural network，SGN），將關節的語義信息（關節類型和幀索引）引入到網絡中，以提高模型的特征表示能力。

行為識別作為一個多分類任務，人們在關注網絡結構的同時也應該注意到損失函數的重要性。而目前在行為識別相關的圖卷積模型以及其他經典圖卷積模型中，大多是使用softmax 結合交叉熵損失函數作為模型的分類器，基于經驗誤差的交叉熵損失只關注預測值與真實值之間的差異，分類泛化性能受到一定的限制。另一方面，該損失在大樣本情況下的效果更顯著，對于行為識別來說，每一類的樣本數量有限，在這種情況下依然使用交叉熵損失可能會使得訓練結果過擬合。而基于結構誤差的支持向量機［11，12］將經驗誤差作為優化問題的約束條件，將異類樣本之間的間隔最大化作為優化目標，強調了樣本空間中樣本的分布情況對分類泛化性能的影響。SVM是典型的基于小樣本的分類器，因此在行為識別的應用場景下，SVM分類器與交叉熵相比有更好的泛化能力。

但是在一些應用場景中，簡單訓練大間隔分類器無法提升模型的分類性能，因此文獻［13］提出了最小類內方差支持向量機（minimum class variance support vector machine，MCVSVM），該算法指出在訓練分割超平面時不僅應該關注不同類之間的大間隔，同時需要關注整個樣本空間中樣本的分布信息；文獻［14，15］結合半徑間隔界理論，提出SVM分類器的泛化性能除了與異類樣本特征間的間隔有關，還應該與特征空間最小包圍球（minmum enclosing ball，MEB） 的半徑有關。該算法考慮到訓練樣本的特征在訓練過程中持續變化，而MEB的半徑也會隨之改變，因此能夠更加嚴格地約束訓練模型。

本文結合半徑間隔界的基本思想和基于語義的圖卷積網絡模型，提出一種基于半徑間隔界的SGN模型。本文算法規避了標準SVM算法的缺點，考慮到了變化的MEB半徑對特征分類的影響，使模型能訓練出類間間隔足夠大、類內分布足夠緊密的決策超平面。本文算法是一種基于目標函數的改進，受SVM的泛化誤差理論啟示，通過構建新的目標函數來指導模型的訓練過程。

1相關工作

本文所采用的基線方法是基于語義的圖卷積網絡，根據SVM在深度學習中的應用，分析了SVM分類器在圖卷積網絡中的可行性。本章將介紹SGN模型的基本操作以及SVM的基本原理。

1.1基于語義的圖卷積網絡

SGN的核心在于引入了關節語義和幀語義，融合關節的位置和速度信息，能夠提取到更多有用的特征。在空間上，骨架的任一關節都包含了豐富的語義信息，所以設計了關節模塊來獲取同一幀中不同關節間的相關性。在時間上，不同幀同一關節的位置信息不同，可以看出幀索引也包含了豐富的語義信息，所以設計了幀級模塊來獲取同一關節不同幀之間的相關性。將關節類型和幀索引信息作為關節信息和幀信息輸入到模型中，直接參與GCN層的消息傳遞過程，可以聚集更多關鍵特征。SGN的結構如圖1所示。

空間關節模塊內使用三個GCN層做殘差操作，以獲取更多特征信息，符號C代表幀的關節類型與關節的動態特性（DR）融合后并列輸出，再進行空間圖卷積操作。每個GCN層都包括空間關節圖卷積、BN和ReLU操作。在幀級模塊內進行時間卷積操作，使用前面卷積學習到的特征來表示第t幀第k個索引，下采樣（SMP）合并同一幀中所有的關節信息輸入到第一個CNN中，第一個CNN為時間卷積，用來模擬幀之間的依賴。第二個CNN使用1×1卷積核，通過升維來增強已學習到特征的表示能力，并通過最大池化（TMP）聚集所有幀，最后將得到的特征向量輸入到分類器中。

1.2SVM在深度學習中的應用

文獻［11］用SVM代替softmax引入到深度網絡中，說明了SVM在深度學習中的有效性。對于一個二分類問題，SVM的目標是找到最優的決策邊界，使得正負樣本到決策邊界的距離最大。對于一些特殊的錯誤樣本點，SVM為了增加模型的容錯力，引入了正則化項，SVM的損失函數為

L=12‖w‖2+λ∑Ni=1max（0，1-yi（wTzi+b））2（1）

其中：‖w‖為樣本點到決策邊界距離的倒數；λ為懲罰系數；yi表示樣本的標簽；zi表示樣本對應的特征向量；N為樣本總數；在深度網絡中，w和b分別為網絡中全連接層的權重和偏置。將網絡中提取到的特征與訓練好的權重和偏置輸入到SVM中計算總的損失，再反向傳播指導整個模型的學習。

2本文算法

將SVM的泛化誤差理論以及半徑間隔界理論引入到SVM的損失函數中，使分類模型在關注類間間隔的同時也關注到類內樣本分布的緊密度。本文用改進的SVM分類器來引導SGN學習到更具代表性的特征，提升了模型的泛化能力。本章將介紹所提改進的SVM模型的基本原理、模型的構建和求解。

2.1基于半徑間隔界的SVM

在深度網絡中常用softmax結合交叉熵損失函數對樣本進行分類預測，其通過最小化預測值與真實值的差異求解模型的最優解。預測值與真實值的差異也稱為經驗誤差，它是關于所有訓練樣本的平均損失，在樣本數據集足夠大的情況下采用最小化經驗誤差的方式或許能夠取得較好的效果，否則單純的最小化經驗誤差可能導致模型過擬合。在實際應用中，行為識別的訓練樣本是有限的，為了提高模型的泛化性能，引入了結構誤差。結構誤差能度量模型的復雜度或容錯度等，引入結構誤差能降低模型過擬合的風險，SVM是典型的基于結構誤差的分類器。不同于基于經驗誤差的交叉熵損失只關注預測值與真實值之間的差異，SVM強調了樣本空間中樣本的分布情況對分類泛化性能的影響。

雖然SVM在訓練過程中泛化性能較好，但其在求解決策邊界時只考慮了不同類的間隔最大化，忽略了所有樣本的最小包含球的半徑變化。事實上，在機器學習的分類任務中，特征提取器一經確定，最小包含球的半徑R就是固定的，其對SVM的泛化性能就沒有影響了。然而在深度網絡中，隨著網絡中每一輪權重和偏置的更新，作為特征提取器的GCN也在不斷變化，所以最小包含球的半徑也在不斷變化，此時如果僅僅強調類間的大間隔，那么類內間隔也會隨之增大，根據SVM的泛化誤差界理論可知，限制最小包含球半徑的變化可以提升SVM的泛化性能。

鑒于此項不足，在SVM泛化誤差界理論［16，17］的基礎上提出了基于半徑間隔界的SVM，本文算法指出SVM的泛化性能不僅與異類樣本的間隔有關，還與訓練過程中不斷變化的MEB的半徑有關，將MEB的半徑作為影響模型泛化性能的一個因素與SVM的大間隔原理相結合［18］，定義的損失函數為

L1=R2‖w‖2（2）

其中：R表示最小包含球的半徑；‖w‖表示正負樣本點到決策邊界距離的倒數。R的計算復雜度很高，需要求解二次規劃問題，為了減小模型復雜度、降低計算量，可以用等價變量去逼近它。由文獻［19］可知，特征空間中樣本到中心點的平均距離可以近似替換R，在不影響模型泛化能力的同時降低模型復雜度，提高計算效率。令zi=（xi，ω）表示深度網絡中提取到的特征向量，則的定義公式為

=1N∑Ni=1‖zi-a‖2（3）

N為樣本數量，a∈Rn為MEB的中心，其計算方式為

a=1N∑Ni=1Zi（4）

將復雜的求最小包含球的半徑轉換為簡單地求樣本到球中心的平均距離，極大地降低了計算量，節約了模型的訓練時間。用替換R后改進的損失函數為

L2=2‖w‖2（5）

其中：通過求解式（3）（4）獲得；w需要求解以下問題獲得。

（w，b）=arg min‖w‖2

s.t.（wTzi+b）≥1，i=1，…，N（6）

其中：（w，b）表示分類器參數權重和偏置；yi∈{+1，-1}表示第i個樣本的標簽。該問題可以轉換為一個可導的無約束優化問題，進而采用梯度下降法進行求解。

2.2模型的構建

對于SGN模型，如圖1所示，其輸入是骨架序列，提取關節的位置和速度信息，然后與關節的語義信息一起輸入模型中，網絡負責提取關節點與骨骼之間的時空特征，將提取到的特征輸入分類器中進行分類預測。傳統模型的分類器都是基于softmax和交叉熵的，其分類性能受到了限制。為了進一步提升模型的泛化能力，基于SVM的泛化誤差界理論，本文提出一種RMB驅動的SGN模型，該分類模型不僅關注類間的大間隔，還關注類內的密集度，即考慮到了MEB半徑對模型識別率的影響。本文所構建模型如圖2所示。

對行為識別任務來說，在實際應用中，識別任務往往是基于多類別的，在一個包含C類訓練樣本的數據集上，其損失函數可以寫為

L=∑Cc=12∑Cc=1‖wc‖2（7）

通過該公式計算模型的損失，通過求解式（3）（4）獲得；wc的值通過求解以下問題獲得。

（wc，bc）=arg min‖wc‖2 c=1，…，C

s.t.y（c）i（wTczi+bc）≥1i=1，…，N（8）

該問題可以轉換為一個等價的無約束優化問題，如下所示。

L（wc，bc）=‖wc‖2+λ∑Ni=1max（0，1-y（c）i（wTczi+bc））2（9）

這是一個關于wc和bc可導的無約束優化問題，可以采用梯度下降法進行求解。縱觀整個模型，輸入的數據首先經過中間的圖卷積層提取到特征信息，將特征輸入到SVM分類器中，計算特征向量到中心點的平均距離和SVM分類器的參數（wc，bc）值，因為值也在不斷變化，所以每輪傳播都需要計算更新的值。式（7）中和都是關于網絡層參數ω的函數，通過反向傳播來計算ω的梯度，更新網絡層的參數，直到前向計算到的損失小于一定值或達到停止條件為止。

3實驗

為了驗證本文算法的有效性，在兩個目前主流的行為識別數據集NTU RGB+D60［20］和NTU RGB+D120［21］上進行實驗，并將識別效果與目前較為經典和先進的方法進行對比。

3.1數據集

NTU RGB+D60這個大規模的室內捕捉數據集由文獻［20］提供，其中包含由三個Kinectv2攝像機收集的56 680個人體動作視頻。這些動作由60個類組成，包含握手、書寫等動作。為簡單起見，輸入幀數設置為300，小于300幀的序列在最后填充0。每個幀包含不超過2個骨架，每個骨架由25個關節組成。關節分布點如圖3所示。該數據集提供了兩種評價標準：a）跨人（X-sub），其中包含40 320個訓練視頻和16 560個評估視頻，并將40名實驗者分為兩組；b）跨視角（X-view），將攝像機2和3采集的視頻作為訓練樣本（37 920個視頻），將攝像機1采集的視頻作為評價樣本（18 960個視頻）。

NTU RGB+D120數據集是NTU RGB+D60數據集的擴展，該數據集在原數據集的基礎上增加了攝影視角、動作類別、演員人數、動作片段，比原數據集更大、更復雜、更具有挑戰性。這些視頻由120個類組成，同樣提出了兩個基準：a）跨人（X-sub120），將參演人分為兩組，構建訓練集和評價集（分別為63 026和50 922個視頻）；b）跨視角（X-set120），包含54 471個用于訓練的視頻和59 477個用于評估的視頻，它們根據收集者的距離和高度分開。

3.2實驗設置

本算法實驗所使用設備操作系統為Linux，所采用的GPU型號為NVIDIA TITAN X（Pascal），16 GB內存。實驗中所使用的深度模型和本文算法是基于Python 3.6和PyTorch 1.3.0實現的。表1列舉了本實驗的基本參數設置。

3.3懲罰系數λ對模型的影響

在半徑間隔界驅動的深度模型中，懲罰系數λ是用來平衡模型結構風險的，它的取值對模型的性能來說至關重要，不同的取值會給模型帶來不同的效果，因此本節通過實驗得出最佳的懲罰系數，并可視化不同的懲罰系數對模型泛化能力的影響情況。圖4為在NTU RGB+D60數據集上，在X-sub和X-view兩種標準下，懲罰系數λ的值在{0.01，0.1，1，10，100}內識別準確率的變化曲線。從圖中可以看出，在兩種評價標準下都在λ=1時模型取得最高的識別準確率，模型的泛化能力隨著λ的值增大或減小而降低，造成這樣的原因是因為過大的懲罰系數會讓模型對錯誤分類的樣本更加關注，更多地去調整被錯分的樣本，更容易出現過擬合的情況，過小的懲罰系數會讓模型忽略被錯分的樣本，也不利于模型的訓練。所以選擇一個合適的懲罰系數對模型的性能至關重要。根據實驗結果，選擇懲罰系數λ=1作為后續實驗的不變量。

3.4不同目標函數驅動下模型的效果對比

為了更直觀地看到本文算法對模型的改進效果，將使用交叉熵損失函數的模型與本文模型在NTU RGB+D60數據集的CS和CV評價標準上的準確率進行比較，準確率對比如圖5所示。可以看到，雖然本文所用目標函數所驅動的模型效果在前幾輪沒有交叉熵的效果好，但是經過45輪之后，以一定的優勢超越了交叉熵，說明了本文算法的有效性。

同時，圖6和7為樣本特征在訓練過程中不同epoch的分布情況，通過TSNE算法［30］分別對原SGN模型和本文模型在CS評價標準型提取到的特征進行降維處理，使得能夠清晰地看到在不同epoch下特征的聚集對比情況。從圖中可以看到，在訓練結束時，本文模型所提取到的特征相比于原模型來說，類間間隔更大，隨著訓練次數的疊加，不同類樣本的特征逐漸分散，同類樣本的特征逐漸緊密，在epoch為120次時能夠明顯看到不同類的特征間隔較大，有效說明本文算法可以增強特征表示，提升模型分類性能。

為了分析兩種算法對不同動作的分類效果，將softmax驅動的SGN（原模型）和RMB驅動的SGN（本文提出）在NTU RGB+D60數據集上的單個動作的識別準確率進行對比，每一個動作類別的結果對比如圖8所示。其中藍色代表本文提出的RMB驅動的SGN模型效果，橙色代表softmax驅動的SGN模型效果。

從圖中可以看出，對于第1、4、5、6等24類動作，本文算法都能在原模型的基礎上進一步提升其識別準確率，提升幅度基本都在1%～2%。像喝水（drinkWater）、梳頭發（brushHair）、撿東西（pickUp）等動作之所以能夠達到較高的識別率，是因為本文對目標函數的改進中考慮到特征空間的最小包含球對分類性能的影響，使得類別之間的分類邊界更加明顯；對于第3、8、9等18類動作，本文算法與原模型算法的分類效果相當；對于第2、10、12等18類動作，本文算法略低于原模型，主要是因為頭痛（headache）、脖子疼（neckPain）、點頭（nodHead）等動作的相似度較高，且動作集中于身體上半部分，特別是頭部，所以基于半徑間隔界的SVM分類器對于特征空間中相似易混淆的特征的選取有誤差，以至于選取不到合適的支撐點，造成分類識別準確率的下滑。綜合60類動作的分類效果來分析，本文算法對于大多數動作的識別準確率都有一定程度的提升，對于部分動作沒有明顯提升，對于相似度較高動作的分類效果不佳，如何辨別易混淆動作、提升這類動作的分辨度和識別率也是后續研究中要改進的方向。

3.5對比同類算法

為了驗證本文算法的有效性和先進性，與近兩年提出的行為識別相關經典主流的算法進行比較，其中包括首次將時空圖卷積與基于骨骼的行為識別相結合的經典模型ST-GCN［9］，在此基礎上進行改進的AS-GCN［22］、2s AS-GCN［23］，以及MS-G3D［24］和本文的基線模型SGN［10］，在NTU RGB+D60據集上的實驗結果對比如表2所示。

在NTU RGB+D60數據集上，本文算法在CS評價標準上實驗所得識別精度為89.3%，在本文所提的實驗環境下，與原模型相比提升了0.8%，在CV評價標準上實驗所得識別精度為94.7%，相比于原SGN模型提高了0.9%。參數量與原SGN模型一致，只是計算時間更久，因為模型中多了計算到中心點的平均距離等步驟需要消耗時間。盡管如此，本文模型所用的時間還是顯著低于其他復雜的網絡模型。同時，在NTU RGB+D120數據集上各經典算法，包括ST-LSTM［28］、2s-AGCN［23］、GAC-LSTM［25］、body pose evolution map［29］以及基線方法SGN與本文算法的實驗結果對比如表3所示。

在NTU RGB+D120數據集上，RMB驅動的SGN模型在CS評價標準上實驗所得識別精度為79.5%，在本文所提的實驗環境下，與原模型相比提升了0.7%，在CV評價標準上實驗所得識別精度為81.7%，相比于原SGN模型也提高了0.7%。觀察實驗結果可知，本文提出半徑間隔界驅動的SGN模型在提升識別準確率的同時不會增加模型的復雜度，這是因為整個模型的參數量沒有變。

本文算法也可適用于其他深度模型，在ST-GCN、AS-GCN兩個經典模型上使用本文算法進行實驗，在NTU RGB+D60數據集的CS評價標準下，其識別準確率都有一定的提升，再次證明了本文算法的有效性。對比結果如表4所示。

4結束語

SGN模型是目前基于骨架圖卷積的模型中集輕量級與較高識別準確率于一體的一個優秀模型，其使用softmax與交叉熵損失函數相結合作為模型的分類器，對于數據集所提供的樣本數量不夠豐富的行為識別任務而言，這種只關注模型經驗誤差的損失函數容易使模型過擬合，限制模型的泛化能力。基于此，本文受SVM泛化誤差理論的啟示，結合SVM分類器對模型進行了改進，使得模型不只是關注樣本真實值與預測值之間的差異，更強調了樣本空間中樣本的分布情況對模型分類效果的影響，進一步提高模型的泛化性能。在NTU RGB+D60和NTU RGB+D120兩個大型數據集下，其識別率均高于原模型和目前主流算法，通過實驗證明了本文算法的有效性。

本文算法是基于損失函數進行改進的，這種改進雖然能夠提升模型的泛化性能，但是依然存在一些不足之處，例如基于SVM的分類器有多個參數需要手動設置，暫時無法自動學習到合適系數。同時如何在抑制MEB半徑的同時增大類內和類間間隔，使得樣本的分布更加合理，也是后續研究中要探索的方向。

參考文獻：

［1］Wang Xiaogang.Intelligent multi-camera video surveillance：a review［J］.Pattern Recognition Letters，2013，34（1）：3-19.

［2］Takano W，Nakamura Y.Statistical mutual conversion between whole body motion primitives and linguistic sentences for human motions［J］.The International Journal of Robotics Research，2015，34（10）：1314-1328.

［3］Ellis C，Masood S Z，Tappen M F，et al.Exploring the trade-off between accuracy and observational latency in action recognition［J］.International Journal of Computer Vision，2013，101（3）：420-436.

［4］Rumelhart D E，Hinton G E，Williams R J.Learning representations by back-propagating errors［J］.Nature，1986，323（6088）：533-536.

［5］LeCun Y，Bottou L，Bengio Y，et al.Gradient-based learning applied to document recognition［J］.Proceedings of the IEEE，1998，86（11）：2278-2324.

［6］Kipf T，Fetaya E，Wang K C，et al.Neural relational inference for interacting systems［EB/OL］.（2018）［2022-04-19］.https：//arxiv.org/abs/180 2.04687.

［7］Du Yong，Wang Wei，Wang Liang.Hierarchical recurrent neural network for skeleton based action recognition［C］//Proc of the 54th IEEE Conference on Computer Vision and Pattern Recognition.Wa-shington DC：IEEE Computer Society，2015：1110-1118.

［8］Liu Hong，Tu Juanhui，Liu Mengyuan.Two-stream 3D convolutional neural network for skeleton-based action recognition［EB/OL］.（2017）［2022-04-19］.https：//arxiv.org/abs/1705.08106.

［9］Yan Sijie，Xiong Yuanjun，Lin Dahua.Spatial temporal graph convolutional networks for skeleton-based action recognition［C］//Proc of the 32nd AAAI Conference on Artificial Intelligence.Palo Alto，CA：AAAI Press，2018.

［10］Zhang Pengfei，Lan Cuiling，Zeng Wenjun，et al.Semantics-guided neural networks for efficient skeleton-based human action recognition［C］//Proc of the 59th IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2020：1112-1121.

［11］Tang Yichuan.Deep learning using linear support vector machines［EB/OL］.（2013）［2022-04-19］.https：//arxiv.org/abs/1306.0239.

［12］Vapink V，Chapple O.Bounds on error expectation for support vector machines［J］.Neural Computation，2000，12（9）：2013-2036.

［13］Zafeiriou S，Tefas A，Pitas I.Minimum class variance support vector machines［J］.IEEE Trans on Image Processing，2007，16（10）：2551-2564.

［14］Lin Liang，Wang Keze，Zuo Wangmeng，et al.A deep structured model with radius-margin bound for 3D human activity recognition［J］.International Journal of Computer Vision，2016，118（2）：256-273.

［15］肖遙，蔣琦，王曉明，等.半徑間隔界驅動卷積神經網絡模型的圖像識別［J］.西華大學學報：自然科學版，2021，40（2）：71-81.（Xiao Yao，Jiang Qi，Wang Xiaoming，et al.Image recognition via radius margin bound guided CNN model［J］.Journal of Xihua University：Natural Science Edition，2021，40（2）：71-81.）

［16］Cai Sijia，Zuo Wangmeng，Zhang Lei，et al.Support vector guided dictionary learning［C］//Proc of the 13th European Conference on Computer Vision.Berlin：Springer，2014：624-639.

［17］謝超宇，秦玉，張開放，等.基于最小類內方差的偽三維殘差網絡［J］.計算機應用研究，2021，38（12）：3801-3807.（Xie Chaoyu，Qin Yu，Zhang Kaifang，et al.Pseudo-3D residual network based on minimum intra-class variance［J］.Application Research of Computers，2021，38（12）：3801-3807.）

［18］Wang Xinggang，Wang Baoyuan，Bai Xiang，et al.Max-margin multiple-instance dictionary learning［C］//Proc of the 30th International Conference on Machine Learning.New York：ACM Press，2013：846-854.

［19］Wang Lei.Feature selection with kernel class separability［J］.IEEE Trans on Pattern Analysis amp; Machine Intelligence，2008，30（9）：1534-1546.

［20］Shahroudy A，Liu Jun，Ng T T，et al.NTU RGB+D：a large scale dataset for 3D human activity analysis［C］//Proc of the 55th IEEE Conference on Computer Vision and Pattern Recognition.Washington DC：IEEE Computer Society，2016：1010-1019.

［21］Liu Jun，Shahroudy A，Perez M，et al.NTU RGB+D 120：a large-scale benchmark for 3D human activity understanding［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2020，42（10）：2684-2701.

［22］Li Maosen，Chen Siheng，Chen Xu，et al.Actional-structural graph convolutional networks for skeleton-based action recognition［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2019：3590-3598.

［23］Lei Shi，Zhang Yifan，Cheng Jian，et al.Two-stream adaptive graph convolutional networks for skeleton-based action recognition［EB/OL］.（2019）［2022-04-19］.https：//arxiv.org/abs/1805.07694.

［24］Liu Ziyu，Zhang Hongwen，Chen Zhenghao，et al.Disentangling and unifying graph convolutions for skeleton-based action recognition［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2020：140-149.

［25］Si Chenyang，Chen Wentao，Wang Wei，et al.An attention enhanced graph convolutional LSTM network for skeleton-based action recognition［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2019：1227-1236.

［26］Song Yifan，Zhang Zhang，Wang Liang.Richly activated graph convolutional network for action recognition with incomplete skeletons［EB/OL］.（2019）［2022-04-19］.https：//arxiv.org/abs/1905.067 74

［27］Liu Jun，Shahroudy A，Xu Dong，et al.Spatio-temporal LSTM with trust gates for 3D human action recognition［C］//Proc of European Conference on Computer Vision.Berlin：Springer，2016：816-833.

［28］Wang Heng，Schmid C.Action recognition with improved trajectories［C］//Proc of the 52nd IEEE International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2013：3551-3558.

［29］Liu Mengyuan，Yuan Junsong.Recognizing human actions as the evolution of pose estimation maps［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2018：1159-1168.

［30］Maaten L，Hinton G.Visualizing data using t-SNE［J］.Journal of Machine Learning Research，2008，9（2605）：2579-2605.

收稿日期：2022-05-16；修回日期：2022-07-05基金項目：四川省自然科學基金資助項目（2022NSFSC0533）

作者簡介：吳琳（1999-），女，四川萬源人，碩士研究生，主要研究方向為機器學習、計算機視覺；許茹玉（1997-），女，山西永濟人，碩士研究生，主要研究方向為計算機視覺、圖像處理；粟興旺（1996-），男，四川成都人，碩士研究生，主要研究方向為計算機視覺、圖像處理；黃金玻（1998-），男，四川廣元人，碩士研究生，主要研究方向為機器學習、模式識別；王曉明（1977-），男（通信作者），四川簡陽人，副教授，碩導，博士，主要研究方向為模式識別、機器學習、圖像處理、計算機視覺（wangxmwm@163.com）．