MASGC：融合特定屏蔽機制的簡單圖卷積情感分析模型

摘要：方面級情感分析目前是基于圖卷積神經網絡（GCN）來整合句子的語法結構，它能夠有效地解決長范圍詞匯依賴不準確的問題，但GCN卻擁有不必要的復雜性和冗余計算。此外，它忽略了屬性與上下文之間相對位置的關系。為此，提出了一種新的模型來解決上述問題。首先建立雙向GRU層，接著使用位置感知轉換增加靠近方面詞的上下文詞的重要程度，然后通過移除非線性和折疊連續層之間的權重矩陣來降低復雜性;再與特定屏蔽層進行融合實現單層MASGC結構，生成一種新的基于檢索上下文的注意力機制;最后通過全連接層給出分類結果。該模型在五個數據集上進行了大量實驗，實驗結果表明其具有更高的準確率和更少的訓練時間。

關鍵詞：方面； 情感分析； 門控循環單元； 注意力機制

中圖分類號：TP18文獻標志碼：A

文章編號：1001-3695（2022）04-015-1049-05

doi：10.19734/j.issn.1001-3695.2021.09.0400

MASGC：simple graph convolutional emotion analysis model with specific masking

Jiang Yutong， Qian Xuezhong， Song Wei

（School of Artificial Intelligence amp; Computer Science， Jiangnan University， Wuxi Jiangsu 214122， China）

Abstract：At present， aspect-based sentiment analysis based on graph convolution neural network （GCN） integrates the grammatical structure of sentences. It can effectively solve the problem of inaccurate long-range lexical dependence. However， GCN has unnecessary complexity and redundant computing. In addition， it ignores the relative position relationship between attributes and context. This paper proposed a new model to solve these problems. Firstly， the model established a bidirectional GRU layer. Secondly， it used position-aware transformation to increase the importance of context words close to aspect words， and then reduced the complexity by removing nonlinearity and folding the weight matrix between successive layers. Thirdly， it fused the specific mask layer to realize the single-layer MASGC （masked simple graph convolutional networks） structure， and then generated a new attention mechanism based on retrieval context. Finally， it gave the classification results through the full connection layer. The model carries out a large number of experiments on five data sets. The experimental results show that it has higher accuracy and less training time.

Key words：aspect; sentiment analysis; gated round unit（GRU）; attention mechanism

0引言

情感分類，也稱觀點挖掘，是自然語言處理（natural language processing，NLP）中一項重要的任務［1，2］。不同于篇章級或句子級的情感分析，基于方面的情感分類旨在識別句子中明確給出實體屬性的情感極性［3］。例如，在一條筆記本評論中“From the speed to the multi-touch gestures this operating system beats Windows easily.”，方面級的情感分類需要識別出屬性“operating system”和“Windows”的情感極性分別是正向的和負向的。因此，實體屬性的極性依賴于上下文所包含的情感，在進行情感分析時，要充分利用上下文信息。早期工作主要基于人工特征工程，通過人工設計、特征選擇，如情感詞典、依賴信息等，再利用最大熵、支持向量機等傳統分類器進行情感分類［4～6］。鑒于手動特征劃分的效率不高，方面級情感分類的早期工作主要是基于神經網絡的方法。Chen等人［7］就提出基于句法分析樹和RNN結合的方法進行屬性情感分類。Dua等人［8］則創新了循環神經網絡，使其能夠實現自適應。邢鑫等人［9］在此基礎上建立了雙通道分類。雖然基于注意力的模型很有希望，但Gallego等人［10］指出它們不足以捕捉一個句子中上下文單詞和特定方面的句法依賴性。為了解決這個問題，Li等人［11］對注意權重施加了一些句法限制，但是句法結構的作用沒有得到充分的利用。Donatas等人［12］通過對上下文和屬性分別建模捕捉它們之間的關系，然后送入神經網絡中自適應地捕捉屬性詞和它的情感詞。Cho等人［13］則是對特定屬性的上下文信息進行獨立編碼，然后連接前向LSTM和反向LSTM網絡，最后隱藏層輸出的特征向量作為最終的表示，進行屬性情感分類。Sangeetha等人［14］則在上述基礎上進行改進，引入了注意力機制去選擇性地關注與屬性密切相關的內容信息。郭賢偉等人［15］則將其用于微博輿情分析的實例中。

除了基于注意力的模型之外，因為某一方面的情感通常是由關鍵短語而不是單個單詞來確定，卷積神經網絡（CNN）［16］被用于提取某一方面的描述性多詞短語。盡管如此，基于CNN的模型只能通過對單詞序列進行卷積操作將多單詞特征感知為連續單詞，但不足以確定由彼此不相鄰的多個單詞所表示的情感［17］。最近幾個研究利用基于圖的模型來結合句子的句法結構，并且已經顯示出比不考慮句法關系的模型更好的性能。Sun等人［18］采用的基本思想是將依賴樹轉換為一個圖，然后使用GCN。Huang等人［19］則改變GCN轉而使用圖注意力網絡（GAT）。Yao等人［20］試圖利用詞語共現信息進行情感分析。Qian等人［21］通過層次句法圖與詞匯圖融合來實現情感分析。

盡管這些方法很有效，但是面對體量不大的數據集時，圖神經網絡中的冗余計算就會導致訓練時間過長。此外由于其非線性網絡的延伸的特性，無法在圖神經網絡中進行深度擴展，一般只能添加一到兩層圖神經網絡，無法進一步提高準確率。

由于GCN從其深度學習譜系中繼承了相當大的復雜性，這對于要求較低的應用程序來說可能是不必要的。因此，實驗的目標是推導出一個最簡單的線性模型。通過重復去除GCN層之間的非線性并將結果函數壓縮為單一線性變換來降低GCN的過度復雜性。最終本文將文獻［22］的模型進行了優化，提出了一種新的MASGC模型來捕獲情感語義。該模型的主要創新之處為：a）提出了一種特定方面的SGC模型，擁有比傳統GCN更好的性能，同時計算效率更高，擬合的參數明顯減少；b）將屏蔽機制與SGC模型進行融合，形成一種基于自動檢索上下文的注意力機制從而提高準確率;c）加入位置感知轉換，增加靠近方面詞的上下文詞的重要程度，減少依賴解析過程中可能自然產生的噪聲和偏差。本文模型在五個基準數據集上進行了大量實驗，驗證了模型的有效性。

1簡單圖卷積網絡

本文區別于傳統GCN的方法，采用了新型的SGC來獲得面向方面的特征。

1.1圖卷積神經網絡

GCN與CNN和MLP類似，它為多層上每個特征節點xi學習一種新的特征表示，隨后將其用做線性分類器的輸入。對于第L個圖卷積層，使用矩陣HL-1表示所有節點的輸入節點，HL表示為輸出節點。當然，初始節點則由原始輸入特征表示：

H（0）=X（1）

其中：H（0）用于第一個圖卷積層的輸入。

一個L層GCN與一個L層MLP應用于圖中每個節點的特征向量xi是相同的，不同之處在于每個節點的隱藏表示在每一層的輸入時是取它鄰居的平均。在每個圖卷積層中，都是使用特征傳播、線性變換和逐點非線性激活三個策略來更新節點，如圖1所示。

圖1中每個步驟細節如下：

a）特征傳播。GCN與MLP在每一層的開始處，每個節點vi的特征hi與其局部鄰域中的特征向量進行平均，公式為

li←1di+1hl－1i+∑nj=1aij（di+1）（dj+1）hl－1j（2）

并且可以將整個圖的更新表示為一個簡單的矩陣操作。S表示為規范化鄰接矩陣，并自帶有自循環：

S=－12－12（3）

其中：是的度矩陣；=A+I 。式（2）中所有節點的同時更新成為一個簡單的稀疏矩陣乘法：

L←SHL－1（4）

式（4）平滑了沿著圖的邊的局部隱藏表示，并最終支持在局部連接的節點之間進行類似的預測。

b）特征變換和非線性轉換。局部平滑后，GCN與標準MLP相同。每一層與學習的權重矩陣ΘL相關聯，平滑后的隱藏特征表示線性變換。最后，在輸出特征表示HL之前，逐點應用ReLU激活函數。綜上所述，第L層的更新表示為

HL←ReLU（LΘL）（5）

第L層的逐點非線性變換之后，作為第L+1層的特征傳播。

c）分類器。對于節點分類而言，GCN與標準MLP類似。GCN的最后一層使用softmax分類器預測標簽。將n個節點的類預測表示為Yn×C，其中yic表示節點i屬于c類別的概率。由此，一個L層GCN的類預測可以寫成：

YGCN=softmax（SHL－1ΘL）（6）

其中：softmax（x）=exp（x）/∑Cc=1exp（xc）作為所有類別的歸一化操作。

1.2簡單圖卷積

在傳統的MLP中，層數變深加強了網絡的表達能力，因為它允許創建特征的層次結構，例如，第二層的特征構建在第一層特征的基礎上。在GCN中，每一層都有一個重要的函數：在每一層中，隱藏表示在1跳距離的鄰居之間求平均值。這意味著在L層之后，一個節點從圖中所有L跳的節點處獲得特征信息。這種效果類似于卷積神經網絡，深度增加了內部特征的感受野［23］。雖然卷積網絡可以在層數加深時提升性能［24］，但通常GCN的深度只限于為2～3層。假設GCN層之間的非線性不是最關鍵的，最關鍵的是局部鄰居的平均聚合操作。因此，考慮刪除每層之間的非線性轉換函數（如ReLU），只保留最終的softmax以獲得概率輸出，如圖2所示。得到的模型是線性的，但仍然具有與L層GCN相同的增加的感受野。

Y=softmax（S…SSXΘ1Θ2…ΘL）（7）

為了簡化表示法，通過將S提高到L次方SL，將與歸一化鄰接矩陣S的重復乘法壓縮為單個矩陣。此外，將權重重新參數化為單個矩陣Θ=Θ1Θ2…ΘL。生成的分類器變為

YSGC=softmax（SLXΘ）（8）

式（8）給出了SGC自然直觀的解釋，它分為特征提取器和分類器兩個部分，SLX是一個固定的（沒有參數）特征提取器或平滑器，而YSGC則是線性邏輯回歸分類器。由于SLX的計算不需要權重，所以可以把這部分計算作為特征的預處理步驟，整個模型的訓練可以直接簡化為對預處理特征SLX的多類邏輯回歸。邏輯回歸的訓練是一個凸優化問題，可以用任何有效的二階方法或隨機梯度下降法進行執行。在圖連通模式足夠稀疏的情況下，SGC的訓練比GCN快得多。

2模型結構

圖3給出了MASGC的概述。MASGC的組成（除SGC）將在本章的其余部分單獨介紹。

2.1詞嵌入和雙向GRU

給定一個包含n個詞的句子c={wc1，wc2，…，wcτ+1，…，wcτ+m，…，wcn－1，wcm}，從τ+1開始到τ+m一共標記m個方面詞語，通過使用GloVe將詞語映射為詞向量，從而得到嵌入矩陣E∈|V|×de，其中|V|表示一句話中單詞的個數，而de則表示單詞嵌入的維數。利用經過詞嵌入的句子輸入到一個雙向GRU，其產生隱藏狀態向量Hc={hc1，hc2，…，hcτ+1，…，hcτ+m，…，hcn－1，hcm}，集合中的hct∈2dh表示來自雙向GRU的時間步長t處的隱藏狀態向量，dh則表示為單向GRU輸出的隱藏狀態向量的維數。

2.2位置感知轉換

為了減少依賴解析過程中可能自然產生的噪聲和偏差，hli將輸入到SGC之前先對其進行位置感知轉換。

gli=F（hli）（9）

其中：F是一個分配位置權重的函數，采用該函數用于增強上下文中接近方面詞的重要性。該函數具體表示為

qi=1－τ+1－in1≤ilt;τ+1

0τ+1≤i≤τ+m

1－i－τ－mnτ+mlt;i≤n

（10）

F（hli）=qihli（11）

其中：qi表示第i個標記的位置權重，而一個L層的SGC輸出結果為HL={hL1，hL2，…，hLτ+1，…，hLτ+m，…，hLn－1，hLm}，hLt∈2dh。

2.3特定方面的mask

特定方面的mask層接收SGC帶來的輸出，在這一層中，屏蔽了非方面詞的隱藏狀態向量，并保持方面詞狀態不變。

hLt=01≤tlt;τ+1，τ+mlt;t≤n（12）

第0層mask層的輸出是面向方面的特征HLmask={0，…，hLτ+1，…，hLτ+m，…，0}。通過圖卷積，這些特征以一種既考慮句法依存性又考慮長期多詞關系的方式來感知方面周圍的上下文。

2.4基于檢索的注意力機制

基于面向方面的特征，通過一種新的基于檢索的注意機制，生成隱藏狀態向量Hc的精細表示。其思想是從隱藏狀態向量中檢索與方面詞語義相關的重要特征，并相應地為每個上下文詞設置基于檢索的注意權重。注意力權重的計算如下：

βt=∑ni=1hcTthLi=∑τ+mi=τ+1hcTthLi（13）

αt=exp（βt）∑ni=1exp（βi）（14）

這里，點積用于測量方面成分單詞和句子中單詞之間的語義相關性，使得方面特定的掩蔽，即零掩蔽，如式（13）所示。因此，預測的最終表示公式為

r=∑nt=1athct（15）

2.5情感分類

在獲得表示r之后，它被饋送到全連接層，隨后是softmax歸一化層，以產生概率分布p∈dp的極性決策空間：

p=softmax（Wpr+bp）（16）

其中：dp與情感標簽的維度相同；而Wp∈dp×2dh，bp∈dp分別是學習的權重和偏差，均為可訓練參數。

2.6模型訓練

該模型通過標準梯度下降算法進行訓練，具有交叉熵損失和l2正則化。

loss=－∑（c，p^）∈Clog P+λ‖Θ‖2（17）

其中：C表示數據集的集合;表示標簽;P表示P的第個元素;Θ表示所有可訓練參數;λ表示l2正則化系數。

3實驗結果及分析

3.1實驗數據

實驗在五個數據集上進行：一個最初由Dong等人構建包含Twitter帖子的數據集，而另外四個（LAP14、REST14、REST15、REST16）分別來自SemEval 2014 task 4、SemEval 2015 task 12和SemEval 2016 task 5，由筆記本電腦和餐館兩個類別的數據組成，并去除了數據集句子中帶有極性沖突或沒有明確方面的樣本。數據集的統計數據如表1所示。

3.2實驗過程及參數設置

實驗采用預處理GloVe向量來初始化單詞嵌入。隨后經過GRU生成300維的隱藏狀態向量。設H為隱藏向量，首先通過位置感知轉換q進行位置權重分配生成新的向量G。之后將G輸入進SGC網絡層，對其輸出結果T進行特定屏蔽。最后將屏蔽結果P與初始H進行融合，輸入全連接層進行分類。具體算法如下所示。

算法1位置感知轉換算法

輸入：隱藏向量H;句子長度L;非屏蔽起點m;非屏蔽長度n。

輸出：轉換位置后的隱藏向量G。

for i=0 to L-1

if （1≤i＜m+1）

q=1-（m+1-i）/L

if （m+1≤i＜m+n）

q=0

else

q=1-（i-m-n）/L

G［i］=q*H［i］

return G

算法2MASGC算法

輸入：位置感知算法輸出G;句子長度L;非屏蔽起點m;非屏蔽長度n。

輸出：注意力機制attention。

T=SGC（G，layer） //可根據layer設置SGC層數

for i=0 to L-1//P=MASK（T，m，n）屏蔽機制

if （m+1≤i≤m+n）

P［i］=T［i］

else

P［i］=0

return P

attention=softmax（Σ（DotMul（P，T））） //DotMul表示向量點積

實驗參數設置方面，使用Adam作為優化器，學習率0.001。l2正則化系數為105，batchsize大小為32。此外，MASGC層數設置為1，這是試點研究中表現最好的深度。實驗結果是通過隨機初始化平均3次運行獲得的，其中精度和宏觀平均F1被用做評估指標，并對準確度和宏觀平均F1進行了配對測試，以驗證模型在基線上取得的改進是否顯著。

3.3與基線模型比較

為了全面評估MASGC模型性能，本文將其和多個基線模型進行了比較。a）SVM，SemEval 2014 task 4的經典模型，采用傳統的特征提取方法;b）LSTM，使用LSTM的最后隱藏狀態向量來預測情感極性;c）MemNet，將上下文視為外部存儲器，并受益于多跳框架;d）RAM，使用多跳框架，并將輸出與RNN結合起來用于句子表示;e）GCAE，交互地建模方面和它們上下文之間的關系;f）ASGCN，在依賴關系樹上使用GCN來利用句法信息和單詞依賴關系。如表2所示，MASGC在Twitter和Rest15數據集上始終優于所有的比較模型，并在Rest14和Rest16數據集上與基線模型RAM相比取得了可觀結果，研究結果證明了MASGC的有效性。

3.4收斂分析

圖4為所有數據集上的收斂曲線，虛線代表ASGCN模型，實線代表MASGC模型，x軸為迭代次數，y軸為損失值，兩種模型都進行100次迭代。通過圖線對比可以看到，在Rest15、Rest16和Twitter三個數據集上，MASGC的損失更小，同時在除Rest14數據集上，MASGC模型的收斂速度會比ASGCN更加快速。

3.5可視化研究

為了更好地理解MASGC是如何工作的，給出了兩個測試樣本的案例研究，可視化這兩個例子的注意力分數、預測值和基本真相標簽。由于篇幅限制，僅在圖5中給出了ASGCN和MASGC的熱力圖結果。

例句一“The staff should be a bit more friendly.”中，MASGC和ASGCN可以識別其中的虛擬詞“should”，以及“bit”所帶有一些負面情感，從而正確預測方面詞“staff”的負極性。但在第二句“Food was okay nothing special.”中，由于“food”與“okay”距離較短，ASGCN將最大注意力分配給了“okay”，使之產生了偏見。而MASGC因為位置感知轉換與屏蔽機制的存在，正確預測了“food”的中性極性。

3.6層數對MASGC影響研究

由于對照模型中設計了GCN深度，實驗研究了層數對于ASGCN和MASGC的影響。將層數設定在{1，2，3，4，6，8，12}中，并在Rest15的數據集上檢查精度。實線表示MASGC模型，虛線表示ASGCN模型，結果如圖6所示。

從圖6中不難看出，MASGC隨著層數的增加準確率有所波動，但總體在單層時便擁有了最好的效果，而ASGCN在層數為2時擁有較好的效果，此后隨著層數加深準確率大幅度下降。同時，層數加深也帶來了新的思考，ASGCN受限于層數不能進一步提高準確率，但MASGC有著深度迭代的可能性。

3.7消融實驗

為了進一步驗證各成分對性能的影響程度，對MASGC進行了消融研究。結果如表3所示。首先，在去掉特定方面的掩蔽（MASGC-1）之后，該模型無法保持像RAM那樣的競爭力。這驗證了特定方面掩蔽的重要性。此外，與MASGC相比，MASGC-2（保留掩蓋機制，使用GCN替代SGC）雖然總體效果比不上前者，但在Lap14和Rest16仍然取得了些許優勢。

因此可以得出結論，SGC和mask機制在很大程度上有助于MASGC。但是簡化模型所帶來的參數量減少，使得SGC在對語法信息充備完整的數據集上比其GCN略遜一籌。

4結束語

該實驗重新優化了圖卷積網絡在方面級情感分類的模型，并指出了簡單圖卷積網絡在準確率與效率方面的優勢。同時創新性地將位置感知轉換和屏蔽機制與SGC進行融合，形成了一種基于檢索的新型注意力機制MASGC來進行基于方面的情感分類。實驗結果表明，MASGC的性能并不遜色于當前GCN。GCN的特征表示能力可能主要來自重復的圖形傳播（MASGC保留），而不是非線性特征提?。∕ASGC不保留）。

目前提出的模型結構依舊只是單層MASGC，雖然將非線性網絡簡化為線性網絡，但一般只需添加一到兩層圖神經網絡，便無法進一步提高準確率。如何進行深度擴展從而實現精度的進一步提升將會成為下一步工作的重點。

參考文獻：

[1]Chen Peng， Sun Zhongqian， Bing Lidong， et al. Recurrent attention network on memory for aspect sentiment analysis［C］//Proc of Conference on Empirical Methods in Natural Language Processing.2017：452-461.

［2]Hemmatian F， Sohrabi M K. A survey on classification techniques for opinion mining and sentiment analysis［J］.Artificial Intelligence Review，2019，52（3）：1495-1545.

［3]張亞洲，戎璐，宋大為，等.多模態情感分析研究綜述［J］.模式識別與人工智能，2020，33（5）：426-438.（Zhang Yazhou， Rong Lu， Song Dawei， et al. A survey on multimodal sentiment analysis［J］.Pattern Recognition and Artificial Intelligence，2020，33（5）：426-438.）

［4]Hajiali M. Big data and sentiment analysis： a comprehensive and systematic literature review［J］.Concurrency and Computation： Practice and Experience，2020，32（14）：1-15.

［5]Nguyen T H， Shirai K. PhraseRNN： phrase recursive neural network for aspect-based sentiment analysis［C］//Proc of Conference on Empirical Methods in Natural Language Processing.2015：2509-2514.

［6]Rao Yanghui， Lei Jingsheng， Liu Wenyin， et al. Building emotional dictionary for sentiment analysis of online news［J］.World Wide Web，2014，17（4）：723-742.

［7]Chen Yewang， Zhou Lida， Tang Yi， et al. Fast neighbor search by using revised k-d tree［J］.Information Sciences，2019，472（1）：145-162.

［8]Dua M， Aggarwal R K， Biswas M. Discriminatively trained continuous Hindi speech recognition system using interpolated recurrent neural network language modeling［J］.Neural Computing and Applications，2019，31（10）：6747-6755.

［9]邢鑫，孫國梓.基于雙通道詞向量的ACRNN文本分類［J］.計算機應用研究，2021，38（4）：1033-1037.（Xing Xin， Sun Guozi. Dual channel word vectors based ACRNN for text classification［J］.Application Research of Computers，2021，38（4）：1033-1037.）

［10]Gallego F O， Corchuelo R. Torii： an aspect-based sentiment analysis system that can mine conditions［J］.Software： Practice and Experience，2020，50（1）：47-64.

［11]Li Jinyan， Simon F， Zhuang Yan， et al. Hierarchical classification in text mining for sentiment analysis of online news［J］.Soft Computing： A Fusion of Foundations， Methodologies and Applications，2016，20（9）：3411-3420.

［12]Donatas M， Flavius F. ALDONAr： a hybrid solution for sentence-level aspect-based sentiment analysis using a lexicalized domain ontology and a regularized neural attention model［J］.Information Processing and Management，2020，57（3）：1-9.

［13]Cho H， Lee H. Biomedical named entity recognition using deep neural networks with contextual information［J］.BMC Bioinformatics，2019，20（1）：755-763.

［14]Sangeetha K， Prabha D. Sentiment analysis of student feedback using multi-head attention fusion model of word and context embedding for LSTM［J］.Journal of Ambient Intelligence and Humanized Computing，2021，12（3）：4117-4126.

［15]郭賢偉，賴華，余正濤，等.融合情緒知識的案件微博評論情緒分類［J］.計算機學報，2021，44（3）：564-578.（Guo Xianwei， Lai Hua， Yu Zhengtao， et al. Emotion classification of case-pelated microblog comments integrating emotional knowledge［J］.Chinese Journal of Computers，2021，44（3）：564-578.）

［16]Xue Dixiu， Zhang Rong， Feng Hui， et al. CNN-SVM for microvascular morphological type recognition with data augmentation［J］.Journal of Medical and Biological Engineering，2016，36（6）：755-764.

［17]Huang Binxuan， Carley K M. Parameterized convolutional neural networks for aspect level sentiment classification［C］//Proc of Conference on Empirical Methods in Natural Language Processing.2018：2354-2363.

［18]Sun Kai， Zhang Richong. Aspect-level sentiment analysis via convolution over dependency tree［C］//Proc of Conference on Empirical Methods in Natural Language Processing.2019：5678-5687.

［19]Huang Binxuan， Carley K M. Syntax-aware aspect level sentiment classification with graph attention networks［C］//Proc of Conference on Empiri-cal Methods in Natural Language Processing.2019：197-206.

［20]Yao Liang， Mao Chengsheng， Luo Yuan. Graph convolutional networks for text classification［C］//Proc of Conference on Association for the Advancement of Artificial Intelligence.Palo Alto，CA：AAAI Press，2019：7370-7377.

［21]Qian Tieyun， Zhang Mi. Convolution over hierarchical syntactic and lexical graphs for aspect level sentiment analysis［C］//Proc of Conference on Empirical Methods in Natural Language Processing.2020：6757-6766.

［22]Zhang Chen， Li Qiuchi， Song Dawei.Aspect-based sentiment classification with aspect-specific graph convolutional networks［C］//Proc of Conference on Empirical Methods in Natural Language Processing.2019：4567-4577.

［23]Ahmad T， Jin Lianwen， Lin Luojun， et al. Skeleton-based action recognition using sparse spatio-temporal GCN with edge effective resistance［J］.Neurocomputing，2021，423（4）：389-398.

［24]Zheng Jin， Wang Yang， Xu Wanjun， et al. GSSA： pay attention to graph feature importance for GCN via statistical self-attention［J］.Neurocomputing，2020，417（4）：458-470.

收稿日期：2021-09-18；

修回日期：2021-11-12

基金項目：國家自然科學基金資助項目（62076110）；江蘇省自然科學基金資助項目（BK20181341）

作者簡介：姜宇桐（1997-），男（通信作者），江蘇南通人，碩士研究生，主要研究方向為自然語言處理（1874315982@qq.com）；錢雪忠（1967-），男，江蘇無錫人，副教授，碩導，碩士，主要研究方向為數據庫技術及其應用；宋威（1981-），男，湖北恩施人，教授，博導，博士，主要研究方向為數據挖掘、模式識別.