基于膠囊網絡的跨語言方面級情感分析

梁慧杰 朱曉娟 任萍

收稿日期：2023-06-09

基金項目：2022年度安徽省高校重點項目（2022AH050821）

DOI：10.19850/j.cnki.2096-4706.2024.04.012

摘? 要：跨語言情感分析的目的是利用數據資源豐富的源語言幫助資源較少的目標語言進行情感分析。針對中文文本標注語料較少和不同方面項的不同情感極性特征重疊影響文本情感分析準確率的問題，提出一種基于膠囊網絡的跨語言方面級情感分類方法BBCapNet，該方法利用BERT模型學習源語言的語義特征訓練詞向量作為嵌入層，然后利用BiLSTM學習上下文信息，利用膠囊網絡（Capsule Network）獲取文本中局部信息和整體情感極性間的關系，從而提取不同方面項的情感特征，最后使用歸一化指數函數（Softmax）進行分類。通過與其他主流方法進行對比論證，論證結果表明，該方法在跨語言方面級情感分類效果上有顯著提升。

關鍵詞：膠囊網絡；情感分類；BERT；跨語言

中圖分類號：TP391.1? 文獻標識碼：A? 文章編號：2096-4706（2024）04-0056-05

Cross-language Aspect Level Sentiment Analysis Based on Capsule Network

LIANG Huijie， ZHU Xiaojuan， REN Ping

（School of Computer Science and Engineering， Anhui University of Science & Technology， Huainan? 232001， China）

Abstract： The purpose of cross-language sentiment analysis is to use source languages with abundant data resources to assist target languages with limited resources in sentiment analysis. A cross-language aspect level sentiment classification method BBCapNet based on Capsule Networks is proposed to address the issue of limited corpus for Chinese text annotation and overlapping sentiment polarity features of different aspects， which affects the accuracy of text sentiment analysis. This method uses the BERT model to learn semantic features of the source language and train word vectors as embedding layers， and then uses BiLSTM to learn contextual information， The Capsule Network is used to obtain the relationship between the local information and the overall sentiment polarity in the text， so as to extract the sentiment characteristics of different aspects. Finally， the normalized exponential function （softmax） is used for classification. By comparing with other mainstream methods， the results show that this method has a significant improvement in cross-language aspect level sentiment classification.

Keywords： Capsule Network; sentiment classification; BERT; cross-language

0? 引? 言

電商的蓬勃發展，使人們的購物方式產生了變革，隨之產生了海量的商品評論數據。商品評論中蘊含著已購買用戶對產品及其服務的情緒信息。這些商品評論數據既可以幫助消費者快速了解產品的真實信息又有助于商家判斷用戶喜好，快速地做出市場決策。

方面級情感分類任務的目標是判斷文本中特定方面項對應的情感極性。方面級情感分類能夠判斷評論中不同方面的情感極性。比如，當輸入語句“這家餐廳的服務很好”和方面項“服務”，可以提取出由方面項對應的情感極性“正向”。實現文本的細粒度情感分類，在社交媒體級商品評論等領域中有著較強的應用需求。目前方面級情感分類研究集中在使用深度神經網絡。近年來，預訓練語言模型[1-3]已成功地應用在自然語言處理的各個任務中。預訓練語言模型也已經成為方面級情感分類任務模型的主流構建模塊[4-8]。預訓練語言模型的引入取得了不錯的效果，但依然存在著忽視不同方面項的不同情感極性特征重疊影響文本情感分析準確率的問題。而且訓練一個好的情感分類模型，需要大量的標注語料[9]，而方面級情感分類任務不僅需要像傳統情感分類任務一樣標注文本的情感極性還需要標注對應的方面項。標注任務目前主要依靠人工標注，需要耗費大量的時間和人工成本。方面級情感分類標注語料資源有限且主要是英文數據集[10]。中文公開的標注語料匱乏，因此我們引入跨語言情感分類，將英文作為源語言利用其較為豐富的標注語料來提取語義信息，幫助中文數據做情感分類以彌補中文語料不足的缺陷，提高中文情感分類準確率。

針對中文語料匱乏和情感特征重疊的問題，提出了一種基于膠囊網絡的跨語言方面級情感分類模型BBCapNet。首先，利用Bert預訓練語言模型將文本轉化為詞向量；其次，采用雙向長短期記憶網絡學習上下文文本信息；然后利用膠囊網絡的動態路由區分重疊特征；最后，利用歸一化指數函數進行情感分類。

1? 相關工作

1.1? 方面級情感分析

與粗粒度情感分類相比細粒度情感分類通常被用于研究精度較高的大型數據集[11]。在大多數情況下，句子可能包含多個具有不同情緒的方面。因此，為了提高的準確性，有必要從不同的方面對情感進行分類?，F有的方面級情感分類方法可分為三類：1）基于情感詞典的方法，可以根據其相關的情感屬性對這些方面進行分類和分類。但是基于情感詞典的方法的效率取決于情感詞典的質量。2）基于傳統機器學習的情感分類方法主要在于情感特征的提取以及分類器的組合選擇，不同分類器的組合選擇對情感分析的結果有存在一定的影響，這類方法在對文本內容進行情感分析時常常不能充分利用上下文文本的語境信息，存在忽略上下文語義的問題。3）基于深度學習的方法是使用各種神經網絡來進行的，典型的神經網絡學習方法有：卷積神經網絡、遞歸神經網絡、長短時記憶網絡等。現階段的研究更多的是通過對預訓練模型的微調和改進，從而更有效地提升實驗的效果。

遞歸神經網絡（RNN）是文本分類中應用最廣泛的深度神經網絡。LSTM是RNN的一種變體，可以學習長期的依賴關系。BiLSTM由兩個方向相反的長短期記憶網絡組成，每個長短期記憶網絡都可以學習到一個時間步驟的隱藏狀態，然后將兩個方向的隱藏狀態拼接起來作為輸出。因此BiLSTM可以同時利用文本的正向和反向信息，捕捉文本中的上下文信息。為了模擬方面和句子上下文之間的交互作用，Tang等[12]提出的TC-LSTM模型通過連接方面項與句子，構建目標詞和上下文詞之間的聯系。考慮到句子的不同部分在情感分類過程中的重要程度不同，Wang等[13]提出了基于注意力的LSTM方面嵌入模型ATAE-LSTM，揭示了句子的情感極性不僅由內容決定，而且與所關注的方面高度相關。

1.2? 膠囊網絡

膠囊網絡的核心思想是用膠囊層取代傳統的卷積神經元。在利用卷積神經網絡（CNN）提取特征的過程中，卷積核的大小決定了CNN可以檢測到的特征大小，這使得該模型在文本領域發展受限。在文本領域，卷積核太大會使模型難以學習單詞之間的關系，而卷積核太小會使模型無法處理倒置、代詞等復雜的句子結構。池化操作則會導致文本中大量空間信息丟失。相比之下，膠囊網絡不會受到檢測單元的結構和大小的限制，可以自動更新接受域，從而學習文本復雜的內部關系[14]。膠囊層是由神經元組成的，不同的是普通神經元接受標量輸入再輸出標量，而膠囊網絡接受向量輸入并輸出向量。如圖1所示的膠囊結構。

圖1? 膠囊層結構

膠囊網絡被提出后，Kim等[15]對于膠囊網絡在文本分類領域的發展進行了論證。Zhao等[16，17]最先在文本分類領域使用膠囊網絡，并針對文本分類任務提出了三個策略減少背景或者噪音膠囊對網絡的影響。此后又提出可擴展的膠囊網絡并將其應用于多標簽分類和問答領域。為解決一詞多義問題，Du等[18，19]將膠囊網絡用于方面級情感分類任務中，使用膠囊網絡來構建語義的矢量化表示。張[20]在膠囊網絡模型上增加了一個嵌入增強模塊，使其可以提取長文本上下文語義同時有針對性的重視文本中的關鍵內容。程等[21]將卷積神經網絡與雙向GRU網絡融合應用于文本情感分析，從而更為全面地提取文本情感特征。以上研究表明，膠囊網絡適用于在文本領域。因此，本文將采用膠囊網絡來區分重疊特征。

2? BBCapNet模型

基于膠囊網絡的跨語言方面級情感分類模型BBCapNet采用Bert-base（Chinese）模型得到詞向量表示，將Bert-base（Chinese）模型的輸出作為BiLSTM的輸入，再將BiLSTM的輸出作為膠囊網絡層的輸入，最后經過全連接層和Softmax得到最終的情感分類結果。模型如圖2所示。

圖2? 模型框架圖

2.1? 詞嵌入層

將源語言數據集Laptop作為訓練集。目標語言中文京東電商評論數據集作為測試集。首先利用谷歌翻譯將源語言數據集翻譯為目標語言，然后通過Bert-base（Chinese）模型對翻譯為中文的訓練集和測試集進行編碼。Sun等人[4]提出了為方面級情感分析的模型輸入構建輔助句的方法。我們將這一方法用于構建帶有方面類別的句子表示。將句子和帶有方面類別的構造句連成一對。即[CLS]構造句（ai）[SEP]s[SEP]，其中s是給定的句子，ai是s對應的某一方面類別，構造句（ai）是為方面類別ai構造的問句。例如，給定句子“雙十一買太劃算了”，其對應的方面項為“價格”，生成句子對“你覺得價格怎么樣？雙十一買太劃算了”。將句子對輸入到Bert-base（Chinese）后，得到有方面項信息的句子s的向量表示v。句子對式的輸入，使得方面項與句子的相對位置固定，有益于膠囊網絡獲取方面項信息和句子整體情感信息的關系。

2.2? 語義提取層

將得到的向量v輸入到BiLSTM層。BiLSTM包括正向LSTM和反向LSTM，通過正向LSTM和反向LSTM分別獲取正向讀取文本信息和反向讀取文本信息時的特征，再將正向和反向得到的特征進行整合，如式（1）至式（3）所示：

（1）

（2）

（3）

其中，hf表示正向LSTM得到的特征向量，hb表示反向LSTM得到的特征向量，·表示向量拼接。在BiLSTM層每一次訓練時，模型以30%的概率使一些節點失效，每一次失效的節點不完全相同，從而使得模型在每次訓練過程中都是在訓練一個獨一無二的模型，最終集成在同一個模型中。從而達到預防過擬合的作用。

得到向量h后，我們將其輸入到膠囊網絡層，初級膠囊層通過簡單的通道切割將特征向量劃分為多個初級膠囊h = {u1，u2，…，ui，…，un}然后將位置信息通過仿射變換得到高層膠囊，如式（4）所示：

（4）

其中，ui表示第i個初級膠囊， 其表示經仿射變換得到的高層膠囊，Wij表示其仿射權重。然后，膠囊網絡將根據式（5）動態路由高層膠囊。動態路由是一個基于權重Cij的加權和。權重Cij的計算方法如式（6）所示：

（5）

（6）

膠囊層使用協議路由，以類似于聚類的方式給予向量權重。這個過程是通過對低層膠囊i到高層膠囊j的先驗概率bij進行Softmax操作來完成的。在投影后的每個空間中，越接近簇中心權重越大。膠囊網絡使用路由機制來生成高級特征，根據不同詞匯被考慮的程度分配不同的耦合系數，以解決特征重疊的問題[22]。最后為保證輸出概率vj的大小保持在0和1之間使用了Squashing函數來進行歸一化，如式（7）所示：

（7）

2.3? 情感分類層

Softmax層的作用是：將向量映射為（0，1）之間的值，所有值之和為1，即將向量映射為概率，并給出分類結果。將膠囊網絡層的輸出經過flatten層之后經過Softmax函數得到最終的情感分類極性。

3? 實驗

3.1? 實驗設置

實驗采用SemEval-2016 Task5中的Laptop評論數據集作為訓練集，實驗所用的測試集并從京東電商平臺爬取關于華為MateBook 16的用戶評論。為了統一數據集中的方面類別，將所有評論的方面類別分為質量、性能、硬件、價格、電池、設計、總體。每條評論包含一個或多個方面。將評論的情感分類為對商品有明顯好感的正面，對商品有明顯反感的負面，以及對商品沒有明顯情感傾向或前后有矛盾的中性。Laptop評論數據訓練集共包含2 082條數據，其中正面評論1 208條，中性評論164條，負面評論710條。京東電商評論數據集共601條，其中正面評論486條，中性評論49條，負面評論66條。由于中文電商評論存在默認好評的現象，在爬取的京東評論數據中去除了系統默認好評。具體實驗環境如表1所示。

表1? 環境配置

實驗環境 具體配置

操作系統 Windows 10

CPU Intel core i5

GPU Tesla P100-PCIE-16 GB

編程語言 Python 3.9

深度學習框架 Keras

在深度學習模型訓練的過程中，實驗參數的設置不同會產生不同的結果，經過多次實驗對比，最終將參數設置如下：BERT編碼器生成的表示向量為768維，BiLSTM生成128維的向量，膠囊網絡生成5個5維的表示向量，dropout設置為0.3，SGD優化器的學習率設置為0.000 1。使用正確率（Accuracy， Acc）和綜合評價指標F1值作為衡量模型性能的指標。

3.2? 對比實驗

將BBcapNet與其他深度學習模型在相同數據集上進行二分類和三分類的對比實驗，其中二分類實驗為去除中性評論，只對正面和負面評論做分類。實驗對比如下深度學習模型。

W2V_LSTM：使用Word2Vec訓練詞向量，由LSTM進行特征提取再分類。

Bert_LSTM：使用Bert訓練詞向量，由LSTM進行特征提取再分類。

Bert_BiLSTM：使用Bert訓練詞向量，由BiLSTM進行特征提取再分類。

Multi_Bert：陳等[23]提出的一個基于多通道Bert的跨語言屬性級情感分類方法。

noQA_BBcapNet：代表本文提出的模型但不使用構造句輸入，輸入只有句子信息沒有方面項信息。QA指第三節中提到的Question+Answer類型的輸入構造句。

BBcapNet：指本文提出的模型。

3.3? 實驗結果與分析

本文在3.1節提出的數據集上進行了多組對比實驗，在實驗過程中記錄了本文所提出的模型與其他模型的對比實驗數據。實驗結果如表2所示。圖3為各模型在三分類時的分類正確率對比圖。

從圖3的可視化結果可以看出，BBcapNet的分類準確率高于其他模型。從表2可以看出，BBcapNet比文獻[23]中提出的Multi_Bert在二分類問題上的準確率和F1值分別提高3.5%和2.8%，三分類問題上的準確率和F1值分別提高了3.5%和10.7%，說明膠囊網絡比Multi_Bert使用的金字塔層提取文本特征的效果更好。通過對比Bert_LSTM和W2V_LSTM的實驗結果可以發現，使用預訓練語言模型Bert作為編碼器無論是二分類任務還是三分類任務上的準確率均有提高，這說明Bert相對于Word2Vec可以獲取更高效的文本向量表示。Bert_BiLSTM比Bert_LSTM的二分類準確率提高了3.8%，三分類準確率和F1值分別提高了3.0%和2.3%，說明BiLSTM雙向提取文本信息的方法比LSTM單向提取文本信息的方法效果更好。BBcapNe比noQA_BBcapNe在二分類和三分類上的準確率都有提升，說明方面項信息的加入有利于模型學習特定方面項與情感極性的關系。BBcapNet比Bert_BiLSTM在三分類問題上的準確率和F1值分別提高了5.6%、2.3%，說明膠囊網絡的加入使模型學習到了部分Bert_BiLSTM未能學習到的細節信息。

表2? 實驗結果

模型 二分類 三分類

Acc F1 Acc F1

Bert_LSTM 88.0 89.1 76.7 78.1

W2V_LSTM 71.5 75.9 58.7 62.2

Bert_BiLSTM 91.8 90.6 79.7 80.4

Multi_Bert 90.5 91.1 80.6 72.0

noQA_BBcapNet 93.4 93.6 79.5 80.5

BBcapNet 94.0 93.9 84.1 82.7

圖3? 各模型準確率對比圖

3.4? 性能分析

將BBcapNet與其他5組模型在三分類數據集上花費的時間進行對比分析，T表示一輪迭代訓練花費的時間，單位為秒，實驗結果如表3所示。從表中可以看出，模型越復雜訓練時間越長，Bert模型訓練時間遠多于Word2Vec模型的訓練時間。

表3? 模型訓練時間

模型 T / s

QA_BBcapNet 63

BBcapNet 63

Multi_Bert 92

Bert_BiLSTM 62

Bert_LSTM 61

W2V_LSTM 16

4? 結? 論

提出了一種基于膠囊網絡的跨語言方面級情感分類方法BBCapNet，該方法將源語料訓練集翻譯為目標語料后利用BERT模型訓練詞向量作為嵌入層解決中文文本標準語料不足的問題，然后利用BiLSTM學習上下文信息，利用膠囊網絡獲取文本中局部信息和整體情感傾向的關系，緩解了不同方面項的不同情感傾向重疊導致的文本分類準確率較低的問題。最后使用歸一化指數函數進行分類，通過與多種方法進行對比表明，此方法在跨語言方面級情感分類效果上有顯著提升。由于負面評論樣本較少，負面評論的分類準確率和F1值都低于正面評論。后續的研究將重點關注如何提升少樣本和樣本不均衡時模型的分類準確率。

參考文獻：

[1] BROWN T B，MANN B，RYDER N，et al. Language Models are Few-Shot Learners [J/OL].（2020-07-22）.https：//arxiv.org/abs/2005.14165.

[2] YANG Z，DAI Z，YANG Y，et al. XLNet： generalized autoregressive pretraining for language understanding [C]//NIPS'19： Proceedings of the 33rd International Conference on Neural Information Processing Systems.Red Hook：Curran Associates Inc.，2019：5753-5763.

[3] DEVLIN J，CHANG M W，LEE K，et al. BERT： Pre-training of Deep Bidirectional Transformers for Language Understanding [J/OL].arXiv：1810.04805 [cs.CL].[2023-05-06].https：//arxiv.org/abs/1810.04805v2.

[4] SUN C，HUANG L Y，QIU X P. Utilizing BERT for Aspect-Based Sentiment Analysis via Constructing Auxiliary Sentence [J/OL].arXiv：1903.09588 [cs.CL].[2023-054-06].https：//arxiv.org/abs/1903.09588v1.

[5] XU H，LIU B，SHU L，et al. BERT Post-Training for Review Reading Comprehension and Aspect-based Sentiment Analysis [J/OL].arXiv：1904.02232 [cs.CL].[2023-05-06].https：//arxiv.org/abs/1904.02232.

[6] LI Y C，YIN C X，ZHONG S H，et al. Multi-Instance Multi-Label Learning Networks for Aspect-Category Sentiment Analysis [J/OL].[2023-05-06].https：//arxiv.org/abs/2010.02656v1.

[7] KE Z X，XU H，LIU B. Adapting BERT for Continual Learning of a Sequence of Aspect Sentiment Classification Tasks [J/OL].arXiv：2112.03271 [cs.CL].[2023-05-06].https：//arxiv.org/abs/2112.03271.

[8] RIETZLER A，STABINGER S，OPITZ P，et al. Adapt or Get Left Behind：Domain Adaptation through BERT Language Model Finetuning for Aspect-Target Sentiment Classification [C]//Proceedings of the 12th Language Resources and Evaluation Conference.2020：4933-4941.

[9] BEN DAVID S，BLITZER J，CRAMMER K，et al. A theory of learning from different domains [J].Machine learning，2010，79：151-175.

[10] 趙傳君，王素格，李德玉.跨領域文本情感分類研究進展 [J].軟件學報，2020，31（6）：1723-1746.

[11] MEYER B，BIKDASH M，DAI X F. Fine-grained financial news sentiment analysis [C]//SoutheastCon 2017.Concord：IEEE，2017：1-8.

[12] TANG D，QIN B，FENG X，et al. Effective LSTMs for Target-Dependent Sentiment Classification [J/OL].arXiv：1512.01100 [cs.CL].[2023-05-06].http：//arxiv.org/abs/1512.01100.

[13] WANG Y Q，HUANG M L，ZHU X Y，et al. Attention-based LSTM for Aspect-level Sentiment Classification [C]//Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing.Austin：Association for Computational Linguistics，2016：606-615.

[14] WANG J，DU J P，SHAO Y X，et al. Sentiment Analysis of Online Travel Reviews Based on Capsule Network and Sentiment Lexicon [J/OL].arXiv：2206.02160 [cs.CL].[2023-05-07].https：//arxiv.org/abs/2206.02160.

[15] KIM J，JANG S，CHOI S. Text Classification using Capsules [J].Neurocomputing，2020，376：214-221.

[16] ZHAO W，YE J B，YANG M，et al. Investigating? Capsule Networks with Dynamic Routing? for? Text Classification [C]//Conference on Empirical Methods in Natural Language Processing.Brussels：ACL，2018：3110-3119.

[17] ZHAO W，PENG H Y，EGER S，et al. Towards Scalable and Reliable Capsule Networks for Challenging NLP Applications [J/OL].arXiv：1906.02829 [cs.CL].[2023-05-06].https：//arxiv.org/abs/1906.02829.

[18] DU C，SUN H，WANG J，et al. Investigating Capsule Network and Semantic Feature on Hyperplanes for Text Classification [C]//Empirical Methods in Natural Language Processing.Hong Kong：Association for Computational Linguistics，2019：456-465.

[19] DU C，SUN H，WANG J，et al. Capsule Network with Interactive Attention for Aspect-Level Sentiment Classification [C]//Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing （EMNLP-IJCNLP）.Hong Kong：Association for Computational Linguistics，2019：5489-5498.

[20] 張旭東.基于深度學習的情感分析技術研究與應用 [D].成都：電子科技大學，2021.

[21] 程艷，孫歡，陳豪邁，等.融合卷積神經網絡與雙向GRU的文本情感分析膠囊模型 [J].中文信息學報，2021，35（5）：118-129.

[22] 徐志棟，陳炳陽，王曉，等.基于膠囊網絡的方面級情感分類研究 [J].智能科學與技術學報，2020，2（3）：284-292.

[23] 陳瀟，王晶晶，李壽山，等.基于多通道 BERT的跨語言屬性級情感分類方法 [J].中文信息學報，2022，36（2）：121-128.

作者簡介：梁慧杰（1999—），女，漢族，安徽阜陽人，碩士研究生在讀，研究方向：自然語言處理；通訊作者：任萍（1982—），女，漢族，安徽泗縣人，講師，博士，研究方向：自然語言處理。