基于注意力網絡的情感分析中的對比句處理

收稿日期：2022-02-17；修回日期：2022-04-15" 基金項目：國家自然科學基金資助項目（61972182）；江蘇省高等職業教育高水平專業群建設項目（蘇教職函〔2021〕1號）；江蘇省職業教育教師教學創新團隊資助項目（蘇教辦師函〔2021〕23號）；江蘇高校“青藍工程”資助項目（蘇教師函〔2021〕11號）

作者簡介：張蓉（1980-），女，副教授，碩士研究生，主要研究方向為自然語言處理（95291188@qq.com）；劉淵（1967-），男，教授，博導，主要研究方向為數字媒體、網絡安全；李陽（1990-），男，講師，博士研究生，主要研究方向為圖像處理與計算機視覺.

摘 要：

方面級情感分析旨在確定評論中對特定方面的情緒極性，但目前較少研究復雜句對情感分類的影響。基于此，提出了一種基于BERT和帶相對位置自注意力網絡的方面級情感分析模型。首先，通過動態加權采樣方法平衡對比句稀缺的問題，使模型學習到更多的對比句特征信息；其次，利用雙頭自注意力網絡提取帶相對位置的特征表示，與預訓練模型得到的帶絕對位置的特征表示聯合訓練；最后，通過標簽平衡技術對模型正則化處理，穩定模型對中性樣本的辨識。該模型在SemEval 2014 Task 4 Sub Task 2上進行實驗，在兩個數據集上的accuracy和macro-F1指標都有所提高。實驗結果表明，該模型在對比句分類上是有效的，同時在整個測試集上分類也優于其他基準模型。

關鍵詞：方面級情感分析； 對比句； 注意力網絡； BERT模型； 相對位置編碼

中圖分類號：TP391"" 文獻標志碼：A"" 文章編號：1001-3695（2022）09-021-2695-06

doi： 10.19734/j.issn.1001-3695.2022.02.0052

Handling contrastive sentences in sentiment analysis based on attention network

Zhang Rong1，2， Liu Yuan2， Li Yang1

（1.School of Internet of Things Engineering， Jiangsu Vocational College of Information Technology， Wuxi Jiangsu 214153， China; 2.School of Artificial Intelligence amp; Computer Science， Jiangnan University， Wuxi Jiangsu 214122， China）

Abstract：Aspect-level sentiment analysis aims to determine the sentiment polarity towards specific aspect in reviews. However，little research has been done on the influence of complex sentences on sentiment classification. Based on this，this paper proposed an aspect sentiment classification model based on BERT and self-attention network with relative position. Firstly，it used the dynamic weighted sampling method to balance the rare contrastive sentences，so that the model could learn more contrastive sentence feature information. Then，it jointly trained the feature representations extracted by double-head self-attention network with relative position and the feature representations obtained by the pre-trained model with absolute position. Finally，it used the label smoothing regularization technology to stabilize the model to identify the neutral samples. This paper tested this model on Sub Task 2 in SemEval 2014 task，and improved both accuracy and macro-F1 indicators of the two datasets. The experimental results show that the effectiveness of the proposed model for contrastive sentences classification，and also yield improvements in the whole test set over other benchmark models.

Key words：aspect-level sentiment analysis; contrastive sentences; attention network; BERT model; relative position encoding

0 引言

文本情感分析可以幫助企業準確地分析用戶對產品各個方面的評價，為企業制定詳細產品更新策略，提供有效參考意見。細粒度的情感分析方法，因其在對話系統、在線評論和社交網絡等現實場景中的廣泛應用而受到學術界和業界的關注和興趣［1］。方面級情感分類（aspect-level sentiment classification，ASC）［2］是一種細粒度的情感分析任務，它旨在確定一個句子中方面詞的情感極性（如積極、消極、中性）。一個句子可能含有多個方面詞，且每個方面詞的情感極性可能不同，所以需要指定目標方面才能判斷相應的情感極性。

近年來，深度學習通過構建神經網絡自動進行學習提取特征，在情感分析領域展現出良好的性能［3］。基于BERT［4］等的預訓練模型（pre-trained models，PTM）就是其中最先進的模型之一，已被證明在GLUE基準測試［5］上具有最先進的性能，包括文本分類。BERT是一個在維基百科大型文本語料庫中預先訓練過的語言模型，它特殊的結構允許對有監督的ASC等下游任務進行微調。雖然PTM從大型語料庫中獲取一般語言知識，本身已經包含了很豐富的語法語義知識，但如何有效地將其知識適應下游任務仍然是一個關鍵問題［6］。由于維基百科文章內容客觀陳述的多，而帶情感的主觀評論少，導致BERT模型對情感方面的內容學習不夠；再加上通常用于ASC分析的數據集都只有少量的訓練樣本，使得原本就復雜的ASC任務依然面臨著嚴峻的挑戰［7］。另外，ASC任務不僅缺乏帶有標簽的訓練數據，還存在復雜句問題（例如對比情緒句、內隱情緒句和具有誤導性的中性評論），如表1所示。例如評論“air has higher resolution but the fonts are small.”，這個句子就存在兩個目標方面：“resolution”“fonts”和相互對立的情緒極性，“higher”為積極，“small”為消極；在評論“The waiter poured water on my hand and walked away.”中并不包含情感詞，但面向目標方面“waiter”很明顯呈現消極；而評論“The service was typical short-order，dinner type.”表述非常隱晦，面向目標方面“service”情感極性為中性。以上這些復雜句都超出了現有模型的學習能力［8］。

本文通過進一步研究BERT作為預訓練模型的不足和ASC數據集中復雜句（如不同方面具有不同極性的句子）的分布與特征，基于BERT-DK［7］，在采樣、特征提取等方面優化與復雜句特征相關的微調技術。本文的主要貢獻有：a）對驗證集上的錯誤樣本進行實證研究，系統總結易錯樣本的特征；b）提出了一種新的方面級情感分析框架，提高了復雜句和整個測試樣本的分類性能；c）將利用注意力模塊提取出帶相對位置的特征表示，與BERT-DK模塊提取出帶絕對位置的特征表示聯合訓練，提升模型對位置信息的捕獲能力；d）首次將加權隨機采樣應用于方面級情感分析中。

1 相關工作

1.1 方面級情感分析

ASC任務既可以單獨訓練，也可以與方面詞提取（aspect extraction，AE） 任務一起聯合訓練［9，10］。它需要關注每個具體方面的細微觀點，因此相較于篇章級或句子級的情感分類任務更加復雜［11］。其中ASC任務的小樣本問題一直受到研究者的重視，通常采取兩種解決途徑，一種是通過模型優化，使其更擅于捕獲語法、語義特征，例如，Sun等人［12］通過對方面構造輔助句的方式將ASC任務從單個句子分類任務轉換為語句對的分類任務，類似于機器問答和自然語言推理任務，通過對BERT預訓練模型微調獲得更佳的性能；Karimi等人［13］利用對抗過程在嵌入空間中生成與真實世界的例子類似的數據，對情緒分析中的AE和ASC兩個任務聯合對抗訓練，提出了BERT對抗訓練（BAT）的新架構。另一種是通過輔助額外的情感字典或同領域語料庫，例如He等人［14］提出的PRET+MULT框架通過共享淺層嵌入和 LSTM 層的方式從亞馬遜評論數據集上訓練的文檔級情緒分類任務的情感知識遷移到ASC任務；文獻［7］通過使用額外特定領域的數據，提出一種后訓練方法微調BERT模型從其源領域和任務適應到方面級情感分析領域和任務中。

然而最近基于神經網絡的方法較少關注ASC數據集中包含復雜句的問題，Xu等人［15］用具體數據和實驗結果證實ASC數據集中存在對比句且極其罕見（有多個方面且具有不同極性的句子稱為對比句），導致現有的ASC分類器不能很好地學習這些對比句知識，從而“降級”為句子級的情感分類器；提出了一種自適應重加權（ARW）方案，通過給每個訓練樣本分配一個代表訓練重要性的權重，動態地將模型引導向強化對比句的樣本訓練上，有效地提高了對比句的樣本分類。Li等人［16］對內隱情緒句進行了專門的研究，將ASC數據集劃分為外顯式情緒表達切片和隱式情緒表達切片，結果表明大約有30%的評論被劃分為隱式情緒表達。通過在大規模情感注釋的語料庫上采用監督對比預訓練，引入外部情感知識來將內隱情緒表達的表現與具有相同情緒標簽的表現對齊，并采用方面感知微調來提高模型對基于方面的情緒識別的能力。

1.2 調整樣本權重

大多數用于分類的機器學習算法都是在假設平衡類的情況下開發的，然而在現實生活中，擁有適當平衡的數據并不常見，在自然語言處理任務中也存在大量的類別不平衡的任務。最經典的就是序列標注任務中類別是嚴重不平衡的［17］，比如在命名實體識別中，顯然一句話里面實體比非實體要少得多，這就是一個類別嚴重不平衡的情況。對于緩解類別不平衡問題，比較基本的方法就是調節樣本權重［18］。在學習中為少數類樣本賦予更高的權重，比如在神經網絡中，使得少數類產生的誤差損失對網絡權重更新貢獻更大。調整樣本權重在領域適應［19］和情感分析［20］都得到應用，但加權目的和加權方法完全不同。本文則是通過調整對比句采樣權重來改善罕見但關鍵的樣本在訓練中的影響性。

1.3 自注意力機制

自注意力機制（self-attention）［21］自提出以來，迅速在自然語言處理領域取得了較大的進展。對于文本分類和推薦等任務，輸入是一個序列，但輸出不是一個序列。在這種情況下，注意力可以用于學習相同輸入序列中的每個token的與之相關的token，注意力權重的目的是捕捉同一序列中兩個單詞是如何關聯的，其中相關性的概念取決于主要任務［22］。

對于給定的詞嵌入層輸出序列X=（x1，x2，…，xn），為每個序列位置創建三個向量Q（查詢向量）、K（鍵向量）、V（值向量），然后對每個位置xi使用Q、K、V實現注意力機制，最終得到序列Y=（y1，y2，…yn），其中yi包含了xi的信息以及xi與所有其他序列位置的關系。這里的Q、K、V三個向量使用前饋層生成。自注意力計算公式為

attention（Q，K，V）=softmax（QKTdk）V（1）

對于給定詞向量維度dmodel，多頭自注意力是指對維度為dmodel/h的投影（Q、K、V）矩陣執行h次注意。對每一個head，（Q、K、V）被唯一地投影為維度為dmodel/h的矩陣，自注意力輸出維度也為dmodel/h；然后將每個head的輸出連接起來，并再次通過線性投影層，得到與在原始（Q、K、V）矩陣上執行一次自注意相同維度的輸出。整個過程用公式描述如下：

multihead（Q，K，V）=concat（head1，…，headh）Wo（2）

headi=attention（QWQi，KWKi，VWVi）（3）

其中：投影為權重矩陣WQi∈Euclid ExtraaBpdmodel×dq，WKi∈Euclid ExtraaBpdmodel×dk，WVi∈Euclid ExtraaBpdmodel×dv，Wo∈Euclid ExtraaBphdv×dmodel。

在設計ASC“預訓練+微調”架構分類器時，自注意力機制經常被運用于對下游任務的微調中［10］。實際上BERT等預訓練模型的主體是Transformer，而Transformer有自我注意和位置級前饋層兩個主要組成部分。兩者都是排列等變的，并且對輸入標記的順序不敏感。為了使模型具有位置感知性，會通過自注意力機制在每個字符位置的詞嵌入的基礎上添加絕對位置編碼，但是這種絕對位置編碼方式會導致一些片段位置信息損失［23］。

受Shaw等人［24］的啟發，本文提出了DWS+RpSAN來解決BERT預訓練模型位置信息損失和ASC任務中復雜句的挑戰。與以往工作的主要區別：首先是利用將對比句稀缺問題看做簡單的不平衡類問題，通過動態調整訓練樣本的采樣權重來提升對比句的采樣頻率；其次結合BERT預訓練模型提取的絕對地址特征和自注意力模塊提取的相對地址特征，通過并行訓練彌補了預訓練模型在位置信息提取方面的不足。

2 數據集分析

本文在當下最受歡迎的ABSA基準數據集SemEval 2014 Task 4 Sub Task 2［25］上評估算法的性能，該數據集包括餐廳（簡稱Rest）和筆記本電腦（簡稱Lap）兩個方面的領域，擁有積極、消極和中性三種情緒標簽，每個評論包含0個、1個或多個目標方面，這些評論包含不規則的詞匯單位和句法模式，因此，這些數據是有噪聲的、稀疏的和高維的。為了與前人的實驗結果進行比較，確保實驗數據的一致性，本文采用文獻［15］實驗中對原始數據集的處理，包括刪除了原始數據集中存在沖突的句子，對每條評論添加“contra”標簽，并從測試集中抽取出對比性句子建立一個獨立的數據集以測試比較各模型處理性能。詳細統計數據如表2、3所示。

Pontiki等人［25］在對這兩個領域數據集注釋過程中發現，在Lap數據集中，用戶對筆記本電腦的評論多為一個整體，并且當他們對特定方面評論時，通常使用形容詞隱含指代某些方面（如“昂貴”“重”等），而不使用具體明確的目標方面（如“價格”“重量”等），因此相比之下Rest數據集包含了更多的目標方面。由表2可見，在訓練集中，含有方面的句子占比在Rest數據集中達到75%，而在Lap數據集中僅為47.75%。此外，對筆記本電腦的評論經常提到功能描述而不表達任何情緒（如“Has a 5～6 hour battery life.”），從而導致Lap數據集中包含了更多的中性樣本。

另外，最能體現和評估模型處理細粒度情感分類性能的對比性情緒句在這兩個領域的訓練集和測試集中都很罕見。Rest訓練集上的對比性句約16%，而Lap訓練集上更少（約11%），甚至比注釋錯誤的句子（可以看做是噪聲）還要少。在這樣一個對比句匱乏的數據集上訓練的機器學習模型傾向于降級為粗粒度（句子級）情感分類器。例如，對于評論“The screen is good and also the battery.”盡管存在兩個目標方面“screen”和“battery”，但每個目標方面情感極性都為積極，使得整句也呈積極性，模型處理這樣的評論相當于處理句子級的情感分類。事實上，大多數樣本主導訓練過程，罕見但重要的樣本很容易被忽略，甚至可能被認為是噪聲，這對于大多數機器學習模型來說是一個普遍且廣泛存在的問題，可以看做不平衡數據問題。

通過上述分析可以看出，兩個領域的數據集不僅存在小樣本問題，還因為對某一特定主題發表意見的評論通常整句呈現出一種一致性意見而非對比性意見。在這種情況下，存在類數據不平衡問題，任何分類器都會偏向于多數非對比句，而這些問題在Lap數據集上尤為突出。

3 提出的方法

3.1 問題定義

給定一個上下文序列Wc={wc1，wc2，…，wcn}和 Wt={wt1，wt2，…，wtn}，其中Wt是Wc的子序列，方面級情感分析任務旨在預測目標方面Wt在句子Wc中的情感傾向。圖1展示了所提出的相對位置自注意編碼器網絡（DWS+RPSAN）的整體架構，它主要由融合領域意識的BERT-DK嵌入層、帶相對位置自注意力編碼層和輸出層構成。

3.2 動態加權隨機采樣

鑒于對比句是細粒度情感分析任務的關鍵樣本又非常罕見，需要思考現有的訓練過程中如何使得機器學習模型從這些罕見的樣本中學習。假設將數據集中樣本分為對比性和非對比性兩類，即classcontra和classno_contra，基于均勻分布從每個類中隨機采樣得到的概率為

p（x∈classi）=#{classi}#{train}=NclassiNtrain（4）

而Rest訓練集上classno_contra∶classcontra≈5，Lap訓練集上classno_contra∶classcontra≈9，兩個數據集上Nclassno_contragt;gt;Nclasscontra，即p（x∈classno_contra）gt;gt;p（x∈classcontra），如果使用這樣的數據集訓練模型，那么模型看到的非對比性句子機會要遠大于對比性句子，導致深度學習模型很難從現有的訓練過程中學習這些罕見樣本。Gao等人［26］通過研究發現，在訓練的早期階段，大多數樣本的損失主導了總損失，并決定了模型參數更新方向。到了迭代后期，盡管罕見樣本主導總損失，但可能對總損失貢獻不足。在最壞的情況下，當優化器開始過擬合大多數樣本中的小細節時才可能會考慮到罕見的例子的損失，意味著驗證過程中為了避免過擬合可能會在罕見樣本真正得到良好優化之前停止對模型的訓練。

考慮到這種罕見但重要的樣本很容易被忽略的機器學習過程，需要解決兩個問題，一是在訓練早期階段增加對比句樣本；二是在驗證過程找到最佳模型之前更早地增加（或重新平衡）那些沒有被很好優化的樣本的采樣機會。一個自然的解決方案是平衡訓練集，多數類過采樣或少數類過采樣是兩種可能的策略。由于數據非常稀疏，欠采樣的多數類是次最優的，可能會在學習過程中失去有意義的樣本，因此過采樣少數類是一個更好的解決方案［26］。在采樣時對罕見且重要樣本進行數據加強，使得p（x∈classno_contra）=p（x∈classcontra）。由于深度學習模型通常是在逐批處理的基礎上進行訓練的，調整每類樣本的權重自然應該是在每輪迭代結束時，這是因為每個樣本都參與學習過一次，模型可以集中在那些沒有被很好地處理（分類錯誤）的樣本。

基于上述分析，本文的目標是設計一個動態自適應方案，不斷調整在訓練集中已知的對比句采樣的權重。由于概率的數值不能明確區分模型是否在一個樣本上犯了錯誤，所以實驗中使用正確率加權法，即通過控制權重賦予對比性句更大的采樣權重。同時，為避免模型過度適應少數類，每輪迭代結束后，找到分類不正確的樣本和對應的類別，根據驗證集上兩種類別樣本分類錯誤率動態更新權重。設第n輪迭代classi類樣本的采樣權重為wepochni（i∈（no_contra，contra），初始化權重設置為

wepochni=total_sample-numclassitotal_sample" n=1（5）

權重更新公式如下：

wepochni=wepochn-1+ε×error_rateepochn-1i" n≥2（6）

其中：error_rateepochn-1i表示第n-1次epoch中驗證集上classi類的分類錯誤率；ε是更新因子，用于調節驗證集中分類錯誤樣本類別對加權采樣的影響，能影響下一輪迭代中對比句采樣權重，越大則分類錯誤樣本的類別對下一輪迭代加權采樣影響越大，反之，對下一輪迭代加權采樣的影響就越小。本文嘗試ε∈{0.0，0.05，0.1，0.15，0.2，0.25，0.3}，ε=0.0時，相當于每輪迭代時的各類別采樣權重為初始化權重保持不變，此時模型在對比句分類上已獲得了一定的性能提升，隨著ε值的提升，模型性能并不是一直提升，而是先遞增后遞減；在ε=0.1時獲得最好結果，這也說明ε值過大存在過分強調分類結果對采用權重的影響。

3.3 BERT-DK嵌入層

詞嵌入層使用預先訓練好的BERT-DK模型［6］來生成序列的詞向量，該模型是在BERT［3］的基礎上，針對BERT對情感方面的內容學習不夠，不能很好適用于評論類分類特別是細粒度情感分類的問題，先進行掩碼語言建模，然后使用無監督的領域（餐廳或筆記本電腦）評論數據集對預先訓練過的BERT權重進行句子預測，提高其領域意識，再使用有監督的ASC數據進行微調。經過BERT-DK層處理過的詞向量從某種程度上說是具備領域意識的。

3.4 帶相對位置的自注意力層

注意力機制屬于非遞歸模型，無法捕捉輸入序列中元素的順序，因此使用時需要顯式地編碼位置信息。目前常用的有三種嵌入方式：正弦位置編碼、通過學習得到的位置編碼和相對位置表示。BERT-DK嵌入層模塊已使用正弦位置信號嵌入絕對位置信息，用于處理序列問題，而相對位置信息在執行自注意力計算時是丟失的，會導致與微調的實際數據之間存在偏差。為了加入丟失的相對位置信息，本文使用Shaw等人［24］提出的相對位置嵌入。相對位置嵌入不是對每個位置使用固定的嵌入，而是根據注意力機制中比較的“鍵”和“查詢”之間的偏移量產生不同的學習嵌入。在原自注意力基礎上引入了兩個只與相對位置有關的向量aVij、aVij∈Euclid ExtraaBpdmodel，學習每兩個序列位置之間的相對位置信息，其采用一組可訓練的嵌入向量來表示輸入句子中每個單詞的位置編碼。如果attention的目標詞是Xi的話，引入這兩個向量后，在計算Xj對Xi的注意力特征時，需要額外考慮Xj對Xi的兩個與位置相關的向量。同時引入一個可調參數k，用于限制兩個序列位置之間最大的距離。實驗中嘗試了k∈{1、2、…、12} ，發現kgt;8后效果就沒有提升了，說明鄰域為8的窗口內，attention對相對位置比較敏感，窗口以外，相對位置可以不作區分，即鄰域為8的窗口以外，用窗口內（gram=8）的嵌入向量平均池化替代。將aVij、aVij定義為可訓練的向量，本質上就是訓練wK=（wK－k，…，wKk）和wV=（wV－k，…，wVk）：

aKij=wKclip（j－i，k）（7）

aVij=wVclip（j-i，k）（8）

clip（x，k）=max（－k，min（k，x））（9）

3.5 分類模型

由于現有ASC模型對中性情緒分類性能不夠穩定，主要表現在一方面易于將中性樣本分類成積極或消極，另一方面易于將積極或消極樣本分類成中性極性，BERT-DK+DWS+RPSAN模型在原有的交叉熵損失函數中引入一個標簽平滑正則化（label smoothing regularization，LSR）項［27］用以懲罰低熵輸出分布，抑制模型對其預測的自信度，達到穩定模型對中性類的判斷目的。對于訓練樣本x，假設其每個標簽k∈{1…k} 的實際概率分布為q（k|x），將q（k|x）替換為

q（k|x）=（1－λ）q（k|x）+λu（k）（10）

其中：u（k）是標簽上的先驗概率分布；λ為平滑參數。實驗中，先驗標簽分布統一設置為u（k）=1/C。

LSR等價于標簽先驗概率分布u（k）與模型預測分布pθ之間的KL散度。LSR定義為

Llsr=－DKL（u（k））‖pθ（11）

因此，LSR相當于用一對交叉熵損失q（k|x）和u（k）替換一個交叉熵損失。

整個模型需要優化的目標函數（損失函數）是LAbsolute、LRelative和Llsr的交叉熵損失，其定義為

L（θ）=LAbsolute+LRelative2+Llsr（12）

其中：LAbsolute和LRelative分別代表帶絕對地址特征表示和帶相對地址特征表示的損失。

BERT-DK+DWS+RPSAN模型的參數優化過程如算法1所示，提出的算法包含用動態加權隨機采樣階段、用BERT-DK詞嵌入預處理階段以及聯合帶相對位置自注意力機制微調階段三個階段。

算法1 BERT-DK+DWS+RPSAN

輸入：Dtr，training set with n samples;e，maximum number of epochs。

輸出：pθ（| ·，·），a trained model。

wi←n－nclassin i∈（no_contra，contra）; //初始化所有樣本權重

for epoch ∈ {1，…，e} do

for （ab，xb，yb） ∈ Batchify（Dtr，wi） do /*檢索一個動態加權隨機采用的批次*/

embencoder_layers，embpooled←BERT-DK（ab，xb）; /*使用BERT-DK模型預訓練*/

embrp←RPSan（embencoder_layers）; /*使用帶相對位置的自注意力層提取特征*/

LAbsolute←CrossEntropy（pθ（b|embpooled），yb）; /*計算帶絕對地址詞嵌入的交叉熵損失*/

LRelative←CrossEntropy（pθ（b|embrp），yb）; /*計算帶相對位置詞嵌入的交叉熵損失*/

L（θ）=LAbsolute+LRelative2+Llsr; /*計算帶標簽平滑正則化的聯合訓練損失*/

BackProp amp; ParamUpdate （L，M）; //反向傳播并更新參數

end

1：n←argmax pθ（1：n|a1：n，x1：n）； //計算當前預測結果

error_ratei←∑j1（yj≠j∧classi（xj））n； //計算錯誤率

wi=wi+ε×error_ratei; //調整所有樣本權重

end

4 實驗及分析

4.1 實驗環境和超參數設置

所有的實驗和基準測試都使用一個單一的GPU（GTX 1080 Ti）運行，CPU為Intel Core i7-8700K@4.7 GHz，內存為16 GB。

微調時，對于超參數的設置一般與所參考和對照的實驗保持一致，個別超參數也會根據新模型特點進行調整。其中，自注意力模塊中多頭注意力head的個數與文獻［23］所設置的一致，將文本向量分成兩個頭效果是最好的。在輟學率上，與前者的高輟學率0.7不同，更傾向于0.1這樣的低輟學率，這與本模型基于BERT有關，一般BERT模型在處理情感分類時，都會選擇0.1作為輟學率。在Rest和Lap數據集的初始學習率選擇上，2E-5和3E-5都是經過前人實驗反復驗證過的比較好的設置值，本文通過設計多種消融反復實驗，發現將Rest數據集初始學習率設置為2E-5，將Lap數據集初始學習率設置為3E-5是最合適的，這種細微的差別應該與Rest數據集相比Lap數據集包含更多的方面級句子有關。批量大小設置為 32，與BERT-DK模型保持一致，每批都是通過加權隨機采樣訓練集構建。在訓練過程中，設置epoch數為20，并保存在此期間訓練得到的最大準確率模型。帶相對位置的自注意力模型的詞向量維度dmodel與BERT-DK模型輸出詞嵌入相同，設置為300；采用Adam優化器對所有參數進行更新，設置交叉熵損失的標簽平滑參數λ=0.2。所有結果的平均運行次數超過10次。

4.2 對比模型

本文選取四個分類器作為基線，同時對本文提出的合成的改進模塊進行了消融實驗，結果表明所有的模塊都對最后的性能有幫助作用，而其中動態隨機加權采樣對Rest數據集提供了最大的貢獻，帶相對位置的自注意力層對Lap數據集提供了最大的貢獻。

a）AOA［28］。引入了一個attention-over-atten-tion（AOA）神經網絡，以聯合的方式對目標方面和句子進行建模，并明確地捕捉方面與句子上下文之間的交互作用。

b）MGAN［29］。利用細粒度和粗粒度的注意機制設計MGAN框架，使用目標方面對齊損失來描述具有相同上下文的目標方面之間的方面級交互。

c）BERT-DK［7］。在BERT模型基礎上，使用域（筆記本電腦或餐廳）評論對預先訓練過的BERT權重首先執行掩碼語言（MLM）建模，再進行下一句子（NSP）預測，然后使用有監督的ASC數據進行微調。

4.3 實驗結果與討論

模型的性能采用accuracy和macro-F1（MF1）度量來評估，表4包含了所有的實驗結果。

從實驗結果可以看到采用動態加權采樣方法后，Rest和Lap的對比句測試集性能分別提高了約8.4%和11%。與BERT+DK方案相比，也提高了約2%。在加權采樣后，Rest完整數據集的性能在Rest上有所改善，但在Lap上的性能略有下降，原因可能是加權采樣不適合學習，而Lap數據集中噪聲樣本（注釋錯誤樣本）遠超對比句樣本，該模型學習了更多的一些注釋錯誤使得整體性能下降。

BERT-DK+RPSAN模型使Rest和Lap的對比句測試集性能分別提高了約6.4%和15.5%，值得一提的是，在Lap的對比句測試集上性能達到了最優。與BERT+DK相比，在Rest對比句測試集上性能略有提升，在Lap對比句測試集上提高了約4.5%。在Rest和Lap的完整數據集上，性能較BERT-DK和BERT-DK+ AWS比均有提升。

BERT-DK+DWS+RPSAN模型除了在Lap的對比句測試集上性能略低于不帶加權采樣的BERT-DK+RPSAN模擬，其他性能上均有提升，在Rest的對比句測試集上尤為顯著，證明了本文的改進方法是有效的，特別是提高了模型在對比句上的整體表現，真正顯示了細粒度層面的情感分類能力。

圖2展示了分別使用隨機采樣和動態加權隨機采樣方法從Rest測試集最后10個批次中采樣的非對比性句子類和對比性句子類的分布情況，每個批次的左側柱體代表非對比性句子類，右側柱體代表對比性句子類。由圖所示，加權隨機采樣很好地平衡了數據集中關鍵性對比性句子嚴重稀缺的問題。

表5是BERT-DK+DWS運行在驗證集上的易錯樣本分析統計表，運行10次分類錯誤次數超過5次的樣本被定義為“hard sample”。分析這些樣本可以看出，模型對中性分類最易出錯（Rest和Lap數據集中的hard sample均為22個，占比70%以上），具體體現傾向于將中性標簽預測成其他標簽，或者將其他標簽預測成中性，主要原因可能在于中性情緒本就是一種非常模糊的情感狀態，同時與數據集人工標注中性存在不可靠性有關；另外，模型對整句中存在對比性意見的句子（含對比句）預測出錯率占比高（Rest數據集中20個，Lap數據集中18個，占比58%以上），而且方面詞在整句中所處的位置非常關鍵，與數據集人工標注中性存在不可靠性有關；另外，模型對整句中存在對比性意見的句子（含對比句）預測出錯率占比高（Rest數據集中20個，Lap數據集中18個，占比58%以上），而且方面詞在整句中所處的位置非常關鍵。

此處用兩個非對比句易錯樣本為例來展示中性分類不穩定性和整句中存在對比性意見時，方面詞與代表情緒性詞匯相對距離不同，分類難易不同，具體如圖3、4所示。

增加帶相對位置的自注意力模塊后，在hard sample 1方面詞［leather carrying case］的10次預測中，錯誤預測由7次降為4次，不再是易錯樣本，而hard sample 2方面詞［application］的10次預測中，錯誤預測由10次降為8次，但還是屬于易錯樣本。一方面說明自注意力模塊能夠提升模型對中性類的分辨能力，模型泛化能力增強；另外一方面也說明中性類不穩定和整句中存在對比性意見對分類結果的影響等問題依然是ASC任務的瓶頸，這也是筆者后面的研究重點。標簽平滑正則化（LSR）的處理使得中性類樣本的預測準確率得到一定的提升，從三個消融模型的實驗結果來看，提升大概在0.12%～0.2%，圖4中就不再詳細標注。

5 結束語

本文注意到BERT作為情感分類任務預訓練模型時存在的位置信息損失問題，采用實證法對驗證集上易錯樣本加以分析，證實了位置信息對分類的重要性。同時對ASC數據集中的復雜句進一步研究，觀察到提升ASC分類器性能的關鍵不僅要解決對比句稀缺問題，還要注意中性類不穩定問題和整句中存在對比性意見時對其中具體方面正確分類所帶來的挑戰。本文通過動態加權采樣方法平衡對比句和非對比句訓練樣本數量，并利用自注意力網絡提取帶相對位置的特征表示和預訓練模型提取的帶絕對位置特征表示聯合訓練，輔以標簽平滑正則化處理。實驗結果表明，該模型在處理對ASC任務至關重要的對比句方面取得了新突破，同時在整個測試集上分類效果也很好。

參考文獻：

［1］張嚴，李天瑞. 面向評論的方面級情感分析綜述 ［J］. 計算機科學，2020，47（6）： 194-200. （Zhang Yan，Li Tianrui. Review of comment-oriented aspect-based sentiment analysis ［J］. Computer Science，2020，47（6）： 194-200. ）

［2］Thet T T，Na J C，Khoo C S. Aspect-based sentiment analysis of movie reviews on discussion boards ［J］. Journal of Information Science，2010，36（6）： 823-848.

［3］Zhang Lei，Wang Shuai，Liu Bing. Deep learning for sentiment analysis： a survey ［J］. WIREs： Data Mining and Knowledge Disco-very，2018，8（4）： e1253.

［4］Devlin J，Chang Mingwei，Lee K，et al. BERT： pretraining of deep bidirectional transformers for language understanding ［C］// Proc of Conference of the North American Chapter of the Association for Computational Linguistics： Language Technologies. Stroudsburg，PA： Association for Computational Linguistics，2019： 4171-4186.

［5］Wang A，Singh A，Michael J，et al. GLUE： a multi-task benchmark and analysis platform for natural language understanding ［C］// Proc of EMNLP Workshop BlackboxNLP： Analyzing and Interpreting Neural Networks for NLP. Stroudsburg，PA： Association for Computational Linguistics，2018： 353-355.

［6］Qiu Xipeng，Sun Tianxiang，Xu Yige，et al. Pretrained models for natural language processing： a survey ［J］. Science China Techno-logical Sciences，2020，63（10）： 1872-1897.

［7］Xu Hu，Liu Bing，Shu Lei，et al. BERT post training for review rea-ding comprehension and aspect-based sentiment analysis ［C］//Proc of Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies. Stroudsburg，PA： Association for Computational Linguistics，2019： 2324-2335.

［8］Wang Kai，Shen Weizhou，Yang Yunyi，et al. Relational graph attention network for aspect-based sentiment analysis ［C］// Proc of the 58th Annual Meeting of the Association for Computational Linguistics. Stroudsburg，PA： Association for Computational Linguistics，2020： 3229-3238.

［9］曾義夫，藍天，吳祖峰，等. 基于雙記憶注意力的方面級別情感分類模型 ［J］. 計算機學報，2019，42（8）： 1845-1857. （Zeng Yifu，Lan Tian，Wu Zufeng，et al. Bi-memory based attention model for aspect level sentiment classification ［J］. Chinese Journal of Computers，2019，42（8）： 1845-1857. ）

［10］Yang Heng，Zeng Biqing，Yang Jianhao，et al. A multi-task learning model for Chinese-oriented aspect polarity classification and aspect term extraction ［J］. Neurocomputing，2021，419（1）： 344-356.

［11］Ambartsoumian A，Popowich F. Self-attention： a better building block for sentiment analysis neural network classifiers ［C］// Proc of the 9th Workshop on Computational Approaches to Subjectivity： Sentiment and Social Media Analysis. Stroudsburg，PA： Association for Computational Linguistics，2018： 130-139.

［12］Sun Chi，Huang Luyao，Qiu Xipeng. Utilizing BERT for aspect-based sentiment analysis via constructing auxiliary sentence ［C］// Proc of Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies. Stroudsburg，PA： Association for Computational Linguistics，2019： 380-385.

［13］Karimi A，Rossi L，Prati A. Adversarial training for aspect-based sentiment analysis with BERT ［C］// Proc of the 25th International Conference on Pattern Recognition. Piscataway，NJ： IEEE Press，2021： 8797-8803.

［14］He Ruidan，Lee W S，Ng H T，et al. Exploiting document knowledge for aspect-level sentiment classification ［C］// Proc of the 56th An-nual Meeting of the Association for Computational Linguistics. Stroudsburg，PA： Association for Computational Linguistics，2018： 579-585.

［15］Xu Hu，Liu Bing，Shu Lei，et al. A failure of aspect sentiment classifiers and an adaptive re-weighting solution ［EB/OL］. （2019-11-04）. https：//arxiv.org/pdf/1911.01460.pdf.

［16］Li Zhengyan，Zou Yicheng，Zhang Chong，et al. Learning implicit sentiment in aspect-based sentiment analysis with supervised contrastive pre-training ［C］// Proc of Conference on Empirical Methods in Natural Language Processing. Stroudsburg，PA： Association for Computational Linguistics，2021： 246-256.

［17］Akkasi A，Varogˇlu E，Dimililer N. Balanced undersampling： a novel sentence-based undersampling method to improve recognition of named entities in chemical and biomedical text ［J］. Applied Intelligence，2018，48（8）： 1965-1978.

［18］Guo Xinjian，Yin Yilong，Dong Cailing，et al. On the class imbalance problem ［C］// Proc of the 4th International Conference on Natural Computation. Piscataway，NJ： IEEE Press，2008： 192-201.

［19］Wang Rui，Utiyama M，Liu Lemao，et al. Instance weighting for neural machine translation domain adaptation ［C］// Proc of Conference on Empirical Methods in Natural Language Processing. Stroudsburg，PA： Association for Computational Linguistics，2017： 1482-1488.

［20］Pappas N，Popescu-Belis A. Explaining the stars： weighted multiple-instance learning for aspect-based sentiment analysis ［C］// Proc of Conference on Empirical Methods In Natural Language Processing. Stroudsburg，PA： Association for Computational Linguistics，2014： 455-466.

［21］Yang Zichao，Yang Diyi，Dyer C，et al. Hierarchical attention networks for document classification ［C］// Proc of Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies. Stroudsburg，PA： Association for Computational Linguistics，2016： 1480-1489.

［22］Chaudhari S，Mithal V，Polatkan G，et al. An attentive survey of attention models ［J］. ACM Trans on Intelligent Systems and Technology，2021，12（5）： article No. 53.

［23］Yang Zhilin，Dai Zihang，Yang Yiming，et al. XLNet： generalized autoregressive pretraining for language understanding ［C］// Proc of the 33rd International Conference on Neural Information Processing Systems. Red Hook，NY： Curran Associates Inc.，2019： 5753-5763.

［24］Shaw P，Uszkoreit J，Vaswani A. Self-attention with relative position representations ［C］// Proc of Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies. Stroudsburg，PA： Association for Computational Linguistics，2018： 464-468.

［25］Pontiki M，Galanis D，Papageorgiou H，et al. Semeval-2014 task 4： aspect based sentiment analysis ［C］// Proc of the 8th International Workshop on Semantic Evaluation. Stroudsburg，PA： Association for Computational Linguistics，2014： 27-35.

［26］Gao Tianxiang，Jojic V. Sample importance in training deep neural networks ［C］// Proc of the 5th International Conference on Learning Representations. 2017.

［27］Szegedy C，Vanhoucke V，Ioffe S，et al. Rethinking the inception architecture for computer vision ［C］// Proc of IEEE Conference on Computer Vision and Pattern Recognition. Washington DC： IEEE Computer Society，2016： 2818-2826.

［28］Huang Binxuan，Ou Yanglan，Carley K M. Aspect level sentiment classification with attention-over-attention neural networks ［C］// Proc of International Conference on Social Computing： Behavioral-Cultural Modeling and Prediction and Behavior Representation in Modeling and Simulation. Cham： Springer，2018： 197-206.

［29］Li Zheng，Wei Ying，Zhang Yu，et al. Exploiting coarse-to-fine task transfer for aspect-level sentiment classification ［C］// Proc of the 33rd AAAI Conference on Artificial Intelligence. Pola Alto，CA： AAAI Press，2019： 4253-4260.