基于對抗訓練和片段級別的雙向情感三元組抽取模型

關鍵詞：情感分析;情感三元組抽取;雙仿射;片段;對抗訓練

中圖分類號：TP391 文獻標志碼：A

0 引言（Introduction）

情感三元組提供了對文本主觀態度的結構化理解，可應用于輿情監測[1-2]、產品評價分析[3-4]等領域，作為情感分析的重要子任務，其目標是從非結構化文本中抽取出語義完整的情感三元組，即“情感詞-情感目標-情感極性”。近年來，深度學習技術在自然語言處理領域取得顯著進展，為情感三元組抽取提供了新的思路。但是，該任務仍然面臨一定困難，如情感詞確定的語義模糊性、交叉句子的遠程依賴關系等。

目前，應用于此類任務的模型主要分為流水線模型和端到端模型。流水線模型無法解決實體重疊問題，并且容易導致錯誤傳播;端到端模型無法有效地建立詞與詞之間的聯系，忽略了元素之間的語義和句法關系，導致模型無法準確理解文本的深層含義。此外，目前的模型沒有考慮到多特征交互[5]的情感三元組抽取可能受到訓練數據集偏向的影響，限制了其泛化能力和適用范圍。因此，本文以SBN（A Span-level BidirectionalNetwork for Aspect Sentiment Triplet Extraction）模型[6]作為基線，提出了基于對抗訓練和片段級別的雙向情感三元組抽取模型AD-ASTE （Bidirectional Aspect Sentiment TripletExtraction Model Based on Adversarial Training and SpanLevel）。

1 相關工作（Related work）

方面級情感分析（Aspect-Based Sentiment Analysis，ABSA）可分為多個細粒度任務，例如方面詞抽?。ˋspect TermExtraction，ATE）[7]、觀點詞抽?。∣pinion Term Extraction，OTE）[8]、關聯對抽取（Aspect-Opinion Pair Extraction，AOPE）[9]等。然而，單獨處理某一子任務并不能提供完整的情感要素，因此在實際應用中的價值受到了一定的限制。PENG等[10]首次提出了方面情感三元組抽取任務，并設計了兩段式流水線模型。該模型在第一階段抽取出評論句中的方面詞、觀點詞和情感極性對，然后在第二階段進行配對。該流水線模型用于判斷情感極性時，未充分考慮觀點詞的影響，分割了詞與詞之間的聯系，同時無法有效地解決方面詞重疊的問題，進一步加劇了誤差的積累。

基于此，研究者開始提出一系列端到端的方法。XU等[11]提出了一種端到端的模型JET（Position-Aware Tagging forAspect Sentiment Triplet Extraction）進行目標和觀點片段的聯合抽取。該模型采用了一種位置感知的標記方案，將目標和觀點片段編碼為標簽序列。采用端對端的方式直接避免了原有模型因分階段處理導致特征提取出不完整的弊端，根據三元組之間的關系計算每個詞的標簽，并通過條件隨機場獲得最佳的標簽順序。

以上方法在判斷情感極性時均只利用了字符級別（Token）的信息，沒有充分利用片段級別（Span）的信息，并且嚴重依賴于方面詞和觀點詞之間的相互作用，不能很好地處理包含多個單詞的方面詞和觀點詞。為此，XU等[12]引入了實體關系聯合抽取領域的方法，提出Span-ASTE（Learning Span-Level Interactions for Aspect Sentiment Triplet Extraction）模型，通過耦合方面詞和觀點詞片段表示，預測它們之間的情感關系。模型通過雙通道剪枝策略減少計算成本，并使有效的方面詞和觀點詞片段配對在一起的機會最大化，充分利用多詞術語的語義信息。

隨著ASTE任務的推進，越來越多的研究者將其他領域的方法引入該項任務中。CHEN等[13]將ASTE轉化為多輪機器閱讀理解任務，提出了BMRC模型，基于雙向機器閱讀理解框架，設計了三輪查詢來識別方面情感三元組。ZHANG等[14]提出GAS模型，設計了注釋式和抽取式建模的范式，通過將ASTE任務表述為文本生成問題來實現訓練過程。CHEN等[15]提出了一種增強型多通道圖卷積網絡模型（EMC-GCN），通過將單詞和關系相鄰張量分別作為節點和邊，將句子轉換成多通道圖，充分利用詞與詞之間的聯系。

2 研究方法（Research methods）

如圖1所示，本文提出的網絡主要由編碼層、對抗訓練層、候選片段層、雙向抽取網絡層和輸出推理層5個部分組成。下文先對ASTE任務進行定義，然后詳細說明網絡結構。

2.2 基于SpanBERT模型的詞向量編碼

與主流的情感三元組抽取模型不同，本文受文獻[16]的啟發，將SpanBERT用于詞向量編碼，使用SpanBERT+BiGRU進行文本特征提取?；赥ransformer[17]的預訓練模型BERT采用了雙向Transformer結構，可以對句子建模，以獲取上下文語義特征信息，并通過預測掩碼語言模型任務學習文本表示。然而，BERT是隨機掩碼輸入序列中的字，這樣做會讓本來有強相關性的字詞在訓練的時候割裂開，難以建立詞與詞之間的關聯信息。本文提出將SpanBERT作為詞向量模型，以保持上游任務與下游任務的一致性。

SpanBERT是一種基于BERT的改進模型，主要在掩碼機制和訓練目標上有所差異。具體來說，SpanBERT在訓練時對隨機的鄰接片段添加掩碼，而不是對隨機的單個詞語（Token）添加掩碼，并通過使用分詞邊界表示，預測被掩碼的分詞內容。此外，SpanBERT還提出了一個新的訓練目標（Span-BoundaryObjective，SBO）進行模型訓練。通過這些改進，SpanBERT能夠更好地表示和預測分詞片段，提高模型在片段級別任務上的性能。圖2為SpanBERT訓練圖例。其中，片段“an Americanfootball game”作為掩碼處理，SBO任務使用邊界標記x 和x的輸出表示，用于預測被掩碼片段中的每個字。

其中：TP 是預測正確的三元組數量，FP 是預測不正確的三元組數量，FN 是未能預測出的正確三元組數量。

3.4 實驗基線

為了評估本文模型的性能，將其與以下基準模型進行比較。

Peng-Two-Stage[10]：該模型以流水線的方式將ASTE任務分為兩個階段。第一階段預測所有方面詞和觀點詞以及對應的情感極性，第二階段使用關系分類器與第一階段得到的結果進行配對，獲得有效三元組。

JET-BERT[11]：該模型采用端對端的方式，提出了一種位置感知的標注機制，該機制充分考慮了情感三元組中各個元素之間的交互信息，根據條件隨機場獲得最佳的標簽順序。

GTS-BERT[25]：該模型提出一種網格標注方式，根據提取到的令牌的情感特征計算初始預測概率，并設計了一種推理策略，利用不同意見詞之間潛在的相互指示進行最終預測。

Span-ASTE[12]：該模型提出了一種基于文本片段的模型，該模型考慮了片段級別的交互，并提出了一種雙通道剪枝策略，以提高時間效率。

SBN[6]：該模型同時從由方面到觀點和由觀點到方面的兩個方向提取信息，并使用KL散度（Kullback-Leibler Divergence）分離相似片段，使用推理策略消除相似片段。

3.5 對比實驗

表2給出了不同的基線模型和本文提出的AD-ASTE模型在ASTE-Data-V2數據集上的實驗結果。實驗結果表明，本文提出的框架在4個數據集上幾乎都達到了最高的F1分數。對于最優結果，表1中通過加粗方式予以標識，*表示該結果從原文處復制。

從表2中的數據可以看出，相較于流水線模型（Peng-Two-Stage），端到端的模型（JET-BERT、GTS-BERT、Span-ASTE、SBN）在4個數據集的各項評測指標上都有很大程度上的提高，說明端到端的方法可以捕捉文本中的復雜情感依賴關系，避免了流水線方法存在的錯誤傳播的問題，降低了錯誤累計的風險，并提高了系統的整體性能，因此可以更好地處理ASTE任務。

盡管都是端到端的方法，與基于序列標注級別的模型（JET-BERT、GTS-BERT）相比較，基于片段級別的模型（Span-ASTE、SBN）顯著超過了基于序列標注的方法，這是因為片段長度和首尾特征信息在片段識別過程中起到了重要作用，這兩項信息可以幫助模型更好地確定候選項的邊界，這一結果證明了完整的文本片段級別的交互信息對ASTE任務的完成有巨大的促進作用。

雖然都采用了基于文本片段的方法，但是本文提出的模型在4個數據集上的F1分數均超過了基線的最優模型SBN（ASpan-level Bidirectional Network for Aspect Sentiment TripletExtraction）。具體而言，在4個數據集上的F1指標分別超過了SBN模型0.85百分點、1.42百分點、2.27百分點和2.85百分點，僅在14LAP和15RES上的準確率指標略低于SBN，這可能是因為引入了噪聲，導致模型偏向于某些類別的預測，但是F1值仍然保持較高水平。并且，模型在RES15和RES16 兩個數據集上的F1指標有較大幅度的提升，表明了引入FGM 的方法更適應數據語法結構較強的情況，提高了網絡的泛化性和魯棒性。

3.6 消融實驗

為驗證AD-ASTE模型中不同模塊的有效性，包括對抗訓練FGM方法、BiGRU模塊和Biaffine分類器對模型最終效果的影響，本文設計了消融實驗進行進一步研究，以F1值為評價指標，其中“-”表示未加入該模塊，“-SpanBERT”為僅使用普通的BERT預訓練模型。逐步去掉本文提出的模塊后，消融實驗結果如表3所示。

從表3中的數據可以看出，停止使用FGM 方法訓練后，4個數據集上的F1值分別降低了0.55百分點、0.58百分點、1.02百分點和1.12百分點，說明使用對抗訓練方法為模型添加擾動后，模型的魯棒性和泛化能力均有所提升。去除BiGRU模塊和Biaffine模塊后，4個數據集上的F1值略有下降，表明BiGRU能夠有效地捕捉上下文信息，能夠對上下文信息進行更全面的特征提取，Biaffine分類器能夠利用仿射變換捕捉文本中詞對之間的關系，從而更好地理解文本中的語義信息和對上下文的依賴。使用BERT替換SpanBERT后，4個數據集上的F1值分別降低了0.44百分點、0.47百分點、0.88百分點和1.04百分點，表明SpanBERT可以更好地捕捉文本片段層面的信息，處理文本中的復雜結構和語義信息，實驗結果證明SpanBERT模型可以更好地處理基于片段級別的下游任務。

4 結論（Conclusion）

本文提出了一種端到端的方面情感三元組抽取模型，通過片段級別的方法學習多詞術語之間的語義聯系，以SpanBERT 為預訓練模型，對輸入句子進行編碼，保證了上下游任務的一致性。在模型的嵌入層添加FGM 對抗訓練算法添加擾動，以此提高模型的魯棒性和泛化性。并且，采用BiGRU網絡進行文本特征的提取，以片段級別的方法識別方面詞和觀點詞的邊界，通過雙向解碼模塊實現更完整的情感三元組提取。實驗表明，本文方法在ASTE任務上取得了較優性能。

雖然本文提出的模型在ASTE任務中取得了一定的效果，但是在相似片段的識別過程中，依然存在識別不清晰以及重疊三元組識別不完全的問題。接下來，將考慮采用更為有效的自適應相似片段分離方法加強對三元組片段的識別，從而進一步提升ASTE任務的整體抽取性能，這將是本文下一步工作的重心。

作者簡介：

周奕（1998-），男，碩士生。研究領域：自然語言處理。

馬漢杰（1982-），男，博士，副教授。研究領域：視頻圖像傳輸與處理，情感計算。本文通信作者。

許永恩（1993-），男，碩士，高級工程師。研究領域：音視頻編解碼。

宗佳敏（1997-），女，本科。研究領域：計算機視覺。

李少華（1998-），男，碩士生。研究領域：計算機視覺。