KENAOTE：一種知識增強的方面和意見對提取多任務學習模型

摘 要：方面和意見對提取旨在根據給定句子提取方面和意見項并匹配關系，然而相關研究通常獨立提取方面和意見項，而不識別關系。為了識別方面和意見項關系，提出一種知識增強的方面和意見對提取多任務學習模型。首先使用預訓練語言模型為文本生成具有語義信息的詞向量，為了實現知識增強的效果，使用遮蔽注意力的方式將知識圖譜的語義信息融入詞向量中，然后使用基于距離注意力和條件隨機場的序列標注方法提取方面和意見項，最后再將提取的方面和意見項兩兩匹配預測對應關系。為了加強方面和意見項提取模塊和匹配模塊的聯系，采用共享編碼層的方式實現聯合訓練。在訓練流程中，匹配模塊采用真實標簽作為輸入，在測試過程中采用提取模塊的結果作為輸入。為了證明模型的有效性，使用三個通用領域數據集進行對比實驗，該模型在方面和意見項匹配任務中F1值分別達到66.99%、75.17%和67.30%，并優于其他比較模型。

關鍵詞：知識增強；深度學習；方面級情感分析；方面和意見對提取；聯合訓練

中圖分類號：TP391.1 文獻標志碼：A 文章編號：1001-3695（2023）02-007-0359-06

doi： 10.19734/j.issn.1001-3695.2022.07.0326

KENAOTE： multi-task learning model for knowledge augmented aspect and opinion pair extraction

Li Yang1，2， Tang Jiqiang3， Zhu Junwu1， Liang Mingxuan1， 2， Gao Xiang1， 2

（1.College of Information Engineering， Yangzhou University， Yangzhou Jiangsu 225127， China; 2.Institute of Computing Technology，Chinese Academy of Sciences， Beijing 100190， China; 3.National Computer Network Emergency Response Technical Team/Coordination Center of China， Beijing 100029， China）

Abstract：

Aspect and opinion pair extraction aims to extract aspect and opinion items and match relations from a given sentence. However， related studies typically extract aspects and opinions independently without identifying the relationships. To identify the relationships of aspect and opinion item， this paper proposed a knowledge-augmented multi-task learning model for aspect and opinion pair extraction. First， it used the pre-trained language model to generate word vectors with semantic information for the text. In order to achieve the effect of knowledge enhancement， it used the masked attention mechanism to integrate the semantic information of the knowledge graph into the word vectors， and used the sequence labeling method based on the distance-based attention and conditional random fields to extract aspects and opinions. Finally， it matched the extracted aspects and opinions to predict the corresponding relationship. In order to strengthen the connection between the aspect and opinion extraction module and the matching module， the model adopted a shared coding layer to achieve joint training. In addition， in the training process， the matching module used the real labels as input， and used the result of the extraction module as input in the testing process. Finally， to demonstrate the effectiveness of the model， this paper used three general domain datasets for comparative experiments. The model achieves F1 values of 66.99%， 75.17% and 67.30% in aspect and opinion matching tasks respectively， and outperforms other comparative models.

Key words：knowledge augmentation; deep learning; aspect-based sentiment analysis; aspect and opinion pair extraction; joint training

0 引言

文本情感分析是對文本信息中的情感進行識別和分析的研究［1，2］，是自然語言處理任務中的一個重要子任務。根據文本粒度研究的不同，情感分析可以分為篇章級、句子級和方面級［3］。然而粗粒度的情感分析無法處理多方面多情感文本；更細粒度的方面級情感分析（aspect based sentiment analysis，ABSA）可以從給定文本中提取所有方面術語并判斷情感極性［4］。其中，方面—意見術語聯合提取（aspect opinion term extraction，AOTE）由方面術語提取擴展而來［5，6］，是當前方面級情感分析的難點和重要子任務，對下游的方面情感分類任務有很大幫助。在早期的方面—意見術語提取任務中，兩者不是成對提取的。Wang等人［7］使用聯合模型從輸入文本中同時提取出方面項和意見項，如圖1所示，在句子“Otherwise，this place has great service and prices and a nice friendly atmosphere”中，聯合模型可以提取方面項集合{service，prices，atmosphere}和意見項集合{great，nice friendly}，雖然這種方式可以提取文本中的方面項和意見項，但沒有明確兩者之間的對應關系。

為了確定方面項和意見項的對應關系，目前方面—意見對提取任務被解耦成兩個子任務，首先從句子中提取所有的方面項，然后使用面向目標的意見項提取方法提取每個方面項對應的意見項［8］。圖1中，對于方面—意見對提取，模型從文本中提取方面—意見對集合{（service，great），（prices，great），（atmosphere，nice friendly）}。雖然通過這種方式可以提取方面—意見對，但是這種方式需要訓練兩個模型，而意見項的提取又極度依賴方面項的提取。也有研究者將方面項和意見項提取任務描述為序列標注問題［9，10］，具體使用五類標簽集，但是簡單地使用序列標注很難處理實體嵌套的情況，如圖1中 “nice”既與“service”對應也與“prices”對應。

基于以上問題，本文提出一個基于知識增強的多任務框架方面—意見對端到端聯合提取模型KENAOTE（knowledge enhanced end-end AOTE framework）。具體地，KENAOTE是由一個序列標注模型和一個分類器組成，序列標注模型可以標注出文本中所有的方面項和意見項，分類器可以識別任意兩個方面項和意見項之間是否存在關系。兩個模型共用一個編碼器，在模型訓練過程中使用真實的方面—意見對關系訓練分類器，在測試過程中使用序列標注模型提取的方面—意見對作為分類器的輸入，通過這種方式為兩個任務建立聯系。除此以外，還將基于知識圖譜的外部知識通過遮蔽注意力的方式引入框架中提高效果。

本文的主要貢獻總結如下：a）為方面—意見對提取任務構建了一個多任務學習模型，可以實現成對提取方面—意見項，并且通過共享編碼層的方式實現兩個任務聯合優化；b）將基于知識圖譜的外部知識引入到模型中，達到優化模型的效果。在三個領域通用數據集上進行實驗，結果表明本文模型優于比較模型。

1 相關工作

1.1 方面項提取

方面項提取作為方面級情感分析的一個重要子任務，常規的方法可以分為無監督、半監督和監督三種［11～13］，采用機器學習和基于規則的方式提取文本中的方面項。隨著科技的發展，深度神經網絡被廣泛地應用于方面項提取任務中并取得了很好的效果。例如Xu等人［14］使用卷積神經網絡提取方面項，他首先為文本生成領域詞向量和全局詞向量，然后將兩種詞向量拼接并使用一個卷積神經網絡學習語義信息就能實現良好的實驗效果。Ma等人［15］將seq2seq任務和序列標注任務結合起來，用seq2seq任務生成序列標簽，并且提出基于位置的注意力機制控制解碼器的標簽生成。針對方面項提取數據集數量不足的問題，Li等人［16］提出了一種數據增強方法，通過隨機遮蔽文本中的幾個單詞，然后使用seq2seq隨機生成的方法得到新樣本。雖然這些研究優化了方面項提取任務，但沒有考慮意見項，實際上意見項和方面項的關系特別緊密。

1.2 方面項和意見項提取

方面項和意見項提取是方面級情感分析的兩個子任務，研究者發現兩者之間存在緊密的關系，因此近年來的研究集中在如何構建聯合模型提取方面項和意見項。在處理任務時，大多數研究都將其轉換為序列標注任務。Wang等人［7］提出了一種聯合遞歸神經網絡條件隨機場模型，首先利用語法依存樹構建遞歸神經網絡學習文本中的高級語義信息，然后將具有語義信息的隱藏向量輸入到條件隨機場中獲得序列標簽進而完成方面項和意見項的提取；后來他們又擴展了研究并構建了一個遞歸神經網絡結構對應網絡，用于跨域的方面和意見項的共同提取［9］；除此以外，他們還為了捕獲方面項和意見項之間的關系，構建了一個耦合多層注意力網絡［17］，每層注意力包含兩個子注意力，分別用于提取方面項和意見項，并且兩者可以相互影響。Yu等人［18］則關注方面術語和意見術語之間的句法關系，首先應用多任務學習框架隱式捕獲兩個任務之間的關系，然后提出一種全局推理方法，通過顯式建模方面術語提取和意見術語提取之間的幾個句法約束找到模型預測的最佳方案。He等人［19］采用與方面情感分類任務聯合優化的方式，通過統一序列標注方案提取方面項和意見項。然而上面這些模型并沒有將方面項和意見項成對提取。

對于方面項和意見項成對提取，最常見的方法是將任務解耦成兩個子任務。第一個子任務是提取方面項，Li等人［20］使用截斷的歷史注意力和選擇性轉換網絡來提取方面項；第二個子任務是根據給定的方面項提取面向目標的意見項，Fan等人［8］為該子任務設計了一種新的序列標記神經網絡，可以為同一個文本中的不同方面項生成特定于方面項的語義表示。本文提出的KENAOTE模型將兩個子任務融合到一個框架中，通過同時訓練兩個子任務達到聯合優化的目的。

2 KENAOTE模型

2.1 任務描述

給定一個擁有n個單詞的文本s={w1，w2，…，wn}，方面項提取（ATE）任務是從文本s中提取出所有方面項AT={at1，at2，…，atma}，其中atk可以是一個詞或多個詞，意見項提取（OTE）任務是從文本s中提取出所有意見項OT={ot1，ot2，…，otmo}。對于方面—意見項匹配（AOTM）任務，從集合AT和OT中任意取出兩個元素（atka，otko）并判斷是否存在對應關系，最終的輸出結果是所有存在對應關系的方面—意見對集合AOT={（atka，otko），…}，其中atka∈AT，otko∈OT。

2.2 模型結構

模型的具體結構如圖2所示，主要包括文本詞嵌入模塊、外部知識融入模塊、方面和意見項序列標注模塊以及方面和意見項匹配模塊四個部分。

2.2.1 文本詞嵌入模塊

文本詞嵌入模塊的作用是將自然語言文本轉換成具有語義信息的詞向量。具體來說，給定一個文本s={w1，w2，…，wn}和預訓練模型BERT，首先將輸入文本s轉換為s′={［CLS］，w1，w2，…，wn，［SEP］}；然后將s′輸入BERT模型獲得具有語義信息的詞向量H∈R（n+2）×d，其中d是隱藏向量維度。

2.2.2 外部知識融入模塊

隨著自然語言研究的不斷深入，研究者發現領域相關的外部知識與深度學習模型融合可以實現更好的實驗效果，因此開始研究如何將外部知識更好地融入神經網絡模型。知識圖譜（knowledge graph）作為一種常見的外部知識形式，其基本結構是以頭節點、關系和尾節點組成的三元組，被廣泛地應用到神經網絡模型中。

外部知識融入模塊用于學習領域相關語義信息。本文將輸入文本中的單詞作為頭節點查詢知識圖譜，為每個句子生成相應的三元組集合T。為了更好地將外部知識融入到詞向量中，拼接隱藏向量H和三元組集合T為HT={h［CLS］，h1，h2，…，hn，h［SEP］，rel1，tail1，…}，并為HT生成遮蔽矩陣引導注意力的執行。在生成遮蔽矩陣時，本文設定一個基本規則，對于輸入文本中非三元組頭節點的元素，不能直接學習三元組的知識，而頭節點元素可以直接學習三元組知識。例如句子“Boot time is super fast”可以查詢到三元組（\"super\"，\"RelatedTo\"，\"agent\"），“super”可以學習輸入文本和三元組的語義信息，輸入文本中的其他詞不能直接學習三元組的語義信息，只能通過學習“super”的語義信息間接學習三元組語義信息。根據這種規則可以生成遮蔽矩陣Mij。Mij形式化如下：

對于注意力的計算方式，采用BERT模型中的self-attention。首先使用三個線性層將隱藏向量HT轉換為Q、K和V，然后通過Q和K生成的注意力分數與Mij相加得到具有遮蔽矩陣的注意力分數score，最后通過注意力分數score和V計算融入外部知識的隱藏向量。具體的計算公式如下：

式（5）中將注意力分數和遮蔽矩陣相加，如果wi對wj可見則遮蔽矩陣的值為0，不會對注意力分數產生任何影響；如果wi對wj不可見，則遮蔽矩陣的值為－∞，注意力分數會趨近于0，表示wi無法直接學習wj的語義信息。具體流程如圖3所示，經過第一次遮蔽注意力，“super”可以直接學習輸入文本和三元組中的語義知識，經過第二次遮蔽注意力，輸入文本中的其他詞可以通過學習“super”的語義信息間接學習到三元組的語義信息。通過這種方式可以將知識圖譜的語義信息融入到文本中，同時遮蔽矩陣保證融入語義信息的相關性。

2.2.3 方面和意見項序列標注模塊

方面和意見項序列標注模塊（AOTE）的功能主要是從文本中提取所有的方面項和意見項。模塊包括以雙向長短期記憶模型（BiLSTM）為基礎的多層感知機（MLP）、基于距離的自注意力層和用于標簽標注的條件隨機場（CRF）。

在外部知識融入模塊，通過自注意力和遮蔽矩陣將知識圖譜的語義信息融入隱藏向量H中獲得Hkg。為了能更好地學習輸入文本中上下文之間的語義信息，本文采用BiLSTM網絡和激活函數ReLU的兩層多層感知機［21］。具體公式如下：

其中：hkgi表示融入知識圖譜的第i的隱藏向量。

自注意力機制已經在學習語義方面展現了驚人的能力，本文將距離因子引入自注意力機制，隨著距離的變大，注意力權重會縮小，從而使注意力的關注度更加集中于較近的上下文。具體公式如下：

其中：W是可訓練的參數矩陣，1|i－j|表示距離因子，當i和j的距離越遠時，距離因子的值越小；當i=j時，因為分母不能為0，將距離因子設置為1。在實驗過程中發現，模型訓練會出現梯度消失的問題，受到殘差模塊的啟發［22］，將多層感知機的輸出與距離自注意力的輸出拼接可以大大緩解梯度消失問題，具體公式如下：

其中：hendi表示用于序列標注的最終隱藏向量，W和b是可訓練參數，作用是使拼接后的向量重新變成原來的維度，保持向量維度的對齊。

本文使用的序列標注方法是條件隨機場，這也是序列標注任務常用的基線模塊，具體公式如下：

其中：F（y，x）可以分為轉移特征函數和狀態特征函數。最后的損失函數可以表示為

其中：|X|表示樣本數量，|Y|表示序列標注的標簽數量。

2.2.4 方面和意見項匹配模塊

方面和意見項匹配模塊的功能是識別方面項和意見項的對應關系。首先將句子中的所有方面和意見項兩兩配對形成若干個二元組，然后對這些二元組進行正誤判斷從而將匹配任務轉換為二分類任務。在訓練流程中，由于方面和意見項序列標注模塊的輸出缺乏可信度，根據真實的方面和意見項標簽以及融合了外部知識的文本隱藏向量提取方面和意見項向量作為匹配模塊的輸入。在測試流程中，由于序列標注模塊已經具有很高的可信度，匹配模塊直接采用方面和意見項序列標注模塊的輸出作為輸入。在這種方式中，序列標注模塊和匹配模塊共享編碼層實現兩個任務的聯合優化。在方面提取任務的傳統方法中，一般會使用兩個獨立的模型構成管道，這種方式會導致錯誤傳播，本文的整合模型可以緩解錯誤傳播。

在方面和意見項匹配模塊（AOTM）中，首先根據方面和意見項的下標與上一個模塊輸出的文本隱藏向量找到對應的頭向量和尾向量，為了正確表示方面和意見項的跨度信息，采用拼接頭尾向量獲得向量ai和oj。為了體現方面和意見項之間的對應關系，本文采用方面項和意見項相乘再與方面項、意見項拼接的方式，然后通過全連接層獲得最終的融合向量aoi， j；最后將ai、oj與aoi， j相加作為最終的向量表示，通過softmax分類函數獲得最終的分類結果。具體公式如下：

其中：Wa、ba、Wo、bo、Wao和bao是可訓練參數，（a，o）表示從集合中任意取出的方面—意見二元組。損失函數可以表示為

其中：|X|表示二元組數量，|Y|表示分類標簽數量。模型的最終損失函數loss表示為

其中：α和β是平衡兩個任務的超參數。

3 實驗及分析

3.1 實驗數據集及實驗設置

本文采用Fan等人標注的來自laptops和restaurants評論數據集［23］，這些數據集來自SemEval 2014 任務和SemEval 2015 任務［24，25］，原數據集只標注了方面項和情感極性并沒有標注意見項，Fan等人為數據集進行了序列標注，標記出方面和意見對，最后生成了14lap、14res和15res三個數據集，具體信息如表1所示。

本文采用ConceptNet知識庫作為外部知識的知識圖譜，使用預訓練語言模型BERT生成詞向量，模型訓練采用Adam算法。

3.2 評價指標

本文采用F1值作為模型的評價指標。對于方面項和意見項提取任務，筆者認為實體的開始位置和結束位置與真實結果相同才是正確的預測，根據這個標準計算方面項（AT）和意見項（OT）的F1值。對于方面項和意見項匹配任務，提取所有預測存在對應關系的方面—意見對（pair）計算F1值。

3.3 比較實驗

如圖2所示，文本詞嵌入模塊將輸入文本s轉換為詞向量矩陣H；外部知識融入模塊使用遮蔽注意力矩陣運算方法為詞向量H融入外部知識得到Hkg；方面和意見項序列標注模塊標注Hkg提取方面和意見項；方面和意見項匹配模塊訓練時根據真實的方面和意見項下標與Hkg獲得輸入ai和oj，測試時使用序列標注模塊提取的方面和意見項作為模塊輸入。選取的對比模型如下：

a）BiLSTM+CRF，一種序列標注方法，詞嵌入之后的編碼層是BiLSTM，最后使用CRF對輸入文本進行序列標注。

b）RNCRF［7］，一種聯合模型，它將遞歸神經網絡和條件隨機場集成到一個統一的框架中，用于方面項和意見項的提取。

c）CMLA［17］，一種深度學習模型，由多層注意力網絡構成，在每層注意力網絡中，一個注意力用于提取方面術語，一個注意力用于提取意見術語，它們交互學習雙重傳播信息。

d）RNSCN［9］，一種遞歸神經網絡，可以通過句法關系有效減少單詞級別的領域轉移，通過無監督的領域適應方法將知識從源領域轉移到任何未標記的目標領域，實現方面和意見術語提取。

e）HAST+TOWE［8，19］，一種管道方法，首先用模型提取方面項，然后根據提取的方面項和面向目標的提取方法提取意見項，通過這種方式就可以建立方面項和意見項的對應關系。

f）JERE-MHS［27］，一種聯合神經網絡模型，用條件隨機場對實體識別任務進行建模，并將關系提取任務建模為多頭選擇問題。

g）RINANTE［28］，一種意見實體提取模型，可以根據解析結果從現有訓練實例中自動挖掘規則，然后應用規則標記大量輔助數據進行模型學習。

h）GTS［29］，端到端的方面提取模型，提出一種標注方案將方面和意見對提取工作建模成網格標注問題。

為了證明模型的有效性，對比這些模型的實驗數據，其中模型a）～f）和模型g）的實驗數據分別來自文獻［26，30］。

對比實驗結果如表2所示。其中，KENAOTE實現了最佳性能，方面和意見項提取的F1值在三個數據集上分別達到83.10%、82.05%，86.53%、87.61%和79.80%、80.22%，方面和意見項匹配的F1值分別達到66.99%、75.17%和67.30%。因為KENAOTE采用的是兩個任務聯合訓練的框架，方面和意見項提取任務與方面和意見項匹配任務通過共享編碼層可以實現聯合優化的效果，并且在測試階段采用方面和意見項提取的結果作為匹配的輸入也可以增強兩者之間的關聯，通過這種方式緩解了錯誤傳播帶來的影響。另外，在編碼層加入了基于知識圖譜的外部知識融合模塊，通過將領域相關的外部知識融入詞向量實現了更好的預測效果。

在所有比較模型中，GTS實現了與KENAOTE相近的效果，方面和意見項的提取結果僅次于KENAOTE，在14res和15res數據集的方面項和意見項匹配結果略高于KENAOTE，這是因為GTS通過標注方案將方面提取任務整合成網格標注問題，緩解了錯誤傳播。RINANTE 和JERE-MHS實現了其次的效果，因為兩者采用的是聯合提取模型，考慮了方面和意見項之間的關系。而HAST+TOWE采用的是管道模型，將方面和意見對提取任務解耦成兩個子任務，首先提取所有的方面項，然后再根據方面項提取對應的意見項，兩者分屬不同的模型，因此存在錯誤傳播問題。RNSCN、CMLA、RNSCN和BiLSTM+CRF模型提取文本中的方面項和意見項，并沒有考慮兩者之間的對應關系，其中RNSCN、CMLA、RNSCN采用聯合提取方式，通過一個模型同時提取方面項和意見項；BiLSTM+CRF采用序列標注方法，單獨提取方面項和意見項。

3.4 模型模塊分析

3.4.1 外部知識模塊的影響

本節討論外部知識模塊對模型實驗結果的影響。從表3可以看出，在三個通用數據集上性能都有提高，以數據集14lap為例，加入外部知識模塊前，AT、OT和pair的F1值分別為82.20%、79.92%和64.74%。加入外部知識模塊后，F1值分別提高了1.38%、2.13%和2.25%。本文通過遮蔽注意力的方式將基于知識圖譜的外部知識融入詞向量中，使得詞向量擁有更多語義信息，并且遮蔽的方式使得不相關的詞不能直接互相學習語義信息，只能通過中間詞間接學習知識，這種方式也使得學習的知識更加準確。

3.4.2 損失函數權重的影響

以下討論損失函數權重對實驗結果的影響，圖4展示了在不同損失函數權重情況下模型在三個數據集的實驗數據。為了簡化模型的訓練，將方面和意見項匹配模塊的權重設置為1，通過改動方面項和意見項提取的權重控制比例。本文將權重設置為0.25、0.5、0.75、1、1.25、1.5進行比較，可以看出，當權重為0.5時方面和意見項提取以及匹配都達到最佳效果。另外對于匹配模塊無論是增加權重還是減少權重都呈現下降趨勢，而提取模塊則呈現波動態勢。

3.4.3 聯合訓練對模型的影響

本節討論方面和意見項提取及匹配聯合訓練對實驗結果的影響。如表4所示，AOTE表示單獨訓練方面和意見項提取，AOTEM表示聯合訓練提取和匹配模塊。從表中可以發現，聯合訓練模型在三個數據集上方面和意見項提取分別提高了0.69%、1.26%，2.9%、1.76%和4.48%、3.59%。實驗證明聯合訓練模型可以提高實驗結果，這是因為提取模塊和匹配模塊擁有共同的編碼層，匹配模塊的訓練也會引導編碼層的參數對提取模塊產生正向作用。

3.4.4 案例分析

本節通過實際案例分析知識圖譜和聯合訓練對模型效果的影響。表5中列出了從14lap中提取的三個句子和是否融入知識圖譜及聯合訓練的實驗結果。在前兩個句子中，融入知識圖譜的聯合訓練模型都預測出了正確結果；而未加知識圖譜單獨訓練模型第一句只預測出一對方面和意見對，第二句方面和意見的匹配出錯。加入知識圖譜和聯合訓練可以使模型學習更多的語義信息，也可以使模型參數得到更加充分的學習。在第三句中，模型未能正確識別方面詞邊界，將“apple OS”識別成“apple”，模型未對詞邊界做特殊識別，也是筆者未來的重要研究方向。

4 結束語

本文提出了一個基于知識增強的提取方面—意見詞對的多任務學習模型。該模型使用預訓練語言模型BERT為文本生成詞向量，通過遮蔽注意力的方式將外部知識融入詞向量，在方面和意見項提取模塊中，本文采用基于距離注意力和條件隨機場的序列標注方式提取方面項和意見項，在方面和意見項匹配模塊中，本文采用拼接頭尾向量的方式進行匹配。提取模塊和匹配模塊擁有共同的編碼層，可以聯合訓練。在訓練階段，提取模塊的置信度較低，采用真實結果作為匹配模塊的輸入，測試階段則采用提取模塊的結果作為輸入，通過這種方式為兩個模塊建立聯系。在三個公開方面級情感分析數據集中，本文的模塊獲得了比對比模型更高的F1值。為了證明模型的有效性，本文分別討論了外部知識對模型的影響、不同損失函數權重對模型的影響和聯合訓練對模型的影響，實驗證明了模型的模塊作用。本文模型分為提取和匹配兩個模塊，下一步，筆者將考慮如何將兩個模塊整合成一個模塊，只需要一步就能提取出方面—意見對。另外，也將思考更加有效的外部知識融入方式。

參考文獻：

［1］Pang Bo，Lee L. Opinion mining and sentiment analysis ［J］. Foundations and Trends in Information Retrieval，2008，2（1-2）： 1-135.

［2］Vinodhini G，Chandrasekaran R M. Sentiment analysis and opinion mining： a survey［J］. International Journal，2012，2（6）：282-292.

［3］洪巍，李敏. 文本情感分析方法研究綜述 ［J］. 計算機工程與科學，2019，41（4）： 750-757. （Hong Wei，Li Min. A review： text sentiment analysis methods ［J］. Computer Engineering amp; Science，2019，41（4）： 750-757.）

［4］Liu Bing. Sentiment analysis and opinion mining ［M］. Cham： Springer，2012： 1-167.

［5］Hu Minghao，Peng Yuxing，Huang Zhen，et al. Open-domain targeted sentiment analysis via span-based extraction and classification ［C］// Proc of the 57th Annual Meeting of the Association for Computational Linguistics. Stroudsburg，PA： Association for Computational Linguistics，2019： 537-546.

［6］Li Xin，Lam W. Deep multi-task learning for aspect term extraction with memory interaction ［C］// Proc of Conference on Empirical Methods in Natural Language Processing. Stroudsburg，PA： Association for Computational Linguistics，2017： 2886-2892.

［7］Wang Wenya，Pan S J，Dahlmeier D，et al. Recursive neural conditional random fields for aspect-based sentiment analysis［C］//Proc of Conference on Empirical Methods in Natural Language Processing. Stroudsburg，PA： Association for Computational Linguistics，2016： 616-626.

［8］Fan Zhifang，Wu Zhen，Dai Xinyu，et al. Target-oriented opinion words extraction with target-fused neural sequence labeling ［C］// Proc of Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies. Stroudsburg，PA： Association for Computational Linguistics，2019： 2509-2518.

［9］Wang Wenya，Pan S J. Recursive neural structural correspondence network for cross-domain aspect and opinion co-extraction ［C］// Proc of the 56th Annual Meeting of the Association for Computational Linguistics. Stroudsburg，PA： Association for Computational Linguistics，2018： 2171-2181.

［10］Xu Hu，Liu Bing，Shu Lei，et al. BERT post-training for review rea-ding comprehension and aspect-based sentiment analysis ［C］// Proc of Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies. Stroudsburg，PA： Association for Computational Linguistics，2019： 2324-2335.

［11］Liu Kang，Xu Liheng，Zhao Jun. Opinion target extraction using word-based translation model ［C］// Proc of Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning. Stroudsburg，PA： Association for Computational Linguistics，2012： 1346-1356.

［12］Mukherjee A，Liu Bing. Aspect extraction through semi-supervised modeling ［C］// Proc of the 50th Annual Meeting of the Association for Computational Linguistics. Stroudsburg，PA： Association for Computational Linguistics，2012： 339-348.

［13］Jakob N，Gurevych I. Extracting opinion targets in a single and cross-domain setting with conditional random fields ［C］// Proc of Confe-rence on Empirical Methods in Natural Language Processing. Stroudsburg，PA： Association for Computational Linguistics，2010： 1035-1045.

［14］Xu Hu，Liu Bing，Shu Lei，et al. Double embeddings and CNN-based sequence labeling for aspect extraction ［C］// Proc of the 56th An-nual Meeting of the Association for Computational Linguistics. Stroudsburg，PA： Association for Computational Linguistics，2018： 592-598.

［15］Ma Dehong，Li Sujian，Wu Fangzhao，et al. Exploring sequence-to-sequence learning in aspect term extraction ［C］// Proc of the 57th Annual Meeting of the Association for Computational Linguistics. Stroudsburg，PA： Association for Computational Linguistics，2019： 3538-3547.

［16］Li Kun，Chen Chengbo，Quan Xiaojun， et al. Conditional augmentation for aspect term extraction via masked sequence-to-sequence ge-neration ［C］// Proc of the 58th Annual Meeting of the Association for Computational Linguistics. Stroudsburg，PA： Association for Computational Linguistics，2020： 7056-7066.

［17］Wang Wenya，Pan S J，Dahlmeier D，et al. Coupled multi-layer attentions for co-extraction of aspect and opinion terms ［C］// Proc of AAAI Conference on Artificial Intelligence.2017： 3316-3322.

［18］Yu Jianfei，Jiang Jing，Xia Rui. Global inference for aspect and opi-nion terms co-extraction based on multi-task neural networks ［J］. IEEE/ACM Trans on Audio，Speech，and Language Proces-sing，2018，27（1）： 168-177.

［19］He Ruidan，Lee W S，Ng H T，et al. An interactive multi-task learning network for end-to-end aspect-based sentiment analysis ［C］// Proc of the 57th Annual Meeting of the Association for Computational Linguistics. Stroudsburg，PA： Association for Computational Linguistics，2019： 504-515.

［20］Li Xin，Bing Lidong，Li Piji，et al. Aspect term extraction with history attention and selective transformation ［C］// Proc of the 27th International Joint Conference on Artificial Intelligence. 2018： 4194-4200.

［21］Liu Xiao，Zheng Yanan，Du Zhengxiao，et al. GPT understands，too ［EB/OL］.（2021-03-18）.https：//arxiv.org/pdf/2103.10385.pdf.

［22］He Kaiming，Zhang Xiangyu，Ren Shaoqing，et al. Deep residual learning for image recognition ［C］// Proc of IEEE Conference on Computer Vision and Pattern Recognition. Washington DC： IEEE Computer Society，2016： 770-778.

［23］Peng Haiyun，Xu Lu，Bing Lidong，et al. Knowing what，how and why： a near complete solution for aspect-based sentiment analysis ［C］// Proc of AAAI Conference on Artificial Intelligence，2020： 8600-8607.

［24］Maria P，Dimitris G，John P，et al. SemEval-2014 task 4： aspect based sentiment analysis ［C］// Proc of the 8th International Workshop on Semantic Evaluation. Stroudsburg，PA： Association for Computational Linguistics，2015： 27-35.

［25］Pontiki M，Galanis D，Papageorgiou H，et al. SemEval-2015 task 12： aspect based sentiment analysis ［C］// Proc of the 9th International Workshop on Semantic Evaluation. Stroudsburg，PA： Association for Computational Linguistics，2015： 486-495.

［26］Zhao He，Huang Longtao，Zhang Rong，et al. SpanMlt： a span-based multi-task learning framework for pair-wise aspect and opinion terms extraction ［C］// Proc of the 58th Annual Meeting of the Association for Computational Linguistics. Stroudsburg，PA： Association for Computational Linguistics，2020： 3239-3248.

［27］Bekoulis G，Deleu J，Demeester T， et al. Joint entity recognition and relation extraction as a multi-head selection problem ［J］. Expert Systems with Applications，2018，114（12）： 34-45.

［28］Dai Hongliang，Song Yangqiu. Neural aspect and opinion term extraction with mined rules as weak supervision ［C］// Proc of the 57th Annual Meeting of the Association for Computational Linguistics. Stroudsburg，PA： Association for Computational Linguistics，2019： 5268-5277.

［29］Wu Zhen，Ying Chengcan，Zhao Fei，et al. Grid tagging scheme for aspect-oriented fine-grained opinion extraction ［C］// Proc of Fin-dings of the Association for Computational Linguistics. 2020： 2576-2585.

［30］Chen Shaowei，Liu Jie，Wang Yu，et al. Synchronous double-channel recurrent network for aspect-opinion pair extraction［C］// Proc of the 58th Annual Meeting of the Association for Computational Linguistics. Stroudsburg，PA： Association for Computational Linguistics，2020： 6515-6524.

收稿日期：2022-07-22；修回日期：2022-08-29 基金項目：國家“242信息安全”計劃資助項目（2021A008）；北京市科技新星計劃交叉學科合作課題（Z191100001119014）；國家重點研發計劃重點專項資助項目（2017YFC1700300，2017YFB1002300）；國家自然科學基金資助項目（61702234）；江蘇省（揚州大學）研究生科研與實踐創新計劃資助項目（SJCX21_1551）

作者簡介：李陽（1994-），男，江蘇揚州人，碩士研究生，主要研究方向為自然語言處理；唐積強（1981-），男（通信作者），北京人，高級工程師，博士，主要研究方向為自然語言處理、網絡安全（tjq@cert.org.cn）；朱俊武（1972-），男，江蘇揚州人，教授，博士，主要研究方向為本體論、知識工程；梁明軒（1998-），男，江蘇揚州人，碩士研究生，主要研究方向為自然語言處理；高翔（1996-），男，安徽安慶人，碩士研究生，主要研究方向為自然語言處理.