融合位置信息的觀點三元組情感分析模型

摘 要：方面級情感分析主要有兩大類任務：a）抽取任務，旨在抽取出語句中的方面詞及觀點詞；b）分類任務，旨在分析情感極性。在這兩種復合任務的基礎上，針對目前方面詞與觀點詞耦合性較差，導致分類任務出錯這一問題，提出了融合位置信息的觀點三元組情感分析模型OTPM。該模型利用雙向長短時記憶網絡獲得文本表示，接著利用自注意力機制來增強方面詞與情感詞之間的關聯性，之后在多任務框架中進行觀點三元組的抽取，同時將抽取出的表示與位置信息進行加權融合，最后利用biaffine評分器分析加權后的方面詞與觀點詞之間的情感依賴關系，并利用stop-on-non-I算法對三元組進行解碼輸出三元組。在Lap14、Rest14、Rest15、Rest16四個數據集上進行大量實驗，結果表明所提模型優于一系列基線模型。

關鍵詞：方面級情感分析； 多任務框架； 觀點三元組； 雙向長短時記憶網絡； 自注意力機制

中圖分類號：TP393.04 文獻標志碼：A

文章編號：1001-3695（2023）03-006-0676-06

doi：10.19734/j.issn.1001-3695.2022.07.0370

Sentiment analysis model of opinion triplet based on position information

Jiang Yutong， Qian Xuezhong， Song Wei

（School of Artificial Intelligence amp; Computer Science， Jiangnan University， Wuxi Jiangsu 214122， China）

Abstract：There are two kinds of tasks in aspect-based sentiment analysis： one is extraction task， which aims to extract aspect words and opinion words from sentences. The other is the classification task， which aims to analyze the sentimental polarity. On the basis of these two complex tasks， aiming at the problem that the coupling between aspect words and opinion words is poor， which leads to the error of classification task， this paper proposed an opinion triplet sentiment analysis model（OTPM） integrating position information. The model used bi-directional long short-term memory network to obtain the text representation， then used the self attention mechanism to enhance the correlation between aspect words and opinion words， and then extracted the opinion triplet in the multi task framework. At the same time， it conducted weighted fusion of extracted representation and position information. Finally， the experiment used biaffine scorer to analyze the sentimental dependence between the weighted aspect words and opinion words， and then used stop-on-non-I algorithm to decode the triplet and output the triplet. This paper conducted a lot of experiments on Lap14， Rest14， Rest15， Rest16 dataset. The results show that the proposed model is superior to a series of baseline models.

Key words：aspect-based sentiment analysis; multitasking framework; opinion triplet; bi-directional long short-term memory network; self attention mechanism

0 引言

大數據時代的到來，使得數據信息結構愈發復雜，如何獲取用戶信息中的情感傾向性，成為當前研究的熱點，情感分析也隨之興起。為了滿足細膩情感的辨別要求，方面級情感分析［1］成為了當前的情感分析領域中的熱門。文本情感分析早期的工作方法大多采用人工，如情感詞典、依賴信息系統等。再運用最大熵、支持向量機等［2］的傳統分類器完成情感劃分。情感詞典［3］的豐富程度和質量制約著基于情感詞典的方法，然而詞典的構建與規則判斷依賴大量人工設計與先驗知識。同樣基于機器學習的方法，其模型的訓練對于標注數據集的質量也具有相應要求，也會耗費大量的人工成本。然而基于深度學習［4］的方法在近年來卻取得了不俗的成果，文獻［5］提出了一種三元組的抽取方式，有效結合了方面詞、觀點詞、情感極性三者的關聯，引起了許多學者的關注。文獻［6］在其基礎上引入了多任務的學習框架，通過聯合方面、觀點表示，利用雙仿射變換評分器進行情感極性分類，最后解碼獲取三元組。但是模型對于觀點和方面的耦合程度較低，不能發現其潛在關聯。文獻［7］為了能夠更好地獲取三元組三者間的關聯，設計了一個端到端的模型，設計了一種新穎的位置標記方案，使其能夠聯合提取三元組。文獻［8］則設計了一種網格標記方案（grid tagging scheme，GTS），利用三元組多元素之間的相互指示來進行更準確的提取。兩個模型雖然對于方面、觀點的聯系把握較好，但是缺乏對于情感極性依賴的分析，不能有效提高分類精度。

針對以上問題，本文結合自注意力機制、位置偏移信息以及多任務學習框架，提出了一種融合位置信息的觀點三元組情感分析模型。引入位置權重，對方面和觀點標記信息之間的權重關系進行重新分配，以增強兩者耦合性，同時利用biaffine評分器提高對于情感依賴的分析準確性。

1 相關工作

近兩年來學者根據方面級情感分析任務目標的不同，將其分為七個子任務。就單輸出任務而言包括：方面詞提取（aspect term extraction，AE）、觀點詞提取（opinion term extraction，OE）、方面級情感分類（aspect-level sentiment classification，ALSC）、面向方面的觀點提取（aspect-oriented opinion extraction，AOE）四種；而復合輸出任務則包括：方面觀點共提取（pair extraction，Pair）、方面提取與情感分類（aspect term extraction and sentiment classification，AESC）、三元組提取（triplet extraction，TE）三種。其主要內容如圖1所示。

在上述的單任務輸出中，模型僅僅選擇方面詞、觀點詞或者是情感極性（POS，NEG，NEU）進行輸出。

在AE任務中，文獻［9］通過擴展記憶和神經記憶操作，并結合LSTM進行了方面提取。而文獻［10］則通過通用領域嵌入和特定領域嵌入的混合模式進行方面提取，并取得了較好成效。最近的工作則是文獻［11］放棄序列標記的方式，選擇序列到序列的方式進行提取任務。

而OE任務一般是用作輔助任務，為了更好地識別出情感極性而進行。文獻［12］通過AE、OE和ALSC三者間的關系建立信息共享機制，并利用交互式的多任務學習網絡進行信息過濾，使得任務共用一套機制。

ALSC任務的研究則更加廣泛。文獻［13］利用LSTM來增加上下文詞語之間的關聯性開始。文獻［14］則通過簡單圖卷積神經網絡并結合特定屏蔽機制進行情感分析。

相較于之前三種任務，AOE任務直到2019年才被Fan等人［15］提出。文獻［16］則利用潛在信息轉移網絡將豐富資源轉移到低資源任務中，進行特定方面的觀點提取。

相較于單輸出任務，復合輸出任務近年來則更為火熱。在Pair任務中，文獻［17］通過端到端的方法，將方面和觀點以聯合抽取的形式進行了改進。在AESC任務中，文獻［18］提出條件隨機場模型（CRF）進行方面級情感分析，并在西班牙語數據集中取得明顯突破。文獻［19］則利用兩個堆疊的遞歸神經網絡，提出了一種應用統一標記方案的新模型。

TE任務則是由Peng等人［5］首次提出，并獲得了許多學者的關注。Xu等人［7］則在CRF的基礎上融合了位置感知標記，增加了長跨度檢測的準確性。文獻［20］構建了兩個機器閱讀理解模型MRC，通過聯合訓練解決了子任務無法統一的問題。

雖然目前的TE任務很好地將方面、觀點、情感極性三者剝離開，但在實際生活中，方面觀點間會存在一定的語義聯系，通過這種聯系能夠更好地反映出情感極性。因此本文提出OTPM模型，通過在BiLSTM的基礎上，增加自注意力機制聯系方面、觀點隱藏狀態特征，來初步加強兩者關系；之后在多任務學習中，添加位置偏移信息，通過位置權重分配，進一步耦合方面詞、觀點詞，從而獲得更加準確的情感極性表示。

2 系統模型

本章提出了融合位置信息的觀點三元組情感分析模型，圖2是該模型的總體框架結構。

首先利用GloVe詞向量對輸入例句進行編碼，初始句子以詞嵌入向量形成的特征矩陣表示。接著，再通過雙向的長短期記憶網絡模型對詞向量加以編碼，從中得到句子的特征表示，并分別沿著前向序列和后向序列進行編碼、拼接，從而生成包含句子整體特征的矩陣表示。為了獲取方面詞和觀點詞對的魯棒表示，接入自注意力層來加強詞對之間的關系。之后為了避免將特征表示直接輸入到下一層，出現過擬合情況，模型通過線性降維層和非線性激活函數ReLU，剝離與方面詞和觀點詞無關的特征，并對情感極性解析端進行相同操作。之后將輸出送入多任務模型結構中，該部分包含三個任務：a）利用BIO標注方案對方面詞和觀點詞進行標記；b）獲取觀點詞與方面詞各自的相對位置偏移；c）對句子中所有的詞對進行依賴關系分類。最后利用啟發式規則進行三元解碼，獲取最終標簽。

對于給定的句子S={wi}|S|i=1，模型將輸出形如T={tj}|T|j=1的一個三元組，其中|S|代表句子長度，|T|代表三元組集合。tj則由m（ap）j、m（op）j、m（pt）j和m（st）j四個要素組成，分別代表方面跨度、觀點跨度、位置偏移跨度和情感跨度。在句子中，雖然方面和觀點之間通常會跨越幾個單詞，但實驗中僅用跨度的起始位置（sp）和結束位置（ep）來簡化符號。所以m（ap）j和m（op）j可以表示為（sp（ap）j，ep（ap）j）和（sp（op）j，ep（op）j）。而m（pt）j根據相對位置左右的不同賦予正負標記，表示為（±sp（ap）j，±ep（ap）j）和（±sp（op）j，±ep（op）j）。因此，問題被簡單表述為T=F（S），即找到一個函數F，將句子S精確地映射到一個三元組集合T中去。

2.1 句子編碼層

要對輸入的語句進行編碼，必須首先把語句中的各個詞匯采用GloVe詞向量模型，嵌入到某個低維向量空間中去，將其描述為E={ei|ei∈Rde}|S|i=1。鑒于上下文感知對句子編碼至關重要，同時考慮到LSTM具有上下文感知能力，實驗采用了BiLSTM作為句子的編碼器，利用其獲取詞向量H={hi|hi∈R2dh}|S|i=1。在t時刻，BiLSTM的先向輸出與后向輸出分別為t和t，將兩個方向的矢量完成拼接后，得到t時刻的最終輸出向量如式（1）所示。

ht=ht⊕ht（1）

其中：⊕表示向量拼接。

2.2 自注意力機制層

在自注意力機制層中，通過自注意力機制加強方面詞和觀點詞間的聯系，得到方面詞的隱藏狀態向量表示和觀點詞的隱藏狀態向量表示。針對單詞對（wi， wj），其中wi的表示方面詞、wj表示觀點詞，使用自注意力機制增強wi和wj之間的連接。如式（2）所示。

其中：uij 表示單詞對wi、wj之間關聯性權重向量；v表示單位向量，用于求取方面、觀點關聯權重系數；Wa1和Wa2是權重矩陣;ba是偏置。

計算單詞對wi、wj之間關聯性權重歸一化向量αij，如式（3）所示。

計算方面詞的隱藏狀態向量表示i和觀點詞的隱藏狀態向量表示j如式（4）和（5）所示。

其中：s表示句子長度;ap表示方面詞;op表示觀點詞。

2.3 特征表示

在表示層中，對方面詞和觀點詞進行特征剝離，獲取方面詞和觀點詞的特征表示。實驗使用linear進行線性降維，之后通過非線性激活函數，對方面詞和觀點詞進行特征剝離，避免直接將隱藏狀態輸入到下一個單元中，減少過擬合的風險。

在可學習的權重和偏置設置不同時，得到兩組方面詞的特征表示和觀點詞的特征表示：a）方面詞的特征表示r（ap）i、觀點詞的特征表示r（op）j;b）方面詞的特征表示r（ap）′i、觀點詞的特征表示r（op）′j。具體如式（6）和（7）所示。

方面詞特征表示r（ap）i、觀點詞特征表示r（op）j將在接下來的多任務結構方面、觀點標記中作為輸入。

2.4 多任務學習方法

該多任務體系結構包括方面和觀點標記、位置偏移以及詞級情感依賴分析三個部分。通過方面標記操作得到方面詞標記分布序列，通過觀點標記操作得到觀點詞標記分布序列，通過位置偏移操作得到方面位置偏移和觀點位置偏移，通過詞級情感依賴分析得到情感極性。

a）方面和觀點標記任務。使用BIO標注方案對一組所述方面詞的特征表示r（ap）i進行序列標記得到包含B、I、O的方面詞標記分布序列P（ap）i，使用BIO標注方案對一組所述觀點詞的特征表示r（op）j進行序列標記得到包含B、I、O的觀點詞標記分布序列P（op）j；序列標記的同時記錄方面詞標記信息和觀點詞標記信息。

對方面詞特征表示r（ap）i、觀點詞特征表示r（op）j進行標記，將每個單詞的標記分為B、I、O三種類別，B代表標記對象的開頭，當標記對象長度超過1則標記對象其余部分標記為I，所有非標記對象標記為O。實驗用兩個序列標記器為句子中的每個單詞標記，分別是方面詞標記、觀點詞標記。通過BIO標注方案標記P（ap）i，P（op）i∈

b）位置偏移計算。從上述過程中，根據方面詞標記分布序列P（ap）i和觀點詞標記分布序列P（op）j確定方面詞和觀點詞的位置序列，根據方面詞相對于觀點詞的位置得到方面位置偏移o（ap）i，根據觀點詞相對于方面詞的位置得到觀點位置偏移o（op）j。實驗中在中心詞左側為負，右側為正；其原理如圖3所示。

可以看到以方面詞“food”為中心時，其對應的觀點詞“great”位置在其左側，長度為1，所以位置偏移量起始點與截止點相同，記做（-1，-1）。而以觀點詞“great”為中心時，由于方面詞長度為1，所以位置偏移量記做（1，1）。在分別獲取到觀點偏移和方面偏移后，將其拼接到各自的標記向量中去，如式（10）（11）所示。

其中：cat表示向量拼接操作。

c）詞級情感依賴分析任務。假設訓練語句長度為S，在包含自配對的情況下，每個句子中都包含有|S|2個的詞對，對每個詞對的依賴類型都進行計算預測。依賴類型分為NEU、NEG、POS和NO-DEP四個情況，其中，NEU表示中立情感，NEG表示消極情感，POS表示積極情感，NO-DEP表示沒有情感依賴。通過這四個分類來處理各種依賴關系。此外，受表格填充方法的啟發，情感依賴性僅適用于三元組中正好是一個方面的最后一個詞和一個觀點的最后一個詞的詞對。例如：“Waiters are friendly and the sashimi is out of the world.”對于三元組（sashimi，out of the world，NES），情感依賴關系簡化為（sashimi，world，NES），這樣可以大大降低學習冗余度，并且當情感依賴在與方面和觀點跨度相結合時仍然可用。

實驗使用biaffine評分器來捕捉每個詞對中兩個詞的交互作用。使用所述r～（ap）′i和r～（op）′j計算每個詞對的情感傾向性得分s～i，j，k，如式（12）所示

2.5 三元組解碼

在三元組解碼層中，使用啟發式規則對所述方面詞標記分布序列、觀點詞標記分布序列和情感極性進行三元組解碼，得到包括方面詞位置信息、觀點詞位置信息和情感極性的三元組輸出。

使用stop-on-non-I算法標準對所述方面詞標記分布序列P（ap）i進行逆序遍歷找到第一個I或B的位置P1ap，使用stop-on-non-I算法標準對所述觀點詞標記分布序列P（op）j進行逆序遍歷找到第一個I或B的位置P1op，建立初步三元組（P1ap，P1op，情感極性）。

繼續逆序遍歷方面詞標記分布序列P（ap）i直到找到第一個B的位置P2ap，繼續逆序遍歷觀點詞標記分布序列P（op）j直到找到第一個B的位置P2op，得到所述包括方面詞位置信息、觀點詞位置信息和情感極性的三元組輸出為［（P2ap，P1ap），（P2op，P1op），情感極性］。P2ap是方面詞的開始位置，P1ap是方面詞的結束位置，P2op是觀點詞的開始位置，P1op是觀點詞的結束位置；當方面詞或觀點詞的長度為1，即只含有一個B，不含有I時，開始結束位置相同，P2ap=P1ap或P2op=P1op，其過程如圖4所示。

如圖4所示，從單詞序列“The computer is fast and good.”中，模型得到了方面標記{O，B，O，O，O，O，O}，觀點標記{O，O，O，B，O，B，O}，還有兩個詞級情感依賴關系。方面詞“computer”對應兩個觀點詞“fast”“good”，所以有兩個三元組，情感都是積極的。其中位置從0開始，方面詞位置是1，觀點詞位置有兩個分別是3，5。如圖4所示，初步三元組為（1，3，POS）和（1，5，POS）。而后逆序遍歷方面詞和觀點詞序列索引，并且遵循stop-on-non-I的標準，最終三元組的輸出結果為［（1，1），（3，3），POS］和［（1，1），（5，5），POS］。

3 實驗結果與分析

3.1 實驗數據與評估指標

為了檢驗模型性能問題，實驗選取情感分析領域較為經典的四個數據集（ACL、EMNLP、NAACL主流測試數據集）加以實驗測試，分別來自SemEval 2014 task 4、SemEval 2015 task 12和SemEval 2016 task 5，包含筆記本電腦和餐館兩個類別的數據。由于它們最初只標注了方面詞和情感極性，所以實驗另外采用了文獻［5］提出的觀點術語的標注方式。這些數據集合通常包含訓練集、測試集和測試集合三個子集。這些數據集的統計數據如表1所示。

通過表1可以看出三元組的重疊情況基本占據了25%左右，數據表明重疊情況在實際應用中的普遍性。這一現象表明三元組交互模擬的必要性。雖然在文獻[15]的實驗中將重疊部分全部剔除，但是在本文中將重疊情況全部保留。

另外，實驗還采用了宏觀平均F1值為三元組提取的評價指標體系。只有完全匹配的三元組，即所有方面詞、觀點詞和情緒極性都符合標準，才會在評估過程中被視為真正例標記。

3.2 實驗過程及參數設置

預先訓練的GloVe詞向量用于初始化單詞嵌入，然后連接到雙向的長短期記憶網絡，接著通過自注意力層加強方面觀點耦合程度，然后通過線性降維和ReLU激活函數剔除噪聲，緊接著將其輸入多頭結構中，分別獲取方面標記、觀點標記、位置偏移和情感依賴關系建立這些工作，最后利用stop-on-non-I標準算法生成最終的關系三元組，其中stop-on-non-I標準算法過程算法1所示。

算法1 stop-on-non-I算法

輸入：方面詞序列標注j，觀點詞序列標注k。 /情感依賴關系（j，k，p）/

輸出：t。

a）m←j //賦值

b）while tag_ap is I do

m←m-1

if m ≤ 0 then

break

//方面詞序列標注為I時進行循環

c）n←k //賦值

d）while tag_op is I do

n←n-1

if n ≤ 0 then

break

//觀點詞序列標注為I時進行循環

e）t←［（m， j）， （n， k）， p］ //輸出最終三元組

實驗工作參數設定方面，遵循情感分析領域通用設置，詞嵌入維度de、隱藏狀態維度dh、方面和觀點表示的維度dr分別被設置為300、300、100。學習目標中的平衡項α設置為1。l2正則化的系數γ設置為10-5。對詞嵌入進行dropout以避免過擬合，dropout設置為0.5。所有參數都均勻分布進行初始化，訓練過程中，使用Adam優化器進行優化，學習率設置為0.001，batchsize大小根據電腦顯卡性能設置為64。此外，將patience設置為5，如果在驗證集上沒有進一步的性能改進，實驗能夠提前停止學習過程。在模型復雜度方面，OTPM計算一條語句耗時約為0.04 s，模型參數量約為2.65 M。

3.3 對比實驗與分析

為了進行系統的比較，實驗中引入了多種基線模型。由于數據集的通用性，表2中的其他模型均存在相應文獻數據。

a）RINANTE［21］。該模型利用一種方面和觀點共同提取的方法，根據句子中詞語的依賴關系，挖掘方面詞和觀點詞的提取規則。b）CMLA［22］。該模型采用注意力機制來獲取特征，用于方面詞和觀點詞的提取。通過注意力來捕捉兩者之間的直接或間接的依賴關系。

c）HAST［23］。該模型利用觀點摘要和方面檢測歷史兩個有用的線索來進行三元組提取。

d）Unified［19］。它提出了一種新的統一模型，通過兩層循環神經網絡來預測聯合標注所形成的標記。

e）Pipeline［5］。該模型將三元組抽取分為兩個部分：第一個部分是預測統一的方面—情感關系與觀點標記，第二部分是將兩者進行配對。

f）M-CMLA［15］。該模型是在CMLA的基礎上應用多頭學習框架，以此獲取關系三元組。

g）M-HAST［24］。該模型是在HAST的基礎上應用多頭學習框架，以此獲取關系三元組。

h）OTE-MTL［6］。該模型將Pipeline模型中的方面情感聯合抽取拆分開來，進行三元組抽取。

i）VCAN［25］。該模型利用多模態信息的互補性進行情感分析訓練。

表2是本文模型與上述九種模型在Lap14、Rest14、Rest15、Rest16這些數據集上宏觀平均F1值的對比，其中加粗數據表示為當前數據集最好數值。第1組模型中由于RINANTE、CMLA、HAST、Unified和Pipeline五個模型在數據集中剔除了所有的重疊情況，為保證實驗環境一致，該部分OTPM模型同樣沒有考慮重疊情況。而第2組模型中將重疊情況納入實驗。實驗發現，本文模型OTPM在兩種情況下都表現優異。因此，實驗得出結論OTPM對于方面詞和觀點詞的耦合是有效的，它增強了兩者之間的關聯性，對于最后的情感極性判斷有著較高的提升。

從模型OTPM在兩組實驗中F1值的變化，可以發現重疊情況相較于一般的案例來說難度較大。雖然M-CMLA與M-HAST兩個模型在原先基礎上增加了多任務結構，相較于CMLA和HAST性能有所提升，但是由于模型未將方面及情感極性提取分離開，不能結合觀點信息，導致識別精度不高。而OTE-MTL雖然將方面標記與情感極性分析剝離開，但是對于方面詞和觀點詞的耦合并未作出過多研究，所以提升有限。VCAN雖然在Rest14中的表現與本文模型接近，但是在其他數據集上差距較大。而OTPM通過融合自注意力機制和位置偏移信息，進一步加強了方面和觀點之間存在的語義聯系，從而進一步提高了識別性能。

3.4 消融實驗與分析

為了進一步研究OMPT模型不同部分的性能，實驗還提出了一組OTPM變體模型。

a）OTPM-P。該變體去除BiLSTM層后的自注意力層，僅通過位置偏移信息加強方面詞、觀點詞耦合程度。

b）OTPM-A。該變體保留自注意力層，同時去除多任務中的位置偏移信息，直接將方面、觀點表示送入biaffine評分器來進行情感極性預測。

c）OTPM-Cat。該變體使用一個方面—觀點聯合向量的激活的線性層來替換biaffine評分器來進行方面級情感極性預測。

在對OTPM進行了消融研究之后，實驗結果展示了各成分對性能的影響程度，如表3所示。

根據表3的實驗結果發現，OTPM模型超過了它的所有變體。通過模型OTPM-P和OTPM-A可以發現單一的耦合效率沒有兩者結合來得更明顯，同時，實驗轉換思路，通過將方面觀點進行直接聯合的方式來加強關聯性，發現OTPM-Cat實驗結果并不理想，這可能是由于顯式的直接關聯不能模擬出方面、情感之間存在的隱藏關系，較為死板。

為了理解OTPM是如何超越其他基于統一標記的方法的，實驗對測試集中兩個有代表性的例子進行了案例研究，例句的正確表示如ground truth所示，測試結果如表4、5所示。

從表5中第一個例句可以看出兩個模型在短跨度分類的情況下能準確識別出情感極性。對于方面詞“food”而言，其觀點詞“great”距離較近，能夠輕易識別，同時情感極性判斷為POS積極也較為容易；方面詞“service”對應的觀點詞“dreadful”情況也基本類似。另外，由于例句中方面詞和觀點詞之間只是一對一的關系，例如“food”只有一個觀點詞“great”，而觀點詞“dreadful”則對應著方面詞“service”，所以情感極性的識別不會出現混淆的錯誤。

第二個例句具有一定挑戰性，其中包含了多個方面詞與觀點詞，且這些方面詞觀點詞之間不是單一映射，包含了多對多的映射，例如方面詞“WiFi connection”對應了兩個觀點詞“speedy”“pleased”；同樣的觀點詞“pleased”也對應了多個方面“log on”“WiFi connection”“battery life”。可以看到OTPM-Cat表現一般，僅僅只識別出了一組三元組關系；而本文模型正確識別出了四組三元組關系。但是同樣的，實驗也發現模型中存在的一些問題，在多對多環境中，出現“battery life”與“fast”“long”，“WiFi connection”與“fast”這樣三組不存在聯系的三元組。這一方面是因為配對較多導致模型受到干擾，無法區分；另一方面也說明了位置偏移信息的融合方式還有提升的空間，如何設置更嚴謹的規則將會是下一步的研究方向。

4 結束語

本文提出了融合位置信息的觀點三元組情感分析模型。模型通過BiLSTM獲取句子表示，之后接入自注意力層，初步關聯了方面、觀點的隱藏狀態向量，可以有效消除兩者耦合不足的問題，加強了方面、觀點之間的魯棒性。之后在多任務結構中，通過對序列進行并行化特征提取，并利用位置偏移信息分別對方面序列和觀點序列進行了加權融合，并送入biaffine評分器來進行情感分類。這樣做不僅可以將觀點三元組三個部分的抽取、分類任務更加獨立，同時還保證了方面、觀點之間聯系更加密切，在進行情感極性分類時，對情感語義有了更好的理解和泛化能力。通過在數據集Lap14、Rest14、Rest15、Rest16的實驗也證明了該框架的有效性，并和大量的基線模型和OTPM變體模型進行了對比。實驗結果表明，目前的OTPM模型具有較好的性能。同時實驗也發現一些可優化的部分：a）多任務學習方法在處理較長跨度的關系三元組過程中，仍然會出現方面、觀點標記錯誤的情況，在今后的研究中應將重點放在設計更加強大的標記器上;b）面對觀點三元組重疊情況，目前沒有較好的解決辦法。下一步就如何加強三元組交互模型的構建，例如優化編碼、解碼器的結構將進行深入研究，希望以此解決重疊問題。

參考文獻：

［1］Liu Bing. Sentiment analysis and opinion mining［J］. Synthesis Lectures on Human Language Technologies，2012，5（1）：154-167.

［2］Chen Yuling， Zhang Zhi. Research on text sentiment analysis based on CNNs and SVM［C］//Proc of the 13th Conference on Industrial Electronics and Applications. 2018：2731-2734.

［3］Zhou Qiji， Ji Donghong， Ren Yafeng， et al. Dual-copying mechanism and dynamic emotion dictionary for generating emotional responses［J］. Neurocomputing，2021，454（5）：303-312.

［4］何力， 鄭灶賢， 項鳳濤， 等. 基于深度學習的文本分類技術研究進展［J］. 計算機工程， 2021，47（2）：1-11. （He Li， Zheng Zao-xian， Xiang Fengtao， et al. Research progress of text classification technology based on deep learning［J］. Computer Engineerring，2021，47（2）：1-11.）

［5］Peng Haiyun， Xu Lu， Bing Lidong， et al. Knowing what， how and why： a near complete solution for aspect-based sentiment analysis［C］//Proc of Association for the Advancement of Artificial Intelligence. 2020：8600-8607.

［6］Zhang Chen， Li Qiuchi， Song Dawei， et al. A multi-task learning framework for opinion triplet extraction［J］. Proceedings of the AAAI Conference on Artificial Intelligence，2020，34（5）：8600-8607.

［7］Xu Lu， Li Hao， Lu Wei， et al. Position-aware tagging for aspect sentiment triplet extraction［C］//Proc of Conference on Empirical Me-thods in Natural Language Processing. 2020：2339-2349.

［8］Wu Zhen， Ying Chengcan， Zhao Fei， et al. Grid tagging scheme for aspect-oriented fine-grained opinion extraction［C］//Proc of Confe-rence on Empirical Methods in Natural Language Processing. 2020：2576-2585.

［9］Li Xin， Lam W. Deep multi-task learning for aspect term extraction with memory interaction［C］//Proc of Conference on Empirical Me-thods in Natural Language Processing. 2017：2886-2892.

［10］Xu Hu， Liu Bing， Shu Lei， et al. Double embeddings and CNN-based sequence labeling for aspect extraction［J］. Meeting of the Association for Computational Linguistics，2018， 5（4）：579-590.

［11］Ma Dehong， Li Sujian， Wu Fangzhao， et al. Exploring sequence-to-sequence learning in aspect term extraction［C］//Proc of the 57th Annual Meeting of Association for Computational Linguistics. 2019：3538-3547.

［12］He Ruidan， Lee W， Ng H， et al. An interactive multi-task learning network for end-to-end aspect-based sentiment analysis［J］. International Journal of Scientific Engineering and Technology，2019，7（4）：383-396.

［13］Tang Duyu， Qin Bing， Liu Ting. Aspect level sentiment classification with deep memory network［J］. International Journal of Scientific Engineering and Technology，2016，3（2）：159-170.

［14］姜宇桐， 錢雪忠， 宋威. MASGC： 融合特定屏蔽機制的簡單圖卷積情感分析模型［J］. 計算機應用研究， 2022，39（4）： 1049-1053. （Jiang Yutong， Qian Xuezhong， Song Wei. MASGC： simple graph convolutional emotion analysis model with specific masking［J］. Application Research of Computers，2022，39（4）：1049-1053.）

［15］Fan Zhifang， Wu Zhen， Dai Xinyu， et al. Target-oriented opinion words extraction with target-fused neural sequence labeling［C］//Proc of Conference of North American Chapter of Association for Computational Linguistics： Human Language Technologies. 2019：2509-2518.

［16］Wu Zhen， Zhao Fei， Dai Xinyu， et al. Latent opinions transfer network for target-oriented opinion words extraction［C］//Proc of Association for Advancement of Artificial Intelligence. 2020：9298-9305.

［17］Zhao He， Huang Longtao， Zhang Rong， et al. SpanMlt： a span-based multi-task learning framework for pair-wise aspect and opinion terms extraction［C］//Proc of the 58th Annual Meeting of Association for Computational Linguistics. 2020：3239-3248.

［18］Mitchell M， Aguilar J， Wilson T， et al. Open domain targeted sentiment ［C］//Proc of Conference on Empirical Methods in Natural Language Processing. 2013：1643-1654.

［19］Li Xin， Bing Lidong， Li Piji， et al. A unified model for opinion target extraction and target sentiment prediction［C］//Proc of Association for Advancement of Artificial Intelligence. 2019： 6714-6721.

［20］Mao Yue， Shen Yi， Yu Chao， et al. A joint training Dual-MRC framework for aspect based sentiment analysis［C］//Proc of Association for Advancement of Artificial Intelligence. 2021：5120-5127.

［21］Dai Hongliang， Song Yangqiu. Neural aspect and opinion term extraction with mined rules as weak supervision［J］. Expert Systems with Applications，2019，102（3）：89-100.

［22］Wang Wenya， Pan S， Dahlmeier D， et al. Coupled multi-layer attentions for co-extraction of aspect and opinion terms［C］//Proc of Association for Advancement of Artificial Intelligence. 2017：273-284.

［23］Li Xin， Bing Lidong， Li Piji， et al. Aspect term extraction with history attention and selective transformation［J］. International Journal of Scientific Engineering and Technology，2018，4（2）：586-597.

［24］Zhang Ruqi， Cooper A， Desa C. Asymptotically optimal exact minibatch metropolis-hastings［J］. Advances in Neural Information Processing Systems，2020，33（4）：19500-19510.

［25］Chen Rongfei， Zhou Wenju， Li Yang， et al. Video-based cross-modal auxiliary network for multimodal sentiment analysis［J］. IEEE Trans on Circuits and Systems for Video Technology，2022，14（3）：2567-2578.

收稿日期：2022-07-25；修回日期：2022-09-26 基金項目：國家自然科學基金項目（62076110）；江蘇省自然科學基金項目（BK20181341）

作者簡介：姜宇桐（1997-），男（通信作者），江蘇南通人，碩士研究生，主要研究方向為自然語言處理（1874315982@qq.com）；錢雪忠（1967-），男，江蘇無錫人，副教授，碩導，碩士，主要研究方向為數據庫技術及其應用；宋威（1981-），男，湖北恩施人，教授，博導，博士，主要研究方向為數據挖掘、模式識別．