基于雙重多視角表示的目標級隱性情感分類

崔蒙蒙，劉井平，阮彤，宋雨秋，杜渂

（1.華東理工大學信息科學與工程學院，上海 200237；2.迪愛斯信息技術股份有限公司， 上海 200032）

0 引言

作為情感分析中的一項重要任務［1］，目標級情感分類（TSC）［2］旨在識別文本中給定的一個或多個目標的情感極性（積極、中立、消極）。比如，給定語句“Bush is a good man and was a strong governor in Florida.”以及目標“Bush”，該目標的情感極性是積極的。

根據情感的表達方式，TSC 可以被拆分為兩個子任務：顯性情感分析和隱性情感分析。顯性情感分析任務是指判定給定目標的情感極性的依據在文本中是顯式提及的。針對上述示例，判定目標“Bush”的極性是積極的原因是該目標周圍有“good”一詞。此類子任務的語料主要集中在產品評論、社交媒體評論等文本中，因為這些文本往往是用戶用來顯性表達自己情感喜好的評論。隱性情感分析任務是指需要充分理解整個隱性表達文本的語義來確定句子中給定目標的隱式情感極性。比如，給定文本“Mr.Priebus said he would rebuild effort in 50 states rather than focus on battle among states.”，判斷“he”的隱性情感極性是積極的原因是從“rebuild effort …among states”的語義中推斷出目標“he”要為各個州的重建做貢獻，而不是發動州與州之間的戰爭來擾亂各個州的安定。由示例可以看出，隱性表達文本往往是表達者站在中立的角度表達對人物態度的言論，且言論中不包含明顯的情感詞。此類子任務的語料主要集中在新聞報道的文本中，因為新聞記者通常被要求不能明確表達自己對所報道的人物的態度。與顯性情感分析子任務相比，研究隱性情感分析子任務更具有挑戰性，并且該研究領域的進一步發展可以有效提升人們對網絡輿情的理解，從而應用于輿情分析［3-4］、信息檢索［3］、觀點挖掘［5］等下游任務。

目前大多數研究主要集中在顯性情感分析任務，但這些方法難以充分建模目標與其上下文之間的語義關系，從而無法準確識別文本中目標的隱含情感。這些研究主要被分為3 類：第1 類是利用目標周圍的上下文特征來判定目標的情感極性，上下文特征的獲取方法包括：傳統特征工程如基于詞典的方法［6-7］和深度神經網絡如基于注意力機制［8-9］或者卷積神經網絡的方法［10］；第2 類是根據文本的依存關系將文本轉化為圖，并使用圖網絡方法如圖卷積神經網絡（GCN）［11］來建模單詞與單詞之間的句法關系與語義關系；第3 類是在獲取文本深度特征的基礎上，融入外部知識來增強文本中隱性情感的表達能力。其中，外部知識主要包括知識庫（如WordNet［12］、SenticNet［13］和ConceptNet［14］）或先驗情感知識（如LIWC［15］、NRC［16］和MPQA［17］）。然而，上述方法仍存在以下問題：

首先現有方法側重于對目標進行建模，較少有研究工作考慮與目標無關的文本語義表示。比如，有學者利用方面級注意力機制［9，18-19］和局部上下文關注機制［8，20］來獲取上下文感知的目標語義表示向量。但是，這些研究工作鮮有考慮與目標無關的輸入文本的整體語義表示，其相應的背景信息可以為目標極性的判定提供更全面的語義信息。其次上述方法所考慮的信息視角不夠全面（要么是基于單視角，要么是基于兩個視角），難以充分捕獲到目標和文本的語義信息。比如，文獻［8，10，21］僅考慮利用文本視角來識別目標的情感，文獻［22-24］通過文本視角和圖視角對目標進行建模，文獻［25-26］僅采用文本視角和外部知識視角對目標建模。

為解決上述問題，本文提出基于雙重多視角的表示學習（DMVRL）模型，分別對輸入文本和目標進行雙重建模，并將獲取的表示進行深度融合來識別目標的情感極性。在輸入文本方面，采用大規模預訓練語言模型、圖卷積網絡以及文本與先驗情感知識的相關性分別對文本、圖結構以及外部知識進行建模，進而采用卷積神經網絡（CNN）對3 個視角下的文本表示進行融合。在目標方面，本文也同樣從上述3 個視角進行建模，得到文本、圖結構、外部知識視角下的目標語義表示，進而將3 種語義表示進行拼接，并將其輸入到多層感知器（MLP）進行情感極性的預測。

1 相關工作

本文的相關工作從視角方面考慮可以歸為3 類：第1 類是僅考慮文本的方法，稱為基于文本的方法；第2 類是結合文本和圖結構的方法，稱為基于圖結構的方法；第3 類是結合文本和外部知識的方法，稱為基于外部知識的方法。

1.1 基于文本的方法

為了充分利用TSC 任務中句子的上下文信息，有很多建模目標和上下文的語義關系的方法被提出。早期提出的機器學習方法通過提取詞袋特征和情感詞特征來識別句子中目標的情感極性［6-7］。由于提取淺層特征的效率低下，研究人員提出各種神經網絡模型來提取目標和它的上下文之間的深層特征，包括卷積神經網絡方法［10，18］、循環神經網絡（RNN）方法［19，21］和帶有注意力機制的預訓練語言模型（PLM）的方法［8-9］。例如，文獻［21］采用兩個長短期記憶網絡（LSTM）［27］對目標的左右文本分別建模，然后根據目標周圍的文本進行極性的預測。并且，CNN 在提取局部上下文的特征方面也很常見，文獻［10］使用CNN 從句子的上下文中提取特定目標的表示用于情感分類。此外，還有具有豐富上下文的語言表示模型，比如BERT［28］和RoBERTa［29］。文獻［8］在BERT 的基礎上采用局部上下文關注機制來提取局部上下文特征，并通過建模局部文本和目標之間的語義相關性來進行情感分類。然而，上述方法只聚焦在句子的上下文，忽略了圖結構和外部知識的建模，只重點考慮目標的周圍文本信息，而本文提出的模型還考慮了文本自身的信息。

1.2 基于圖結構的方法

為了進一步增強TSC 任務中文本信息的表示，研究人員又提出一些方法［22-24］用來學習目標在圖中的表示，其中圖是建立在序列（句子或多個單詞）的依存樹上的。例如，文獻［22］在依存樹上使用GCN來學習帶有句法信息的方面詞表示，并用于最終情感分類的方法。同樣地，文獻［23］首先基于句子構建了依存樹，然后采用GCN 從依存樹中學習特定方面詞的表示來進行情感分類的方法。此外，文獻［24］基于句子中的多個方面詞構建圖，采用GCN 和注意力機制共同捕捉不同方面詞之間的情感依賴關系來進行最終分類的方法。一般來說，這些研究首先是利用句子的信息構造依存圖，并使用GCN 學習節點與節點之間的依賴關系，僅提取圖中目標部分的表示用于情感分類。然而，上述方法只聚焦在圖的建模上，忽略了其他視角的建模，此外這些方法只重點考慮了圖視角下的目標周圍文本信息，本文還考慮了文本視角下的目標周圍文本信息。

1.3 基于外部知識的方法

為了提高句子表達隱含情感的能力，研究人員提出將外部知識整合到模型中的方法［25-26，30］。這些方法分為兩類：一類是與常識有關；另一類是與先驗情感知識相關。針對前一類，文獻［25］將常識知識整合到句子中，同樣地，文獻［30］也將相同的常識知識和依存信息結合起來用于情感分類；針對后一類，文獻［26］將先驗知識的表示和句子的表示拼接用于最終情感分類的方法。總之，雖然這些方法考慮了外部知識，但上述的知識融合方法也只是簡單地將句子和先驗的情感知識連接起來，依然不能很好地提取句子中的隱性情感特征。

2 問題定義與方法框架

本節首先給出形式化的問題定義，然后描述提出目標級隱性情感分析方法框架。

給定文本S={w1,w2,…,wn}和一個目標集合T={t1,t2,…,tm}，其中，n表示文本中的單詞個數，m表示目標個數（目標可能由多個單詞組成），本文的任務是識別每個給定目標的情感極性。比如，給定文本“He brightened the room as soon as he came in，Clark added.”及其目標“He”和“Clark”，理想的模型需要分別輸出“積極”和“中立”。由于不同目標的情感極性判定是相同且獨立的，因此接下來主要討論針對一個目標的情感識別解決方案。

如圖1 所示，本文提出的模型主要包括3 個部分：即文本表示學習模塊、目標表示學習模塊和融合模塊。其中，文本表示學習模塊主要從文本視角、圖結構視角以及外部知識視角進行建模，并采用CNN模型融合上述3 種表示。值得注意的是，文本視角和圖視角的融入是為了分別獲取句子的整體和局部特征，而外部知識視角的融入是為了提高模型對隱性表達文本的判定能力。目標表示學習模塊也同樣從上述3 種視角進行學習，并將3 種表示向量進行拼接。在獲得文本和目標的語義表示后，將其輸入到融合模塊得到目標和上下文之間的聯合語義向量，從而更好地實現隱式情感極性的分類。

圖1 DMVRL 整體結構Fig.1 The overall structure of DMVRL

3 基于多視角的文本表示學習

文本表示學習主要由4 個模塊組成：即文本自身表示學習、基于圖結構的文本表示學習、基于外部知識的文本表示學習以及多視角的文本表示學習融合模塊。

3.1 文本自身表示學習

文本自身是指輸入的語句S={w1,w2,…,wn}。為了捕獲上下文的語義，一種直接的做法是采用Word2vec 或Glove［10］來獲得S中wi(i=1,2,…,n)的詞向量，并將其融合得到句子的表示，但這種詞嵌入模型學習得到的向量無法根據上下文的變化而有所不同，且隱性情感分析更加依賴于上下文的整體語義信息。因此，本文采用了上下文相關的預訓練語言模型進行編碼。具體而言，首先在句子的起始和終止位置分別插入了特殊符［CLS］和［SEP］，然后將修改后的句子輸入到BERT 中獲得最后一層的隱藏層向量：

3.2 圖視角下的上下文表示學習

目標情感極性的判定往往傾向于其周圍近距離的單詞［26，30］，越靠近目標的單詞，對模型判定隱性情感的貢獻越大。給定文本“Mr.Priebus said he would rebuild effort in 50 states rather than focus on battle among states.”以及目標“he”，當文本中每個詞的權重相同時，“he”的隱式極性被判斷為消極（錯誤的）。因此，本文根據單詞與目標詞的距離構建權重圖，并通過圖網絡學習每個單詞的表示。

具體而言，權重圖的節點由文本中的單詞組成，邊取決于在給定窗口內詞與詞之間是否共現。當兩個詞出現在同一個窗口內，則有邊；否則沒有邊。此外，每條邊也會分配權重W，計算方式如下：

為了學習基于權重圖的文本表示，一種直接的做法是采用傳統的GCN，但是由于其穩定性較差，難以擴展到大規模網絡中，因此本文采用一個方面級GCN［23］對圖進行編碼。與傳統GCN 不同，方面級GCN 引入了歸一化因子。形式化地，給定無向圖G=(V,E,A)，其中，vi(i=1,2,…,n)?V和?E分別表示權重圖G的節點和邊，A?Rn×n是圖G的鄰接矩陣。矩陣A中的元素Aij表示邊的權重，其中對角線上的值都為1。方面級GCN 可以被看做是一個消息傳遞框架，它將信息從鄰居節點傳遞給目標節點，并附帶歸一化因子。在信息傳遞的過程中，在第l層每個節點的隱藏層向量的更新如下：

3.3 外部知識視角下的上下文表示學習

外部知識是指以鍵值對形式存儲的情感詞典，其中，鍵是常用詞，值是情感詞，比如，在LIWC、MPQA、NRC 詞典中，單詞pioneer 的情感詞包括anticipation 和 surprise 等。外部知識往往可以為隱性情感分析的判定帶來有利的貢獻，比如，給定新聞文本“Coloradans，naturally having that pioneer spirit，gravitate towards someone like Cruz，said State Rep.”和目標“Coloradans”、“pioneer”等詞的先驗情感信息，可以幫助模型更好地判斷該目標在文本中的隱含情感是積極的。

為了學到外部知識視角下的上下文表示，本文擬設計以下幾個步驟：首先給定文本S={w1,w2,…,wn}和情感詞典，其中詞典包括η個預先定義的情感詞，本文為文本中的每個單詞wi定義一個維度為η的向量x，每維的值是0 或1，表示單詞wi能否在詞典中找到相應的情感詞；然后將向量x輸入到全連接層中獲取每個單詞的情感嵌入表示，即xw=Wk x+b，其中，Wk?和b?是可學習的參數矩陣；最后整個文本（包括特殊符CLS 和SEP）的情感知識表示是XS=[；；…；]，n是句子S的長度，XS?。

3.4 多視角的上下文表示的融合方法

在獲得文本自身的表示、圖視角下的文本表示以及外部知識視角下的文本表示后，本文需要進一步對上述3 種文本表示進行深度融合，因為單一視角的文本表示不足以訓練高質量的目標級隱性情感分類器，所以需要融合3 種視角的表示以得到上下文充分表示。

為了融合3 個視角下的文本表示：Ts?，GL?和XS?，一些常規的做法主要有最大池化、平均池化、向量拼接、向量求和以及CNN。其中，最大池化是對不同視角下向量的對應維度取最大值，平均池化是指對應維度取平均值，向量求和是指對應維度求和，向量拼接是指不同視角下向量的拼接，CNN 是對不同視角下的向量做卷積運算。具體如下：首先定義一個堆疊矩陣I=[Ts：GL：Xs]?，其中，[：]表示堆疊操作；其次使用c個k×k卷積核將I映射為I'，其中I'?。實驗結果表明，這5 種方法中CNN 的融合效果最好。

4 基于多視角的目標表示學習

與文本表示學習方式類似，目標的表示學習也先通過上述3 種視角獲得，并進一步將得到的向量進行拼接融合。

為了獲得文本視角和圖視角下的目標表示向量，分別針對兩個視角下的表示向量采用掩碼策略，其核心思想是將文本和圖中的非目標部分用0 替代，并保持目標部分的向量t=[wτ+1,wτ+2,…,wτ+m]不變，定義如下：

針對外部知識視角下的目標表示，一種直接的方法是對外部知識和目標詞的整合向量做平均池化。但是這一方法存在無法區分作用在不同目標詞上的外部知識權重大小，從而不能有效地將外部知識融入到目標詞中。因此，本文采用注意力機制來計算目標詞與外部知識庫中情感詞的相關性。給定目標文本，首先獲取目標表示然后從外部知識庫中查找每個目標詞對應的情感極性詞語集合E={e1,e2,…,eη}，其中，ei表示外部知識庫中的極性單詞。其次利用詞嵌入矩陣W?將E進行初始化，其中，dh定義為詞嵌入的維度，初始化之后就得到了與目標相關的外部知識的表示EK={ek1,ek2,…,ekη}，其中eki?。最后采用注意力機制計算目標與外部知識的相關性，定義如下：

其中：fscore是一個打分函數，計算了eki對hj的重要性，hj來自于，eki來自于EK。打分函數fscore定義如下：

其中：W1和W2是可學習參數。至此，可以得到以目標為主的外部知識的表示EKt，其計算公式如下：

其中：⊙代表元素間的點乘運算。

5 訓練方式

其中：⊕是拼接操作。將拼接后的向量ht輸入到一個全連接層，并通過Softmax 函數計算目標不同情感極性的概率。在訓練階段，采用交叉熵損失函數，定義如下：

其中：N和K分別表示訓練集的樣本數和情感極性標簽的個數；yi表示第i個樣本中目標的真實情感類別；p(t)i是模型預測目標的情感類別；λ是L2 正則化項的權重；Θ表示所有的可訓練參數。

6 實驗結果與分析

本節首先給出關于數據集、基線模型、實驗參數設定以及度量指標的相關實驗設置；其次在隱性情感分析數據集和顯性情感分析數據集上進行大量的實驗對比和分析；最后給出模型的詳細分析，包括消融實驗、窗口大小對模型性能的影響、注意力機制的可視化以及在隱性情感分析數據集上的典型案例分析等。

6.1 實驗設置

6.1.1 數據集

在NewsMTSC-mt、NewsMTSC-rw、Restaurant 14［31］、Laptop14［31］以及Twitter［32］5 個基準數據集上進行實驗。數據集的數據分布如表1 所示，其中，Pos.表示積極，Neu.表示中立，Neg.表示消極，同時給出每個數據集中的隱性情感樣本所占的比例。

表1 基準數據集上的情感極性分布Table 1 Distribution of sentiment polarity on benchmark datasets

6.1.2 基線模型

為了證明DMVRL 模型的有效性，本文將其與下面公開的模型的性能進行比較。

1）SPC-BERT［33］：是一個通過構建輔助句進行方面級情感分析的模型。該模型通過構造輔助句子將方面級情感分析從單句分類任務轉換為句對分類任務，并在BERT 模型上進行微調，取得了當時最先進的結果。

2）TD-BERT［34］：是一個目標級情感分類模型。該模型將BERT 的最后一層中的目標部分向量取出，并經過池化層，再與BERT 的［CLS］向量融合，將融合后的句子表示進行極性分類。

3）LCF-BERT［20］：是一個聚焦局部上下文的方面級情感分類模型。該模型首先通過多頭自注意力機制來捕獲上下文的局部特征和全局特征，然后采用Local-Context-Focus 機制來提取與方面詞相關的局部上下文特征，最后利用注意力機制將方面級局部上下文表示和全局上下文表示融入到模型中。

4）AEN-BERT［9］：是一個基于BERT 的注意力編碼器網絡模型。該模型首先借助自注意力機制和交互注意力機制分別得到上下文的表示、目標的表示和兩者之間的交互向量，然后將三者進行平均池化操作，最后將拼接的向量用于分類。

5）Sentic-LSTM［25］：是一個利用常識知識來進行方面級情感分類的模型。該模型通過將常識知識庫整合到基于注意力的LSTM 模型中來提取目標級和句子級的特征，并將其用于最后的分類。

6）DualGCN［35］：是一個對偶的圖卷積網絡模型。該模型首先分別利用語義GCN 和語法GCN 獲取目標的語義表示和句法表示，然后將兩種表示拼接，并將拼接的結果用于最后的分類。

7）SK-GCN［30］：是一個整合語義和外部知識信息的GCN 模型。該模型通過GCN 對句子的依存樹和情感常識知識庫進行聯合建模，得到句子的語義表示用于最后的分類。

8）GRU-TSC［26］：是一個融入了先驗情感知識的目標級情感分類模型。該模型首先分別利用BERT和詞嵌入矩陣得到句子的表示和外部知識表示，然后采用MASK 機制從句子的表示中得到目標的表示，最后采用單層的門控循環單元對這3 種表示進行交互，并將交互的結果向量用于分類。

9）TNet［10］：是一個采用CNN 作為特征提取器的方面級情感分類模型。該模型是通過一個針對目標的編碼組件將目標信息整合到局部上下文的表示信息中。

6.1.3 參數設定

在文本視角中，設置dc=768 和dh=768。在圖視角中，設置窗口的范圍為｛1，2，3，4，5，6，7，8，9｝，λ=1/2 是式（2）中的超參數。由于節點數目較少，方面級GCN 的層數設置為1。卷積操作的向量維度為dconv=3×dh。在外部知識視角中，采用3 個先驗情感知識庫，分別是LIWC、NRC 和MPQA，其中預定義的情感詞總數η=15。在模型訓練中，batch size 設置為8，學習率設置為3×106，epoch 設置為10。此外，每組實驗用不同的隨機種子訓練10 次，并報告實驗結果的平均值。

6.1.4 度量指標

本文采用準確率（A）、平均召回率（ra）和宏平均F1m值作為模型的評價指標。

6.2 模型對比

6.2.1 在隱性情感分析數據集上的結果對比

為了評估本文提出的DMVRL 模型在隱性情感分析方面的表現，本文將其與所有基線模型在Testmt 和Test-rw 測試集上的性能進行比較。實驗結果如表2 所示。

表2 在NewsMTSC-mt 和NewsMTSC-rw 隱性情感分析數據集上的實驗結果Table 2 Experiment results on the NewsMTSC-mt and NewsMTSC-rw implicit sentiment analysis datasets %

從表2 得出以下結論：

1）無論是基于BERT 的方法還是基于RoBERTa的方法，本文提出的DMVRL 在所有指標上都優于其他基線模型，這表明DMVRL 可以從不同的視角充分捕捉目標和上下文的語義。此外，DMVRL 在兩個數據集上都實現了最好的準確率，分別是85.3%和86.6%。在基于句子方法的AEN、SPC、TD、LCF模型中，DMVRL 模型的準確率比這些模型都高。原因可能是本文提出的DMVRL 融入了圖和外部知識，分別為隱性文本提供了重要的局部上下文語義特征和顯式的先驗情感知識。與基于圖結構的方法相比，DMVRL 模型比SK-GCN 的準確率分別高了5.7 和6.5 個百分點。這可能是由于DMVRL 不僅建模了目標和上下文，而且也將其他兩個視角的表示融入到模型中，充分捕獲了隱性文本的上下文語義特征。并且，在基于外部知識的Sentic-LSTM 和GRU-TSC 方法中，DMVRL 的性能依然比這些模型的性能好，這從實驗的角度證明了DMVRL 能夠高效地將顯性的情感知識融入到隱性文本中，從而輔助隱性文本中目標的情感分類。

2）在基于RoBERTa 的3 種類型的基線方法中，LCF 比DualGCN 的表現要好，GRU-TSC 又比DualGCN 的性能要好。但它們仍比本文的方法差，這更加表明DMVRL 融合各個視角的表示是有用的。

3）在Test-mt 和Test-rw 兩個隱性情感分析數據集中，各個模型在Test-rw 上的性能要優于Test-mt 上的性能。這可能是由于Test-rw 中隱式表達情感的數據所占比例要比Test-mt 中的低，模型更容易判斷目標的情感極性。

6.2.2 在顯性情感分析數據集上的結果對比

本文也在顯性情感分析數據集（Laptop 14、Restaurant 14 和Twitter）上進行了基于BERT 模型的實驗。實驗結果如表3所示，其中，粗體表示值為最優。

從表3 可以得出以下結論：

1）DMVRL 模型在3 個顯性情感分析數據集上都取得了最佳的效果，在3 個數據集上的F1m值分別達到了82.6%、82.1% 和76.2%，這說明本文的方法不僅適用于隱性情感分析，也適用于顯性情感分析。

2）在3 個顯性表達情感的數據集上，各個模型在Twitter 數據集上的效果比在其他數據集上要差，原因可能是推特文本比其他數據集中的文本要短，導致模型沒有捕獲更多有用的信息。

6.3 模型分析

6.3.1 消融實驗

為了驗證本文提出模型在各個視角下的表示學習以及各個子模型的有效性，本文設計了一系列消融實驗和替換各個主要子模型的對比實驗。

依據消融實驗的設計，本文依次消除各個視角下的表示學習模塊，如表4 和表5 所示。其中，w/o CR 代表僅去掉文本自身的表示與僅去掉圖視角下的表示，w/o KR 代表僅去掉外部知識視角下的表示，w/o GR 代表僅去掉圖視角下的表示，w/o Attention代表僅去掉目標和外部知識之間的注意力機制，w/o CNN 代表僅去掉卷積融合模塊，CR 代表僅采用文本自身的表示，GR 代表僅采用圖視角下的表示，KR 代表僅采用外部知識視角下的表示。此外，還進行了單個視角下的情感分析實驗。實驗結果如表4和表5 所示。

表4 在NewsMTSC-mt 和NewsMTSC-rw 隱性情感分析數據集上的消融實驗Table 4 Ablation experiments on the NewsMTSC-mt and NewsMTSC-rw implicit sentiment analysis datasets %

表5 在Laptop 14、Restaurant 14 和Twitter 顯性情感分析數據集上基于BERT 的消融實驗結果Table 5 Ablation experiment results of with BERT on Laptop 14，Restaurant 14，and Twitter explicit sentiment analysis datasets %

從表4、表5 可以得出以下結論：

1）融合3 個視角下的表示學習模型DMVRL 在所有數據集上都取得了最佳的效果，說明每個視角下的表示學習模塊都是有用的。

2）刪除任意一個視角都會影響模型的性能。尤其是刪除基于圖視角下的表示學習模塊，基于BERT的DMVRL 在Test-mt 和Test-rw 測試集上的準確率分別下降了2.9%和2.0%。

3）在大部分情況下，只用文本視角的模型性能在Test-mt 和Test-rw 數據集上較好，僅用圖視角的模型性能在Laptop 14，Restaurant 14 和Twitter 數據集上較好。

針對替換各個主要子模型的對比實驗的設計，本文分別將文本層面的BERT 替換為Glove，圖結構層面的方面級GCN 替換為傳統GCN，融合輸入文本在不同視角下表示的CNN 分別替換為最大池化、平均池化、向量拼接和向量求和，外部知識和目標詞之間的注意力機制替換為平均池化。實驗結果如表6～表9 所示，其中粗體表示值為最優。

表6 在Laptop 14、Restaurant 14 和Twitter 顯性情感分析數據集上基于Glove 的實驗結果Table 6 Experimental results with Glove on Laptop 14，Restaurant 14 and Twitter explicit sentiment analysis datasets %

從表4～表9 可以得出如下結論：

1）從6 和表7 可以看出，本文所提方法DMVRL（BERT）比DMVRL（Glove）的模型性能更好，這表明BERT 在目標級隱性情感分類的有效性。此外，本文采用的DMVRL（Glove）模型性能優于上述采用Glove 的基線模型的性能，這說明即使采用Glove 模型，DMVRL 同時對目標詞和目標周圍的文本建模以及融合各個視角的表示是有效的。

表7 在NewsMTSC-mt 和NewsMTSC-rw 隱性情感分析數據集上基于Glove 的實驗結果Table 7 Experimental results with Glove on NewsMTSC-mt and NewsMTSC-rw implicit sentiment analysis datasets %

2）從表8 和表9 可以看出，本文使用方面級GCN 的模型性能比使用傳統GCN 的模型性能更好。這可能是因為方面級GCN 加入了歸一化因子，使得模型在學習圖中節點信息傳遞過程的特征分布更穩定，從而提高模型性能。此外，本文使用傳統GCN的模型性能要優于使用傳統GCN 的基線模型性能，這進一步說明了即使采用傳統的GCN，本文方法同時對目標周圍的文本和目標詞建模是可取的，且從多個視角融合兩者的表示是有效的。

表8 在Laptop 14、Restaurant 14 和Twitter 顯性情感分析數據集上采用GCN 的實驗結果Table 8 Experimental results with GCN on Laptop 14，Restaurant 14 and Twitter explicit sentiment analysis datasets %

表9 在NewsMTSC-mt 和NewsMTSC-rw 隱性情感分析數據集上采用GCN 的實驗結果Table 9 Experimental results with GCN on NewsMTSC-mt and NewsMTSC-rw implicit sentiment analysis datasets %

3）從表4 可以看出，在對文本自身的表示、圖視角下的文本表示以及外部知識視角下的文本表示進行深度融合的多種策略中，本文采用的CNN 融合方法比向量拼接、最大池化、平均池化、向量求和這4 種策略都好，這說明CNN 不僅能夠融合3 個視角下的向量，還能夠提取信息量豐富的n-gram 特征，從而提高分類準確率。

4）從表5 可以看出，本文采用注意力機制比采用平均池化的模型性能要優，這進一步說明了注意力機制不僅能夠衡量不同的外部知識對目標的極性貢獻，而且能夠提高模型識別目標的隱性情感的準確率。

6.3.2 窗口的影響

為了分析窗口對模型性能的影響，本文從改變窗口的大小進行實驗，結果如圖2 所示。從實驗結果可以看出，當窗口大小為2 時，模型在5 個數據集上的準確率和F1m值達到頂峰；當窗口大小2 時，模型在5 個數據集上的準確率和F1m值呈現震蕩下降的狀態，即使有上升階段也沒有窗口大小為2 時的效果好。

圖2 在5 個數據集上不同窗口大小下模型的性能比較Fig.2 Performance comparison of models with different window size on five datasets

此外，本文對比了在5 個數據集上通過距離窗口構圖和依存關系構圖的模型。實驗結果如表10和表11 所示。

表10 窗口大小為2 的圖和依存圖的性能對比Table 10 Performance comparison between the graph of window size 2 and the dependency graph %

表11 窗口大小為2 的圖和依存圖的構圖時間對比Table 11 Building time comparison between the graph of window size 2 and the dependency graph 單位：min

從表10 可以看出，本文采用窗口構建的圖比采用依存關系構建的圖取得了更好的性能。特別地，窗口設為2 的模型的F1m值比采用依存圖的模型的F1m值高了0.5%～1.9%。

從表11 可以看出，本文對比了窗口為2 時和采用依存關系的構圖時間。從表中可以看出，根據依存關系的構圖時間是用窗口構圖時間的3～8 倍，這也證明了基于窗口構圖的方法比采用依存圖的方法能實現更好的性能，且基于窗口的構圖時間要比依存圖的構圖時間少得多，大幅提高了程序的執行效率。

6.3.3 注意力機制可視化

本節給出了注意力機制的可視化結果，即利用熱力圖展示不同先驗情感詞對目標詞的貢獻程度。比如，給定隱性文本“The night began when Trump，in a short White House speech，nominated Judge Gorsuch from the 10th Circuit Court of Appeals in Denver to the court.”和目標詞“Trump”、“Judge Gorsuch”，這兩者的情感極性分別是積極和中立的。圖3 所示給出了不同先驗情感詞對這兩者的貢獻程度。從圖3 可以看出，注意力機制模型為目標“Judge Gorsuch”有關的正面情感詞賦予了較高的權重（顏色越深，貢獻越大），為目標“Trump”有關的中性情感詞賦予了較高的權重。總而言之，注意力機制可以有效分配不同目標詞的先驗情感知識，進一步輔助模型對目標的隱性情感的極性判定。

圖3 目標詞和先驗情感詞之間的注意力分數可視化Fig.3 The visualization of attention scores between target words and pre-defined prior sentiment words

6.3.4 隱性情感分析數據集的案例分析

為了更直觀地體現DMVRL 在隱性情感分析任務上的有效性，本文將其與AEN（基于句子的方法）、DualGCN（基于圖結構的方法）和GRU-TSC（基于外部知識的方法）基線模型進行對比，典型的對比案例如表12 所示。

表12 典型的隱性文本示例Table 12 Examples of typical implicit text

從對比結果可以看出，本文提出的DMVRL 在識別這些隱性文本中的目標情感上具有優勢。由此可以得出以下結論：

1）與基于文本的方法AEN 相比，DMVRL 模型的識別結果準確率較高，這可能是由于DMVRL 還融入了圖和外部知識。

2）與基于圖結構的方法DualGCN 相比，DMVRL的識別結果準確率較高，可能的原因是DMVRL 不僅聯合建模了目標和上下文，而且也將圖結構和外部知識視角下的表示融入到模型中，為模型識別隱性文本的目標情感提供了更多的語義知識。

3）與基于外部知識的GRU-TSC 方法對比，DMVRL 的識別準確率略高，這表明DMVRL 利用Attention 機制融入外部知識的方法要比GRU-TSC通過拼接來融入外部知識的方法更適合隱性文本的目標情感識別，也說明融入圖結構的表示對捕獲隱性文本的語義很重要。

總而言之，由于隱性文本缺乏情感詞和依賴上下文的特點，使得傳統的文本分類方法不再適用，因此結合不同視角的DMVRL 能夠充分捕獲目標和上下文的語義，對解決隱性文本中目標的情感識別問題更有利。

7 結束語

本文提出基于雙重多視角表示學習的目標級隱性情感分類模型。針對文本的表示學習，從文本自身、圖結構以及外部知識3 個視角探索文本表示學習方法，并給出基于卷積網絡的表示融合方法。針對目標的表示學習，從上述3 種視角出發為目標學習得到準確的語義向量，然后將文本的語義向量與目標語義向量進行深度融合并輸入到目標級隱性情感分類器。在5 個數據集上的實驗結果表明，DMVRL 模型都取得了最佳的效果。但是本文僅利用文本模態作為背景知識來判斷隱性文本中目標的情感極性，下一步將考慮引入圖像模態，通過圖像和文本之間的聯系增強模型提取隱式特征的能力，以更全面地捕獲隱性情感分析任務中的隱式含義。