上下文感知的樹遞歸神經網絡下隱式情感分析

陳秋嫦，趙 暉，左恩光，趙玉霞，2，魏文鈺

1.新疆大學 信息科學與工程學院，烏魯木齊 830046

2.商洛學院 數學與計算機應用學院，陜西 商洛 726000

情感分析一直是自然語言處理領域中的研究熱點之一。由于情感分析可以通過構建模型進行計算，所以人們希望可以利用信息技術的方式來更好地理解他人的意見。情感分析從語言層面上分為顯式情感分析和隱式情感分析，其中顯式情感分析為隱式情感分析奠定了研究基礎，而隱式情感表達充斥在日常生活的方方面面。特別地，微博等社交平臺為隱式情感分析研究提供了一個新的機遇與挑戰。

文獻[1]提出，情感分析在本質上是人們對各個事物的主觀評價和感受，使得人們傾向于使用具有客觀性或事實性的句子來表達他們的情感傾向。文獻[2]首先根據主客觀將情感分為顯式情感和隱式情感。文獻[1]、[3-6]表示顯式情感分析在淺層或者深層的網絡模型中已經取得了很多成果。在文獻[7]中隱式情感被定義為“一個語言片段（句子、從句或短語）以表達主觀情感，但不包含顯式情感詞”。文獻[8]對隱式情感分為4種類型：事實型、隱喻型、反問句式以及諷刺句式。文獻[1]將客觀事實型的隱式情感定義為蘊含了事實的情感并且通過闡述相關事實來呈現出相對客觀的情感傾向。文獻[7]對于事實型隱式情感的表達特點上進行了歸納：情感背景一致性、情感目標相關性、語義背景相關性以及表達結構相似性。文獻[9]將隱喻歸納為不僅可以表示基于相似性的單個詞的意義擴展，更多的涉及到從另一個角度對整個經驗領域的再認識，也是目標和來源之間的關系。文獻[10]認為反諷類型的隱式情感是一個有意識地使用詞語或表達方式來表達與字面意義不同（通常相反）的修辭過程。文獻[11]提出反問句式的隱式情感句子有3個基本特點：無疑而問、不需要回答、表示否定。這些修辭方式的運用雖然增加了語言表達的效果，但同時也為隱式情感的分析帶來了挑戰：由于隱式情感句中不包含顯式情感詞且表達詞相對客觀中立，意味著傳統的顯式情感分析模型（基于情感詞典）不再有效；在語義表示和結構上也與顯式情感具有某些差別；隱式情感更傾向于情感表達者的個人主觀意識。

本文旨在提高隱式情感文本中上下文對目標句的作用，從而達到提高目標句隱式情感識別的準確率。通過分析事實型隱式情感的句子的特點，發現目標句情感傾向既受上下文背景情感傾向所影響，同時也受其目標語句自身句子結構所影響。由于中文隱式情感的語料中并不存在標注好的情感傾向詞可以進行計算，而隱式情感句子的上下文中卻存在影響情感傾向的信息，對目標句的情感分類結果造成相關性的影響。在語料庫中發現存在一些目標句與上下文相關性較強的樣例。

如表1所示，目標情感語句中具有相同的關鍵詞“地鐵站”，但是由于上下文語句對目標語句（即本文中需要進行情感判斷的語句）的補充信息不同使得其情感傾向也不一樣，實例證明上下文語義背景也是隱式情感的重要影響因素之一。文獻[9]研究表明，如果一個句子有主語-動詞或動詞-直接賓語結構，它更有可能是一種隱喻表達，這一結論表明句法結構是句子表征的一個重要特征。在本文中需要考慮一個句子是否能夠通過對一個事件或對一個產品的完整陳述來表達事實隱含的情感，這種陳述通常有一個完整的主語-動詞-賓語結構。文獻[12]提出的recurrent tree communication model（RTCM）雖然解決了短語級樹型情感一致性的問題，但并沒有對擁有篇章級上下文的目標句的情感進行準確地分類出結果。因此，本文提出一種新的具有上下文感知注意力機制的樹形遞歸神經網絡（CA-TRNN）的結構。對于解決篇章級上下文信息丟失的問題，具體而言，模型分別對目標句以及其上下文生成不同的表示，而上下文的表示也必須與目標句子的進行注意力機制的訓練，從而使得它們更有價值。針對上述文獻的不足，本文主要工作如下：

表1 隱式情感句子樣例Table 1 Samples of implicit sentiment sentences

（1）針對隱式情感依賴其句子表達的語義結構信息，本文利用vanilla tree LSTM對目標情感語句表示初始化，每個節點使用遞歸神經網絡重復地與它的鄰居交換信息。這種多通道信息交換可以使每個節點通過豐富的通信模式獲得更多的句子級目標句的語義信息。此外，時間步數不隨樹的高度而縮放。通過多跳步的樹形遞歸神經網絡對目標句進行單獨的語義編碼。

（2）設計了一個注意機制編碼網絡來繪制目標句和上下文之間的隱藏特征和語義特征之間的交互信息。目的是將得到的目標語句表示引入一個對上下文感知的注意力，使得上下文表示圍繞著目標句表示展開訓練。

（3）將得到的上下文和目標語句語義信息進行并行融合，最終得到目標句的語義表征能更加充分考慮上下文和目標語句之間的聯系，克服中文隱式情感分類難的情況。

1 相關工作

1.1 樹形神經網絡

文獻[13]和文獻[14]最早將卷積神經網絡模型應用于文本表示中，雖然這是一種比較有效的句子表示方法，但該模型無法對具有結構信息的句子（如短語結構，依存結構等）進行建模，因而在此基礎上，文獻[15]提出了樹形卷積神經網絡（tree-based convolutional neural network，TBCNN），該模型將句子以依存樹（dependency tree）或者短語結構樹（constituency tree）進行表示。文獻[16]于2015年提出了Tree-LSTM模型，將序列的LSTM模型擴展到樹結構上，即可以通過LSTM的遺忘門機制，跳過（遺忘）整棵對結果影響不大的子樹，而不僅僅是一些可能沒有語言學意義的子序列。由于有了樹結構的幫助，傳統的Tree-LSTM就更容易對長距離節點之間的語義搭配關系進行學習，但是，它們不能將信息從組成節點傳遞給其子節點。因此，文獻[17]為雙向樹LSTMs提供了一種解決方案，即使用單獨的自上而下LSTM的方式來增強樹LSTM。不僅如此，在圖神經網絡的最新進展上，如文獻[18]和[19]提出的圖卷積神經網絡（graph convolutional neural network，GCN）及在圖遞歸神經網絡（graph recursive neural network，GRN）模型，文獻[20-22]提供了在圖模型基礎上建立豐富的節點通信模式的模型研究，這種多通道信息交換可以使每個節點通過豐富的通信模式獲得更多的篇章級上下文信息。文獻[23]為了在二叉樹上提取到雙向信息，提出了從樹根節點向下傳播到葉節點上的全局性的雙向樹LSTM的概念。文獻[24]提出了雙向依存樹的LSTM模型，融合了序列化信息和依賴樹的結構信息。與以上工作相比，本文的工作是將該模型遷移至中文隱式情感文本分類問題上，在樹形遞歸神經網絡的基礎上加入了圍繞目標句的注意力機制，在中文隱式情感分析中表現了良好的性能，使得樹形遞歸神經網絡擁有上下文感知的能力。

1.2 上下文感知模型

在傳統方法上，文獻[25]以及文獻[26]都提出過傳統的機器學習的方法，主要集中在提取一組詞匯等特征的單詞來對上下文進行訓練。文獻[27]發現可以使用一個主題相關的評論集來擴展了一些偽上下文，但由于評論集是有限的，擴展的上下文仍然是有限的且不可靠的。為了克服這一問題，提出了一個無監督的三元框架來擴展網絡中更多的偽上下文，來進行搭配從而提高識別。同樣的，文獻[28-29]在研究中也發現收集與文本相關的上下文信息有必要的，并且也驗證了使用傳統分類器在收集上下文信息時候是失敗的。文獻[30]通過分析在Twitter上包含來自目標句其額外上下文信息，能夠在檢測這種復雜現象時獲得比純目標句特征更高的準確性。近年來，神經網絡方法由于不需要人工構造特征就能夠對語義信息豐富的低維詞向量進行編碼而受到越來越多的關注。文獻[31]融合的是不同的語境背景下提取出來的上下文信息，作為一個預訓練模型取得了不錯的性能。與此同時，文獻[7]針對隱式情感文本闡明了上下文情感對目標句情感具有密切的關聯關系。文獻[32]提出TD-LSTM擴展LSTM，分別使用兩個單向LSTM對目標詞的左上下文和右上下文進行建模。文獻[33]提出了一個針對目標情緒分類任務的注意編碼網絡，它使用基于注意的編碼器在上下文和目標之間進行建模。與以上工作相比，為了將文獻[32]和[33]的工作更好地體現在中文隱式情感分析的文本上，利用注意力編碼網絡提取出具有特定目標相關性的上下文信息表示，本文利用其模型[32-33]的基礎上，提出了t-TRNN（context-TDLSTM based TRNN）、a-TRNN（context-AEN based TRNN）將其作為對比實驗與本文所提模型作為對比。由于序列化模型容易導致梯度爆炸或消失，文獻[34]提出了LSTM來解決這一問題，并且在此基礎上本文使用了變形的LSTM（BiLSTM）來作為上下文感知的基礎模型。

2 本文模型

本文使用的上下文感知神經網絡包括樹形遞歸神經網絡（CA-TRNN），基于注意力的編碼網絡（BiLSTM+attention）以及特征融合的表示學習機制，模型結構如圖1所示。模型結構對目標句通過樹形遞歸神經進行目標句表示的提取，并且對篇章級的上下文通過雙向長短時記憶網絡生成出對應目標句的上下文表示，將提取到的目標句表示對上下文表示進行注意力機制學習，最后進行并行的兩級表示融合。

圖1 上下文感知的樹形遞歸神經網絡模型結構Fig.1 Model structure of CA-TRNN

2.1 輸入層

基于本文模型需要將不同的文本分別輸入到樹形遞歸神經網絡和BiLSTM中，且兩個子模型的結構不一致，模型對輸入層需要不同的預處理。基于樹結構的神經網絡模型需要對句子進行短語結構分析，得到短語結構樹，如圖2所示。本文使用Stanford parser工具包建造短語結構樹。節點中的數字代表該目標句的所對應的隱式情感傾向類型，圖2中的“我租的房子走到地鐵站也就5分鐘”是需要進行短語結構樹分析的目標句，且該句子的分類標簽為貶義，即隱式情感傾向為2的句子。對于上下文部分：定義上下文句子個數為m且每個句子中分詞長度為n，則上下文表示為s c={w11,w21,…,其中表示句子第j個上下文中第i個詞語。所有上下文表示構成一個詞向量表示矩陣matrix c∈?dw×||V，其中dw表示詞向量矩陣， ||V表示詞向量矩陣內詞語的個數，詞向量矩陣通過通用語料預訓練得到。

圖2 短語結構樹實例Fig.2 Sample of constituent tree

2.2 樹形遞歸神經網絡

以文獻[22]的策略為例，TRNN的結構如圖3所示。特別地，對于節點j，上一步的隱藏狀態可分為self-toself channel的最新隱藏層狀態、自下而上通道的最新的隱藏層狀態和自上而下通道的最后隱藏狀態，其中代表節點j在t-1的時間時刻的父親節點parent的隱藏層狀態，計算如（1）～（3）所示：

圖3 樹型遞歸神經網絡模型原理圖Fig.3 Schematic diagram of CA-TRNN model

根據3個信息通道的輸入和最后隱藏層的狀態來計算門和狀態值。輸入門i t,j和遺忘門f t,j的定義如下，計算公式如（4）和（5）所示：

更新的細胞狀態被定義，計算公式如（6）所示：

當前的細胞狀態ct,j計算方法為（7）：

輸出門o t,j被定義為公式（8）：

最后的隱藏層h t,j是通過計算當前細胞狀態ct,j和輸出門ot,j，計算方法如公式（9）所示：

2.3 基于時間序列的注意力機制

由于TRNN中是按時間序列學習語義上抽象級別的特征表示，對于與當前節點相關的葉子節點或者比當前節點更高的父節點以及其祖父節點，可能需要更多的重復步驟來學習節點之間的交互。因此，文獻[12]的模型采用了一種自適應遞歸機制，通過注意力結構來學習動態節點，計算公式如（10）所示：

其中，et,p是第t時刻的位置編碼，根據文獻[35]定義，計算公式如（11）和（12）：

其中，代表的是第q個維的位置編碼表示，而dembdemb則是表示的維度值。

2.4 上下文感知模型

在本文中，將除了目標句的上下文句子送入Bi-LSTM中，Bi-LSTM對上下文句子進進行雙向編碼。利用LSTM對于長句子的編碼上的特點，即可以產生長期依賴信息，解決對于長句子的信息缺失問題。

LSTM單元包含3個額外的控件：輸入門、遺忘門和輸出門。這些門自適應地記住輸入向量，遺忘以前的歷史并生成輸出向量。LSTM單元計算如公式（13）～（18）所示：

其中，?代表的是元素相乘，σ代表的是sigmoid函數，而Wi，W f，Wo，b i，b f，b o則是輸入門、遺忘門以及輸出門的參數。

2.5 目標特定的注意力機制

得到上下文表示以及目標語句的表示之后，為了讓上下文表示更夠更好的與目標語句的表示關聯，本文采用注意力機制的方式，將目標句表示ht對上下文表示h c做一個注意力計算，得到一個與目標句相關的上下文表示h tsc，計算公式如下（19）所示：

2.6 輸出層

模型分別通過不同的網絡模型對上下文學習最終得到兩個不同的表示，并將它們連接成最終的綜合表示?，然后使用全連接層將連接向量投影到C個目標的空間中。計算公式如下（20）～（22）所示：

其中，y∈RC是預測的隱式情感極性分布，?∈RC以及∈RC都是模型可學習而得的參數。

3 實驗結果分析

3.1 數據集

實驗所用數據集是全國社會媒體處理大會（SMP2019）公開，由山西大學提供的數據集主要是來源于產品論壇、微博、旅游網站等平臺的數據。本文主要的工作是對中文的隱式情感句進行評測，數據集中包含顯式情感詞的文本已經通過大規模情感詞典進行過濾處理。處理后的數據集中將隱式情感句進行了部分標注，分為褒義隱式情感句、貶義隱式情感句和中性情感句三類。數據以切分句子的文檔形式發布，其中包含有句子的完整上下文信息，數據集的詳細數據如表2所示。

表2 數據集詳細數據Table 2 Dataset details data

3.2 對比模型

為了更好地理解模型帶來的準確性提升，以及對本文提出模型的方案有更好的理解，采用2組實驗、6種模型作為對比，其中包括上下文不同長度表示的對比以及樹形遞歸網絡模型對于隱式情感的提升的對比實驗。

3.2.1 LSTM

該模型是將完整的上下文以及目標句組成篇章級的文本輸入至LSTM中進行建模，是一個傳統的神經網絡文本分類器。

3.2.2 TRNN

該模型是一種基于樹結構的遞歸神經網絡，通過將不同長度的上下文輸入至模型的結果作為比較，分類結果可用來判斷該模型對上下文信息提取到的特征是否準確，并以此來驗證上下文信息是否有助于提高樹形遞歸神經網絡。

3.2.3 TD-LSTM

文獻[36]的模型為了考慮目標信息，對一般的LSTM模型做了一些修改，在參照實驗中引入了目標相關LSTM（TD-LSTM）。其基本思想是對目標字符串前后的上下文進行建模來擴展LSTM，使兩個方向的上下文都可以作為情感分類的特征表示。文獻[36]認為，捕獲這些目標相關的上下文信息可以提高目標相關情感分類的準確性。模型通過使用兩個LSTM網絡分別對左上下文和右上下文中的關鍵詞進行建模，擴展了LSTM。為了預測關鍵詞的情感傾向，將左、右文本相關表示串聯起來。

3.2.4 AEN

文獻[33]提出的模型目的就是希望獲取到目標句中的關鍵字相關的特征作為上下文表示。模型將給定的上下文和關鍵詞分別轉換為“[CLS]+上下文+[SEP]”和“[CLS]+關鍵詞+[SEP]”之后，送入Bert進行預訓練得到字向量。文獻[35]所提出的多頭注意multi-head attention（MHA）和逐點注意point-wise（PW）卷積變換模型分別對關鍵詞和上下文進行intra-MHA（self-attention）以及PCT（point-wise convolution transformation）來計算關鍵詞相關的特征信息。

3.2.5 t-TRNN

該模型通過使用兩個不同的模型分別對上下文以及目標情感語句進行建模，上下文文本對TDLSTM進行建模得到上下文表示，而目標語句則對TRNN進行建模得到目標句的表示，最后得到的兩個表示以及關鍵詞的表示進行并行融合學習。

3.2.6 a-TRNN

該模型通過使用兩個不同的模型分別對上下文以及目標情感語句進行建模，上下文文本對AEN進行建模得到上下文表示，而目標語句則對TRNN進行建模得到目標句的表示，最后得到的兩個表示以及關鍵詞的表示進行并行融合學習。

3.2.7 CA-TRNN

該模型通過使用兩個不同的模型分別對上下文以及目標情感語句進行建模，上下文文本通過BiLSTM進行建模得到上下文表示，而目標情感語句則通過TRNN進行建模得到目標句的表示，并且將得到的目標句表示通過上下文得到注意力表示，得到一個對目標句感知的上下文表示，最后兩個表示進行softmax得到分類結果。

3.3 實驗結果和分析

實驗一驗證樹形遞歸神經網絡對隱式情感分類中的有效性，并考察不同長度的上下文對目標句的作用對分類結果的影響。一般來說，上下文越多，其蘊含的語境特征就越豐富，但這并不絕對呈正相關關系。本文對微博中文隱式情感語料的上下文進行選擇，將上下文長度設置為目標句的前后兩句（C-2），目標句的全部上下文（C-all）以及僅有目標句（C-no）進行測試。通過對驗證集上的結果進行調參，最終所采用的超參數如表3所示。

表3 樹形遞歸網絡實驗超參設置Table 3 Hyper parameters setting of TRNN experiment

在TRNN結構中，通過在驗證集上進行實驗發現模型的時間步數對精度影響微弱，因此將模型的隱藏層設置為3。在分類任務中，隱藏層節點數通常取128～512之間，這里取128作為參數。最小樣本數設為32，每個樣本大小隨著上下文長度的不同而不同。模型的優化采用在分類任務中效果較好的“Adam”算法。采用Dropout方法來降低過擬合，通過隨機減少部分神經元的個數，降低過擬合程度，使得模型的泛化能力最優。

從表4可以看出，加入上下文對中文隱式情感的分類任務是具有有效性的，尤其是擁有前后兩句上下文的目標句在樹形遞歸神經網絡中，提升了0.42個百分點。同時，通過實驗也發現，當模型將完整的篇章級上下文輸入到模型的時候，對比于TRNN中未使用上下文的模型而言，反而降低了1.78個百分點。實驗結果表明篇章級的上下文在樹形遞歸神經網絡中不能準確地提取到其上下文的信息。

表4 樹形遞歸網絡對微博中文隱式情感分類結果ACC值Table 4 ACC of Chinese implicit sentiment classification based on TRNN

實驗二基線模型和本文的方法的實驗結果見表5。利用目標句相關的所有上下文，通過對比不同的實驗模型在相同的數據集上的表現，有三方面的結論。

表5 對比實驗下的實驗結果（*為基線模型）Table 5 Experimental results of comparative experiments（*is baseline） %

（1）通過觀察實驗結果得到驗證，將傳統序列化模型（LSTM）和樹形遞歸網絡（TRNN）的精確度作對比，實驗發現沒有添加上下文信息的樹形遞歸網絡（TRNN+C-no）比LSTM高7.05個百分點，進一步驗證了樹形遞歸模型在隱式情感分析任務的有效性。即使對于放入了與目標句的全部上下文的TRNN*也表現的比LSTM效果更好，提高了3.56個百分點。該實驗對比證明樹形遞歸神經網絡能夠更準確地捕抓到中文隱式情感中的語義信息。

（2）本文對比了隱式情感分析數據集在文獻[36]提出的TD-LSTM，以及文獻[33]提出的AEN模型的結果，分別得到63.27%和67.76%的精確度，比傳統的序列化模型分別降低了9.73個以及5.24個百分點的精確度。結果說明對目標句進行上下文關聯并不能有效地提高模型的精確度。

（3）從表5結果可以看出，本文提出的3種方法（t-TRNN、a-TRNN以及CA-TRNN）在中文隱式情感領域的數據集上都取得不錯的情感分類效果，其中t-TRNN以及a-TRNN分別比LSTM高5.65個以及5.12個百分點，并且CA-TRNN比傳統序列化模型LSTM高7.05個百分點，初步驗證并行輸入對于模型的有效性。其次，通過對比t-TRNN與TD-LSTM的結果以及a-TRNN與AEN的結果，也可以發現t-TRNN比TD-LSTM高15.38個百分點，同樣，a-TRNN比AEN高10.36個百分點，即對目標句及上下文并行輸入的效果更佳。進一步觀察發現，CA-TRNN比t-TRNN以及a-TRNN高1.4個以及1.93個百分點，可知結合目標特定上下文的注意力機制在上下文感知模型的有效性，彌補長距離樹形遞歸結構的不足，從而取得更好的分類效果。

為了進一步驗證本文提出的實驗的有效性，用混淆矩陣對CA-TRNN、t-TRNN以及a-TRNN模型的分類結果及其分類樣例進行說明。

如圖4縱向表示文本的實際類別，橫向表示模型預測文本的類別，在3種模型的混淆矩陣中，CA-TRNN在三分類的結果中表現優秀，優于t-TRNN，而對于貶義情感分類結果中，a-TRNN表現的比CA-TRNN高0.1個百分點。進一步對表6進行觀察，表6對比了3種模型對于隱式情感文本分類的差異結果，針對無情感傾向的文本而言，CA-TRNN能夠更好地對其進行分類，而另外兩個模型（t-TRNN、a-TRNN）在對于上下文信息捕獲的結果中，表現并不是很高。在樣例中，第二個目標句在t-TRNN以及a-TRNN中被誤導，目標句特征與目標特定的上下文注意力特征融合中，并沒有更好地平衡兩個特征之間的權重，使得目標特定的上下文信息被加重。實驗結果也表明本文模型在一定程度上可以提升隱式情感文本的分類結果。

圖4 3種模型的混淆矩陣對比Fig.4 Comparison of confusion matrix of three models

表6 模型預測樣例Fig.6 Samples of implicit sentiment sentences

3.4 訓練時間分析

為了驗證不同模型在相同條件下的時間性能，本文在相同的CPU、GPU和網絡框架下完成實驗對比，同時，該部分的實驗基于使用相同上下文條件下進行對比，即使用該目標句所具有的所有上下文信息。表6給出在不同的網絡模型下對SMP2019數據集上完成10次epoch下的平均訓練時間的對比結果。

從表7結果可以看出TRNN對于具有完整上下文信息的訓練時間代價是非常高的，這主要是因為TRNN網絡訓練的時候需要對樹型結構的數據進行計算，而對于具有較長上下文信息的文本而言，所生成的短語結構樹的深度也是可觀的，其計算量在無論使用CPU條件下，還是GPU條件下都是本文所提方法（CA-TRNN）的2倍多。此外，本文所提的t-TRNN、a-TRNN以及CA-TRNN都低于TRNN*網絡模型，既可說明使用注意力機制的神經網絡可以接收句子的平行化輸入，也可以有效降低模型的訓練時間。

表7 不同模型完成10次迭代的平均訓練時間Table 7 Average runtime of ten training epochs min

為了進一步說明不同模型在訓練過程中模型收斂速度效果，本文抽取了100個epoch的loss值作為比較。

通過比較圖5中不同模型的loss值可以看出，TRNN*的損失變化波動較大，收斂趨勢較t-TRNN、a-TRNN以及CA-TRNN慢，這是因為TRNN*中使用了完整的上下文信息以及目標句信息，使得初始化的短語結構樹較高，在TRNN*進行遞歸學習的過程中容易造成精度損失以及梯度爆炸，導致TRNN*結果相對較差，而將目標句以及上下文并行輸入的時候，實驗效果明顯趨于緩和，且模型收斂速度較好，既可縮短模型的訓練時間，保證時間代價減小，也能確保模型能夠充分提取隱式情感文本中有意義的特征信息。

圖5 利用上下文信息進行訓練的模型的loss值對比Fig.5 Comparison of loss in training models using context information

4 結語

在中文隱式情感分類任務中，本文提出了基于注意力編碼網絡來提取目標句對上下文相關的表示，并生成目標句的語義表示進行融合表示，以此改善由于目標句擁有過長的上下文所導致的準確率下降的問題。本文對有無進行上下文信息表示的提取融合進行了探索和比較，發現CA-TRNN具有較好的準確性，也通過TRNN與LSTM比較發現，句子中的短語提供了更高的預測效果。實驗和分析證明了該模型的有效性和準確性。同時通過實驗也發現，單純的TD-LSTM模型比LSTM的模型的精確度要低9.73個百分點。因此推測由于本文提取的是文本中的相關方面級詞（TF-IDF），該詞并未提高模型的準確度。經過觀察，得知大多數提取到的詞并不是目標句中具有情感傾向的方面級詞語，而方面級詞相關性也是一個重要的分類依據，往后的工作將致力于提取與目標句相關的方面級詞以提高現有模型的精確度。