基于深度學習的短文本情感傾向分析綜述

湯凌燕，熊聰聰，王 嫄,2+，周宇博，趙子健

1.天津科技大學人工智能學院，天津300457

2.普邁康（天津）精準醫療科技有限公司，天津300000

隨著Web2.0 時代的到來，互聯網中涌現大規模帶有用戶主觀情感的、內容短小且語義信息豐富的短文本，這些海量數據是用戶意識和觀點的綜合呈現和重要體現，影響著網民對事物的看法態度和判斷決策。具體地，網民在購物平臺上選擇商品時往往會先參考商品下已購買者提供的評論，然后做出是否購買該商品的決定。短文本包括但不僅限于社交平臺[1-2]（如微博、微信、Twitter、Facebook）文字信息、產品評論[3]、電影評論[4]、視頻彈幕與字幕[5]等。如何準確高效地利用計算機技術從海量短文本中自動分析情感信息，這對于產品分析、話題監控、輿情監測、用戶建模、觀點分析等有著重要意義。

情感傾向分析是文本情感分析的核心工作，是指對包含主觀信息的文本進行情感傾向判斷。根據情感類別數可將情感傾向分析任務劃分為二分類（正面/積極、負面/消極）、三分類（積極、消極、中性）和多分類（高興、激動、悲哀、憤怒等）任務；根據研究對象的粒度可將其分為篇章句子級的粗粒度情感傾向分析任務，以及目標/方面級的細粒度情感傾向分析任務。由于目標/方面級的細粒度情感傾向分析需準確分析出文本中所提及所有方面的情感傾向，能提供更全面、更細致的情感信息，故是短文本情感傾向分析的研究熱點和未來趨勢。

短文本情感傾向分析過程概括為三步：文本表示與特征提取、模型訓練、結果分析。由于短文本的隨意性、高歧義性、簡短性等特點，導致文本表示與特征提取過程中出現特征不密集、噪聲多、上下文不獨立等問題，從而無法提取到準確特征，得不到更具上下文語義的文本表示。傳統方法將文本表示與特征提取和模型訓練完全分開，其工作重點主要集中在文本表示與特征提取上。傳統方法中文本表示與特征提取采用啟發式方法，經典的如手工構建情感詞典（包括中文情感詞典[6-7]、英文情感詞典[8]）或特征規則（包括句法特征[9]、情感詞典特征[10]、TF-IDF（term frequency-inverse document frequency）特征[11]等）。這種先采用啟發式方法獲取文本特征，再結合機器學習分類器進行分類的傳統方法[12]高度依賴啟發式方法和專家知識的構建，需人工干涉，極大降低了工作效率，限制了大數據的使用。

本文在總結和評述前人工作的基礎上，對基于深度學習的篇章句子級粗粒度情感傾向分析和目標/方面級細粒度情感傾向分析進行了綜述。基于研究趨勢，本文重點闡述了基于深度學習的短文本細粒度情感傾向分析方法，并根據短文本細粒度情感傾向分析所面臨的挑戰，將基于深度學習的細粒度情感傾向分析方法進行了分類和比較。

1 深度學習相關技術

基于深度學習的短文本情感傾向分析一般流程（如圖1 所示）可分為五階段：文本預處理、初始詞向量表示、特征提取與上下文語義表示、深度學習模型訓練與測試、實驗結果分析與評估。

Fig.1 Workflow of deep learning-based short text sentiment tendency analysis圖1 基于深度學習的短文本情感傾向分析流程圖

1.1 詞向量

基于深度學習思想解決自然語言處理任務時，需將文本結構化和數字化，表示成詞向量，方便計算機處理。早期基于詞袋模型的詞向量表示是高維度、高稀疏的，其特征表達能力很弱，不利于特征提取。

基于詞嵌入（word embedding）的分布式表示方式的提出，使得深度學習方法用于短文本情感傾向分析成為可能。詞嵌入技術通過對大量語料的學習，將短文本映射成低維實向量。詞向量再輸入深度神經網絡中，自動提取上下文特征，得到的最終文本表示用于情感傾向分析。詞嵌入技術仍在不斷發展，一些用于度量詞與詞間相似性的預訓練語言模型被提出。2013 年提出了Word2Vec[13]，2014 年提出了GloVe[14]，2016 年提出了OpenAI GPT[15]，2018 年提出了ELMo（embeddings from language models）[16]和BERT（bidirectional encoder representation from transformers）[17]，2019 年提出了基于Transformers[18]架構的Transformer-XL[19]和XLNet[20]。常用于短文本情感傾向分析的預訓練模型包括Word2Vec、GloVe和BERT。

1.2 深度學習模型組件

常用于短文本情感傾向分析的深度學習模型組件包括：長短時記憶網絡（long-short term memory network，LSTM）、卷積神經網絡（convolutional neural network，CNN）、記憶網絡（memory network，MN）、膠囊網絡（capsule networks，CapsNets）、圖卷積神經網絡（graph convolutional network，GCN）以及注意力機制（attention mechanism）[21]。

長短時記憶網絡常用于捕獲短文本全局語義；卷積神經網絡的卷積、池化操作用于提取短文本局部特征；記憶網絡通過增加額外的存儲單元，能更好地解決長時記憶問題；膠囊網絡以動態路由方式學習詞間語義關系，減少信息丟失；借助圖卷積神經網絡可將短文本中的特征信息和結構信息進行融合；結合注意力機制主要為解決深度神經網絡對短文本中關鍵語義不敏感問題。

1.3 深度學習方法與傳統方法比較

在短文本情感傾向分析的研究中，基于深度學習的方法較傳統方法的優點可總結為以下三點：

（1）對文本特征的提取更準確高效。人工構建特征工程提取到的是短文本的淺層表征，相比較而言，深度學習網絡可以實現在不同層次上自動挖掘短文本的隱含特征，故得到的文本表示更豐富。

（2）對文本復雜語義關系的建模能力更強。深度學習方法利用位置編碼、圖神經網絡、預訓練模型等手段實現對詞序、語法、語義相似性等復雜關系進行建模。

（3）深度學習算法可延伸性更強。短文本是大規模、內容豐富且千變萬化的，深度學習方法通過對數據分布相似性或不同任務的相似性建模，實現算法在不同領域或任務上的移植。

2 基于深度學習的篇章句子級粗粒度情感傾向分析

2.1 篇章級的粗粒度情感傾向分析

篇章級情感傾向分析的研究對象是關于產品、服務或事件的帶主觀情感描述的文章或段落。篇章級情感傾向分析的情感標簽有積極、消極和中性。目前，篇章級情感傾向分析所面臨的最大挑戰是文章或段落中包含的句子可能并不相關，即所描述的可能不是同一個實體，導致特征提取不準確。因此，主/客觀句子判斷在篇章級的粗粒度情感傾向分析中至關重要，不相關的句子需刪除，不重要的特征需過濾。

情感傾向分析常被看作一項分類任務。Pang等[22]將篇章級情感傾向分析視為三分類任務，利用標注文檔訓練情感分類器，早期這類基于機器學習分類器的方法高度依賴數據特征的選擇，對提升情感傾向分析效率有局限性。Kiritchenko 等[23]借助神經網絡自動從大量訓練文檔中學習可區分特征，該利用神經網絡學習文本表示的方法較傳統方法取得了明顯成功，但只考慮了文本淺層語義，忽略了用戶偏好和產品特征等客觀因素對篇章情感極性的影響。Tang 等[24]利用CNN 學習篇章中用戶-產品的關聯語義特征，融入到文本表示中。除增加外部關聯特征外，考慮到文檔內部存在多層次的多粒度特征，即單詞特征構成句子，句子特征構成文檔。Yang 等[25]則通過改進模型內部結構，提出多層注意力網絡（hierarchical attention network，HAN），不同的注意力層捕捉文檔的不同粒度特征，該方法為后期更細粒度的情感傾向分析任務提供了很好的思路。

2.2 句子級的粗粒度情感傾向分析

句子級情感傾向分析根據句子所給出的觀點信息計算整個句子的情感傾向，句子通常是關于一個產品或服務的評論。主觀句子中所包含的觀點信息可以幫助判斷實體的情感傾向。

句子級的短文本情感信息標注相對篇章級的更耗時耗力，為降低人工數據標注成本，Wu 等[26]提出一種弱監督法，用篇章級和詞級的標注數據訓練句子級的情感分類器。但實際上，詞級的標注數據比句子級的更難獲取；另外，人工標注的數據存在主觀判斷差異等問題，會有噪音，Wang 等[27]則提出雙層CNN框架，第一層CNN 通過學習帶噪音的標簽數據實現對輸入數據去噪，第二層CNN 將上層得到的“干凈”數據用于句子級情感傾向分析，從而降低數據噪音影響。不同情感標簽之間也存在相互影響，特別是中性情感標簽，會影響對其他情感標簽的判斷。該現象不僅在句子級情感傾向分析中存在，細粒度情感傾向分析中也存在。針對上述問題，Wang 等[28]提出RNN（recurrent neural network）膠囊模型，為每類情感標簽單獨建立膠囊，根據膠囊內的狀態激活條件判斷當前輸入句子的情感傾向。實驗結果還證明了即使未用到精心訓練好的詞/句向量，也能獲得好的分類效果。

3 基于深度學習的目標/方面級細粒度情感傾向分析

相比較于篇章句子級的粗粒度情感傾向分析，當短文本中存在多個不同情感傾向的實體時，整個句子的情感傾向是無法準確判斷的，但目標/方面級的情感傾向分析可以實現對短文本中所提及所有實體判斷其情感傾向，是細粒度的情感傾向分析任務，提供的是針對明確對象的主觀信息。目標/方面級的細粒度情感傾向分析（aspect-based sentiment analysis，ABSA）的研究對象是短文本中所提及的所有方面。方面包括方面實體（又稱目標[29]）和方面類別，例如短文本“餐廳的三文魚很美味，但服務員不友好”中“三文魚”是一個方面實體，同時屬于“食物”類；另一個方面實體“服務員”屬于“服務”類，短文本中對餐廳的兩個不同方面所表達的情感傾向分別是“正面/積極”和“負面/消極”。

基于短文本的特點，以及目標/方面級情感傾向分析所面臨的挑戰，將基于深度學習的細粒度情感傾向分析方法歸為三大類：基于單任務的方法、基于多任務聯合學習的方法和基于遷移學習的方法。

3.1 基于單任務的方法

處理目標/方面級的細粒度情感傾向分析任務的關鍵是在上下文中準確找到用于描述目標/方面的觀點詞或情感信息。基于單任務的方法通過增改神經網絡模型內部結構，或融入外部知識的方式擴展詞向量[30]，例如融入情感常識[31]、圖譜知識[32]、社會關系[33]、引入句法信息[34]等，旨在提升模型的上下文復雜語義建模能力，同時解決詞向量的情感語義表達不準確、不深刻的問題。

3.1.1 經典神經網絡模型

不同的神經網絡組件提取的上下文語義不盡相同，基于經典網絡模型增改模型內部組件，是一種最常見的深度學習方法，更多的是結合注意力機制[35-36]。

早期Tang 等[37]為充分考慮目標與上下文的關聯語義，將句子按目標詞分成左右兩個子句，TD-LSTM（target-dependent LSTM）算法中目標是兩個LSTM的最后一個輸入單元，最后隱層輸出拼接作為最終的文本表示，該方法未充分考慮到上下文。現存大多數基于LSTM 和注意力機制的雙通道混合模型[38]（如圖2 所示），經過LSTM 層得到初始上下文表示和目標表示，注意力層用于提取對輸入目標而言更重要的上下文信息，得到更高效的文本特征表示，最后輸入情感分類器中判斷輸入目標的情感傾向。相關算法有ATAE-LSTM（attention-based LSTM with aspect embedding）[39]、IAN（interactive attention network）[40]和RAM（recurrent attention on memory）[41]等，主要區別在于目標與上下文的語義關聯計算方式不同。IAN通過兩個并行注意力層實現目標與上下文的雙通道交互式關聯度計算，RAM則通過在雙向LSTM和多層注意力之間增加記憶塊實現遠距離的語義關聯計算。

Fig.2 Classic structure of LSTM with attention mechanism圖2 基于LSTM 和注意力機制的經典模型

注意力機制可能導致短文本中多個方面與觀點詞的錯誤匹配，從而降低模型預測性能；另外，CNN無詞序依賴性，可實現并行計算，故在模型訓練的時間復雜度上具有一定優勢。基于CNN 的情感傾向分析模型（如圖3 所示）通過設計不同的門控機制，根據輸入方面實體提取短文本內的局部情感特征，達到方面與短文本內觀點詞高效匹配的目的。Xue等[42]提出基于方面的門控卷積神經網絡（gated convolutional network with aspect embedding，GCAE），設計Tanh-ReLU 門控單元實現信息過濾，即根據當前輸入的方面實體選擇性地輸出文本特征，更好地利用了方面實體信息，較于LSTM 結合注意力的模型，該模型結構更簡潔，模型計算在訓練中更能實現并行化。然而，對于含多個詞的方面實體中存在詞的重要性不同的問題，例如方面實體“佳能相機”中“相機”應比“佳能”更重要，大部分方法采用池化或簡單拼接方式得到方面向量表示，但這兩種處理方式都容易丟失關鍵語義。Huang 等[43]則提出參數化池化（parameterized filters，PF-CNN）和參數化門控（parameterized gated，PG-CNN）兩種結構，對方面實體進行卷積操作提取關鍵詞，再與上下文一起輸入參數化層。實驗結果證明這種卷積處理方法，極大提高了細粒度情感傾向分析模型性能，甚至超越了一些經典循環神經網絡模型。

Fig.3 Classic structure of CNN-based aspect-level sentiment tendency analysis圖3 基于CNN 的方面級情感傾向分析經典模型

LSTM 和CNN 的隱層狀態以及注意力機制的記憶存儲能力十分有限，長距離建模過程中容易導致部分語義信息的丟失。記憶網絡結合注意力機制的方法（如圖4 所示）為上下文中除目標詞外的每個詞單獨構建額外的記憶塊，注意力層用于捕獲記憶塊中對于判斷不同目標的情感傾向較為重要的信息。上下文與目標詞間的位置關系十分重要，一般來說距離目標越近的上下文越重要。早期Tang 等[44]將目標與上下文的絕對位置關系編碼成注意力權重融入記憶塊中，為獲得上下文與目標間的更多抽象特征，還設計了多層共享參數計算單元，該算法極大提高了模型計算速度。但對于結構復雜的短文本而言，記憶網絡并不善分析局部語義，Fan 等[45]則對記憶網絡進行了改進，在記憶網絡中增加卷積操作，這類方法將具有特定功能的神經網絡組件進行多層次組合，實現多功能和多特征的融合，為后期深度學習方法提供一條新思路。

Fig.4 Structure of MN-based target-dependent sentiment tendency analysis圖4 基于記憶網絡的目標級情感傾向分析模型

除了增改神經網絡內部結構外，許多工作還研究了不同預訓練語言模型對整個深度學習模型情感傾向分析結果的影響。利用不同預訓練語言模型對輸入數據進行預訓練，得到不同的初始詞向量表示，這類方法只改變模型輸入部分，其他層不變。Song等[46]提出注意力編碼網絡（attentional encoder network，AEN），詞嵌入層分別采用BERT 和GloVe 兩種預訓練語言模型，實驗結果分析發現基于BERT 的AEN模型比基于GloVe 的AEN 模型在準確率上最多高出0.06，這充分說明不同預訓練語言模型會影響情感傾向分析深度神經網絡模型的性能。表1 中對提高上下文語義建模能力的算法進行了總結歸類，并綜合比較了算法優缺點，針對算法缺點給出了改進意見。

3.1.2 融入外部先驗知識的方法

Tang 等[37]證明了細粒度情感傾向分析中建立上下文與方面之間的語義聯系的重要性。目前短文本細粒度情感傾向分析存在只關注方面與上下文間的語義關聯的問題。本小節將介紹如何結合先驗知識，達到增強或擴展詞向量對情感信息和上下文背景的語義表達能力，同時解決短文本中存在的信息缺失和歧義等問題。

Table 1 Comprehensive comparison of algorithms to improve context semantic modeling capabilities表1 提高上下文語義建模能力的算法綜合比較

概率語言模型根據語料中的詞間共現關系、詞性、語義相似度等訓練得到詞向量表示，但往往忽略了情感相似度，比如形容詞“好的”和“壞的”常一起用于對比兩個事物，根據共現關系和詞性相似度，它們的詞向量余弦相似度很高，但對于情感判斷而言，它們的相似度為零。段敏敏[31]利用領域情感詞典生成情感詞向量，將情感詞向量與傳統詞向量拼接融合，構成一個既包含語義信息，又包含情感特征的擴展詞向量，解決了同一個詞在不同領域可能表現不同情感傾向的問題。Sentic-LSTM[51]則未采用簡單拼接的方式，而是將從SenticNet 情感語料庫中得到的情感信息映射為特征向量，嵌入LSTM 的記憶單元，作為LSTM 的一部分，進而增強LSTM 隱層輸出的情感表達能力。這類通過額外增加情感特征的方法在一定程度上提高了文本表示的情感表達能力。

短文本篇幅短且結構緊密，所含的信息量大但背景知識不足；另外，同一個詞在不同的語境下可能表達出不同語義。針對以上問題，常見方法是結合知識圖譜（如圖5 所示[51]），將短文本中每個詞關聯到知識圖譜的節點上，根據圖譜中節點與節點間的語義相似關系、隸屬關系等擴充短文本的背景知識，達到增強情感常識知識[52]或短文本背景知識的目的。林世平等[32]提出一種融合知識圖譜的文本表示方法，將圖譜知識與隱狀態向量結合得到知識感知狀態向量，通過設計雙通道結構并結合注意力機制選擇性地融入用戶偏好信息和產品特征信息，作為商品評論短文本的背景知識，用于判斷句中詞的真實語境。除用戶/產品信息的融入外，將社會理論知識應用于情感傾向分析逐漸成為了流行方法，例如將弱社會依賴關系作為微博情感傾向分析的社會背景[53]。該類方法不僅擴展了可用于方面級情感傾向分析的圖譜知識，還表明了情感傾向分析可應用于社會輿情控制。

Fig.5 Knowledge graph-based aspect-level sentiment tendency analysis圖5 融入圖譜知識的方面級情感傾向分析

句法依賴性結構不僅可以解決面向方面的情感傾向分析的長距離多詞依賴性問題，利用直接依賴關系還能幫助解決歧義問題。常用句法關系包括依存解析（dependency parse）關系和成分解析（constituency parse）關系，如圖6 所示，GCN 將句法關系映射成鄰接矩陣，圖節點表示即為詞向量表示，再根據鄰接矩陣更新所有圖節點表示，這樣便將句法信息融入了文本表示中。經典模型有AS-GCN（aspect-specific graph convolutional network）[54]、R-GAT（relational graph attention network）[55]和SK-GCN（syntax and knowledge via GCN）[56]等，主要區別在于為明確給出的方面構建依賴樹時采用了不同的機制。AS-GCN 通過在句法依存樹上應用多層GCN，并在其頂部強加一個特定于方面的掩碼層，用來獲得面向方面的特征；R-GAT為充分考慮特定方面、注意力和句法三者間的關系，采用剪枝算法刪除間接關聯邊，只留下與特定方面有直接關聯的句法依賴邊，并借助圖注意力網絡（graph attention network，GAT）[57]，使注意力只關注與特定方面在句法上有直接依賴關系的上下文上，該模型在三個標準數據集上取得了最好的實驗結果；SK-GCN 則通過合并由句法關系和圖譜連接關系映射成的兩個鄰接矩陣，對短文本的句法信息和背景知識進行了融合，有效解決了信息缺失和歧義問題，進而幫助提升方面級情感分析的準確率。

Fig.6 Syntax-aware aspect-level sentiment tendency analysis圖6 基于句法關系的方面級情感傾向分析

3.2 基于多任務聯合學習的方法

多任務學習方法將方面級的情感傾向分析任務與其他相關但不相同的任務進行聯合訓練，通過反向傳播過程中的信息流動學習任務間的可共享隱層特征，而這樣的特征在單任務學習網絡中往往不容易學到，如聯合學習粗粒度情感特征構成多粒度情感傾向分析[58]，共享學習多模態數據特征構成多模態情感傾向分析[59]，該類方法可以有效緩解短文本細粒度情感傾向分析的低可用資源問題。

根據目標/方面級情感傾向分析中研究的三個對象，可將其劃分成五個子任務：方面實體提取、方面類別判定、觀點詞提取、方面實體情感傾向分析和方面類別情感傾向分析。通常將方面實體情感傾向分析作為主任務，其他子任務或自然語言處理領域其他非情感分析任務作為輔助任務。

3.2.1 基于多任務學習的序列標注方法

基于序列標注的細粒度情感傾向分析[60]采用聯合方面信息標注任務和情感信息標注任務的方式，重新定義目標/方面級的細粒度情感傾向分析任務。基于多任務學習的序列標注方法按照模型結構可分為流水線式和聯合式，流水線式是指先做短文本的方面信息標注任務，再基于上一步的結果做情感信息標注任務；聯合式是指同時標注出短文本的方面信息及其對應的情感傾向。序列標注方法實現對文本中所提及所有方面的位置信息及其情感信息進行標注（如圖7 所示）。位置標注方式包括BIESO 方式（BIE 用于標注含多個詞的方面的位置信息，S 表示只含單個詞的方面，O 表示非方面詞）和TO 方式（T 表示是方面詞，O 表示非方面詞）；三分類的情感傾向標注方式為POS/NEU/NEG，即積極/中性/消極。

Fig.7 Fine-grained sentiment tendency analysis based on sequence labeling圖7 基于序列標注的細粒度情感傾向分析

實際上，方面信息的提取任務與情感傾向的判別任務并不相互獨立，且后者依賴于前者。Akhtar等[61]提出端到端的多任務學習模型，序列標注模型由雙向LSTM 層和自注意力層構成，情感傾向的判別過程中只將方面信息標注正確的句子作為分類模型的輸入，分類模型有卷積層和掩碼層，掩碼層用于屏蔽非方面詞，使得誤差反向傳播時只傳B/I 標簽下情感分類錯誤的梯度，這種方式可以有效減少O 標簽的影響。He 等[62]聯合了篇章級粗粒度任務和方面級細粒度任務，引入消息傳遞機制顯式建模粗/細任務的交互過程，實驗設計和對比了流水線式和聯合式兩種模型，結果表明流水線式比聯合式情感傾向分析模型性能更好。這種粗細多任務學習方法既擴展了短文本粗粒度特征，又解決了細粒度情感傾向分析中數據短缺問題。

采用信息抽取方式可以獲取更全面、更具體的短文本信息，如方面/觀點詞、觀點持有者、情感極性和原因等。信息抽取方式將細粒度情感分析轉化為二元組或三元組的信息抽取任務（如圖8 所示）等。Wan 等[63]將方面實體情感傾向分析和方面類別情感傾向分析合為一個任務，進行實體-類別-情感（targetaspect-sentiment，TAS）三元組抽取任務，TAS 模型將BERT 作為編碼層用于捕獲全局語義，全連接層、Softmax 層和CRF（conditional random fields）[64]層為解碼層，分別用于分類和信息標注，針對輸入的方面類別和情感極性，第一個輸出用于判斷句中是否有顯式的方面，第二個輸出用于標注句中的顯式方面，實驗結果證明了方面情感的判斷并不單獨取決于具體實體或其類別，而由實體及其類別共同決定。類似方法還有Wang 等[65]提出基于方面類別進行方面-觀點二元組的抽取任務，對抽取出的方面詞和觀點詞直接進行方面級的情感傾向分析。

Fig.8 Information extraction in fine-grained sentiment tendency analysis圖8 細粒度情感傾向分析中的信息抽取

3.2.2 多方面多情感傾向分析

對于句中存在多個不同情感傾向的不同方面的多方面多情感（multi-aspect-based multi-sentiment，MAMS）傾向分析問題，上述面向單方面的情感傾向分析方法的處理方式是將句子拆分成只標注一個方面信息的多個句子，然后只對句中標注的單個方面進行情感傾向分析，這類方法未考慮不同方面間的相互影響，容易導致分類錯誤。多方面多情感傾向分析實現同時對文本中所提及所有方面的情感傾向判別，這類任務比單方面單情感傾向分析更加復雜，但可以看作是多個單方面單情感傾向分析任務的聯合學習。

結合注意力機制計算上下文權重時，受其他方面的影響，容易將注意力分配到其他不相關的觀點詞上，Hu 等[66]提出約束注意力機制神經網絡（constrained attention network，CAN），通過在注意力上增加約束性的損失函數實現不同方面的注意力分布盡量正交，但每個方面的上下文注意力分布盡量離散，實驗證明這種約束上下文注意力分布的方法在MAMS 中取得了很好效果。不同于CAN，Li 等[67]設計交互式損失函數約束每個類別判定的概率輸出只能判別當前類，另一點不同是借助GAT 學習句中成分解析關系，即根據詞與詞構成的短語成分關系搜索短文本中與當前輸入的方面所對應的情感信息。多方面多情感傾向分析的難點在于如何同時獲取不同方面的可區分特征表示，減少方面間的相互影響，從而準確高效地進行多方面級的多情感判斷。當短文本中只包含一個方面時，目標/方面級的細粒度情感傾向分析任務便退化成句子級的粗粒度情感傾向分析任務。

3.2.3 聯合學習非情感傾向分析任務

傳統多任務學習方法中多個任務通過共享隱層相互學習，僅僅通過錯誤反向傳播相互影響，這種相互作用往往是不可控的，且缺乏可解釋性。聯合學習情感傾向分析相關任務或其他非情感傾向分析任務時，通過在模型內部設計多任務交互模塊，顯式地建模任務間的互相學習過程，進而提高多任務學習模型的可解釋性，成為了近幾年短文本細粒度情感分析的研究熱點。

對短文本先進行主題聚類[68]，用于輔助情感傾向分析。Gui等[69]提出基于多任務學習思想的互相學習法（multi-task learning with mutual learning，MTL-ML），將主題模型（topic models）和情感傾向分析模型用一個共享權重單元關聯起來，訓練過程中通過最大化主題權重分布和情感語義注意力分布之間的相似性，實現兩任務間的互相學習。Qin 等[70]則認為對話行為識別（dialog act recognition）和情感傾向分析兩個任務在捕捉人的說話意圖上具有相似性，即對話行為和情感傾向分別表示說話人的明示意圖和隱含意圖，設計深層交互關系網絡（deep co-interactive relation network，DCR-Net）用于兩個任務之間的多步驟交互，不僅可以逐步建模和捕獲深層交互關系，還能更好地傳遞知識。這類多任務學習方法將不同任務的相似或相關的部分單獨提出來學習，既降低了不同任務模型訓練過程中無關特征間的相互干擾，又顯式地建模了任務間的交互關系，進而提升了多任務學習模型的可解釋性。

3.3 基于遷移學習的方法

3.3.1 遷移學習方法簡介

現存深度學習網絡模型大多數是基于數據驅動的方法，需要大量的標注數據訓練模型參數，且分類模型的效果對訓練數據集的數量和質量較敏感。針對上述問題，基于遷移學習的情感傾向分析方法（如圖9 所示），先利用源領域標注數據和目標領域少量甚至無標注的數據訓練網絡模型，再輸入目標領域測試集對模型進行微調以適應目標領域的目標任務。遷移學習方法常用于跨任務[71]、跨領域[72]和跨語言[73]的細粒度情感傾向分析，其關鍵是找到源任務和目標任務之間的相似性。

Fig.9 Framework of transfer learning-based sentiment tendency analysis圖9 基于遷移學習的情感傾向分析框架

3.3.2 基于遷移學習的細粒度情感傾向分析

基于遷移學習的細粒度情感傾向分析方法可歸納出遷移什么、如何遷移和何時遷移三個基本問題。重用模型內部部分語義結構是最常見的遷移學習方式。王源[74]將在機器翻譯任務中訓練好的編碼器用于情感傾向分析，為解決任務間的特征差異問題，還增加特征提取層，實現基于特征遷移的跨任務情感傾向分析。針對遷移什么和如何遷移兩個基本問題，Li等[75]設計雙內存交互（dual memory interaction，DMI）模塊，用于捕獲方面與觀點詞之間的語義關聯，并結合選擇對抗學習（selective adversarial learning，SAL）解決跨領域知識遷移過程中領域數據特征分布差異問題，同時嘗試解決了領域低資源問題。鑒于數據的領域依賴性問題，很多情感傾向分析深度學習方法并不適用于當數據來自不同領域或所用語言不同的情況。Lambert[76]使用受限翻譯工具將源語言翻譯成目標語言，只遷移短文本中與給出方面實體對應的觀點詞部分，實現跨語言的方面級情感傾向分析。這類基于遷移學習的方法通過共享模型部分參數方式，或共享模型部分語義層和部分特征的方式，提升模型泛化學習能力，進而提高模型的實際可用性。

基于深度學習的細粒度情感傾向分析方法如表2 所示。

4 情感傾向分析數據集

數據集對于深度學習模型的訓練來說至關重要，有效的數據集能幫助驗證基于深度學習的情感傾向分析方法的效能。本章以情感傾向分析任務為背景，分別收集了中文數據集（如表3 所示）和外文數據集（如表4 所示），并對各數據集的情感標簽、數據量以及適用任務進行了簡單描述。

4.1 中文情感傾向分析數據集

（1）ChnSentiCorp_htl_all（中文情感分析酒店語料）[77]：由中科院譚松波收集整理的一個較大規模的酒店評論語料，共10 000 條評論，正面評論有7 000條，負面評論有3 000 條，分為4 個子數據集。情感標簽只包括正面和負面，一般用于篇章句子級的粗粒度情感傾向分析。

（2）COAE（中文觀點傾向性分析測評）[78]：COAE2014的任務4 提供的微博數據集共計40 000 條微博，已標注數據有10 000 條，帶情緒的數據有7 000 條。訓練集數據來自同一話題，正負面情緒數據分別有1 003條和1 171 條；測試集數據來自手機、保險、翡翠3 個不同話題，正負面情緒數據分別有3 776條和3 224條。

（3）NLPCC（自然語言處理會議）[79]：2014 年的數據集中訓練集含10 000 條中文產品評論數據，測試集中正面和負面標簽的數據評論各1 250 條，可用于句子級的粗粒度情感傾向分析。

（4）新聞點評（Chinese news comments）[43]：收集了大量包括政治和娛樂兩方面的中文新聞評論，專用于方面級的細粒度情感傾向分析，情感標簽有3類：積極、消極和中性。訓練集中3 類情感標簽數據量分別為5 633、6 001 和8 403。

Table 2 Summary of deep-learning methods for fine-grained sentiment tendency analysis表2 基于深度學習的細粒度情感傾向分析方法總結

Table 3 Chinese sentiment tendency analysis dataset表3 中文情感傾向分析數據集

Table 4 Foreign sentiment tendency analysis dataset表4 外文情感傾向分析數據集

（5）豆瓣影評數據集[4]：利用網絡爬蟲技術，收集自國內影響較大的豆瓣電影網站數據。該數據集中電影評分劃為5 個等級共10 分，2 分最差，6 分及格，8分好評。除表3 中訓練集和測試集外，還有50 000 條驗證集數據，情感傾向標簽按等級分，該數據集粗細粒度的情感傾向分析都適用。

4.2 外文情感傾向分析數據集

（1）IMDB（Internet movie database）[80]：包含50 000條以情緒（正面/負面）標記的電影評論，內容涉及影片的演員、內容介紹、等級和評論等。Keras中已對評論文本進行了預處理，評論中的每個單詞由一個對應整數代替。IMDB 數據集常用于篇章句子級的粗粒度情感傾向分析。

（2）SemEval（semantic evaluation）：SemEval 是一項關于語義分析與評估的NLP 比賽，其中情感傾向分析相關任務主要包括SemEval2014 Task4、SemEval2015 Task12 和SemEval2016 Task5，該3 個任務均提供restaurant 數據集，即Rest14/Rest15/Rest16。SemEval2014 Task4 中還提供laptop 數據集，即Laptop14。SemEval的情感標簽有3 類：積極、消極、中性。常用于目標/方面級的細粒度情感傾向分析。

（3）Twitter[81]：它是在社交平臺推特的應用程序接口上通過搜索關鍵字爬取的tweets，情感標簽分3類：積極、中性和消極。常用于目標/方面級的細粒度情感傾向分析，該數據集在表4 中資源獲取來源地址參考自文獻[46]。

（4）SST（Stanford sentiment treebank）[82]：該數據集收集的是電影文本，有兩個版本可用，五分類（非常積極/積極/中性/消極/非常消極）的SST-1 和二分類的SST-2。除了表4 中的訓練集和測試集，SST-1 驗證集包含1 101 條數據，SST-2 驗證集包含872 條數據。SST數據集常用于篇章句子級的粗粒度情感傾向分析。

（5）Yelp[25]：Yelp 是美國最大的一個點評網站。Yelp 數據集是一個涵蓋用戶、商家和點評數據的子集，收集的是波士頓、芝加哥、洛杉磯、紐約、舊金山5 個城市關于餐廳和食品的評論。Yelp 數據集分兩類：一個是5 評分等級的Yelp-5；一個是正負情感極性的Yelp-2。常用于篇章句子級的粗粒度情感傾向分析。

（6）Amazon[25]：該數據集整理自亞馬遜購物網站的商品評論，包括兩個版本：用于二分類的Amazon-2以及五分類的Amazon-5。這兩個數據集常用于篇章句子級的粗粒度情感傾向分析。

（7）SentiHood[83]：數據來源于Yahoo！的一個問答平臺，內容是關于倫敦的城市社區評論。數據集中共含5 215 條問答形式的短評，該數據集常用于目標/方面級的細粒度情感傾向分析。

（8）Hindi[84]：是一個常用于目標/方面級細粒度情感傾向分析的印第安語數據集，其跨12 個領域共收集5 417 條評論，其中方面實體共有4 509 個，訓練集中有3 385個方面實體，測試集中有1 124個方面實體。

5 實驗評價指標和模型性能對比

性能評估是短文本情感傾向分析實驗中的最后一步，短文本情感傾向分析中常用準確率和F1 測度評價深度學習模型的性能。

5.1 實驗評價指標

5.1.1 準確率Accuracy

模型正確分類的樣本數與總樣本數的比值就是準確率，通常來說，準確率越高越好。公式描述如下（TN為真實情感為消極且預測正確的樣本數，FN為真實情感為消極但預測錯誤的樣本數，TP為真實情感為積極且預測正確的樣本數，FP為真實情感為積極但預測錯誤的樣本數）：

5.1.2 精準率Precision

精準率指的是在預測結果為積極的樣本中，真實標簽也是積極的樣本所占比值。公式描述如下：

5.1.3 召回率Recall

召回率指的是真實情感為積極且預測正確的樣本數占總樣本數的比值。公式描述如下：

5.1.4 F1 測度

由于精準率和召回率兩評價指標值間相互影響，不能同時達到最優。為對模型進行更好的整體評價，計算精準率和召回率兩個指標的算術平均值得到新評價指標F1 測度。計算公式如下：

Macro-F1 先對每個類別單獨計算F1 值，再取所有類別F1 值的算術平均值作為全局指標；Micro-F1不區分類別，直接用總樣本的精準率和召回率計算F1 值。

5.1.5 均方誤差MSE

該統計參數是預測數據和原始數據對應點誤差的平方和求均值，其值越小越好。常用于評估多標簽情感傾向分析模型性能。公式描述如下（n為總樣本數，yi是真實情感標簽，是預測值）：

5.2 典型模型性能對比

為了進一步分析基于深度學習的細粒度情感傾向分析方法的性能，本節借助3個標準數據集SemEval的Rest14、Laptop14 和Twitter 數據集，以及兩個通用評價指標對各經典模型性能進行客觀評價和對比，其中準確率是情感傾向分析模型性能的最重要的評價指標，Macro-F1 是另一個有價值且重要的模型性能度量指標。以下實驗結果整理自多篇論文（如表5所示）。

表5 中第一部分是傳統基于機器學習和特征工程方法的實驗結果；第二部分是基于LSTM 以及結合注意力機制方法的實驗結果；第三部分是基于卷積神經網絡和記憶網絡模型的實驗結果；第四部分是基于圖卷積神經網絡模型的實驗結果。

對表5 進行縱向分析，首先可明顯看到SemEval數據集的使用率最高，這可能由于SemEval數據集中數據量更大，標注的信息更全面且涵蓋兩個領域的標注數據，適用于更多任務；其次，從實驗結果可以看出在Rest14 數據集上的準確率最高，Laptop14 數據集上的結果次之，Twitter 數據集上的準確率最低，且較于Rest14，Twitter 數據集上的結果最多降低了0.10的準確率，這是由于tweets 數據更口語化，語言表達更復雜，導致上下文語義更難準確捕獲；最后，從結果上分析出廣義F1 測度值比準確率低，且在Rest14數據集上表現得更明顯，這可能由于在Rest14 數據集上容易將原本的積極類預測為消極類。

Table 5 Comparison of experimental results of target/aspect-level sentiment tendency analysis表5 目標/方面級情感傾向分析實驗結果對比%

對表5 進行橫向分析：（1）可看出結合語義詞典的方法可以有效提升基于傳統SVM（support vector machine）方法的性能，約提升了大于0.03 的準確率。（2）基于LSTM 結構的模型比傳統機器學習方法提升了0.01～0.03的準確率，對比簡單的LSTM 模型與結合注意力機制的LSTM 模型的實驗結果發現，引入注意力機制可以極大提高情感傾向分析效率；其次，AEN中設計多頭注意力層的使用進一步提升了模型效率。（3）目前利用圖卷積神經網絡融入基于方面的依存句法關系的方法取得了最好的效果，同時在模型輸入部分利用預訓練模型可以幫助進一步提高準確率。

6 總結與展望

短文本數據的簡短性、歧義性等特點給情感傾向分析帶來巨大挑戰。近些年，深度學習技術憑借高效特征提取能力、豐富建模手段和可移植性在情感傾向分析任務中表現突出。結合深度學習思想構建更加準確有效的短文本情感傾向分析模型仍是自然語言處理領域的重點研究方向之一。

基于深度學習的短文本情感傾向分析方法在向分類效率更高、計算更快、不同任務與領域間更通用的方向發展，主要表現為：（1）引入預訓練語言模型，初始化深度網絡模型的輸入，得到表達更高效的初始詞向量；（2）結合一些機制，如注意力機制、門控機制和信息傳遞機制等，控制模型內部信息流動，增強上下文語義建模能力；（3）簡化模型結構，減少內存占用率，結合可并行化訓練的神經網絡組件，提升模型訓練速度；（4）聯合其他任務進行多特征互補學習，不僅幫助緩解低可用資源問題，還可提升模型泛化能力。

結合短文本情感傾向分析所面臨的挑戰，提出以下三點未來研究方向：

（1）短文本長度過短，導致數據特征稀疏。結合外部先驗特征，挖掘短文本內部表征及深層語義特征，一直是增強上下文語義建模能力的重要研究內容。如何利用從其他自然語言處理任務中獲取的信息輔助情感傾向分析，是未來一個值得研究的重要方向。

（2）短文本表述不規范，結構復雜，導致歧義問題。常用方法是補充短文本的結構信息。中文短文本情感傾向分析受到分詞準確率的約束。構建不同粒度的文本向量化方法，如字向量表示、詞向量表示和短語向量表示等，再結合改進的注意力機制是一個值得研究的課題。

（3）短文本數據量大且內容復雜，領域可用標注資源少，且深度學習模型的跨領域可移植性差，導致更實用的任務無法進行。基于遷移學習的方法仍存在提升空間，如何將少樣本學習和弱監督方法應用于短文本情感傾向分析值得未來進一步探討。

7 結束語

本文對短文本情感傾向分析的研究背景和意義進行了綜述，并重點闡述和討論了深度學習方法對短文本細粒度情感傾向分析的重要貢獻。此外，本工作基于三個標準數據集和兩個重要評價指標，綜合評估了用于細粒度情感傾向分析的經典深度學習網絡模型性能。深度學習方法較傳統方法得到了更高的準確率，但仍有若干問題待解決。最后，結合上述內容對短文本情感傾向分析研究中存在的開放問題給出了一些未來方向。期待未來有更多用于解決短文本情感傾向分析問題的新思路和新方法。