面向短文本情感分析的多特征融合方法研究

陶永才，張鑫倩，石 磊，衛 琳

1(鄭州大學信息工程學院，鄭州450001)

2(鄭州大學軟件技術學院，鄭州450002)

1 引 言

隨著社交網絡的興起，越來越多的用戶通過社交媒體以短文本的形式發表評論，情感分析用于分析用戶評論中包含的態度或意見.如何將深度學習技術應用到情感分析領域受到了研究者的重點關注，是自然語言處理領域的研究熱點［1］.此外，由于微博和Twitter 等評論文本較短并且沒有嚴格的規范性，所以短文本情感分析相比于普通文本情感分析具有更大的挑戰和分析難度.

由于深度學習模型在自然語言處理領域的成功應用，越來越多的研究將深度學習技術應用到情感分類任務中［2］，并取得了很大的進展.Blunsom 等人［3］使用 CNN 判斷 Twitter文本的情感極性;Wang 等人［4］采用LSTM(長短期記憶神經網絡)分析文本的情感類別.上述研究初步探索了深度學習在情感分析中的應用，在無需人工提取特征的基礎上取得了比傳統分類器更好的分類性能.隨著深度學習技術的快速發展，一些研究者針對短文本的特性，提出使用多樣化的特征來構建分類模型.Vo 等人［5］提出使用多樣化特征信息提升Twitter 文本情感分類的準確率;劉秋慧等人［6］考慮到微博數據的口語化和不規范性等特點對詞向量訓練模型CBOW 進行拓展;陳珂等人［7］提出使用多通道卷積神經網絡完成對多種情感特征組合的學習.這些方法使用神經網絡結構提取多種情感特征用來學習短文本中隱藏的情感信息.然而，這類方法沒有考慮到文本中富含的情感符號以及情感標簽在分類中起到的作用.

針對上述問題，本文在文本詞向量特征的基礎上，增加了三種情感特征信息:詞性特征、情感符號特征和情感標簽特征.詞性特征將情感詞典中的詞語重新標注，使神經網絡增加對情感詞的注意和學習;由于情感符號比情感詞具有更強的情感指示作用，因此情感符號特征在情感分類中能夠提高情感分類的結果;已有方法很少考慮到情感標簽在分類中的作用，增加情感標簽特征加強了文本和標簽之間的聯系.將多種組合特征映射為分布式詞向量輸入到多通道卷積神經網絡中，更加全面的學習到句子中包含的情感特征.

本文提出基于多特征融合的短文本情感分析模型，具體為多特征融合的多通道卷積神經網絡(Multi-feature Fusion based on multi-channel convolutional neural networks，MF-MCNN).MF-MCNN 可以同時完成對不同特征的提取和學習.最后在SemEval2017 數據集(英文)和NLPCC2014 數據集(中文)上完成了與傳統分類器以及目前先進的模型共7 種模型的對比，實驗結果證明本文模型具有更好的分類結果和較低的訓練時間代價.

本文的主要貢獻有以下三個方面:

1)提出了一種MF-MCNN 模型，該模型在情感分類任務中將不同特征的組合信息和CNN 結合，在不同語言的數據集上有效識別文本的情感極性.另外與以lstm 作為核心網絡相比，MF-MCNN 網絡以多通道卷積神經網絡平行接收文本句子的多輸入，大大提高了模型的訓練速度和降低了模型的訓練時間;

2)將情感符號作為句子的重要組成部分，并通過emoji2vec 映射為分布式詞向量，將情感符號的詞性重新標注為pos 和neg，通過和詞特征、詞性特征的組合，可以使文本的情感信息得到更有效的表示;

3)本文提出將情感標簽映射為分布式詞向量，并作為一種情感特征，和從文本中提取的詞特征、詞性特征、情感符號特征建立聯系，可以讓情感標簽發揮在情感分類中的輔助作用.

2 相關工作

2.1 情感分析

在情感分析任務中，有三種廣泛使用的研究方法:基于詞典的方法、基于機器學習的方法、基于深度學習的方法.

首先，基于詞典的方法使用已有的情感詞典對文本中含有的情感詞匯進行得分加和的方式來判斷文本的情感極性［8］.該類方法的缺點是對情感詞典的依賴性很高，然而由于互聯網詞匯發展迅速，情感詞典不能完全包含文本中的情感詞，大大降低了該類方法的分類性能;其次，基于機器學習模型的方法使用文本分析技術抽取文本中的特征并利用這些特征完成情感分類.具有里程碑意義的是2002 年Pang 等人［9］首次使用機器學習模型進行情感分析，應用三個代表性分類器(支持向量機SVM，樸素貝葉斯NB 和最大熵ME)對文本情感分類任務進行實驗研究;Wan 等［10］提出基于KNN 和支持向量機的文本分類方法，提高了分類的準確率.該類方法的缺點是特征構造是否合適嚴重影響機器學習分類的效果.

然而，上述兩種方法都過度依賴詞典或特征工程的構建，近年來興起的深度學習技術較好地解決了上述方法的缺陷，深度神經網絡擺脫了詞典和特征工程的束縛，使用多層神經網絡將低層詞向量合成高層文本情感語義特征向量，從而得到文本最終的情感語義表示，并進一步使用神經網絡模型識別文本中包含的情感，加速了情感分析領域的快速發展.Kim等［11］使用卷積神經網絡(CNN)對短文本進行建模，完成句子級別的文本情感分類.在情感分析中常用的深度學習模型還有 RNN(recurrent neural network)［12］和 LSTM(long shortterm memory)［13］.

2.2 卷積神經網絡(CNN)

CNN 是深度學習中的核心技術之一，它通過卷積層和池化層自動提取文本中的特征，無需對數據進行復雜的預處理.CNN 目前被廣泛應用于情感分析研究中，Kim 等人［11］提出的MCNN 模型對多個窗口內的詞向量提取語義特征，結果表明MCNN 在多個不同的數據集上都具有較好地分類性能;何炎祥等人［14］提出了一種情感語義增強的深度學習模型(EMCNN)，該模型通過將情感符號空間映射和MCNN 相結合，有效增強了MCNN 捕捉情感語義的能力;陳珂等人［7］提出的MCCNN 模型使用多通道卷積神經網絡完成對四種特征組合的學習，四個通道充分提取了四種特征的情感信息，取得了比普通CNN 更好的性能.由于CNN 模型能夠自動提取文本中的關鍵特征信息，并且訓練速度較快，因此成為本文情感分析方法的核心模型.

2.3 情感符號

由于情感符號具有強烈的情感表達能力，越來越多的用戶在評論中增加情感符號來加強自己的情感傾向.Liu 等人［15］提出一種新的表情符號平滑語言模型(ESLAM)，ESLAM 利用情感符號平滑的方法無縫集成了手動標記的數據和有噪聲標簽的數據，實驗表明該模型優于僅使用其中一種數據的方法.在ESLAM 模型的基礎上，Jiang 等人［16］將情感符號映射到分布式詞向量空間中，構建了情感符號空間模型(ESM)，該模型將詞語和情感符號映射到相同的向量空間中，接著使用SVM 完成有監督的情感分類，有效地證明了情感符號在情感分類中的重要作用.ESM 被提出之后，越來越多的研究將情感符號看作重要的情感特征，為了加強情感語義的捕獲能力，何炎祥等人［14］提出將情感符號作為一種情感特征輸入到多通道卷積神經網絡中，加強了卷積神經網絡提取情感特征的能力.受到何炎祥等人的影響，為了注意到更多的情感符號信息，張仰森等人［17］構建了微博情感符號庫，該符號庫包含了情感詞、否定詞、情感符號、程度副詞和常用網絡用語，證明了豐富的情感符號信息對情感分類具有更大的幫助.

2.4 標簽向量

大多數研究工作將標簽向量轉化為稀疏的、獨立地和無意義的0-1 向量，這種方式導致了標簽潛在信息的丟失.在不同領域和任務中已經顯示出標簽向量的有效性.在自然語言處理領域，Tang 等人［18］在異構網絡的上下文中采用標簽向量用于文本分類.考慮到標簽的重要性，Zhang 等人［19］在文本多標簽文本分類任務中將標簽和單詞轉化為分布式詞向量，最終將文本分類任務轉化為向量匹配任務并成功應用到情感分析任務中.Wang 等人［20］提出將LEAM 模型應用在文本分類任務中，其中標簽以不同注意力分數的形式添加到文本分類的過程中，在訓練時間和分類結果上得到了很大的提升.

3 情感分析模型

在情感分類任務中，情感特征的提取對分類的結果尤為重要，本文提取了四種特征:詞特征、詞性特征、情感符號特征和情感標簽特征，將四種特征組合變換構建三個新的組合特征，并輸入到多通道卷積神經網絡中，最終提出了一種基于多特征融合的MF-MCNN 模型，該模型將不同的特征進行組合作為卷積神經網絡的多輸入，從而使模型獲取更加全面的情感信息，取得更好的情感分類結果.

3.1 特征構建

3.1.1 詞特征

本文以句子的詞為單位，將每個詞映射為分布式詞向量，在詞向量詞典中由兩列組成，一列是詞語，一列是詞語對應的分布式詞向量表示.假設詞典中元素個數為N，每個詞向量維度為d，則M∈Rd×N是整個詞向量詞典的表示矩陣.

對于一個句子序列 S={w1，w2，…，wn}，通過在 Rd×N這個詞向量矩陣中查找每個詞wi對應的詞向量，將每個句子序列中每個詞語對應的詞向量依次拼接起來，即可得到整個句子序列的詞向量矩陣，如式(1)所示.

3.1.2 詞性特征

本文使用Hownet1情感詞集合更新句子中特殊詞語的詞性標注.如表1 所示，對句子中特殊詞進行特定的詞性標注，在特征提取過程中能夠保留對情感分類有重要作用的詞語的特征信息.

表1 詞性標注Table 1 POS tagging

對詞性標注進行向量化操作，將其映射為分布式詞向量tagi∈Rk，k 表示詞性向量的維度，如式(2 )所示.

其中，tag 表示詞性向量.

3.1.3 情感符號特征

帶有情感符號的句子更容易判斷情感傾向，情感符號具有比情感詞更強的情感指示作用，在微博數據集中表情符號以alt 標簽的形式存在，例如，以［哈哈］的形式存在，以［哭］的形式存在.對于每一個句子，如果存在表情符號，將表情符號轉化為分布式向量［24］，并在Hownet 中找到其對應的情感極性:積極或消極，如果屬于積極情感符號，將其詞性重新標注為pos，如果屬于消極情感符號，將其詞性重新標注為neg.若在Hownet 中未找到對應的情感極性，則無需重新標注.如式(3)所示.

3.1.4 情感標簽特征

在詞性特征中，將積極和消極情感詞分別標記為pos 和neg，為了充分利用標簽表達的情感信息，將積極標簽、消極標簽和無情感標簽分別轉為positive、negative 和neutral 對應的分布式向量.向量化的標簽用 L 表示，L={l1，l2，…，lm}，其中m 是標簽的類別數，li為標簽yi的向量.

3.2 多通道卷積神經網絡

如圖1 所示，結合詞特征、詞性特征、情感符號特征和情感標簽特征的多通道卷積神經網絡MF-MCNN 模型主要由六部分構成.

圖1 MF-MCNN 模型的整體架構Fig.1 General architecture of MF-MCNN model

3.2.1 輸入層

輸入層是網絡結構的始端，本文使用三個通道來接收句子的不同特征組合:詞特征+情感符號特征+詞性特征、詞特征+情感符號特征、情感標簽特征，并將不同特征映射為分布式向量的形式，不同的通道使得模型獲取更加豐富的特征信息.將式(1)中的詞向量，式(3)中的情感符號向量和式(2)對應的詞性向量進行拼接操作，形成第一個特征矩陣V1∈Rd+k，如式(4)所示;將式(1)中的詞向量和式(3)中的情感符號向量進行拼接操作，形成第二個特征矩陣V2∈Rd，如式(5)所示;第三個特征矩陣V3∈Rd，由標簽向量表示，如式(6)所示.

3.2.2 卷積層

本文對于不同的通道使用不同尺寸的卷積核對輸入的特征進行卷積運算，提取出句子中更豐富的抽象特征.提取的特征如式(7)所示.

其中w∈Rh×m表示卷積核的權重，h×m 代表卷積核窗口的大小，高度是h，維度是m，卷積核每掃描過一個高度為h，維度為m 的詞序列便得到一個特征值;b 表示偏置值;f 表示激活函數，本文使用Relu 函數作為卷積層的激活函數;xi:i+h－1表示句子序列中第i 個詞到第i+h－1 個詞的詞向量矩陣;ci表示經過卷積運算得到的第i 個特征值.

經過卷積操作之后，每個句子可以得到一個特征圖c，如式(8)所示.

其中，n 代表句子序列的長度.

3.2.3 池化層

池化層通過設定池化區域固定的步長進行采樣操作，本文使用最大池化的方式對不同通道中卷積后的特征圖c 執行下采樣操作，提取每個通道中最重要的特征，即獲取每個卷積算子對整個句子操作后的最強情感信號.如式(9)所示.

其中，m 是卷積核的數量.

3.2.4 合并層

3 個通道的特征經過卷積和池化后分別用X1，X2，Yj表示，對它們進行合并，本文使用的是一種簡單的拼接操作，組成最終的向量并輸入到全連接層.

3.2.5 全連接層

最后，將上一層輸出的向量輸入到一個全連接層M3m×1，從局部特征向量提取特征信息，并通過權重矩陣學習不同通道之間的聯系.

3.2.6 輸出層

本文采用Sigmoid 函數輸出待分類句子的情感分類結果，非線性函數變換后，文本和每一個情感標簽產生一個匹配分數，在0－1 之間，值越大，表明文本的情感類別越接近該情感標簽，如式(11)所示.訓練過程中，模型通過最小交叉熵損失函數l 來調整模型參數，提升分類性能，如式(12)所示.

4 實驗與分析

4.1 實驗環境

本文的實驗環境及配置如表2 所示.

表2 實驗環境配置Table 2 Experimental environment configuration

4.2 數據集

本文采用英文和中文兩種語言中公開評測的情感分析數據集:1)SemEval20173http://alt.qcri.org/semeval2017/task4/index.php?id=data-and-tools#是SemEval 在2017 年語義評測比賽任務4 中子任務A 的數據集(英文)，共有20632 條數據，包含三種情感極性:neutral、negative、positive;2)NLPCC20144http://tcci.ccf.org.cn/conference/2014/dldoc/evsam2.zip，5http://tcci.ccf.org.cn/conference/2014/dldoc/evtestdata2.zip是NLPCC 在2014 年情感評測任務中的公開數據集(中文)，來自新浪微博，每條微博都對應一個情感標簽，共有8 類標簽，將情感標簽 none 視為 neural;happiness 和 like 視為 positive;其余五類視為negative，將8 類標簽分成3 類:中性、積極、消極.刪除其中為空的兩條內容，最終有13998 條數據.數據集中三個情感類別的統計信息如表3 所示.

表3 數據集的統計信息Table 3 Statistics of the datasets

4.3 實驗步驟

4.3.1 預處理

1)使用正則表達式去除 http 鏈接、@+用戶名、#+主題;

2)分詞及詞性標注:英文數據集使用自帶的Tokenizer進行分詞，并使用NLTK 工具包進行詞性標注;中文數據集使用jieba 分詞工具對文本進行分詞及詞性標注;

3)去除停用詞:英文數據集采用NLTK 工具包自帶的停用詞表去除文本中的停用詞，并將英文數據集中的單詞統一轉為小寫;中文數據集采用哈工大停用詞表去除文本中的停用詞.

4.3.2 向量化

1)英文詞向量采用Pennington等人［21］提出的Glove詞向量，詞典大小是1.9MB，其中每個單詞對應一個向量，向量大小為300 維;

2)中文詞向量采用Chinese Word Vectors6https://github.com/Embedding/Chinese-Word-Vectors.［22］在大型微博語料庫上使用Word2vec 進行訓練而得到的分布式詞向量，向量大小為300 維;

3)在Glove 詞向量中根據詞性名稱找到詞性對應的向量，向量大小為100 維;

4)根據emoji2vec7https://github.com/uclmr/emoji2vec.［23］中的方式得到每個情感符號對應的向量，向量大小為300 維;

5)將積極標簽、消極標簽和無情感標簽分別轉為positive、negative 和neutral 對應的分布式向量，向量大小為300 維.

6)對于以上未找到的詞向量、詞性向量和表情符號向量，采用均勻分布U(-0.01，0.01)來隨機初始化詞向量.

4.3.3 超參數設置

本文實驗采用十折交叉驗證，并采用網格搜索對不同的參數組合進行驗證，根據評價指標選擇最好的超參數取值，如表4 所示.

表4 實驗參數設置Table 4 Hyper parameters of experiment

4.4 模型對比

將本文提出的模型和以下7 種對比模型分別在中文和英文數據集上進行實驗，驗證本文模型的有效性和魯棒性.

1)MNB 模型(multinomial naive Bayes，MNB)［24］:作為傳統機器學習的代表，MNB 在短文本情感分析中取得較好的分類結果.

2)CNN 模型:基于 Kim［11］提出的 CNN 模型，是最基礎的卷積神經網絡.

3)LSTM 模型［4］:使用最簡單的 LSTM 模型，用于與CNN 在分類性能和訓練時間上進行對比.

4)EMCNN 模型［14］:EMCNN 將基于表情符號的情感空間映射與多通道CNN 結合，對多個窗口大小內的詞向量執行語義合成操作，增強了捕捉情感語義的能力，在多個不同的情感數據集上都取得了很好地分類性能.

5)MCCNN 模型:文獻［5］提出多通道卷積神經網絡模型，該模型利用詞特征、詞性特征、位置特征構建四種特征組合以形成不同的網絡輸入通道，取得了比普通CNN 更好的分類結果.

6)DC-CNN(Double-channelCNN)模型:只考慮詞特征和詞性特征，將詞特征、詞特征+詞性特征兩種特征輸入到雙通道卷積神經網絡中，與本文的MF-MCNN 模型對比，同時檢驗情感符號和情感標簽特征在情感分類中起到的作用.

7)EDC-CNN(Emoticons enhanced DC-CNN)模型:在本文提出的模型MF-MCNN 中去除標簽向量特征，與DC-CNN模型對比檢驗情感標簽特征在分類結果中起到的作用，與MF-MCNN 對比檢驗情感標簽特征在分類結果中起到的作用.

8)MF-MCNN 模型:本文提出多特征融合的多通道卷積神經網絡模型.

4.5 實驗結果與分析

4.5.1 情感三分類任務

本文使用8 組模型在SemEval 2017 和NLPCC 2014 數據集上進行實驗，分析文本的情感極性，由表3 可知，三種情感類別的數量不均衡，為了不影響最終的分類結果，本文選擇數據集中每種類別最少的數量作為每個類別參與實驗的數量，如表5 所示.

表5 平衡數據集統計信息Table 5 Statistics of balanced datasets

表6 給出了8 組模型在2 個數據集上的對比結果.實驗采用準確率Accuracy 作為評價指標.

表6 不同模型在2 個數據集上的實驗結果對比Table 6 Accuracy comparison of different models in two datasets

由表6 可知，本文提出的MF-MCNN 模型在中文和英文數據集都取得了最好的情感分類準確率.很顯然，各個模型中英文數據集比中文數據集的分類效果都要好，說明英文文本比中文文本更易于進行情感分類.另外，本文選取的英文數據集不含表情符號，由于表情符號以詞語的形式包含在句子中，當短文本中不含情感符號時，模型只是沒有提取到表情符號，并不需要修改模型，驗證了本文模型的靈活性，便于在實際場景中使用.

在SemEval 2017 數據集中，MF-MCNN 模型比最好的MCCNN 模型提高了1.8%，由于該數據集中沒有表情符號，所以DC-CNN 和EDC-CNN 相當于一個模型，它們提取的特征少于MCNN，導致分類結果低于MCNN，由于都少了情感符號的特征信息，EMCNN 此時的特征提取能力也有所下降，低于DC-CNN 和EDC-CNN 模型的分類性能.MF-MCNN 與DC-CNN 和EDC-CNN 高2%，驗證了情感標簽特征起到了比MCCNN 中位置特征更加重要的作用.

在NLPCC2014 數據集中，MF-MCNN 模型比最好的MCCNN 模型提高了1.33%，該數據集中含有表情符號，EDC-CNN 的分類結果優于 DC-CNN、EMCNN 和 MCCNN 模型，說明本文提取的情感符號特征增強了情感分類的性能.MF-MCNN 與DC-CNN 和EDC-CNN 的對比驗證了同時添加情感符號特征和情感標簽特征比單獨采用兩者之一在分類結果上作用更大.驗證了本文方法在短文本情感分類任務中的有效性.

4.5.2 情感二分類任務

為了進一步驗證本文模型的分類效果，接下來只保留表5 中SemEval2017 和NLPCC2014 中的積極和消極樣本，在8個模型上的實驗結果如表7 所示.實驗采用準確率Accuracy作為評價指標.

表7 不同模型在2 個數據集上的二分類實驗結果對比Table 7 Accuracy comparison of different models in two datasets ignoring all neutral instances

從表7 可以看出在去除中性極性數據之后，8 組實驗的情感分類正確率都有了明顯的提高，同時驗證了英文數據集在二分類任務中依然優于中文數據集，MF-MCNN 在英文數據集上取得了最好的結果，為89.96%.說明中性數據比正負向數據具有更大的識別難度.在SemEval2017 數據集中，MFMCNN 模型比最好的 MCCNN 模型提高了 1.73%，在NLPCC2014 數據集中，MF-MCNN 模型比最好的MCCNN 模型提高了1.14%.EDC-CNN 比 EDC-CNN 高出近2%，說明情感符號在正負極性二分類中起到了更強的分類作用.MFMCNN 與DC-CNN 和EDC-CNN 的對比驗證了情感符號特征和情感標簽特征在二分類中起到了更強的情感提升作用.

上述實驗結果證實了多特征融合方法在英文和中文數據集的分類性能，多特征融合方法首先全面考慮到短文本中的多樣化情感特征，其次采用多通道卷積神經網絡充分提取并且保留了短文本的情感信息，與單一情感特征相比，情感信息的多樣化能夠更加全面的提取情感信息，對于判別文本的情感起到了關鍵作用.

4.6 訓練時間分析

為了分析模型的時間性能，本文在相同的實驗環境中完成所有對比實驗，同時，所有實驗采用相同的數據集和相同的詞向量矩陣，表8 給出5 個主要模型在SemEval2017 數據集上進行正負二分類實驗時完成一次迭代的訓練時間對比結果.

表8 完成一次迭代的訓練時間Table 8 Runtime of training epoch

從表8 結果可以看出最簡單的CNN 模型訓練最快，完成一次迭代訓練僅需4s，LSTM 網絡的訓練時間最久，這主要是因為CNN 能夠并行輸入文本數據，而LSTM 網絡輸入的是序列性數據，每一步都是相當復雜的運算操作，所以LSTM網絡的訓練時間遠遠大于 CNN.由于 EMCNN、MCCNN 和MF-MCNN 模型都以CNN 為核心模型，接收句子的平行化輸入，所以訓練時間大大縮短，另外，EMCNN 需要完成情感空間映射，增加了計算量，運行時間大于MF-MCNN 模型.MCCNN 模型與本文提出的MF-MCNN 模型都是對多個特征的并行處理，而本文模型增加了與不同情感標簽結合的步驟，所以運行時間稍大于MCCNN.綜上，MF-MCNN 模型有效地降低了模型訓練的時間.

5 結 論

本文針對中文微博和英文Twitter 的短文本展開研究，提出一種基于多特征融合的短文本情感分析模型MF-MCNN.該模型采用多通道卷積神經網絡從多輸入特征中學習和提取更全面的情感語義信息，因為不同特征結合除了形成新的特征之外，也讓特征之間相互聯系和影響.此外，將文本特征與標簽特征進行匹配，有效利用文本和標簽中蘊含的情感信息以及它們之間的聯系.實驗結果表明，本文提出的模型在中文和英文數據集上均取得了比對比模型更好的分類性能.同時，由于本文模型的核心網絡是卷積神經網絡，在一次訓練過程中完成對不同通道特征的學習和參數調整，大大降低了模型的訓練時間.

研究發現，中文數據集的分類結果始終低于英文數據集，下一步將探究其原因以及如何改進模型以提高中文數據集的分類性能.