基于特征融合深度學(xué)習(xí)網(wǎng)絡(luò)的情感分析模型*

方 悅 張 琨 張云純 李 尋 劉志敏 孫 琦

（南京理工大學(xué)計算機(jī)科學(xué)與工程學(xué)院 南京 210094）

1 引言

信息化時代以來，隨著互聯(lián)網(wǎng)的迅速發(fā)展以及中國網(wǎng)民群體的急劇增長，社交網(wǎng)絡(luò)在社會上被迅速普及，人們在網(wǎng)絡(luò)上發(fā)表自己的觀點(diǎn)和想法變得更加便利。網(wǎng)絡(luò)與社會生產(chǎn)生活息息相關(guān)，基于目前的輿論環(huán)境，對網(wǎng)絡(luò)評論進(jìn)行便捷精準(zhǔn)的情感分析，從而得到直觀系統(tǒng)的分析結(jié)果變得至關(guān)重要。

情感分析的任務(wù)是分析和提取帶有主觀情感的文本信息，對文本的深層情感傾向進(jìn)行挖掘。情感分析算法歷經(jīng)長時間的研究發(fā)展，目前基本被劃分為基于情感詞典的算法、基于機(jī)器學(xué)習(xí)的算法以及基于深度學(xué)習(xí)的算法等［1］。

基于情感詞典的算法是情感分析的傳統(tǒng)算法，主要基于情感知識構(gòu)建情感詞典。Hu 等［2］提出判定情感極性的主要指標(biāo)是形容詞的情感強(qiáng)弱，從而創(chuàng)建情感詞典用于情感挖掘。由于大部分情感詞典由人工構(gòu)建，對于復(fù)雜多變的文本很難構(gòu)建完善的情感詞典，使其具有很大的局限性。

機(jī)器學(xué)習(xí)技術(shù)在情感分析領(lǐng)域曾經(jīng)被大量使用，樸素貝葉斯、隨機(jī)森林、最大熵和支持向量機(jī)等，都是目前能經(jīng)常見到的用于情感分析的機(jī)器學(xué)習(xí)算法。劉志明等［3］為提高針對微博文本的情感分析算法的性能，考慮多種因素，對多種機(jī)器學(xué)習(xí)、特征選擇以及特征權(quán)重計算算法進(jìn)行了實(shí)驗(yàn)證明研究，并通過將一般評論與微博評論進(jìn)行比較，驗(yàn)證了不同評論風(fēng)格對機(jī)器學(xué)習(xí)算法情感分類性能的限制。有監(jiān)督的機(jī)器學(xué)習(xí)情感分析算法相比于情感詞典算法有所進(jìn)步，但機(jī)器學(xué)習(xí)的文本特征標(biāo)記過于依賴人工，無法與大數(shù)據(jù)時代相適應(yīng)。

現(xiàn)如今，基于深度學(xué)習(xí)的情感分析算法成為主流，被大量應(yīng)用在自然語言處理（Natural Language Processing，NLP）領(lǐng)域的各個方面?；谏疃葘W(xué)習(xí)的算法，能夠使用神經(jīng)網(wǎng)絡(luò)模型處理文本信息，得到更優(yōu)越的文本表示模型，繼而有助于更好地提取文本中的重要語義特征進(jìn)行情感分析，相較于前兩種算法，該算法能夠獲得更好的分類效果。Hochreiter 等［4］引入梯度對循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Networks，RNN）進(jìn)行了改進(jìn)，研究出長短時記憶網(wǎng)絡(luò)（Long Short-Term Memory，LSTM），解決RNN 長距離依賴問題，使得LSTM 獲得了長時間記憶能力。Pascanu 等［5］為處理RNN 的梯度問題，提出了基于幾何知識的梯度范數(shù)裁剪策略，在實(shí)驗(yàn)部分提供了解決問題的方案。Kim［6］在2014 年，創(chuàng)造性地提出了將圖像數(shù)據(jù)處理領(lǐng)域常用的卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN），應(yīng)用于文本分類領(lǐng)域，CNN通過不同大小卷積核在文本信息上滑動，獲取多粒度的局部特征，文本CNN 使得深度學(xué)習(xí)在情感分析方面有了更大的發(fā)展。Lai等［7］針對文本信息處理，提出了一種無需人工設(shè)計特征的遞歸卷積神經(jīng)網(wǎng)絡(luò)（CRNN），使用一個遞歸結(jié)構(gòu)盡量對前后文信息進(jìn)行捕獲，來學(xué)習(xí)文本中的單詞表示。李松如等［8］提出了基于情感詞注意力的循環(huán)神經(jīng)網(wǎng)絡(luò)模型，通過在循環(huán)神經(jīng)網(wǎng)絡(luò)中引入注意力機(jī)制，關(guān)注文本中情感詞的貢獻(xiàn)程度，以提高模型分類性能。杜永萍等［9］為了對短文本評論中隱含的語義信息進(jìn)行有效分析，從而判斷情感傾向性，提出了一種串行CNN-LSTM 混合模型的短文本情感分類方法。Vo 等［10］為解決串行模型中，經(jīng)CNN 提取后，部分上下文語義缺失的問題，提出并行使用CNN 和LSTM 提取文本情感特征，通過特征融合進(jìn)行分類。

基于以上相關(guān)研究工作的討論，針對神經(jīng)網(wǎng)絡(luò)模型的優(yōu)缺點(diǎn)，本文提出一種雙通道CNN 和雙向簡單循環(huán)單元（Bidirectional Simple Recurrent Units，BiSRU）的特征融合情感分析模型（CSRMA）。模型通過GloVe進(jìn)行詞向量化，一個通道使用CNN捕獲重點(diǎn)短語，從局部視野提取文本信息的深層次重要情感特征。另一通道利用BiSRU 處理序列化數(shù)據(jù)的優(yōu)勢，捕捉單詞前后文關(guān)聯(lián)語義，提取全局時序情感特征，解決CNN 模型在處理時間序列數(shù)據(jù)上的不足，通過注意力機(jī)制自主捕捉不同單詞的重要程度，將BiSRU 提取的特征信息賦予權(quán)重，與BiSRU最大池化后的特征進(jìn)行融合。最后將雙通道情感特征融合，充分挖掘文本情感信息，使特征信息更加全面。

2 研究基礎(chǔ)

2.1 GloVe詞向量

2.2 注意力機(jī)制（Attention）

注意力機(jī)制的靈感來源于日常生活中人類的視覺注意力，注意力體現(xiàn)在生活中的方方面面，人在觀看事物時會將注意力更多集中在自己認(rèn)為重要的部分，會對整體有側(cè)重的選擇，下意識忽略周圍的無關(guān)信息。Bahdanau 等［14］為提高RNN 模型在機(jī)器翻譯任務(wù)中的效果，結(jié)合了RNN 與注意力機(jī)制的優(yōu)勢，將注意力機(jī)制成功帶入NLP領(lǐng)域。Kokkinos 等［15］在情感分析任務(wù)中引入了注意力機(jī)制，提出自注意力機(jī)制，證明了注意力機(jī)制在分類任務(wù)領(lǐng)域的有效性。注意力機(jī)制通過對短語賦予權(quán)重，選擇與訓(xùn)練任務(wù)相關(guān)性更強(qiáng)的短語，從而能夠直觀地得到句子中每個短語的貢獻(xiàn)。在情感分析中使用注意力機(jī)制，能夠強(qiáng)化重要短語的權(quán)重，從前后文信息中篩選出最具價值的情感信息，繼而達(dá)到更好地提取情感特征、提高模型分類能力的效果，如式（2）～（4）所示，對特征向量Fs分配權(quán)重進(jìn)行加權(quán)輸出。其中，F(xiàn)為經(jīng)過注意力機(jī)制后的向量，tanh為激活函數(shù)，wa是注意力層的參數(shù)，為隨機(jī)初始化的數(shù)值，在訓(xùn)練過程中會不斷通過學(xué)習(xí)迭代的過程進(jìn)行調(diào)整。

2.3 卷積神經(jīng)網(wǎng)絡(luò)（CNN）

CNN 是深度學(xué)習(xí)最常用也是最重要的模型之一，它不僅在圖像視覺領(lǐng)域有優(yōu)越的表現(xiàn)，自Kim［6］提出用于文本分類的CNN 后，在自然語言處理領(lǐng)域也因其突出的優(yōu)點(diǎn)被大量使用。在結(jié)構(gòu)上，CNN一般包括輸入層、卷積層、池化層、全連接層和輸出層，卷積核是其最基本和最重要的組件。CNN通過局部連接、共享參數(shù)和池化層，有效減少神經(jīng)網(wǎng)絡(luò)中的參數(shù)，更好地學(xué)習(xí)情感信息。CNN在卷積層對多個窗口內(nèi)的詞向量進(jìn)行卷積運(yùn)算，獲取不同長度短語的語義特征，在卷積層后使用最大池化層或平均池化層，對特征圖進(jìn)行降維操作，提取與保留文本表征的重要信息，在一定程度上，使得卷積神經(jīng)網(wǎng)絡(luò)具有更好的泛化能力。

2.4 簡單循環(huán)單元（SRU）

SRU［16］是循環(huán)神經(jīng)網(wǎng)絡(luò)的一種變體結(jié)構(gòu)。針對并行計算問題，通過對LSTM 等模型結(jié)構(gòu)進(jìn)行分析研究，提出了改進(jìn)結(jié)構(gòu)的SRU模型［16］。循環(huán)神經(jīng)網(wǎng)絡(luò)具有記憶能力，適合處理時序數(shù)據(jù)，在自然語言處理任務(wù)中被廣泛應(yīng)用。但在比較復(fù)雜的現(xiàn)實(shí)語言環(huán)境中，循環(huán)神經(jīng)網(wǎng)絡(luò)處理序列的遠(yuǎn)距離前后依賴時，性能容易受到限制，長期記憶能力較弱，容易造成梯度消失或梯度爆炸，縮放性差。針對RNN［17］無法長時間記憶信息的缺陷，LSTM 通過引入記憶單元和“門”結(jié)構(gòu)，有選擇地記憶與遺忘，克服了RNN 對于序列信息的長距離依賴問題，更好地捕捉長序列關(guān)系，能有效地保存長期記憶。

一個LSTM 單元擁有一個內(nèi)部記憶單元，一個輸出單元和三個“門”結(jié)構(gòu)，分別是“輸入門”、“遺忘門”和“輸出門”。“門”結(jié)構(gòu)是一種全連接層，由一個sigmoid 層和一個逐點(diǎn)相乘操作構(gòu)成，能夠有選擇性地決定讓哪些信息進(jìn)入記憶單元，繼而控制信息的記憶與遺忘程度。但LSTM 單元之間的計算具有前后時間依賴性，難以進(jìn)行并行化狀態(tài)計算。

SRU 通過將每一時間步的主要計算部分進(jìn)行優(yōu)化，減弱狀態(tài)計算上的時間依賴關(guān)系，從而實(shí)現(xiàn)并行化運(yùn)算。SRU精簡了模型結(jié)構(gòu)，使得模型參數(shù)減少，引入高速路網(wǎng)絡(luò)［18］（Highway Network），對于無用信息進(jìn)行丟棄，減少所需參數(shù)，減小計算代價，提高模型的并行計算能力，使得其并行度與卷積網(wǎng)絡(luò)相同，加快了深度遞歸模型的訓(xùn)練，SRU 單元結(jié)構(gòu)如圖1所示。

圖1 SRU單元結(jié)構(gòu)圖

3 模型結(jié)構(gòu)

3.1 詞向量嵌入

本文先對文本w進(jìn)行文本預(yù)處理，再利用預(yù)訓(xùn)練好的開源框架glove.6B.300d［13］得出詞向量矩陣S∈Rn×d，其中，n是文本中句子的長度，d是詞向量維度。使用開源框架預(yù)訓(xùn)練得到的詞向量，可以更好地度量詞語之間的相關(guān)性和差異性，提高模型分類效果。將詞向量矩陣S經(jīng)過dropout 后作為模型的輸入，對本文提出的CSRMA模型進(jìn)行訓(xùn)練，CSRMA模型結(jié)構(gòu)如圖2所示。

圖2 CSRMA結(jié)構(gòu)圖

3.2 構(gòu)建CNN通道

本文先構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)通道提取短語特征，輸入層詞向量矩陣為S∈Rn×d，Si∈Rd是句子中的第i個單詞的d維詞向量，Si:m=Si⊕Si+1⊕···⊕Sm是第i個單詞到第m個單詞的拼接成的局部文本信息，⊕為拼接運(yùn)算符。卷積層使用滑動窗口大小為h的卷積核M對輸入矩陣S進(jìn)行卷積操作，窗口的意義在于每次作用于h個單詞，提取數(shù)據(jù)的局部深層次情感特征，從Si:i+h-1的窗口得到文本的第i組特征向量Ci，如式（5）所示：

其中b∈R為偏置項(xiàng)，f為非線性激活函數(shù)。

本文使用ReLU 激活函數(shù)，能夠降低模型計算成本并能減輕梯度消失問題，如式（6）所示：

S經(jīng)過卷積操作后得到特征圖C，如式（7）所示：

為防止過擬合，并盡量確保在保留大部分重要信息的前提下，使輸入表示的特征維度變得更小，繼而使得網(wǎng)絡(luò)中的參數(shù)和計算量減小，本文通過最大池化層對特征圖C進(jìn)行池化操作，為特征圖C捕獲最重要的功能，提取向量中最重要的信息outputCmax，如式（8）所示：

最后經(jīng)過dropout 以緩解過擬合，得到CNN 通道輸出的特征向量outputC。

3.3 構(gòu)建BiSRU-MA通道

本文構(gòu)建BiSRU-MA通道，對詞語間的語義依賴關(guān)系進(jìn)行學(xué)習(xí)，通過聯(lián)系詞語上下文信息，提取全局時序特征。t 時刻詞向量St輸入SRU 單元，St和單元狀態(tài)ct-1經(jīng)過“遺忘門”進(jìn)行運(yùn)算，得到ft，如式（9）所示：

其中Wf為權(quán)重矩陣，Vf為參數(shù)向量，⊙表示逐點(diǎn)相乘，bf為偏置向量，σ為激活函數(shù)sigmoid。

“遺忘門”得到的ft自適應(yīng)計算ct-1和當(dāng)前的WSt得到t時刻SRU的單元狀態(tài)ct，如式（10）所示：

一般門控循環(huán)結(jié)構(gòu)在sigmoid 層將ct-1與參數(shù)矩陣Vf通過矩陣乘法得到Vf ct-1，ct和ft必須等待ct-1全部計算完成，才能進(jìn)行t時刻的計算，所以狀態(tài)難以并行計算。SRU使用逐點(diǎn)相乘Vf⊙ct-1代替矩陣乘法Vf ct-1，使得狀態(tài)向量的每個維度得以獨(dú)立，實(shí)現(xiàn)計算并行化。

單元狀態(tài)ct-1和St經(jīng)過“重置門”進(jìn)行相應(yīng)的計算，得到rt，如式（11）所示：

SRU 針對網(wǎng)絡(luò)進(jìn)一步加深時容易造成訓(xùn)練困難，最后引入高速路網(wǎng)絡(luò)，解決梯度信息在深層網(wǎng)絡(luò)中流動受阻的問題。SRU 中ht不再依賴ht-1的計算，通過跳躍連接(1-rt)⊙St，可將梯度直接傳播到前一層，改善伸縮性。rt自適應(yīng)計算ct和St得到t時刻SRU的輸出ht，如式（12）所示：

利用最大池化max-pooling 對前后文時序情感特征向量進(jìn)行處理，抓取時序中最重要的特征Hmax。

通過注意力機(jī)制對BiSRU 輸出的特征向量處理，如式（2）～（4），加強(qiáng)對重點(diǎn)詞語的關(guān)注，提取出重要情感信息，得到加權(quán)向量Hatt，從而提高模型判別句子情感傾向性的能力。

最后BiSRU-MA 通道將加權(quán)特征向量Hatt融入最大池化特征向量Hmax，得到融合特征向量outputSRMA，如式（13）所示：

3.4 融合分類

融合分類層負(fù)責(zé)將CNN 通道和BiSRU-MA 通道的特征向量融合，如式（14）所示，作為全連接層的輸入。

全連接層對outputCSRMA進(jìn)行降維處理，使用softmax 進(jìn)行分類，最終得到文本各類別情感傾向概率P，如式（15）所示：

其中Wd為權(quán)重矩陣，bd為偏置向量。

本文利用反向傳播算法，通過端對端的方式，采用交叉熵?fù)p失函數(shù)，衡量目標(biāo)和預(yù)測值之間的差距，對模型進(jìn)行訓(xùn)練。通過Adam 優(yōu)化方法對實(shí)驗(yàn)參數(shù)進(jìn)行優(yōu)化，從而選擇最優(yōu)的模型參數(shù)。

4 實(shí)驗(yàn)結(jié)果與分析

4.1 實(shí)驗(yàn)數(shù)據(jù)集

為評估本文提出的模型，本文在實(shí)驗(yàn)中采用四個英文公開情感語料數(shù)據(jù)集。

1）MR 是英文電影評論情感二分類數(shù)據(jù)集，包括積極和消極兩種情感極性（https：//www.cs.cornell.edu/people/pabo/movie-review-data/）。

2）CR 是用戶對于多種商品的評論，是情感二分類數(shù)據(jù)集，標(biāo)注為消極和積極（http：//www.cs.uic.edu/～liub/FBS/sentiment-analysis.html）。

3）SST-2 是劃分為訓(xùn)練集，驗(yàn)證集和測試集的電影評論情感二分類數(shù)據(jù)集，情感標(biāo)簽分為消極和積極（http：//nlp.stanford.edu/sentiment/）。

4）Subj是用戶評論主觀性數(shù)據(jù)集，標(biāo)注為主觀性與客觀性（http：//www.cs.cornell.edu/home/llee/data/search-subj.html）。

本文對未劃分訓(xùn)練集，驗(yàn)證集和測試集的MR和CR數(shù)據(jù)集，采用十折交叉驗(yàn)證法，進(jìn)行實(shí)驗(yàn)。數(shù)據(jù)集規(guī)模信息如表1所示。

表1 數(shù)據(jù)集規(guī)模信息

4.2 實(shí)驗(yàn)超參數(shù)設(shè)置

本文使用預(yù)訓(xùn)練好的300維glove.6B.300d［13］框架進(jìn)行詞向量化，在模型訓(xùn)練時，設(shè)置不同的超參數(shù)會影響到模型結(jié)果，經(jīng)過驗(yàn)證測試，本文主要采用的超參數(shù)設(shè)置如表2所示。

表2 超參數(shù)設(shè)置

4.3 對比實(shí)驗(yàn)設(shè)置

詞向量維度不同會影響模型的分類效果，本文先對詞向量維度進(jìn)行對比研究，分別使用50 維的glove.6B.50d［13］，100 維的glove.6B.100d［13］，200 維的glove.6B.200d［13］和300 維的glove.6B.300d［13］進(jìn)行詞向量化，在MR 數(shù)據(jù)集上對本文提出的CSRMA 模型進(jìn)行實(shí)驗(yàn)，獲取最適合的詞向量維度進(jìn)行分類研究，結(jié)果如圖3 所示，由結(jié)果可以得出，詞向量維度為300 時，CSRMA 模型在MR 數(shù)據(jù)集上準(zhǔn)確率最好。

圖3 詞向量維度對比

本文在四種情感語料數(shù)據(jù)集上測試模型的性能。為了對本文提出的CSRMA模型的有效性進(jìn)行驗(yàn)證，將本文模型與一些傳統(tǒng)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行對比。進(jìn)行對比實(shí)驗(yàn)的模型見表3。

表3 實(shí)驗(yàn)對比模型

4.4 實(shí)驗(yàn)結(jié)果與分析

4.4.1 準(zhǔn)確率分析

實(shí)驗(yàn)對比結(jié)果如表4 所示，將CSRMA 模型與5組模型進(jìn)行對比。從結(jié)果來看，本文提出的CSRMA 模型在4 個數(shù)據(jù)集上的分類準(zhǔn)確率均要優(yōu)于其余5種模型，證明了本文融合CNN提取的局部特征和BiSRU-MA 獲取的上下文特征的模型的切實(shí)有效性，對比傳統(tǒng)神經(jīng)網(wǎng)絡(luò)模型，模型的性能得到了提升，對文本情感分類的準(zhǔn)確率有進(jìn)一步提高。

表4 模型對比結(jié)果

4.4.2 訓(xùn)練時間分析

將CSRMA 模型與5 組模型在數(shù)據(jù)集上耗費(fèi)的訓(xùn)練時間進(jìn)行分析，檢測模型的時間性能，使用模型在SST-2數(shù)據(jù)集上最后一個epoch花費(fèi)的時間進(jìn)行對比。實(shí)驗(yàn)對比結(jié)果如表5 所示，可以看出本文提出的CSRMA 模型，一個epoch 只需要340ms，遠(yuǎn)遠(yuǎn)小于BiLSTM 模型耗費(fèi)的時間。實(shí)驗(yàn)結(jié)果證明，模型能夠?qū)ξ谋具M(jìn)行并行化處理，縮減了訓(xùn)練耗費(fèi)的時間。

表5 訓(xùn)練時間

5 結(jié)語

本文研究了基于卷積神經(jīng)網(wǎng)絡(luò)和雙向簡單循環(huán)單元的特征融合雙通道情感分析模型，并引入了最大池化和注意力機(jī)制。該模型通過卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行局部特征提取，并通過結(jié)合注意力機(jī)制和最大池化的雙向簡單循環(huán)單元捕獲前后文關(guān)聯(lián)語義信息，結(jié)合了兩種模型的優(yōu)勢，獲取更全面的情感特征，進(jìn)一步提高情感分類效果，加快訓(xùn)練速度。在本文中與多個傳統(tǒng)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行對比實(shí)驗(yàn)，驗(yàn)證了本文模型的性能。

本文沒有使用文檔級情感數(shù)據(jù)集，下一步的工作重點(diǎn)，是針對文檔級數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)研究。