基于雙向時間深度卷積網絡的中文文本情感分類

韓建勝 陳 杰 陳 鵬 劉 杰 彭德中

(四川大學計算機學院(軟件學院) 四川 成都 610065)

0 引 言

隨著互聯網的快速發展，網民可以更加便捷地發表自己對某一事件的看法和評論所接受到的服務。這些帶有情感色彩的評論信息表達了人們不同類型的情感傾向。然而由于網絡中評論數據規模龐大，單純依靠人力難以從大量文本中分析出用戶的情感傾向，所以需要通過自動化的方式來進行文本分析。文本情感分析就是這樣一種能幫助我們從文本中挖掘用戶情感信息，識別文本的情感極性或強度的自動化方法。近年來，深度學習在文本情感分析任務中展現出了巨大的潛力。文獻[1]利用長短期記憶網絡(Long Short-Term Memory，LSTM)在多種不同任務上進行模型訓練，以此提高模型編碼層的特征提取能力，然后具體分析情感數據進行模型參數調整，得到相應的情感分類輸出。文獻[2]在LSTM的基礎上引入了注意力機制，通過關注文本中被評論的對象、評論詞等能夠體現情感色彩和傾向的詞來實現針對具體對象的細粒度情感分析。因為循環神經網絡(Recurrent Neural Networks，RNN)計算上的串行性使得模型計算速度較慢，而卷積神經網絡(Convolutional Neural Networks，CNN)不僅有較好的并行性，計算速度快，而且具有提取文本n-gram特征的能力，所以有不少研究者將CNN引入到情感分析任務中。文獻[3]利用卷積神經網絡對文本進行特征提取，通過不同大小的卷積核提取不同類型的n-gram特征，然后將所有提取到的特征信息融合到一起進行情感分類。文獻[4]通過卷積和動態最大值池化提取文本序列中相隔較遠的詞之間的語義關系，以獲得文本中的長期依賴，達到更加全面的提取文本中的特征信息來對文本進行情感分析的目的。文獻[5]在使用卷積神經網絡對文本進行建模的過程中，考慮了文本序列中詞的順序關系，對時間卷積網絡進行了適當改進，使用了非線性、非連續卷積對文本進行特征提取，然后使用提取到的特征信息對文本進行情感計算。

卷積神經網絡因計算速度快而被大家推崇，但是基于卷積神經網絡的情感分析模型中，多數模型沒有考慮到文本序列中詞出現順序的影響。少數模型考慮了詞的前向順序，即文本中先出現的詞對后面出現的詞的影響，用單向時間卷積(Temporal Convolutional Networks，TCN，Uni-TCN)[6]提取文本特征信息，忽略了后面的詞對前面的詞的影響。因為文本序列后出現的詞會對之前出現的詞在詞共現的角度存在統計學意義，所以單向時間卷積網絡不足以捕捉文本序列中全部的特征信息。針對這一問題，本文提出使用雙向時間卷積網絡(Bidirectional Temporal Convolutional Networks,Bi-TCN)提取文本特征，并通過將兩個方向上的語義特征融合，得到綜合信息之后再對文本進行情感分析，并在4個中文數據集上進行實驗。實驗證明，雙向時間卷積網絡比單向時間卷積網絡具有更強的情感分析能力。

1 相關工作

1.1 傳統方法

傳統提取文本信息分析情感傾向的方法主要利用先驗知識，人工設計出能夠識別情感傾向的詞典，然后根據情感詞對文本進行定量的分析。這種方法主要包括兩類：基于規則、詞典和基于傳統機器學習。

基于規則、詞典的情感分析方法，利用統計信息和點互信息對文本進行規則定義，或者通過給文檔中的情感詞、否定詞以及程度副詞的不同組合打分，按照分數大小判別文本的情感傾向。

基于傳統機器學習的方法，如支持向量機(Support Vector Machine，SVM)[7]、樸素貝葉斯模型(Na?ve Bayesian Model，NBM)[7]等，利用文本的詞頻逆文本率(Term Frequency-Inverse Document，TF-IDF)作為特征進行情感分析模型訓練，再利用訓練好的模型識別文本的情感類別。

1.2 神經網絡方法

深度學習在情感分析任務上的表現，大多數網絡模型都以循環神經網絡(RNN)和卷積神經網絡(CNN)為基本結構對文本進行特征提取，然后依據提取到的特征向量對文本進行情感分類。文獻[8]在基本的網絡模型中加入了層級注意力機制，分別實現了詞的注意力和句子的注意力，使文本中對情感體現具有重要作用的關鍵詞和關鍵句子得到關注。現有的模型除了結構的不同之外，使用的文本特征粒度也有所不同。文獻[3，9]使用詞特征對文本進行序列建模，文獻[10-11]利用字特征對文本進行分析，文獻[12-14]則將字和詞特征結合起來，使文本特征提取更加全面，更有利于文本情感傾向的分析和判斷。此外，文獻[8]利用句子粒度特征對文本進行情感分析，也取得了較好的效果。

2 時間卷積網絡

時間卷積網絡利用卷積計算來對有時間依賴的任務進行序列建模。如給定輸入序列x0,x1,…,xn,共n+1個詞，需要預測輸出序列y0,y1,…,yn，每一時刻的輸出yt都僅取決于該時刻之前的一些xt，即：

yt=f(xt-k+1,xt-k+2，…,xt)

(1)

式中:f為變換函數；k為卷積核的大小，當t-k+1小于0時，xt-k+1即為序列的填充值。時間卷積網絡有不同的實現方式和不同的應用場景。為了能更好地表達文本序列，文獻[5]通過非線性不連續卷積對文本進行特征提取，在文本情感分析任務中達到了較好的效果。文獻[15]利用層級時間卷積對視頻序列進行動作分割和識別。文獻[6]結合序列數據本身的特點以及深層網絡模型容易發生退化的因素，將空洞因果卷積[16]和殘差結構[17]融合，構建了一個由空洞因果卷積和殘差連接組成的新的時間卷積網絡，并在文本分類、文本語義推理等多種序列建模任務中取得較好的成績。

2.1 因果卷積

時間卷積網絡中，卷積的因果性質主要通過因果卷積實現。當卷積核大小為k時，卷積計算每一時刻的輸出僅依賴當前的輸入和之前k-1個輸入，而不涉及之后的信息。在具體網絡結構實現上，為了能夠使輸入與卷積計算輸出在維度上保持一致，需要在輸入序列的左邊進行k-1個零值向量填充。

2.2 空洞卷積

因果卷積僅能在卷積核大小的范圍內提取文本序列中的連續的n-gram特征，無法獲得距離較遠的內容。為使卷積的感受野變大獲得長期依賴，文獻[6，16]使用空洞卷積作為因果卷積的基本結構。空洞卷積隔一定的空洞數對序列進行采樣計算，在功能上與將部分卷積值進行歸零相似。或者通過擴大卷積核后將部分卷積核的權值置零也能得到相同的結果，但是在效率上空洞卷積執行的速度更快，效率更高。

2.3 殘差鏈接

殘差結構[17]將輸入x與經過非線性變換后的F(x)進行求和，形成短路連接：

H=x+F(x)

(2)

這種結構能在深層網絡中較好地擬合輸入發生的變化，使網絡中的參數不隨網絡的深度增加而難以優化。因為TCN感受野的擴大部分依賴于卷積網絡層的疊加，而殘差連接可以在網絡層數不斷增加的情況下抑制網絡模型訓練可能出現的梯度消失現象。

3 雙向時間卷積網絡

在深度學習的研究中，對序列進行單向建模在大多數情況下往往不如雙向建模對序列的特征捕獲更加充分、語義信息表達更完整。基于這個理念，有很多的基礎模型都使用雙向計算機制對文本序列進行計算。文獻[18]在LSTM基礎上提出了Bi-LSTM對文本進行特征提取，以彌補單向LSTM隨著序列長度的增加記憶能力減弱造成的影響。通過實驗驗證，在現有的很多任務上Bi-LSTM的效果要優于LSTM。此外，文獻[19]以多頭注意力[20]作為基本結構提出了對文本進行雙向建模的BERT(Bidirectional Encoder Representations from Transformers)預訓練模型，并在多項自然語言處理任務中超躍基于單向多頭注意力的GPT(Generative Pre-Training)[21]。由此可見，對文本序列進行雙向建模能夠綜合地提取文本的特征信息，更有利于文本的推理和分析。普通時間卷積網絡對文本按照時間順序進行單向卷積計算，每一個時間步上的語義計算僅利用了當前時刻和之前時刻的信息，即每一個詞的編碼信息僅包含之前的語義信息。而在文本中，詞的語義很可能與這個詞之后的信息有很大的關聯，后面的文本信息可能使文本整體語義發生變化。在這種情況下，單向時間卷積網絡忽略了后文的信息，不能夠很好地使每一個詞的語義信息足夠全面得表達，限制了文本整體語義特征的獲取。本文針對這一情況，提出了雙向時間卷積網絡(Bidirectional Temporal Convolutional Network，Bi-TCN)，對文本進行前向和后向特征提取，再將兩個方向上的最后一個時刻的特征信息線性變換后進行融合，得到文本整體語義信息的綜合表達，并在此基礎上對文本進行情感分析。Bi-TCN模型整體架構如圖1所示。

圖1 Bi-TCN模型結構圖

3.1 詞嵌入

本文使用fastText[22]對文本進行詞向量預訓練，得到所有詞匯的稠密詞向量表達。該方式訓練的詞向量不僅能夠較好地表達一個詞的多種詳細特征，體現出詞與詞之間的相似度和關聯性，還能在情感分類中，對于每一個詞屬于的情感類別進行預判，幫助模型對文本進行情感分析。

對給定一個句子分詞之后的序列S={x0,x1,…,xn}進行詞嵌入的時候，本文將每一個詞xn通過嵌入矩陣Ww轉化成固定的詞向量ew。

ew=(Ww)Tnword

(3)

式中：Ww∈RNword×Dd;nword表示詞在詞匯表中的one-hot編碼;Nword表示詞匯表中詞的數量;Dd表示每一個詞向量的維度。通過詞嵌入，文本序列就被映射成為向量序列。

3.2 空洞因果卷積層

空洞因果卷積層通過一維空洞卷積在序列的左側進行填充，對序列從左向右進行卷積計算，實現前向特征提取。然后將原序列翻轉，按照前向的計算方式對翻轉后的序列進行后向卷積計算。每一次空洞因果卷積計算后，都將參數進行層級歸一化[23]，然后通過激活函數ReLU進行非線性計算。將原始輸入與非線性計算之后的結果進行殘差連接。這一個整體就構成了一個空洞因果卷積模塊。

si=Conv(Mi×Kj+bi)

(4)

{s0,s1,…,sn}=LayerNorm({s0,s1,…,sn})

(5)

{s0,s1,…,sn}=ReLU({s0,s1,…,sn})

(6)

式中：si是i時刻卷積計算得到的狀態值；Mi為該時刻卷積計算的詞的矩陣;Kj為第j層的卷積核;bi為偏置;{s0,s1,…,sn}是序列經過一次完整的卷積計算后的編碼。經過多個因果卷積層的堆疊，擴大卷積的感受野，使文本的特征提取更加完整，獲得文本序列的高層語義信息。

3.3 線性變換

(7)

(8)

式中：Wn×m是線性變換參數矩陣，前向計算和后向計算的參數不同，維度一致；n為變換前語義向量的維度；m為變換后的維度。

3.4 特征融合

(9)

3.5 softmax輸出

利用融合后的特征信息h來進行情感分類，通過Softmax分類器輸出文本所屬情感類別的概率分布。

prob=softmax(hW2m×c+b)

(10)

式中：W2m×c為參數矩陣；c是情感分類的類別；b為偏差，其維度也是c。

4 實驗與分析

4.1 實驗數據

本文在文獻[7]整理的酒店評論數據集上進行實驗，該數據集包含10 000篇文檔，共有積極(正)和消極(負)兩種極性的情感類別。所有的文檔構成了4個不同的子集：ChnSentiCorp-Htl-ba-2000，ChnSentiCorp-Htl-ba-4000，ChnSentiCorp-Htl-ba-6000，ChnSentiCorp-Htl-ba-10000。每一個子集的情感類別數具體分布如表1所示。為了簡化表示，本文將以上4個數據集依次表示為corp-1，corp-2，corp-3，corp-4。

表1 酒店評論數據集

4.2 預處理

本文對文本數據主要做了兩個方面的預處理工作，如表2所示。

表2 數據預處理

(1) 將文本中的繁體中文轉化為簡體中文。

(2) 利用結巴分詞(https://pypi.org/project/jieba/)工具對文本進行分詞。

4.3 Bi-TCN參數研究

在實驗過程中，我們發現Bi-TCN模型存在易受卷積層數、卷積核大小和空洞因子這三個參數的影響而發生不收斂的現象。當卷積層數少，并且卷積核較小時，利用卷積計算進行特征提取的感受野不夠寬，不能捕捉文本的長期依賴，不足以提取足夠的特征進行情感分析而使得模型不收斂。而層數過多，卷積核過大，受空洞因子的影響會使卷積的感受野超過文本本身長度，這既增加了不必要的計算，也會使模型出現過擬合。故本文就這三個參數對Bi-TCN在中文情感分析任務上的影響進行了對比實驗。

4.3.1卷積層數

實驗固定卷積核大小為7，空洞因子為層數的兩倍，保持其他參數不變的情況下，改變卷積層數對模型進行訓練，得到的實驗結果如圖2所示。實驗表明，隨著卷積層數的增加，模型的泛化能力逐漸提高，而層數過多則會導致性能有所降低。可以看出，當卷積層數為4時，實驗效果最好，此時可以計算得到模型的長期依賴最長距離為79。當卷積層數為5時，最長依賴為127，此時需要進行126個值填充，由底層向上層傳播時就會引入很多的噪聲，使模型的擬合能力和泛化能力都下降。而本實驗中的文本長度最長為140個詞，模型層數越多，最高層感受野就會超過這個長度，模型學習的對象就偏離了數據本身，故在測試集上的表現就會變差。

圖2 卷積層數對Bi-TCN分析結果影響

4.3.2卷積核大小

固定卷積層數為4，空洞因子為2n，通過改變卷積核的大小來研究卷積核的變化對模型性能的影響，實驗結果如圖3所示。可以看出，卷積核大小為7時模型表現較好。卷積核的取值決定了模型n-gram特征包含的詞的數量。當卷積核較小時，一次卷積計算所能囊括的關聯性較少，不足以提取詞與詞之間的關系，故隨著卷積核的增大，模型的準確率會上升。當卷積核過大時，可能會將無關信息納入卷積計算，增加噪聲，破壞模型對文本規律的學習，所以卷積核越大，模型的性能反而會降低。

圖3 卷積核大小對Bi-TCN分析結果影響

4.3.3空洞因子

本輪實驗保持卷積層數為4、卷積核為7不變，探究空洞因子對模型的影響。空洞因子中n∈{0,1,2,3}，當n=0時，默認空洞因子為1。通過實驗，得到不同的空洞因子的實驗結果如表3所示。根據空洞因子，結合卷積層數和卷積核大小，計算每一個模型中卷積計算的最長依賴，發現最長依賴距離超過并接近整個序列長度的一半時表現較好(所有實驗中，固定序列最長值為140)。而長期依賴距離越大，會使模型性能下降。實驗數據中，大多數句子長度都集中在90詞以下，并不需要過長的長度依賴，否則會使模型擬合一些噪聲，出現過擬合問題。

4.4 實驗參數設置

實驗中，利用fastText方法預訓練詞向量和字向量，維度為300，每一個批次大小為64，空洞因果卷積層數為4，卷積核大小為7，空洞因子為2n，Adam優化器學習率為0.002，dropout為0.25，句子長度統一為140個詞。

4.5 對比實驗

本文用8種方法在酒店評論數據集進行實驗對比：

(1) SVM(支持向量機)。利用文本的TF-IDF特征構建SVM模型進行實驗。

(2) NBM(樸素貝葉斯模型)。利用文本的TF-IDF特征構建NBM模型進行實驗。

(3) Bi-LSTM。通過LSTM神經網絡對文本進行前向和后向語義特征提取，并將兩個方向的最終狀態融合，再根據融合后的綜合信息進行情感計算。

(4) COCNN。文獻[26]提出了一種改進的卷積神經網絡模型，利用雙通道的字和詞特征進行情感分析。

(5) CNN。利用多核卷積對文本進行多種類型的特征提取，然后將多個特征進行融合，以此進行情感分析。

(6) Uni-TCN。單向時間卷積網絡，僅對文本進行單向多層因果卷積計算，使用序列中最后一個時刻的狀態作為最終語義進行情感分析。

(7) Bi-TCN(雙向時間卷積網絡)。即本文模型。

4.6 實驗結果分析

本文對比多種模型進行實驗，以模型在數據集上進行10折交叉驗證的準確率為模型評價結果，具體實驗結果如表4所示。其中(c)表示以字為特征的模型的實驗結果。

表4 對比實驗結果

由表4的實驗結果可以發現，傳統機器學習算法中，樸素貝葉斯模型(NBM)的分類效果不如支持向量機(SVM)好。因為在大量數據分類情境下，文本中的詞并不是獨立存在的，詞和詞之間具有一定的相關性，而NBM將文本中的每一個詞看作條件獨立，這就忽略了詞之間的互相影響，而SVM則會將文本特征進行全面的衡量和計算。

對比傳統方法和神經網絡方法，總體上神經網絡方法要優于傳統方法。傳統方法SVM和NBM利用文本的TF-IDF特征來進行情感分類，其特征具有較大的稀疏性。而神經網絡使用稠密的詞向量來對每一個詞進行特征表達，特征更加豐富。

將Bi-TCN和其他模型相比，在4個數據集上的實驗效果而言，Bi-TCN的準確率要優于Bi-LSTM。從訓練速度上來說，基于卷積計算的Bi-TCN要比Bi-LSTM模型具有更高的并行能力，模型的訓練和測試都要快很多。相比COCNN和CNN，這兩個模型都使用了字和詞的特征對文本進行建模，而Bi-TCN僅僅使用了詞特征，就達到了領先的效果，說明了Bi-TCN具有較強的序列建模能力。對比Bi-TCN和Uni-TCN，分別用字向量和詞向量訓練了Uni-TCN和Bi-TCN，結果表明，用字特征訓練的效果不如詞特征好，因為從詞匯表而言，字特征數量較少，而詞特征的數量相對較多，特征更為豐富。此外，就單獨使用字特征、詞特征，Bi-TCN在數據集上的實驗效果也要比Uni-TCN好。總體上，Bi-TCN在4個數據集上的準確率相比Uni-TCN分別提高了 2.5%、0.25%、2.33%和2.5%，從而證實了Bi-TCN對文本序列的建模能力更強，提高了情感分類效果。

4.7 模型性能分析和對比

除了通過情感分析任務中的實驗結果將Bi-TCN與Uni-TCN進行對比，本文還根據兩個模型在訓練過程中的表現進行了性能比較。在實驗過程中，發現Bi-TCN對文本進行情感分析時，第一個輪次訓練得到的準確率總是比Uni-TCN更高。而且在之后的訓練過程中，Bi-TCN對過擬合的抵抗性更強，總體能達到的效果更優越(如圖4所示)。這就說明了雙向時間卷積網絡在對文本建模的過程中，對文本中關鍵特征的提取更加全面，模型的收斂速度更快。

圖4 Bi-TCN和Uni-TCN實驗結果

5 結 語

針對現有的時間卷積網絡模型對文本序列的單向性計算不能完全捕獲文本的語義表達的問題，本文提出了雙向時間卷積網絡的中文情感分析方法。通過對文本序列進行前向和后向的多層空洞因果卷積計算，將兩個方向上最后一個時間步的語義向量分別通過線性變化后進行融合，使用兩個方向上的綜合信息對文本進行情感分類。通過對影響雙向時間卷積網絡性能的參數進行實驗對比，確定了卷積層數、卷積核大小和空洞因子的參數值。在中文情感分析數據上的對比實驗表明，本文方法能夠提取更為豐富的文本特征，有效提高情感分析的效果。