融合膠囊網絡的中文短文本情感分析

王 東,李佩聲

(重慶理工大學 計算機科學與工程學院, 重慶 400054)

0 引言

在信息爆炸的今天,互聯網終端時刻產生海量的文本信息。文本不僅記錄客觀內容,還體現了豐富的情感色彩和主觀感受。不論個人還是組織,在對事件做出決策前往往都會參考別人的觀點,而此類信息就蘊含在字里行間,從文本中提取作者的情感信息并對其進行分析已經成為自然語言處理領域的重要研究方向。文本是一種時序序列,理應對其建模循環神經網絡(RNN),但RNN存在梯度消失和長距離信息遺忘等問題。Hochreiter等[1]提出的RNN變種模型LSTM通過在原始RNN結構上加入門控結構有效解決了上述問題,但此模型仍有計算并行度較差,計算耗時較長等問題。Kim[2]首次將卷積神經網絡模型(CNN)應用于文本分類,以不同大小的窗口去偵測局部信息以提取文本關鍵特征,在僅使用CNN模型的情況下,以參數共享和稀疏連接的方式大大降低了參數量,實驗表明在若干個數據集上也能取得較好的文本分類結果。Lai等[3]結合RNN和CNN 2種模型構造了新的模型RCNN,不但在一定程度上了緩解RNN存在的梯度消失問題,還無需像CNN一樣通過指定窗口大小設定局部信息的上下文依賴長度。為了解決RNN存在的編碼效率不高,匯聚操作丟失向量特征空間位置信息的問題,Hinton等[4]提出了一種改進自CNN的新型神經網絡,命名為膠囊網絡。Sabour等[5]采用動態路由算法等技術使膠囊向量兼具旋轉不變性和空間感知能力,在實驗數據集上驗證了其效果。因為膠囊網絡改進自CNN,其理論完備,在圖像分類上表現突出,人們也開始探索膠囊網絡在深度學習的其他領域的應用。Zhao等[6]首次建模膠囊網絡處理文本分類任務,提出2種網絡模型架構,在實驗數據集上取得了較好的效果。Kim等[7]驗證了膠囊網絡在文本分類任務上的可能性,并且改進了路由算法,顯著減少了動態路由過程的時間復雜度。Zhao等[8]改進了之前提出的網絡,取得較好效果。余本功等[9]結合RNN和膠囊網絡,提出結合全局特征和高層特征的文本分類模型,模型效果在實驗中得到驗證。吳仁彪等[10]提出基于改進膠囊網絡的情感分類模型,把字向量矩陣和詞向量矩陣分兩路輸入網絡,經過注意力機制融合后再送往膠囊網絡,取得較好效果。徐龍[11]提出一種結合多頭自注意力機制和膠囊網絡的情感分析模型,在實驗數據集中驗證了效果。賈旭東等[12]提出了一種改進后的多頭注意力膠囊網絡模型,獲得較好實驗效果。上述研究取得了較好的效果,不過在某些方面仍能夠加以改進。傳統文本分類研究中,常借助于基于分布假設的Word2Vec[13]或 Glove[14]模型將語料庫里的文本表示為詞嵌入向量,對比獨熱編碼表示法,詞向量的維度大大降低,還引入了一定的上下文信息,特征表達能力得到了提升。但是這類方法所能學習到文本上下文信息的能力還較為欠缺,并且對于不同語境下的一詞多義情況難以處理,因而影響了后續提取特征語義的效果。Google團隊提出了基于Transformer模型的新型預訓練模型BERT[15],在自然語言處理各個任務中都取得了不俗的成績。Jawahar等[16]關注BERT的可解釋性工作,指出BERT模型可以由淺入深地學習文本的語義信息,不同層學習到的語義信息粒度不同。在較低的層中捕獲短語級別的信息,中間層編碼了豐富的語言信息層次,即底層是表層特征,中間是句法特征,頂部是語義特征,并且BERT表示反映出了一種與傳統語法分析樹相似的組合,捕捉到了英語語言的句法結構屬性。袁柯[17]結合預訓練模型BERT、CNN、RNN對數據建模,在實驗數據集上取得較好效果。本文提出的模型以向量膠囊替代標量神經元來表征文本情感,提升神經網絡判別能力。融合膠囊網絡提取到的全局特征和預訓練模型提取到的局部語義,采用R-Drop方法約束模型輸出,進一步提升模型性能。經過實驗驗證,本文模型在多個數據集上達到較好效果。

1 融合膠囊網絡的中文短文本情感分析模型

針對網絡上中文短文本情感分類存在的問題,提出融合膠囊網絡的中文短文本情感分析模型,結構如圖1所示。

圖1 模型框架

1.1 構建文本序列表示矩陣

文本是由若干個詞語組成的序列,網絡模型接收的是由文本序列映射成的數字向量,即每個詞需要先被映射成為向量。本文選擇BERT預訓練語言模型來獲取動態表征的詞向量。如圖2所示,BERT模型的輸入由字符嵌入向量(token embeddings)、位置嵌入向量(position embeddings)和句子分段向量(segment embeddings)疊加得到。

圖2 BERT模型結構

Token Embeddings即為輸入的文本中每個字在BERT模型預訓練好的向量空間中所對應的詞嵌入向量。Position Embeddings的作用是給輸入文本里的每個字都打上位置信息標記。Segment Embeddings的作用是完成NSP任務(next sentence prediction),對語句做段定位,即利用特殊字符標記[CLS]和[SEP]來區分不同的句子,同時把每句話的位置信息保持下來。將這3種向量疊加后再輸入Transformer模型的編碼器中,對輸入文本序列里的每個字都用雙向編碼來表示。Transformer模型的編碼器接收前述的疊加向量,經過自注意力層、殘差連接與歸一化層、 前向傳播神經網絡層,最終輸出蘊含文本語義的向量。

對輸入的評論文本序列,將其表示為矩陣s={x1,x2,…,xn}T,其中n表示序列長度。在經過詞嵌入變換以后得到詞嵌入矩陣A={a1,a2,…,an}T。

1.2 局部特征提取

1.2.1微調BERT提取多粒度局部語義

BERT預訓練模型的編碼器每層所學習到的文本序列語義信息粒度不同,且隨著BERT層數的加深每層編碼器所學習到的信息粒度不斷加深,選用BERT哪幾層編碼器的輸出會影響最終的判別結果。把詞嵌入矩陣A作為輸入表示送入堆疊的多層雙向Transformer編碼器層進行編碼,得到各層編碼器的輸出Ti:

Ti={t(i,1),t(i,2),…,t(i,n)}T

(1)

式中:i表示編碼器的層數。輸入文本序列經過以上操作后序列內部已經蘊含了一定的全局上下文詞相對關系,接下來將編碼器輸出送入CNN里進行文本局部信息提取:

(2)

本文采用j個尺度的卷積核,由此得到多粒度的卷積結果:

Cout=Concat(C1,i,C2,i,…,Cj,i)

(3)

1.2.2多頭自注意力層

注意力機制能夠做到有偏向地關注到文本的重要信息。而當給定相同的查詢、鍵和值的集合時,希望模型可以基于相同的注意力機制學習到不同的信息,然后將其組合起來, 捕獲序列內各種范圍的依賴關系(例如短距離依賴和長距離依賴關系)。 類似于卷積神經網絡的多通道機制,多頭注意力機制能夠組合查詢、鍵和值的不同子空間表示,因此融合了來自多個注意力匯聚的不同信息,這對于學習到更豐富的語義信息是有益的。本文采用多頭自注意力機制來抽取各個不同的語義子空間里詞的相對關系。多頭自注意力機制有2種常用的評分函數,本文選擇縮放點積注意力(Scaled Dot-product Attention)評分函數,其計算公式如下:

(4)

式中:Q、K、V分別表示計算自注意力機制用到的查詢序列、鍵、值矩陣;QKT為注意力矩陣;dk表示鍵的維數。以Attention為基礎構建多頭自注意力層,抽取并融合各個子空間里蘊含的文本信息,自注意力層結構如圖3所示。

圖3 自注意力層結構

利用多頭自注意力機制進行融合交互,通過h次自注意力計算,得到多粒度語義信息:

(5)

m=Concat(Head1,Head2,…,Headh)WT

(6)

1.3 全局特征提取

膠囊網絡首次應用在計算機視覺任務,是一組神經元的集合,輸入輸出向量表示特定實體類型的實例化參數,即特定物體、概念實體等出現的概率與某些屬性。使用輸入輸出向量的長度表征實體存在的概率,向量的方向表示實例化參數(即實體的某些圖形屬性)。同一層級的膠囊通過變換矩陣對更高級別的膠囊的實例化參數進行預測。當多個預測一致時,更高級別的膠囊將變得活躍。相比CNN能夠保留更多如在池化操作中丟失的位置數據等信息。在自然語言處理領域,膠囊網絡同樣能夠更全面地抽取出蘊含在上下文中的文本語義,提高模型的文本表征能力。

膠囊網絡一般由初級膠囊層和數字膠囊層搭建而成。初級膠囊層依靠動態路由算法迭代權重矩陣。與注意力機制相反,初級膠囊的輸入決定了其后的高層膠囊的輸出,最后輸出的膠囊向量由全部的高層膠囊組合而成。憑借多次迭代動態路由,膠囊網絡得以提取到輸入文本序列的深層特征。膠囊網絡結構如圖4所示。

圖4 膠囊網絡結構

在初級膠囊層進行仿射變換,將輸入向量和權重矩陣相乘,將輸入映射到和膠囊層內神經元個數相同的向量空間里:

(7)

在數字膠囊層進行第2個階段的權值分配以計算輸出向量Sj:

(8)

式中:c為耦合系數,規定耦合系數之和為1。c由動態路由算法迭代更新,其計算公式如下:

(9)

隨后通過擠壓函數計算得到輸出向量:

(10)

1.4 深層語義融合

BERT最后一層CLS位置對應的隱狀態通常用于表示整個句子的全局語義信息,并用其判斷具體的文本類別。然而對于文本分類任務,局部語義信息也有助于判斷文本的類別,一些關鍵詞可以直接決定文本的類別。因此本文將BERT提取到的多粒度語義信息與膠囊網絡提取的全局語義以及BERT模型最后一層的CLS向量融合,由此得到輸入文本的深層語義信息:

y=Concat(BERTcls,v,m)

(11)

隨后將y送入線性層作為特征向量完成情感分類任務:

H=linear(y)

(12)

1.5 R-Drop正則化

進行深度學習任務的基礎是搭建深度神經網絡模型,在訓練模型時防止其過擬合并提高泛化性尤為關鍵,為此正則化方法應運而生,專門用來處理此類問題。業界廣泛使用的Dropout方法就是其中代表,此方法僅僅只需在模型訓練階段隨機丟掉若干神經元即可,其代碼簡潔,易于使用。但因為隨機丟掉若干神經元,導致每次生成的子模型都各不相同,所以采用此法之后搭建的模型在某種程度上已經變為了若干個子模型的組合約束。

(13)

KL散度部分為:

(14)

2個Loss求加權和:

(15)

參數α是根據任務不同自行調整的。

2 實驗數據集及參數設置

2.1 情感分類數據集

為了驗證本文提出模型的有效性,在3個真實數據集上進行模型對比實驗。第1個數據集是爬取自某外賣平臺的用戶評論數據集,其評論文本相對簡短,口語性強,共12 000余條,其中正面評論4 000余條,負面評論8 000余條。第2個數據集是爬取自新浪微博的網友評論數據集,評論文本中包含較多表情符號和網絡流行語,共10 000余條,正負評論各5 000條。第3個數據集是譚松波老師整理的酒店住戶評論數據集,評論文本長短不一,共10 000余條,其中正面評論7 000余條,負面評論3 000余條。為盡可能使測試數據判別結果和真實場景下模型對原始數據的判別結果接近,采用8∶1∶1的比例劃分訓練集、驗證集和測試集。

2.2 對比算法

為驗證本文所提出模型的性能,選擇以下模型作為對比算法進行對比實驗。

TextCNN[2]:輸入文本的詞向量送入一層CNN層和單層池化層組成的網絡以提取特征向量預測相應的情感極性。

TextRCNN[3]:輸入文本的詞向量經過雙向RNN和單層池化提取特征向量預測相應的情感極性。

BiLSTM[1]:輸入文本的詞向量送入雙向LSTM提取特征向量預測相應的情感極性。

BiLSTM_Att[18]:詞向量送入雙向LSTM并融合注意力機制提取特征向量預測相應的情感極性。

BERT[15]:基于BERT預訓練模型將文本轉化為詞向量,提取文本情感表示送入分類器預測相應的情感極性。

BERT_CapsNet[19]:結合BERT和膠囊網絡的優勢,將膠囊網絡的嵌入層和編碼層替換為預先訓練好的BERT,用預先訓練好的BERT計算出詞句的深層表示。然后將文本表征輸入膠囊層預測相應的情感極性。

Ours:本文提出的模型。融合膠囊網絡和BERT提取的全局語義,以及從BERT模型計算得到的多粒度局部語義形成輸入文本的深層情感表示預測相應的情感極性,并結合R-Drop方法提升模型泛化能力。

2.3 參數設置及實驗環境

本文模型的參數設置為:訓練輪數epoch=20,batch_size=64,每條文本長度text_size=100,學習率learning_rate=1×10-5,BERT模型的隱藏神經元數hidden_num=768,CNN的卷積核尺度filter_size=(2,3,4),注意力層抽頭數head=12,膠囊數量num_capsule=12,膠囊層隱狀態維度dim_capsule=64,動態路由迭代次數routings=3,R-Drop參數alpha=0.02。設置早停機制以降低模型過擬合風險,若驗證集準確率3輪無提升則提前停止訓練。

本文的實驗環境為:操作系統 Windows 10, CPU:Intel(R) Core(TM) i9-9900K CPU @ 3.60 GHz,GPU:NVIDIA GeForce RTX 2080 SUPER,顯存8 GB,內存32 GB,編譯平臺Pycharm Professional,框架Pytorch 1.9.1。

2.4 評價指標

由于實驗用到的數據集是非平衡的數據集,為更科學、更真實地反應模型的分類能力,將F1值作為評判模型性能的主要指標,以準確率Accuracy、精確率Precision、召回率Recall作為參考指標。計算公式如下:

(16)

(17)

(18)

(19)

式中:TP表示真陽性,即預測為類別正,實際為類別正;FP表示假陽性,即預測為類別正,實際為類 別負;FN表示假陰性,即預測為類別負,實際為類別正;TN表示真陰性,即預測為類別負,實際為類別負。

3 實驗結果及分析

在實驗中,訓練和測試時的各項參數都保持統一,所有模型均使用BERT詞向量,評價指標采用準確率Accuracy、精確率Precision、召回率Recall、F1值。首先在微博數據集上進行實驗對比,結果如表1所示。

表1 微博評論實驗結果

在外賣數據集上進行實驗對比,結果如表2所示。最后在酒店評論數據集上進行實驗對比,結果如表3所示。

表2 外賣評論實驗結果

表3 酒店評論實驗結果

實驗表明,TextCNN和BiLSTM 2種單一的神經網絡模型訓練速度較快,但是驗證集準確率相對較低,主要原因是模型對文本特征的提取較為單一。CNN廣泛應用于計算機視覺領域,善于提取圖片局部特征,其共享卷積核的特性使其能輕松處理高維數據。但是CNN應用到中文文本處理上時,往往因為池化操作而丟失某些局部語義信息,而這些信息有時對模型判別情感類別是較為重要的,從而使模型性能受到影響。BiLSTM對全局語義和局部語義的結合有限,此外其數據處理并行度也相對較低。與單一的神經網絡模型相比,融合特征的TextRCNN模型在實驗數據集上有更高的情感分類準確率,原因主要在于對文本特征進行了更全面充分地提取,表明結合局部語義和全局語義在情感分類特征抽取上的優越性。相比BiLSTM模型,BiLSTM_Att模型在其基礎上加入了注意力機制,也在驗證集上提升了準確率,這表明注意力機制的引入使模型能夠構造出語義信息更豐富的特征向量,一定程度上提升模型判別性能,但是模型仍存在效果波動的情況。BERT預訓練模型在海量文本語料庫上進行了預訓練,故而其對文本詞語表征的能力較強,對文本分類任務有顯著的正面影響,且已經在自然語言處理領域的多個任務上取得較好的成果。由實驗結果可以看出,本文提出的模型在3個數據集上各項指標都是最優的,表明本文模型在中文文本情感分類任務上具有良好的效果。

4 結論

針對網絡中文短文本中遣詞隨意、口語化強等問題提出一種結合膠囊網絡和預訓練模型的情感分析模型。為全面提取文本情感特征,用膠囊向量深度挖掘文本信息,融合全局特征和局部特征,以多個角度理解文本。實驗結果表明,本文提出的模型在真實情感分類任務上具有較好的效果,但是本文模型還存在參數量較大、訓練時間較長等缺點,未來的工作將對以上不足進行改進。