基于ERNIE和融合雙通道特征的文本情感分類模型

堯歡歡，朱小棟

(上海理工大學管理學院，上海 200093)

1 引言(Introduction)

隨著社交網絡媒體和電子商務的智能化發展，越來越多的網民傾向于在各大平臺針對特定主題或者商品發表觀點和意見，由此生成海量蘊含情感色彩的文本評論數據，這些情緒資源隱含了互聯網用戶的潛在訴求，具有巨大的商業和社會價值。通過對文本評論數據進行情感分析，可以獲得互聯網用戶對各種事物的意見傾向，獲取潛在的經濟價值。然而，傳統采用人工分辨文本情感極性的方式耗費了大量的人力且主觀性太強，為了能夠自動、高效地探究隱含在評論信息中的情感色彩，文本情感分析技術應運而生。

文本情感分析[1]又稱文本導向分析或意見挖掘，是指對主觀評論中隱含的情感色彩進行提取和分析的過程，主要方法包括情感詞典規則方法、統計機器學習方法及深度學習模型。傳統基于情感詞典的方法依賴人工預先編制包含不同詞匯和相應極性的情感詞典，該方法使用簡單但局限性大。傳統基于機器學習的方法采用機器學習算法學習特征，性能上優于情感詞典，但該方法依靠人工對文本特征進行標記，所需的人工成本高，而且人工標注的主觀性也會影響分類的精度。基于深度學習的方法是機器學習算法的一個新興分支，目前多數研究通過使用深度神經網絡構建情感分類器，主流模型有卷積神經網絡(CNN)、循環神經網絡(RNN)和注意力機制網絡等。受人工神經網絡模型的啟發，該方法可以自動學習文本的語義特征，彌補傳統機器學習算法需人工干預特征的缺陷。然而，上述方法僅考慮了文本中的單個特征，對隱含在文本中的多角度和多關聯特征的提取不充分，信息在訓練過程中容易出現遺漏。

針對上述問題，本文提出了一種結合ERNIE、DPCNN和BiGRU-Attention的雙通道情感分類模型。該模型利用ERNIE獲取文本映射向量，一方面通過DPCNN抽取文本長距離語義依賴；另一方面采用BiGRU對整體文本序列進行時間建模，并引入注意力機制加強局部關鍵知識學習。實驗結果表明，本文提出的融合模型在weibo_senti_100k和京東電商評論兩個數據集上提高了準確率和宏平均值F1。

2 相關研究(Related research)

早期的情感分析方法分為兩類：基于情感詞典和基于機器學習的方法。基于情感詞典的方法操作簡單，但難點在于構造一個適用于各種領域的通用詞典。有不少學者嘗試突破這個局限，例如SIVASANKAR等[2]融合多領域數據集術語之間的上下文關系，提出了一種改進的領域自適應增強情感詞典。雖然該方法能夠增強不同領域間情感分析的準確性，但是人工構建的詞典仍然存在詞匯覆蓋度不足和分類精度不高等問題。基于傳統機器學習的方法主要包括K最近鄰(KNN)、樸素貝葉斯(NB)和支持向量機(SVM)等。馬文等[3]采用樸素貝葉斯算法對中文的評論分類進行研究，文本分類的準確率達到97.65%。然而，該方法依賴手動選擇特征，需要采用人工干預獲取輸入文本的情感類別。

近年來，深度學習技術基于自動特征選擇的特性，已經發展為文本情感分類領域的主流方法，包括卷積神經網絡、循環神經網絡和注意力機制網絡等。KIM[4]提出CNN模型用于文本語句情感分類研究并取得了不錯的效果。KHAN等[5]利用CNN-LSTM架構對羅馬烏爾都語和英語方言文本進行情感分類，在四個語料庫上的大量測試表明，該混合結構模型能夠提升情感分類的準確率。GAO等[6]提出一種基于CNN模型和BiGRU網絡的混合模型用于短文本方面情感分析，實驗結果表明改進的CNN+BiGRU模型分類效果更好。注意力機制能夠使計算機讀取信息時選擇性地抓住重點，已成功應用于機器視覺領域，因此許多研究者將其引入自然語言處理任務中。謝潤忠等[7]構建了雙通道的注意力模型用于預測評論文本的情感極性。此外，基于CNN、RNN和注意力機制等的融合模型也被廣泛應用。BHUVANESHWARI等[8]提出一種基于BiLSTM自注意的卷積神經網絡(BAC)模型，使用CNN和BiLSTM自動學習評論文本的分類特征，并應用注意機制捕捉上下文重點信息。YANG等[9]融合了CNN和基于注意力的BiGRU模型用于文本情感分類，在約10萬條當當網的真實圖書數據集上進行測試，實驗結果表明該模型能夠顯著提高文本分類的性能。李衛疆等[10]提出了一種融合多通道特征和自注意力的BiLSTM情感分類方法用于文本情感分析，在五個基線數據集上進行實驗，得到較好的分類效果。沈彬等[11]提出一種基于知識增強語義表示和雙重注意力機制的微博情感分析模型，在兩個公開數據集上進行實驗，得到較好的分類效果。本文融合基于知識增強語義表示的ERNIE模型和基于DPCNN、BiGRU-Attention的雙通道特征對評論文本進行情感極性的預測。

3 ERNIE-DBGA模型(ERNIE-DBGA model)

本文設計的模型基于ERNIE和融合雙向DPCNN/BiGRU-Attention，縱向結構分為五個層次：輸入層、預訓練語言模型層、特征提取層、特征融合層和輸出層；橫向結構分為兩個數據處理通道：左側為基于DPCNN網絡的通道，用于捕捉文本長距離依賴特征，右側為基于BiGRU網絡和注意力機制的通道，用于捕獲上下文時序特征和聚焦關鍵信息點，此外雙通道均采用預訓練語言模型ERNIE完成文本的向量化表示。ERNIE-DBGA模型結構如圖1所示。

圖1 ERNIE-DBGA模型結構圖Fig.1 ERNIE-DBGA model framework map

3.1 輸入層

3.2 預訓練語言模型層

ERNIE[12]模型是以自編碼語言模型(BERT)[13]為基礎建立的，相較于BERT，ERNIE能夠提取到更完整的語義知識信息。本文使用ERNIE作為語義表征模型，對掩蔽策略進行了改進。不同于BERT的單粒度掩蔽，ERNIE將訓練數據中的短語和實體當成一個整體單元統一掩蔽，這樣做的好處是模型在學習的時候不會遺漏任何的語料信息。ERNIE的內部網絡由多層雙向變壓器(Transformer)的編碼器(Encoder)端堆疊而成。Encoder層包含self-attention層和feed-word network層兩部分。ERNIE的模型結構如圖2所示。

圖2 ERNIE模型結構圖Fig.2 ERNIE model framework map

3.3 特征提取層

對于文本序列的信息提取，本文構建了兩個通道并行的模型結構，減少了由于模型深度增加導致的梯度消失現象。左側為深層金字塔神經網絡結構(DPCNN)提取文本遠距離依賴信息，右側為引入注意力機制的雙向門控循環單元(BiGRUAtt)提取文本隱含的上下文關聯和重要信息。

3.3.1 DPCNN模型

DPCNN由JOHNSON[14]在自然語言處理(NLP)頂級會議中ACL 2017提出，該模型加深了CNN的網絡深度，但不會帶來太大的計算消耗。DPCNN模型結構如圖3所示，首先將輸入的文本序列經過卷積操作后轉化為區域嵌入層(Region embedding)，然后傳入由兩個固定卷積核的卷積函數構成的卷積塊(block)中，接著輸入到增加了負采樣的重復卷積結構中，最后通過最大池化層(max-pooling)進行池化得到文本的向量表示V。

圖3 DPCNN模型結構圖Fig.3 DPCNN model framework map

3.3.2 BiGRU模型

門控循環單元(GRU)是長短期記憶網絡(LSTM)的一種改進模型。LSTM能夠有效緩解循環單元在處理長文本時產生的長期記憶和梯度消失問題，但模型結構復雜、參數多及訓練時間長。基于此，CHO等[15]提出了一個更簡單的GRU模型。GRU將LSTM中的遺忘門和輸入門整合成一個更新門，結構更輕盈，參數更少，處理相同任務時所需的時間成本更低。GRU的模型結構如圖4所示。

圖4 GRU模型結構圖Fig.4 GRU model framework map

單向神經網絡結構GRU只能處理單向語義關系，本文使用的BiGRU模型結合了前向GRU和后向GRU，有利于評論文本深層次特征的提取，可以學習到更加完整的特征信息，獲得更好的分類效果。

3.3.3 注意力機制

注意力機制通過動態分配權重衡量文本中字詞的重要程度，解決了傳統深度學習中將所有特征賦予相同權重的問題。本文在BiGRU模型的基礎上引入注意力機制，以期學習更多隱藏的重要信息。

3.4 特征融合層

特征融合層通過矩陣拼接方式將左側DPCNN模型生成的特征向量V1和右側BiGRUAtt模型生成的特征向量V2融合成一個矩陣，目的是保留雙通道的信息，最后生成融合全局的特征表示，計算表達式如下：

3.5 輸出層

輸出層采用softmax分類器進行歸一化，將特征融合得到的語義信息V*輸入softmax層中進行概率轉換，輸出獲得最大概率的情感極性，從而得到模型的預測結果，計算表達式如下：

其中，W為權重系數，b為偏置項，y為情感分類預測的最終結果。

3.6 模型訓練

模型訓練是深度學習的關鍵步驟，本文采用交叉熵損失函數(Binary Cross-entropy)以衡量輸出的真實結果與相應預測結果的吻合程度，并通過反向傳播算法(BP算法)學習模型參數，計算表達式如下：

其中，yi表示輸出的真實情感結果，表示輸出的預測情感結果。

4 實驗與分析(Experiment and analysis)

4.1 實驗數據集

本文采用2 個數據集進行實驗。

實驗數據1：采用公開數據集weibo_senti_100k，該語料包含119，988 條帶情感分類標簽的新浪微博評論文本，其中積極評論文本為59，993 條，消極評論文本為59，995 條。因為社交評論數據夾雜大量噪聲，這些無意義的數據會對分類結果產生影響，所以本文使用正則表達式匹配字符的方法對微博評論文本進行數據清洗，清除URL、@人名和回復轉發微博等無實際意義的數據，以提高數據集的質量。預處理后的數據集部分樣例如表1所示。

表1 部分數據集樣本Tab.1 Partial data set samples

實驗數據2：采用網絡爬蟲抓取京東商城中熱銷水果的評論文本，其中包括蘋果、橙子、梨、奇異果/獼猴桃和葡萄/提子五個品類。為了劃分情感極性便于后期的標簽分類，將評論按照星級評分爬取，判定標準為4 星及以上為積極評論，2 星及以下為消極評論。此外，由于電商評論具有隨意性，存在少部分星級和評價內容情感嚴重不符的數據，所以對這部分評論進行人工打標簽。此外，鑒于爬取的數據噪聲大，含有大量無意義和重復的評論，因此對評論文本進行去重、過濾等數據清洗操作，最終獲取積極評論和消極評論各10，000條。預處理后的數據集部分樣例如表2所示。

表2 部分數據集樣本Tab.2 Partial data set samples

本文將兩個數據集分別隨機打亂，劃分為訓練集、驗證集和測試集，三者評論文本的數量比例為8:1:1。數據集詳情如表3所示。

表3 兩個數據集詳情Tab.3 Details of two data sets

4.2 實驗環境

本文使用Python作為模型實現語言，Pytorch作為實驗框架，實驗采用的環境配置如表4所示。

表4 實驗環境配置Tab.4 Experimental environment configuration

4.3 實驗參數

模型參數的選擇和設定會對分類的精度產生直接影響。本文采用小批量梯度下降法(Mini-batch Gradient Descent)進行模型訓練，采用Adam作為優化器，并采用早停法(Early Stopping)避免過擬合。由傳統詞向量模型搭建的神經網絡模型均采用中文詞向量(Chinese-Word-Vectors)提供詞向量，詞向量維度為300 維；學習率為1e-3，丟棄率為0.1；文本卷積神經網絡(TextCNN)中卷積核尺寸為(2、3、4)，卷積核個數為256；RNN中隱藏層特征數為256，層數為2。由預訓練語言模型搭建的神經網絡模型中，ERNIE采用百度的ERNIE1.0-base中文預訓練模型，BERT采用谷歌的BERT-base中文預訓練模型。本文模型參數設置如表5所示。

表5 模型參數設置Tab.5 Model parameter setting

4.4 實驗評價指標

為了平衡情感類別對實驗結果的影響，本文使用宏平均(Macro avg)下的精確率P(Precision)、召回率R(Recall)和F1 值(F1-score)及準確率A(Accuracy)四個標準衡量情感分類模型的性能。計算表達式如下：

4.5 實驗對比結果和分析

為了全面評估ERNIE-DBGA模型的性能，本文設置了四組對比實驗。第一組實驗對比情感分類任務中的經典模型以驗證本文模型的有效性；第二組實驗比較不同詞向量模型對情感極性分類的影響；第三組實驗檢驗本文提出模型中各通道對分類結果的影響；第四組探究模型中迭代輪數對分類性能的影響。

4.5.1 情感分析模型對比實驗

為了驗證模型情感分類的性能，本文在兩個數據集上分別設置對比實驗。其中，對比模型均采用Chinese-Word-Vectors提供詞向量。

TextCNN[4]：文本分類卷積神經網絡，包括卷積層和最大池化層，通過捕捉文本中的重要信息指導情感極性預測。

LSTM[16]：長短時記憶網絡，采用門結構和記憶單元對時間序列建模，學習文本的上下文交互關系。

GRU[15]：門控循環單元，在LSTM的基礎上優化了內部結構，僅保留了兩個門單元但效果很好。

BiGRU[15]：雙向門控循環單元，使用前向和后向GRU網絡學習文本信息，最后將所得的向量拼接起來獲得最終特征表示。

TextRCNN[17]：循環卷積神經網絡，應用循環結構獲取時序信息，并使用最大池化層壓縮文本特征以提取主要信息。

BiGRUAtt[18]：基于注意力機制的雙向門控循環單元，采用注意力機制動態分配權重使模型能提取到更深層次的隱藏特征。

DPCNN[14]：加深的金字塔卷積神經網絡，可以獲得文本的長距離依賴表示。

ERNIE-DBGA：本文模型。

表6呈現了本文提出的ERNIE-DBGA模型與情感分類任務中經典模型的實驗對比結果。從表6可以看出，ERNIEDBGA模型在數據集1和數據集2上的各項評價指標均獲得最優結果。相比TextCNN、LSTM、GRU、BiGRU、TextRCNN、DPCNN和BiGRUAtt模型，ERNIE-DBGA模型在數據集1上的宏平均F1值和準確率A都相應提高了1.36%、0.99%、0.91%、0.87%、0.56%、0.82%和0.66%，在數據集2上的宏平均值F1和準確率A都相應提高了2.35%、2.35%、2.20%、1.95%、1.56%、2.25%和1.70%。由此可以看出，相比當前情感分類任務中的經典模型，本文所提模型情感分類性能更佳，表明了本文模型構建的有效性。

表6 不同情感分類模型的對比結果Tab.6 Comparison results of different sentiment classification models

4.5.2 詞向量模型對比實驗

為了探究不同詞向量模型對分類性能的影響，本文在兩個數據集上分別設置對比實驗。

W2V-DBGA模型：采用詞嵌入模型(Word2Vec)靜態詞向量模型作為嵌入層，然后輸入雙通道DBGA模型中訓練。

BERT-DBGA模型：采用BERT動態預訓練語言模型作為嵌入層，然后輸入雙通道DBGA模型中訓練。

ERNIE-DBGA模型：本文模型。

基于不同詞向量模型的實驗對比結果如表7所示。相比靜態詞向量模型Word2Vec，動態預訓練語言模型BERT采用基于注意力機制的雙向Transformer編碼器，結合上下文語境生成動態向量表示，有效解決了Word2Vec中存在的一詞多義問題。從表7可以看出，BERT-DBGA模型比W2V-DBGA模型在數據集1和數據集2上的四項評價指標結果均有所提高，說明了融合文本全局知識的動態詞向量模型較靜態詞向量模型而言，提取到的詞向量蘊含更豐富的特征表示。為了進一步獲取更完整的語義信息，本文采用同為動態預訓練語言模型的ERNIE作為嵌入層。相比于BERT，ERNIE增加了先驗語義知識單元，通過對文本中的句法和詞法結構學習建模，充分吸收了序列中的知識信息，實驗結果得到顯著提升。

表7 不同詞向量模型的對比結果Tab.7 Comparison results of different word vector models

4.5.3 各通道模型對比實驗

為了檢驗模型中各個通道對模型性能的影響，本文在兩個數據集上分別設置對比實驗。

ERNIE-D模型：基于ERNIE的左側單通道DPCNN模型。

ERNIE-BGA模型：基于ERNIE的右側單通道BiGRUAtt模型。

ERNIE-DBGA模型：本文模型。

基于不同通道模型的實驗對比結果如表8所示。從表8可以看出，相比單通道的ERNIE-D模型和ERNIE-BGA模型，本文所提出的雙通道情感分類模型ERNIE-DBGA在數據集1和數據集2上的各項評價指標均得到提升。相比左通道ERNIE-D模型，ERNIE-DBGA模型在右側引入了由BiGRU網絡和注意力機制相結合的模型，可以額外提取到文本中的時間序列特征和關鍵知識特征，有助于進一步挖掘更深層次的潛在語義信息，進而使分類性能得到提升。相比右通道ERNIE-BGA模型，ERNIE-DBGA模型在左側引入了DPCNN模型，可以額外提取到文本中的遠距離依賴特征，有利于捕獲文本中連續豐富的知識信息，所以分類結果更佳。綜上所述，基于雙通道的ERNIE-DBGA模型結合了兩個通道模型的優點，能夠有效獲取文本中多種關聯特征，在一定程度上提高情感分類的性能。

表8 各通道模型的對比結果Tab.8 Comparison results of each channel model

4.5.4 迭代次數(Epoch)取值實驗

迭代次數是模型訓練過程中一個重要參數，它的取值將直接影響分類的準確率。本實驗在保持其他參數不變的情況下改變訓練輪數，通過觀察模型準確率的變化確定最適合本文的迭代次數。

從圖5可以看出，epoch取值的變化會對分類的準確率產生影響。隨著epoch取值增加，模型準確率呈上升趨勢；當epoch=3時，準確率達到最優值97.05%；當epoch取值持續增加時，模型準確率緩慢下滑后又小幅上升，最后準確率在96.5%上下小幅波動，趨于平穩。由此可以看出，合適的epoch取值能有效提升分類的準確性，考慮到計算的復雜度和時間成本等因素，本文將epoch設置為3。

圖5 不同迭代次數的對比結果Fig.5 Comparison results of different iterations

5 結論(Conclusion)

針對文本情感分類任務中傳統語言模型無法充分獲取整體情境語義信息，以及傳統深度學習模型未能有效提取文本序列中多類關聯信息等問題，提出了一種基于動態預訓練語言模型和雙通道融合的文本情感分類模型ERNIE-DBGA。該模型采用ERNIE作為嵌入層，學習文本知識信息，增強了模型獲得深層語言表征的能力，同時，構建了基于DPCNN和BiGRUAtt的并行神經網絡模型以提取和融合文本中長期語境信息、上下文狀態信息和局部重點知識信息，最后采用Softmax分類器實現文本情感分類。本文設計了情感分類任務中的經典方法對比、不同詞向量工具對比、各通道模型對比和迭代次數取值四組實驗，在兩個數據集weibo_senti_100k和京東電商評論上檢驗模型的有效性，實驗結果表明本文提出的雙通道文本情感分類模型具有更好的分類性能。在未來的工作中考慮進一步研究文本情感多標簽分類，并不斷優化算法模型，以提高模型分類的準確率和泛化能力。