基于BERT-BiGRU集成學習的情感語義識別

游 蘭,曾 晗,韓凡宇,金 紅,3,崔海波,4,張家合

(1.湖北大學 計算機與信息工程學院,湖北 武漢 430062;2.湖北省軟件工程工程技術研究中心,湖北 武漢 430062;3.智慧政務與人工智能應用湖北省工程研究中心,湖北 武漢 430062;4.湖北省教育信息化工程技術研究中心,湖北 武漢 430062)

0 引 言

情感識別是從機器角度感知、理解人類通過文本、圖像等介質所表達的情感意圖,是人工智能的關鍵技術之一。當前,社交網站是人們關注時事和分享個人觀點的重要平臺,每天會產生海量的非結構化文本評論,這些評論通常帶有發表者的主觀情感意圖。社交評論的情感識別對于輿情管控[1]、商業營銷[2-3]、社會治理[4]等有極為重要的意義,是近年自然語言處理領域的研究熱點之一。

社交網絡文本具有情感語義豐富、文本長度不一等典型特征,如何從長短不一的文本中判斷情感極性是當前情感識別系統迫切需要解決的關鍵問題[5]。傳統的Word2Vec[6]或GloVe[7]詞向量預訓練模型在一定程度上能夠學習到詞語的上下文信息,但存在不同語境下同一詞語表達了相同語義的模型語義偏差。例如,“這臺車的性價比真高”和“這臺車的油耗真高”,其中“真高”在前者表達積極評論,在后者中表達消極評論,該方法難以識別。采用傳統卷積神經網絡模型 (Convolution Neural Network,CNN)[8]進行文本分類任務時,能夠有效提取詞語表示中的局部特征,但忽略了長距離上下文之間的語義關聯性。該文使用基于Transformer的雙向編碼表征模型(Bidirectional Encoder Representations from Transformers,BERT)[9],通過動態調整詞向量語義特征,并采用雙向門控循環單元 (Bidirectional Gated Recurrent Unit,BiGRU)[10]進行語義編碼,以增強文本的語義表達,從而挖掘網絡文本中更深層次的長距離上下文情感語義信息。

如今,多數模型采用機器學習或者深度學習[11-13]的方法對文本情感進行預測,取得了較大進展。然而多數模型均為單一模型,其具有隨機性。針對現有研究對文本的深層情感語義特征的提取不足以及泛化能力有限等問題,該文提出了基于BERT-BiGRU多模集成學習的深層情感語義識別模型。主要貢獻如下:

(1)采用BERT預訓練模型代替以往傳統模型的詞嵌入層,獲得評論文本的隱含語義詞向量表示,再通過BiGRU提取上下文的深層語義特征,提高模型對評論文本情感語義的提取能力;

(2)通過數據擾動和投票策略的集成學習,融合多個優異且具有差異性的情感識別模型,得到一個穩定且性能均衡的情感分類器,提高了模型的泛化能力;

(3)在公共數據集上進行的多組對比實驗表明,提出的基于BERT-BiGRU多模集成學習的深層情感語義識別方法情感分類效果更好。

1 相關工作

情感識別相關研究已積累了不少的成果。早期,大多數情感識別基于語義規則的情感詞典或傳統機器學習方式,通過計算情感詞的權重得出情感傾向[14]。但情感識別的質量高度依賴于情感詞典和判斷規則的構建,且大多數情感詞典需要人工構造。隨后,傳統機器學習方法被使用。Pang等人[15]使用SVM、樸素貝葉斯和最大熵等算法來分析電影評論情感傾向,實驗表明文本特征與SVM算法組合的效果更佳。Hu等人[16]提取評論中的情感詞,根據句子中占主導的情感極性得到句子的情感傾向。傳統機器學習的準確率較情感詞典的方法有所提升,但其需要借助高質量的特征構造和專業領域知識。

神經網絡方法近年來在自然語言處理領域越來越受學者們的重視。性能表現較好的情感識別模型大多以循環神經網絡(Recurrent Neural Networks,RNN)、卷積神經網絡或結合多個神經網絡[17,18]為基礎構建。如Kim等人[8]提出TextCNN模型,將訓練好的詞向量送入CNN中實現文本情感分類;陳珂等人[19]將不同特征信息結合形成不同的網絡通道,作為卷積神經網絡的輸入,學習到句子更多的隱藏特征信息,但卷積神經網絡在長距離文本建模方面能力受限。Socher等人[20]提出利用遞歸神經網絡來構建情感樹,在二元化的句法樹結構上進行語義合成,提高了短文本情感識別的準確率;Wang等人[21]利用長短期記憶(Long-Short Term Memory,LSTM)網絡預測文本情感極性。這些基于RNN及其變體LSTM模型能夠捕捉到較長距離的依賴關系,但仍然存在無法編碼從后到前的問題。針對該問題,Zhang等人[10]提出一種基于雙向遞歸神經網絡的分層多輸入輸出模型,該模型采用兩個GRU來獲取詞性和句子的詞向量表示,加快了多標簽情感識別的計算效率。李磊等人[22]將對象信息與文本信息進行融合,利用注意力機制強化的Bi-LSTM模型得到評論文本的情感分類結果。

上述文獻所使用的語言模型均為Word2Vec[6]或GloVe[7],它們均屬于靜態詞向量,集中于獲得詞語淺層特征表示,無法進一步解決相同詞語在不同的場景下多義性的問題。Devlin等人[9]提出BERT預訓練模型,使用深度雙向Transformer[23]模型,可以隨時根據上下文信息動態調整詞向量,解決了傳統語言模型存在的一詞多義問題。曹蕊等人[24]設計并研發了基于BERT-BiGRU多模集成的食品安全輿情分析系統,該系統將情感分析后的結果在地圖可視化、熱力圖等多個模塊進行可視化展示。

此外,訓練好的情感分類模型想具有良好的適用性,則需要強大的泛化能力。在以往的模型中,Wan等人[25]基于樸素貝葉斯、SVM、C4.5決策樹和隨機森林等多種分類模型集成在一起,涵蓋不同的情感特征,克服了單成員模型處理結果的不足。Deriu等人[26]訓練兩種不同結構的卷積神經網絡作為基礎分類器,再將預測結果送入到隨機森林算法,其性能優于其他情感分類方法。

在現有研究基礎上,針對傳統語言模型的一詞多義和特征抽取能力較弱的問題,該文提出BERT-BiGRU模型。首先,通過BERT預訓練模型表達文本的隱含語義,再采用比雙向LSTM結構更簡單、運算速度更快的BiGRU模型,挖掘文本評論間的深層語義信息。考慮到單模型容易出現泛化能力不足的問題,采用交叉驗證的方式訓練數據集,然后以投票策略結合多個BERT預訓練模型組成的基分類器,使集成模型獲得最佳的預測結果和泛化性能。

2 基于BERT-BiGRU多模集成學習的深層情感語義識別

基于BERT-BiGRU多模集成學習深層情感語義的算法模型流程如圖1所示。第一步是對原始數據集進行預處理,去除噪聲數據;第二步是構建單個情感識別模型,將BERT預訓練語言模型與BiGRU拼接得到文本分類模型;第三步,為了增強情感識別模型的通用性,構建集成情感識別模型。分別通過數據擾動的方式和基于BERT系列預訓練模型得到多個情感基分類器,將步驟二的分類結果與集成模塊輸出的結果進行投票決策。

圖1 算法流程

圖1中的BERT是由中文維基百科的數據進行大規模訓練得到的最終模型。BERT-wwm-ext相對于BERT使用的是中文維基百科數據和通用(百科、新聞、問答)數據,同時增加了訓練步數。BERT-BiLSTM使用BERT得到每條文本的特征向量,將其作為雙向LSTM的輸入,挖掘網絡文本中更深層次的長距離上下文情感語義信息。

2.1 基于BERT-BiGRU的文本分類模型

該文使用了BERT系列的預訓練語言模型獲取輸入文本的語義表示{d1,d2,…,dn},其中n表示模型的輸入最大長度。如果文本長度小于n,則將通過BERT模型得到的小于n的輸出文本語義表示進行填充,填充多個m維零向量直至輸出序列長度為n;如果文本長度大于n,則只輸出前n長度的文本語義表示。

為了進一步得到文本間的內在聯系,將經過BERT模型得到的語義表示作為BiGRU模型的輸入。通過正向GRU來獲取到所有過去時間序列中的完整上下文信息,再通過反向GRU獲取所有未來時間序列的完整上下文,計算公式如下:

(1)

(2)

BiGRU在正負向的隱藏層上對輸入表示dn進行計算,得到dn隱藏狀態ht,將正負GRU采用拼接策略:

(3)

圖2 BERT-BiGRU模型結構

得到BiGRU的隱藏狀態,計算公式如下:

H={h1,h2,…,hd}

(4)

最后,使用全局平均池化來代替全連接層,得到一維的特征向量,送入softmax函數得到評論文本的情感類別,如公式(5)所示:

TEXTC=softmax(WtH+bt)

(5)

其中,Wt表示全局平均池化層的權重參數,bt表示偏置值,最后得到BERT-BiGRU模型的輸出TEXT_C。模型結構如圖2所示。

2.2 基于數據擾動的集成方式

由機器學習算法的誤差分析[27]可知,要使訓練后的模型保持良好的泛化能力,則需要降低模型的泛化誤差。如公式(6)所示,泛化誤差由偏差、方差和噪聲組成。

E(f;D)=bias2(χ)+var(χ)+ε2

(6)

其中,bias表示偏差,即期望輸出與真實輸出的差別。var表示方差,即相同樣本下,不同批次訓練集產生的方差。ε表示噪音,刻畫學習問題本身的難度,屬于模型的固有誤差,該文不予考慮。

隨著模型復雜度的上升,偏差逐漸減小,方差增大,如圖3所示。為了尋求最優平衡點,本節采用數據擾動的方法,改變交叉驗證中每一折的數據劃分方式,即K折交叉驗證來控制偏差的大小。

首先,對訓練集采用K折交叉驗證的方式對原始數據集分組,將訓練集劃分為互不相交的K份數據,取其中一個子集作為驗證集,剩余K-1份作為訓練集,迭代K次。然后,取K組測試集預測結果的平均值作為分類器最終預測標簽。

2.3 基于多模型投票的集成方式

集成學習[28]的思想是構建多個基分類器,將其組合成性能更優的強分類器。該方法的優點在于即使某個基分類器的結果出現錯誤,其他的基分類器能夠及時改正。同時在構建基分類器時,需要注意每個基分類器之間要具有一定差異性。使得在各自方法上的結果達到最優,學習能力越強,關聯性越低。

該文通過結合策略對基分類器的結果進行融合,使通過集成學習后的模型預測效果達到最好。首先統計所有分類器的輸出類別,在生成情感識別的類別概率分布基礎上采用多數投票策略進行決策。給定所有個體分類器的分類結果同樣的權重,各個基分類器均只能投一票,采用少數服從多數原則,最后得票數最高的類別將作為該條評論的最終預測結果。投票公式如下所示:

(7)

3 實驗與結果

為了驗證模型的通用性和有效性,使用公開的新冠疫情網民情緒識別數據集COV19,由CCF舉辦的2020科學防疫大數據公益挑戰賽權威發布,以及中科院譚松波博士收集整理的酒店評論語料ChnSentiCorp。實驗結果對比則采用近年表現較好的情感識別模型,針對各自分類效果進行指標評測。

3.1 實驗數據集

實驗數據集一是疫情期間網民情緒識別數據集,包括新浪微博中與“新冠肺炎”相關的230個主題關鍵詞博文,共10萬條帶有積極、中性和消極三種情感極性的微博數據。數據集二是與酒店評論相關的語料,共1萬多條帶有積極和消極情感極性的評論數據。

該文去除了2個數據集中空數據、重復數據以及文字繁簡替換,清洗得到最后實驗數據。實驗數據具體情況如表1所示。

表1 實驗使用數據統計

3.2 實驗設置

選取的最大文本長度標準為能夠覆蓋75%左右的文本內容,不足最大長度的文本內容使用零向量進行填充,大于最大長度的文本內容進行截斷。

采用的BERT詞向量預訓練模型為中文版的BERT-Base和BERT-wwm-ext,均由12層transformers組成,其中每層transformer的隱藏層數為768,包含12個注意力頭,接入GRU單元數為128。學習率設置為2e-5,采用dropout策略,具體比率設置為0.15。

3.3 實驗評測指標

實驗主要是對文本進行積極、中性、消極三種情感的分類,采用的主要評價指標有精準率(Precision)、召回率(Recall)和F1值。精準率(Precision)又稱為查準率,是指預測結果屬于某一類的個體,實際屬于該類的比例。召回率(Recall)又稱為查全率,是指被正確預測為某個類別的個體數量與數據集中該類別個體總量的比例。F1值是綜合準確率和召回率的調和平均數,反映整體性能的評價指標。

具體計算公式如下:

(8)

(9)

(10)

其中,TP(True Positive)是真正例,即預測為正樣本,實際也為正樣本;FP(False Positive)是假正例,即預測為正樣本,實際為負樣本;FN(False Negative)是假負例,即預測為負樣本,實際為正樣本。

3.4 實驗結果及分析

3.4.1 單一情感識別模型的實驗對比

該文采用兩組對比實驗,實驗一是BERT-BiGRU與傳統深度學習模型的對比。

(1)TextCNN[8]。使用Word2Vec對輸入文本編碼,送入卷積神經網絡,利用多個不同大小的卷積核提取文本特征,最后通過全連接層進行分類。

(2)BiGRU[23]。使用Word2Vec訓練詞向量,送入雙向GRU,將前后的特征信息進行關聯,挖掘出各個情感特征之間的潛在聯系,獲得評論文本的情感傾向性。

(3)BiGRU-ATT[10]。在使用BiGRU抽取文本特征的基礎上,引用注意力機制,捕獲評論文本中的每個詞對情感語義貢獻程度大小,進行加權計算。

(4)BERT[9]。使用深度雙向Transformer模型,獲取評論文本的上下文語義特征表示。

(5)BERT-BiGRU。首先,通過BERT預訓練模型表達文本的隱含語義,再采用BiGRU模型挖掘文本評論間的深層語義信息,得到最終的情感識別結果。

表2 多個模型在COV19上的實驗結果

表2展示了文中模型和對比模型在COV19數據集上的精準率、召回率和F1值對比結果。可以看出,BERT模型的F1值達到0.717的分類準確率,對比CNN模型的0.634、BiGRU模型的0.661,分別提升了8.3和5.6百分點,驗證了BERT預訓練模型明顯優于基于傳統的詞向量訓練模型。其中,基于Word2Vec的詞向量模型各項指標較低,主要是受中文表達一詞多義的影響。而BERT模型會根據上下文的含義動態變化詞向量,更能準確反映出句子的語義信息。可見BERT模型比在BiGRU加入單個注意力機制的BiGRU-ATT模型提高了5.3百分點。在相同的Word2Vec詞向量模型下,BiGRU模型比CNN模型高了2.7百分點,可以看出,使用BiGRU比CNN提取文本特征的效果更佳。故BERT后接入BiGRU的分類效果取得了最佳的分類效果,說明在BERT的輸出中加入BiGRU能夠提取句子中更深層次的情感特征,從而提升分類準確性。

3.4.2 集成策略對實驗的影響

為了驗證集成思想在情感識別領域的通用性,實驗二將BERT預訓練模型接入不同的網絡,利用其訓練語料和訓練步數的不同,使用不同的訓練批次和訓練方式來達到差異性效果。最后使用投票策略達到集成效果,實驗分別在情感二分類和三分類的數據集上進行。模型說明如下:

(1)BERT。使用BERT-base預訓練模型提取文本特征,訓練批次分別設為32和16,最大文本截取長度分別為128和140,經過3輪訓練分別得到模型1(M1)和模型2(M2)。

(2)預訓練模型使用BERT-wwm-ext,訓練批次為32,最大文本截取長度為128,訓練得到模型3(M3)。

(3)BERT-BiLSTM。使用BERT-base預訓練模型得到每條文本的特征,經過雙向LSTM挖掘網絡文本中更深層次的長距離上下文情感語義信息。再進行5折交叉驗證,訓練批次設為16,最大文本截取長度為140,訓練得到模型4(M4)。

(4)BERT-BiLSTM。訓練方法同(3),批次設為48,訓練得到模型5(M5)。

(5)BERT-BiGRU。使用BERT-base預訓練模型得到每條文本的特征,經過BiGRU的輸出,進行5折交叉驗證,訓練批次分別設為16、48和64,最大文本截取長度別設為140、140、128,訓練得到模型6(M6)、模型7(M7)和模型8(M8)。

實驗將各個基分類器在COV19數據集上單獨預測的分類效果進行比較分析。考慮到相同的分類器對同一個數據集的結果可能存在差別,對各個模型重復運行3次,取結果的平均值作為最后的評價指標。

表3 基分類器在COV19上的實驗結果

由表3可見,同樣的網絡結構,使用不同的超參數集進行訓練,所表現的分類結果在不同的評價指標下各有優勢。比如BERT模型之間的差距達到了0.01,而BERT-BiLSTM和BERT-BiGRU使用不同的超參數,差異性在0.002～0.004之間。對比于傳統的數據集單次劃分,該文加入的5折交叉驗證,多次劃分訓練數據集使數據集間互不交叉,大幅度降低了隨機劃分數據集帶來的偶然性,增強了模型的穩定性。在多數評價指標下,BERT-BiLSTM、BERT-BiGRU在批次48和最大文本截取長度140上分別達到了同類模型最優。

為了更直觀地得到各個分類器之間的差異程度,借助協方差來度量模型間的線性相關程度,對模型的預測結果進行歸一化處理,得到皮爾遜相關系數作為相關度指標,展示以上8種模型的相關度分析。

圖4 基于Pearson的模型預測結果相關度分析

由圖4可知,各個模型的皮爾遜相關系數均在0.825以上。圖中顏色越淺,代表模型之間的相關性越弱。可以得知,M1、M2和M3與其他模型的相關性較弱,這3種模型都是基于BERT預訓練模型進行訓練。以上做法是通過改變模型的訓練參數生成有差異性的基分類器。而后5種模型是在BERT預訓練模型的基礎上融合了其他神經網絡模型,主要是改變了模型的網絡結構及訓練參數,使各個模型內部的分類原理不同及提取特征的能力也各不相同。

綜上所述,依據集成學習的兩個前提條件,一是基分類器的分類效果要達到一定的優越性,如果基分類器的分類錯誤率過高將會導致集成學習的準確率降低;二是基分類器之間要具有差異性,即預測結果需要多樣性,如果差異性過小,那集成結果基本無變化。因此,由表3和圖4得出,選取M2、M3、M5、M7作集成學習的基分類器,對測試集的預測結果使用多數投票法得到最終的分類結果,集成結果如表4所示。

表4 COV19的最終集成實驗結果

集成后的F1值達到0.732,相比最優的單模型BERT-BiGRU提升了0.3百分點。為了進一步驗證所提模型的泛化能力,將以上模型在ChnSenti語料上進行測試,結果如表5所示。

表5 集成學習在ChnSenti上的實驗結果

表5展示了4個單模型和集成后的模型在酒店語料上的分類效果。由表可見,BERT-BiGRU在F1評價指標上都超越了其他三種模型,分別提高了1.4,2.8和0.8百分點。證明了BERT-BiGRU比其他模型能夠挖掘更深層次的語義特征,也驗證了提出在BERT輸出表示后接入BiGRU模型的方法具有有效性和優越性。各模型的F1值均在0.92以上,表明在二分類上各單模型表現均較為優異,導致模型間的差異性不夠強,集成后的F1值提升不夠明顯,僅比最佳模型BERT-BiGRU提高了0.1百分點。由此可見,所使用的集成學習方法的正確性,需要集成表現優異且差距性較大的模型,才能獲得明顯的提升效果。

4 結束語

圍繞社交網絡文本的情感識別研究熱點,提出了基于BERT-BiGRU多模集成學習的深層情感語義識別模型。首先,該模型采用BERT預訓練模型代替以往傳統模型的詞嵌入層,獲得評論文本的隱含語義詞向量表示,再通過BiGRU提取上下文的深層語義特征,解決了傳統語言模型存在的不同語境下多義詞和深層情感語義抽取能力較弱的問題,實現了單模型下最優的情感識別效果。為了提高模型的泛化能力,該模型在綜合分析模型的方差和偏差的基礎上,將集成學習的思想應用到情感識別上,觀測不同模型在不同參數和數據集上的表現,采用交叉驗證的方式訓練數據集,然后以投票策略結合多個BERT預訓練模型組成的基分類器,使得它們具有互相糾錯的能力,從而獲得更優的集成結果。最后,通過在三分類和二分類語料上分別設計實驗,展示出BERT-BiGRU模型在多個評價指標上優于現有大多數情感識別模型。

在未來研究中,還需考慮使用更豐富數據來挖掘情感語義,比如表情符號,圖片或視頻語義來輔助挖掘深層情感語義。