基于BERT與注意力機(jī)制的方面級(jí)隱式情感分析模型

0 引言

方面級(jí)情感分析(Aspect-Based Sentiment Analysis,ABSA)屬于情感分析中的細(xì)粒度任務(wù),目的在于預(yù)測(cè)評(píng)論中某個(gè)具體方面的情感極性[1]．互聯(lián)網(wǎng)的高速發(fā)展大大提升了輿論的產(chǎn)生和傳播速度,評(píng)論中所包含的情感指向性和應(yīng)用價(jià)值也成為關(guān)注的熱點(diǎn)[2]．在常見(jiàn)的評(píng)論句中,存在著不少?zèng)]有明確情感詞的評(píng)論,卻依舊可以清晰地表達(dá)情感．為了與帶有明顯情感傾向詞的方面級(jí)顯式情感區(qū)別開(kāi),將此類文本命名為方面級(jí)隱式情感．例如"Having USB3 is why I bought this Mini."句中方面詞"USB3"并沒(méi)有對(duì)應(yīng)的情感詞,但仍可以清楚地感受到對(duì)該方面的積極情感．如今互聯(lián)網(wǎng)中存在大量類似的委婉評(píng)論,而開(kāi)展方面級(jí)隱式情感分析研究可以有效提升對(duì)這些評(píng)論的理解,從中獲得的數(shù)據(jù)可用于輿論分析、商品價(jià)格預(yù)測(cè)、民眾心理分析等．

相比于顯式情感,隱式情感的研究主要有以下兩個(gè)難點(diǎn):一是缺乏情感詞導(dǎo)致情感語(yǔ)義特征不易識(shí)別;二是隱式情感與上下文中的主觀表達(dá)聯(lián)系更加緊密,導(dǎo)致對(duì)語(yǔ)義的理解難度加大．早期隱式情感分析的研究主要基于構(gòu)建隱式情感數(shù)據(jù)集或者構(gòu)建隱式情感詞典．Russo等[3]提出在研究的語(yǔ)料中存在著隱含的情感極性,并提供了隱式情感數(shù)據(jù)集．Choi等[4]通過(guò)構(gòu)造相應(yīng)的EffectWordNet情感詞典,檢測(cè)到語(yǔ)料中的隱式情感．然而情感詞典存在著更新代價(jià)大、效率不高等缺點(diǎn),因此已經(jīng)逐漸被更加高效的神經(jīng)網(wǎng)絡(luò)模型所取代．

為了方便提取句子中的語(yǔ)義信息,目前隱式情感研究通常會(huì)對(duì)輸入句進(jìn)行詞向量化處理．詞向量模型主要分為靜態(tài)和動(dòng)態(tài)兩種．靜態(tài)詞向量模型的主要功能是為每個(gè)詞提供固定的詞向量,如Word2Vec[5]和Glove[6]模型,但它們不適用于一詞多義的文本,因此出現(xiàn)了動(dòng)態(tài)詞向量模型．動(dòng)態(tài)詞向量模型能夠依據(jù)同一個(gè)詞在不同語(yǔ)境中與其他詞之間的聯(lián)系而建模,并生成對(duì)應(yīng)的詞向量,如ELMo[7]模型．近年出現(xiàn)的預(yù)訓(xùn)練模型如BERT(Bidirectional Encoder Representations from Transformers)[8]也屬于動(dòng)態(tài)詞向量模型,Li等[9]利用BERT預(yù)訓(xùn)練模型和外部語(yǔ)料庫(kù)知識(shí)來(lái)增強(qiáng)模型識(shí)別情感語(yǔ)義特征的能力,將方面級(jí)文本中的顯式與隱式情感標(biāo)簽相匹配,有效地捕獲了上下文中的隱含情感知識(shí),得到了更好的方面級(jí)隱式情感分類結(jié)果．但是該模型需要額外添加方面詞遮掩任務(wù)才能感知方面詞信息,這導(dǎo)致其在使用BERT進(jìn)行預(yù)訓(xùn)練的過(guò)程中可能會(huì)丟失與方面詞相關(guān)的上下文信息,并且在后續(xù)的編碼過(guò)程中很難彌補(bǔ)這種損失．

上下文感知模型與注意力(Attention)機(jī)制相結(jié)合的方法也在隱式情感分析中取得了不錯(cuò)的效果,其主要原理是先對(duì)句子中的上下文信息進(jìn)行建模,再依據(jù)不同信息的權(quán)重去度量它們的重要程度．Klinger等[10]提出一個(gè)共享任務(wù),對(duì)一個(gè)自動(dòng)標(biāo)記的Twitter數(shù)據(jù)集,要求系統(tǒng)在不需要捕獲情感詞特征的情況下能夠識(shí)別其中的情感極性,參賽的前三名都采用BiLSTM與注意力機(jī)制相融合的模型,而他們的區(qū)別在于:Balazs等[11]采用基于深層的語(yǔ)境化(ELMo)表示編碼詞語(yǔ)信息;Chronopoulou等[12]使用預(yù)訓(xùn)練模型的權(quán)重來(lái)初始化網(wǎng)絡(luò)的特定層;Rozental等[13]在大規(guī)模文本的基礎(chǔ)上訓(xùn)練語(yǔ)言模型并獲取詞向量作為輸入．此外在方面級(jí)顯式情感分析中,楊春霞等[14]融合深度雙向門控循環(huán)單元(Deep Bi-directional Gated Recurrent Unit,DBGRU)與注意力機(jī)制進(jìn)行情感分類任務(wù),通過(guò)實(shí)驗(yàn)說(shuō)明DBGRU能更加高效地提取深層語(yǔ)義特征．受其啟發(fā),本文嘗試將DBGRU與注意力機(jī)制相融合,用于提取方面級(jí)隱式情感中的深層特征．然而一般注意力機(jī)制存在無(wú)法有效利用深層特征中語(yǔ)境信息的缺點(diǎn),導(dǎo)致其不能準(zhǔn)確提取與方面詞相關(guān)的深層情感特征．

本文提出一種融合深度雙向門控循環(huán)單元及語(yǔ)境感知注意力機(jī)制的方面詞感知BERT(Deep Bi-directional Gated Recurrent Unit Context-Aware Attention Aspect-Aware BERT,DCAB)模型,主要貢獻(xiàn)如下:

1)本文改進(jìn)了基礎(chǔ)BERT的輸入嵌入部分,構(gòu)造了方面詞感知BERT(Aspect-Aware BERT,AABERT),對(duì)句子中方面級(jí)隱式情感語(yǔ)料進(jìn)行了預(yù)訓(xùn)練編碼．AABERT將方面詞作為輸入句的相鄰句進(jìn)行預(yù)測(cè),通過(guò)下一句預(yù)測(cè)任務(wù),能夠在預(yù)訓(xùn)練過(guò)程中有效捕獲與方面詞相關(guān)的上下文信息,最終獲得與方面詞相關(guān)的動(dòng)態(tài)詞向量表示．

2)本文構(gòu)造了一種語(yǔ)境感知注意力(Context-Aware Attention,CAT)機(jī)制,用于關(guān)注深層情感特征中與方面詞相關(guān)的重要信息．對(duì)于由DBGRU編碼器得到的深層特征向量,CAT機(jī)制在一般注意力機(jī)制的權(quán)重參數(shù)中引入了深層語(yǔ)境信息,并添加了一個(gè)學(xué)習(xí)參數(shù)來(lái)明確每一個(gè)隱藏特征向量和深層語(yǔ)境信息對(duì)注意力權(quán)重大小的影響,有效地捕捉了深度上下文中與方面詞相關(guān)的語(yǔ)義信息和句法信息．

1 DCAB模型

本文提出的DCAB模型的結(jié)構(gòu)框架如圖 1所示,主要組成部分如下:

1)詞嵌入層:將輸入文本通過(guò)AABERT模型進(jìn)行預(yù)訓(xùn)練,生成與方面詞相關(guān)的動(dòng)態(tài)詞向量．

2)DBGRU詞向量編碼層:將AABERT詞向量輸入到DBGRU編碼器中,提取包含上下文信息的深層特征向量,其中高層的隱藏特征包含上下文中的語(yǔ)義信息,低層的隱藏特征包含上下文中的句法信息．

3)CAT機(jī)制層:將DBGRU編碼器輸出的深層特征向量作為輸入,使用CAT機(jī)制更加準(zhǔn)確地關(guān)注上下文中與方面詞相關(guān)的隱藏特征信息．

4)輸出層:對(duì)CAT機(jī)制層輸出的特征向量使用Softmax分類器進(jìn)行不同情感類別概率的計(jì)算．

1.1 詞嵌入層

BERT模型主要由輸入嵌入、雙向Transformer編碼器[15]和無(wú)監(jiān)督任務(wù)三部分構(gòu)成,其主要原理是通過(guò)額外添加的輸出層結(jié)合語(yǔ)境進(jìn)行語(yǔ)義微調(diào),能夠聯(lián)合所有層級(jí)中的上下文單詞訓(xùn)練雙向語(yǔ)義表示[16]．其中:輸入嵌入負(fù)責(zé)對(duì)輸入句子進(jìn)行標(biāo)記處理;Transformer編碼器是BERT的核心部分,由輸入、自注意力和前饋神經(jīng)網(wǎng)絡(luò)組成,負(fù)責(zé)捕捉上下文中各個(gè)詞之間的特征信息;無(wú)監(jiān)督任務(wù)負(fù)責(zé)對(duì)Transformer編碼器輸出的隱藏向量進(jìn)行預(yù)訓(xùn)練．而自注意力部分是Transformer中最重要的模塊,它能夠?qū)⑽谋局械拿總€(gè)輸入單詞依次與其他單詞進(jìn)行建模,從而直接捕獲隱藏層狀態(tài)之間的依賴關(guān)系[17]．隨后將得到的隱藏向量再傳遞到前饋神經(jīng)網(wǎng)絡(luò)部分,進(jìn)行求和、歸一化與前向反饋等流程后,最終得到輸出詞向量．

方面級(jí)隱式情感分析任務(wù)的目的是預(yù)測(cè)句子中給定方面所表達(dá)的情感,然而傳統(tǒng)的BERT模型無(wú)論是輸入嵌入、Transformer編碼器還是無(wú)監(jiān)督任務(wù)部分中都沒(méi)有能夠感知方面詞的結(jié)構(gòu)設(shè)計(jì),這導(dǎo)致其在預(yù)訓(xùn)練過(guò)程中可能會(huì)丟失與方面詞相關(guān)的上下文信息．為了解決這個(gè)問(wèn)題,本文考慮從BERT的內(nèi)部結(jié)構(gòu)進(jìn)行改進(jìn),使其獲得方面詞感知能力．但在實(shí)際情形中發(fā)現(xiàn)Transformer編碼器和無(wú)監(jiān)督任務(wù)部分的結(jié)構(gòu)設(shè)計(jì)緊湊、邏輯嚴(yán)謹(jǐn)、修改難度較大,如果添加的參數(shù)過(guò)多很可能會(huì)導(dǎo)致模型的復(fù)雜度大幅增加,出現(xiàn)過(guò)擬合現(xiàn)象,反而會(huì)降低原有的優(yōu)秀建模能力;而輸入嵌入部分結(jié)構(gòu)則較為靈活,由于直接與輸入句子接觸,添加方面詞信息更加方便,且在修改的過(guò)程中不會(huì)影響到BERT原有的建模能力．因此為了使BERT在擁有方面詞感知能力的同時(shí)保持其優(yōu)秀的語(yǔ)言建模功能,本文通過(guò)修改輸入嵌入部分,將BERT調(diào)整為能夠感知上下文中與方面詞相關(guān)信息的AABERT．

AABERT的改進(jìn)主要分為三個(gè)步驟:首先,對(duì)于輸入句子s={w1,w2,…,wn},每次輸入結(jié)束時(shí)的標(biāo)點(diǎn)符號(hào)(比如句號(hào)‘.’)可以認(rèn)為是一個(gè)弱分隔符,同時(shí)將給定的方面詞插入到標(biāo)點(diǎn)符號(hào)和最后的結(jié)束標(biāo)記([SEP])之間,在標(biāo)記嵌入(Token Embeddings)過(guò)程中對(duì)所有輸入詞匯(包括正常詞匯和特殊符號(hào))進(jìn)行嵌入,就能生成對(duì)應(yīng)的標(biāo)點(diǎn)符號(hào)和方面詞的位置標(biāo)記,即提供了一個(gè)給定方面詞的感知信號(hào)．其次在輸入中再采用一個(gè)顯式分隔符[SEP]來(lái)分隔輸入的句子和方面詞,進(jìn)一步加深給定方面詞的信號(hào),它在位置嵌入(Position Embeddings)中的初始化標(biāo)記與句尾的[SEP]設(shè)置相同．最后將方面詞的片段嵌入(Segment Embeddings)標(biāo)記與前句的片段嵌入標(biāo)記分別設(shè)置為A、B,即在嵌入過(guò)程中將前句與方面詞視為兩個(gè)不同的句子．其輸入部分結(jié)構(gòu)如圖2所示．

圖2 AABERT輸入序列Fig.2 AABERT input sequence

圖3 語(yǔ)境感知注意力網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Context-aware attention network structure

改進(jìn)后,輸入句的格式被設(shè)置為Ik=[CLS]+wk+[SEP]+waspect+[SEP]．在預(yù)訓(xùn)練過(guò)程中,先將輸入句嵌入Ik輸入到Transformer編碼器中進(jìn)行編碼,其過(guò)程如式(1)所示:

xk,…,xaspect=TransEnc(Ik)

(1)

其中,xi為輸入句單詞的隱藏輸出向量,xaspect為方面詞的隱藏輸出向量．再將得到的隱藏向量送入掩碼語(yǔ)言模型(Masked Language Model,MLM)和下一句預(yù)測(cè)(Next Sentence Prediction,NSP)兩個(gè)無(wú)監(jiān)督任務(wù)中來(lái)完成詞向量的預(yù)訓(xùn)練[8]．MLM會(huì)隨機(jī)對(duì)單詞遮掩(mask),讓模型通過(guò)語(yǔ)境學(xué)習(xí)被遮掩的單詞,它很好地利用了語(yǔ)境中的信息,但是不能直觀地判斷文本對(duì)之間的邏輯關(guān)系．而NSP解決了這個(gè)問(wèn)題,它通過(guò)判斷后句即方面詞是否為前句的下一個(gè)句子,挖掘了句子之間的邏輯關(guān)系,最終捕獲了與方面詞相關(guān)的詞向量表示{e1,e2,…,en}．

1.2 深度雙向門控循環(huán)單元編碼層

門控循環(huán)單元(Gated Recurrent Unit,GRU)[14]是由長(zhǎng)短期記憶網(wǎng)絡(luò)(Long Short-Term Memory,LSTM)改進(jìn)而來(lái)的,它能夠獲取文本語(yǔ)境中的語(yǔ)義信息,并且相比于LSTM擁有更高的信息獲取效率．但是GRU只能傳遞某一時(shí)刻中詞向量序列的語(yǔ)義信息,忽略了全局文本中的語(yǔ)境所帶來(lái)的影響,而BiGRU解決了這個(gè)問(wèn)題,它由正反向GRU最后一個(gè)狀態(tài)向量連接而成,可以提取正反向時(shí)間序列中的隱藏狀態(tài)．DBGRU由多層BiGRU疊加而來(lái),其中每層BiGRU的輸出將作為下一層的輸入．本文采用由兩層BiGRU組成的DBGRU來(lái)進(jìn)一步挖掘方面級(jí)隱式情感語(yǔ)料中的深層語(yǔ)義信息．

GRU的更新公式如下:

zt=σ(Wzet+Uzht-1+bz),

(2)

rt=σ(Wret+Urht-1+br),

(3)

(4)

(5)

BiGRU的計(jì)算公式如下:

(6)

(7)

(8)

DBGRU每個(gè)單元如下:

(9)

(10)

(11)

1.3 語(yǔ)境感知注意力機(jī)制

在方面級(jí)語(yǔ)料中往往存在著不少具有情感傾向的詞匯,它們對(duì)方面的情感極性有著不小的影響．為了提高情感分析的準(zhǔn)確率,以往模型通常會(huì)采用一般注意力機(jī)制捕捉這些情感特征并分配其較大權(quán)重,其注意力權(quán)重向量uh計(jì)算過(guò)程如下:

(12)

其中:tanh為激活函數(shù);Wh∈Rn×d為可訓(xùn)練的權(quán)重參數(shù)矩陣,d為單詞嵌入的維度;bh為偏置項(xiàng)．本文在應(yīng)用一般注意力機(jī)制后發(fā)現(xiàn)分析效果不太理想,原因可能是:1)本文研究的方面級(jí)隱式情感語(yǔ)料與普通的方面級(jí)情感語(yǔ)料最大的不同在于句子中沒(méi)有明顯的情感詞,這會(huì)導(dǎo)致一般注意力機(jī)制無(wú)法準(zhǔn)確地捕獲相關(guān)詞向量;2)DBGRU得到的特征向量為多層,其中含有不同類型的語(yǔ)義和句法信息,而一般注意力權(quán)重向量uh僅由一個(gè)可訓(xùn)練的參數(shù)矩陣Wh控制,錯(cuò)失了有效利用這些深層語(yǔ)境信息的機(jī)會(huì)．由于注意力機(jī)制中最重要的部分是計(jì)算權(quán)重系數(shù),權(quán)重系數(shù)越高,此部分信息越重要．因此,為了有效突出方面級(jí)隱式情感文本中隱含的重要信息,本文對(duì)一般注意力機(jī)制進(jìn)行了改進(jìn),將DBGRU中的多層語(yǔ)境信息引入到權(quán)重參數(shù)中,從而構(gòu)造了CAT機(jī)制．CAT的結(jié)構(gòu)如圖 3所示．

(13)

λw=σ(WhVh+CUwVc),

(14)

C=[C1,…,Cl-1],

(15)

(16)

(17)

(18)

1.4 輸出層

本文將CAT機(jī)制輸出的特征向量sh輸入到Softmax分類層中,并計(jì)算其在不同情感極性中的概率,其計(jì)算過(guò)程如下:

g=Softmax(Wsh+b),

(19)

其中,W為權(quán)重矩陣,b為偏置項(xiàng),g為模型最終的輸出向量．此外,選用了基于L2正則化的交叉熵?fù)p失函數(shù)作為損失函數(shù),其計(jì)算過(guò)程如下:

(20)

2 實(shí)驗(yàn)

2.1 實(shí)驗(yàn)數(shù)據(jù)集與實(shí)驗(yàn)環(huán)境

本文選取的方面級(jí)隱式情感數(shù)據(jù)集來(lái)自SemEval2014 task4數(shù)據(jù)集[18]中的隱式情感語(yǔ)料．其中:Restaurant主題中的隱式數(shù)據(jù)占比達(dá)27.47%,被稱為餐廳隱式情感表達(dá)(Restaurant Implicit Sentiment Expression,Rest_ISE);Laptop主題中的隱式數(shù)據(jù)占比達(dá)30.09%,被稱為筆記本電腦隱式情感表達(dá)(Laptop Implicit Sentiment Expression,Lap_ISE)．這些數(shù)據(jù)說(shuō)明ABSA數(shù)據(jù)集中廣泛存在隱式情感語(yǔ)料,值得研究．此外,為了保證本文模型能夠充分捕捉方面級(jí)隱式情感的特征,引入了數(shù)據(jù)集Yelp和Amazon[19]用于AABERT的預(yù)訓(xùn)練．以上數(shù)據(jù)集都將語(yǔ)料標(biāo)記為積極、消極和中性三種情感極性．其具體數(shù)據(jù)分布如表1所示．

表1 數(shù)據(jù)集中的樣本標(biāo)簽分布

表2 實(shí)驗(yàn)環(huán)境

本文的實(shí)驗(yàn)環(huán)境如表 2所示．

2.2 實(shí)驗(yàn)參數(shù)與評(píng)價(jià)指標(biāo)

模型提取方面級(jí)隱式情感特征的能力不僅與自身的設(shè)計(jì)結(jié)構(gòu)相關(guān),還會(huì)受到參數(shù)設(shè)置的影響,合理的參數(shù)能夠有效提升模型的實(shí)驗(yàn)效果,因此參數(shù)調(diào)優(yōu)是實(shí)驗(yàn)過(guò)程中不可或缺的一個(gè)步驟．本文在數(shù)據(jù)集Rest_ISE上以對(duì)實(shí)驗(yàn)結(jié)果影響較大的可調(diào)參數(shù)隨機(jī)失活率(Dropout)與DBGRU隱藏層參數(shù)維度為例進(jìn)行分析,使用控制變量法,在兩種參數(shù)上分別選取了10個(gè)大小不同的指標(biāo)進(jìn)行對(duì)比,每個(gè)指標(biāo)進(jìn)行了10次反復(fù)實(shí)驗(yàn)并計(jì)算準(zhǔn)確率的平均值作為結(jié)果．本文從對(duì)比實(shí)驗(yàn)中選取了具有代表性的5個(gè)指標(biāo),其實(shí)驗(yàn)結(jié)果如表3所示．

表3 參數(shù)設(shè)置對(duì)準(zhǔn)確率的影響

Dropout在模型訓(xùn)練階段的前向傳播過(guò)程中,讓某些神經(jīng)元的激活值以一定的概率停止工作,在一定程度上可以避免過(guò)擬合現(xiàn)象．由對(duì)比實(shí)驗(yàn)可知,DCAB模型的Dropout取值為0.1時(shí)模型的準(zhǔn)確率較高,其原因在于當(dāng)Dropout值設(shè)置過(guò)小時(shí),緩解過(guò)擬合現(xiàn)象的能力并不強(qiáng),而當(dāng)Dropout值設(shè)置過(guò)大時(shí),又會(huì)使激活值失活較多從而丟失部分特征,導(dǎo)致準(zhǔn)確率下降．DBGRU的隱藏層參數(shù)維度即提取到的特征維度,由對(duì)比實(shí)驗(yàn)可知,當(dāng)隱藏層參數(shù)維度設(shè)置為128時(shí)模型效果較好,其原因在于當(dāng)隱藏層參數(shù)維度過(guò)小時(shí),模型的特征提取能力較弱,而當(dāng)維度過(guò)大時(shí),可能會(huì)出現(xiàn)過(guò)擬合現(xiàn)象,并且模型的訓(xùn)練時(shí)間大大增加．

經(jīng)過(guò)對(duì)比實(shí)驗(yàn)確定DCAB模型的參數(shù)后,在數(shù)據(jù)集Rest_ISE上對(duì)模型進(jìn)行訓(xùn)練．由于本文模型使用了12層Transformer,多頭自注意力的個(gè)數(shù)為12,因此AABERT的隱藏層參數(shù)維度為768．當(dāng)模型參數(shù)迭代至最優(yōu)時(shí)需要大約4個(gè)Epoch,并且使用了Adam優(yōu)化器進(jìn)行優(yōu)化．模型整體參數(shù)如表4所示．

表4 實(shí)驗(yàn)參數(shù)

本文選取了準(zhǔn)確率(Accuracy,A)和F1值作為模型的評(píng)價(jià)指標(biāo),具體公式如下:

(21)

(22)

(23)

(24)

2.3 對(duì)比模型

由于目前隱式情感分析研究較少,本文選用了一些常見(jiàn)的顯式情感分析模型作為對(duì)比模型的補(bǔ)充．對(duì)比實(shí)驗(yàn)具體模型如下:

1)TD-LSTM[20]:模型將目標(biāo)信息合并到LSTM中,對(duì)句子中的目標(biāo)及其上下文進(jìn)行建模．

2)IIIDYT[11]:采用基于深層語(yǔ)境化(ELMo)的嵌入方法,將得到的詞向量表示傳遞到BiLSTM中,再結(jié)合注意力機(jī)制去提取相關(guān)的隱式語(yǔ)義信息．

3)RAM[21]:該模型使用GloVe嵌入,將得到的詞向量傳遞到DBLSTM中編碼,再使用注意力機(jī)制捕獲深層語(yǔ)義特征中的重要信息,最終識(shí)別評(píng)論句中方面詞的情感極性．

4)GloVe+BiGRU+Attention(GBA)[22]:一種融合了BiGRU和注意力機(jī)制的模型,能夠在Glove詞嵌入過(guò)程中保留方面詞向量的位置信息并消除其位置嵌入．

5)Amobee[13]:使用Transformer遍碼器進(jìn)行預(yù)訓(xùn)練,將得到的詞向量傳遞到BiLSTM與注意力機(jī)制相結(jié)合的框架中分析隱式語(yǔ)料的情感極性．

6)BERT+BiGRU+Attention(BBA)[23]:該模型將BERT模型作為輸入層,BiGRU模型作為隱藏層,再結(jié)合注意力機(jī)制提取其中的重要隱式情感特征,最后用Softmax作為輸出層來(lái)進(jìn)行情感分類．

2.4 實(shí)驗(yàn)結(jié)果與分析

對(duì)比實(shí)驗(yàn)的結(jié)果如表5所示．由表 5可知,在數(shù)據(jù)集Rest_ISE和Lap_ISE中,本文提出的DCAB模型的準(zhǔn)確率和F1值均高于其余基線模型,說(shuō)明DCAB模型的性能要優(yōu)于其他基線模型．TD-LSTM僅對(duì)目標(biāo)詞及其上下文進(jìn)行建模,IIIDYT在BiLSTM的基礎(chǔ)上加入了注意力機(jī)制,在提取上下文隱式情感特征的同時(shí)關(guān)注了其中與方面詞相關(guān)的重要信息,因此性能要優(yōu)于TD-LSTM．RAM在IIIDYT的基礎(chǔ)上使用DBLSTM代替BiLSTM作為模型的編碼器,它能夠提取文本中更深層次的語(yǔ)義特征,所以效果較IIIDYT有所提升．而GBA使用了BiGRU對(duì)詞向量進(jìn)行建模,BiGRU相比BiLSTM參數(shù)更少更容易收斂,因此GBA模型的精度在一定程度上要優(yōu)于IIIDYT模型．另外,Amobee和BBA模型都是基于BERT或Transformer結(jié)構(gòu)的模型,Transformer相比于RNN能直接并行計(jì)算序列數(shù)據(jù),為不同的頭分配不同的任務(wù),從而更好地捕捉上下文中隱藏層狀態(tài)之間的依賴關(guān)系,因此性能較其他僅使用RNN結(jié)構(gòu)的模型有了較大提升,進(jìn)而也說(shuō)明本文使用AABERT作為預(yù)訓(xùn)練模型是合理的．

表5 對(duì)比模型分類結(jié)果

本文提出的DCAB模型在兩個(gè)數(shù)據(jù)集上相比性能最優(yōu)的基線模型BBA準(zhǔn)確率分別提升2.60和1.28個(gè)百分點(diǎn);F1值分別提升4.16和1.58個(gè)百分點(diǎn).其原因在于DCAB模型改進(jìn)了提取與方面詞相關(guān)的上下文信息的方法,即使用AABERT預(yù)訓(xùn)練模

型生成與方面詞相關(guān)的詞向量,AABERT在基礎(chǔ)BERT的輸入嵌入結(jié)構(gòu)中引入了方面詞,通過(guò)在標(biāo)記嵌入、位置嵌入和片段嵌入中設(shè)置特殊標(biāo)記格式從而加強(qiáng)方面詞的信號(hào),使模型獲得方面詞信息的感知能力,并且構(gòu)造了語(yǔ)境感知注意力機(jī)制學(xué)習(xí)上下文中與方面詞相關(guān)的深層特征,CAT機(jī)制在分配注意力權(quán)重時(shí)能夠感知上下文隱藏狀態(tài)中的語(yǔ)義信息和句法信息,更加精準(zhǔn)地關(guān)注與方面詞相關(guān)的深層信息．綜上所述,DCAB模型是有效的,不僅能夠在預(yù)訓(xùn)練過(guò)程中保留與方面詞相關(guān)的上下文信息,還能準(zhǔn)確提取上下文中與方面詞相關(guān)的深層特征信息．

2.5 模型分析實(shí)驗(yàn)

2.5.1 不同詞向量對(duì)模型性能的影響

為了驗(yàn)證AABERT預(yù)訓(xùn)練模型對(duì)文本向量化表示的能力,本文將DCAB中的AABERT詞向量模型分別替換為GloVe、ELMo、BERT,并在Rest_ISE數(shù)據(jù)集上進(jìn)行對(duì)比實(shí)驗(yàn),結(jié)果如圖4所示．

圖4 詞嵌入模型對(duì)比實(shí)驗(yàn)結(jié)果Fig.4 Comparative experimental results of word embedding models

圖5 注意力機(jī)制對(duì)比實(shí)驗(yàn)結(jié)果Fig.5 Comparative experimental results of attention mechanism

由圖4可知:GloVe作為靜態(tài)詞向量模型,針對(duì)每個(gè)輸入單詞會(huì)生成固定的詞向量,忽略了一詞多義的情況,因此效果較差;ELMo是一種動(dòng)態(tài)詞向量模型,它將輸入句傳遞到BiLSTM中,生成的詞向量包含了上下文語(yǔ)義信息,所以其性能要優(yōu)于GloVe;BERT使用了雙向Transformer語(yǔ)言模型,并結(jié)合MLM和NSP任務(wù),從而生成動(dòng)態(tài)詞向量,能夠有效解決一詞多義的問(wèn)題,因此效果要優(yōu)于ELMo;AABERT在BERT的基礎(chǔ)上對(duì)輸入嵌入部分進(jìn)行了改進(jìn),在引入方面詞的同時(shí)加強(qiáng)了其信號(hào),使模型獲得了方面詞相關(guān)信息的感知能力,因此性能要優(yōu)于BERT．綜上,這組實(shí)驗(yàn)說(shuō)明了AABERT模型的優(yōu)越性．

2.5.2 不同注意力機(jī)制對(duì)模型性能的影響

為了驗(yàn)證語(yǔ)境感知注意力機(jī)制的有效性,本文移除注意力機(jī)制,建立了AD(AABERT+DBGRU)模型;使用傳統(tǒng)的注意力機(jī)制代替CAT機(jī)制,建立了ADA (AABERT+DBGRU+Attention)模型．對(duì)比實(shí)驗(yàn)結(jié)果如圖 5所示．

由圖 5可知,在兩個(gè)數(shù)據(jù)集Rest_ISE和Lap_ISE中,DCAB模型的準(zhǔn)確率和F1值相比AD和ADA模型均有所提升,這說(shuō)明DCAB模型的效果相較于AD和ADA模型要更加優(yōu)秀．AD模型僅提取詞向量中的深層上下文語(yǔ)義特征,效果較差;ADA模型在AD模型的基礎(chǔ)上還關(guān)注了上下文語(yǔ)義特征中的重要隱式情感特征,效果次之;而DCAB模型在AD模型的基礎(chǔ)上使用的CAT機(jī)制不僅能夠提取上下文中的重要隱式情感特征,還能充分挖掘深層特征中所包含的語(yǔ)義信息與句法信息．這組實(shí)驗(yàn)結(jié)果說(shuō)明了語(yǔ)境感知注意力機(jī)制的優(yōu)越性．

2.5.3 實(shí)例分析

為了進(jìn)一步分析DCAB模型捕獲的深層隱式情感特征在方面級(jí)隱式情感分析中的有效性,本文選取數(shù)據(jù)集中的幾個(gè)例句,將本文的DCAB模型與RAM和BBA模型進(jìn)行實(shí)例對(duì)比分析,結(jié)果如表 6所示．句子中存在的方面詞已用下劃線標(biāo)出,其中加粗的單詞需要判斷隱式情感極性．

從表6中可以看出,第1及第2句中只存在1個(gè)方面詞,第4及第5句中存在2個(gè)方面詞．由第1和第2句可知,對(duì)情感極性為積極或消極的方面級(jí)隱式情感句的判斷準(zhǔn)確率較低,難度較大,但是本文提出的DCAB模型相比RAM和BBA模型在積極或消極情感句上的性能最優(yōu)．由第3句可知,3種模型在中性情感句上的判斷都比較準(zhǔn)確．由第4句可知,RAM和BBA模型準(zhǔn)確率較低,本文推測(cè)可能是由于存在著顯式情感詞"good"修飾方面詞"battery life",影響了方面詞"cord"隱式情感極性的判斷;而DCAB的效果較好,其原因在于CAT機(jī)制能夠關(guān)注與給定方面詞相關(guān)的上下文特征信息,并忽略其他方面詞的信息．綜上,本文提出的DCAB模型在方面級(jí)隱式情感分析任務(wù)上有效提高了深層隱式情感特征提取的準(zhǔn)確性．

表6 方面級(jí)隱式情感句對(duì)比

雖然本文模型在總體效果上有一定的提升,但也引入了一些新的問(wèn)題．由第5句可知,當(dāng)句子中存在著兩個(gè)隱式情感的方面詞時(shí),DCAB模型會(huì)將方面詞"online chat"的情感極性誤判為消極,可能是受到了整個(gè)句子消極情感的影響,這是本文模型的局限所在．

3 結(jié)束語(yǔ)

為解決現(xiàn)有模型可能會(huì)在預(yù)訓(xùn)練過(guò)程中丟失方面詞信息和提取深層特征信息不準(zhǔn)確的問(wèn)題,本文提出DCAB模型．首先通過(guò)AABERT生成與方面詞相關(guān)的詞向量,再通過(guò)DBGRU進(jìn)行編碼,接著使用CAT機(jī)制感知深層隱藏特征中的語(yǔ)義信息和句法信息,提取上下文中與給定方面詞相關(guān)的深層特征信息．方面級(jí)隱式情感分析的對(duì)比實(shí)驗(yàn)結(jié)果表明,DCAB模型性能優(yōu)于基線模型．本文沒(méi)有考慮到更大范圍語(yǔ)境的影響,下一步將研究句子層面的信息是如何影響隱式情感的．