用于特定目標(biāo)情感分析的交互注意力網(wǎng)絡(luò)模型

韓 虎，劉國利

1.蘭州交通大學(xué) 電子與信息工程學(xué)院，蘭州 730070

2.甘肅省人工智能與圖形圖像工程研究中心，蘭州 730070

1 引言

特定目標(biāo)情感分析是情感分析領(lǐng)域中的一項(xiàng)子任務(wù)[1]。給定一條評論和評論中出現(xiàn)的目標(biāo)，特定目標(biāo)情感分析的目的是確定每個(gè)目標(biāo)的情感極性（如積極、中性或消極）。例如，在評論“The voice quality of this phone is amazing，but the price is ridiculous”中，有兩個(gè)目標(biāo)“voice quality”和“price”，其中目標(biāo)“voice quality”由兩個(gè)詞組成，其所表達(dá)的情感極性是積極的，而目標(biāo)“price”表達(dá)的情感則是消極的。Jiang等人對一個(gè)Twitter情緒分類器進(jìn)行了手工評估，結(jié)果表明40%情感分析的錯(cuò)誤是源于沒有考慮句子中的目標(biāo)信息[2]。因此，特定目標(biāo)情感分析的任務(wù)也可以描述為預(yù)測一個(gè)“評論-目標(biāo)”對的情感極性。

近年來，神經(jīng)網(wǎng)絡(luò)在各個(gè)研究鄰域取得了顯著的進(jìn)展。Zhang 等人將海溫預(yù)測問題轉(zhuǎn)化為時(shí)間序列回歸問題，首次利用長短時(shí)記憶網(wǎng)絡(luò)（LSTM）來預(yù)測海面溫度[3]。高雅等人通過神經(jīng)網(wǎng)絡(luò)挖掘移動對象軌跡數(shù)據(jù)中的隱含規(guī)律，在原始模型上加入LSTM 進(jìn)行位置預(yù)測[4]。華冰濤等人基于深度學(xué)習(xí)的優(yōu)勢構(gòu)建了用于意圖識別和槽填充的神經(jīng)網(wǎng)絡(luò)模型，較傳統(tǒng)模型獲得較高的性能[5]。王凱等人提出了一種基于長短時(shí)記憶網(wǎng)絡(luò)的動態(tài)圖模型用于異常檢測，提高了網(wǎng)絡(luò)入侵事件檢測的準(zhǔn)確率[6]。同時(shí)，在情感分析鄰域，神經(jīng)網(wǎng)絡(luò)也取得了比傳統(tǒng)方法更好的結(jié)果。例如Dong 等人在2014 年提出基于遞歸神經(jīng)網(wǎng)絡(luò)來評估特定目標(biāo)在上下文詞中的情感傾向[7]。Vo 和Zhang 將整個(gè)句子分為三個(gè)部分，即，上文、目標(biāo)和下文，并使用神經(jīng)池化函數(shù)和情感詞典來提取特定目標(biāo)的特征向量[8]。Tang 等人將句子分為帶目標(biāo)的上文和帶目標(biāo)的下文，然后使用兩個(gè)長短時(shí)記憶（LSTM）網(wǎng)絡(luò)分別對這兩部分進(jìn)行建模，學(xué)習(xí)針對特定目標(biāo)的句子表示[9]。為了進(jìn)一步關(guān)注句子中特定目標(biāo)情感的重要部分，Wang 等人將目標(biāo)詞嵌入計(jì)算平均值后與句子中的每個(gè)詞向量表示進(jìn)行拼接，使用LSTM網(wǎng)絡(luò)和注意力機(jī)制（attention mechanism）生成最終的情感表示[10]。

雖然這些方法已經(jīng)意識到特定目標(biāo)在情感分析中的重要性，但是這些方法存在兩個(gè)問題：（1）當(dāng)目標(biāo)由多個(gè)詞組成時(shí)，目標(biāo)中不同的詞對情感分析的重要性也是不一樣的，以上對目標(biāo)中所有詞的詞向量求平均的方法會丟失評論中重要的情感信息；（2）以上方法只關(guān)注目標(biāo)對上下文建模的影響。如何利用目標(biāo)與上下文之間的交互作用，來分別對目標(biāo)與上下文進(jìn)行建模，已成為一個(gè)新的研究課題。針對以上問題，Ma 等人提出了一個(gè)IAN模型，該模型使用兩個(gè)LSTM網(wǎng)絡(luò)分別對句子和目標(biāo)短語進(jìn)行建模，然后利用句子的隱層表示生成目標(biāo)短語的注意力向量，反之亦然[11]。在文獻(xiàn)[11]的基礎(chǔ)上，本文提出一種交互注意力網(wǎng)絡(luò)模型（LT-T-TR）進(jìn)一步提高目標(biāo)和上下文的表示。首先，將評論分為三個(gè)部分：上文（包含目標(biāo)）、目標(biāo)短語、下文（包含目標(biāo)），其中目標(biāo)由一個(gè)或多個(gè)詞組成，然后利用三個(gè)Bi-LSTMs 分別對上述三部分進(jìn)行建模。其次，通過目標(biāo)與上下文的交互學(xué)習(xí)，來計(jì)算目標(biāo)與上下文的注意力權(quán)重，注意力權(quán)重的計(jì)算主要包括兩部分：第一部分是目標(biāo)-上文注意力權(quán)重和目標(biāo)-下文注意權(quán)重的計(jì)算；第二部分是上文-目標(biāo)注意力權(quán)重和下文-目標(biāo)注意力權(quán)重的計(jì)算。計(jì)算這兩部分注意力權(quán)重之后，得到了目標(biāo)和左右上下文的最終表示。最后，將三部分最終表示進(jìn)行拼接，形成最后的分類向量。本文模型較其他模型主要有以下幾點(diǎn)優(yōu)勢：（1）本文對目標(biāo)短語和上下文采用相同的方法（Bi-LSTM）進(jìn)行建模，考慮了目標(biāo)由多個(gè)詞組成的情況。以往模型中只使用目標(biāo)中所有詞的詞向量平均值來表示目標(biāo)的方法不能準(zhǔn)確區(qū)分目標(biāo)中每個(gè)詞的重要性。（2）本文利用交互注意力機(jī)制計(jì)算目標(biāo)和上下文的表示。因?yàn)槟繕?biāo)和上下文的表示是互相影響的，在計(jì)算上下文的注意力權(quán)重時(shí)引入目標(biāo)短語的表示，可以更好地獲取當(dāng)前目標(biāo)所對應(yīng)的上下文中重要的部分，從而得到更好的上下文表示，提高模型性能，反之亦然。

2 相關(guān)工作

2.1 特定目標(biāo)情感分析

一些早期的工作研究基于規(guī)則的目標(biāo)情感分析模型。比如Nasukawa 等人[12]首先對句子進(jìn)行依賴分析，然后使用預(yù)定義的規(guī)則來確定關(guān)于特定目標(biāo)的情感傾向。近年來，許多特定目標(biāo)情感分析任務(wù)中引入了基于神經(jīng)網(wǎng)絡(luò)的方法，并取得了比傳統(tǒng)方法更好的結(jié)果。梁斌等人[13]將卷積神經(jīng)網(wǎng)絡(luò)和注意力機(jī)制結(jié)合用于特定目標(biāo)情感分析中。Wang 等人[10]在LSTM 的基礎(chǔ)上加入注意力機(jī)制，來計(jì)算一個(gè)注意力向量，提取句子中的不同重要部分，有效識別了句子中不同目標(biāo)的情感傾向。在此基礎(chǔ)上，Ma 等人[11]使用兩個(gè)LSTM 網(wǎng)絡(luò)分別對句子和目標(biāo)進(jìn)行建模，然后利用句子的隱層表示生成目標(biāo)短語的注意力向量，反之亦然。因此，模型既能提取句子中的重要部分，又能提取目標(biāo)中的重要信息。

研究表明，和評論一樣，當(dāng)目標(biāo)由多個(gè)詞組成時(shí)，目標(biāo)中不同的詞對情感分析的重要性是不一樣的，但是很多研究都忽略了這一情況，只使用目標(biāo)中所有詞的詞向量平均值來表示目標(biāo)。此外，目標(biāo)和上下文的表示是受對方影響的。例如在評論句“I am pleased with the life of battery，but the windows 8 operating system is so bad.”中，對于目標(biāo)“the life of battery”，上文中的“pleased”比其他詞對目標(biāo)情感影響較大（比如“bad”），占權(quán)重比也大。同樣地，目標(biāo)中詞“l(fā)ife”和“battery”比詞“the”和“of”的權(quán)重大。因此，在文獻(xiàn)[11]的基礎(chǔ)上，本文提出一種交互注意力網(wǎng)絡(luò)模型（LT-T-TR）用于特定目標(biāo)情感分析，進(jìn)一步提高目標(biāo)和上下文的表示，解決不同目標(biāo)在特定上下文時(shí)的情感傾向問題。

2.2 長短時(shí)記憶網(wǎng)絡(luò)

在處理文本這種變長的序列信息時(shí)，長短時(shí)記憶網(wǎng)絡(luò)（Long Short Term Memory，LSTM）可以避免梯度消失或爆炸問題[14]，并且能夠解決原始循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）中存在的長期依賴問題[15]，從而可以提取文本中重要的情感特征信息。在LSTM的結(jié)構(gòu)中，有三個(gè)門單元：輸入門、遺忘門和輸出門，以及一個(gè)記憶細(xì)胞用來對歷史信息進(jìn)行存儲和更新。LSTM 中的每個(gè)單元可以計(jì)算如下：

圖1 交互注意力網(wǎng)絡(luò)模型

其中σ是sigmoid函數(shù)，tanh是雙曲正切函數(shù)，W和b分別是權(quán)重矩陣和偏置項(xiàng)。vk是LSTM的當(dāng)前輸入，hk-1是上一時(shí)刻的隱層狀態(tài)。ik、fk、ok是輸入門、遺忘門和輸出門。

本文在標(biāo)準(zhǔn)LSTM 的基礎(chǔ)上增加反向的LSTM，通過將正向LSTM 和反向LSTM 進(jìn)行連接，形成雙向的LSTM[16（]Bi-LSTM），來提取上下文中更多的情感特征信息。

3 基于交互注意力網(wǎng)絡(luò)的特定目標(biāo)情感分析模型

本文在文獻(xiàn)[11]的基礎(chǔ)上，提出一種基于Bi-LSTM和注意力機(jī)制的交互注意力網(wǎng)絡(luò)模型，用于特定目標(biāo)情感分析，模型結(jié)構(gòu)如圖1所示，主要包括三部分：

（1）詞向量輸入矩陣。輸入矩陣中存儲上文、目標(biāo)短語和下文中所有詞的詞向量表示。

（2）Bi-LSTM 網(wǎng)絡(luò)。對（1）中的三部分輸入進(jìn)行訓(xùn)練，提取情感特征信息，輸出上文、目標(biāo)短語和下文的隱層表示。

（3）交互注意力模型。對于Bi-LSTM 層得到的三部分隱層語義表示，利用注意力機(jī)制交互地提取目標(biāo)短語和上下文中的重要情感信息。

3.1 任務(wù)定義

對于長度為n的評論R=[w1,…,wm,wm+1,…,ws-1,ws,…,wn]，其中wm+1,wm+2,…,ws-1是評論中的某一個(gè)目標(biāo)，由一個(gè)或多個(gè)詞組成，w1,w2,…,wm是上文，ws,ws+1,…,wn是下文。如圖2所示，將評論R根據(jù)目標(biāo)在句中的位置進(jìn)行重新劃分，其中上文組成，目標(biāo)組成。

圖2 評論劃分方法

特定目標(biāo)情感分析的目標(biāo)是確定評論R對于目標(biāo)T的情感極性。比如在評論“The voice quality of this phone is amazing，but the price is ridiculous”towards target“voice quality”中，目標(biāo)“voice quality”的情感極性是積極的，而目標(biāo)“price”所對應(yīng)的情感則是消極的。

3.2 詞向量表示

給定一條評論R，首先將評論中的每個(gè)詞映射到一個(gè)低維的實(shí)數(shù)向量，稱為詞嵌入[17]，作為模型的輸入向量。即對每個(gè)詞wi∈R，可以得到向量vi∈?d。其中i是單詞索引，d是詞向量的維度。通過詞嵌入操作，分別得到LT、T和RT這三部分的詞向量表示：。

3.3 Bi-LSTM網(wǎng)絡(luò)

在得到三部分詞向量表示后，將其同時(shí)輸入到三個(gè)Bi-LSTM網(wǎng)絡(luò)中，學(xué)習(xí)上下文和目標(biāo)短語中詞的語義表示。其中每個(gè)Bi-LSTM 都是通過連接兩個(gè)LSTM 網(wǎng)絡(luò)得到的。

對于上文LT,Bi-LSTM 的輸入是詞向量序列[v1l,，可以得到如下的隱層表示：

3.4 交互注意力模型

注意力機(jī)制（Attention mechanism）可以使模型在訓(xùn)練時(shí)關(guān)注到文本中哪些信息是比較重要的，本文使用注意力機(jī)制來計(jì)算與目標(biāo)相關(guān)的上下文的表示以及與受上下文影響的目標(biāo)的表示。在得到三個(gè)Bi-LSTMs生成的上下文和目標(biāo)的隱層語義表示之后，將上下文和目標(biāo)的初始表示LTinitial、Tinitial以及TRinitial作為注意力層的輸入，來交互計(jì)算上下文和目標(biāo)中不同詞的權(quán)重大小。

（1）目標(biāo)-上下文注意力計(jì)算

其中，fatt是一個(gè)評分函數(shù)，用來計(jì)算上文中的每個(gè)詞受目標(biāo)的影響程度：

其中，Wa和ba分別是權(quán)重矩陣和偏置，tanh 是非線性激活函數(shù)，TinitialT是Tinitial的轉(zhuǎn)置。

（2）上下文-目標(biāo)注意力計(jì)算

首先，通過上文的最初表示LTinitial，得到注意力權(quán)重：

其中，fatt是計(jì)算受上文影響的目標(biāo)中每個(gè)詞的重要性的評分函數(shù)：

其中，WL是權(quán)重矩陣，bL是偏置項(xiàng)。

然后，通過加權(quán)求和，可以得到受上文影響的目標(biāo)表示：

同樣地，按照公式（14）～（16），可以根據(jù)下文的初始表示TRinitial和目標(biāo)的隱層表示得到受下文影響的目標(biāo)的表示。

3.5 模型訓(xùn)練

將上文、目標(biāo)、下文三部分的最終表示LTfinal，Tfinal和TRfinal拼接為一個(gè)向量v做為文本最后的分類特征表示：

然后，用一個(gè)線性層將文本特征表示轉(zhuǎn)換為與情感類別向量維度相同的向量，再通過softmax 函數(shù)將其轉(zhuǎn)換為概率表示，取其中概率最大的值作為評論R中目標(biāo)T的情感極性判斷：

其中，W和b是softmax層的參數(shù)。在模型訓(xùn)練中使用交叉熵?fù)p失函數(shù)作為模型的優(yōu)化目標(biāo)：

其中，D是所有的訓(xùn)練數(shù)據(jù)。pc是模型輸出的預(yù)測d的情感極性為c類的概率，是實(shí)際的情感類別。

4 實(shí)驗(yàn)

4.1 實(shí)驗(yàn)數(shù)據(jù)與實(shí)驗(yàn)平臺

本文使用SemEval-2014[18]數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)驗(yàn)證，SemEval-2014 數(shù)據(jù)集包含 la ptop 和 r estaurant 兩 個(gè) 領(lǐng)域的用戶評論，數(shù)據(jù)樣本的情感極性分為積極、消極和中性三種，數(shù)據(jù)集具體信息如表1所示。

表1 SemEval 2014數(shù)據(jù)集統(tǒng)計(jì)

本文實(shí)驗(yàn)平臺信息如表2所示，實(shí)驗(yàn)基于Google的Tensorflow 深度學(xué)習(xí)框架，Tensorflow 集成了多種神經(jīng)網(wǎng)絡(luò)模型（卷積神經(jīng)網(wǎng)絡(luò)和LSTM等），并提供CPU/GPU并行計(jì)算能力，降低了模型構(gòu)建代碼的難度，提高了實(shí)驗(yàn)效率。因此，本文雖然利用三個(gè)Bi-LSTMs對上文、目標(biāo)短語和下文進(jìn)行建模，但運(yùn)算效率并不低于其他的對比模型。

表2 實(shí)驗(yàn)平臺設(shè)置

4.2 實(shí)驗(yàn)參數(shù)與評價(jià)指標(biāo)

在實(shí)驗(yàn)中，使用GloVe[19]對上下文和目標(biāo)短語中所有的詞進(jìn)行初始化。對于未登錄詞和權(quán)重矩陣，使用均勻分布U(-0.1,0.1)對其進(jìn)行隨機(jī)初始化，將所有的偏置初始化為0，將詞向量的維度和LSTM 的隱層數(shù)設(shè)為300。其他的超參數(shù)設(shè)置如表3所示。

表3 實(shí)驗(yàn)參數(shù)設(shè)置

采用準(zhǔn)確率作為評估本文模型的指標(biāo)，計(jì)算公式如下：

其中，T表示LT-T-TR 模型正確預(yù)測評論類別的數(shù)量，N是樣本總數(shù)。

4.3 對比實(shí)驗(yàn)

將本文提出的方法LT-T-TR 與以下幾種目標(biāo)情感分析方法進(jìn)行比較。

（1）Majority：統(tǒng)計(jì)訓(xùn)練集中出現(xiàn)概率最大的標(biāo)簽值作為所以測試集樣本最終的情感標(biāo)簽。

（2）LSTM：文獻(xiàn)[6]提出的模型，使用一個(gè)單獨(dú)的LSTM網(wǎng)絡(luò)對評論進(jìn)行建模，將LSTM的最后一個(gè)隱層狀態(tài)輸出作為最終分類的評論表示。

（3）TD-LSTM：將一條評論劃分為包含目標(biāo)的左半部分和包含目標(biāo)的右半部分，然后使用兩LSTM網(wǎng)絡(luò)分別對這兩部分進(jìn)行建模，學(xué)習(xí)針對特定目標(biāo)的句子表示[6]。

（4）AE-LSTM：文獻(xiàn)[7]提出的基于LSTM和注意力機(jī)制的分類模型。首先通過LSTM對評論進(jìn)行建模，然后將目標(biāo)中所有詞的平均向量和LSTM 的隱層表示進(jìn)行拼接來計(jì)算每個(gè)詞的注意力權(quán)重，最后以加權(quán)求和的方法得到評論的最終表示。

（5）ATAE-LSTM：在AE-LSTM 的基礎(chǔ)上將目標(biāo)中所有詞的平均向量在輸入層與每個(gè)詞向量進(jìn)行拼接形成新的輸入向量。

（6）IAN：文獻(xiàn)[11]提出的交互注意力模型，使用兩個(gè)LSTM對句子和目標(biāo)短語進(jìn)行獨(dú)立建模，然后利用句子和目標(biāo)短語的隱層表示生成兩個(gè)注意力向量用于最后的分類。

4.4 實(shí)驗(yàn)結(jié)果與分析

本文在SemEval-2014 數(shù)據(jù)集上進(jìn)行7 組模型的實(shí)驗(yàn)對比，情感分類準(zhǔn)確率如表4所示。

表4 不同模型的實(shí)驗(yàn)準(zhǔn)確率

從表4的實(shí)驗(yàn)結(jié)果可以看出Majority方法的準(zhǔn)確率是最差的，這是因?yàn)镸ajority沒有提取到任何的文本信息，這證明好的文本表示對目標(biāo)情感分析非常重要。其次在所有基于LSTM的方法中，基礎(chǔ)的LSTM的準(zhǔn)確率最差，這是因?yàn)長STM模型將一條評論作為一個(gè)整體進(jìn)行建模，而忽略了句子中不同目標(biāo)的重要性，從而無法準(zhǔn)確判斷句子中不同目標(biāo)的情感極性。因此在模型中加入了目標(biāo)信息的情況下，TD-LSTM 在Restaurant 和Laptop 數(shù)據(jù)集上的準(zhǔn)確率較基礎(chǔ)的LSTM 提升了1.3%和1.6%。AE-LSTM和ATAE-LSTM在模型中引入了注意力機(jī)制，使得模型在訓(xùn)練過程中能夠更好地提取句子中與情感分析結(jié)果相關(guān)的重要信息，準(zhǔn)確率有了明顯的提升。然后，與所有基于LSTM 的方法相比，交互模型IAN 在 Restaurant 和 Laptop 數(shù)據(jù)集上較 ATAE-LSTM 提升了1.4%和3.4%，這是因?yàn)镮AN 在對整條評論進(jìn)行建模的同時(shí)也考慮了目標(biāo)中每個(gè)詞的重要性，并且加強(qiáng)了目標(biāo)短語和評論之間的交互學(xué)習(xí)。最后，LT-T-TR模型的性能明顯優(yōu)于IAN 和其他所有模型。這更加強(qiáng)了之前的假設(shè)，即能夠交互式地捕獲目標(biāo)和上下文之間依賴關(guān)系的模型可以更好地預(yù)測文本信息的情感傾向，取得更好的分類效果。

為了進(jìn)一步驗(yàn)證本文模型的有效性，選擇不同的序列模型，包括RNN、LSTM 和GRU，分析其對實(shí)驗(yàn)結(jié)果的影響。表5為不同序列模型在Restaurant和Laptop評論數(shù)據(jù)集上的準(zhǔn)確率對比結(jié)果。可以看出，GRU 的性能優(yōu)于LSTM，而LSTM在精度指標(biāo)上又優(yōu)于RNN。這是因?yàn)镚RU 和LSTM 具有更復(fù)雜的隱層單元，比RNN具有更好的組合能力。而與LSTM相比，GRU需要訓(xùn)練的參數(shù)更少，因此可以比LSTM更好地進(jìn)行泛化。然后與GRU和LSTM相比，Bi-LSTM的性能稍好一些，因?yàn)锽i-LSTM較LSTM和GRU能夠捕獲更多的上下文情感信息。

表5 不同序列模型的分類準(zhǔn)確率

為了驗(yàn)證目標(biāo)短語和左右上下文之間的劃分方法以及交互注意力建模對實(shí)驗(yàn)結(jié)果的影響，設(shè)計(jì)下面的對比模型來驗(yàn)證LT-T-TR模型的有效性。首先，將評論作為一個(gè)整體而不是分為三個(gè)部分輸入到Bi-LSTM中進(jìn)行建模，然后使用注意機(jī)制計(jì)算每個(gè)詞對最終情感類別的貢獻(xiàn)度。這個(gè)模型稱為No Separation 模型。其次，簡化LT-T-TR模型，即使用目標(biāo)短語的詞向量的平均值作為目標(biāo)短語的整體表示，而不是輸入到Bi-LSTM 中進(jìn)行獨(dú)立學(xué)習(xí)（No Target-Learned模型）。進(jìn)一步，比較目標(biāo)和左右上下文之間的交互注意力建模對實(shí)驗(yàn)結(jié)果的影響。首先，通過去除目標(biāo)與左右上下文之間的注意力交互，建立了一個(gè)沒有注意力交互的模型（No Interaction模型），只學(xué)習(xí)目標(biāo)和上下文他們自身的Bi-LSTM隱層輸出下的注意力權(quán)重表示。然后，考慮了Target2Context 模型，它基于文獻(xiàn)[11]中Ma 等人的設(shè)計(jì)思想。最后，通過將評論內(nèi)容劃分為不包含目標(biāo)的上文、目標(biāo)和不包含目標(biāo)的下文三部分，建立L-T-R 模型，使用與LT-T-TR模型相同的方法建模。

各個(gè)模型的實(shí)驗(yàn)對比結(jié)果如表6 所示。可以看到No Separation模型的實(shí)驗(yàn)結(jié)果最差，No Target-Learned模型的實(shí)驗(yàn)準(zhǔn)確率也低于No Interaction 模型和Target2Context模型，這驗(yàn)證了目標(biāo)短語獨(dú)立建模對情感極性判斷的重要性。同時(shí)LT-T-TR模型和L-T-R模型優(yōu)于Target2Context 模型，這表明目標(biāo)短語和左右上下文之間的交互對于判斷特定目標(biāo)的情感極性是至關(guān)重要的。而L-T-R 模型的結(jié)果略差于LT-T-TR 模型，是因?yàn)槟繕?biāo)短語不包含在上下文中，所以提取的情感信息比LT-T-TR模型要少。

表6 LT-T-TR模型分析結(jié)果

為了進(jìn)一步分析注意力層的權(quán)重計(jì)算對目標(biāo)和上下文表示的作用，設(shè)計(jì)下面的對比模型來驗(yàn)證LT-T-TR模型中注意力層的有效性。首先刪除LT-T-TR模型中上文對應(yīng)的Attention計(jì)算層，建立No-Left-Attention模型。然后以同樣的方式刪除下文和目標(biāo)短語的Attention計(jì)算層，建立No-Right-Attention 模型和No-Target-Attention模型，最后將上下文中的Attention 計(jì)算層同時(shí)去除，建立No-Attention模型。三種模型中對于刪掉Attention計(jì)算層的上/下文，直接以BI-LSTM 的隱層輸出的平均值來表示。實(shí)驗(yàn)結(jié)果如表7所示。

表7 實(shí)驗(yàn)結(jié)果

從表7 可以看到，No-Attention 模型的實(shí)驗(yàn)準(zhǔn)確度最低，這是因?yàn)樯舷挛暮湍繕?biāo)短語中不同的詞對分類結(jié)果的重要性不一樣，而注意力機(jī)制可以通過給上下文和目標(biāo)短語中不同的詞分配不同大小的權(quán)重，對重要的詞進(jìn)行突出表示，所以刪除了所有注意力層的No-Attention模型結(jié)果最差，其次是No-Left-Attention、No-Right-Attention和No-Target-Attention。

5 結(jié)束語

針對傳統(tǒng)基于LSTM 的方法沒有充分考慮到目標(biāo)短語的獨(dú)立建模問題以及目標(biāo)短語與上下文之間存在相互影響的關(guān)系，提出了一個(gè)交互注意力網(wǎng)絡(luò)模型用于特定目標(biāo)情感分析。LT-T-TR 模型利用Bi-LSTM 和注意機(jī)制交互學(xué)習(xí)目標(biāo)短語和上下文中的重要部分，生成最終的評論表示。在SemEval 2014數(shù)據(jù)集上的對比實(shí)驗(yàn)也表明，LT-T-TR 模型較傳統(tǒng)的LSTM 方法有明顯的提高，具有更好的性能。通過不同的序列模型和池化方法進(jìn)行分析，實(shí)驗(yàn)結(jié)果表明不同的序列模型可以在上下文和目標(biāo)短語中有區(qū)別地學(xué)習(xí)重要的部分，此外，結(jié)合平均池化和最大池化方法可以取得最佳準(zhǔn)確率。最后從句子劃分和注意力交互兩方面出發(fā)，設(shè)計(jì)了不同的對比模型，也驗(yàn)證了LT-T-TR 模型的有效性。同樣，由于實(shí)驗(yàn)訓(xùn)練樣本較少，實(shí)驗(yàn)過程也會出現(xiàn)過擬合、分類錯(cuò)誤等問題，之后會針對該問題繼續(xù)改進(jìn)。