面向方面級情感分類與深度學習的分層網絡模型①

李重霖，李明軒，謝卓亨，張楚其，陳珂

(1.廣東石油化工學院 自動化學院，廣東 茂名 525000；2.廣東石油化工學院 計算機學院，廣東 茂名 525000)

基于方面的情感分類是情感分析領域的細粒度子任務，也是一個深層次的情感分析任務[1-3]。與一般情感分析不同，基于方面的情感分類旨在推測特定目標詞在不同語境下的情感極性。同一個句子，針對不同的目標可能會出現完全相反的情感極性?；谏窠浘W絡的方法在情感分析中已經得到廣泛應用，取得了較好的性能。注意力機制在關系分類、機器翻譯等相關領域中具有優異的表現性能[4,5]。同時，注意力機制能很好地與神經網絡相結合，在基于方面的情感分類中獲得更好的結果。然而，這些方法只能在訓練模型時專注于方面本身，忽略了目標詞語對句子的影響，且無法在整個語料中提取該方面的重要信息。

一般來說，同一個語料中表達相似觀點的句子具有相同的情感極性，因此同一語料中不同句子之間的關系，對于基于方面的情感分類很重要。例如，一些短句沒有任何明顯的情感詞來預測極性，僅僅考慮獨立句子就很難預測這些句子的情感極性，而語境關系可以用來處理這些情況。

基于此，本文提出了一種層次化的區域性CNN-LSTM模型，在訓練過程中考慮分區域和句子層面的注意力，同時利用句子內部和句子間的關系。分層區域CNN旨在通過獲取接收的多個區域來搜索句子之間的關系，并且新的分層輸入能夠在整個搜索中提取方面的長距離依賴性。分層LSTM體系結構由單詞級別和句子級別LSTM組成。單詞級別的LSTM可以接收單詞級別的順序輸入和注意力，集中考查句子的不同方面即不同的目標。句子級別LSTMs能夠通過從分層區域CNN接收的連續輸入來獲取句子級別的注意力，用以表達句子在整個評論中的重要關系信息。

1 分層分區域CNN-LSTM模型

本文提出的CNN-LSTM模型，主要考慮關注單詞級和句子級的情感信息，充分利用更多豐富的句子和整個語料的特征信息。模型分4部分：(1)區域CNN：接收幾個不同區域的上下文輸入。(2)分層輸入層：向分層CNN輸入與語料嵌入矩陣。(3)合并層：將語料信息與區域CNN輸出的功能相結合。(4)分層LSTM：利用單詞級和句子級的注意力來獲得更深入的信息，來自句子內部和句子間的關系。

1.1 任務定義

給定一個句子s= {w1，w2，...，t，...，wn}，其中t是句子中的一個目標，句子中有0個或多個目標對應不同的方面。每個方面由一個實體和一個屬性組成，例如FOOD#QUALITY，基于方面的情感分類旨在預測句子中不同方面的情感極性。對于每個方面，生成一個嵌入a∈Rm的m維表示方面，其中a是實體和屬性嵌入的平均值。

1.2 區域CNN

區域CNN是針對輸入長文本任務的CNN的改進，根據目標將語料的每個句子劃分為一個或多個區域。本文的區域CNN主要受區域CNN-LSTM長文本情感分析模型的啟發。對于評論中的每個句子，都非常注意目標和目標周圍的單詞，例如s={w1，w2，...，t1，...，t2，...，wn}，句子中有兩個目標，根據目標將這個句子分成兩個區域。對于每個區域，都會將該區域的長度切斷或填充到目標上，并將其作為輸入提供給區域CNN。由于s={w1，w2，...，wn}是一個沒有任何目標詞的句子，可以直接將它切割或填充到長度為h的區域。

1.3 分層區域CNN

1.4 分層LSTM

2 實驗結果與分析

2.1 實驗數據集

在Semeval2016任務5的兩種語言的4個數據集上進行實驗。每個數據集包含一系列客戶評論語料，每個評論包含幾個句子和方面，其統計信息見表1。本文刪除了沒有超出任務范圍的方面的句子。

表1 數據集統計信息

在實驗中，使用Glove初始化英文的詞向量和中文的Leipzig Corpora Collection。并使用了300維的單詞向量，在CNN中分別設置了3，4，5個具有100個特征映射的窗口。訓練所有模型的最小批量為32，退出率為0.5，L2正則化權重為0.001，以及采用Ada Grad的更新規則。區域長度設為50，并且對中文數據進行細分。

2.2 典型模型實驗

將本文模型與幾種典型模型進行比較，其中包括ATT-CNN，LSTM，ATT-LSTM，HP-LSTM。

(1)RCNN-LSTM模型。該模型為本文構建的模型，沒有在CNN架構中使用分層輸入層，不能考慮整個評論中方面的長距離依賴性。(2)HRCNN-LSTM模型。該模型為本文的完整模型，它能夠在整個預測過程中捕捉深度依賴的方面。(3)ATT-CNN模型?；谧⒁饬Φ腃NN模型，主要在語句對建模方面有較好的性能，本文使用類似的模型來接收單詞嵌入和方面嵌入，以便能夠關注預測中的方面。(4)LSTM模型。標準的LSTM，沒有加入針對方面的注意力，無法準確推斷同一句中不同方面的情感極性。(5)ATT-LSTM模型?；谧⒁饬Φ腖STM模型，可以集中關注句子的不同方面。該模型實現了方面級別情感分類，但使用獨立句子作為輸入并嵌入額外的方面向量。(6)HP-LSTM模型。一個能夠利用句子內部和句子間關系的層次LSTM模型，這個模型考慮了方面和整個評論之間的關系。

在不同領域數據集上，采用本文的RCNN-LSTM和HRCNN-LSTM模型及幾種基于神經網絡的模型進行基于方面的情感分類的二元預測(正面和負面)，其準確性見表2。

表2 二元預測準確率 %

由表2可知，本文模型在所有領域數據集上的二元預測準確率超過其他模型。相對于二元預測的結果，本文模型比其他基于神經網絡的模型具有更好的性能，表明本文方法的有效性。此外，與RCNN-LSTM相比，使用分層輸入層的HRCNN-LSTM在所有數據集上的準確性有所提高，揭示了CNN分層輸入在本文方法中是有效的。

2.3 根據目標劃分區域的影響

本文采用了基于目標劃分的兩種策略：一是根據目標將評論的每個句子分成幾個區域；二是將一個單獨的句子作為數據集的一個區域，通過兩種策略驗證本文基于目標劃分區域方法的有效性?；谀繕藙澐謪^域，采用本文的兩種模型在不同長度區域內測試其準確率，其結果如圖1所示。圖1中，TAR為根據目標劃分評論區域，DIR為使用單個句子作為區域。

圖1 本文模型具有不同長度區域的分類準確率

由圖1可知，HRCNN-LSTM和RCNN-LSTM在基于目標劃分區域方面比直接使用單個句子作為區域的效果更好。這表明了根據目標劃分區域是必要的。

2.4 典型例子分析

采用HRCNN-LSTM(本文模型)、ATT-LSTM和HP-LSTM在餐館數據集上進行預測，其結果見表3。

表3 典型樣例分析

表3中例1是一個短句，沒有任何明顯的情感詞匯，ATT-LSTM模型的獨立句子分類器預測了一個錯誤的標簽，而HP-LSTM和HRCNN-LSTM通過捕獲評論的上下文關系識別正確。表3中例2是一個模棱兩可的句子，ATT-LSTM和HP-LSTM都不能推斷模糊句子，而本文模型卻揭示了正確的答案。例2在同一評論的其他句子中仍然可以表現出情感極性，表明提取某個方面的遠距離依賴性的意義。對于例3和例4中給出的多方面和模糊句子，本文HRCNN-LSTM能夠有效地區分不同方面的情感極性。

3 結語

本文提出了一個層次化區域性的CNN-LSTM，并采用一個基于方面的情感分類的CNN層次化輸入層。該模型能夠通過分層體系結構在整個評論中提取方面的長距離依賴性，并通過探索單詞級和句子級關注來捕獲句子的內部和相互關系。通過對SemEval-2016基于方面的情感分類任務的多個領域數據集進行實驗，驗證了本文模型的有效性。