融合多種類型語(yǔ)法信息的屬性級(jí)情感分析模型

肖澤管，陳清亮,2+

1.暨南大學(xué) 計(jì)算機(jī)科學(xué)系，廣州510632

2.云趣科技-暨南大學(xué)人工智能聯(lián)合研發(fā)中心，廣州510632

屬性級(jí)情感分析（aspect based sentiment analysis，ABSA）是一種細(xì)粒度的情感分類任務(wù)。與識(shí)別篇章、句子的整體情感傾向的粗粒度任務(wù)不同，屬性級(jí)情感分析的目標(biāo)是識(shí)別句子中包含的不同屬性的情感傾向。例如，給定句子“我們?nèi)コ粤送聿停m然服務(wù)不錯(cuò)，但是不好吃。”，屬性級(jí)情感分析要識(shí)別出句子中包含的兩個(gè)屬性“晚餐”和“服務(wù)”的情感傾向分別是負(fù)向和正向。

解決屬性級(jí)情感分析的傳統(tǒng)方法是結(jié)合人工設(shè)計(jì)的特征和機(jī)器學(xué)習(xí)算法，例如支持向量機(jī)、隱馬爾科夫模型等。隨著深度學(xué)習(xí)的發(fā)展，越來(lái)越多的深度學(xué)習(xí)模型被提出用于屬性情感分析。Ruder 等人提出使用層次長(zhǎng)短期記憶模型利用長(zhǎng)評(píng)論里不同句子之間的情感關(guān)聯(lián)來(lái)進(jìn)行屬性級(jí)情感分析。Tang 等人提出結(jié)合記憶網(wǎng)絡(luò)和注意力機(jī)制的方法。近些年來(lái)，屬性級(jí)情感分析的研究重點(diǎn)在如何利用注意力機(jī)制更好地建模屬性與情感表達(dá)的關(guān)系，提出了基于不同形式注意力機(jī)制的模型。

然而，基于注意力機(jī)制的模型卻忽視了使用語(yǔ)法信息，這會(huì)導(dǎo)致模型難以正確匹配屬性和對(duì)應(yīng)情感表達(dá)。例如，在句子“我們?nèi)コ粤送聿停m然服務(wù)不錯(cuò)，但是不好吃。”中，屬性“晚餐”的對(duì)應(yīng)情感表達(dá)是“不好吃”，但由于缺乏句子的句法信息，基于注意力的模型可能會(huì)錯(cuò)將“不錯(cuò)”作為對(duì)應(yīng)“晚餐”的情感表達(dá)。一方面，現(xiàn)有的屬性級(jí)情感分析標(biāo)注數(shù)據(jù)集較小，基于注意力的模型很難從較小的數(shù)據(jù)集中學(xué)習(xí)到通用的語(yǔ)法知識(shí)；另一方面，屬性級(jí)情感分析往往面臨多個(gè)屬性、多種情感傾向的復(fù)雜語(yǔ)境，情感表達(dá)也隨著語(yǔ)言的發(fā)展更加復(fù)雜。于是，引入更多的語(yǔ)法信息成為提高模型準(zhǔn)確率的關(guān)鍵。本文提出一種融合多種類型語(yǔ)法信息的神經(jīng)網(wǎng)絡(luò)模型，有效解決基于注意力機(jī)制的模型在多個(gè)屬性、多種情感傾向的復(fù)雜語(yǔ)境下的不足。首先，本文提出將預(yù)訓(xùn)練模型BERT（bidirectional encoder representations from transformers）作為語(yǔ)法信息的來(lái)源。自BERT 提出以來(lái)，大量工作使用它的最后一層的輸出作為上下文相關(guān)詞表示輸入到模型，而忽略了使用中間層。Jawahar 等人通過(guò)實(shí)驗(yàn)得出結(jié)論，BERT 的不同層學(xué)習(xí)到的知識(shí)有顯著偏好：低層偏向?qū)W習(xí)短語(yǔ)結(jié)構(gòu)信息，中層偏向?qū)W習(xí)句法信息，高層偏向?qū)W習(xí)語(yǔ)義信息。這啟發(fā)本文使用BERT 的中間層引入短語(yǔ)結(jié)構(gòu)、句法等多種語(yǔ)法信息解決屬性級(jí)情感分析的復(fù)雜語(yǔ)境問(wèn)題。然后，本文使用依存句法樹(shù)引入句子結(jié)構(gòu)信息。句子的依存句法樹(shù)含有顯性的結(jié)構(gòu)信息，如圖1 所示，屬性“晚餐”在依存句法樹(shù)中離與它相關(guān)的情感表達(dá)“不好吃”更近，而在句子的線性形式中，“不錯(cuò)”比“不好吃”更靠近屬性“晚餐”。在這種情況下，基于注意力機(jī)制的模型難以正確匹配屬性和情感表達(dá)的關(guān)系，尤其是模型使用基于詞和屬性的距離的位置編碼時(shí)，正確的情感表達(dá)“不好吃”的重要性會(huì)進(jìn)一步減小。為了有效利用這種顯性的結(jié)構(gòu)信息，本文利用基于依存句法樹(shù)的多層圖卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)屬性的向量表示。為了同時(shí)利用BERT 中間層的語(yǔ)法信息和依存句法樹(shù)的句法結(jié)構(gòu)信息，本文提出一種利用多種類型語(yǔ)法信息的模型，將BERT 中間層的輸出作為指導(dǎo)信息，每一層圖卷積神經(jīng)網(wǎng)絡(luò)（graph convolutional networks，GCN）的輸入由上一層GCN 的輸出和該層指導(dǎo)信息結(jié)合而成，然后再進(jìn)行圖卷積操作。屬性在最后一層GCN 的輸出作為最終的特征，進(jìn)行情感傾向分類。

圖1 依存句法樹(shù)例子Fig.1 Example of dependency tree

本文的貢獻(xiàn)可以總結(jié)為以下三點(diǎn)：

（1）提出使用BERT 的中間層輸出，引入多種類型語(yǔ)法信息，能夠更好地自動(dòng)抽取特征。

（2）提出一種同時(shí)利用BERT 和依存句法樹(shù)兩種語(yǔ)法信息來(lái)源的模型，將BERT 中間層的語(yǔ)法信息作為指導(dǎo)信息，指導(dǎo)每層GCN。

（3）在SemEval 2014 Task4 Restaurant、Laptop 和Twitter 三個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，本文方法超越了很多基準(zhǔn)模型。

1 相關(guān)工作

1.1 BERT

BERT是在大規(guī)模無(wú)標(biāo)注文本上預(yù)訓(xùn)練的語(yǔ)言模型，基于它的微調(diào)模型在句子級(jí)情感分類、詞性標(biāo)注等自然語(yǔ)言處理問(wèn)題上都取得了非常好的效果。BERT 由多層Transformer Encoder疊加組成，每層Transformer Encoder 的輸出都作為下一層Transformer Encoder 的輸入。一般認(rèn)為BERT 最后一層的輸出擁有豐富的上下文詞相關(guān)信息，因此通常把它用來(lái)代替Word2vec、Glove作為模型的輸入詞向量。Jawahar等人通過(guò)大量實(shí)驗(yàn)發(fā)現(xiàn)，BERT 的不同層學(xué)習(xí)到的知識(shí)有顯著偏好。BERT 的低層傾向于學(xué)習(xí)短語(yǔ)語(yǔ)法和句子長(zhǎng)度等信息，中層傾向于學(xué)習(xí)主謂一致、詞序是否正確等語(yǔ)法信息，而高層傾向于學(xué)習(xí)上下文相關(guān)語(yǔ)義信息。

1.2 圖卷積神經(jīng)網(wǎng)絡(luò)GCN

GCN可以看作卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks，CNN）在圖數(shù)據(jù)上的遷移。對(duì)于一張圖，圖中的每個(gè)節(jié)點(diǎn)都能用一個(gè)向量來(lái)表示，GCN用圖中每個(gè)節(jié)點(diǎn)的一跳鄰居節(jié)點(diǎn)來(lái)更新所有節(jié)點(diǎn)的表示。在開(kāi)始時(shí)，每個(gè)節(jié)點(diǎn)被初始化為初始狀態(tài)，而后GCN 對(duì)圖中每個(gè)節(jié)點(diǎn)的表示進(jìn)行更新，這時(shí)圖中每個(gè)節(jié)點(diǎn)即可獲得它們所有一跳鄰居節(jié)點(diǎn)的信息。疊加使用層GCN，則每個(gè)節(jié)點(diǎn)可以獲得跳鄰居節(jié)點(diǎn)的信息。經(jīng)典的GCN 結(jié)構(gòu)和流程如圖2所示。使用基于依存句法樹(shù)的GCN 可以直接匹配屬性和情感表達(dá)，緩解冗余信息的干擾。

圖2 圖卷積網(wǎng)絡(luò)Fig.2 Graph convolutional network

1.3 依存句法樹(shù)在屬性級(jí)情感分析的應(yīng)用

依存句法樹(shù)是一種把句子按照詞語(yǔ)之間依存關(guān)系重新組織的樹(shù)形結(jié)構(gòu)。詞語(yǔ)之間用有向邊相連，有向邊的頭稱為支配詞，有向邊的尾代表從屬詞，它們之間的關(guān)系叫作依存關(guān)系。圖1 是句子“我們?nèi)コ粤送聿停m然服務(wù)不錯(cuò)，但是不好吃。”省略了依存關(guān)系的依存句法樹(shù)。

屬性級(jí)情感分析需要精準(zhǔn)匹配句子中屬性與其對(duì)應(yīng)的情感表達(dá)，因此正確建模句法信息非常重要。早期，研究人員提出使用依存句法樹(shù)直接獲得句法信息，并使用遞歸神經(jīng)網(wǎng)絡(luò)建模節(jié)點(diǎn)的情感信息流動(dòng)。近些年，隨著圖神經(jīng)網(wǎng)絡(luò)（graph neural networks，GNN）的發(fā)展，研究人員開(kāi)始探索將依存句法樹(shù)和GNN 結(jié)合解決屬性級(jí)情感分析。Huang 等人提出使用基于依存句法樹(shù)的多層圖注意力網(wǎng)絡(luò)（graph attention network，GAT）學(xué)習(xí)屬性表示，同時(shí)利用長(zhǎng)短期記憶模型（long short-term memory，LSTM）跟蹤不同GAT 層的屬性表示。Sun 等人提出在使用雙向LSTM（bi-directional LSTM，BiLSTM）得到上下文相關(guān)詞表示的基礎(chǔ)上使用基于依存句法樹(shù)的圖卷積神經(jīng)網(wǎng)絡(luò)（GCN）學(xué)習(xí)屬性的表示。在此基礎(chǔ)上，Zhang等人利用注意力機(jī)制匹配GCN 學(xué)習(xí)到的屬性表示和相關(guān)的情感表達(dá)。

2 利用多種類型語(yǔ)法信息增強(qiáng)的模型

2.1 問(wèn)題定義和符號(hào)說(shuō)明

給定一個(gè)句子={,,…,w}，其中含有個(gè)詞和一個(gè)由個(gè)連續(xù)詞組成的代表屬性的子字符串={w,w,…,w}。屬性級(jí)情感分析的目標(biāo)是識(shí)別出該屬性在句子中的情感傾向。

本文提出的融合多種語(yǔ)法類型信息的模型架構(gòu)如圖3 所示。

圖3 模型結(jié)構(gòu)Fig.3 Model architecture

2.2 BERT 的使用

本文將BERT當(dāng)作一個(gè)語(yǔ)法知識(shí)的提取器，將BERT 學(xué)習(xí)到的語(yǔ)法知識(shí)當(dāng)作指導(dǎo)信息，與每一層GCN 的輸入結(jié)合。BERT 的輸入采用了雙句的形式：“[CLS]句子[SEP]屬性[SEP]”。BERT 不同層學(xué)習(xí)到的語(yǔ)法知識(shí)有區(qū)別但相鄰層區(qū)別不大，為了充分利用BERT 又使每一層GCN 的指導(dǎo)信息有差異化，本文選取BERT的第1、5、9和12共4層的輸出作為GCN 的指導(dǎo)信息。當(dāng)輸入的某個(gè)詞被分解為多個(gè)子詞時(shí)，只使用它的第一個(gè)子詞對(duì)應(yīng)的輸出。于是BERT 產(chǎn)生的指導(dǎo)信息為：

2.3 詞嵌入層和雙向LSTM 層

給定句子=[,,…,w]，本文使用Glove 將其映射到對(duì)應(yīng)的詞向量：

接著將詞向量輸入到雙向LSTM 中，得到上下文相關(guān)詞表示H：

其中，H∈R是雙向LSTM 的輸出。

2.4 GCN 層

為了能夠利用來(lái)自依存句法樹(shù)的句法結(jié)構(gòu)信息，本文使用基于依存句法樹(shù)的多層GCN。句子的依存句法樹(shù)被當(dāng)作無(wú)向圖，并給圖中每個(gè)節(jié)點(diǎn)增加了連接到自己的邊。第一層GCN 的節(jié)點(diǎn)表示初始化為雙向LSTM 的隱藏狀態(tài)與其對(duì)應(yīng)的BERT 指導(dǎo)信息的結(jié)合，其后每一層GCN 的輸入由前一層GCN的輸出和相應(yīng)BERT 指導(dǎo)信息結(jié)合。而后，節(jié)點(diǎn)表示經(jīng)過(guò)卷積操作進(jìn)行更新：

其中，∈{2 ,3,4}，∈{1 ,2,3,4}，G表示第層GCN的指導(dǎo)信息，W、W是可學(xué)習(xí)的參數(shù)。 d是第個(gè)節(jié)點(diǎn)的度，是圖的鄰接矩陣，W和b是可學(xué)習(xí)的參數(shù)。由于選取了BERT 中的四層作為指導(dǎo)信息，GCN 的層數(shù)也有四層。把屬性=[w,w,…,w]在最后一層GCN 的輸出表示求平均作為屬性的最終表示，然后輸出到情感分類層。

2.5 情感分類層

將GCN 層得到的屬性表示h經(jīng)過(guò)全連接層映射到與情感類別個(gè)數(shù)相同的維度，再使用Softmax 將全連接層的輸出正則化，得到模型對(duì)每個(gè)類別的分類概率：

其中，W和b是可學(xué)習(xí)的參數(shù)。

2.6 模型訓(xùn)練

模型使用帶L2 正則化的交叉熵作為損失函數(shù)，使用隨機(jī)梯度下降法進(jìn)行優(yōu)化：

其中，表示訓(xùn)練數(shù)據(jù)集，表示訓(xùn)練樣本，代表樣本真實(shí)標(biāo)簽。代表L2 正則化系數(shù)，代表整個(gè)模型的參數(shù)。

3 實(shí)驗(yàn)結(jié)果及分析

3.1 實(shí)驗(yàn)數(shù)據(jù)

本文提出的模型在三個(gè)數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，包 括SemEval 2014 Task4 Restaurant、Laptop和Twitter 數(shù)據(jù)集。所有的實(shí)驗(yàn)都剔除了數(shù)據(jù)集中標(biāo)簽為“沖突”的樣本，只使用標(biāo)簽為“正向”“中性”“負(fù)向”三類樣本。表1 顯示三個(gè)數(shù)據(jù)集的樣本劃分情況，采用了和開(kāi)源數(shù)據(jù)集的原始論文相同的劃分。

表1 數(shù)據(jù)集樣本劃分Table 1 Statistics of datasets

3.2 基線模型

為了全面評(píng)估本文提出的模型，本文將其與多個(gè)基線模型進(jìn)行對(duì)比。IAN（interactive attention networks）分別用兩個(gè)LSTM 生成句子和屬性的初始表示，然后使用從句子到屬性的注意力機(jī)制和從屬性到句子的注意力機(jī)制得到上下文相關(guān)的屬性和句子表示，最后將兩個(gè)表示進(jìn)行拼接作為特征得到最后的分類結(jié)果。AOA（attention over attention）用行Softmax 和列Softmax 建模句子和屬性交互關(guān)系。AEN-BERT使用多頭自注意力機(jī)制生成句子和屬性的表示，并使用標(biāo)簽平滑處理中立樣本。CDT（convolution over a dependency tree）用BiLSTM 得到上下文相關(guān)詞表示后使用一層圖卷積神經(jīng)網(wǎng)絡(luò)，最后將屬性的表示作為特征分類。TD-GAT-BERT（target-dependent graph attention network）用多層GCN 學(xué)習(xí)屬性表示，并使用LSTM 建模多層GCN 的屬性表示。ASGCN（aspect-specific graph convolutional network）和ASGCN-BERT在CDT 的基礎(chǔ)上使用從屬性表示到句子的注意力機(jī)制。ASGCN-BERT 模型用BERT 最后一層代替ASGCN 模型的輸入層和雙向LSTM 層。BERT-SPC 模型用“[CLS]”字符在BERT最后一層的輸出作為特征微調(diào)的模型。

3.3 實(shí)驗(yàn)設(shè)置

本文使用開(kāi)源工具spaCy（https://github.com/explosion/spaCy）生成依存句法樹(shù)，將生成的依存句法樹(shù)作為圖，忽略邊的類型。BERT模型使用開(kāi)源工具Transformers（https://github.com/huggingface/transformers）實(shí)現(xiàn)。實(shí)驗(yàn)中，Glove詞向量的維度d為300，雙向LSTM的隱藏狀態(tài)維度d為300。BERT使用uncased BERTbase模型，隱藏狀態(tài)維度為768，共有12層。Batch大小設(shè)置為32，BERT 模型學(xué)習(xí)率設(shè)為0.000 02，其他模塊學(xué)習(xí)率為0.001。學(xué)習(xí)率隨訓(xùn)練步數(shù)線性逐漸增加，在第3 個(gè)epoch 達(dá)到頂峰，然后線性逐漸下降。使用0.02 的權(quán)重衰減系數(shù)和0.2 的dropout 概率。模型參數(shù)用Xavier 方法初始化為均勻分布，然后用Adam優(yōu)化算法訓(xùn)練模型。本文使用了和Zhang 等人相似的實(shí)驗(yàn)設(shè)置，實(shí)驗(yàn)結(jié)果取隨機(jī)抽取的10 個(gè)隨機(jī)種子的平均結(jié)果，每次實(shí)驗(yàn)最多訓(xùn)練30 個(gè)epoch，并使用早停法，當(dāng)連續(xù)3 次驗(yàn)證準(zhǔn)確率不增加時(shí)，提前結(jié)束訓(xùn)練（early stopping）。

3.4 實(shí)驗(yàn)結(jié)果

本文使用準(zhǔn)確率（Accuracy）和Macro-F1 值來(lái)評(píng)估模型。表2 給出了8 個(gè)基線模型和本文提出的模型在3 個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果，“—”代表原始論文中缺少結(jié)果。模型后標(biāo)有“*”表示實(shí)驗(yàn)結(jié)果引用自原始論文。

從表2 中可以看出，本文提出的模型在3 個(gè)領(lǐng)域的數(shù)據(jù)集上都取得了很好的效果。在Restaurant 數(shù)據(jù)集和Twitter 數(shù)據(jù)集上，本文方法比所有基線模型都好，準(zhǔn)確率分別比次優(yōu)模型提高了0.1%和1.4%，Macro-F1 分別提高了1.8%和1.6%。在Laptop 數(shù)據(jù)集上，本文方法也取得了相當(dāng)好的效果，準(zhǔn)確率比最好的TD-GAT-BERT 模型低1%，而Macro-F1 則達(dá)到了最好。

表2 實(shí)驗(yàn)結(jié)果Table 2 Experimental results %

對(duì)比4 個(gè)使用了BERT 的基線模型，本文提出的模型比其他模型有更好的效果，表明同時(shí)使用BERT中間層具有的短語(yǔ)結(jié)構(gòu)信息、語(yǔ)法信息和依存句法樹(shù)的句法結(jié)構(gòu)信息等多種語(yǔ)法信息可以更好地幫助解決屬性級(jí)情感分析問(wèn)題。

為了分析來(lái)自BERT 不同層的語(yǔ)法信息和來(lái)自依存句法樹(shù)的句法結(jié)構(gòu)信息對(duì)模型效果的影響，本文對(duì)模型的兩個(gè)變種模型進(jìn)行了實(shí)驗(yàn)，結(jié)果如表2 所示。模型名字的下標(biāo)表示使用的層數(shù)，Ours代表該模型使用BERT 的第1，5，9 層作為指導(dǎo)信息，并且使用了三層GCN；Ours代表該模型僅使用BERT 的第12 層作為指導(dǎo)信息，并使用一層GCN。

基線模型CDT 可以看作沒(méi)有使用任何BERT 指導(dǎo)信息的本文提出的模型的變種。從表2 可以看到，在多個(gè)數(shù)據(jù)集上Ours和Ours的效果都遠(yuǎn)遠(yuǎn)好于沒(méi)有使用任何BERT 指導(dǎo)信息的CDT。Ours相比BERT-SPC 在所有數(shù)據(jù)集上效果都有提升，說(shuō)明使用依存句法樹(shù)具有的句法結(jié)構(gòu)信息可以一定程度增強(qiáng)模型的效果。而Ours在與Ours 對(duì)比時(shí)，它在所有數(shù)據(jù)集上的效果都稍差，這顯示了BERT 低層和中層的語(yǔ)法信息也能夠有效提升分類效果。只使用BERT低層和中層作為指導(dǎo)信息的Ours也能取得不錯(cuò)的效果，但是在所有實(shí)驗(yàn)中效果都比Ours差一些。分析認(rèn)為有以下幾點(diǎn)原因：第一，雖然BERT 的低層相較于高層捕獲了更多的短語(yǔ)結(jié)構(gòu)信息，但是它的12層輸出作為上下文相關(guān)的詞向量，仍然具有一定的感知短語(yǔ)結(jié)構(gòu)信息的能力，這一點(diǎn)從Jawahar 等人的工作的圖1 可以看出；第二，由于模型使用了依存句法樹(shù)，Ours可以一定程度上彌補(bǔ)沒(méi)有使用BERT的中層的句法信息的不足；第三，BERT 高層學(xué)習(xí)到的語(yǔ)義信息在該問(wèn)題中相比于其他層更重要。從實(shí)驗(yàn)結(jié)果可以看出，沒(méi)有使用基于依存句法樹(shù)的GCN和BERT 中間層作為指導(dǎo)信息的BERT-SPC 模型也取得了相當(dāng)好的效果。

3.5 實(shí)例分析

為了驗(yàn)證本文提出的模型在處理復(fù)雜語(yǔ)境和復(fù)雜情感表達(dá)方面更有優(yōu)勢(shì)，分析了6 個(gè)樣本實(shí)例，結(jié)果如表3 所示。每個(gè)句子中，當(dāng)前分類的屬性被方括號(hào)括起來(lái)并加粗，其后給出了實(shí)例的真實(shí)標(biāo)簽、AENBERT 分類結(jié)果和本文提出的模型的分類結(jié)果。

表3 實(shí)例分析Table 3 Case study

可以看出，在多屬性、多情感的復(fù)雜語(yǔ)境下AEN-BERT 無(wú)法準(zhǔn)確匹配當(dāng)前屬性與其對(duì)應(yīng)情感表達(dá)的關(guān)系，而誤把其他屬性的情感表達(dá)當(dāng)作分類依據(jù)。比如，在第一個(gè)句子中，AEN-BERT 將“飲料”的情感傾向誤分類為正向，而真正為正向情感傾向的屬性是“菜單”；同樣的，在第二個(gè)句子中，AEN-BERT把屬性“餐館”的情感表達(dá)當(dāng)作了“食物”的情感表達(dá)，因此將“食物”的情感傾向誤分類為正向。在第三、第四和第五個(gè)句子中，AEN-BERT 也犯了同樣的錯(cuò)誤。而本文提出的模型在面對(duì)這種復(fù)雜語(yǔ)境時(shí)可以匹配不同屬性對(duì)應(yīng)的情感表達(dá)，因此表現(xiàn)比AENBERT 更好。例如，在第三和第四個(gè)句子中即使有“很慢”和“很差”這種強(qiáng)烈情感傾向，本文提出的模型也沒(méi)有被干擾，最終做出了正確的判斷。值得注意的是，由于模型具有短語(yǔ)結(jié)構(gòu)信息，在第二個(gè)句子中，它可以判斷復(fù)雜情感表達(dá)“prefer not”的情感傾向?yàn)樨?fù)向。在對(duì)第六個(gè)樣本分類時(shí)，兩個(gè)模型都將情感誤分類為正向。句子中包含一個(gè)賓語(yǔ)從句，屬于復(fù)雜句型。經(jīng)過(guò)檢查，句子的依存句法樹(shù)解析基本正確，因此導(dǎo)致誤分類可能的原因是GCN 層數(shù)較多，使得“fast”的信息最終傳遞到了屬性，影響了最后的分類。

4 結(jié)束語(yǔ)

針對(duì)屬性級(jí)情感分析現(xiàn)有方法的不足，本文提出了利用多種類型語(yǔ)法信息的模型，同時(shí)利用了BERT 中間層語(yǔ)法信息和依存句法樹(shù)的句法結(jié)構(gòu)信息。首先，將句子輸入BERT 以獲得指導(dǎo)信息。然后，將經(jīng)過(guò)詞嵌入層和雙向LSTM 的詞表示與指導(dǎo)信息結(jié)合，再輸入到基于依存句法樹(shù)的GCN 層。經(jīng)過(guò)多層具有指導(dǎo)信息的GCN，最后將屬性的向量表示作為特征進(jìn)行情感傾向分類。實(shí)驗(yàn)結(jié)果表明本文提出的模型可以很好地解決屬性級(jí)情感分析任務(wù)。

本文提出的模型使用了依存句法樹(shù)，但沒(méi)有解決生成的依存句法樹(shù)有錯(cuò)誤的問(wèn)題，這會(huì)導(dǎo)致模型把與屬性的情感傾向不相關(guān)信息考慮到最終的分類決策中，這會(huì)對(duì)模型的效果造成一定影響。將來(lái)的工作將重點(diǎn)集中在通過(guò)修補(bǔ)或變形依存句法樹(shù)來(lái)緩解錯(cuò)誤帶來(lái)的影響。