采用上下文專注機制的特定目標觀點抽取

陳聿鵬，陳佳偉，黃 榮，2，韓 芳，2

1.東華大學 信息科學與技術學院，上海 201620

2.東華大學 數字化紡織服裝技術教育部工程研究中心，上海 201620

觀點目標抽取和觀點詞抽取是細粒度情感分析任務（aspect-based sentiment analysis，ABSA）[1]領域兩個基本的子任務。近年來，許多研究在這兩個任務上取得了巨大的進步。然而，很少有研究將觀點目標和觀點詞成對抽取。因此，面向目標的觀點詞抽取成為了ABSA領域的一個新的子任務，旨在從句子中為給定的觀點目標抽取相應的觀點詞。如圖1中的例子所示，“waiters”和“pasta”是給定的兩個觀點目標，面向目標的觀點抽取（target-oriented opinion words extraction，TOWE）[2]任務的目的是抽取“friendly”和“out of this world”作為兩個觀點目標各自的觀點詞。

圖1 面向目標的觀點詞抽取Fig.1 Object oriented viewpoint word extraction

近年來，人們對目標抽取[3]和觀點抽取[4]兩個子任務進行了大量基于神經網絡的研究。其中，有些研究將兩個任務整合到一個多任務學習架構[5]中進行聯合抽取。Qiu等[6]提出雙重傳播機制，以自舉的方式擴大觀點目標和觀點詞列表。Liu等[7]從統計詞對齊模型中聯合提取目標詞和觀點詞，并對關系進行建模。這種聯合抽取的策略也被用于具有多任務學習的神經網絡。然而，在所有這些工作中，提取出的觀點目標和觀點詞都是分開的，并且沒有成對地抽取。在過去的文獻中，只有少數的研究討論目標和目標觀點成對抽取。Hu等[8]利用距離信息識別離目標最近的形容詞作為觀點詞。Zhuang等[9]利用詞典和人工構建的詞表提取語料庫中的目標詞和觀點詞，然后利用基于依存句法樹的句法規則模板識別有效的特征意見對。然而，這兩種方法在很大程度上依賴于外部資源，如解析器或詞典，它們的性能依賴于解析結果的質量。同時，在這兩種方法中，觀點詞的檢測和對應關系的發現過程被分離成兩個任務，這兩個任務都會受到錯誤傳播的影響。因此，為了研究這個任務，Fan等[10]發布了一個包括四個數據集的基準語料庫，將面向目標的觀點詞抽取問題轉化為給定目標的序列標記問題，并提出了一個目標融合神經序列標記模型（inward-outward LSTM and global context，IOG），取得了很好的效果。相比之下，該模型是一種純數據驅動的有監督學習方法，不需要任何外部語言知識、詞匯或手工制作的模板，模型旨在通過序列標記一步抽取出相應的觀點詞。然而，IOG模型利用六種不同位置和方向的LSTM提取目標的觀點詞，模型過于復雜。

顯然，之前大多數的方法將目標和觀點分開抽取，沒有成對抽取，且依賴外部資源。IOG模型盡管實現了對目標和觀點的成對抽取，且效果非常不錯，然而模型過于復雜。同時，之前的模型未能注意到觀點詞和目標詞之間位置上的聯系。

基于此，本文提出基于目標融合和局部上下文專注機制的特定目標觀點抽取模型（aspect embedding context features dynamic weight，AE-CDW），算法的特點如下：

（1）為了加強目標和句子之間的交互，使句子的語義表示更加確切，將目標詞向量通過簡單的CNN特征抽取后，與句子向量進行拼接輸入到網絡。

（2）考慮到觀點詞的位置往往是距離目標詞更近的特點，借鑒LCF模型[11]的思想，本文采用上下文專注機制把注意力更多地放在目標詞的周圍，削弱遠距離詞的語義。

同時，采用BiLSTM[12]網絡對句子進行編碼和特征抽取，相比于IOG網絡減少了LSTM網絡的個數，減小了模型的復雜度。最終，在四個公開數據集上對模型的效果進行了驗證。實驗結果表明，所提模型有效地解決了上文所提到的問題。

1 算法模型設計與實現

1.1 模型整體架構

本文提出的基于目標融合和局部上下文專注機制的特定目標觀點抽取模型結構如圖2所示。該模型主要包括詞嵌入層、BiLSTM編碼層、上下文專注機制和解碼層。詞嵌入層把句子轉換成模型的輸入的同時，將目標信息融入句子表示；同時，本文將BERT應用到此次任務；BiLSTM編碼層將句子輸入進行語義編碼和特征抽取；上下文專注機制增強目標詞上下文的語義權重；解碼層完成序列標注的任務。

圖2 AE-CDW整體架構示意圖Fig.2 AE-CDW architecture diagram

模型的定義：TOWE的目的是從句子中提取出與給定目標相對應的觀點詞，形式上可以轉化為對給定目標進行序列標注的任務。具體地說，給定一個評論句子s={w1,w2,…,wn}，句子中包含n個單詞和一個目標詞wt，其中t是目標詞在句子中的位置，模型的目的是給句子s中的每個單詞wi打上標簽yi,yi∈{B,I,O}，B、I表示觀點的起始詞和非起始詞，O表示非觀點詞，由標簽B和I組成的跨度代表目標wt相應的觀點詞。如表1所示，圖1中的句子對于不同的目標詞被標記為不同的標簽。

表1 數據集標簽Table 1 Dataset label

1.2 目標詞嵌入

1.2.1 融合目標詞嵌入

在面向特定目標的觀點抽取任務中，目標詞的語義信息扮演了重要的角色，給定不同的目標，抽取出的觀點詞是不同的。由于BiLSTM在編碼句子的時候沒有考慮到目標語義信息的重要性，為了更好地利用目標信息，本文把目標信息融入到每個詞的詞向量中，從而構成句子的表示。模型結構如圖3所示。

圖3 CDW示意圖Fig.3 CDW diagram

模型的輸入是一個由n個單詞{w1,w2,…,wn}和目標字符串t組成的句子，將目標t表示為{wt,wt+1,…,wt+k},因為一個目標可能是多個單詞組成的短語，例如目標“sushi rolls”。為了獲取目標的特征信息，用一個簡單的CNN[13]網絡抽取目標的特征vt，vt的計算公式如下：

其中，Xt:t+k是目標詞的詞嵌入矩陣。把抽取出的目標特征向量vt與每個位置的上下文詞向量拼接構成最終的句子表示r=vt⊕vi，其中vi是每個單詞的詞向量表示。因此，在接下來BiLSTM編碼的步驟中，單詞和目標之間的內部依存關系就可以被學習到。

1.2.2 BERT嵌入

BERT嵌入[14]嵌入層是一個運用自監督學習方法的預訓練語言理解模型，使用預訓練的BERT生成序列的詞向量。BERT層有足夠的能力抓取文本的語義特征。由于BERT強大的語義特征抽取能力，本文在使用BERT預訓練語言模型對網絡結構進行微調時，把“[CLS]+整個句子+[SEP]+目標+[SEP]”作為模型的輸入。

1.3 BiLSTM編碼層

在得到詞向量拼接的最終句子表示后，采用BiLSTM網絡對句子進行編碼和特征提取，來捕獲每個單詞的向下文信息。LSTM[15]的簡化的計算過程如下：

其中，hi-1表示上一時刻的隱藏狀態，θ表示BiLSTM網絡的參數。

1.4 上下文專注機制

以往的研究方法大多數都沒有考慮到觀點詞的位置通常出現在目標詞的上下文，模型通常會將遠離目標的一些不相關的觀點詞抽取出來。基于此，本文采用上下文專注機制[11]著重關注目標周圍詞的語義特征。語義相對距離（semantic relative distance，SRD）被用來確定上下文詞是否是特定目標的局部上下文，以幫助模型捕捉局部上下文。上下文動態賦權（context features dynamic weight，CDW）層在SRD的幫助下專注于上下文語境。

SRD是一個基于目標的概念，描述一個單詞相對目標距離，它將每個上下文詞距離特定目標詞的單詞數作為所有上下文詞的語義相關距離。SRD計算如下：

圖3是上下文專注機制的實現方法，即CDW。自注意力機制使每個單詞通過并行矩陣運算與其他單詞生成自注意力分數。根據多頭自注意力機制（multi-head self-attention，MHSA）[16]的定義，每個單詞對應的輸出位置特征與其自身的關系更為密切。MHSA編碼器計算出所有單詞的輸出后，遠離目標上下文的單詞的語義特征都將被削弱，但目標詞及其上下文的特征保持不變，從而達到增強目標上下文語義特征的效果。

在CDW機制中，對于遠離目標方面的上下文詞，將根據其SRD來削弱其特征。CDW通過為每個語義相對較少的上下文詞構造權重向量Viw來削弱其特征，計算公式如下：

其中，W是構造的權重矩陣，是每個單詞的權重向量。SRDi是第i個上下文單詞和目標詞之間的語義相關距離，n是輸入序列的長度，α是SRD的閾值，“·”表示向量的點積運算。表示BiLSTM編碼層的輸出，表示CDW層的輸出，Ol表示CDW層的特征輸出。

1.5 解碼層

給定一個序列表示Ol，可以用Ol來計算p(y|Ol)，其中y={y1,y2,…,yn}是句子的標記序列，其中yi∈{B,I,O}。可以采用兩種不同的解碼策略，分別為貪婪解碼和條件隨機場（conditional random field，CRF）解碼。

第一種解碼方法是貪婪解碼，在每個位置獨立地完成一個三類分類問題。使用softmax計算概率：

貪婪解碼只是簡單地選擇具有最大概率的標簽，它不考慮標記之間的依賴關系，但運行速度更快。使用負對數似然（NLL）計算一句話的損失：

自2015年來，我市充分借助地質災害綜合防治體系建設重點省份的大好契機，加大對地質災害防治的投入。一方面積極爭取中央和省財政專項資金和項目，累計開展了近兩百個地質災害隱患勘查、應急處理與治理工程項目和828戶搬遷避讓項目，3年來，共爭取上級投入資金約1.5億元。另一方面，各地政府克服“等、靠、要”的思想，創新思路，多方籌措資金，積極開展地質災害防治工作。以2017年為例：各縣市區本級財政投入開展地質災害治理的項目累計達到76個，總計投入的經費約6000萬元。此外、交通和鐵路部門在工程建設和運營中，也投入了大量資金對境內鐵路、公路沿線地質災害隱患進行了有效的防護和治理。

第二種解碼方法是使用CRF[17]解碼。CRF考慮了標簽之間的相關性，并對標簽的整個序列進行評分。具體來說，使用線性鏈CRF，并將標記序列的條件概率作為其評分：

其中，Y是所有可能的標簽序列集合。s(o,y=)是打分函數，表示從yi-1到yi的轉移分數，Pi=Ws oi+bs。使用負對數似然作為句子的損失：

當模型對編碼后的句子序列進行解碼時，解碼策略采用維特比算法，該算法可以輸出條件概率最大的標簽序列。最終，使用最小化損失函數進行訓練：

2 實驗結果及分析

2.1 實驗設置

本實驗配置為CPU：Inteli7 8700K，RAM：8 GB，GPU：Nvidia GTX 1080，GPU加速庫：CUDA 8.0.61，CUDNN6.0.21，實驗系統為ubuntu16.04，開發環境為Pytorch，開發工具為PyCharm，開發語言為Python。

在兩個基準數據集上對模型進行評估。表2總結了數據集的統計信息。數據集14res和14lap來自SemEval Challenge 2014任務四[18]。原始的SemEval Challenge數據集是ABSA子任務常用的基準數據集，它們為每條評論提供了目標的標簽，但是沒有提供目標相應的觀點詞標簽。為了完成本次任務，Fan等[10]在句子中為給定的目標標注相應的觀點詞，并刪除沒有明確觀點詞的案例。

表2 數據集信息Table 2 Dataset information

在本次實驗中，使用GloVe[19]詞向量，其維度為300，詞向量在訓練階段固定不變，不進行微調。所有LSTM單元中隱狀態的維度設置為200。選擇Adam作為優化器，參數使用原論文中的默認值。為了調整超參數和早停，在訓練集中隨機挑出20%的數據作為驗證集，然后在測試集上對模型進行了測試，并給出了5次運行后的平均結果。

本文使用精確率P、召回率R和F1值作為衡量模型性能的指標。在預測的開始和結束位置都與正確答案的開始和結束位置相同的條件下，抽取出的觀點詞則被認為是正確的。

2.2 實驗結果及分析

為了全面評價和分析本文模型的性能，在四種數據集上進行實驗，并與多種基線模型進行對比。實驗結果表明，本文提出的模型可以提高準確性能。基線模型如下：

（1）Distance-rule[8]：首先對句子進行詞性標注，然后將距離觀點目標最近的形容詞作為對應的觀點詞。

（2）Dependency-rule[9]：從訓練集中收集觀點目標和觀點詞的POS標簽以及它們之間的依賴路徑作為規則模板，然后利用高頻相關模板來預測測試集的觀點目標對應的觀點詞。

（3）LSTM/BiLSTM：利用詞嵌入來表示單詞，然后使用LSTM/BiLSTM網絡捕獲輸入的上下文信息，最后，將每個隱藏狀態輸入到softmax分類器，對每個位置進行三分類，以提取給定目標的觀點詞。

（4）Pipeline：該模型是BiLSTM和Distance-rule的組合方法。它首先在訓練集上訓練一個BiLSTM模型，在測試階段，使用BiLSTM模型抽取所有的觀點詞，然后選取最近的觀點詞作為抽取結果。

（5）TC-BiLSTM[20]：該方法通過拼接的方法將目標信息融入到句子中。目標向量通過目標詞嵌入的平均池化得到，每個位置的單詞表示是詞嵌入和目標向量的拼接，然后將單詞表示輸入到BiLSTM中進行序列標記。

（6）IOG[10]：采用六種不同位置和方向的LSTM提取目標的觀點詞。

各模型的精確率P、召回率R和F1值的結果如表3所示。

從表中可以觀察到，與監督學習模型相比，基于純規則的方法的性能非常差。由于Distance-rule的方法只把單個詞作為觀點詞，所以在大多數數據集上，該方法的召回率和F1值最低。Dependency-rule方法雖然取得了一定的改進，但效果仍然不如序列標記模型。與其他神經網絡方法相比，LSTM和BiLSTM由于缺少目標依賴性而性能較差，在同一句話中，這兩個模型針對不同的目標抽取出的觀點詞往往是相同的。Pipeline使用BiLSTM提取觀點詞，然后選擇距離目標最近的作為最終結果，事實上，它是一種考慮目標相關的方法，距離策略使Pipeline方法在14餐廳數據集上的精度比BiLSTM提高了近20個百分點。TC-BiLSTM通過拼接的方式融入目標信息，比LSTM和BiLSTM具有更好的性能。IOG使用六個不同位置和方向的LSTM來生成豐富的依賴于目標的上下文表示，在所有數據集上展現了非常強大的性能，然而，它也存在模型復雜度高的問題。本文提出的模型AE-CDW的性能在兩個數據集上的性能都好于以上的基線模型，說明了本文所提模型的有效性。另外，利用BERT預訓練語言模型進行微調的結果相較于其他模型有顯著的提升，說明BERT模型在編碼時能夠更好地考慮目標詞語義特征。

表3 各模型性能對比Table 3 Performance comparison of each model %

為了驗證將目標特征融入模型的效果，本文對模型進行了消融實驗，實驗結果如表3所示。去除目標特征融合后，模型效果相比于原模型有了一定程度的下降。說明本文將目標詞向量通過簡單的CNN特征抽取后，與句子向量進行拼接輸入到網絡可以加強模型的效果。

同時，針對上下文專注機制，為了分析不同數據集的最優閾值α，對模型的SRD閾值進行了一系列實驗，以評估不同情況下的最佳閾值。在對比實驗中，將閾值α設置在0到9之間。當閾值為0時，局部上下文等于目標本身。在這些對比實驗中，除了閾值外，所有參數和超參數都保持一致。在餐廳和筆記本數據集上進行實驗，實驗結果如圖4（a）和圖4（b）所示。

從圖4（a）和圖4（b）中可以看出，在餐廳數據集上，SRD閾值取5時，模型F1值達到最大；在筆記本數據集上，SRD閾值取4時，模型F1值達到最大。隨著閾值的減小，模型效果降低，說明觀點詞大多數在目標詞的附近；隨著閾值的逐漸增大，模型效果有所下降，說明模型專注更大范圍時會影響最終效果。同時，當閾值為0時，模型在兩個數據集上的效果都是最差的，充分說明上下文專注機制是有效的。

最后，為了比較不同的方法并驗證本文模型的有效性，對餐廳數據集的句子分別按照目標與觀點詞的距離和觀點詞數量進行類別劃分。在表4和表5中給出實驗抽取結果對比。表中目標詞用紅色表示，觀點詞用藍色表示，句子中存在多個目標詞時，非標注目標詞和觀點詞用加粗字體表示。

從表4抽取結果發現，基于規則的方法抽取結果較差，模型只關注距離目標詞比較近的單詞；BiLSTM考慮遠距離語義信息，同時更易提取錯誤的觀點詞。TC-BiLSTM和IOG沒有考慮到遠距離的語義信息，往往會提取不相關的觀點詞。從表5抽取結果發現，基于規則的方法和BiLSTM沒有考慮到目標信息，所以在多目標的情況下表現不佳；TC-BiLSTM和IOG考慮了目標信息，在多目標情況下相較于前兩個模型效果有所提升。同時，從抽取結果發現，盡管本文提出的模型在抽取觀點詞組方面和涉及關系型語法方面表現不穩定，但是模型綜合考慮了遠距離語義信息和目標信息，抽取結果好于其他模型。

圖4 餐廳數據集和筆記本數據集各自的不同閾值效果對比圖Fig.4 Comparison of different threshold effect of restaurant dataset and notebook dataset

表4 不同目標與觀點詞距離抽取結果對比Table 4 Comparison of different target and opinion word distance extraction results

表5 不同目標個數抽取結果對比Table 5 Comparison of different target number extraction results

3 結束語

考慮到模型的復雜度以及之前的模型未能注意到觀點詞和目標詞之間位置上的聯系的問題，提出的特定目標觀點抽取模型基于目標融合和上下文專注機制。采用BiLSTM網絡對句子進行編碼和特征抽取，相比于IOG網絡減少了LSTM網絡的個數，減小了模型的復雜度。同時，為了加強目標和句子之間的交互，使句子的語義表示更加確切，將目標詞向量通過簡單的CNN特征抽取后，與句子向量進行拼接輸入到網絡。考慮到觀點詞的位置往往是距離目標詞更近的特點，借鑒LCF模型的思想，采用CDM機制把注意力更多地放在目標詞的周圍，削弱遠距離詞的語義。另外，還將預訓練的BERT語言模型應用于此任務，進一步增強了模型的性能。實驗和分析驗證了該模型的有效性。