一種通過評價類別分類提升評價對象抽取性能的方法

崔偉琪，嚴 馨，滕 磊，陳 瑋，徐廣義

（1.昆明理工大學 信息工程與自動化學院，昆明 650504；2.昆明理工大學 云南省人工智能重點實驗室，昆明 650504；3.湖南快樂陽光互動娛樂傳媒有限公司，長沙 410000；4.云南南天電子信息產業股份有限公司，昆明 650040）

0 概述

評價對象抽取任務作為方面級情感分析任務的一個關鍵子任務，旨在抽取用戶評論語句中評價對象的實體［1］。評價對象抽取包括以下子任務：抽取評論語料庫中所有的評價對象；對語義相似的評價對象實例進行聚類，保證每個類別中包含相似的多個評價對象實例，即保證評價對象的一致性。

傳統評價對象抽取任務的方法大概分為三類：基于規則的方法，有監督的方法和無監督的方法。從用戶評論中抽取評價對象的工作最早由文獻［2］提出，主要介紹了顯性評價對象和隱性評價對象的區別，運用一套基于統計觀察的規則處理顯性的評價對象。文獻［3］通過計算名詞短語和產品類之間的逐點互信息來檢測名詞或名詞短語是否為產品特征，提升了評價對象抽取任務的效果。文獻［4］介紹了基于常見信息和依賴信息挖掘的特征，使用WordNet 查找意見種子詞的同義詞和反義詞來提取意見詞，從而對產品評價對象進行抽取。這些方法都嚴重依賴預先制定的規則，并且只要當評價對象在很小的一組名詞范圍內時模型才表現得很好。在基于規則的方法中，大多需要構建句法依存樹等預處理工作并需要人為構建隱式評價對象字典、情感詞典和名詞規則［5-6］。該類方法的缺點在于：并不會將抽取的評價對象進行聚類，抽取的評價對象缺少高度的一致性。

在有監督學習方法中，文獻［7］提出基于條件隨機場的可以自動學習特征的神經網絡模型進行評價對象抽取。另外，卷積神經網絡作為該任務最有效可行的方法之一用于各個模型的構建。例如，文獻［8］使用七層卷積神經網絡對評價對象進行抽取。文獻［9］使用雙嵌入加卷積神經網絡的結構得到當時最好的結果。文獻［10］介紹一種卷積神經網絡和主題模型相結合的監督學習模型，該模型通過動態濾波器來對評價對象進行抽取，并考慮到評論具有潛在話題結構，引入一個神經主題模型，將潛在主題集成到基于卷積神經網絡的模塊中，以幫助識別評價對象特征，該模型能夠有效地識別評價對象的各個方面，并產生可解釋的主題。此外，文獻［11］提出了領域自適應策略，將知識從一個足夠標記的源域轉移到未標記的目標域，并提出了多層次的詞交互轉移模型（MSWIT），MSWIT 構造了細粒度組件和粗粒度組件兩個交互式組件，細粒度組件為單詞級特征表示，粗粒度組件為句子級向量表示。模型不需要顯式地將評價對象與相應的類別對齊，而是通過注意機制以及源域中的評價對象類別和評價對象實例的監督標簽來學習對齊，顯著提高了領域自適應方法的性能。但監督學習方法的缺點在于：一方面需要大量標注文本，標注文本的來源需要耗費大量的人力和財力；另一方面該方法會遇到領域適配問題，即在一個領域內訓練的模型，使用其他領域的數據進行預測時表現的結果并不理想。基于以上兩點原因，大部分學者通常選擇無監督方法進行評價對象抽取任務。

在無監督模型中，LDA 主題模型［12］的應用最為廣泛。該類模型的使用大多基于以下3 個假設：評論具有潛在的話題結構；話題可以從單詞評論共現中推斷出來；單詞與話題相關，話題也與評論相關。模型可以識別大規模語料庫中潛藏的主題信息，其原因在于擺脫了對標簽的依賴，模型通常將評價對象看做主題，使用模型去預測主題的分布并進行抽取。因此，基于LDA 的模型可以發現更多的評價對象，但是通過評價對象實例推斷標準評價對象的效果卻差強人意，原因在于該方法抽取出的評價對象實例通常是松散且無關聯的。文獻［13］首先使用LDA 模型去學習多個領域的主題也就是評價對象實例，取交集作為共享的評價對象特征知識庫，然后基于LDA 提出了AKL 模型處理先驗知識庫中的錯誤信息，最終給出自動從網絡中獲取先驗，并對評論文本進行評價對象抽取的系統。文獻［14］提出嵌入式主題模型（ETM），ETM 是一種生成式文檔模型，將傳統的主題模型與單詞嵌入相結合，并使用一個分類分布來表示每個單詞，其自然參數等于一個單詞嵌入和它被分配到主題的嵌入的內積，即使使用大量包含不常見詞和停止詞的詞匯，ETM 也能找到可解釋的主題。在主題質量和預測性能方面，ETM 優于以前的文檔模型。文獻［15］提出一個新的生成模型，認為全局潛在主題是跨文本共享的，隱藏語義和全局潛在主題用于構建上下文單詞。主題和單詞嵌入一起訓練，訓練后的模型將單詞映射到主題相關嵌入，解決了單詞多義的問題。根據實驗數據，該模型在詞匯相似度評估和詞義消歧方面都優于詞級嵌入方法。此外，文獻［7］將詞向量引入到評價對象抽取任務中，將詞嵌入與依存路徑聯合訓練，最后通過CRF 序列標注來提取出評價對象，但該方法中依存路徑是多樣化的，人為設置相同的依存路徑會在模型聚類時受到其他詞匯干擾，導致模型性能下降。文獻［16］提出的模型將主題嵌入與詞嵌入聯合訓練來豐富詞匯的潛在語義信息，從而得到詞匯的向量表示，最后將向量作為輸入送入注意力機制模塊中，在注意力模塊中訓練出k維嵌入矩陣，并通過注意力機制提高評價對象的權重，從而提高模型提取性能。文獻［17］運用基于注意力機制的無監督的自編碼模型對評價對象進行抽取，該模型摒棄了傳統主題模型，使用統一的詞嵌入空間訓練評價對象嵌入矩陣。一方面該方法無需人工標注語料，節省了大量人力成本，另一方面，相比于主題模型，自編碼模型使得抽取的評價對象實例具有更高的一致性。

評價對象的多樣性遭遇到瓶頸，而分類任務正好彌補了這些不足。首先，分類語料的獲取自動包含了評價對象類別信息；其次，評價類別不僅對模型中基于評價對象的重建提供了更好的基準，而且對評價對象的領域特征具有很好的指示作用。例如：“2.88 的價格非常實惠，但是口味有點差強人意”。這句話中評價類別“價格”和“味道”對該句來源于餐廳評論具有良好的指示作用，而且有助于模型抽取更細粒度的評價對象“價格”和“口味”。再如：“交通方便，房間舒適衛生，感覺不錯”。該句可以從評價類別“環境”和“感受”中輕而易舉地判斷評論來源于酒店，兩類別更有助于模型探索細粒度的評價對象“交通”、“房間”和“感覺”。因此，上述評價類別信息均包含特定領域的評價對象特征，即相同評價類別的評價對象特征具有相關性，驗證了通過分類任務可以對評價對象抽取任務進行提升的可能性。

本文提出一種通過文本分類改進基于注意力的自編碼器（AATC）模型。基于注意力機制的長短期記憶（Long Short-Term Memory，LSTM）模型訓練一個句子分類器，在分類任務下生成與評價對象類別相關的特征信息用于編碼階段，以提升模型在沒有標注數據情況下自編碼階段的編碼能力，增強自編碼器的合理性和解釋性。通過共享上述模型對文本輸入進行編碼，給句向量增強上下文語義信息的表達能力，同時在自編碼器中對模型進行微調。最后本文AATC 模型可在沒有任何手動特征抽取的情況下識別和抽取用戶評價對象，并對多領域語料庫中的抽取結果進行對比驗證。

1 AATC 模型

1.1 問題描述

已知數據集D，其中任一評論句s=(w1，w2，…，wn)由n個單詞組成，模型將句子s以單個詞向量的形式輸入到已訓練好的基于注意力機制的LSTM 模型中得到句向量表示。本文使用文獻［18］提出的分布式詞嵌入表示詞向量，詞向量模型的嵌入矩陣表示為E∈RV×d，其中，d表示詞向量維度，V表示詞表大小。模型的最終目標是學習標準評價對象的嵌入矩陣T∈RK×d，其中，K表示預先設置的標準評價對象的個數，標準評價對象矩陣在嵌入空間中沒有具體含義，其表征由最終獲取的評價對象實例推理得出。由于詞向量和評價對象矩陣在同一嵌入空間中，每個標準評價對象和單詞可以通過計算余弦相似度的方式在詞向量嵌入空間中尋找與標準評價對象最相似的單詞作為評價對象。文獻［19］提出的ABAE（Attention-Based Aspect Extraction）模型包括兩個步驟：首先通過注意力機制給每個輸入的詞嵌入分配得分，使用加權平均來表示輸入句子的句向量；然后通過一個自編碼器來處理句向量，編碼階段使用簡單的線性變換和softmax 函數進行降維，解碼階段使用評價對象矩陣對句向量進行重建。本文在該模型基礎上，探索評論句中不同類別的評價對象對評價對象矩陣訓練的關系，使含有語義信息的句向量通過包含不同評價類別特征的矩陣編碼為中間層語義向量，本文利用句子分類結果進行評價類別的轉移。

1.2 模型框架

本文AATC 模型如圖1 所示。將評論句中的單詞向量作為輸入，首先在詞嵌入空間中將所有單詞使用計算余弦相似度距離的方法進行k-means 聚類，聚類得到的中心簇向量來初始化標準評價對象嵌入矩陣T∈RK×d，然后通過捕捉輸入句中單詞與評價對象矩陣的相關性來訓練評價對象矩陣。AATC 模型分為兩個部分：自編碼器部分和句子分類器部分。首先，分類器是一個監督模型，它使用基于注意力機制的LSTM 網絡通過softmax 分類器對句子進行評價類別分類，同時生成不同類別的特征信息。具體地，餐廳領域數據分為7 類，分別為食物、環境、服務、價格、味道、地點和其他；酒店領域數據分為6 類，分別為環境、服務、價格、地點、感覺和其他。在分類器訓練數據時，所使用的數據集的每個句子均只包含一類評價對象，包含的評價對象類別即為句子類別。然后，自編碼器模型的輸入部分使用了和句子分類部分一樣的模型參數初始化并進行無監督訓練，使用該模型的優勢在于：在輸入時融合了輸入句上下文的語義信息。在自編碼器的編碼階段，模型使用了句子分類任務中包含類別信息的特征，將句向量表征以包含類別特征的轉移矩陣的形式轉化為中間層語義向量，轉移矩陣形式上包含了不同評價類別的語義信息從而編碼成更有意義的中間層向量。解碼階段使用評價對象矩陣與語義向量乘積的形式，旨在捕捉評價對象和語義向量之間的相關性。在自編碼器訓練數據中，評論語句可包含多個評價類別的評價對象實例，因為最終的轉移矩陣是不同評價類別轉移矩陣的加權平均。最后，將訓練好的評價對象嵌入矩陣放回詞向量嵌入矩陣中，通過相似度計算的方式獲取更細粒度的評價對象實例。下文將詳細介紹模型的各個部分。

圖1 AATC 模型框架Fig.1 AATC model framework

1.2.1 句子分類

本文使用的基于注意力機制的LSTM 通過softmax 分類器對輸入句子包含的評價類別進行分類。因為在分類器訓練數據中，使用的數據集中每個句子均只包含一類評價對象，所以句子中的評價對象的類別即為句子標簽。已知含有n個單詞的句子s中所有詞嵌入表示為，其中，E∈R|n×d|，d表示詞向量維度。通過LSTM 中的3 個門控機制保留或丟棄信息來訓練數據，其中可訓練參數為θlstm，并且LSTM 的輸出隱藏層序列表示為h={h1，h2，…，hn}，其中，hi表示序列中第i個單詞的隱藏層。接下來使用注意力機制得到句子表征zs表示如下：

其中：pi為給第i個隱層向量分配的權重。

pi計算如式（2）所示：

其中：hi∈Rd；參數W∈Rd×d為過渡矩陣。

然后將句向量zs通過softmax 分類器得到不同評價類別分布，具體如式（5）所示：

其中：vs∈R|c|表示對句子s預測的評價類別概率分布；|c|表示類別個數。

對于句子分類任務，本文使用交叉熵作為損失函數，故分類器部分的損失函數表示如式（6）所示：

其中：i表示在數據集D中的第i條評論句；pi表示句子的真實標簽；qi表示預測標簽。

1.2.2 自編碼器

本文使用k-means 聚類得到的中心簇向量初始化了評價對象的嵌入矩陣T∈RK×d，其中，K表示評價對象的個數，該K個標準評價對象向量分別表達了在詞嵌入空間中與其相似的評價對象的平均嵌入。在無監督學習任務中，評論語句可包含多個評價類別的評價對象實例，該階段通過自編碼器訓練評價對象矩陣，增強了上下文語義信息的表達能力。模型使用句子分類訓練好的基于注意力機制的LSTM 模型對自編碼的輸入進行初始化可得到輸入句向量表征zs。對句向量zs進行降維編碼，得到中間層的語義向量pt，如式（7）所示：

其中：轉移矩陣Wγ可以捕捉句向量表示與評價對象之間的相關性，將句向量zs壓縮轉化為中間層語義向量pt；b為偏置向量。另外，希望編碼器捕捉到評論句評價對象的類別信息與評價對象之間的相關性。受文獻［19］的啟發，本文在句子分類任務階段引入|c|個子矩陣每個子矩陣分別對應不同評價類別，子矩陣由訓練得來。由于每個句子有多種評價對象類別，因此會有多個子矩陣。基于從式（5）中得到的預測類別，這些子矩陣加權和后得到最終的轉移矩陣，如式（8）所示：

其中：轉移矩陣Wγ通過對每個類別的轉移矩陣進行加權平均得到。然后，使用評價對象矩陣T進行解碼，也就是對句向量進行重建，目的在于使用評價對象矩陣還原評論句類別信息和語義向量的相關性，具體如式（9）所示：

重建的目的在于捕捉評價對象矩陣和中間層語義向量之間的關系，使重建后的句向量rs和重建前的句向量zs無限接近。訓練好的評價對象矩陣T∈RK×d可以表示為，其中任 一評價對象類別對應的評價對象向量可表示為αk，k∈{1，2，…，K}。每輸入一句評論句s=(x1，x2，…，xn)，AATC 模型會根據訓練權重計算pt。pt作為評價類別的概率分布，取最大值確定評價向量類別i，i∈{1，2，…，K}，其中T對應的評價對象向量為αi。同時，本文創建了推理出的評價類別與標準評價類別之間的映射關系，供驗證階段獲取評價對象的標簽。最后，通過計算αi與輸入句子中每個單詞xj的余弦相似度，獲取相似度最高的單詞作為該句中的評價對象，其中j∈{1，2，…，n}。

1.2.3 損失函數

對于自編碼器部分，本文會根據類別個數分配多個轉移矩陣，加權后放入自編碼器訓練評價對象。自編碼器部分的損失函數本文沿用了最大邊際對比損失［20-22］，具體的損失函數如式（10）所示：

本文隨機從訓練集中抽取m個句子作為負樣本，將負樣本的平均值作為負樣本的代表嵌入表示為ni。構建損失函數的目標是使得重建后的向量rs與句向量的表征向量zs相似，與負樣本的代表嵌入不同。因此，使用合頁損失的形式最大化rs與zs向量的點積，同時最小化rs與ni向量的點積。

1.2.4 正則項

本文模型可以學習到訓練數據中最具代表性的向量，然而評價對象矩陣在訓練過程中會產生冗余。為了確保評價對象嵌入的多樣性，最終在損失函數中添加正則項，以保證每個評價對象嵌入的唯一性：

其中：I為單位矩陣；Tn是T矩陣每行規范化為1 后的矩陣，Tn·中任何非對角元素都對應兩個不同的評價對象嵌入點乘。當任意兩個不同評價對象嵌入點積為零時，U達到其最小值。因此，正則化項鼓勵嵌入矩陣T的行之間的正交性，而懲罰不同嵌入向量之間的冗余。損失函數中加入正則化項后最終如式（12）所示：

其中：λ為控制正則項的超參數。

2 實驗

2.1 數據集

本文在兩個真實的數據集上進行模型評估，兩個數據集詳細信息如表1 所示。

表1 數據集信息Table 1 Dataset information

針對自編碼器所進行的無監督任務，本文分別從大眾點評和攜程網爬取兩萬余條評論，并由專家標注餐廳領域5 000 條評論對應4 293 個句子，酒店領域4 500 條評論對應3 632 個句子用于評價對象的評估。針對有監督學習的評價類別分類任務，本文同樣采用上述網站的爬取數據，并過濾單句中僅包含單個評價對象的評論句進行標注。餐廳領域數據集人工定義的評價對象類別標簽為食物、環境、服務、價格、味道、地點和其他，總共7 個評價類別；酒店領域數據集人工定義的評價對象標簽為環境、服務、價格、地點、感受和其他，總共6 個評價類別。數據集如表2 所示。

表2 句子分類任務訓練樣本數量Table 2 Number of training samples for sentence classification task

2.2 基線方法

為了驗證AATC 模型的表現，本文使用以下5 個基線與其進行比較：

1）k-means 模型。本文首先在詞嵌入空間中使用k-means 聚類，將每個簇的中心向量代表標準評價對象向量。然后使用與句子的平均詞向量最接近的標準評價對象向量作為該句子的推理評價對象向量。最后同樣以計算標準評價對象與輸入句子中單詞的余弦相似度的方式確定句子的評價對象。本文同樣使用該方法初始化評價對象矩陣T，為了展示本文模型的表現，本文選擇直接將k-means 算法的結果進行對比。

2）LocLDA 模型［23］。該模型使用了標準的主題模型實現。為避免模型對全局主題進行推理，LocLDA 模型將句子看做是分離的文檔，將評價對象看為主題，使用模型去預測主題的分布并對評價對象進行抽取。

3）BTM 模型［24］。該模型是一個專門為短文本設計的主題模型。與LDA 模型方法相同，BTM 模型同樣將評價對象視為主題，預測主題的分布并對評價對象進行抽取。BTM 模型的主要優點是可以直接對無序詞對共現進行生成建模，緩解了短文檔中數據稀疏的問題。

4）ABAE 模型［17］。ABAE 模型是完全基于無監督學習的，該模型基于自編碼器，創建評價對象嵌入矩陣，通過先降維再重塑的方式訓練評價對象嵌入矩陣。

5）SUAEx 模型［25］。該模型是無監督的，完全依賴于單詞嵌入的相似性，其依賴向量相似性來模擬注意力機制，使模型能夠專注于相關信息的抽取。

2.3 參數設置

在模型訓練過程中，數據經過預處理（去除標點符號，去停用詞，去除出現頻率小于10 次的單詞）后，使用Glove［26］生成300 維的詞向量作為輸入。使用k-means 算法初始化評價對象嵌入矩陣，其他參數均隨機初始化。本文使用網格搜索驗證了評價對象矩陣中評價對象個數K的取值，最終在餐廳領域中設置為14，而在酒店領域中將K設置為13～18 中的數字，但是結果相差無幾，所以最終將其統一設置為14。評價類別個數c根據訓練語料領域分別設置為7 和6。在訓練過程中，本文固定詞嵌入矩陣，使用Adam 算法進行優化。學習率設置為0.005，優化方法為Adam。Batch Size 設置為64，訓練28 個Epoch。通過網格搜索最終將懲罰項系數λ 設置為1。最終計算結果為運行10 次后取平均。

2.4 實驗結果與分析

本文從兩個評價標準對模型訓練結果進行評估。一方面看模型是否能夠找到語義一致的評價對象，即評價對象質量評估；另一方面看模型是否能夠改善評論數據集的評價對象識別性能，即評價對象的識別率。

2.4.1 評價對象質量評估

以餐廳領域數據為例，表3 所示為AATC 模型在該領域所推理出的14 個標準評價對象，與右邊展示的評價對象類別相比粒度更細。例如本文可以從食物中分出主食、飲品、配菜等。

表3 餐廳領域評價對象抽取結果實例Table 3 Example of the result of restaurant field opinion targets extraction

從表3 可以看出，模型可以有效地對不同領域的評價對象進行抽取。針對不同評價類別，模型可以在此基礎上抽取更細粒度的評價對象實例。抽取結果表明，模型具備了較好的評價對象抽取能力。雖然在個別評價對象中模型將形容詞也視為評價對象進行了抽取，但是這種情況較為罕見。

2.4.2 評價對象實例識別率

本文使用精確率（P）、召回率（R）和F1 值這3 個度量指標來衡量預測結果與真實標簽的準確程度。在當前任務中，給出一個評論句，首先指定一個推斷的評價對象實例標簽，該標簽對應式（6）中pi最高權重實例，然后根據推斷的評價對象和標準標簽之間的映射，將標準標簽賦給句子。精確率表示抽取正確的評價對象實例占所有抽取評價對象實例的比例，召回率表示抽取正確的評價對象實例結果占文本中正確的評價對象實例的比例，F1 值是調和精確率和召回率的一種綜合評價指標。具體評價指標計算公式如式（13）～式（15）所示：

餐廳領域和酒店領域評價結果分別如表4 和表5 所示，其中加粗字體為最優結果。

表4 餐廳領域評價對象抽取結果Table 4 The results of restaurant field opinion targets extraction

表5 酒店領域評價對象抽取結果Table 5 Results of hotel field opinion targets extraction

在酒店數據中，本文選取了6 個評價類別。模型在其他類中表現較差，原因在于：其他類中抽取的評價對象的詞匯沒有明確的模式，這使得這些評價對象實例很難進行分類。根據以上結果可以看出，k-means 模型作為AATC 的初始化項已經有了較好的精確度，AATC 模型在k-means 模型的基礎上，從某種程度上來說，提高了評價對象抽取的一致性。LocLDA 和BTM 同時作為主體模型，而BTM 專門為短文本設計，根據訓練文本的屬性，BTM 模型的效果好于LocLDA 模型。同時，SUAEx 模型作為一個很強的基線，在評價對象抽取能力方面和AATC 相當。SUAEx 模型依靠詞語嵌入的相似性和參照詞來模擬注意神經網絡的注意機制。但是，SUAEx 模型僅限于處理表示為單個單詞的評價對象，對于復合單詞上的表現不如本文算法，如“酒單”“電池壽命”等，同時SUAEx 模型需要大量的先驗知識，影響了模型的運行效率。此外，AATC 能夠適應不同的領域。在許多情況下，AATC 在運行時間成本非常低的情況下取得了優于SUAEx 模型的最新技術成果。相比于ABAE 模型，AATC 依據句子分類任務分配了不同的轉移矩陣，另外通過循環神經網絡增強了編碼器輸入階段上下文語義的關聯度，這時模型不僅可以準確抽取單句中評價對象，而且通過觀察可以發現，AATC 抽取的評價對象實例一致性更高。

3 結束語

本文提出一種通過評價類別分類提升評價對象抽取性能的方法。通過基于注意力的LSTM 模塊，本文構建的AATC 模型能夠克服數據稀疏的問題，捕捉到文本中的詞共現模式，并運用分類器對評價類別進行分類，解決訓練過程缺少評價類別多樣性的問題。實驗結果表明，與k-means、LocLDA 等主流模型相比，AATC 模型在餐廳領域和酒店領域的語料庫中提升效果明顯。但是由于評論數據屬于非正式評論題材，可能會出現當前的流行詞匯或該領域的特有詞匯，另外在餐廳和酒店領域的評論數據中還可能出現拼寫錯誤，而AATC 模型在該方面的識別能力有所欠缺，后續將考慮輸入文本提煉核心詞來進行抽取研究。