基于外部知識注意的中文短文本分類研究

賈洪健，田 剛，王 蕊，宋慶松

（1.山東科技大學計算機科學與工程學院；2.山東科技大學能源與礦業工程學院，山東青島 266590）

0 引言

近年來，以云計算和大數據為代表的新一代信息技術的快速發展，推動了互聯網新時代的到來。在互聯網給人們生活帶來便利的同時，每天也產生大量的文本數據。其中，以新聞、評論、問答等碎片化形式出現的短文本具有增長迅速、數量巨大的特點。這些短文本通常有明顯的局限性，即缺乏足夠的上下文信息、語義模糊和特征維度稀疏。如何快速有效地從海量短文本數據中提取真正有價值的信息，正是自然語言處理領域（NLP）需要解決的問題。

現有方法對于短文本分類主要可以分為兩類：顯性表示和隱性表示［1］。對于顯式表示，短文本被表示為稀疏向量，其中每個維度是顯式特征，對應于包括N-Gram、詞性標注和句法分析的短文本句法信息［2］，顯式模型對人類而言是可解釋且易于理解的。然而，顯式表示通常忽略短文本的上下文信息，因此可能無法有效提取文本中的細粒度語義信息。就隱式表示而言，短文本通常被映射到隱式空間，并被表示為密集向量［3］。

基于深度神經網絡的隱式模型善于捕捉短文本中的句法和語義信息，Mikolov 等［4］提出基于遞歸神經網絡（RNN）的模型，該模型利用RNN 考慮整個句子的表達，該模型可以捕捉長期的依賴關系并學習單詞的含義；Kim等［5］提出一種多尺度過濾卷積神經網絡（CNN）模型以提取更豐富的文本語義特征，并在文本分類任務上取得了良好效果；Yang 等［6］提出一種用于文檔分類的層次化注意網絡，該模型不僅將注意力機制應用于文檔層次，還應用于單詞和句子層次，從而在構建文檔表示時能夠關注越來越重要的內容；Zhou 等［7］提出一種基于混合注意力機制的中文短文本分類網絡模型，該模型不僅考慮了詞級文本特征和字符級特征，還通過注意力機制提取了與分類相關的語義特征。

然而，如果只使用神經網絡模型提取短文本語義信息的抽象特征，分類效果將在很大程度上取決于神經網絡的層數，因此會導致整個模型參數數量的幾何級增加，從而顯著增加模型訓練時間。因此，為了克服短文本語義信息的不足，可以利用外部知識庫擴展短文本的語義，從而豐富短文本的語義特征。

本文將短文本的顯性和隱性表示集成到一個統一的深層神經網絡模型中，主要貢獻如下：提出一種基于外部知識注意的中文短文本分類（CSTEKA）方法，這是結合知識庫中的先驗知識豐富短文本語義信息的注意力模型；引入面向短文本的概念（C-ST）注意和概念對概念集（C-CS）的注意兩種注意力機制，從兩個方面衡量每個概念的重要性，將它們組合起來，自適應地獲取概念的權重；使用相互注意力機制集成單詞級和字符級的特征，利用卷積神經網絡集成單詞級、字符級及概念級的所有特征；在4 個公共數據集上的大量實驗表明，本文方法優于其他現有方法。

1 相關工作

傳統的文本分類方法中，在分類過程中通常忽略相應的文本語義特征，無法有效提取文本中的細粒度語義信息，導致最終分類結果的準確率較低。為了解決這些問題，Wei 等［2］提出基于N-Grams 的中文文本分類的文本表示和特征選擇策略，在特征選擇策略中，類內預處理與類間特征選擇相結合；Post 等［8］提出使用詞性標注技術提取文本的顯性和隱性特征；Gautam 等［9］提出一元分詞技術和語義分析以表示文本特征；Song等［10］利用概率知識庫對短文本進行概念化，從而提高了文本分類過程中對文本語義的理解；張志飛等［11］提出一種基于潛在狄利克雷分配（LDA）主題模型的短文本分類方法，進一步解決了短文本的上下文相關性問題。這些方法雖然可以提取相對豐富的文本特征信息，但也存在一定局限性。

基于詞級的模型側重于促進模型從詞級特征獲得精確文本表示的能力，這些模型通常在英語中表現良好。然而，在中文短文本任務中，它們對分詞有很強的依賴性，有時會導致錯誤分類。基于字符級的模型利用字符嵌入以避免分詞問題。同時，使用字符級特征可以減少詞匯外的負面影響。但是在漢語中，有些詞的含義比字符多，它們在語篇中起著重要作用，尤其是在短文本中。因此，在大多數情況下，基于字符級的模型性能低于基于單詞級的模型。文獻［12］將詞、字符和概念級特征沿時間步長維度串聯起來，再通過卷積神經網絡生成文本表示。然而，在中文中，不同的分割會產生不同的序列長度。此外，文獻［13］解釋了在不同的語料庫上訓練的單詞和字符嵌入是不同的。因此，沿時間步長維度直接連接特征會削弱文本表示。

與傳統的機器學習文本分類方法相比，深度神經網絡模型能夠有效模擬人腦的信息處理過程，能夠進一步從輸入特征中提取更抽象的語義特征，從而使模型最終分類時所依賴的信息更加可靠。然而，短文本通常缺乏足夠的上下文信息和語義特征。如果僅僅通過增加神經網絡數量提高短文本的分類效果，會導致整個模型的參數數量呈幾何級增長。文獻［12］提出一種利用外部知識庫和神經網絡對短文本進行分類的方法，在概念化短文本豐富語義特征的同時，也捕捉到字符層面更細粒度的特征；文獻［14］提出將詞和字符嵌入相結合，然后利用CNNs 捕獲語義特征，還使用外部知識庫對目標詞進行概念化，但沒有考慮單詞和字符級嵌入位于兩個獨立的空間中，幾乎沒有重疊，會丟失一些特征信息。該文獻中的方法與本文提出的短文本分類方法接近，本文方法是在此基礎上的進一步研究和改進。

基于注意力機制，可以動態提取文本的主要特征，而不是直接處理整個文本信息，因此這種機制得到了廣泛應用。文獻［15］提出一種基于注意力機制的雙向長短期記憶（BiLSTM）神經網絡，用于捕捉句子中最重要的語義信息并將其用于關系分類；文獻［16］提出雙向門控遞歸單元，該單元將一種新的注意力集中機制與最大集中操作相結合，強制模型關注句子中的關鍵詞，并自動維護文本中最有意義的信息；文獻［17］提出一種新的CNN 關系分類架構，該架構使用兩級注意力機制以更好地識別上下文；文獻［18］提出一種用于中文文本分類的詞—字符注意力模型，該模型綜合了兩個層次的注意力模型：詞級注意力模型捕捉與文本意義有更密切語義關系的顯著詞，字符級注意力模型選取文本中的區別字符。

Fig.1 CSTEKA model architecture圖1 CSTEKA模型架構

通過這些方法，在面對短文本語義信息不足的問題時，沒有同時充分考慮字符層面、詞層面和概念層面。因此，本文將單詞和字符特征與可訓練矩陣相乘，生成兩個具有兩級特征對齊信息的矩陣。同時，本文在顯性知識庫的幫助下豐富了短文本的語義表達，如YAGO［19］和Probase［20］。通過概念化將每篇短文與其知識庫中的相關概念聯系起來，然后將概念信息作為先驗知識納入深層神經網絡，最后在卷積神經網絡中堆疊所有特征以形成三維張量從而完成分類。

盡管簡單地將概念信息整合到深層神經網絡中似乎很直觀，但仍然存在兩個主要問題。一是在對短文本進行概念化時，由于實體的模糊性或知識庫中的噪聲，容易引入一些不恰當的概念。例如，在短文本S1中：“小賈已經使用蘋果6 年多了”，從知識庫中獲取“蘋果”的概念是“水果”和“手機”。顯然，“水果”在這里不是一個合適的概念，這是由“蘋果”的模糊性引起。二是需要考慮概念的粒度和概念的相對重要性。例如，在短文本S2中：“任正非是華為的創始人”，從知識庫中檢索任正非的概念是“人”和“企業家”。雖然兩者都是正確的概念，但“企業家”比“人”更具體，在這種情況下應該被賦予更大的權重。已有學者［12］利用網絡規模的知識庫豐富短文本表示，但是沒有很好地解決這兩個問題。

本文使用面向短文本的概念（C-ST）注意度量短文本與其對應概念之間的語義相似度。本文模型對S1的概念“手機”賦予了更大權重，因為它在語義上更類似于短文本，而不是概念“水果”。同時，使用概念對概念集（C-CS）的注意探索每個概念相對于整個概念集的重要性。本文模型對S2的概念“企業家”賦予了更大權重，這對于特定的分類任務更具區別性。

引入一個軟開關，將兩個注意力權重合并成一個，并產生每個概念的最終注意力權重，該權重由本文模型在不同的數據集上自適應地學習，然后計算概念向量的加權和以產生概念表示。

2 方法

2.1 方法概述

圖1 顯示了本文模型（CSTEKA）架構，輸入的短文是“我們喜歡踢足球”，概念包括足球、體育等，類別標簽是“體育”。本文模型包含4 個模塊，由知識檢索模塊、短文本編碼、知識編碼和集成層模塊組成。知識檢索模塊從知識庫中檢索與短文本相關的概念信息。短文本編碼模塊通過WCAM 模型（圖2）對短文本進行編碼，生成短文本單詞級和字符級嵌入的特征，WCAM 模型中的相互關注層是一個可訓練的矩陣，生成單詞和字符級特征的兩個對齊矩陣。知識編碼模塊對概念向量應用兩種注意力機制，以獲得概念表示特征。集成層是一個具有5 個獨立通道的卷積神經網絡，可以將單詞級特征、字符級特征、兩個對齊矩陣特征和概念表示特征堆疊集成到三維張量中。

Fig.2 WCAM model圖2 WCAM模型

2.2 知識檢索

本模塊的目標是從知識庫中檢索相關知識。本文以isA關系為例，其他語義關系如isPropertyOf也可以類似方式加以應用。具體而言，給定一個短文本s，希望找到與之相關的概念集C。本文通過兩個主要步驟實現該目標：實體鏈接和概念化。實體鏈接是自然語言處理中的一項重要任務，用于識別短文本中提到的實體［21］。本文通過利用現有的實體鏈接解決方案獲得短文本的實體集E［22］。并且，對于每個實體e∈E，本文通過概念化從一個已有的知識庫中獲取其概念信息，如YAGO［19］、Probase［20］和CNProbase［23］。例如，給定一個短文本“張杰和李宇春出生在四川”，本文通過實體鏈接獲得實體集E=｛張杰，李宇春｝；然后，將實體“張杰”概念化，從CN-Probase 獲得其概念集C=｛人物、歌手、演員、音樂家｝。

2.3 短文本編碼

2.3.1 嵌入層

輸入是長度為n的短文本s，如圖2 所示，短文本s進入WCAM 模型，被分割成兩個不同的序列（句子）：

對于每個級別，本文查找預先訓練的嵌入矩陣，并將序列中的每個標記映射到一個固定大小的向量e。在這項工作中，本文選擇兩個開源的中文詞向量作為初始預訓練嵌入字典，并將兩級序列填充到相同的長度n=max(nword，nchar)，結果，獲得兩個長度相同的嵌入向量：

2.3.2 特征層

在特征層，本文選擇RNN 獲得更深層次的語義特征，因為RNN 被認為是現有模型中解決序列問題的最佳模型。為了解決梯度消失或爆炸問題，并捕捉過去和未來的上下文信息，本文選擇雙向LSTM 網絡（BLSTM），該網絡通過引入第二隱藏層擴展單向LSTM 網絡，其中隱藏到隱藏的連接以相反的時間順序流動。

通過組合前向和后向LSTM 的輸出計算在步驟t的BLSTM 預測，本文使用分別表示它們，如式（1）所示。

其中，t=1，2，3，...，n，⊕是連接操作。在該模型中，本文將嵌入向量饋入由兩個獨立BLSTMs 組成的隱藏層，以獲得兩個特征級表示。BLSTMs 的輸出被稱為Hword、Hchar、Hword、Hchar∈Rn×d，其中d是隱藏層單元的數量。

2.3.3 相互關注層

注意力機制用于對齊特征，因為注意力機制的本質是句子對的軟對齊。與文獻［24］相同，兩個新的對齊特征由可訓練的注意矩陣A∈Rn×n生成。如圖2 所示，對齊特征由A通過以下等式生成：

其中，?是元素乘法。

本文使用單位這個術語定義對齊的矩陣，它們與Hword、Hchar具有相同的形狀。相互注意矩陣可以通過梯度反向傳播在每個時間點進行修改，它可以被看作是一個空間轉換器，在訓練過程中轉換空間并保存單詞和字符的信息。每一個單位的算符都是通過加上某一時刻的特征維數進行計算，詞的計算會一步步受到影響，反之亦然。該方法簡單有效。

本文從短文本編碼模塊得到Hword、Hchar、Uword、Uchar4 個表示特征，將先堆疊這4 個特征獲取短文本表示特征q∈Rn。

2.4 知識編碼

從外部知識庫獲得的先驗知識提供了更豐富的信息，有助于在給定短文本的情況下決定類別標簽。本文以概念信息為例說明知識編碼，其他先驗知識也可以類似方式使用。給定大小為k的概念集C，表示為(c1，c2，...，ck)，其中ci是第i個概念向量，目標是產生它的表示特征p。首先引入兩個注意力機制并更多地關注重要概念。

為了減小由于實體模糊性或知識庫中的噪聲而引入一些不當概念的不良影響，提出基于普通注意［25］的面向短文本注意的概念（C-ST），以測量第i個概念和短文本表示q之間的語義相似性。使用式（4）計算短文本注意。

其中，mi表示從第i個概念到短文本的關注度。較大的mi意味著第i個概念在語義上更類似于短文本。f(·)是一個非線性激活函數，如雙曲正切變換，softmax用于歸一化每個概念的注意力權重。是權重矩陣，w1∈是權重向量，其中da是超參數，b1是偏移量。

此外，為了考慮概念之間的相對重要性，提出基于source2token自我注意的概念集（C-CS）注意概念［26］以度量每個概念相對于整個概念集的重要性。將每個概念的CCS注意力定義如式（5）所示。

其中，ni表示從第i個概念到整個概念集的關注權重。是權重矩陣，w1∈是權重向量，其中db是超參數，b2是偏移量。C-CS 注意的效果類似于特征選擇，這是一種“軟”特征選擇，對重要的概念賦予較大權重，對無關緊要的概念賦予較小權重（接近于零）。

通過式（6）將mi和ni相結合，以獲得每個概念的最終關注權重：

這里將最后的注意力權重從第i個概念指向短文本，γ ∈[0，1]是調整兩個注意力權重mi和ni重要性的一個切換。有多種方式設置參數γ，γ 可以通過神經網絡自動學習。可在不同的數據集上自適應地為γ 分配不同的值，以獲得更好的實驗結果。通過式（7）計算γ：

其中，向量w和標量b是可學習參數，σ是sigmoid函數。最后，使用最終的注意力權重計算概念向量的加權和，產生表示概念的表示特征。

2.5 集成層

特征向量維上的特征不是相互獨立的，簡單地在時間步長維度上獨立應用一維匯集運算可能會破壞特征表示的結構［27］。CNN 利用多個卷積濾波器執行特征映射，可比一維最大池保留更多的特征信息。因此，本文選擇CNN將它們進行整合。

將單詞級特征、字符級特征、兩個對齊矩陣特征和概念表示特征視為具有5 個通道的圖像并疊加成三維張量，然后送入卷積神經網絡。

具體而言，子特征gi由濾波器w∈Rk×d和特征窗口zi：i+k-1生成。

其中，b是偏置項，f(·)是非線性函數，這里使用雙曲正切。

該過濾器被應用于特征級表示z={z1：k，z2：k+1，...，zn-k+1}并生成特征向量。

在多通道架構中，每個濾波器應用于5 個通道，并將結果相加以計算gi，如式（9）所示。文本表示由具有全連接層的集成層輸出生成，Softmax分類器用于預測標簽。

3 實驗

3.1 實驗環境

本文實驗平臺配置如表1所示。

Table 1 Hardware and software configuration of the experimental platform表1 實驗平臺軟硬件配置

3.2 數據集

本文在清華大學開源的中文新聞數據集（THUCNews）、搜狗新聞、中文新聞標題（CNT）和微博謠言4 個數據集上進行了實驗，如表2 所示。表2 中報告了每個數據集的實體和概念的平均數量，所有4 個數據集都通過Jieba工具進行標記化。

THUCNews：該數據集是清華實驗室收集的社會新聞集，包含14個類的4萬個訓練樣本和1萬個測試樣本。

搜狗新聞：該數據集是一個沒有標題的社交新聞集，包含10 個類的5 萬個訓練樣本和1 萬個測試樣本。本實驗中截取每個樣本的前30 個字符（包括標點符號）作為一個新的數據集。

CNT：該數據集來自參考文獻［28］，它包含32 個類的47 952 個訓練樣本和15 986 個測試樣本。在刪除了包含無法處理特殊字符的標題后，保留47 850 個用于訓練，15 950個用于測試。

微博謠言：該數據集來自參考文獻［7］，數據集里有9 079 條微博謠言。在刪除這些記錄中的“x”標簽后，保留了5 個類別。從該數據集中，隨機選擇6 030 個樣本用于訓練，2 160個樣本用于測試。

Table 2 Summary statistics of the experimental dataset表2 實驗數據集匯總統計

3.3 比較方法

將本文提出的CSTEKA 模型與以下方法進行比較：

RCNN［29］：該方法使用遞歸卷積神經網絡進行文本分類。它用RNN 捕捉上下文信息，用CNN 捕捉文本中的關鍵成分。

CharCNN［30］：該方法使用只有字符級特征的CNN 作為輸入。

BiLSTM-SA［26］：這種方法使用BiLSTM 和source2token自我注意將句子編碼成固定大小的表示，用于分類。

KPCNN［12］：該模型是短文本分類的最新方法。它利用CNN 根據短文本和概念的單詞和字符級別信息進行分類。

HANs［7］：混合注意網絡將中文短文本嵌入到詞級和字符級向量中，并運用混合注意力機制生成句子特征。HANs-BLSTM+CNN 表示基于注意力的BLSTM 和基于注意力的CNN 的組合。

BERT［31］：一種基于微調的方法，被稱為來自Transforms 的雙向編碼器表示，旨在通過在所有層中聯合調節左右上下文預訓練深度雙向表示。在許多自然語言處理任務中，BERT 是最先進的模型。本文針對中文短文本分類任務對預先訓練的BERT 進行微調。

3.4 設置和度量

對于所有模型，使用Adam［32］進行學習，學習率為0.01，批量大小設置為64，訓練迭代次數設為20。使用在搜狗新聞上預先訓練的50 維跳躍式字符和單詞嵌入，如果一個單詞未知，會隨機初始化它的嵌入。同時，使用隨機初始化的50 維概念嵌入。所有的字符嵌入、單詞嵌入和概念嵌入在訓練階段都可以訓練和微調，以期學習面向任務的表示。使用寬度為［2，3，4］且尺寸為50 的一維CNN，總共150個。

對于本文模型，以下超參數基于驗證集進行估計，并用于最終測試集：u=64，da=70，db=35。而γ 由神經網絡自動學習，因為這種方法可以比人工神經網絡獲得更好的分類結果。評價指標是準確性，其已廣泛應用于文本分類任務中。

3.5 結果與分析

將本文CSTEKA 模型與6 個強基線進行比較，結果如表3 所示。在不使用任何知識的情況下，本文模型優于傳統的深度神經網絡（DNNs），包括RCNN、CharCNN、BiLSTM-SA、KPCNN、HANs-BLSTM+CNN 和BERT。主要原因是本文模型借助于知識庫豐富了短文本的信息，具體而言，本文將知識庫中的先驗知識作為顯式特征融入DNNs中，這對短文本分類有很大貢獻。本文模型比KPCNN 表現得更好，因為本文模型由于注意力機制能夠更多地關注重要知識。本文使用C-ST 和C-CS 注意從兩個方面衡量知識的重要性，并自適應地為不同短文本的每個知識分配適當的權重。并且，本文模型實現了比HANs-BLSTM+CNN 更好的性能。此外，可以看到本文模型比BERT 取得了更好的性能，原因在于BERT 是一個基于字符級別的模型。該結果證明，集成多種類型的特征有助于提高中文短文本分類性能。

Table 3 Accuracy of different models on different datasets表3 不同數據集上模型準確性比較（%）

3.5.1 注意力機制

該實驗部分的目的是驗證兩種注意力機制（C-ST 和C-CS 注意）的有效性。手動調節超參數γ，以探索C-ST 和C-CS 注意的相對重要性，以0.25 的間隔從0 到1 改變γ，結果如表4 所示。一般而言，γ=0.25 的模型效果更好，但對于不同的數據集，優勢并不總是存在。例如，γ=0.50 的模型在CNT 數據集上表現最佳。當γ 等于0 或1 時，模型在所有4 個數據集上都表現不佳。僅使用C-ST 注意（γ=1.00），模型忽略了每個概念的相對重要性，導致性能不佳。僅使用C-CS 注意（γ=0.00），模型忽略了短文本和概念之間的語義相似性。在這種情況下，一個不恰當的概念可能會被賦予更大權重，這也會導致較差的性能。

3.5.2 外部知識作用

本文使用概念信息作為先驗知識以豐富短文本表示，并提高分類性能。每個數據集的實體和概念的平均數量如表2 所示。為了驗證本文模型中外部知識的作用，從CNT 數據集中挑選了一些測試示例，并在表中進行了說明。如“武昌起義”示例中，該短文本被本文模型正確分類為“歷史”，但是傳統DNNs 錯誤地將其分類為“城市”。一般而言，概念信息在短文本分類中起到至關重要的作用，尤其是當短文本的上下文不夠時。“武昌起義”是一個連續名詞，即在訓練集中出現的頻率較低，因此很難學習認知表征，從而導致傳統DNNs 的性能較差。然而，本文模型通過從知識庫中引入知識，在一定程度上解決了稀有和未知的單詞問題。本文模型中使用的歷史和歷史事件等概念有助于將短文本分類到正確的類別“歷史”中。

Table 4 Settings of the super parameter γ of the proposed model表4 本文模型中超參數γ的設置（%）

3.5.3 三維卷積影響

為了證明三維卷積的有效性，本文在兩個數據集上比較了一維匯集和三維卷積。本文沿著時間步長維度連接單詞級特征、字符級特征、兩個對齊矩陣特征和概念表示特征，稱之為一維匯集。本文堆疊單詞級特征、字符級特征、兩個對齊矩陣特征和概念表示特征5 個特征，并使用卷積神經網絡集成它們，稱之為三維卷積。圖3 表明，三維卷積在兩種中文短文本分類任務上可以獲得更高的性能。

Fig.3 Comprehensive study of 1-dimensional collection and 3-dimensional convolution圖3 一維匯集和三維卷積綜合研究

4 結語

針對現有短文本分類方法嚴重依賴神經網絡層數，且因短文本語義模糊導致短文本分類效果不佳的問題，提出一種基于外部知識注意的中文短文本分類模型。由于單詞和字符級嵌入在向量空間中沒有相關性，為了減少特征信息丟失，設置一個可訓練矩陣以獲取單詞和字符級兩個對齊特征矩陣。同時，面對短文本所能提供的語義信息有限的問題，將概念信息整合到知識庫中，以增強短文本的表達。為了衡量每個概念的重要性，本文應用兩種注意力機制自動獲取用于生成概念表示的概念權重。實驗表明，本文模型在4 個中文短文本數據集上取得了最好性能。該模型在引入外部知識庫時，由于一些短文本過短，沒有提到實體，會導致概念化失敗。將屬性值信息融入深度神經網絡，進一步提高短文本分類性能是未來研究重點。