基于LSTM-Attention與CNN混合模型的文本分類方法

滕金保，孔韋韋，田喬鑫，王照乾

1.西安郵電大學，西安710121

2.陜西省網絡數據分析與智能處理重點實驗室，西安710121

隨著互聯網技術的飛速發展，大量文本信息不斷涌入到互聯網中，如何快速高效地將海量文本數據進行歸類并提取其中的關鍵信息尤為重要。文本分類技術便于人們對文本數據處理，有助于提取文本中最有價值的信息，也是自然語言處理中一項最基本的任務，在輿情分析[1]、垃圾郵件識別[2]、情感分析[3]任務中有重要的研究意義，受到了人們的高度重視。

傳統的文本分類算法主要是基于統計的分類算法，結合特征工程實現對文本的分類[4]。Chen等[5]提出了一種基于KNN 的新聞文本分類方法，首先對新聞文本進行預處理和特征提取，然后進行數據歸一化和降維處理，最后通過KNN 分類器進行分類。Saigal 等[6]提出了一種最小二乘雙支持向量機（LS-TWSVM）方法用于文本分類，首先將數據集轉換成所需要的格式，然后執行預處理標記和刪除不相關的數據，將特征集構造為術語頻率和逆文檔頻率矩陣，從而得到每個文檔的代表向量，最后利用LS-TWSVM 進行分類。文獻[7]提出用改進的樸素貝葉斯來解決文本分類問題，通過構造一個相關因子，該因子包含了不同類之間的總體相關性，有效地利用了自舉的思想，對于較小的訓練集數據仍然有不錯的效果。以上改進算法雖然在一定程度上提高了文本分類的效果，但都需要人工提取文本特征，且沒有考慮特征之間的相關性，忽略了特征之間的相互影響，同時文本存儲存在高維稀疏、表達能力弱的缺點[8]。

隨著研究的深入，word2vec將文本表示成低維稠密的向量空間，大大降低了文本數據存儲的難度，且考慮了詞語之間的相關性，更好地表示了文本數據，這極大地推動深度學習在文本分類上的廣泛應用[9]。卷積神經網絡（Convolution Neural Network，CNN）是近年來最流行的深度學習算法之一，卷積核通過設置不同的權重來提取多維特征，然后經過池化層獲取局部關鍵信息，通過其特有的網絡結構和權值共享策略使得降維速度更快且訓練的參數相對較少，網絡結構簡單高效且適應性強[10]。基于改進卷積神經網絡的短文本分類模型[11]用改進的CNN 提取不同粒度的短文本特征，有效提取到關鍵信息且模型分類準確率較高。全卷積神經網絡的字符級文本分類方法[12]使用字符級別CNN進行文本分類，在二分類任務上取得了較好的成績。雖然CNN 和其改進模型可以有效提取局部關鍵信息，且分類效果較好，但忽略了文本上下文語義信息。循環神經網絡（Recurrent Neural Network，RNN）作為自然語言的標配，可以更好地處理文本上下文信息，高效地挖掘數據的局部特征，但由于在處理長文本時會導致部分信息的丟失，因此目前多采用循環神經網絡的變體長短時記憶網絡（Long Short-Term Memory，LSTM）進行文本上下文語義信息的提取。基于CNN和BiLSTM網絡特征融合的文本情感分析[13]首先用CNN 提取文本局部特征，同時用BiLSTM提取文本上下文語義特征，然后將兩個網絡的輸出進行融合，該算法結合了CNN 和BiLSTM提取文本特征的優點，大幅度提高了模型預測的效果，但沒有考慮到文本中最關鍵的信息，沒有將注意力集中在重要的詞語上[14]。CNN 和LSTM 在提取文本信息時都有各自的優勢，但都存在可解釋性弱的不足的缺點，為此，Bahdanau等[15]將注意力（Attention）機制引入RNN并在機器翻譯任務中取得了不錯的成績，開啟了Attention機制在自然語言的先河。Li 等[16]提出雙通道注意力模型（DCAM）用于文本情緒分析，首先用word2vec 訓練詞向量并將文本表示成矩陣形式，然后用CNN和LSTM進行特征提取，最后引入注意力機制把注意力集中在重要的詞語上，大幅度提高了模型預測的效果。基于用戶和產品Attention 機制的層次BGRU 模型[17]提出利用奇異值分解得到語義的先驗信息，然后利用雙向門循環單元提取上下文語義信息，結合注意力機制進行情感分析，模型預測的準確率和訓練速度都有極大的提升。

為進一步提升文本分類的效果，充分利用文本信息中最關鍵最有價值的信息，本文提出一種基于LSTMAttention 與CNN 混合模型的文本分類方法MLACNN（Merge-LSTM-Attention-CNN），主要內容如下：

（1）利用詞嵌入技術訓練詞向量，將文本信息表示成低緯的稠密矩陣。

（2）用LSTM 提取文本上下文特征，將LSTM 的輸出作為Attention層的輸入提取注意力分值，根據分值計算出文本經過Attention 層的向量，同時用CNN 對文本矩陣進行卷積、池化提取文本局部關鍵特征。

（3）將Attention 層的輸出向量與CNN 層的輸出向量融合，得到最終的文本信息向量表示，根據這個向量進行文本分類。

本文提出的MLACNN 模型充分利用了LSTM 和CNN提取文本特征的優點，在此基礎之上引入Attention機制，根據不同單詞對分類結果影響的大小賦予不同的權重，使單詞在分類任務中起更不同的作用，達到提高分類效果的目的。

1 MLACNN模型

本文提出MLACNN 模型，主要包含詞嵌入層、LSTM層、Attention層、CNN層，其總體架構如圖1所示。

圖1 模型總體架構圖

1.1 詞嵌入層

在文本分類任務中，通常采用字或詞語作為處理的基本單元，并用固定長度的實數向量表示，這種表示方式稱為詞嵌入（Word Embedding）。發展初期一般用獨熱編碼（One-Hot Encoding）進行表示，該方法首先根據詞語創建一個詞匯表，每個詞語按順序編號并表示成一個維度等于詞語數的向量，向量中只有對應順序編號位置為1，其余位置為0，這種方式表示的詞向量無法體現詞語之間的相關性，且向量維數過高，容易導致維數災難問題的發生。

為了避免以上問題的出現，MLACNN 模型中采用word2vec模型訓練詞向量，相較于傳統的獨熱編碼表示的詞向量，該模型是通過對大規模文本數據進行訓練而得到的低緯且稠密的詞向量，可以更好地表示詞語之間的關系及信息。word2vec 模型有CBOW 和Skip-gram兩種結構，如圖2所示。

圖2 CBOW結構和Skip-gram結構

CBOW和Skip-gram結構都由輸入層、映射層、輸出層組成，在訓練過程中CBOW 結構使用周圍的詞來預測中心詞，而Skip-gram 結構則使用中心詞來預測周圍的詞。在訓練速度方面CBOW結構要比Skip-gram快，但從表達語義信息準確性方面來看Skip-gram 要比CBOW 表達的效果更好[18]，因此本文選用Skip-gram 結構訓練詞向量。Skip-gram模型在訓練時通過中間詞向量Wt的條件概率值來求解上下文詞向量，計算公式為：

假設輸入到模型中的一條文本的單詞數為K,用向量[W1,W2,…,Wk]來表示這條文本，在經過詞嵌入層后文本表示轉換成X=[x1,x2,…,xk]，xi∈Rd，其中d為詞向量維度。

1.2 LSTM層

RNN 是一種多用于處理可變長序列的神經網絡，在文本分類中應用廣泛，但由于傳統的RNN 在處理長序列文本時容易產生梯度消失和爆炸的問題，因此目前多采用RNN的改進結構LSTM，通過在神經元加入輸入門i、遺忘門f、輸出門o、內部記憶單元c使得在處理長序列文本時更加有優勢，緩解了梯度消失和爆炸現象的發生，相較于RNN 能更有效地提取文本上下文信息。輸入門i控制當前時刻網絡的輸入Xt有多少保存到單元狀態Ct，遺忘門f決定上時刻的單元狀態Ct-1有多少保留到當前時刻Ct，輸出門o控制單元狀態Ct有多少輸出到LSTM的當前輸出值Ht。LSTM結構圖如圖3所示。

圖3 LSTM結構圖

當輸入的文本詞向量矩陣為X=[x1,x2,…,xk]時，則LSTM的更新公式為：

式中，Ht為最終的輸出，σ(?) 為Sigmoid 激活函數，tanh(?)為雙曲正切函數，W為對應的權重，b為對應的偏置。

1.3 Attention層

Attention機制的本質是一組權重值分布，在自然語言處理領域表示為權重越大的詞在整個文本中越重要，在整個分類任務中發揮的作用也就越大。將注意力放在對文本分類結果影響較大的詞可以有效提升分類的效果。本文將LSTM提取文本上下文信息后的輸出Ht作為Attention層的輸入，模型結構如圖4所示。

圖4 LSTM-Attention結構圖

假設詞向量x1,x2,…,xL經過LSTM 處理后對應不同時刻的輸出為Ht，計算每一時刻輸出與整個特征向量的匹配得分為：

式中是比詞向量更高一級的文本表示形式，開始時初始化該向量，隨著模型訓練時更新，分數值越大表明對應注意力越大，該詞也越重要。每一時刻輸出得分占總體百分比為：

式中j∈[0,L]，得到每一時刻對應的百分比后再對所有時刻輸出進行求和再平均，得到最終向量V，計算公式為：

經過LSTM-Attention 后得到的矩陣V既包含了文本上下文信息，又將注意力放在了重要的詞語上，更好地表示了語義信息。

1.4 CNN層

CNN由若干卷積層、Pooling層、全連接層組成。其中卷積層通過不同大小的卷積核進行特征提取，池化層有最大池化和平均池化兩種方式，對輸入的特征圖進行壓縮，一方面使特征圖變小，簡化網絡計算復雜度，另一方面提取主要特征，全連接層連接所有的特征，將輸出值送給分類器。CNN其獨特的結構可以有效地提取局部關鍵特征，MLACNN 模型采用TextCNN[19]結構提取特征，如圖5所示。

圖5 Text-CNN模型

首先將文本表示成矩陣形式，然后使用多個不同大小的卷積核對詞向量進行卷積，將卷積后的結果進行最大池化操作得到一個新的特征向量Y。

MLACNN模型把經過最大池化得到的特征向量Y與LSTM-Attention 的輸出向量V進行拼接，得到一個新的向量Z，這個新的向量既包含了上下文語義信息又融合了局部關鍵信息，還將注意力放在重要的詞上，經過一個隱藏層后由Softmax計算進行分類，計算公式為：

同時為了進一步提高模型預測準確率，在隱藏層和分類層之間加入dropout，緩解過擬合現象，提高模型的泛化能力。

2 實驗結果及分析

2.1 實驗環境

為驗證MLACNN 模型預測性能，本模型和基準實驗在Ubuntu 18.04 系統上進行，CPU 為Intel?Xeon?Gold 5218，使用Python3.6 編程語言，為更好地表示語義信息采用word2vec訓練詞向量，且采用CUDA10.1進行加速計算，具體實驗環境如表1所示。

表1 實驗環境

2.2 數據集

實驗采用的數據集來自中山大學中文新聞數據集、搜狗實驗室中文新聞數據集以及AG_news英文新聞數據集。選取搜狗實驗室數據集（體育、房產、財經、經濟、游戲、文化、科技、教育、娛樂、健康）10 個類別共計20 000 條數據，中山大學數據集（健康、教育、交通、科技、經濟、娛樂、文化、游戲、科技）9個類別共計18 000條數據，AG_news數據集（Sport、Word、Sci/Tech、Business）4個類別共計27 200條數據。具體信息如表2所示。

表2 數據集統計信息

2.3 訓練參數設置

由于Skip-gram結構訓練的詞向量表達語義信息準確性方面要比CBOW 效果好，因此在進行詞向量訓練時采用Skip-gram 結構，同時為避免不常用的單詞對實驗結果造成影響，在訓練詞向量時選取詞頻前6 000 的單詞。在LSTM、CNN網絡層中為防止過擬合現象設置Drop_out 數值為0.5，隨機失活50%的隱藏層單元的激活值，采用ReLu激活函數可以加速收斂速度，也可以進一步防止過擬合現象的發生。設置損失函數為多分類任務中常用的交叉熵損失，優化器為Adam，Epoch 為10，Batch_size為256，具體參數如表3～5所示。

表3 Word2vec網絡參數

表4 LSTM網絡參數

表5 CNN網絡參數

2.4 模型評估標準

采用分類任務常見的評估標準：準確率、精確率、召回率以及F1 值對MLACNN 模型進行評估。混淆矩陣如表6所示。

表6 混淆矩陣

表6 中行和列分別表示分類前樣本的實際類別及分類后對樣本的預測類別，具體評估方法如下：

（1）準確率(Acc)表示預測正確的樣本占總樣本的比重，計算公式為：

（2）精確率(Pre)表示實際類別且預測類別都為正的樣本占所有預測類別正的樣本比重，計算公式為：

（3）召回率(Rec)表示實際類別且預測類別都為正的樣本占所有實際類別為正的樣本比重，計算公式為：

（4）F1 值為準確率和召回率的加權調和平均值，計算公式為：

2.5 對比實驗

為驗證提出的MLACNN 模型預測性能，在同等實驗環境下與以下基準模型進行對比：

（1）Text-CNN-Char[20]：處理的最小單元是字，將文本表示成字向量矩陣由不同大小的卷積核進行特征提取，經過池化層后進行分類。

（2）Text-CNN-Word[21]：處理最小的單元是詞語，需要先將文本進行分詞處理，然后將文本表示成詞向量矩陣的形式，經過卷積池化后進行分類。

（3）LSTM[22]：將整篇文檔作為一個單獨的序列，把單詞隱藏狀態的平均值作為分類的特征。

（4）BiLSTM[23]：雙向的LSTM，把兩個方向單詞隱藏狀態的平均值作為分類的特征。

（5）RCNN[24]：先用RNN提取文本上下文語義信息，再用CNN提取局部關鍵信息，最后進行分類。

（6）CNN-LSTM[25]：先用CNN 提取局部關鍵特征，再用LSTM提取CNN的輸出，最后進行分類。

（7）LSTM-CNN[26]：先用LSTM提取上下文信息，再用CNN提取LSTM的輸出，經過池化后分類。

（8）Bert-Softmax[27]：先用Bert 預訓練模型對文本進行特征向量表示，然后經過Softmax層進行分類。

（9）CNN-BiGRU-Attention（C-BG-A）[28]：先用CNN提取深層次文本特征，然后用BiGRU 進行序列化信息學習，最后用Attention機制提取對結果影響較大的詞然后進行分類。

MLACNN 模型和以上基準模型在3 個公開數據集上的實驗結果如表7～9所示。

表7 搜狗數據集實驗結果對比 %

表8 中山大學數據集實驗結果對比 %

從表格中可以看出MLACNN模型相較于以上提及的9 個基準模型在3 個相同的數據集下分類效果更優，大幅度提高了模型分類的效果。相較于傳統CNN模型分類的效果分別提升了1.36 個百分點、2.96 個百分點、4.01個百分點。傳統CNN模型使用卷積核進行特征提取時只考慮到了局部特征，而MLACNN 模型綜合考慮了文本隱含的上下文語義信息，能更好地表示文本最真實的語義信息。同時可以看到CNN模型在處理字向量的效果要明顯比處理詞的效果好，這是因為文本在進行分詞時會有一定的分詞誤差，而該誤差在進行特征提取時會進一步向神經網絡層傳遞，無法在網絡中將該誤差消除，從而導致采用同樣的模型處理字的效果要比詞語的效果好。相較于傳統LSTM 模型預測效果分別提升了2.63 個百分點、8.70 個百分點、2.87 個百分點。傳統LSTM 相較于CNN 雖然可以有效地提取文本上下文語義信息，但在進行分類時認為每個詞對最終的結果起同等作用，而在文本分類任務中一些詞語相對于其他詞語起的作用可能更大，甚至決定了最終分類的結果。MLACNN 模型不僅考慮了上下文語義信息，還綜合考慮了其他影響分類效果的因素，把注意力放在了更重要的詞上。相較于CNN、LSTM混合模型分類效果分別提升了1.05個百分點、2.04個百分點、2.34個百分點。CNN、LSTM 混合模型雖然可以有效地提取文本上下文語義信息和局部關鍵特征，相較于單個模型提升了分類的效果，但仍然沒有體現每個詞在文本中重要程度的問題，沒有將注意力放在對結果影響較大的詞上，而MLACNN模型不僅可以有效地提取文本上下文語義信息及局部關鍵特征，還識別到對分類結果影響大的詞語，從而將注意力放在該詞上，讓更重要的詞在分類時起到更大的作用，從而提升了分類的效果。相較于Bert-Softmax 模型分類效果分別提升了2.50 個百分點、3.44個百分點、3.61個百分點，相較于C-BG-A混合模型分類效果分別提升了1.31 個百分點、2.16 個百分點、2.97 個百分點，這是因為在進行特征提取時C-BG-A 混合模型首先用CNN提取深層的語義信息，然后用BiGRU提取序列信息，最后用Attention機制識別出每個單詞的重要程度，特征提取的有效性依賴于CNN 模型提取特征的特點，而CNN 進行特征提取時可能會導致部分語義信息的丟失，進而影響模型分類的效果，且C-BG-A混合模型采用遞進式的結構更容易出現梯度消失和爆炸的問題，而MLACNN 模型采用并行結構，有效緩解梯度消失和爆炸的問題，進行特征提取時更是結合了CNN和LSTM的提取特征優勢，因此分類效果要明顯優于C-BG-A混合模型。

表9 AG_news數據集實驗結果對比 %

除此之外可以看出雖然同是CNN、LSTM 混合模型，但LSTM-CNN 分類的效果要比CNN-LSTM 效果好，因為CNN提取的是局部關鍵特征，如果在LSTM之前提取文本局部關鍵信息則會導致對文本原始信息提取不全問題的發生，LSTM 提取的是CNN 的輸出，也無法彌補由CNN 提取局部特征所帶來的丟失信息的問題，而如果先用LSTM提取上下文語義信息則不會出現該問題，LSTM 可以有效提取文本上下文信息，在經過CNN卷積、池化后得到局部關鍵信息，根據輸出的局部關鍵信息進行分類，因此LSTM-CNN 的分類效果要比CNN-LSTM效果好。而對照RCNN和LSTM-CNN可以看出后者的分類效果要比前者更好，因為RNN 在處理長序列文本時由于自身網絡結構會出現信息丟失且容易發生梯度消失和爆炸等問題，而LSTM通過在神經單元增加門控的形式可以處理更長的文本，可以有效地緩解梯度消失和爆炸等問題，因此分類效果要比用RNN結合CNN效果好。

從表7～9 中可以看出：MLACNN 模型不僅在分類的準確率上有很大的提升，在精確率、召回率、F1 值上的提升效果也比較明顯，在搜狗數據集上精確率、召回率、F1值分別提升了0.99個百分點、0.97個百分點、0.84個百分點，在中山大學數據集上分別提升了1.84個百分點、1.77 個百分點、1.86 個百分點，在AG_News 數據集上分別提升1.51 個百分點、2.40 個百分點、2.26 個百分點，在3個數據上精確率、召回率、F1值平均提升了1.45個百分點、1.71個百分點、1.65個百分點，準確率提升了1.81個百分點，充分顯示了MLACNN模型的優越性。

為進一步展示MLACNN 模型的優越性，本文對各個模型的訓練過程進行了進一步探究，得出了中山大學中文新聞數據集訓練過程的校驗集準確率，如圖6所示。

圖6 校驗集準確率變化曲線

從圖中可以看出傳統的CNN網絡和LSTM網絡曲線波動較大，在第8 個Epoch 才開始收斂，改進的CNN和LSTM 的混合模型曲線相對平緩，波動較小，但收斂速度仍相對較慢，提出的MLACNN 模型不僅收斂速度更快，且曲線整體相對平緩，訓練過程穩定且準確率高，且在后續的訓練過程中一直處于領先優勢，進一步體現了MLACNN模型的優勢。

2.6 消融實驗

為驗證MLACNN 模型的有效性，進行消融實驗。將MLACNN模型分解，設置CNN、LSTM、CNN+LSTM、LSTM-Attention，實驗結果如表10～12所示。

表10 搜狗數據集消融實驗結果 %

表11 中山大學數據集消融實驗結果 %

表12 AG_News數據集消融實驗結果 %

從表中可以看出CNN 和LSTM 分類效果近似，CNN+LSTM 結合了兩個模型，在提取特征時綜合了全局與局部特征，分類的效果優于單一的CNN、LSTM，但沒有將注意力放在對分類結果影響較大的單詞上，因此分類效果有待提升。而LSTM-Attention 在LSTM 后使用Attention 機制，將注意力放在對分類結果影響較大的單詞上，因此分類的效果要優于單一的LSTM。MLACNN 模型在各項指標上結果均為最優，比單一的CNN性能平均提升了3.84個百分點，比單一的LSTM性能平均提升了5.51 個百分點，比混合CNN+LSTM 性能平均提升了2.18個百分點，比LSTM-Attention性能平均提升了3.93個百分點。以上實驗結果驗證了MLACNN模型通過混合LSTM-Attention與CNN可以有效提高文本分類效果。

3 總結

針對文本分類問題本文提出一種基于LSTMAttention 與CNN 混合模型的文本分類方法MLACNN，該模型首先通過詞嵌入將文本表示成低緯稠密詞向量矩陣，然后利用CNN 提取文本局部關鍵特征，同時用LSTM 提取文本上下文語義信息從而彌補CNN 在提取文本上下文語義信息的不足，通過計算LSTM輸出向量的分值給予詞不同的注意力，然后與CNN 提取的局部關鍵特征進行融合，減少了原始特征的損失，更好地表示了整個文本的信息，提升了文本分類的效果。通過與其他模型對比實驗進一步證明了MLACNN 模型的優勢。下一階段的研究工作是分析MLACNN模型的各個參數對分類結果的影響，從而使模型分類效果更好，進一步提高文本分類的準確率。