融合多重注意力機制的卷積神經網絡文本分類設計與實現

閆 躍,霍其潤,李天昊,毛 煜

1(首都師范大學 信息工程學院,北京 100048)

2(北京理工大學 計算機學院,北京 100081)

1 引 言

近年來,文本分類任務面臨著文本信息數據量的增加和文本內容復雜度提升等問題,人工進行文本信息分類的效率較低,同時很容易受到主觀因素的影響,使得分類的準確程度不高.基于深度學習的文本分類方法采用深度神經網絡,摒棄了人工特征提取步驟,可以從大量數據中自動提取深層文本特征,進而解決了這一問題.目前主要將文本分類任務分為文本向量化和分類模型構建兩個方面,首先將文本信息轉化為向量形式,再通過深度神經網絡對提取到的詞向量進行特征抽取,在文本分類任務中取得了較好的表現.

在文本表示方面,詞向量[1]概念的首次提出為探究文本語義之間的關系開辟了一條新的思路,其核心思想是通過神經網絡降維將原始的文本表示為一定長度的稠密向量,從而提高文本特征的表達能力.2013年,Mikolov[2]提出了word2vec模型,該模型基于神經網絡,通過將文本轉化為向量形式對特征詞語的語義相似度進行距離度量.ColloBERT[3]提出了將詞向量與卷積神經網絡相結合,將文本分類任務分為文本表示和分類器兩個模塊,提升了分類效果.

在之后的分類器構建中,傳統的淺層機器學習算法有著特征工程構建繁瑣、難以表示復雜函數等問題,CNN和RNN等深度學習框架[4]的應用較好的解決了這些問題.然而單一的深度神經網絡模型提取特征能力有限,難以關注到詞語在上下文的含義,注意力機制通過分配影響文本分類效果的關鍵特征更高的權值,從而提高特征提取效果,將深度神經網絡模型和注意力機制相結合也成為了研究熱點.Mnih[5]等將注意力機制結合RNN模型來進行圖像分類,提高了分類性能.Bahdanau[6]等首次將注意力機制應用在NLP領域,提高了機器翻譯效果.緊接著許多學者將注意力機制與RNN和LSTM等序列化建模任務相結合,在NLP領域有著出色的效果.Vaswani[7]等在機器翻譯上拋棄了RNN和CNN等網絡結構,完全采用了自注意力機制,并取得了較好的效果.在文本分類任務中,現有的研究多采用添加外部標簽的注意力機制,通過分析不同語料特點添加影響文本分類效果的外部標簽,進而提升文本分類效果.目前采用自注意力機制與CNN模型相結合的研究較少,針對上述問題,本文提出一種融合多重注意力機制的卷積神經網絡文本分類模型,在CNN模型的基礎上,深入探究自注意力機制在CNN模型不同層之間嵌入對文本分類效果的影響,實驗驗證該分類模型的準確性和有效性.

2 相關工作

在進行文本分類前,首先要對文本進行特征表示[8],當前的研究大多使用多種算法的組合來更好地表征文本以進行文本分類.寧亞輝[9]以領域高頻詞作為特征詞,通過知網進一步擴展后實現文本分類,提高了分類器的性能.王盛[10]在特征擴展的過程中考慮了詞語的上下文關系,解決了文本語義稀疏對文本分類的影響.朱磊[11]通過將語義信息和概率模型相結合,構建了VSM-TFIDF文本分類模型,提升了文本分類效果.Hinton考慮到文本的語序和上下詞之間的聯系,提出了詞向量的概念.在詞向量概念的基礎上,Skip-gram和CBOW模型采用深度網絡結構提升了詞向量訓練的效率和分類模型精度.

分類器的構建[12]影響著文本分類的效果.深度學習算法通過構建深度神經網絡,摒棄人工構建復雜而低效的特征工程等步驟,從而有效提高了模型的穩定性和魯棒性.2008年ColloBERT等[13]第一次在自然語言處理任務中使用卷積神經網絡,在命名實體識別、語義標注等多項任務中都有著顯著的提升.循環神經網絡(recurrent neural networks,RNN)[14]模型的提出進一步提升了NLP任務的精度,RNN模型對具有序列特性的文本數據效果顯著,能夠挖掘出數據中的時序信息和語義信息,提升了文本分類的性能.Yoon Kim[15]在CNN模型的基礎上,提出了更適用于NLP任務的TextCNN模型,在文本分類方面效果顯著.

在模型的訓練方面,深度神經網絡模型結構單一,與其他算法相結合能夠提升性能.注意力機制可以關注到影響模型精度的重要特征,近年來NLP領域聚焦于注意力機制嵌入深度神經網絡模型的構建方法.Yang Z[16]等將注意力機制和RNN相結合,利用RNN捕捉文本的時序特征和語義特征,注意力機制通過賦予關鍵特征更高的注意力權值的方式進行特征篩選,提高了文本分類模型的精度.邵清等[17]使用注意力模型處理詞向量結合卷積神經網絡實現文本分類,獲得了效果的提升.石磊[18]等將注意力機制和Tree-LSTM相結合,和多種情感分類模型進行對比,有效地提高了模型精度.朱燁[19]利用對象的實例信息,提出最近鄰注意力和卷積神經網絡的文本分類模型,通過引入基于加權卡方的最近鄰改進算法訓練文本,構建文本對象的注意力.

現有的注意力機制和深度神經網絡結合的模型多采用添加外部標簽的方式改進文本分類模型,未能深入探究模型層面上嵌入自注意力機制對文本分類效果的影響,因此,本文構建了融合多重注意力機制的卷積神經網絡文本分類模型,深入分析自注意力機制嵌入卷積神經網絡不同層之間對文本分類效果的影響.

3 融合多重注意力機制的卷積神經網絡文本分類

3.1 ATTCNN模型結構設計

本文提出的融合多重注意力機制的卷積神經網絡文本分類算法(ATTCNN)基于卷積神經網絡架構,該分類模型如圖1所示.首先在輸入層將文本轉化為詞向量的形式,得到的詞向量通過第一注意力層,賦予更多的關注在影響詞向量質量的重要特征上,通過不斷迭代為這些特征分配注意力權值,其次將重新分配權值的特征向量輸入卷積層中用于抽取文本特征信息,提取的特征嵌入第二注意力機制,對影響文本分類效果的關鍵特征進行二次加權,然后通過池化層對卷積層所獲得的特征向量抽取最為顯著的上下文特征作為高維特征的一部分,最后將通過池化層所獲得的顯著高維上下文特征輸出經過全連接后計算得到文本分類結果.

圖1 融合多重注意力機制的卷積神經網絡文本分類模型圖Fig.1 Flow chart of text classification based on convolutional neural network with multiple attention mechanisms

3.2 自注意力機制

在詞向量處理方面,傳統的詞向量處理方法通過計算詞頻實現[20],忽略了詞之間的語義關系,為解決這一問題,本文采用注意力機制對詞向量進行處理.注意力機制模型和人腦注意力機制類似,人腦在進行文本瀏覽中,會自動實現注意力分配,更加關注關鍵信息,從而快速得到需要的內容.注意力機制在神經網絡中的運用也是提取出影響模型精度的重要特征,并賦予更高的權值.自注意力機制作為注意力機制的變體,實際上是對注意力機制的多次使用.其對句子內部詞之間的語義關系進行深度解析,可以更好地利用短語和詞組的語義特征,所以本文采用自注意力機制,對詞向量進行處理,從而提升卷積神經網絡輸入層的詞向量質量.

在卷積神經網絡模型方面,和自注意力機制相結合能更好的篩選出影響文本分類效果的重要特征,通過不斷地迭代提高這些特征的注意力權值,從而過濾掉對文本分類效果影響較小的無用特征.所以本文選用自注意力機制,嵌入卷積神經網絡文本分類模型之中,從而提升卷積神經網絡文本分類效果.

注意力機制的權重aij由softmax函數進行歸一化得到,計算式見公式(1):

(1)

(2)

其中v表示注意力機制的偏移向量,將得到的注意力概率值與原矩陣S中對應的向量相乘,為影響文本分類效果的關鍵特征賦予更高的權重,得到新的文本特征x′,自注意力機制的權重矩陣的計算見公式(3):

(3)

本文將自注意力機制分別嵌入卷積神經網絡的卷積層前后,分別對輸入層和卷積層輸出的特征進行注意力加權,聚焦于影響文本分類效果的關鍵特征上,實現不同粒度上的特征優化.

3.3 詞向量層

詞向量處理:將預處理后的文本數據轉化成詞向量的形式.本文采用word2vec中的CBOW模型,將生成好的詞向量作為CNN模型的輸入,用矩陣S∈Rn×d表示,其中d是詞向量維度,n是句子中包含的詞向量個數,矩陣計算式見公式(4):

S=[x1,x2,…xi,…xn]T

(4)

S作為卷積神經網絡的輸入,嵌入第一層注意力機制后傳入卷積層.

嵌入第一層注意力機制:對卷積層輸入的向量表示S進行注意力加權得到卷積層的輸入S′,注意力加權定義見公式(5):

(5)

第一注意力層針對詞向量進行注意力動態加權,能更好地捕捉句子內部詞之間的語義關系,在原有詞向量的基礎上進行權值的再分配,從而提高詞向量質量,輸入卷積神經網絡.

3.4 CNN模型訓練層

卷積層:將通過第一層注意力機制加權的詞向量輸入到卷積神經網絡的卷積層并采用多尺寸卷積核進行卷積.將文本特征x′輸入到卷積層,與濾波器點乘后加上偏置項,通過激活函數Relu輸出,卷積運算見公式(6):

(6)

其中Wi為卷積核的權重,i為滑動窗口大小,b為偏置項,j為卷積核高度,本文使用的卷積核高度分別為3、4、5,滑動步長為1,卷積核數目為128.卷積層的輸出H見公式(7):

H=[h1,h2,…hi,…hn-j+1]

(7)

嵌入第二層注意力機制:對卷積層輸入的向量表示H進行注意力加權得到池化層的輸入H′,注意力加權定義見公式(8):

(8)

第二注意力層位于卷積神經網絡中的卷積層和池化層之間,重點獲取文本經過處理后的高維特征,對上一步經過不同卷積核過濾的特征進行權值的再分配,在卷積神經網絡層面上對分類效果進行提升.

池化層:在池化層進行降維操作,從高維特征向量中提取較低維度的特征向量,平均池化從宏觀角度提取特征,最大池化則更傾向于提取有益分類的特征,本文選擇平均池化和最大池化相結合的方法,可以有效地減少特征圖的尺寸,間接減少全連接層的參數數量,從而增加運算速度,避免過擬合現象的發生,平均池化定義見公式(9),最大池化定義見公式(10):

Pavg=Avg_pooling(H′+b1)

(9)

Pmax=Max_pooling(H′+b2)

(10)

如圖2所示,將平均池化和最大池化結合,通過激活函數得到類別信息篩選結果P定義見公式(11),其中σ為激活函數,Pavg是平均池化結果,Pmax是最大池化結果,W1和W2為權重矩陣.

圖2 池化層結構圖Fig.2 Comparison with some classical models

P=σ(W1(Pavg)+W2(Pmax))

(11)

采用標準卷積操作對類別信息篩選結果進行特征降維,得到池化層輸出結果P′見公式(12):

P′=σ(f(5×5)(P)+b)

(12)

其中,σ為激活函數,b是偏置項.

全連接層:將池化層輸出結果通過全連接層融合到一起后經過softmax函數映射到每個類別的概率,從而輸出文本分類結果,計算式見公式(13):

label[]=softmax(Fc(P′))

(13)

其中,label[]代表文檔所屬類別的標簽,Fc表示全連接操作,softmax代表分類函數.

4 實驗與分析

4.1 數據集

為了測試本文模型的性能,本文在中文數據集中選用了搜狗新聞文本分類數據集(SogouCS)和新浪新聞文本分類數據集(THUCNews),在英文數據集中選用了AG_news數據集進行實驗.

SogouCS:該數據集來自搜狗新聞2012年6-7月期間收集整理的2萬多篇新聞數據,劃分出了教育、旅游、新聞、健康、等18個類別.

THUCNews:該數據集來自新浪新聞2005-2011年間的 74萬篇新聞文稿,經整理后匯總為財經、房產、時政、游戲等14個類別.

AG_news:由ComeToMyHead從2000多不同的新聞來源搜集的超過100萬且分為4個類別的新聞文稿.

4.2 實驗評估指標

文本分類模型的預測能力和分類結果需要通過幾個指標驗證,包括:準確率(Precision)、召回率(Recall)和F1值,其計算式見公式(14)-公式(16):

(14)

(15)

(16)

4.3 基準模型對比

基于上述通用數據集,我們對本文提出的ATTCNN模型進行了實驗測試,選取當前主流的深度神經網絡文本分類模型作為基準模型進行了結果的定量分析與比較.

為了驗證本文分類模型的正確性和有效性,選用了以下幾種基準文本分類模型:卷積神經網絡(CNN)[21]、長短時記憶網絡(LSTM)[22]、雙向長短時記憶網絡(BiLSTM)[23],BERT[24].表1中列出了幾種模型算法在不同數據集上的實驗結果,圖3直觀地對比了幾種模型算法在不同數據集上的F1值.

表1 基準模型對比結果(%)Table 1 Comparison with some classical models(%)

從表1和圖3中可以看出:本文提出的ATTCNN模型的準確率、召回率以及F1值表現最好,在3種中英文數據集的F1值分別達到了97.6%、91.4%和91.0%,相比表現最好的BERT模型分別提高了1.4%、2.3%、1.1%.本文提出的ATTCNN模型將注意力機制嵌入到卷積神經網絡中,采用動態的注意力概率分配策略,聚焦于影響文本分類效果的關鍵特征上,相比基準的深度神經網絡和由注意力機制構成的BERT模型在文本分類效果上有所提升,實驗證明了該模型的有效性.

圖3 基準模型F1值對比結果(%)Fig.3 Comparison result of benchmark model F1 value(%)

4.4 注意力機制重要性分析

為了驗證本文改進的注意力機制在卷積神經網絡卷積層前后對文本分類準確率的不同影響,本文通過消融實驗,對比了以下幾種結構在不同數據集上的性能.

ATTCNN(-attention):在卷積層前后分別減去注意力機制的文本分類模型.

ATTCNN(-attention1):在卷積層前減去注意力機制的文本分類模型,聚焦于卷積后提取體征中影響文本分類效果的關鍵特征,并進行權值分配.

ATTCNN(-attention2):在卷積層后減去注意力機制,更關注注意力機制對詞向量生成質量的影響.

ATTCNN:本文提出的融合多重注意力機制的卷積神經網絡文本分類模型,在卷積層前后嵌入注意力機制,實現不同粒度上的特征提取優化.

從表2和圖4中可以看出:嵌入注意力機制的ATTCNN模型、ATTCNN(-attention1)模型和ATTCNN(-attention2)模型相比未嵌入注意力機制的模型ATTCNN(-attention)在準確率,召回率以及F1值上均有著較大的提升,實驗證明注意力機制的嵌入對文本分類效果有著顯著的影響.同時本文提出的ATTCNN模型相比ATTCNN(-attention1)模型和ATTCNN(-attention2)模型在準確率、召回率以及F1值均有所提高.本文模型在THUCNews數據集的F1值達到了97.6%,比ATTCNN(-attention1)模型提高了0.5%,比ATTCNN(-attention2)模型提高了1.3%;在SogouCS數據集的F1值達到了91.4%,比ATTCNN(-attention1)模型提高了0.7%,比ATTCNN(-attention2)模型提高了1.3%.在AG_news數據集的F1值達到了91.0%,比ATTCNN(-attention1)模型提高了0.8%,比ATTCNN(-attention2)提高了1.6%.

表2 注意力機制重要性對比結果(%)Table 2 Comparison of the importance of attention mechanism(%)

圖4 注意力機制模型F1值對比結果(%)Fig.4 Comparison result of F1 value of attention mechanism model(%)

綜上所述:本文提出的ATTCNN模型結合了多種注意力機制嵌入模型的優點,在卷積層之前嵌入注意力機制,對影響詞向量質量的重要特征進行識別,通過不斷迭代對這些關鍵特征再次加權,以提升詞向量質量;在卷積層后嵌入注意力機制,更加關注高維特征的提取,從而得到更能區分類別信息的特征.實驗證明,本文提出的ATTCNN模型實現了不同粒度上的注意力分配,提高了文本分類的效果.

5 結束語

本文重點關注如何將注意力機制和卷積神經網絡相結合的問題,提出了融合多重注意力機制的卷積神經網絡文本分類模型(ATTCNN),首先將注意力機制嵌入到卷積神經網絡的卷積層之前,聚焦于影響文本分類效果的輸入特征,其次對卷積后得到的特征向量進行注意力分配的二次加權,實現不同維度上的注意力分配,最后引入最大池化和平均池化相結合的方法,有效地減少特征圖的尺寸,間接減少全連接層的參數數量,避免過擬合現象的發生.本文模型在中英文數據集上進行實驗,并與當前主流的深度神經網絡模型以及注意力機制嵌入卷積神經網絡的不同方案分別進行了實驗對比.實驗證明,該模型結合了卷積神經網絡提取特征和注意力機制分配權重的優點,在文本分類任務方面有著較大的性能提升.