最近鄰注意力和卷積神經網絡的文本分類模型

朱 燁，陳世平，2

1(上海理工大學 光電信息與計算機工程學院，上海 200093)2(上海理工大學 信息化辦公室，上海 200093)

1 引 言

隨著互聯(lián)網的大規(guī)模應用，信息資源不斷增加，文本信息成為一種十分重要的信息資源.如何快速、準確、全面的獲得有效信息是當前研究的熱點問題.近年來，文本分類技術作為自然語言處理和機器學習中的一項基本任務，在情感分析、垃圾郵件識別以及輿情分析中受到了人們的高度重視.

目前文本分類方法主要包括決策樹、K近鄰(KNN)、支持向量機、樸素貝葉斯、神經網絡以及粗糙集等方法[1].但是在傳統(tǒng)算法中文本數(shù)據(jù)存在高維稀疏、特征表達能力較弱、特征項之間易相互影響的缺點，故可能會導致分類時間較長且分類結果較差.

卷積神經網絡(Convolutional Neural Network,CNN)是近年來最流行的深度學習算法之一.其顯著特點在于：不同卷積核設置不同權重，提取多維特征，通過卷積層和池化層獲取文本敏感信息；卷積獨特的網絡結構使得降維(特征提取)速度更快，結合權值共享使得訓練的參數(shù)相對較少；網絡結構高效簡單適應性強[2].

2014年，Kim[3]首先提出卷積神經網絡對句子級文本分類，將單詞轉化為定長詞向量，然后采用多尺寸卷積核對詞向量卷積，最后進行池化、分類.但該文的不足之處是卷積和池化操作丟失了文本詞匯的順序和位置信息，使語義特征更難捕獲.2015年，Lai[4]使用卷積神經網絡結合循環(huán)神經網絡構造網絡結構，提出循環(huán)卷積神經網絡(Recurrent Convolutional Neural Networks,RCNN)，將雙向長短時記憶網絡(Bi-directional Long Short-Term Memory,BiLSTM)生成的上下文信息與詞向量進行拼接并映射到低維空間，最后通過池化獲取有效特征，但其主要缺點就是重復計算.2016年，Conneau[5]在Kim的卷積神經網絡基礎上實現(xiàn)了非常深層次的卷積結構，即使用小卷積和池化，池化層使用的K-MaxPooling可以獲得特征值中最具代表性的Top-K個值，保留了更多的信息.此模型卷積層多達29層，并且成功應用于句子分類.但深層次的神經網絡會使模型退化，分類效果降低.

近年來，許多學者通過研究深度神經網絡和注意力機制，構建網絡模型，獲得文本隱含的特征信息，使之具有更好的分類效果.2015年，Yin W[6]引入注意力機制對卷積神經網絡加權計算，分別在卷積前加入注意力、池化層加入注意力、輸入層和池化層同時加入注意力，將句子和詞語間的相互影響通過注意力機制加權到卷積神經網絡模型中，并運用在語句模型創(chuàng)建上，取得了不錯的分類效果.2017年，Pappas[7]提出分層注意力模型對段落進行分類，使用雙向GRU獲得詞語和句子的表征，以及兩個級別的注意力機制，使模型獲取不同級別的信息，但是沒有考慮文本對象信息對分類結果的影響.2017年，Wang Z[8]提出使用最近鄰算法增強神經網絡對文本進行分類.首先使用BiLSTM對文本進行訓練，融合KNN算法計算注意力機制對K個文本加權，并取得了不錯的效果.但是BiLSTM的時間復雜度較高，導致訓練速度較慢.

從整體上來看，目前的注意力機制模型大多采用獨特的網絡結構對輸入文本建模，但并未考慮文本實例對象對整體分類效果的影響.本文提出最近鄰注意力和卷積神經網絡的文本分類模型，通過最近鄰注意力機制增強卷積神經網絡的分類能力，使得用于分類的特征更加準確.首先通過改進的最近鄰算法從訓練集中獲得文本的對象信息，基于文本相似度構建文本對象注意力.然后將注意力機制與卷積神經網絡相結合實現(xiàn)全局特征和局部特征的融合.最后通過softmax函數(shù)進行文本分類.本文通過采用搜狗新聞語料庫、中山大學語料庫以及英文新聞語料庫AG_news進行實驗.結果表明，本文采用的改進算法相較于基準算法效果更優(yōu).

2 相關工作

2.1 最近鄰算法(KNN)

最近鄰算法是模式識別和數(shù)據(jù)挖掘中最常用的算法之一.其算法思想相對簡單，并且對噪聲具有一定的魯棒性.采用KNN算法進行文本分類，首先使用詞向量模型將訓練集和測試集的文本表示為向量，然后采用距離公式計算待分類文本和訓練集中每個文本的相似度，選出相似度最高的K個文本，則待分類文本的類別被預測為K個文本中出現(xiàn)概率最大的文本類別標簽，其中距離相似度通常采用歐氏距離、余弦距離、馬氏距離、曼哈頓距離等.

給定文本訓練集:N={X1,X2,…,Xm},對應類別標簽為:L={y1,y2,…,ym}.

最近鄰算法距離相似度公式為：

(1)

公式(1)中：Xi是待分類文本，Xj是文本訓練集N中的一個文本，Xiz是Xi的第z個特征，Xj是文本訓練集N中的一個文本，Xjz是Xj的第z個特征，d是文本向量的特征維數(shù).

對于給定的輸入文本，采用距離公式計算相似度，從訓練集中找出K個距離最小最相似的文本:{X1,X2,…,Xk}，其對應類別標簽為:{y1,y2,…,yk}.

2.2 基于卷積神經網絡的文本分類模型

文本分類是根據(jù)給定文本數(shù)據(jù)，預測每個測試文本對應的類別[9].每個文本由文本之間的局部特征和全局特征相互作用決定.針對文本內部相互作用的關系，采用由多個尺寸卷積核組成的卷積神經網絡進行實驗，提取文本特征項之間的復雜關系.

Mikolov[10]等人提出word2vec模型，根據(jù)給定的語料庫，經過優(yōu)化后的訓練模型可以快速有效地將一個詞語表示成對應的詞向量.本文利用word2vec模型訓練文本語料庫，得到詞向量.單個文本的最大詞語數(shù)目為v個:{t1,t2,…,tv}，每個詞語的詞向量為d維，組成一個v*d維的矩陣，作為文本分類模型的輸入，傳入多尺寸卷積神經網絡模型(MCNN)(如圖1所示).

圖1 多尺寸卷積神經網絡模型Fig.1 Multi-size convolution neural network model

卷積神經網絡文本分類模型由卷積層、池化層、全連接層、softmax分類函數(shù)組成.

1)卷積層

將文本向量作為卷積神經網絡模型的輸入，使用多尺寸卷積核進行卷積，提取不同類型的多維特征.每個卷積核都設有一個固定的滑動窗口，每次對窗口內的特征進行卷積，并使用激活函數(shù)激活.本文使用的卷積核高度h分別為3、4、5，滑動步長為1，每個尺寸的卷積核數(shù)目為128個.

{t1:h,t2:h+1,…,tv-h+1:v}

(2)

公式(2)表示輸入文本的窗口.

每個窗口ts:s+h-1卷積特征值的計算公式為：

(3)

其中Wh為卷積核的權重Wh∈Rh*d，h為卷積核的高度，bh∈R為偏置，s代表卷積核的滑動窗口的參數(shù)，?為卷積計算，f(x)為激活函數(shù)，常用的激活函數(shù)為Sigmoid、Tanh和Relu等，本文采用Relu函數(shù)激活，Relu函數(shù)能夠更好地學習優(yōu)化.

滑動窗口經過一個卷積核卷積后的特征圖為：

(4)

2)池化層

每個尺寸都有128個卷積核，則尺寸h=3卷積后的特征圖為：

(5)

尺寸h=4卷積后的特征圖為：

(6)

尺寸h=5卷積后的特征圖為：

(7)

將經過Max-pooling后的不同尺寸特征圖進行拼接，構建文本的全局特征圖：

C=[C3,C4,C5]=[T1,T2,…,T384]

(8)

共提取出384個特征，作為全連接層的輸入.

3)全連接層

將384個特征輸入至全連接層，隱藏層節(jié)點數(shù)為128，輸出層節(jié)點數(shù)為類別數(shù)，全連接神經網絡的計算公式為：

C′=f(W1C+b1)

(9)

C″=f(W2C′+b2)

(10)

其中W1、W2為全連接層的兩層權重，b1、b2為偏置，f(x)采用激活函數(shù)Relu激活.

4)分類函數(shù)softmax預測

(11)

多尺寸卷積神經網絡進行一次前向傳播后，利用反向傳播來對卷積核的權重進行更新，進行多次更新后，取得最優(yōu)的預測模型.

3 算法框架

3.1 改進的最近鄰算法(AKNN)

最近鄰算法通常采用歐式距離作為相似度衡量.但歐氏距離只考慮了各個特征項之間的絕對距離，而忽略了相對距離.在分類問題中，往往采用特征項的相對距離來作為距離的衡量標準.卡方距離通過卡方統(tǒng)計量衡量個體特征之間的差異性，從而體現(xiàn)特征項之間的相對關系，因此本文使用基于特征屬性加權的卡方距離計算相似度.

(12)

本文提出基于卡方距離結合屬性空間分布的特征值加權：

1)公式(13)的第一部分分母表示沿特征項方向測試文本和所有文本的卡方距離之和以及對應的訓練文本和所有文本的卡方距離之和，分子為測試文本與所有訓練文本之間沿特征項方向的卡方距離之和，整體表示測試文本與所有文本的相對位置影響.

2)公式(13)的第二部分分母表示該待分類訓練文本和其他訓練文本之間沿特征項方向的卡方距離之和，分子表示測試文本與所有訓練文本之間沿特征項方向的卡方距離之和，整體表示測試文本與所有訓練文本的相對位置影響.

(13)

通過加權的卡方距離計算文本相似度，找出K個最近鄰文本為:{X1,X2,…,Xk}，其對應類別標簽為:{y1,y2,…,yk}.

3.2 CNN-AKNN分類模型

本文首先使用上述改進的KNN算法提取與類別實例相關的K個文本.然后對相關文本進行注意力加權，以此獲取文本隱含的特征信息.最后將注意力權重與卷積神經網絡池化層的輸出進行拼接，一起輸入至全連接層，對模型(如圖2所示)更好的訓練.

利用上述改進的AKNN算法得到每個文本的K個訓練文本，并定義其文本向量表示為{X1,X2,…,Xk}，其對應標簽為{y1,y2,…,yk}.

使用相似度函數(shù)分別計算待分類文本X和得到K個訓練文本的相似度:

Si=sim(X,Xi)

(14)

S={S1,S2,…,Sk}

(15)

其中i∈{1,2,…,k}，Si表示待分類文本X與第i個文本的相似度，S是由K個訓練文本構建的注意力權重,分別使用注意力權重S對改進KNN算法輸出的標簽和文本向量加權.

對AKNN算法輸出的文本標簽加權的計算公式為：

(16)

利用S對標簽加權得到加權文本標簽y′,其中yk是文本實際標簽.

對AKNN算法輸出的文本向量加權的計算公式為:

(17)

利用S對文本向量加權得到加權文本向量X′.

將基于神經網絡的模型和基于實例的學習相結合，可以獲得良好的效果.將上述注意力加權的訓練文本標簽和注意力加權的訓練文本向量拼接后融入到卷積神經網絡的全連接層.

模型訓練環(huán)節(jié)使用隨機梯度下降法Adma算法[12]對權重進行更新.定義交叉熵函數(shù)為訓練目標的損失函數(shù)：

(18)

圖2 最近鄰注意力和卷積神經網絡的文本分類模型Fig.2 Text classification model based on nearest neighbor attention and convolution neural network

4 實驗以及結果分析

4.1 實驗環(huán)境

實驗環(huán)境如表1所示.

表1 實驗環(huán)境
Table 1 Lab environment

實驗環(huán)境環(huán)境配置操作系統(tǒng)Windows10GPU1050ti 4 GB內存8GB編程語言Python3.6分詞工具Jieba,nltk詞向量訓練工具Word2Vec深度學習框架Tensorflow

4.2 數(shù)據(jù)集

本文選取來源于搜狗實驗室、中山大學兩個中文新聞數(shù)據(jù)集以及英文新聞數(shù)據(jù)集AG_news，三個數(shù)據(jù)集均是中英文文本分類中最常用的新聞語料庫.選取搜狗數(shù)據(jù)集10個類別(體育、財經、房產、家居、教育、科技、時尚、時政、游戲、娛樂)共20000條數(shù)據(jù)，中山大學數(shù)據(jù)集8個類別(交通、健康、娛樂、教育、文化、科技、游戲、經濟)共18000條數(shù)據(jù).AG_news數(shù)據(jù)集4個類別(World、Sports、Business、Sci/Tech)共27200條數(shù)據(jù).具體實驗信息如表2所示.

4.3 參數(shù)設置

本文的參數(shù)主要設置如下.

使用Word2vec訓練詞向量，詞向量維數(shù)200，詞語個數(shù)6000，得到文本向量的尺寸大小為6000*200.

表2 數(shù)據(jù)集的統(tǒng)計信息
Table 2 Statistics of data set

名稱訓練集驗證集測試集類別數(shù)共計搜狗10000500050001020000中山大學1000040004000818000AG_NEWS1200076007600427200

設置不同尺寸的卷積核，第一種卷積核的個數(shù)128，尺寸大小為3*200，第二種卷積核的個數(shù)128，尺寸大小為4*200，第三種卷積核的個數(shù)128，尺寸大小為5*200.全連接層隱藏節(jié)點數(shù)為128.

丟棄率dropout為0.5，學習率為0.001，學習率指數(shù)衰減率為0.9，梯度閾值為5.0，迭代次數(shù)為20，批次數(shù)為64.改進最近鄰算法，K設置范圍為[1,20].

4.4 實驗結果和分析

本文采用最近鄰注意力和卷積神經網絡的文本分類模型，對文本進行分類.選取部分實驗結果作為展示，本文采用四個實驗對模型的分類結果進行衡量.

實驗1.為了驗證模型的預測性能，本文采用基準模型:卷積神經網絡(CNN)[13]、字符集卷積神經網絡(Char Convolutional Neural Network,CharCNN)[14]、循環(huán)卷積神經網絡(RCNN)[4]、長短時記憶網絡(Long Short-Term Memory,LSTM)[15]、雙向長短時記憶網絡(BiLSTM)[16]、最近鄰注意力和卷積神經網絡(CNN_KNN)、加權卡方最近鄰注意力機制和卷積神經網絡(CNN_AKNN).其中CNN_KNN模型采用傳統(tǒng)的KNN算法和多尺寸卷積神經網絡構建網絡模型，CNN_AKNN模型采用加權卡方距離改進的AKNN算法和多尺寸卷積神經網絡結合構建網絡模型.本文分別采用準確率(Accuracy)、召回率(Recall)、精確率(Precision)、宏F1值對模型評價.TP表示預測為正樣本且分類正確的樣本數(shù),TN表示預測為負樣本且分類正確的樣本數(shù)，F(xiàn)P表示實際為負且分類錯誤的樣本數(shù)，F(xiàn)N表示實際為正且分類錯誤的樣本數(shù).

(19)

(20)

(21)

(22)

表3為不同數(shù)據(jù)集上各個模型的準確率、精確率、召回率、宏F1值的比較結果.從表3看出，相比CNN、CharCNN、RCNN、LSTM、BiLSTM，本文模型在三種數(shù)據(jù)集上都表現(xiàn)出了良好的性能，相比傳統(tǒng)的卷積神經網絡模型分類效果分別提高了2.96%，1.34%，1.81%.這是因為本文在模型中綜合考慮了文本詞語的隱含特征，更適合文本分類的實際特點，獲取文本特征提高分類準確率.本文采用的改進AKNN算法比傳統(tǒng)的KNN算法分類效果更好，這是因為本文采用文本特征屬性對文本相似度加權，更好的衡量相對距離.

表3 各模型準確率對比
Table 3 Comparison of accuracy rate of models

模型數(shù)據(jù)集AccuracyPrecisionRecallF1CNN中山大學93.7793.7993.7793.76搜狗96.9697.0296.9696.96AG_NEWS86.2086.7786.4286.47CharCNN中山大學93.293.2693.293.19搜狗95.195.3995.195.09AG_NEWS84.3784.3684.3884.37RCNN中山大學92.7392.7692.6392.63搜狗95.8595.9195.8595.81AG_NEWS86.2786.7986.2886.19LSTM中山大學84.8284.0884.883.93搜狗95.895.795.6695.64AG_NEWS87.0987.5987.5387.53BiLSTM中山大學88.0288.4288.0287.84搜狗95.6595.7395.6595.62AG_NEWS87.3587.8487.7687.75CNN_KNN中山大學96.496.496.496.39搜狗97.8497.8597.8497.84AG_NEWS87.5287.5287.5387.52CNN_AKNN中山大學96.7396.7296.7396.71搜狗98.398.3698.398.28AG_NEWS88.0188.1888.0188.05

實驗2.為了測試AKNN算法中K的取值對模型分類準確率的影響，本文選取K的變化范圍為[1,20],步長為1，并比較三個不同數(shù)據(jù)集上K的變化范圍對本文模型準確率的影響.

從圖3可以看出，K取0時表示多尺寸卷積神經網絡模型(MCNN)，其中搜狗實驗室數(shù)據(jù)集準確率達到96.96%，中山大學語料庫達到93.77%，英文新聞語料庫AG_news達到86.2%.當多尺寸神經網絡模型結合改進的最近鄰算法得到CNN-AKNN模型時，三個數(shù)據(jù)集的準確率均有顯著的提升.當K取6時，搜狗實驗室數(shù)據(jù)集的準確率達到98.3%，當K取9時，中山大學語料庫的準確率達到96.73%， 當K取6時，英文新聞數(shù)據(jù)集AG_news的準確率達到88.01%.從圖3中的三條曲線的變化規(guī)律可以看出，當K值增加時，模型的分類準確率在上升，但是當K上升到一定程度時，由于過多的相似文本導致特征冗余，過多的噪聲干擾分類的準確率，導致準確率下降.從實驗2可以看出，合適的K確實可以增大實驗的準確率.

圖3 K的不同取值對結果的影響Fig.3 Influence of different values of K

實驗3.為了驗證最近鄰注意力和卷積神經網絡的文本分類模型(CNN-AKNN)和多尺寸神經網絡模型(MCNN)在不同卷積核尺寸作用下，對文本分類準確率的影響.本文共設置了7組不同的卷積核，卷積核尺寸分別為3、4、5、(3，4)、(3，5)、(3，4，5)，并測試兩個模型在三個不同數(shù)據(jù)集上的準確率.

表4 不同卷積窗口尺寸的效果
Table 4 Effects of different convolution window sizes

卷積尺寸和個數(shù)數(shù)據(jù)集CNN-AKNNMCNN3中山大學95.9792.77搜狗97.996.45AG_NEWS87.4785.434中山大學96.2893.4搜狗97.8694.78AG_NEWS87.2485.895中山大學96.4592.92搜狗97.9696.43AG_NEWS87.6885.313,4中山大學96.493.45搜狗98.0496.83AG_NEWS87.9886.053,5中山大學96.2593.35搜狗97.996.56AG_NEWS87.8185.924,5中山大學96.4593.58搜狗97.9496.6AG_NEWS87.9186.063,4,5中山大學96.7393.77搜狗98.396.96AG_NEWS88.0186.20

表4為兩個模型在不同卷積核尺寸作用下的分類準確率.由表4可知，卷積核尺寸為(3，4，5)的分類結果均優(yōu)于其他的卷積核尺寸，在多尺寸卷積核的相互作用下，分類準確率比單尺寸卷積核的分類準確率高，證明多尺寸卷積核可以提取出更多的文本特征，對提高分類算法的準確率有正向促進作用.

實驗4.為了測試加權文本標簽以及加權文本向量對模型分類效果的影響，本文設計了加權文本標簽(CNN-Label)、加權文本向量(CNN-Text)以及結合加權文本標簽和加權文本向量(CNN-AKNN)的實驗，驗證本文模型的有效性.

表5 加權文本標簽和加權文本向量對結果的影響
Table 5 Influence of weighted text labels and
weighted text vectors

模型數(shù)據(jù)集AccuracyPrecisionRecallF1CNN-Label中山大學96.1296.1296.1396.11搜狗98.298.2198.298.18AG_NEWS87.9287.9087.9287.91CNN-Text中山大學96.3596.3596.3596.34搜狗97.5697.5797.5797.56AG_NEWS87.8987.8787.8987.88CNN-AKNN中山大學96.7396.7296.7396.71搜狗98.398.3698.398.28AG_NEWS88.0188.1888.0188.05

表5為加權文本標簽和加權文本向量對分類效果的影響.由表5可知，三個實驗結果都優(yōu)于實驗1中基準算法的分類結果.由此可見，由AKNN計算得到的加權文本標簽和加權文本向量通過構建注意力機制能夠獲得文本的全局特征.另外，由于結合了加權文本標簽和加權文本向量，模型的分類效果要優(yōu)于只加了一種改進變量的模型.可以看出，在加權文本標簽和文本向量的共同作用下，本文模型的預測效果最優(yōu)，可以更好地捕獲文本特征之間的依賴關系，證明了多尺寸卷積神經網絡結合AKNN算法進行加權的可行性.

5 結束語

由于目前的注意力機制大多采用獨特的網格結構對文本建模，并未考慮文本對象對分類結果的影響.故提出了最近鄰注意力和卷積神經網絡的文本分類模型.

本文的分類模型有兩個創(chuàng)新之處：一是使用多尺寸的卷積神經網絡結合改進KNN算法得到的實例信息，能夠提取更加豐富的文本特征.二是考慮到文本特征屬性空間分布對特征值的影響，使用加權卡方距離的最近鄰改進算法，利用文本的空間屬性值對距離加權，從而對文本進行分類，其效果優(yōu)于傳統(tǒng)的KNN算法.其中多尺寸卷積神經網絡模型的參數(shù)和KNN的參數(shù)均具有一定的魯棒性，使模型適合各種不同的數(shù)據(jù)集.本文通過四個實驗的對比，表明本文的模型相比其他基準的深度學習模型效果有明顯的提高，為文本分類提供的一個新的思路.

今后的研究將嘗試以下工作:KNN算法由于其需要計算測試文本和每個訓練文本的相似度，導致時間復雜度較高.考慮使用特征結構存儲KD-Tree與神經網絡結合，減少計算距離的次數(shù)，從而降低時間復雜度和空間復雜度.