基于BiGRU 和注意力機(jī)制的多標(biāo)簽文本分類模型

饒竹一，張?jiān)葡?/p>

（深圳供電局有限公司，深圳518001）

0 引言

情感識(shí)別是自然語(yǔ)言處理重要課題之一。在互聯(lián)網(wǎng)高度發(fā)達(dá)的今天，人們通過(guò)微博、新聞網(wǎng)站、論壇等線上發(fā)表言論。這些言論的發(fā)表，篇幅不定，詞匯量不限且沒有嚴(yán)格的語(yǔ)法規(guī)則，具有較強(qiáng)的主觀傾向。其中，負(fù)面言論是急需關(guān)注的重要課題，若無(wú)法正確對(duì)言論情感進(jìn)行識(shí)別，就無(wú)法及時(shí)阻止網(wǎng)絡(luò)暴力的發(fā)生，防范危害到個(gè)人乃至企業(yè)信譽(yù)的行為。同時(shí)，正確的言論情感識(shí)別能夠幫助政府了解民眾意見，企業(yè)聆聽用戶聲音。在這樣的背景下，電網(wǎng)相關(guān)的網(wǎng)絡(luò)文本情感識(shí)別就具有很高的研究意義。

文本的情感識(shí)別主要基于兩種方法：情感極性詞典和傳統(tǒng)機(jī)器學(xué)習(xí)方法，其中包括對(duì)情感資源的構(gòu)建、語(yǔ)句分割、特征信息提取、質(zhì)量分析等[1]。網(wǎng)絡(luò)時(shí)代的到來(lái)促進(jìn)許多新詞匯的誕生，對(duì)基于情感極性詞典的情感分類模型有著很大的影響，現(xiàn)有的情感極性詞典有限，且模型無(wú)法有效識(shí)別新近產(chǎn)生的單詞或流行詞。Manek 和Shenoy 使用傳統(tǒng)的機(jī)器學(xué)習(xí)算法來(lái)分析評(píng)論的情感。他們主要從準(zhǔn)確率以及F 值上比較樸素貝葉斯，ME 和SVM 的性能。結(jié)果表明，支持向量機(jī)具有最好的分類效果，隨著深度學(xué)習(xí)研究的發(fā)展，深度神經(jīng)網(wǎng)絡(luò)在自然語(yǔ)言處理中有著出色的表現(xiàn)[2]。Kim 使用卷積神經(jīng)網(wǎng)絡(luò)（CNN）解決情感識(shí)別問(wèn)題，取得了良好的效果[3]。Santos 使用深度卷積神經(jīng)網(wǎng)絡(luò)來(lái)分析文本包含的情感，Irsoy 證明長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM）作為一種遞歸神經(jīng)網(wǎng)絡(luò)模型，也是一種解決文本情感識(shí)別的有效方法[4]。Bahdanau 將最初應(yīng)用于機(jī)器翻譯的注意力模型用于NLP 中[5]。Qu 和Wang 提出了一種基于分層注意網(wǎng)絡(luò)的情感分析模型，較傳統(tǒng)遞歸神經(jīng)網(wǎng)絡(luò)效果有著較大的改善[6]。田生偉等人將雙向LSTM 與注意力機(jī)制相結(jié)合，在維吾爾語(yǔ)時(shí)序事件上的識(shí)別取得了不錯(cuò)的效果[7]。張玉環(huán)等人則將GRU 與LSTM 相結(jié)合，使得文本情感分類模型能在短時(shí)間內(nèi)達(dá)到較高的準(zhǔn)確率[8]。成璐使用注意力機(jī)制和BiLSTM 構(gòu)建的的神經(jīng)網(wǎng)絡(luò)模型，對(duì)用戶評(píng)論文本進(jìn)行情感分析，使用Bi-LSTM 提取詞向量中的文本特征，再放入注意力機(jī)制層突出文本分類中的重點(diǎn)信息[9]。

針對(duì)上述問(wèn)題，提出了一種基于BiGRU 和注意力機(jī)制的多標(biāo)簽文本分類模型。BiGRU 模型是基于BiLSTM 模型的改進(jìn)，將LSTM 模塊替換為GRU，在保證分類準(zhǔn)確度的情況下大大提高了網(wǎng)絡(luò)的訓(xùn)練速度。注意力機(jī)制的使用使得神經(jīng)網(wǎng)絡(luò)可以聚焦于對(duì)分類效果有提升的重要信息，相比LSTM 進(jìn)一步提高了分類的準(zhǔn)確度。除此之外，我們使用了預(yù)訓(xùn)練的詞向量和遷移學(xué)習(xí)技術(shù)，進(jìn)一步縮短了訓(xùn)練時(shí)間并獲得了更好的詞向量表示，可以用于電網(wǎng)相關(guān)的網(wǎng)絡(luò)文本情感識(shí)別。

1 算法實(shí)現(xiàn)

1.1 雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)

BiLSTM 是普通RNN 的一種延伸[10]，RNN 與普通神經(jīng)網(wǎng)絡(luò)區(qū)別在于神經(jīng)元不僅接受當(dāng)前時(shí)刻的輸入，同時(shí)也接受前一個(gè)神經(jīng)元的輸出，這就解決了文本中需要考慮前文信息的問(wèn)題。實(shí)際應(yīng)用中，僅僅考慮前文的信息是不夠的，前文也需要添加下文的信息，為了解決這一問(wèn)題，雙向RNN（BiRNN）誕生了。BiRNN 在普通RNN 基礎(chǔ)上添加了反向運(yùn)算，即將輸入的序列反轉(zhuǎn)后再計(jì)算一遍輸出，最后的結(jié)果是正向RNN 與反向RNN 結(jié)果的堆疊。理論上BiRNN 可以考慮到上下文的信息，但實(shí)際應(yīng)用中發(fā)現(xiàn)BiRNN 很難處理具有長(zhǎng)期依賴關(guān)系的信息，一個(gè)簡(jiǎn)單的例子是在英文句子生成時(shí)，如果句子很長(zhǎng)，在生成謂語(yǔ)動(dòng)詞時(shí)，RNN 無(wú)法記住主語(yǔ)的單復(fù)數(shù)形式并選擇合適的謂語(yǔ)動(dòng)詞。為了解決這一問(wèn)題，LSTM 引入了門控機(jī)制，包括遺忘門（forget gate）、輸入門（input gate）和輸出門（output gate）。其中，遺忘門用于控制前一時(shí)刻輸入信息通過(guò)的比例，具體的計(jì)算方式如下：其中，y 表示輸出向量，xt∈Rd是t 時(shí)刻的d 維輸入向量，W 是權(quán)重矩陣，b 是偏置向量，hf∈Rd和hb∈Rd分布表示LSTM 前向和后向的輸出向量。

1.2 雙向門控循環(huán)神經(jīng)網(wǎng)絡(luò)

雙向門控循環(huán)神經(jīng)網(wǎng)絡(luò)（BiGRU）可以看做雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)（BiLSTM）的一種拓展，將BiLSTM 中的LSTM 模塊替換為GRU[11]。GRU 將LSTM 中隱藏狀態(tài)和細(xì)胞狀態(tài)合并成一種狀態(tài)，因此顯著縮短了訓(xùn)練時(shí)間，在大型語(yǔ)料文本的訓(xùn)練速度上有顯著的提升。更明確地說(shuō)，GRU 讀取詞嵌入向量t_i 以及隱藏層狀態(tài)向量h_（i-1）后，經(jīng)過(guò)門控計(jì)算產(chǎn)生輸出向量c_i 和隱藏層狀態(tài)向量h_i，具體計(jì)算方法參考下列公式：

其中，z ∈Rd，r ∈Rd分別表示接受d 維向量的輸入門與重置門，{Wz,Wr,W,Vz,vr,V}表示權(quán)重矩陣，{bz,br,b}為偏置向量，⊙表示矩陣點(diǎn)乘。

1.3 注意力機(jī)制

注意力機(jī)制首先在計(jì)算機(jī)視覺中提出，它受到人類視覺處理過(guò)程的啟發(fā)，即人腦時(shí)不會(huì)處理全部視覺信息，而是聚焦于特定的部分。這一機(jī)制已經(jīng)被廣泛應(yīng)用于多種領(lǐng)域，包括圖像標(biāo)題生成、文本分類、語(yǔ)音識(shí)別和機(jī)器翻譯[12]。

在神經(jīng)網(wǎng)絡(luò)中，注意力機(jī)制可以被視為一種資源分配方案，對(duì)重要的信息分配更多的注意力或者計(jì)算資源，這有利于解決信息超載問(wèn)題。在實(shí)踐中，注意力機(jī)制通?？梢苑譃閮煞N：一種是自上而下的聚焦式注意力，通常是有意識(shí)的并且是任務(wù)相關(guān)的，主動(dòng)聚焦于某一對(duì)象。另一種是自下而上的無(wú)意識(shí)注意力，這類注意力和任務(wù)無(wú)關(guān)，主要由外界驅(qū)動(dòng)，又稱為基于顯著性（Saliency-based）的注意力。例如，在卷積神經(jīng)網(wǎng)絡(luò)（CNN）和LATM 中，池化（Pooling）和門控機(jī)制可以被視為基于顯著性的注意力機(jī)制。

神經(jīng)網(wǎng)絡(luò)的輸入數(shù)據(jù)使用向量表示，我們用[x1,…,xN]表示任務(wù)相關(guān)的輸入向量，為了給特定的數(shù)據(jù)更多的權(quán)重，注意力機(jī)制引入了查詢向量q（Query Vector），通過(guò)打分函數(shù)計(jì)查詢向量和輸入向量直接的相關(guān)性，同時(shí)引入了一個(gè)注意力變量t ∈[1,N]代表選擇的索引位置。具體計(jì)算方式如下：

這里，αi是注意力分布，是注意力打分函數(shù)。注意力打分函數(shù)可以有多種定義方式，在本文中，我們采用基于縮放點(diǎn)積的自注意力模型，縮放點(diǎn)積定義如下：

d 表示輸入向量的維度?？s放點(diǎn)積模型是基于點(diǎn)積模型的一種改進(jìn)，區(qū)別在于縮放點(diǎn)積模型除以向量維度d 的平方根。當(dāng)d 很大時(shí)，點(diǎn)積模型的值會(huì)出現(xiàn)較大的方差，因此導(dǎo)致Softmax 的梯度變小，縮放點(diǎn)積模型的提出解決了這一問(wèn)題。

2 實(shí)驗(yàn)

2.1 數(shù)據(jù)集介紹

實(shí)驗(yàn)采用著名數(shù)據(jù)競(jìng)賽Kaggle 上的數(shù)據(jù)集測(cè)試模型，該數(shù)據(jù)集由維基百科上的評(píng)論構(gòu)成，標(biāo)簽均由人工標(biāo)注，共定義了6 類標(biāo)簽，分別是“toxic”、“severe_toxic”、“obscene”、“threat”、“insult”和“identity_hate”。每個(gè)評(píng)論可能有多個(gè)標(biāo)簽，也可能沒有標(biāo)簽，模型需要給出每個(gè)評(píng)論在6 類標(biāo)簽上的概率，因此這是一個(gè)多標(biāo)簽文本分類問(wèn)題。所有類別在數(shù)據(jù)集上的分布如圖1所示。

圖1 評(píng)論種類以及數(shù)量

2.2 實(shí)驗(yàn)設(shè)計(jì)

在實(shí)驗(yàn)中我們的網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)如圖2。

圖2 網(wǎng)絡(luò)架構(gòu)

其中，輸入層包含200 個(gè)神經(jīng)元，即每個(gè)評(píng)論取前200 個(gè)字符，不足200 的話則自動(dòng)補(bǔ)全。Embedding層，attention 層和BiGRU 神經(jīng)元數(shù)目分別為100、128和256，輸出層為6 個(gè)神經(jīng)元組成的全連接層，計(jì)算每個(gè)評(píng)論在6 類標(biāo)簽上的概率。我們使用Embedding 層作為一種遷移學(xué)習(xí)技術(shù)加載預(yù)訓(xùn)練的詞向量，以此縮短訓(xùn)練時(shí)間并獲得針對(duì)評(píng)論數(shù)據(jù)的更好表示。Attention 層用來(lái)訓(xùn)練對(duì)特定的詞向量給予更高權(quán)重以提高分類的準(zhǔn)確率，輸出層則將常見的Softmax 替換為全連接層，每個(gè)神經(jīng)元均輸出一個(gè)[0,1]范圍內(nèi)數(shù)值代表特定類別的分類準(zhǔn)確度。

為了讓神經(jīng)網(wǎng)絡(luò)充分學(xué)習(xí)到文本的特征，我們采用了預(yù)訓(xùn)練詞向量和自注意力機(jī)制。在實(shí)驗(yàn)中，我們使用了GloVe 詞向量[13]，基于共現(xiàn)矩陣分解實(shí)現(xiàn)，每個(gè)詞使用100 維向量表示，向量之間的距離越短，表示兩個(gè)詞的相似度越高。該詞向量集合使用了60 億單字（Token）語(yǔ)料庫(kù)訓(xùn)練，共包含400K 的字符，由斯坦福大學(xué)的研究團(tuán)隊(duì)提供。自注意力模型引入了Q、K 和V三個(gè)查詢向量序列，采用縮放點(diǎn)積作為打分函數(shù)，可以“動(dòng)態(tài)”地生成不同連接的權(quán)重，可以用來(lái)處理變長(zhǎng)的信息序列。我們將數(shù)據(jù)集分割為訓(xùn)練集與驗(yàn)證集，其中驗(yàn)證集評(píng)論數(shù)目占20%，訓(xùn)練集數(shù)目占80%。

實(shí)驗(yàn)平臺(tái)的具體配置如下：

操作系統(tǒng)：Windows 10

CPU：Intel i7-6700

RAM：32G

深度學(xué)習(xí)框架：TensorFlow 1.13.1

開發(fā)工具：Visual Studio Code

編程語(yǔ)言：Python 3.6

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)結(jié)果

Adam 是一種基于隨機(jī)梯度下降（SGD）的一階優(yōu)化算法，與SGD 不同在于SGD 在訓(xùn)練過(guò)程中學(xué)習(xí)率不會(huì)改變，而Adam 通過(guò)計(jì)算梯度的一階和二階矩估計(jì)動(dòng)態(tài)改變學(xué)習(xí)率，是一種自適應(yīng)學(xué)習(xí)率優(yōu)化算法，同時(shí)結(jié)合了AdaGrad 和RMSProp 兩種算法的優(yōu)點(diǎn)。Adam優(yōu)化算法被用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)，實(shí)驗(yàn)結(jié)果顯示Adam算法效果卓越，如圖3 所示，使用Adam 算法后在訓(xùn)練集和測(cè)試集上的loss 均能夠降低到0.05 左右。

圖3 訓(xùn)練集和測(cè)試集損失

在實(shí)驗(yàn)中，我們?cè)O(shè)置batch 大小為128，通過(guò)4 個(gè)epoch 后算法已經(jīng)接近收斂并在測(cè)試集上獲得了超過(guò)98%的準(zhǔn)確率，如圖4 所示。

3.2 實(shí)驗(yàn)結(jié)果分析

綜合來(lái)說(shuō)，采用了預(yù)訓(xùn)練詞向量和BiGRU 后大大縮短了訓(xùn)練神經(jīng)網(wǎng)絡(luò)所需時(shí)間，在本次實(shí)驗(yàn)中并未采用GPU 加速計(jì)算，CPU 耗時(shí)在10min 左右。同時(shí)embedding 層和自注意力機(jī)制的使用提高了分類的準(zhǔn)確度，相比基線模型BiLSTM 有2%的準(zhǔn)確度的提升。Bi-GRU 與自注意力機(jī)制的融合在標(biāo)桿數(shù)據(jù)集上的測(cè)試結(jié)果顯示我們的模型適合執(zhí)行多標(biāo)簽文本分類任務(wù)，可以在電網(wǎng)文本信息中進(jìn)行應(yīng)用與部署。

4 結(jié)語(yǔ)

本文給出了一種基于BiGRU 和注意力機(jī)制的多標(biāo)簽文本分類模型。相較于BiLSTM 模型，在使用更少的訓(xùn)練時(shí)間下取得了同樣高的準(zhǔn)確率；通過(guò)使用注意力機(jī)制讓神經(jīng)網(wǎng)絡(luò)可以聚焦于對(duì)分類效果有提升的重要信息；除此之外，預(yù)訓(xùn)練的詞向量和遷移學(xué)習(xí)技術(shù)，進(jìn)一步縮短了訓(xùn)練時(shí)間并獲得了更好的詞向量表示。實(shí)驗(yàn)結(jié)果顯示模型在公開數(shù)據(jù)集上有著良好的表現(xiàn)，同時(shí)適用于包括電網(wǎng)相關(guān)的網(wǎng)絡(luò)文本情感識(shí)別等應(yīng)用場(chǎng)景。