用于文本分類的局部化雙向長短時記憶

萬圣賢，蘭艷艷，郭嘉豐，徐 君，龐 亮，程學(xué)旗

(1. 中國科學(xué)院 計算技術(shù)研究所，北京 100190; 2. 中國科學(xué)院大學(xué)，北京 100190)

用于文本分類的局部化雙向長短時記憶

萬圣賢1,2，蘭艷艷1，郭嘉豐1，徐 君1，龐 亮1,2，程學(xué)旗1

(1. 中國科學(xué)院 計算技術(shù)研究所，北京 100190; 2. 中國科學(xué)院大學(xué)，北京 100190)

近年來，深度學(xué)習越來越廣泛地應(yīng)用于自然語言處理領(lǐng)域，人們提出了諸如循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)等模型來構(gòu)建文本表達并解決文本分類等任務(wù)。長短時記憶(long short term memory，LSTM)是一種具有特別神經(jīng)元結(jié)構(gòu)的RNN。LSTM的輸入是句子的單詞序列，模型對單詞序列進行掃描并最終得到整個句子的表達。然而，常用的做法是只把LSTM在掃描完整個句子時得到的表達輸入到分類器中，而忽略了掃描過程中生成的中間表達。這種做法不能高效地提取一些局部的文本特征，而這些特征往往對決定文檔的類別非常重要。為了解決這個問題，該文提出局部化雙向LSTM模型，包括MaxBiLSTM和ConvBiLSTM。MaxBiLSTM直接對雙向LSTM的中間表達進行max pooling。ConvBiLSTM對雙向LSTM的中間表達先卷積再進行max pooling。在兩個公開的文本分類數(shù)據(jù)集上進行了實驗。結(jié)果表明，局部化雙向LSTM尤其是ConvBiLSTM相對于LSTM有明顯的效果提升，并取得了目前的最優(yōu)結(jié)果。

文本分類；深度學(xué)習；長短時記憶；卷積

1 引言

近年來，深度學(xué)習越來越廣泛地應(yīng)用于自然語言處理領(lǐng)域。相對于傳統(tǒng)的依賴于特征的機器學(xué)習方法，深度學(xué)習的目標是自動從原始數(shù)據(jù)中構(gòu)建出更好的表達，從而降低人工提取特征的代價。目前深度學(xué)習已經(jīng)在文本分類、語言模型及機器翻譯等應(yīng)用中取得了很好的效果[1-3]。

循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network，RNN)是目前文本分類的一種常用深度學(xué)習模型。RNN的特點是可以建模文本中包含的單詞序列信息，并且支持變長的輸入。然而，傳統(tǒng)的RNN在使用后向傳播進行訓(xùn)練的時候面臨著梯度衰減和梯度爆炸等問題，這些問題導(dǎo)致傳統(tǒng)的RNN捕獲不到遠距離的依賴，也就是說在某個位置學(xué)習到的表達只能捕獲距離當前位置較近的信息。長短時記憶(long short term memory，LSTM)[4]是一種更高級的RNN，通過在神經(jīng)元上面添加門(gate)的方式更好地控制神經(jīng)元中信息的讀取和寫入。由于每個神經(jīng)元上的門打開時刻可以不同，所以LSTM既可以捕獲遠距離的依賴，同時也可以捕獲近距離的依賴，此外，這種方式還可以更有效地過濾掉一些不重要的詞，起到去噪的作用。基本的LSTM只沿著序列的一個方向掃描，為了更充分地捕獲序列的模式信息，常用的一種方式是采用雙向LSTM(BiLSTM)[5]。BiLSTM就是同時用兩個LSTM沿著序列的兩個方向進行掃描。目前LSTM在機器翻譯、信息檢索等任務(wù)中都優(yōu)于傳統(tǒng)的RNN[3, 6-7]。

用于文本分類時，常規(guī)做法是使用BiLSTM掃描完整個句子后得到的最終表達來作為整個句子的表達，然后把表達交給分類器進行分類。這樣做是因為期望BiLSTM在掃描完整個句子后能夠在神經(jīng)元中捕獲文檔包含的所有重要信息。但是，盡管門的機制讓BiLSTM能夠捕獲到更長距離的依賴，BiLSTM的這種貪婪(greedy)的合并方式從根本上說依然不可避免地導(dǎo)致一定程度的信息衰減。因此，BiLSTM在捕獲文本的局部特征上仍然不夠高效，而這些局部特征往往對文本的類別起到至關(guān)重要的作用。以情感分類為例，如果一個句子的中間部分出現(xiàn)了“great”這個詞，這是很強的情感信號，可是BiLSTM在讀取到“great”單詞之后依然要繼續(xù)掃描剩下的單詞，而在這個掃描的過程中，“great”的信息仍然不可避免地被弱化。

為了更好地提取文本分類需要的局部特征，本文提出局部化雙向LSTM(LBiLSTM)模型。LBiLSTM借鑒了卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)[2, 8]的優(yōu)點來改進BiLSTM。CNN通過一組固定窗口的特征提取器對整個句子進行卷積操作，在句子的每個位置上提取該位置上的局部特征，這些局部特征最后通過pooling(一般為max pooling)的方式構(gòu)建成整個句子的表達。Max pooling的方式使得一些特別強的局部特征可以直接進入最終句子的表達。因此，相對于RNN，CNN的表達學(xué)習方式更側(cè)重于提取局部的特征。本文提出的LBiLSTM具體采取兩種做法，分別為MaxBiLSTM和ConvBiLSTM。MaxBiLSTM的做法是對BiLSTM得到所有位置上的表達直接進行max pooling操作，從而得到最終表達。這是一種較為直接的做法，但存在的問題是，每個位置上兩個方向得到的表達是獨立做pooling的，因此兩個方向的LSTM不能有效地進行交互。而ConvBiLSTM先使用卷積操作把每個位置上兩個方向的LSTM得到的表達綜合起來構(gòu)成該位置新的局部表達，然后再進行max pooling。總的來說，LBiLSTM的好處是，既結(jié)合了BiLSTM的優(yōu)點，可以捕獲較遠距離的依賴關(guān)系，又結(jié)合了CNN的有效提取局部性特征的優(yōu)點。

我們在兩個公開的文本分類數(shù)據(jù)集上進行了實驗，并和多種基準模型進行了對比。實驗表明，LBiLSTM尤其是ConvBiLSTM的一致性優(yōu)于BiLSTM，并且在這兩個數(shù)據(jù)集上取得了當前的最好效果。

2 相關(guān)工作

深度學(xué)習被廣泛地應(yīng)用于文本表達學(xué)習并用于解決語言模型、文本分類、信息檢索等任務(wù)，代表性的神經(jīng)網(wǎng)絡(luò)模型包括RNN、遞歸神經(jīng)網(wǎng)絡(luò)(RvNN)和CNN等。

Socher等人[1]首先將RvNN用于解決情感分析等任務(wù)，發(fā)現(xiàn)RvNN可以建模單詞語義的組合關(guān)系(composition)，通過對單詞和短語表達的遞歸組合可以構(gòu)建出整個句子的表達。Li等人[7]也在多個文本分類數(shù)據(jù)集上對RNN和RvNN的效果進行了對比，發(fā)現(xiàn)在大部分數(shù)據(jù)集上，直接基于序列結(jié)構(gòu)的RNN也能表現(xiàn)出和RvNN類似的效果。此外，他們也發(fā)現(xiàn)通過在RNN中采用類似門的方式可以取得比傳統(tǒng)RNN更好的效果[9]。

基本的RNN模型是單向的，為了同時得到某個位置左右兩邊的信息，Schuster等人[5]首先提出使用雙向RNN。進一步的，雙向RNN被用于解決文本分類任務(wù)及機器翻譯，并通常能取得比傳統(tǒng)的RNN更好的效果[7,10]。

傳統(tǒng)RNN面臨的優(yōu)化問題很早就被人們所認識[11]，并提出了LSTM[12]。近來，LSTM被成功地應(yīng)用于機器翻譯[3]及信息檢索中[13]。Palangi等人[6]使用搜素引擎點擊數(shù)據(jù)訓(xùn)練用于匹配查詢和文檔的LSTM，并和相應(yīng)的RNN、CNN版本做了對比分析，發(fā)現(xiàn)LSTM通過門的作用能夠比傳統(tǒng)的RNN更好地控制語義信息的讀取與合并，最后效果也得到明顯提升。Tai等人[13]也在RvNN上采用了類似的神經(jīng)元，從而得到基于樹結(jié)構(gòu)的LSTM，并在情感分類數(shù)據(jù)集上取得了提升。

此外，為了解決CNN的固定窗口問題，Lai等人[14]提出循環(huán)卷積神經(jīng)網(wǎng)絡(luò)(RCNN)，然而，和本文工作的區(qū)別是，這個工作并不是基于LSTM，因此在捕獲長距離依賴的時候不夠高效。此外，RCNN的動機主要是在進行卷積時為每個單詞提供更多的上下文信息。

3 用于文本分類的循環(huán)神經(jīng)網(wǎng)絡(luò)

本節(jié)主要介紹與本文直接相關(guān)的幾個用于文本分類的循環(huán)神經(jīng)網(wǎng)絡(luò)模型，包括RNN、BiRNN、LSTM及BiLSTM。

3.1 RNN

3.2 RNN與BiRNN

傳統(tǒng)的RNN的計算如式(1)所示。

(1)

(2)

(3)

其中，字母上面的箭頭表示RNN的掃描方向。

3.3 LSTM與BiLSTM

LSTM是一種遞歸神經(jīng)網(wǎng)絡(luò)(RNN)，傳統(tǒng)的RNN非常難以訓(xùn)練，面臨梯度爆炸或者梯度衰減問題，為了解決這個問題，LSTM在傳統(tǒng)RNN神經(jīng)元的基礎(chǔ)上增加了若干個門(gate)，用于控制每個神經(jīng)元信息的讀取和寫入。RNN加門的方式有很多變種，本文使用的LSTM如圖1所示，具體的計算如式(4)～式(9)所示。

圖1 本文所使用的LSTM的神經(jīng)元結(jié)構(gòu)圖

和BiRNN的方式類似，LSTM也可以有對應(yīng)的雙向版本，即BiLSTM，如圖2(a)所示。

圖2 BiLSTM和ConvBiLSTM模型結(jié)構(gòu)圖，卷積和pooling的方式構(gòu)建了一條局部特征通往全局特征的路徑

4 局部化雙向LSTM

盡管LSTM通過門的控制，相對于傳統(tǒng)RNN能夠捕獲更長距離的依賴，但是信息衰減在掃描的過程中仍然不可避免地發(fā)生，這使得LSTM在捕獲局部特征的時候不夠高效。而在文本分類中，某些局部信息是很關(guān)鍵的。如果能在中間表達和最終表達之間直接建立一條直達的通道，那么當LSTM在掃描句子過程中遇到強的局部信息就可以直接進入最終的全局特征中，從而避免該特征在后續(xù)的掃描中受到干擾和衰減。為了達到這個效果，本文提出MaxBiLSTM和ConvBiLSTM。這兩個模型主要借鑒了CNN的優(yōu)點，將CNN中的卷積和pooling的方式用在所有BiLSTM得到的中間表達上。這些中間表達比LSTM掃描完整個句子得到的表達具有更強的局部性。ConvBiLSTM模型架構(gòu)如圖2(b)所示。

4.1 MaxBiLSTM

(10)

其中，r為max pooling得到的句子表達。

4.2 ConvBiLSTM

MaxBiLSTM的做法較為直接，但是存在的問題是，兩個方向的LSTM得到的局部特征是獨立做pooling的，直到pooling之后這兩個方向的特征才有交互(interaction)。因此，這種方式中兩個方向的LSTM缺乏局部的交互，所以提取的局部特征仍然不夠充分。

于是，在MaxBiLSTM的基礎(chǔ)上，我們進一步提出ConvBiLSTM。ConvBiLSTM先采用卷積的方式在每個位置上將兩個方向LSTM的局部表達合并為一個新的表達。由于每個位置上這兩個表達分別捕獲了該位置左側(cè)的信息和右側(cè)的信息，因此卷積之后的表達可以認為是以該位置為中心的局部化表達。然后，我們依然通過max pooling的方式得到最終的全局表達。

卷積的具體操作如下，在所有位置上(1，…，T)對兩個方向LSTM得到的表達做一個非線性變換，即

(11)

(12)

以上兩種模型得到句子表達之后，我們使用softmax層來得到每個類別的概率，即

s=Wsmr+bsm

(13)

(14)

4.3 模型訓(xùn)練

5 實驗

我們在兩個公開的常用文本分類數(shù)據(jù)集上對比了現(xiàn)有的多個模型，包括前述的BiLSTM、MaxBiLSTM、ConvBiLSTM，以及相應(yīng)的RNN版本(BiRNN、MaxBiRNN、ConvBiRNN)。為了更有效地進行模型之間的對比，我們在數(shù)據(jù)的預(yù)處理上及其他的實驗設(shè)置上盡可能采用了和文獻[2]類似的方式。

5.1 數(shù)據(jù)集

我們在電影評論(Movie Reviews，MR)*http://www.cs.cornell.edu/people/pabo/movie-review-data/[15]和TREC*http://cogcomp.cs.illinois.edu/Data/QA/QC/[16]兩個文本分類數(shù)據(jù)集上進行了實驗。MR是情感分類數(shù)據(jù)集，這個數(shù)據(jù)集包含了從電影評論網(wǎng)站上采集到的電影評論數(shù)據(jù)，這些評論的標簽信息是根據(jù)和該評論同時發(fā)布的用戶對電影的評分決定的。TREC數(shù)據(jù)集是一個問題分類數(shù)據(jù)集，主要是把一個疑問句根據(jù)問題的類型分成多個類別。由于MR數(shù)據(jù)集并沒有切分好的訓(xùn)練集和測試集，因此這個數(shù)據(jù)集上我們采用了十折交叉驗證的方式得到最終結(jié)果，具體切分方式和文獻[2]一樣。預(yù)處理之后的數(shù)據(jù)情況見表1。

表1 MR和TREC兩個數(shù)據(jù)集的相關(guān)信息

5.2 優(yōu)化方法與參數(shù)設(shè)置

RNN及LSTM的表達維度設(shè)置為50。通常如果維度設(shè)置過小學(xué)到的表達區(qū)分度不夠，效果較差，維度設(shè)置太大則容易過擬合。我們分別對RNN和LSTM嘗試了若干維度，發(fā)現(xiàn)50維之后效果就沒有明顯提升，因此全部都設(shè)置成50維。關(guān)于模型的訓(xùn)練方式，我們采用了文獻[2]中使用的AdaDelta[17]方法。這種方法相對于傳統(tǒng)的隨機梯度下降方法具有自適應(yīng)的學(xué)習速率，通常也能取得比傳統(tǒng)SGD更好的效果。BatchSize及正則化因子是根據(jù)驗證集上的表現(xiàn)人工調(diào)整的。由于深度學(xué)習在小數(shù)據(jù)集上非常容易過擬合，因此本文也采用了early stopping的方式，根據(jù)驗證集上的效果決定訓(xùn)練終止的時刻。

使用在無監(jiān)督數(shù)據(jù)上預(yù)訓(xùn)練的單詞表達來對監(jiān)督模型進行初始化是一種常用的做法，尤其是在小數(shù)據(jù)集上通常能取到非常大的提升。本實驗室中，我們使用word2vec[18]公開發(fā)布的300維度的單詞向量*https: //code.google.com/p/word2vec/，如果實驗數(shù)據(jù)集中的單詞沒有在word2vec的詞表中出現(xiàn)，我們對其進行隨機初始化。所有單詞表達在模型訓(xùn)練過程中和模型其他參數(shù)一樣同時被更新。

5.3 實驗結(jié)果

本文主要對比了以下基準方法。

(1) NBSVM和MNB[19]： 使用uni-gram和bi-gram作為特征的樸素貝葉斯SVM及多項式樸素貝葉斯模型。

(2) SVMS[20]： 使用了uni-gram、bi-gram、tri-gram，以及60多個人工提取的特征訓(xùn)練的SVM模型。

(3) MV-RvNN[21]： 基于語法樹的Matrix-Vector Recursive Neural Network模型。

(4) CNN[2]： 具有單個卷積和pooling層的卷積神經(jīng)網(wǎng)絡(luò)。

(5) DCNN[8]： 用于文本表達學(xué)習的深層卷積神經(jīng)網(wǎng)絡(luò)。

表2 各數(shù)據(jù)集上的準確率

從結(jié)果中可以看出，深度學(xué)習模型的效果已經(jīng)開始超越傳統(tǒng)的基于特征的機器學(xué)習方法。局部化LSTM和RNN的效果一致性優(yōu)于只使用最后一個表達的做法。其中，ConvBiLSTM表現(xiàn)更為突出，明顯超過了傳統(tǒng)的CNN、RNN及LSTM。ConvBiLSTM還在TREC數(shù)據(jù)集上超過了基于復(fù)雜特征工程的方法，取得了新的最優(yōu)結(jié)果。這也充分說明局部特征對于文本分類的重要性。相對于BiRNN，BiLSTM的結(jié)果有著大幅提升，這和目前其他論文中的實驗結(jié)果一致，這也再次說明LSTM的神經(jīng)元結(jié)構(gòu)可以有效地克服RNN的缺點。相對于CNN，BiLSTM取得了相近的結(jié)果，但是卻只用了更低的維度和更少的參數(shù)。相對于MaxBiLSTM，ConvBiLSTM進一步取得了效果提升，說明ConvBiLSTM中的卷積層能夠有效地對兩個方向的LSTM表達進行組合從而得到更好的局部化表達。

6 總結(jié)和未來工作

LSTM目前已經(jīng)成為自然語言處理領(lǐng)域的常用模型，并在諸如語言模型、機器翻譯及文本分類等應(yīng)用中取得很好的效果。在用于文本分類時，傳統(tǒng)的LSTM(包括雙向LSTM)通常對整個句子進行掃描，并把掃描結(jié)束時的表達作為整個句子的表達輸入到分類器，這種做法并沒有充分利用掃描過程得到的中間表達，因此并不能高效地提取一些對分類至關(guān)重要的局部信息。本文提出的局部化LSTM在雙向LSTM的中間表達上進一步進行卷積和pooling操作，這種做法結(jié)合了LSTM和CNN的優(yōu)點，可以有效克服上述問題。我們在兩個數(shù)據(jù)集上的實驗結(jié)果表明，這種做法的一致性取得了比傳統(tǒng)做法更好的效果。作為下一步工作，我們準備把這種結(jié)構(gòu)應(yīng)用到更多的文本相關(guān)的應(yīng)用中，并對其內(nèi)部機制進行更深入的分析。

[1] Richard Socher, Alex Perelygin, Jean Y Wu, et al. Recursive deep models for semantic compositionality over a sentiment Treebank[C]//Proceedings of EMNLP, 2013: 1631-1642.

[2] Yoon Kim. Convolutional neural networks for sentence classification[arXiv].2014. arXiv preprint arXiv:1408.5882.

[3] Ilya Sutskever, Oriol Vinyals, Quoc Le. Sequence to sequence learning with neural networks[C]//Proceedings of NIPS, 2014:3104-3112.

[4] Sepp Hochreiter, Jürgen Schmidhuber. Long short-term memory[J]. Neural computation,1997,9(8) :1735-1780.

[5] Mike Schuster, Kuldip K Paliwal. Bidirectional recurrent neural networks[J]. IEEE Transactions on Signal Processing, 1997, 45(11): 2673-2681.

[6] Hamid Palangi, Li Deng, Yelong Shen, et al. Deep sentence embedding using the long short term memory network: analysis and application to information retrieval[arXiv]. 2015. arXiv preprint arXiv:1502.06922.

[7] Jiwei Li, Dan Jurafsky, Eudard Hovy. When are tree structures necessary for deep learning of representations?[arXiv]. 2015. arXiv preprint arXiv:1503.00185.

[8] Nal Kalchbrenner, Edward Grefenstette, Phil Blunsom. A convolutional neural network for modelling sentences[arXiv].2014. arXiv preprint arXiv:1404.2188.

[9] Jiwei Li. Feature weight Tuning for recursive neural networks[arXiv].2014.arXiv preprint arXiv:1412.3714.

[10] Martin Sundermeyer, Tamer Alkhouli, Joern Wuebker, et al. Translation modeling with bidirectional recurrent neural networks[C]//Proceedings of the Conference on Empirical Methods on Natural Language Processing, 2014:14-25.

[11] Yoshua Bengio, Patrice Simard, Paolo Frasconi. Learning long-term dependencies with gradient descent is difficult[J]. IEEE Transactions on Neural Networks, 1994, 5(2): 157-166.

[12] Yelong Shen, Ruoming Jin. Learning personal social latent factor model for social recommendation[C]//Proceedings of KDD, 2012:1303-1311.

[13] Kai Sheng Tai, Richard Socher, Christopher D Manning. Improved semantic representations from tree-structured long short-term memory networks[arXiv]. 2015.arXiv preprint arXiv:1503.00075.

[14] Siwei Lai, Liheng Xu, Kang Liu, et al. Recurrent convolutional neural networks for text classification[C]//Proceedings of AAAI, 2015.

[15] Bo Pang, Lillian Lee. Seeing stars: exploiting class relationships for sentiment categorization with respect to rating scales[C]//Proceedings of the 43rd Annual Meeting on Association for Computational Linguistics, 2005:115-124.

[16] Xin Li, Dan Roth. Learning question classifiers[C]//Proceedings of the 19th International Conference on Computational Linguistics, 2002:1-7.

[17] Matthew DZeiler. ADADELTA: An adaptive learning rate method[arXiv].2012. arXiv preprint arXiv:1212.5701.

[18] Tomas Mikolov, Ilya Sutskever, Kai Chen, et al. Distributed representations of words and phrases and their compositionality[C]//Proceedings of NIPS, 2013:3111-3119.

[19] Sida Wang, Christopher D Christopher. Baselines and bigrams: Simple, good sentiment and topic classification[C]//Proceedings of Annual Meeting of the Association for Computational Linguistics, 2012:90-94.

[20] Joao Silva, Luísa Coheur, Ana Cristina Mendes, et al. From symbolic to sub-symbolic information in question classification[J]. Artificial Intelligence Review, 2011,35(2):137-154.

[21] Richard Socher, Brody Huval, Christopher D Manning, et al. Semantic compositionality through recursive matrix-vector spaces[C]//Proceedings of Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning, 2012.

LocalBidirectionalLongShortTermMemoryforTextClassification

WAN Shengxian1,2, LAN Yanyan1, GUO Jiafeng1, XU Jun1, PANG Liang1,2, CHENG Xueqi1

(1. Institute of Computing Technology, Chinese Academy of Sciences, Beijing 100190, China; 2. University of Chinese Academy of Sciences, Beijing 100190, China)

Deep learning has shown great benefits for natural language processing in recent years. Models such as Recurrent Neural Networks (RNNs) have been proposed to extract text representation, which can be applied for text classification. Long short term memory (LSTM) is an advanced kind of RNN with special neural cells. LSTM accepts a sequence of words from a sentence scans over the whole sequence and outputs the representation of the sentence. However, customary practices use only the last representation LSTM produced for classification, ignoring all other intermediate representations. A clear drawback is that it could not capture efficiently local features that are very important for determining the sentence’s class label. In this paper, we propose the local bidirectional long short term memory to deal with this problem, including MaxBiLSTM and ConvBiLSTM. MaxBiLSTM conducts a max pooling operation and ConvBiLSTM conducts a convolution operation followed with a max pooling operation on all intermediate representations generated by bidirectional LSTM. Experimental results on two public datasets for text classification show that local bidirectional LSTM, especially ConvBiLSTM, outperforms bidirectional LSTM consistently and reaches the state-of-the-art performances.

text classification； deep learning； long short term memory； convolution

萬圣賢(1989—)，博士研究生，主要研究領(lǐng)域為深度學(xué)習與文本挖掘。

蘭艷艷(1982—)，博士，副研究員，主要研究領(lǐng)域為統(tǒng)計機器學(xué)習、排序?qū)W習和信息檢索。

郭嘉豐(1980—)，博士，副研究員，主要研究領(lǐng)域為信息檢索與數(shù)據(jù)挖掘。

1003-0077(2017)03-0062-07

2015-09-20定稿日期： 2015-12-30

973基金項目(2014CB340401，2012CB316303)；國家自然科學(xué)基金(6122010，61472401，61433014，61425016，61203298)；中國科學(xué)院青年創(chuàng)新促進會(2014310，2016102)

TP391

： A