基于長短期記憶神經(jīng)網(wǎng)絡進行評論文本分析

張益茗 朱振宇 劉恩彤 張瀟予

（1、東北電力大學 計算機學院，吉林 吉林132012 2、哈爾濱商業(yè)大學 計算機與信息工程學院，黑龍江 哈爾濱150000 3、中央財經(jīng)大學 金融學院，北京100081）

1 Word2vec 詞嵌入技術原理

自然語言指的是自然地隨文化演化的語言，并形成了一個能夠表達復雜含義的系統(tǒng)。在這個系統(tǒng)中，詞或子是語義的基本單元。在NLP 領域，人們使用詞向量來表征詞的特征向量，而詞嵌入技術即是將詞映射到實數(shù)域向量的技術。

假設一套自然語言系統(tǒng)中不同詞的數(shù)量為N，則每一個詞都和一個0～N-1 之間的整數(shù)一一對應，記為詞的索引。為構建詞的獨熱編碼向量，我們構建一個長度為N 的全0 向量，并將索引為i 的詞的第i 位置1（i 是0～N-1 之間的整數(shù)），使得每個詞和一個長度為N 的向量一一對應。

訓練詞嵌入模型的目標是獲取目標本文中的周圍單詞的有用的單詞表示。即給定一系列訓練單詞w1，w2......，wT，其目標函數(shù)如公式（1）所示。

其中c 表示訓練上下文的大小，一般而言，c 越大訓練效果越好，但是相應的訓練時間越長。

2 長短期記憶神經(jīng)網(wǎng)絡原理

長短期神經(jīng)網(wǎng)絡（LSTM）：

長短期神經(jīng)網(wǎng)絡（LSTM）是遞歸神經(jīng)網(wǎng)絡（RNN）的一種，它能夠從之前的階段中記住值以供未來使用。在深入了解LSTM以前，我們需要先簡單討論一下神經(jīng)網(wǎng)絡的概況。

（1）人工神經(jīng)網(wǎng)絡

一個神經(jīng)網(wǎng)絡至少包含三層，分別為：輸入層、隱藏層和輸出層。數(shù)據(jù)集中特征的數(shù)量決定了輸入層中的維度或者節(jié)點數(shù)量，這些節(jié)點通過叫做“突觸”的鏈接和隱藏層中創(chuàng)建的節(jié)點相連。對于每個輸入層的節(jié)點，每個鏈接都帶著一些權重。這些權重主要是用來決定哪些輸入或信號可能通過或不通過，同時這些權重也體現(xiàn)了隱藏層的強度或程度。一個神經(jīng)網(wǎng)絡主要是通過調整各個突觸的權重來進行學習。

（2）遞歸神經(jīng)網(wǎng)絡（Recurrent Neural Network，RNN）

遞歸神經(jīng)網(wǎng)絡是神經(jīng)網(wǎng)絡的一個特例，其目標是預測下一步相對于序列中觀察到的先前步驟，背后的思想是利用連續(xù)觀測并從早期階段學習來預測未來趨勢。因此，在猜測下一步時，需要記住早期階段的數(shù)據(jù)。

遞歸神經(jīng)網(wǎng)絡的另一大特點是權重值共享。在RNNs 中，隱藏層充當內部存儲器，用于存儲在讀取順序數(shù)據(jù)的早期階段捕獲的信息。而稱之為“遞歸”（Recurrent）是因為它們對序列的每個元素執(zhí)行相同的任務，并具有利用先前捕獲的信息預測未來看不見的連續(xù)數(shù)據(jù)的特征。具體的向前傳播公式如下：

其中，W1，W2，W3 是神經(jīng)網(wǎng)絡的三組參數(shù)，分別表示輸入層和隱藏層間的連接權重、上一時刻隱藏層與下一時刻隱藏層間的連接權重，以及隱藏層和輸出層之間的連接權重。a 則表示匯集計算的值，b 表示激活函數(shù)計算出來的值，w 是節(jié)點間的連接權重，t 表示時刻，h 下標表示隱藏層，k 下標表述輸入層。公式（2）表示隱藏層神經(jīng)元的匯集計算，其中其意項是輸入層傳入的數(shù)據(jù)，第二項則表示上一時刻的隱藏層的輸出對當前時刻造成的影響。這一個公式是遞歸神經(jīng)網(wǎng)絡的核心，在其訓練的算法中也有體現(xiàn)。公式（3）表示隱藏層向輸出層傳送的值，公式（4）表示輸出層的匯集計算，這兩部分和傳統(tǒng)神經(jīng)網(wǎng)絡沒有差異。

總之，遞歸神經(jīng)網(wǎng)絡可以通過反向傳回權重信息來進一步訓練網(wǎng)絡，從而獲得更好的模型。但是，一般的RNN 網(wǎng)絡只記得序列中的幾個早期步驟，而不適合記憶更長的數(shù)據(jù)序列，這個問題會在下面介紹長期短期記憶循環(huán)網(wǎng)絡時，使用“存儲線”進行解決。

（3）長短期記憶網(wǎng)絡（Long Short-Term Memory，LSTM）

長短期記憶網(wǎng)絡是一種特殊的神經(jīng)網(wǎng)絡，具有記憶數(shù)據(jù)序列的功能。它可以通過一些伴隨著一條記憶線的門來實現(xiàn)對數(shù)據(jù)早期趨勢的記憶。

每個LSTM都是一套單元或系統(tǒng)模塊，并捕獲其中經(jīng)過的數(shù)據(jù)流。這些單元類似于一條輸送線，從一個模塊連接到另一個模塊，傳送過去的數(shù)據(jù)并收集當前的數(shù)據(jù)。由于在每個單元中都使用的了一些門，所以可以對每個單元中的數(shù)據(jù)進行處理、過濾或添加到下一個單元。因此，這些門基于sigmoid 函數(shù)的神經(jīng)網(wǎng)絡層，可以使得這些單元能夠選擇性地允許數(shù)據(jù)通過或處理數(shù)據(jù)。

3 實驗

【數(shù)據(jù)來源】本文使用斯坦福大學提供的大規(guī)模電影評論數(shù)據(jù)集（Stanford's Large Movie Review Dataset,IMDb）[3]，它包含了電影評論網(wǎng)站IMDB 中的50000 余條評論，其中每部電影下的評論不超過30 條，且標記為“正面情感”和“負面情感”的評論數(shù)相等。因此，對評論進行隨機情感分析，準確率被為50%。該數(shù)據(jù)集排除了中性評價，即其中的評論全部是情感高度兩極化的。總分為10 分，負面評價的分數(shù)小于等于4 分，正面評價的分數(shù)大于等于7 分。實驗中，我們取其中一半為訓練集，另一半為測試集。

【構建LSTM訓練網(wǎng)絡】本文利用Keras 擴展庫搭建LSTM結構。Keras 是一個Python 深度學習框架，可以方便地定義和訓練幾乎所有類型的深度學習模型，且具有用戶友好的API，可以快速開發(fā)深度學習模型的原型。Keras 的主要模型是Sequential（），用戶可以通過調用add()去便捷地堆疊自己需要的網(wǎng)絡層，進而構成一個整體的模型。

具體的結構如下：

第一層：利用word2vec 技術將詞語映射成128 維向量，進行特征提取。

第二層：LSTM模塊。具體步驟為：首先，將提取的特征放入輸入單元，再將數(shù)據(jù)流從輸入單元送入隱藏單元，同時將另一條數(shù)據(jù)流從隱藏單元送到輸出單元。隱藏單元即神經(jīng)網(wǎng)絡的記憶單元。對一個隱藏單元，使用xt表示第t 步的輸入，則目前單元的激活值s=f（Uxt+Wst-1）。其中，f 表示激活函數(shù)，本實驗中使用ReLU。第t 步的輸出經(jīng)softmax 層計算得到。

本文的模型訓練過程以及預測過程可以概括為：

（1）提取相關數(shù)據(jù)的特征向量，獲得訓練數(shù)據(jù)。

（2）將訓練集中的數(shù)據(jù)分批次輸入到設定好的模型中，不斷更新網(wǎng)絡機構中各個節(jié)點之間的連接權重，以最小化損失函數(shù)的值為目標來盡可能降低真實值和擬合值之間的誤差，從而學習到輸入變量和輸出變量間的非線性特征。

（3）保存訓練好的模型參數(shù)，將測試集中的數(shù)據(jù)輸入到完成訓練的模型中，得出相應的預測值，并于測試集中真實標注的結果進行比對，得到準確率。

具體的參數(shù)如表1 所示：

表1 LSTM 電影評論文本LSTM 情感分析模型的參數(shù)

【實驗結果】本文按照上一章所述流程搭建了評估電影評論文本數(shù)據(jù)的LSTM模型，共迭代600 次，實驗結果如下表2 所示：

表2 給出了本文實驗結果，以及在特定迭代步驟下的LSTM 模型訓練損失值、訓練準確率和測試準確率，可以看出。LSTM模型在600 次迭代內的最高準確率為86.97%，且訓練損失和訓練準確率始終保持在正常值，說明LSTM模型有效避免了過擬合和梯度消失的問題。

表2

4 結論

本文首先介紹了文本分析研究的背景以及相關的研究，接著介紹了詞嵌入技術和LSTM的原理，接下來基于大規(guī)模電影評論文本進行基于LSTM模型的情感分析實驗，從實證的角度體現(xiàn)了LSTM網(wǎng)絡在情感分析問題中的可行性和有效性，對未來深入文本分析研究和情感評估具有一定的指導意義。