LSTM長短期記憶神經(jīng)網(wǎng)絡(luò)研究綜述

檀亞寧?尚嘉茹?王子浪

摘要：本文詳細(xì)的介紹了循環(huán)神經(jīng)網(wǎng)絡(luò)的一個特殊形式——LSTM長短期記憶神經(jīng)網(wǎng)絡(luò)，為了更加透徹和清晰的理解和運用LSTM這一模型，因此總結(jié)為本篇綜述性文章。本文首先對LSTM作出了系統(tǒng)的介紹，其次通過一個文本情感分類的實際問題應(yīng)用，來實現(xiàn)LSTM神經(jīng)網(wǎng)絡(luò)，并將其與其他幾種算法如RNN、SVM支持向量機等進行了對比分析，做出了相應(yīng)的結(jié)果與總結(jié)，同時采用了不同的數(shù)據(jù)集來反映LSTM神經(jīng)網(wǎng)絡(luò)的實用性以及泛化能力。最后總結(jié)了LSTM神經(jīng)網(wǎng)絡(luò)的優(yōu)勢與缺陷，并介紹了其廣泛的應(yīng)用領(lǐng)域。更深層次的理解其用法以及應(yīng)用場景，對我們解決實際問題具有現(xiàn)實意義。

關(guān)鍵詞：LSTM;文本分類;情感分析

1引言

LSTM神經(jīng)網(wǎng)絡(luò)屬于RNN循環(huán)神經(jīng)網(wǎng)絡(luò)的一種變體。循環(huán)神經(jīng)網(wǎng)絡(luò)加強了信息前后之間的聯(lián)系，即上一次的輸出結(jié)果會作為下一次的輸入內(nèi)容，從而讓神經(jīng)網(wǎng)絡(luò)具有了記憶的能力，這也是循環(huán)神經(jīng)網(wǎng)絡(luò)的關(guān)鍵。但是在應(yīng)用循環(huán)神經(jīng)網(wǎng)絡(luò)的過程中，出現(xiàn)了長期依賴的問題，遠距離信息無法學(xué)習(xí)與記憶，因此LSTM出現(xiàn)從而解決長序列訓(xùn)練過程中的梯度消失和梯度爆炸等問題，即遠距離傳道的信息丟失問題通過LSTM神經(jīng)網(wǎng)絡(luò)得以解決。

2 LSTM概念及原理

LSTM神經(jīng)網(wǎng)絡(luò)（Long-Short Term Memory），長短期記憶神經(jīng)網(wǎng)絡(luò)于1997年被提出，是RNN的一種改進算法。相對RNN來說LSTM的內(nèi)部有較為復(fù)雜的結(jié)構(gòu)，其能通過門控狀態(tài)來選擇調(diào)整傳輸?shù)男畔ⅲ涀⌒枰L時記憶的信息，忘記不重要的信息。因而達到長短期記憶的目的。LSTM的關(guān)鍵思想在于一條貫穿始終的信息傳送帶，其被稱為單元狀態(tài)，同時通過三個門限來對單元狀態(tài)上的信息進行增添和刪除。進而實現(xiàn)LSTM網(wǎng)絡(luò)的長期記憶功能。

3實際問題

本文運用LSTM神經(jīng)網(wǎng)絡(luò)用于處理一個文本情感分類[2]的實際問題，隨著政府對新能源汽車的大力扶植以及智能聯(lián)網(wǎng)汽車興起都預(yù)示著未來幾年汽車行業(yè)的多元化發(fā)展及轉(zhuǎn)變。汽車廠商需要了解自身產(chǎn)品是否能夠滿足消費者的需求，但傳統(tǒng)的調(diào)研手段因為樣本量小、效率低等缺陷已經(jīng)無法滿足當(dāng)前快速發(fā)展的市場環(huán)境。因此，汽車廠商需要一種快速、準(zhǔn)確的方式來了解消費者需求。數(shù)據(jù)采用網(wǎng)絡(luò)中公開的用戶對汽車的相關(guān)內(nèi)容文本數(shù)據(jù)（共七萬條）來進行對用戶情感分析。

4算法實現(xiàn)

（1）本文利用Python作為編程語言，利用TensorFlow框架作為基礎(chǔ)[3]，實現(xiàn)LSTM長短期記憶神經(jīng)網(wǎng)絡(luò)的構(gòu)建，首先進行文本預(yù)處理，采用中文分詞法，并去除無關(guān)停用詞，其次用One-hot獨熱編碼、Distributed、Bow、以及Word2Vec處理文本內(nèi)容，最終實現(xiàn)文本的情感識別，以驗證網(wǎng)絡(luò)的可行性泛化能力。

（2）同樣采用Python為基礎(chǔ)，分別構(gòu)建了RNN循環(huán)神經(jīng)網(wǎng)絡(luò)、樸素貝葉斯分類器、邏輯回歸以及支持向量機模型分別進行文本分類的實驗，最終進行對比分析其各個系統(tǒng)的優(yōu)劣。

5模型驗證與評價

LSTM神經(jīng)網(wǎng)絡(luò)能夠較為準(zhǔn)確的正確分類網(wǎng)絡(luò)評論中的情感，并且不論是在測試集還是驗證集上都有較高的準(zhǔn)確率。并且損失函數(shù)能夠降到比較低的水平。因此該模型在此數(shù)據(jù)集上有不錯的表現(xiàn)。

6比較分析

本文主要選取了準(zhǔn)確率與算法運行時間兩個方面對不同算法進行對比分析。因為LSTM被廣泛用于自然語言處理及文本分類問題，因此采用LSTM算法在處理此問題上具有較大的優(yōu)勢。如圖3圖4所示，LSTM算法達到了最高的準(zhǔn)確率92.5%，其他算法相比有些許不足之處。但是由于LSTM需要調(diào)用庫函數(shù)較多，并且算法較為復(fù)雜導(dǎo)致運行時間相對較長，而樸素貝葉斯（NB）以及邏輯回歸運時間較快，但是準(zhǔn)確率有待提升。

7總結(jié)

由于傳統(tǒng)的RNN存在梯度彌散問題或梯度爆炸問題，導(dǎo)致第一代RNN基本上很難把層數(shù)提上去，因此其表征能力也非常有限，應(yīng)用上性能也有所欠缺。于是，胡伯提出了LSTM，通過改造神經(jīng)元，添加了遺忘門、輸入門和輸出門等結(jié)構(gòu)，讓梯度能夠長時間的在路徑上流動，從而有效提升深度RNN的性能。

由以上研究我們可以總結(jié)得到，TensorFlow-LSTM適用于比較大的工程，以及數(shù)據(jù)量大問題復(fù)雜的實例。對于相對簡單的問題處理上不如其他較為簡單的模型。GPU與CPU架構(gòu)同理。

綜上，LSTM神經(jīng)網(wǎng)絡(luò)是一種比較復(fù)雜的，更適用于自然語言處理問題。同時在機器翻譯，語音識別上以及個性化推薦上也有很多應(yīng)用。

參考文獻：

[1]孫敏，李旸，余大為，張恩寶，李倩倩.基于CNN-LSTM電影評論的情感分析[J].洛陽理工學(xué)院學(xué)報（自然科學(xué)版），2019，29（04）：71-77.

[2]周萌.基于LSTM和Word2Vec的情感分析在商品評論中的應(yīng)用[J].統(tǒng)計與管理，2019（12）：81-84.

[3]羅澍忻，陸秋瑜，靳冰潔，麻敏華.考慮相關(guān)因素的長短時記憶網(wǎng)絡(luò)短期負(fù)荷預(yù)測方法[J].機電工程技術(shù)，2019，48（12）：126-129.