循環(huán)神經(jīng)網(wǎng)絡(luò)概述

馬姝穎　王平　陳妮　文榮

【摘? 要】循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）^[1]是一類(lèi)以序列數(shù)據(jù)為輸入，在序列的演進(jìn)方向進(jìn)行遞歸，且所有節(jié)點(diǎn)按鏈?zhǔn)竭B接的遞歸神經(jīng)網(wǎng)絡(luò)，具有記憶性、參數(shù)共享等特點(diǎn)。基于簡(jiǎn)單循環(huán)網(wǎng)絡(luò)，加上門(mén)控算法、深度算法、外部記憶等算法，循環(huán)神經(jīng)網(wǎng)絡(luò)有了很多變體。目前循環(huán)神經(jīng)網(wǎng)絡(luò)及其變體已經(jīng)廣泛應(yīng)用在自然語(yǔ)言處理、各類(lèi)時(shí)間序列預(yù)測(cè)等領(lǐng)域。

【關(guān)鍵詞】循環(huán)神經(jīng)網(wǎng)絡(luò)、長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)、門(mén)控循環(huán)單元

循環(huán)神經(jīng)網(wǎng)絡(luò)概述

近年來(lái)，隨著計(jì)算機(jī)科學(xué)技術(shù)與硬件設(shè)備的蓬勃發(fā)展，神經(jīng)網(wǎng)絡(luò)逐漸成為人工智能領(lǐng)域中的研究熱點(diǎn)。最基礎(chǔ)的神經(jīng)網(wǎng)絡(luò)是全連接網(wǎng)絡(luò)（FCNN），它假設(shè)所有的輸入間是相互獨(dú)立的，因此FCNN只能單獨(dú)處理一個(gè)個(gè)的輸入，無(wú)法處理在時(shí)間或空間上有前后關(guān)聯(lián)的輸入問(wèn)題^[2]。然而許多學(xué)習(xí)任務(wù)都需要處理序列的信息，比如你想預(yù)測(cè)一個(gè)句子的下一個(gè)詞，之前的詞對(duì)后面的預(yù)測(cè)是有幫助的，這種情況下FCNN就不能很好的進(jìn)行預(yù)測(cè)。為了應(yīng)對(duì)序列輸入的需求，循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）應(yīng)運(yùn)而生。

1.循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）

RNN被稱(chēng)為循環(huán)（Recurrent）的原因就是它會(huì)對(duì)一個(gè)序列的每一個(gè)元素執(zhí)行同樣的操作，并且前一個(gè)輸入和后一個(gè)輸入是有關(guān)系的。我們可以認(rèn)為RNN有一些“記憶”能力，它能捕獲之前計(jì)算過(guò)的一些信息。RNN的結(jié)構(gòu)圖如圖1所示。

圖1中，右方是左方圖的展開(kāi)形式，是t時(shí)刻的輸入，是t時(shí)刻的隱狀態(tài)，是t時(shí)刻的輸出。通過(guò)以上結(jié)構(gòu)圖，可以發(fā)現(xiàn)RNN有以下特點(diǎn)：1）對(duì)于每一個(gè)時(shí)刻t，都有來(lái)自前面時(shí)刻t-1的信息，并加上權(quán)重用于控制;2）可以看成是網(wǎng)絡(luò)的“記憶”，它捕獲了從開(kāi)始到前一個(gè)時(shí)刻的所有（感興趣）的信息，輸出的是只基于當(dāng)前時(shí)刻的記憶。3）傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)每層使用不同的參數(shù)，而RNN的參數(shù)（圖1中的U、V、W）是在所有時(shí)刻共享的。4）RNN有隱狀態(tài)（記憶），它能捕獲一個(gè)序列的信息。

2.雙向循環(huán)神經(jīng)網(wǎng)絡(luò)（Bidirectional RNNs，BRNN）

在RNN網(wǎng)絡(luò)中，任一時(shí)刻處理時(shí)，只參考或獲取了前面時(shí)刻的特征，序列后方的信息特征沒(méi)有學(xué)習(xí)到，這無(wú)疑會(huì)造成問(wèn)題，所以又出現(xiàn)了雙向循環(huán)神經(jīng)網(wǎng)絡(luò)（BRNN）。BRNN的結(jié)構(gòu)很簡(jiǎn)單，它就是兩個(gè)RNN堆疊在一起，t時(shí)刻的輸出不但依賴(lài)于之前的元素，而且還依賴(lài)之后的元素。比如，我們做完形填空，在句子中“挖”掉一個(gè)詞，我們想預(yù)測(cè)這個(gè)詞，我們不但會(huì)看前面的詞，也會(huì)分析后面的詞。

BRNN解決了如何學(xué)習(xí)序列后面時(shí)刻特征的問(wèn)題，但是無(wú)法解決RNN訓(xùn)練過(guò)程中出現(xiàn)的梯度爆炸和梯度消失問(wèn)題。1）梯度消失：隨著時(shí)間跨度增加，梯度會(huì)以指數(shù)級(jí)收斂于0，導(dǎo)致我們的神經(jīng)網(wǎng)絡(luò)中前面層的網(wǎng)絡(luò)權(quán)重?zé)o法得到更新，學(xué)習(xí)停止。2）梯度爆炸：每一步的梯度更新可能會(huì)積累誤差，最終梯度變得非常大，以至于RNN的權(quán)值進(jìn)行大幅更新，程序?qū)?huì)收到NaN錯(cuò)誤。一般而言，梯度爆炸問(wèn)題可以通過(guò)設(shè)置一個(gè)閾值來(lái)截取超過(guò)該閾值的梯度解決，而梯度消失的問(wèn)題很難檢測(cè)，通常通過(guò)使用RNN各種變體來(lái)應(yīng)對(duì)，例如長(zhǎng)短期記憶網(wǎng)絡(luò)和門(mén)控循環(huán)單元。

3.長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)（Long Short Term Memory，LSTM）

由于存在梯度消失問(wèn)題，RNN只能有短期記憶。LSTM是一種特殊的RNN網(wǎng)絡(luò)，它使用門(mén)控（Gate）的機(jī)制來(lái)解決“長(zhǎng)期依賴(lài)”的問(wèn)題。門(mén)控是一種可選地讓信息通過(guò)的方式，它由一個(gè)Sigmoid神經(jīng)網(wǎng)絡(luò)層和一個(gè)點(diǎn)乘法運(yùn)算組成。Sigmoid神經(jīng)網(wǎng)絡(luò)層輸出0和1之間的數(shù)字，這個(gè)數(shù)字描述每個(gè)組件有多少信息可以通過(guò)，0表示不通過(guò)任何信息，1表示全部通過(guò)。LSTM單元中有三種類(lèi)型的門(mén)控，分別為：輸入門(mén)、遺忘門(mén)和輸出門(mén)，LSTM對(duì)信息的存儲(chǔ)和更新正是由這些門(mén)控來(lái)實(shí)現(xiàn)，如下圖所示。

4.門(mén)控循環(huán)單元（Gated Recurrent Unit，GRU））

LSTM存在很多變體，其中較流行的一種就是GRU。GRU使用門(mén)控機(jī)制學(xué)習(xí)長(zhǎng)期依賴(lài)關(guān)系的基本思想和LSTM一致，但還是有一些關(guān)鍵區(qū)別，如LSTM有三個(gè)門(mén)，而GRU只有兩個(gè)門(mén)。GRU把LSTM的遺忘門(mén)和輸入門(mén)合并成一個(gè)更新門(mén)，更新門(mén)定義了前面記憶保存到當(dāng)前時(shí)刻的量;GRU沒(méi)有輸出門(mén)，有一個(gè)重置門(mén)，重置門(mén)決定了如何將新的輸入信息與前面的記憶相結(jié)合。由于GRU與LSTM的實(shí)驗(yàn)效果相似，且更易于計(jì)算，目前已被廣泛使用到各個(gè)應(yīng)用中。

總結(jié)與展望

本文簡(jiǎn)述了RNN的結(jié)構(gòu)及其各種變形，旨在為剛進(jìn)入該領(lǐng)域的初學(xué)者提供參考資料。在RNN的未來(lái)發(fā)展中，需要通過(guò)改變RNN的參數(shù)、結(jié)構(gòu)等方法來(lái)適應(yīng)不同的應(yīng)用需求，從而使RNN廣泛應(yīng)用到NLP的眾多領(lǐng)域。

參考文獻(xiàn)：

[1]Lipton Z C. A Critical Review of Recurrent Neural Networks for Sequence Learning[OL].（2015）[2019]. https：//arxiv. org / abs/1506.00019v1.

[2]夏瑜潞. 循環(huán)神經(jīng)網(wǎng)絡(luò)的發(fā)展綜述[D]. 電腦知識(shí)與技術(shù)，2019，15（21）

項(xiàng)目支持：

成都工業(yè)學(xué)院校級(jí)項(xiàng)目：基于機(jī)器學(xué)習(xí)的聲紋識(shí)別關(guān)鍵技術(shù)研究（編號(hào)：2021ZR026）。