孫運淼，林鋒，周激流

（四川大學(xué)計算機學(xué)院，成都 610065)

0 引言

隨著移動場景時代的到來，移動設(shè)備與社交網(wǎng)絡(luò)在全球范圍內(nèi)迅速普及、衛(wèi)星定位與無線通信技術(shù)快速發(fā)展，不同場景中類型各異的大量移動對象得到了持續(xù)和廣泛的有效追蹤，海量的移動軌跡數(shù)據(jù)由此得到采集與存儲。在這些移動軌跡數(shù)據(jù)中，蘊藏了指向環(huán)境特性、個體行為、社會規(guī)律等多方面的豐富信息，有著巨大的學(xué)術(shù)價值與應(yīng)用前景。如何根據(jù)任務(wù)需要從中挖掘出有價值的潛在信息，已經(jīng)成為了數(shù)據(jù)挖掘領(lǐng)域中的重要課題。

移動軌跡作為一種時間序列信息，具有數(shù)據(jù)規(guī)模大、規(guī)律周期長等特點；作為定位數(shù)據(jù)，又含有不可避免的誤差；再加上對象的自主移動往往受到地理特性、交通規(guī)則、社會規(guī)律等環(huán)境因素的復(fù)雜限制，眾多的挑戰(zhàn)使得傳統(tǒng)的移動軌跡研究方法難以高效、靈活地適用于當(dāng)今海量、多樣化的數(shù)據(jù)挖掘任務(wù)。

近年來，隨著神經(jīng)網(wǎng)絡(luò)技術(shù)研究的發(fā)展和計算能力、訓(xùn)練數(shù)據(jù)等資源的豐富，基于深度神經(jīng)網(wǎng)絡(luò)的機器學(xué)習(xí)方法已經(jīng)在關(guān)系分類、圖像識別、自然語言處理等應(yīng)用領(lǐng)域中獲得了廣泛應(yīng)用，在諸多問題的標(biāo)準(zhǔn)測試集上都取得了出色的效果。

長短時記憶網(wǎng)絡(luò)（Long Short-Term Memory,LSTM）是一種應(yīng)用廣泛的新型循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neu?ral Network,RNN），與傳統(tǒng)RNN同樣是針對序列數(shù)據(jù)的處理任務(wù)而設(shè)計的。為了解決傳統(tǒng)RNN中存在的梯度爆炸或耗散（gradient explosion/vanishing）、訓(xùn)練速度慢、遠(yuǎn)距離學(xué)習(xí)能力有限等問題，LSTM針對傳統(tǒng)RNN中的隱含層單元做出了改進，引入了記憶單元和控制門的結(jié)構(gòu)設(shè)計，從而優(yōu)化了隱含層對輸入信息的提取、存儲和表達過程，以及錯誤信號的時域反傳過程。與傳統(tǒng)RNN相比，LSTM網(wǎng)絡(luò)對長距離序列特征的學(xué)習(xí)能力更強、訓(xùn)練效率更高。

在語音、文本、時間序列等許多序列信息學(xué)習(xí)的領(lǐng)域中，LSTM網(wǎng)絡(luò)都有著廣泛的應(yīng)用。2006年，文獻[1]提出了基于雙向LSTM網(wǎng)絡(luò)的序列標(biāo)注模型，用于處理未經(jīng)預(yù)分段的連續(xù)語音信號序列。2013年，文獻[2]提出了用于語音識別的深度LSTM網(wǎng)絡(luò)，實現(xiàn)從語音信號序列到音素序列的映射，并在標(biāo)準(zhǔn)測試集上取得了state-of-the-art的成績。文獻[3]提出了基于多層LSTM的序列到序列（sequence to sequence）的機器翻譯模型。文獻[4]在該模型的基礎(chǔ)上提出了改進，轉(zhuǎn)而應(yīng)用于句法分析任務(wù)中，并取得了state-of-the-art的成績。文獻[5]將LSTM網(wǎng)絡(luò)用于檢索式的問答系統(tǒng)（question answering system）中，學(xué)習(xí)問答語句間的匹配模型。文獻[6]則提出了用于分析簡短的程序代碼并給出程序輸出的深度LSTM模型，文中將程序代碼視作字符序列輸入，程序運行的正確結(jié)果作為訓(xùn)練目標(biāo)，對于簡單的數(shù)值運算程序，預(yù)測準(zhǔn)確率可達99%文獻[7]將LSTM網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）相結(jié)合，用于降水量的時空序列的預(yù)測。文獻[8]將LSTM網(wǎng)絡(luò)與CNN相結(jié)合用于圖文轉(zhuǎn)換，該模型首先利用CNN對圖像輸入進行特征提取，再利用LSTM實現(xiàn)從特征到文本輸出的學(xué)習(xí)。文獻[9]則提出了能夠直接用于圖像處理的4向LSTM網(wǎng)絡(luò)，且在多個標(biāo)準(zhǔn)測試集上能夠取得與傳統(tǒng)的CNN方法相近的表現(xiàn)，證明了LSTM在圖像處理領(lǐng)域同樣有著巨大的潛力。

現(xiàn)有的研究和應(yīng)用證明，LSTM網(wǎng)絡(luò)在許多種針對大規(guī)模序列信息中的復(fù)雜關(guān)聯(lián)和依賴的處理任務(wù)中，都能夠取得優(yōu)異的表現(xiàn)。因此，國內(nèi)外許多研究人員將LSTM網(wǎng)絡(luò)引入了軌跡數(shù)據(jù)處理的領(lǐng)域中，用于實現(xiàn)對車輛、行人等移動軌跡的識別或預(yù)測，并取得了出色的成果，本文對這些工作進行了簡要回顧。

1 LSTM網(wǎng)絡(luò)

1.1 LSTM工作原理

為了解決傳統(tǒng)RNN中的梯度爆炸或耗散問題，文獻[10]于1997年針對其隱含層單元結(jié)構(gòu)做出了改進，提出了LSTM單元。使用LSTM單元的RNN網(wǎng)絡(luò)，通常被稱作LSTM-RNN網(wǎng)絡(luò)或LSTM網(wǎng)絡(luò)。隨著相關(guān)研究的深入和應(yīng)用領(lǐng)域的擴展，研究人員針對最初提出的LSTM單元結(jié)構(gòu)提出了許多改進和變體，其中，使用最為廣泛的一種結(jié)構(gòu)如圖1所示。

一個LSTM單元由一個專門的記憶單元（Memory Cell）和多個調(diào)節(jié)門（gate）組成其中，記憶單元使用其狀態(tài)量（state）進行歷史信息的存儲，與之相連的常數(shù)錯誤傳送結(jié)構(gòu)（Constant Error Carousel,CEC）可以使得錯誤信號在時域反傳（Back Propagation Through Time,BPTT）時實現(xiàn)無衰減傳播，從而解決傳統(tǒng)RNN中梯度爆炸或耗散的問題。輸入門（Input Gate）和輸出門（Output Gate）用于控制信息的流入與流出，遺忘門（Forget Gate）則用于決定是否重置記憶單元，這3個門的行為將通過上層單元的輸出、上一時刻的自身輸出以及記憶單元的狀態(tài)量共同決定。將記憶單元狀態(tài)量輸入到這3個門的連接（圖中虛線表示）被稱為窺孔連接（Peephole Connections）。

圖1 LSTM單元結(jié)構(gòu)

（1）用h來表示整個LSTM隱含層單元的最終輸出，c表示記憶單元的狀態(tài)量，x表示輸入數(shù)據(jù)那么一個LSTM單元對輸入數(shù)據(jù)的處理過程可以表示如下：

（2）計算三個LSTM調(diào)節(jié)門的值

其中，i,f,o分別代表著輸入門、遺忘門和輸出門，Wmn,bn分別代表著從m到n的連接權(quán)值和n的偏置，σ代表著調(diào)節(jié)門的激活函數(shù)。如上所述，所有調(diào)節(jié)門的值除了受當(dāng)前輸入數(shù)據(jù)xt和上一時刻LSTM單元輸出ht-1的影響外，還受上一時刻記憶單元值ct-1的影響，即窺孔連接。

（2）計算LSTM記憶單元的狀態(tài)量更新

其中，⊙表示逐點乘積，t可以稱作候選隱含層狀態(tài)，實際等同于使用一個傳統(tǒng)RNN隱含層單元處理將得到的輸出。由上式可見，記憶單元的狀態(tài)值更新取決于t和上一時刻的自身狀態(tài)ct-1，并通過輸入門和遺忘門分別對這兩部分信息的流入進行調(diào)節(jié)。

（3）整個LSTM單元的最終輸出為：

其中，σ通常選擇Logistic Sigmoid函數(shù)，φ,?通常選擇tanh函數(shù)。這種獨立的記憶單元結(jié)合多個調(diào)節(jié)門的設(shè)計，使LSTM單元獲得了保存、讀取、重置和更新長距離歷史信息的能力。例如，如果輸入門保持關(guān)閉（it=0），那么記憶單元不會受到新的輸入數(shù)據(jù)的影響；如果與此同時遺忘門不作用（ft=1），那么記憶單元中的信息就能長時間的一直保存下去，并且通過開放輸出門（ot=1）供給下層單元使用。

與傳統(tǒng)RNN類似，LSTM網(wǎng)絡(luò)也使用時域反傳算法實現(xiàn)網(wǎng)絡(luò)參數(shù)的訓(xùn)練。在傳統(tǒng)RNN中，錯誤信號的影響隨著時間間隔的增長而呈現(xiàn)指數(shù)級膨脹或壓縮，即梯度爆炸或耗散問題。而在LSTM中，由于記憶單元的自連接邊的設(shè)計，錯誤信號能夠始終以1的權(quán)重在時域上實現(xiàn)穩(wěn)定傳送，因此稱作恒定誤差傳送。

1.2 LSTM的發(fā)展與改進

在文獻[10]于1997年最初提出的LSTM單元結(jié)構(gòu)中，只包含兩個調(diào)節(jié)門：輸入門和輸出門。直到1999年，文獻[11]才在此基礎(chǔ)上引入了遺忘門的設(shè)計，允許了狀態(tài)量的重置，避免其無限制地增長,為模型帶來了清除無用的歷史信息的能力。

2000年，文獻[12]中提出，在調(diào)節(jié)門的控制中引入記憶模塊的參與，可以更好地利用從歷史序列中學(xué)習(xí)到的特征，因此提出了窺孔連接，將記憶單元的狀態(tài)量也輸送到各個調(diào)節(jié)門。

為了充分利用到整個序列的上下文信息，文獻[13]在 2005年將 LSTM與雙向 RNN（Bidirectional RNN,BRNN）結(jié)合，提出了雙向LSTM（BLSTM）。

2014 年，文獻[14]提出了 GRU（Gated Recurrent Unit），只包含用于捕捉短期依賴的重置門（Reset Gate）和用于捕捉長期依賴的更新門（Update Gate），并合并了LSTM中的記憶單元和候選隱含層狀態(tài)。GRU普遍被視作是LSTM的一種簡化版本，經(jīng)實驗證明與傳統(tǒng)LSTM表現(xiàn)相近但效率更高，因此也成為了最流行的變體之一。

2014年，文獻[3]首次將深度神經(jīng)網(wǎng)絡(luò)（Deep Neu?ral Network,DNN）的框架與LSTM相結(jié)合，提出了深度LSTM（deep LSTM）。2015 年，文獻[15]和文獻[16]分別提出了樹狀的和層次的LSTM模型，用于自然語言處理任務(wù)中。文獻[7]在解決降水量的預(yù)測問題時，為了同時實現(xiàn)時間維度和空間維度的特征學(xué)習(xí)，將卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network,CNN）中的卷積算子引入了LSTM的狀態(tài)量更新過程中，提出了卷積LSTM（Convolutional LSTM,ConvLSTM）。

2 LSTM網(wǎng)絡(luò)在移動場景中的應(yīng)用

移動設(shè)備的普及和GPS定位技術(shù)的發(fā)展使得持續(xù)廣泛的移動對象追蹤成為可能，也產(chǎn)生了海量的移動軌跡數(shù)據(jù)資源。移動軌跡數(shù)據(jù)的處理有著巨大的研究價值與應(yīng)用需求，卻也面臨著數(shù)據(jù)規(guī)模大、時間跨度長等等許多挑戰(zhàn)。許多研究人員將LSTM網(wǎng)絡(luò)作為高效的序列數(shù)據(jù)處理技術(shù)引入了這一領(lǐng)域，提出了任務(wù)需求和網(wǎng)絡(luò)結(jié)構(gòu)各異的大量應(yīng)用。本文將選取LSTM網(wǎng)絡(luò)在移動場景中的典型應(yīng)用，按照移動對象和任務(wù)類型進行分類介紹。

2.1 車輛行為識別

文獻[17]中采用LSTM網(wǎng)絡(luò)處理車輛的移動軌跡信息，來實現(xiàn)對車輛行為的識別，用于解決智能交通領(lǐng)域中的駕駛環(huán)境檢測問題。該算法專注于十字路口附近的交通場景，按照車輛對象的駛來方向和駛?cè)シ较颍ㄗ蟆⒂肄D(zhuǎn)或直行）規(guī)定了12種不同的車輛行為標(biāo)簽，試圖利用LSTM網(wǎng)絡(luò)實現(xiàn)基于這些標(biāo)簽的分類。

算法使用KITTI數(shù)據(jù)集中的交通圖像，映射到路面平面上得到車輛對象的移動軌跡數(shù)據(jù)，并從中選取出固定長度的輸入序列，預(yù)提取出四種特征作為LSTM網(wǎng)絡(luò)的真正輸入：線性變化特征、角度變化特征、角度變化特征直方圖、鳥瞰圖坐標(biāo)特征。為了更好地學(xué)習(xí)序列中的時域表征，文獻中采用了3層LSTM的結(jié)構(gòu)，如圖2所示。

圖2 車輛行為識別網(wǎng)絡(luò)

首層輸入的維度由特征數(shù)目和特征向量維度決定；在前兩層的傳播過程中，上述四種特征被分別處理，僅在最后一個LSTM層中，四種特征才得到融合；最后一個LSTM層則接入一個全連接層，最終輸出一個代表著這個序列樣本的分類概率的向量。

2.2 車輛軌跡預(yù)測

文獻[18]同樣借助LSTM網(wǎng)絡(luò)來實現(xiàn)車輛移動軌跡的時域特征學(xué)習(xí)，用于構(gòu)建一個由圖像感知到行動決策的端到端的自動駕駛模型，網(wǎng)絡(luò)設(shè)計如圖3所示。

圖3 車輛軌跡預(yù)測網(wǎng)絡(luò)

文中采用全卷積網(wǎng)絡(luò)（FCN）作為單個時間步中從圖像幀到對象位置信息的編碼器，編碼結(jié)果即附近對象在單個時間步中的空間特征表示。經(jīng)過編碼的逐幀空間特征與傳感器收集得到的速度和角度信息，以及前一時間步的自身行動決策共同作為網(wǎng)絡(luò)輸入，在時域傳播中依序經(jīng)過一個單層的LSTM網(wǎng)絡(luò)，從而提取周圍對象與自身的移動的時域特征，并做出對移動軌跡的預(yù)測，儲存在LSTM網(wǎng)絡(luò)的輸出中，算法將其稱作狀態(tài)量（state）。這一代表著對附近車輛和自身做出的軌跡預(yù)測的狀態(tài)量再經(jīng)過一個全連接層，即可得到在當(dāng)前移動環(huán)境下，各個駕駛決策的可行度。文中使用了真實數(shù)據(jù)集中的車輛駕駛決策分布作為訓(xùn)練的目標(biāo)，從而實現(xiàn)基于移動軌跡預(yù)測的自動駕駛策略學(xué)習(xí)。

2.3 行人步態(tài)檢測

文獻[19]設(shè)計了一種雙向LSTM網(wǎng)絡(luò)用于解決行人航位推算中的步態(tài)檢測問題。該模型是針對室內(nèi)的行人移動而設(shè)計的，使用由慣性測量單元（Inertial Mea?surement Unit,IMU）收集得到的角速度和加速度信息，用于表示一個行人在某一時刻的移動狀態(tài)。移動狀態(tài)的序列輸入網(wǎng)絡(luò)后，經(jīng)由LSTM層完成時域特征的提取，最終給出步態(tài)標(biāo)簽的概率分布，例如前進、后退、奔跑、步行等。

文中采用了雙向的RNN架構(gòu)，一個完整的移動狀態(tài)序列將從正反兩個方向分別輸入到兩個獨立的隱含層。這樣一來，當(dāng)網(wǎng)絡(luò)對一組移動樣本進行學(xué)習(xí)時，其反向移動也可以同時被學(xué)習(xí)到。實驗證明，在一個由10個個體的10000個移動序列樣本組成的數(shù)據(jù)集上，該模型的步態(tài)檢測正確率可達98.5%。

2.4 行人軌跡預(yù)測

文獻[20]設(shè)計了一種復(fù)雜的LSTM網(wǎng)絡(luò)用于解決行人的軌跡預(yù)測問題。考慮到行人移動的社會性，個體的移動軌跡可能受到同一場景中其他個體的影響。為了賦予LSTM網(wǎng)絡(luò)捕捉不同個體的軌跡序列之間的依賴關(guān)系的能力，文章向傳統(tǒng)的LSTM網(wǎng)絡(luò)中引入了一種稱作社會池化層（social pooling layer）的新型結(jié)構(gòu)，將地理位置上鄰近的多條軌跡序列各自的LSTM網(wǎng)絡(luò)連接起來，彼此共享隱含層信息，從而更好的學(xué)習(xí)到行人軌跡的社會化特征，并用來對下一時刻做出更準(zhǔn)確的預(yù)測。

首先，Social LSTM（S-LSTM）為場景中的每個行人分配一個傳統(tǒng)的LSTM網(wǎng)絡(luò)，通過學(xué)習(xí)自身的歷史軌跡信息來預(yù)測未來的運動。LSTM網(wǎng)絡(luò)具備儲存和學(xué)習(xí)長距離信息的能力，可以比傳統(tǒng)的RNN更好地捕捉到較長時間范圍內(nèi)的個體運動規(guī)律；然而對于行人軌跡之間的相互作用以及地理環(huán)境對軌跡的影響等社會性規(guī)律，這樣相互獨立的多個LSTM網(wǎng)絡(luò)結(jié)構(gòu)仍然無法有效的進行學(xué)習(xí)，因此文中進一步引入了社會池化層。

文中提出的社會池化層接受不同移動對象對應(yīng)的多個LSTM網(wǎng)絡(luò)的隱含層輸出作為自身的輸入，并按照空間范圍內(nèi)劃分出的網(wǎng)格和每個移動對象所處的不同位置，對他們的隱含層信息進行池化，池化的結(jié)果將輸出到下一時刻的LSTM網(wǎng)絡(luò)，這樣就將多個獨立的LSTM網(wǎng)絡(luò)在地理維度上連接在了一起，組成了一個大的S-LSTM網(wǎng)絡(luò)。其中，算法基于劃分的地理網(wǎng)格為移動對象規(guī)定了鄰域范圍，只有位于自身鄰域范圍內(nèi)的鄰居對象的隱含層信息才會接受該對象的池化；如果有多個鄰居對象位于同一網(wǎng)格中，他們的隱含層信息則會被融合。這相當(dāng)于對社會池化層加入了剪枝操作，限制了其復(fù)雜度，在允許鄰近節(jié)點信息共享的同時，避免了遠(yuǎn)距節(jié)點間冗余的信息傳遞。

也就是說，不同于傳統(tǒng)的獨立LSTM網(wǎng)絡(luò)，在SLSTM網(wǎng)絡(luò)中，一個運動對象的LSTM層單元除了接收當(dāng)前時刻的坐標(biāo)輸入和上一時刻的隱含層輸入之外，還將通過池化層接收鄰近對象的上一時刻隱含層信息作為輸入，如圖4所示。

圖4 Social-LSTM網(wǎng)絡(luò)

S-LSTM網(wǎng)絡(luò)的輸出，再與一個全連接層相連，得到代表坐標(biāo)預(yù)測的高斯分布參數(shù)的矩陣，即可用于下一時刻移動坐標(biāo)的解碼。

3 結(jié)語

在現(xiàn)有的研究中，移動軌跡數(shù)據(jù)處理主要采用的是GPS定位數(shù)據(jù)、從圖像中識別進而映射得來的坐標(biāo)或者與移動主體綁定的傳感器數(shù)據(jù)作為網(wǎng)絡(luò)輸入，經(jīng)過設(shè)計各異的LSTM網(wǎng)絡(luò)實現(xiàn)時域特征的提取，再經(jīng)過解碼得到未來移動軌跡的預(yù)測值或移動模式的識別結(jié)果。然而，由于移動軌跡自身的數(shù)據(jù)特性，LSTM網(wǎng)絡(luò)在這一領(lǐng)域的應(yīng)用仍然面臨著許多挑戰(zhàn)：

（1）連續(xù)型數(shù)值變量

移動軌跡數(shù)據(jù)的處理通常以連續(xù)型數(shù)值變量作為對象，而以往的LSTM網(wǎng)絡(luò)大都是針對離散型變量的處理而設(shè)計的。這也就要求在傳統(tǒng)LSTM網(wǎng)絡(luò)設(shè)計的基礎(chǔ)上，針對連續(xù)變量的處理做出適應(yīng)與改進。

（2）數(shù)據(jù)預(yù)處理

GPS定位數(shù)據(jù)中包含著不可避免的誤差，因此，原始的軌跡數(shù)據(jù)通常要求首先經(jīng)過預(yù)處理再用于LSTM網(wǎng)絡(luò)的輸入：對定位數(shù)據(jù)進行平滑去噪，提取出軌跡中的駐留點進而將軌跡轉(zhuǎn)化為駐留點的序列，或直接對軌跡進行顯式的特征提取。合適的預(yù)處理對于訓(xùn)練效率和效果而言至關(guān)重要，也是軌跡數(shù)據(jù)處理中的關(guān)鍵問題之一。

（3）空間維度特征

軌跡信息不僅具有時序特征，還包含著空間維度的特征，目前已有一些研究者提出了將CNN與RNN結(jié)合的網(wǎng)絡(luò)設(shè)計。如何將時間與空間維度的特征學(xué)習(xí)結(jié)合起來，更好地實現(xiàn)對作為時空序列的軌跡信息的學(xué)習(xí)，也將是未來的研究熱點之一。

（4）社會性特征

個體的移動受到環(huán)境因素的限制和其他個體的影響，具有社會性的特征和規(guī)律。豐富的大數(shù)據(jù)資源和計算能力使得基于多移動對象的軌跡社會性挖掘成為可能，同時也有著巨大的應(yīng)用需求和價值。對于一個場景中大量移動對象的軌跡數(shù)據(jù)，如何實現(xiàn)高效的協(xié)同學(xué)習(xí)，也是極具潛力與挑戰(zhàn)的研究課題。

[1]Graves Alex,Fernandez Santiago,Gomez Faustino,et al.Connectionist Temporal Classification:Labelling Unsegmented Sequence Data with Recurrent Neural Networks:International conference on Machine learning,2006[C].2006:369.

[2]Graves Alex,Mohamed Abdelrahman,Hinton Geoffrey E.Speech Recognition with Deep Recurrent Neural Networks:International Conference on Acoustics,Speech,and Signal Processing,2013[C].2013:6645.

[3]Sutskever Ilya,Vinyals Oriol,Le Quoc V.Sequence to Sequence Learning with Neural Networks:Proceedings of the 27th International Conference on Neural Information Processing Systems,2014[C].Montreal,Canada:MIT Press,2014:3104.

[4]Vinyals Oriol,Kaiser Lukasz,Koo Terry,et al.Grammar as a Foreign Language:Neural Information Processing Systems,2015[C].2015:2773.

[5]Wang Di,Nyberg Eric.A Long Short-Term Memory Model for Answer Sentence Selection in Question Answering:ACL,2015[C].2015.

[6]Zaremba Wojciech.Learning to Execute[J].Computing Research Repository,2015,1410.4615.

[7]Shi Xingjian,Chen Zhourong,Wang Hao,et al.Convolutional LSTM Network:a Machine Learning Approach for Precipitation Nowcasting:Neural Information Processing Systems,2015[C].2015:802.

[8]Karpathy Andrej,Feifei Li.Deep Visual-Semantic Alignments for Generating Image Descriptions:Computer Vision and Pattern Recognition,2015[C].2015:3128.

[9]Visin Francesco,Kastner Kyle,Cho Kyunghyun,et al.ReNet:A Recurrent Neural Network Based Alternative to Convolutional Networks[M].Translate.ed[S.l.]:[s.n.],2015.

[10]Hochreiter Sepp,Schmidhuber Jurgen.Long Short-Term Memory[J].Neural Computation,1997,9（8）.

[11]Schmidhuber Juergen,Cummins F.Learning to Forget:Continual Prediction with LSTM:International Conference on Artificial Neural Networks,1999[C].1999:850.

[12]Gers F.A.,Schmidhuber J.Recurrent Nets That Time and Count:Proceedings of the IEEE-INNS-ENNS International Joint Conference on Neural Networks.IJCNN 2000.Neural Computing:New Challenges and Perspectives for the New Millennium,2000[C].2000:189.

[13]Graves Alex,Schmidhuber Jurgen.Framewise Phoneme Classification with Bidirectional LSTM and Other Neural Network Architectures[J].Neural Networks,2005,18（5）.

[14]Cho Kyunghyun,Van Merrienboer Bart,Gulcehre Caglar,et al.Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation:Empirical Methods in Natural Language Processing,2014[C].2014:1724.

[15]Tai Kai Sheng,Socher Richard,Manning Christopher D.Improved Semantic Representations from Tree-Structured Long Short-Term Memory Networks:Meeting of the Association for Computational Linguistics,2015[C].Beijing,2015:1556.

[16]Li Jiwei,Luong Thang,Jurafsky Dan.A Hierarchical Neural Autoencoder for Paragraphs and Documents:In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing,2015[C].URL,2015:1106.

[17]Khosroshahi A.,Ohn-Bar E.,Trivedi M.M.,et al.Surround Vehicles Trajectory Analysis with Recurrent Neural Networks[J].2016 IEEE 19th International Conference on Intelligent Transportation Systems（Itsc）,2016.

[18]Huazhe Xu,Yang Gao,Fisher Yu,et al.End-to-End Learning of Driving Models from Large-Scale Video Datasets[J].arXiv,2016,arXiv:1612.01079.

[19]Edel M.,Koppe E.,Ieee.An Advanced Method for Pedestrian Dead Reckoning using BLSTM-RNNs[M].Translate.ed New York:IEEE,2015.

[20]Alahi A.,Goel K.,Ramanathan V.,et al.Social LSTM:Human Trajectory Prediction in Crowded Spaces[M].Translate.ed New York:IEEE,2016:961