基于Attenton-LSTM 神經(jīng)網(wǎng)絡(luò)的船舶航行預(yù)測

徐國慶，馬建文，吳晨輝，張安西

(山東交通學(xué)院 航海學(xué)院，山東 威海 264200)

0 引 言

為確保無人艇的運(yùn)行安全，需結(jié)合已有實(shí)踐經(jīng)驗(yàn)進(jìn)行深入優(yōu)化和升級，本文圍繞船舶航行預(yù)測技術(shù)展開深入研究。

文獻(xiàn)[1]基于修正卡爾曼濾波算法和AIS 數(shù)據(jù)，結(jié)合最小二乘法實(shí)現(xiàn)了船舶運(yùn)動軌跡的平滑預(yù)測；文獻(xiàn)[2]優(yōu)化了卡爾曼濾波算法的實(shí)時性，將其應(yīng)用到船舶的軌跡處理中；文獻(xiàn)[3]運(yùn)用支持向量機(jī)（SVM）結(jié)合橋區(qū)水域失控船舶運(yùn)動數(shù)學(xué)模型進(jìn)行了航跡回歸預(yù)測；文獻(xiàn)[4]利用GPS 定位系統(tǒng)的時序特征構(gòu)建了船舶運(yùn)動軌跡預(yù)測模型；文獻(xiàn)[5]結(jié)合優(yōu)化馬爾科夫模型和灰度模型，提出一種短程船舶軌跡預(yù)測方法。以上研究需要以船舶運(yùn)動學(xué)方程為基礎(chǔ)，因而無法有效適應(yīng)海上復(fù)雜環(huán)境。近年來隨著人工神經(jīng)網(wǎng)絡(luò)研究的進(jìn)步，深度學(xué)習(xí)被廣泛用于此類問題。文獻(xiàn)[6]提出一種基于3 層BP 神經(jīng)網(wǎng)絡(luò)的航跡預(yù)測算法，利用Sigmoid 函數(shù)實(shí)現(xiàn)船舶位置預(yù)測，具有用時短、通用性強(qiáng)的特點(diǎn)。文獻(xiàn)[7]利用AIS 數(shù)據(jù)信息量豐富的特點(diǎn)，結(jié)合BP 神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)了船舶航行行為預(yù)測；文獻(xiàn)[8-9]提出了循環(huán)神經(jīng)網(wǎng)絡(luò)-長短期記憶模型，驗(yàn)證了LSTM 神經(jīng)網(wǎng)絡(luò)回歸模型的有效性。

針對研究現(xiàn)狀，本文以AIS 數(shù)據(jù)為基礎(chǔ)，在LSTM模型的基礎(chǔ)上引入注意力機(jī)制，提出一種基于Attention-LSTM 神經(jīng)網(wǎng)絡(luò)的船舶航行預(yù)測模型，通過對隱藏層單元差異賦權(quán)突出對預(yù)測結(jié)果有關(guān)鍵影響的序列，從而提高預(yù)測精度。最后以成山角海域真實(shí)數(shù)據(jù)進(jìn)行仿真實(shí)驗(yàn)，并與BP 神經(jīng)網(wǎng)絡(luò)模型進(jìn)行對比，驗(yàn)證了本文方法的優(yōu)越性。

1 LSTM 神經(jīng)網(wǎng)絡(luò)與注意力機(jī)制

1.1 LSTM 神經(jīng)網(wǎng)絡(luò)

Hochreiter 等[10]在時間循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）基礎(chǔ)上進(jìn)行優(yōu)化，提出了長短期記憶神經(jīng)網(wǎng)絡(luò)。通過引入記憶單元和門機(jī)制，有效克服了RNN 在深度學(xué)習(xí)中的梯度異常問題，同時也更易于訓(xùn)練。

LSTM 單元結(jié)構(gòu)如圖1 所示。每個LSTM 單元內(nèi)部包括輸入門（input gate）、遺忘門（forget gate）、輸出門（output gate）和一個記憶單元結(jié)構(gòu)Cell。其中，輸入門用于控制記憶單元更新的信息量；遺忘門用于控制前一時刻記憶單元信息被利用的量；輸出門用于控制輸出到下一隱藏狀態(tài)的信息量[11]。設(shè)給定輸入序列xt，則輸入門、遺忘門、輸出門分別為it，ft，ot，記憶單元Ct則通過不同門控制數(shù)據(jù)的記憶和遺忘，具體表述如下：

更新后的記憶單元Ct：

更新后的隱藏狀態(tài)ht：

式中：σ 為sigmod 函數(shù)；Ct-1為現(xiàn)有記憶門；ht-1為當(dāng)下的隱藏狀態(tài)；W 和b 分別為對應(yīng)地系數(shù)矩陣和偏差項(xiàng)；* 為點(diǎn)乘。

LSTM 神經(jīng)網(wǎng)絡(luò)通過門函數(shù)控制歷史數(shù)據(jù)的記憶和遺忘，適合于處理具有時間序列特性的問題。但該模型在數(shù)據(jù)輸入時會將其編碼為等長向量，而解碼則受限于該向量，致使模型難以學(xué)到合理的向量表示。因此，引入注意力機(jī)制，更有效地提取輸入序列特征。

1.2 注意力機(jī)制

注意力機(jī)制（Attention-based Model）發(fā)源于圖像識別領(lǐng)域，而后也被廣泛應(yīng)用在回歸問題中[12]。它的工作機(jī)理類似人腦，借鑒人腦中對事物各部分的注意力偏差機(jī)制，通過對輸入序列內(nèi)各因子賦予不同的權(quán)重，突出更關(guān)鍵的影響因素，幫助模型做出更準(zhǔn)確的判斷。點(diǎn)積注意力機(jī)制結(jié)構(gòu)如圖2 所示。

圖中，Xi為輸入序列，Xi1為Xi簡化計(jì)算得到的相似標(biāo)量，通過歸一化指數(shù)函數(shù)將其映射在[0，1]區(qū)間，即為“權(quán)重”。點(diǎn)積注意力則是Xi對權(quán)重的加權(quán)合。表述如下：

2 基于Attention-LSTM 神經(jīng)網(wǎng)絡(luò)的船舶航行預(yù)測模型

多維船舶航行預(yù)測是指船舶的經(jīng)度、緯度、航向和航速隨時間的變化預(yù)測，是對傳統(tǒng)船舶軌跡預(yù)測的補(bǔ)充。其實(shí)質(zhì)是對船舶航行大數(shù)據(jù)的深度挖掘，以船舶過去時刻的航行數(shù)據(jù)作為輸入，未來時刻的航行數(shù)據(jù)作為輸出，通過對比建立基于時間序列的航行特征映射關(guān)系，最終實(shí)現(xiàn)船舶航行預(yù)測。

2.1 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

Attention-LSTM 模型通常包括輸入序列、LSTM層、Attention 層、全連接層以及輸出序列。其中輸入序列與輸出序列是模型的出入通道；LSTM 層的作用是實(shí)現(xiàn)高層次特征學(xué)習(xí)；Attention 層的作用是突出關(guān)鍵信息；全連接層的作用是進(jìn)行局部特征整合，實(shí)現(xiàn)最終的預(yù)測。基于此，參考多層自適應(yīng)模塊化神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)[13]，本文將Attention 層作為LSTM 層和全連接層的接口，構(gòu)造“LSTM 層—Attention 層—全連接層”結(jié)構(gòu)，如圖3 所示。

圖 3 Attention-LSTM 網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Attention-LSTM structure

圖中，X(t)為輸入序列數(shù)據(jù)，L(t)為X(t)的隱藏特征，A(t)為各特征的注意力權(quán)重，Y(t)為輸出序列數(shù)據(jù)。

2.2 拓?fù)浣Y(jié)構(gòu)

2.2.1 輸入、輸出序列參數(shù)

輸入、輸出序列主要是對船舶航行信息的表征，所對應(yīng)的AIS 信息主要有水上移動通信業(yè)務(wù)標(biāo)識碼（MMSI）、時間（TIME）、經(jīng)度（LNG）、緯度（LAT）、航向（COG）、航速（SOG）等。輸入、輸出序列具體表示為：

Input :（MMSI,TIME）={LNG,LAT,COG,SOG}，

Output :（MMSI,TIME）={LNG,LAT,COG,SOG}。

為減小各項(xiàng)數(shù)據(jù)數(shù)量級差異的影響，輸入、輸出序列還需要進(jìn)行歸一化處理，將數(shù)據(jù)集向量各元素取值轉(zhuǎn)換在[0，1]內(nèi)，表達(dá)式為：

式中：x 為原始數(shù)據(jù)；x*為歸一化數(shù)據(jù)。

2.2.2 神經(jīng)元節(jié)點(diǎn)數(shù)

神經(jīng)網(wǎng)絡(luò)模型中，神經(jīng)元節(jié)點(diǎn)數(shù)是導(dǎo)致“過擬合”現(xiàn)象的重要因素。其中，輸入層和輸出層節(jié)點(diǎn)數(shù)由訓(xùn)練數(shù)據(jù)的特征決定；LSTM 層和全連接層神經(jīng)元節(jié)點(diǎn)數(shù)通常取2 的次方數(shù)，本文設(shè)置LSTM 層和全連接層神經(jīng)元節(jié)點(diǎn)數(shù)為α，α∈{4,8,16,32,64,128,256}，初步設(shè)定α=64。

2.2.3 輸入層步數(shù)

船舶航行問題具有時間序列特性，因此其輸入序列存在step 的概念。本文設(shè)置輸入層步數(shù)為β+1，β∈{2,3,4,5,6}，即把Y[t-β],Y[t-(β-1)], …,Y[t]等β+1 個連續(xù)時刻的船舶行為表征數(shù)據(jù)作為網(wǎng)絡(luò)輸入，t+1 時刻的預(yù)測數(shù)據(jù)Y[t+1]作為網(wǎng)絡(luò)輸出，初步設(shè)定β=5。

2.2.4 模型訓(xùn)練方法

迭代次數(shù)是影響神經(jīng)網(wǎng)絡(luò)模型精度的重要因素。本文設(shè)置迭代次數(shù)為θ，θ∈{1，500，1 000，1 500，2 000，2 500，3 000}，初步設(shè)定θ=1 500。

代價函數(shù)是一種衡量系統(tǒng)整體誤差程度的函數(shù)[14]。交叉熵?fù)p失函數(shù)可以用來評估當(dāng)前訓(xùn)練結(jié)果與真實(shí)分布的差異狀況，且不會影響模型的收斂速度，因此將其作為本網(wǎng)絡(luò)的代價函數(shù)，如下式：

傳統(tǒng)梯度下降過程根據(jù)經(jīng)驗(yàn)公式確定其學(xué)習(xí)率，并在訓(xùn)練過程中保持不變。本文針對船舶航行中的非穩(wěn)態(tài)、高噪聲問題，采用適應(yīng)性矩估計(jì)算法代替隨機(jī)梯度下降，基于訓(xùn)練數(shù)據(jù)和交叉熵?fù)p失函數(shù)計(jì)算梯度估計(jì)矩陣，從而為參數(shù)設(shè)定自適應(yīng)學(xué)習(xí)率。

3 實(shí)驗(yàn)仿真分析

3.1 實(shí)驗(yàn)準(zhǔn)備

實(shí)驗(yàn)編程語言為Python3.0，開發(fā)工具為Spyder。實(shí)驗(yàn)數(shù)據(jù)來源于成山角水域內(nèi)船舶的AIS 信息，經(jīng)解析后，按照MMSI，TIME，LNG，LAT，COG，SOG 等字段信息進(jìn)行儲存。

3.2 實(shí)驗(yàn)設(shè)計(jì)

3.2.1 實(shí)驗(yàn)數(shù)據(jù)

選取200 組AIS 作為實(shí)驗(yàn)數(shù)據(jù)，經(jīng)清洗后其中前180 組作為訓(xùn)練集，后20 組作為測試集。為避免因數(shù)據(jù)分布差異導(dǎo)致的模型誤差，選定數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)歐式距離計(jì)算，結(jié)果如表1 所示，可知訓(xùn)練集與測試集數(shù)據(jù)具有相似分布。

3.2.2 誤差指標(biāo)

采用均方誤差（MSE）和平均絕對誤差（MAE）來評估船舶航行預(yù)測的各項(xiàng)指標(biāo)。MSE 是指預(yù)測值與真實(shí)值間差值的平方期望，該值越小則模型的效果越好；MAE 能夠更好反映出模型誤差的真實(shí)狀況。表述如下：

表 1 歐式距離Tab.1 Euclidean distance

3.3 實(shí)驗(yàn)結(jié)果

3.3.1 拓?fù)浣Y(jié)構(gòu)對Attention-LSTM 模型的影響

1）神經(jīng)元節(jié)點(diǎn)數(shù)

分別取α 為{4,8,16,32,64,128,256}，依次代入模型中，重復(fù)10 次實(shí)驗(yàn)對誤差匯總?cè)∑骄Y(jié)果如圖4 所示。當(dāng)隱藏層神經(jīng)元節(jié)點(diǎn)數(shù)取128 時，誤差指標(biāo)MSE 和MAE 取得最小值。

圖 4 神經(jīng)元誤差分布Fig.4 Error of cell unit

2）輸入層步數(shù)

分別取β 為{2,3,4,5,6,}，依次代入模型中，重復(fù)10 次。實(shí)驗(yàn)過程中不同步數(shù)對應(yīng)的神經(jīng)網(wǎng)絡(luò)誤差如圖5 所示。當(dāng)β+1=6，即輸入層步數(shù)為6 時，模型擬合度最好。

圖 5 輸入層步數(shù)誤差分布Fig.5 Error of step

3）迭代次數(shù)

分別取θ 為{1，500，1 000，1 500，2 000，2 500，3 000}，代入模型并重復(fù)運(yùn)行10 次，可以得到不同迭代次數(shù)時的誤差統(tǒng)計(jì)，如圖6 所示。當(dāng)?shù)螖?shù)為1 000 時，模型效果最佳。

圖 6 迭代次數(shù)誤差分布Fig.6 Error of epoch

3.3.2 不同神經(jīng)網(wǎng)絡(luò)模型的對比

使用BP 神經(jīng)網(wǎng)絡(luò)進(jìn)行船舶軌跡預(yù)測，效果良好。本文選用結(jié)構(gòu)為4-14-4 的BP 神經(jīng)網(wǎng)絡(luò)與Attention-LSTM 模型，對其預(yù)測效果進(jìn)行對比，結(jié)果如圖7所示。

圖 7 預(yù)測結(jié)果Fig.7 Prediction results

在20 次測試中，兩類模型的誤差曲線呈現(xiàn)出無規(guī)則震蕩，但基于Attention-LSTM 神經(jīng)網(wǎng)絡(luò)模型的預(yù)測誤差均小于BP 神經(jīng)網(wǎng)絡(luò)模型，即本文所提出的模型對船舶航行預(yù)測精度更高。

4 結(jié) 語

本文依托船舶AIS 數(shù)據(jù)，提出一種基于Attention-LSTM 神經(jīng)網(wǎng)絡(luò)的多維船舶航行預(yù)測算法，實(shí)現(xiàn)了對船舶未來時刻經(jīng)度、緯度、航向、航速的精準(zhǔn)預(yù)測。通過仿真實(shí)驗(yàn)，表明本文方法的預(yù)測效果優(yōu)于BP 神經(jīng)網(wǎng)絡(luò)，且具有較好的魯棒性，能夠?yàn)樗鏌o人艇自動避碰技術(shù)提供參考。