基于CNN和Bi-LSTM的船舶航跡預測

劉姍姍，馬社祥，孟 鑫，張啟超

（天津理工大學 電氣電子工程學院，天津 300384）

隨著海運和客運業的不斷發展，加強船舶安全管理和重點目標監測更加迫切。在交通密集、狀況復雜的很多沿海和港口的水域，海上交通事故預警的精確性和有效性也尤為重要。提前掌握船舶的走向信息能有效地減少船舶觸礁和碰撞等海上交通事故的發生。船舶航行軌跡分析可以獲得海上航道的有用信息和船舶的行為模式。該技術還可為海上交通管制、目標監測和海上安全預警提供新的理論依據。文獻［1］根據建立的系統方程和測量方程，運用卡爾曼濾波算法估計船舶的未來航行軌跡。文獻［2］針對欠驅動水面艦艇，利用無味卡爾曼濾波器（UKF）預測動態目標軌跡位置。文獻［3］將擴展卡爾曼濾波算法和競爭神經網絡相結合，利用EKF估計船舶航行的狀態，再運用NN預測船舶的航行狀態。文獻［4］在交互式多模型算法的解算過程中，引用期望最大值算法來估計船舶分別在勻速運動和勻轉彎運動時的位置。文獻［5］根據船舶的位置信息，利用多項式卡爾曼算法預測船舶的未來走向。文獻［6］運用貝葉斯網絡通過概率推理來預測船舶行為。文獻［7］利用高斯過程（gaussian process regression，GPR）對船舶航行軌跡進行回歸預測。上述預測方法均為需要構建船舶運動數學方程的線性預測方法。因為有很多外界環境（例如天氣、風速等因素）對船舶運動有較大的影響，隨機和多樣的干擾使得實時準確的運動數學方程很難構建，大多只適用于理想狀態。并且船舶自動識別系統提供的船舶軌跡信息一般是非線性的。文獻［8］利用BP（back propagation）神經網絡對船舶航跡進行預測，根據船舶的方向和行駛速度特征來預測船舶的經度差和緯度差，進而預測船舶航跡。文獻［9］設計基于AIS信息和三層BP神經網絡模型來預測船舶航跡，根據船舶過去和當前的航行狀態特征來預測船舶未來的航行狀態。上述均使用BP神經網絡預測船舶航跡。雖然BP神經網絡可以解決復雜的非線性問題，但是其學習采用梯度下降算法，存在梯度消失、收斂速度慢等問題。文獻［10］利用長短期記憶（long short term memory，LSTM）預測模型，輸入船舶的過去軌跡特征和當前軌跡特征，輸出船舶的未來軌跡特征來訓練網絡達到期望的輸入輸出擬合關系，實現船舶軌跡預測。對比BP神經網絡，LSTM網絡具有對過去信息保存記憶的能力，其船舶航行軌跡預測效果更好。

為了更加準確有效地預測船舶的航行軌跡，本文提出了一種基于卷積神經網絡（CNN）和雙向長短期記憶網絡（Bi-LSTM）的船舶航跡預測模型。模型的高性能表現在CNN能捕獲短期特征關系和LSTM能捕獲長期時間特征關系。首先利用CNN有效地提取數據之間的潛在關系并形成特征向量，以時序序列方式構造特征向量作為輸入數據，再利用Bi-LSTM網絡進行船舶航跡預測。與僅使用LSTM網絡相比，因為CNN-Bi-LSTM網絡中使用了CNN模型提取時序數據潛在特征，所以Bi-LSTM網絡輸入數據的有效性得到很大提高，并且前向和反向的2個長短時記憶網絡綜合考慮了過去信息和未來信息的影響，提高了網絡預測的準確性。

1 基于AIS信息的船舶航行行為分析

船舶的航行狀態特征主要包括船舶的經度、緯度、速度、航首向和對地航向等［11］。其中經度和緯度體現了船舶的位置信息，速度體現了船舶航行的快慢程度，航首向和對地航向體現了船舶航行行為的方向特征。要區分目標船舶和其他船舶，為保證預測數據的準確性，因為每條船舶都有專屬的海上移動業務識別碼（maritime mobile service identity，MMSI），所以可以用MMSI來區分不同船舶［12］。因此，船舶的航行行為模型可以表示為：

式中：λ和φ分別代表船舶的經度、緯度；V代表船舶的航行速度；C1和C2分別代表船舶的航首向、對地航向。

本文采用的MMSI為414228000的船舶，表1是船舶AIS信息的部分數據。

2 CNN-Bi-LSTM模型

2.1 CNN模型

卷積神經網絡（CNN）是前饋神經網絡的一種變體，具備精準有效的識別能力，CNN主要包括特征提取和分類2個部分。一個或多個卷積層和池化層組成特征提取部分，通過卷積層中卷積核的卷積計算和池化層的降采樣處理來提取數據的潛在特征。CNN還具有權值共享和局部連接的特征，可以通過卷積層和池化層的交替使用從原始數據中得到有效表征，自動提取數據的局部特征［13］。本文利用CNN的特點來提取時序數據的潛在特征，提高輸入數據的有效性。

2.1.1 卷積層

卷積層通過卷積核（convolutional kernel，CK）卷積處理輸入數據，輸出卷積后提取的數據特征。因為同一卷積核操作中的局部連接、空間安排和參數共享特性，在參數較少情況下卷積層可以提取較豐富的特征［14］。

卷積操作的公式為：

式中：i表示第i個卷積核；g（i）表示第i個特征圖；a表示輸入數據；b表示卷積核的偏置；x、y、z表示輸入數據的維度。

卷積操作后的非線性變換通過激活函數來實現，本文采用修正線性單元（rectified linear unit，ReLU）作為激活函數。

本文使用一維卷積神經網絡（1-D CNN）來提取數據特征。1-D CNN是一種特殊的CNN，常應用于處理一維數據［15］。其卷積計算公式為：

因為卷積層的隱藏單元僅與輸入層的一部分連接，圖1顯示了一維卷積處理的示例，其中c1～c4是特征向量，x1～x6是輸入。一維卷積的單個隱藏單元僅連接到輸入層的3個輸入。這種連接大大減少了參數的數量，并加速了神經網絡的訓練過程。

在圖1中，c1～c4是通過卷積計算的，其中c1是通過與x1、x2和x3卷積計算的，并且c1與x1、x2、x3之間的連接都具有不同的權重。在計算c2時，這3個權重分別對應于x2、x3和x4。

卷積層的參數主要包括卷積核的大小、步幅和填充，它們確定輸出特征向量的大小。卷積核的大小是用于卷積計算的變量數。在圖1中，c1是通過x1、x2和x3進行卷積計算得到的，因此在上述一維卷積中卷積核的大小為3。步幅是卷積核在進行卷積計算時需要移動的距離。在圖1中，c1由x1、x2和x3計算。當卷積核移動一步時，將通過x2、x3和x4計算c2。填充用于抵消由卷積計算導致的特征向量大小的減小。如圖1所示，輸入層有6個變量，因此計算出的特征向量的大小為4。如果將輸入添加到輸入層的每一側，則特征向量的大小將為6。輸出特征向量的計算公式為：

式中：wout是輸出特征向量的大小；win是輸入特征向量的大小；padding是輸入兩端填充的元素數；F是卷積核的大小。

1-D CNN卷積輸出為一維向量，當與全連接層連接時將各個卷積核的輸出拼接成一個完整的一維向量，直接與全連接層連接。

2.1.2 池化層

雖然卷積層縮小了數據矩陣的規模，但在從輸入層提取附加空間信息時，卷積層的輸出矩陣大小沒有明顯下降。為了進一步減小數據矩陣大小，CNN網絡在卷積層之后添加池化層，以優化網絡結構。池化層利用池化核對輸入的特征向量進行降采樣（down sampling），同時也更加突出了提取的特征。最大池化處理方式、平均池化處理方式分別表示為：

式中：al（i，t）表示第l層中第i個特征圖的第t個神經元；w表示卷積核的寬度；j表示第j個池化核。

參數共享可以大大減少參數數量。在同一過濾器中，所有特征向量的計算，共享相同的權重集合，n個過濾器有n組權重。參數共享和稀疏連接大大減少了自由變量的數量，從而使卷積神經網絡能夠以較少的計算資源提取特征。由一維卷積層計算出的特征向量在一維池化層中被下采樣。池化層選擇并過濾卷積層輸出的特征圖。廣泛采用的池化方法是“最大池化”和“平均池化”，池化方法的參數是池大小、步幅和填充。池大小是用于池計算的數據數量，池層中的步幅和填充與卷積層相同。圖2顯示了一維池化過程的示例。在該圖中，特征向量由包括c1～c4和2個pd共6個元素組成，并且一維合并p1、p2和p3的元素是由這6個元素計算的。

在圖2中，c1、c2、c3和c4是上層計算的特征向量，pd是填充元素，p1、p2和p3是池化層的輸出，其中步幅為2。在圖2中，p1由池化pd和c1計算得出。最大池或平均池可以用作池化方法。最大池化方法是從pd和c1中選擇最大的一個作為p1的值。平均池化方法是將pd和c1的平均值作為p1的值，并且p2和p3值的計算方法相同。通過池化方法，池化層獲得其輸出p1、p2、p3，經過一維卷積層和一維池化層后，要素將輸入到雙向LSTM神經網絡中以進一步提取。

2.2 Bi-LSTM模型

循環神經網絡（recurrent neural network，RNN）是一種輸入為序列數據，在序列傳播方向進行遞歸且所有節點按鏈式連接的遞歸神經網絡（recursive neural network）。RNN具有記憶性和參數共享的特點，因此能以很高的效率對序列的非線性特征進行學習。

雖然RNN能有效地處理非線性時間序列問題，但是它也存在一些問題［16］：對于延遲過長的時間序列，RNN存在梯度爆炸和消失的問題；需提前明確延時窗口的長度進而實現RNN模型訓練，但是獲取此參數的最優值在實際應用中很難實現。LSTM是一種傳統循環神經網絡的進化網絡，可以改善因回歸神經網絡學習過程中反向船舶誤差導致的長時間滯后引起的梯度爆炸和消失問題，捕獲長距離依賴性并從不同長度的序列中有效地學習。LSTM模型中LSTM存儲器單元是傳統RNN中隱藏層的循環神經元的進化，單元可以指示網絡何時忘記歷史信息以及何時通過新的輸入信息更新存儲單元［17］。每個LSTM單元都配有3個控制信息流的門，每個門均包含一個Sigmoid層和一個逐點乘法運算，并可以控制LSTM信息流以避免梯度爆炸和消失，控制信息流的門為：遺忘門決定應該記住或遺忘哪些信息；輸入門決定哪些信息比較重要以便記憶；輸出門決定將要傳遞的信息。3個門的值設置在0和1之間。LSTM模型的細胞結構如圖3所示，其中z為輸入模塊。前向計算公式為：

式中：i、f、c、o分別表示輸入門、遺忘門、細胞狀態、輸出門；b表示對應的偏置項；W表示層與各個門之間的權值矩陣；σ為sigmoid激活函數；tanh為雙曲正切激活函數。

因為單向LSTM下一刻預測輸出是根據前面多個時刻的輸入來共同影響的，并且在提取數據特征時可能導致丟失有用信息。而很多情況下預測同時受前面和后面多個時刻輸入的共同影響，這樣會獲得更加精確的預測結果。本文研究使用Bi-LSTM捕獲2個方向之間的數據特征［18］。因為需要能關聯未來的數據，而單向循環神經網絡屬于關聯歷史數據，所以對未來數據提出了反向循環神經網絡，2個方向的網絡結合到一起就能關聯歷史和未來。2個網絡，前向網絡正向計算隱向量，后向網絡反向計算隱向量［19］，本文將2個隱向量按式（12）進行結合。圖3描述了一個展開的雙向LSTM，圖4為Bi-LSTM模型。在前向網絡層中隨順序時刻從前往后計算一遍，得到向前隱藏層在每個時刻的輸出值。在后向網絡層中隨倒序時刻從后往前計算一遍，得到向后隱藏層在每個時刻的輸出值。最后輸出前向網絡層和后向網絡層在每個時刻的綜合輸出。

2.3 船舶航跡預測

CNN有助于學習如何從數據中提取特征。但是它需要多卷積層來捕獲長期依賴關系，隨著神經網絡中長度輸入序列的增加，捕獲依賴關系會變差。而Bi-LSTM模型能夠捕獲序列之間的長期依賴性，因此CNN與Bi-LSTM模型可以互補，使預測效果更好。CNN-Bi-LSTM的船舶航跡預測方法是由CNN和Bi-LSTM的串聯連接組成。CNNBi-LSTM可以提取用于船舶航跡預測的多個船舶航行的復雜特征，并可以存儲復雜的不規則趨勢。首先CNN-Bi-LSTM的底層是由CNN組成，CNN層可以接收表征船舶航行軌跡的各種變量，例如經度、緯度、速度、航向。CNN包含一個接受變量作為輸入的輸入層，一個將特征提取到Bi-LSTM的輸出層以及卷積層，ReLU層和池化功能。卷積層將卷積運算應用于傳入的序列，并將結果傳遞給下一層。卷積操作模擬單個神經元對視覺刺激的響應。每個卷積神經元僅處理感受野（receptive field）的數據，卷積運算可以減少參數數量。Bi-LSTM是CNN-Bi-LSTM的頂層，存儲有關通過CNN提取的表征船舶航行狀態的重要特征信息。Bi-LSTM通過合并可更新先前隱藏狀態的內存單元來保留數據間的長期依賴關系。

CNN-Bi-LSTM回歸問題是船舶航跡預測的實質。因為一般船舶在一段時間內的航行狀態是規律的，過去時刻和當前時刻的航行狀態對下一時刻的航行狀態有很大的影響，所以輸入船舶的過去時刻和當前時刻的船舶航行信息，輸出未來軌跡數據中的經度和緯度，通過船舶的真實航行軌跡樣本訓練網絡，以此使預測模型的輸入輸出形成相應的映射關系，進而實現對船舶未來軌跡的預測。對于單艘船舶，其在t時刻的行為G（t）可表示為：

式中，λt、φt、vt、c1t、c2t分別表示船舶的經度，緯度，速度，航首向和對地航向等5個行為特征。

本文輸入G（t-2），G（t-1）和G（t），輸出G（t+1）中的經度和緯度來訓練混合網絡。由此，船舶航跡預測模型的表達式為：

式中，函數f為激活函數。

在CNN-Bi-LSTM網絡中，采用修正線性單元（rectified linear unit，ReLU）作為神經元的激活函數。函數表達式為：

從式（16）中可以看出，Relu函數抑制了非正區域那一側，這一特征會使預測模型具備稀疏激活能力，使訓練樣本的擬合度更高。對于非線性函數，因為Relu在非負區域的斜率是固定不變的，所以避免了出現梯度消失問題，也使得模型具有較為穩定的收斂速度。

未經任何處理的原始數據之間的數量級一般是不相同的，而數量級相差太大的數據會導致網絡預測誤差，因此歸一化處理輸入數據，處理后的數據均限制在0到1之間［20］。本文采用離差標準化方法（minmax normalization）歸一化訓練數據，即：

式中：max代表訓練樣本中的最大值；min代表訓練樣本中的最小值；X代表原始數據；X′代表歸一化后的數據。

船舶航跡預測的主要步驟如下：

步驟1歸一化處理初始數據，得到相同數量級的輸入數據；

步驟2將輸入數據輸入一維卷積神經網絡，經過卷積層中卷積核的卷積計算獲得數據特征；

步驟3將卷積層輸出的特征數據輸入池化層并進行平均池化處理，縮小數據矩陣大小。

步驟4卷積神經網絡的輸出作為Bi-LSTM的有效輸入數據，通過的前向網絡和后向網絡訓練有效樣本數據，有效地擬合輸入輸出數據，獲得在目標誤差內的預測輸出值。

步驟5依次經過3個全連接層，綜合前面提取到的預測值特征作為最終輸出。

船舶航跡預測模型如圖5所示。

本文采用均方誤差（mean squared error，MSE）和平均絕對誤差（mean absolute error，MAE）來評估船舶航跡預測模型。均方誤差是指預測值（test）與真實值（real）之差的平方和的平均值，MSE的數學表達式如式（18）所示。平均絕對誤差是指預測值與真實值的絕對誤差的平均值，MAE的數學表達式如式（19）所示。2個誤差指標本質都是說明預測值與真實值的相差程度，所以它們的值越小，說明預測值越接近真實值，即預測效果就越好［21］。

式中，N表示樣本的數量。

3 實驗結果及分析

實驗所采用的編程語言為Python3.5，實驗平臺配備雙路TITAN Xp GPU，Intel（R）Core（TM）i7-7800X CPU，3.5 GHz×12，32 GB內存，Ubuntu16.04操作系統。本文實驗選取海上移動業務識別碼（MMSI）為414 228 000的船舶AIS信息作為樣本數據，構建CNN-Bi-LSTM模型，進行船舶航跡預測。隨機選取了該船舶連續的4 356組航行數據，其中前2 955組數據用作網絡訓練，后797組數據用作網絡測試。因為每條數據都有一個真實的標簽，會得到相應的預測結果，所以使用MAE和MSE進行性能評估。

歸一化處理訓練數據，輸入連續3個時刻的船舶數據G（t-2），G（t-1），G（t），輸出下一時刻的船舶數據中的經度和緯度，以此來訓練CNN-Bi-LSTM模型。其中1D CNN的卷積核設為2；卷積在數據每一維的步長設為1；采用相同填充的方法進行卷積，即超出邊界的部分使用補充0的方法來使得輸入輸出的尺寸相同；并且將矩陣區域的均值作為結果。Bi-LSTM中2個LSTM層的神經元個數均為80；全連接層的神經元個數分別設為100、50、10；采用relu激活函數。得到的預測軌跡和真實軌跡對比如圖6所示。

通過對比CNN-Bi-LSTM，LSTM和BP預測模型，來驗證所提混合模型的有效性。其中，LSTM模型中，輸入G（t-2），G（t-1），G（t），輸出G（t+1）中的經度和緯度；LSTM層神經元個數為80；全連接層神經元個數分別設為100，50和10；采用Relu函數為激活函數。其中BP神經網絡也是同理。為了對比效果，3個預測模型設置相同的超參數，如表2所示。

表2 超參數

CNN-Bi-LSTM模型與LSTM模型軌跡預測如圖7所示；CNN-Bi-LSTM與LSTM經度誤差曲線如圖8所示；CNN-Bi-LSTM與LSTM緯度誤差曲線如圖9所示；CNN-Bi-LSTM模型與BP軌跡預測曲線如圖10所示；CNN-Bi-LSTM與BP經度預測誤差曲線如圖11所示；CNN-Bi-LSTM與BP緯度誤差曲線如圖12所示。均方誤差對比如表3所示。

表3 預測模型誤差分析結果

采用十折交叉驗證的方法對3種模型的性能進行評估。十折交叉驗證方法將數據集分為10份，并依次將其中的9份作為訓練集、1份作為測試集進行10次實驗。各模型的十折交叉驗證準確性平均值如表4所示。

表4 預測模型十折交叉驗證準確性值

通過CNN-Bi-LSTM預測模型與LSTM模型和BP模型的船舶軌跡，經緯度誤差曲線以及均方誤差平均絕對誤差曲線和預測模型十折交叉驗證準確值均值曲線，可以看出CNN-Bi-LSTM模型的船舶航跡預測效果比LSTM和BP預測模型好。

4 結論

通過深入研究船舶AIS數據反映出的船舶航行狀態特征，進而構建船舶航行軌跡預測模型。結合CNN的局部特征學習能力和Bi-LSTM學習歷史和未來的上下文功能能力，提出利用CNN-Bi-LSTM網絡根據船舶AIS數據預測船舶航跡的方法。將目標船舶的上千條航行數據作為訓練樣本訓練所提出的混合神經網絡，利用訓練好的CNNBi-LSTM預測模型預測后面時刻的船舶軌跡。通過對比分析預測值與真實航行數據的誤差，可以證明CNN-Bi-LSTM模型對船舶軌跡的預測精度高于傳統的LSTM和BP預測模型。

在未來研究中應該考慮在充足數據前提下不同時間間隔對船舶航行軌跡的影響。所提出的混合深度學習網絡的預測精確性還有待提高，接下來將利用一些優化算法進一步優化Bi-LSTM模型的參數，以提高船舶航跡預測值的預測精度。