基于ResNet-LSTM 網(wǎng)絡(luò)的船型識別方法*

朱治學 楊風暴

（中北大學信息與通信工程學院 太原 030051）

1 引言

近年來，隨著我國的水運能力和國際貿(mào)易能力不斷增強，海上運輸承擔的任務(wù)日漸繁重，交通環(huán)境也日益復(fù)雜。船舶行業(yè)也進入了高速發(fā)展時代，逐漸從傳統(tǒng)向智能化交通方向發(fā)展。隨著位置傳感技術(shù)和位置感知設(shè)備的發(fā)展，其所收集到的時空軌跡信息作為移動對象的位置和時間的記錄序列，是交通運輸工程，交通地理學領(lǐng)域的重要研究內(nèi)容［1］。基于航跡數(shù)據(jù)的船舶類型識別研究具有重要的實際意義，這種研究能夠?qū)Υ暗能壽E進行分析，從中提取出船舶運動特征規(guī)律，進而將軌跡劃分出不同的、具有相似運動規(guī)律的類別。它是分析和預(yù)測運動對象行為、正確規(guī)范船舶行為、及時發(fā)現(xiàn)并處理船舶軌跡異常的前提條件，可為下一步實現(xiàn)智能船舶交通管理系統(tǒng)（Vessel Traffic Service，VTS）監(jiān)控船舶行為打下堅實的基礎(chǔ)［2］。

對航跡數(shù)據(jù)的處理方式有多種多樣，傳統(tǒng)的聚類算法［3～5］和機器學習算法［6］存在應(yīng)用場景理想化、不利于長時間航跡數(shù)據(jù)處理、所選統(tǒng)計量具有主觀性等缺點，不利于該任務(wù)的完成。隨著神經(jīng)網(wǎng)絡(luò)技術(shù)［7～8］的發(fā)展，深度學習技術(shù)也開始被廣泛使用在船舶軌跡研究領(lǐng)域，實現(xiàn)更準確且更有效的識別。現(xiàn)有工作中，Endo等［9］研究人員將原始軌跡數(shù)據(jù)結(jié)構(gòu)轉(zhuǎn)換為圖像數(shù)據(jù)結(jié)構(gòu)，但其所提卷積神經(jīng)網(wǎng)絡(luò)提取特征能力有限，訓(xùn)練周期較長，對數(shù)據(jù)分析不到位，最終的分類效果有所欠缺。Jiang X 等［10］使用速度及其統(tǒng)計量作為特征，將其嵌入到特征空間中后再送入GRU 對軌跡進行分類，但其手動選擇的統(tǒng)計量具有人為主觀因素，所采用的統(tǒng)計特征具有一定的片面性。趙佳歡等［11］利用循環(huán)神經(jīng)網(wǎng)絡(luò)處理時序數(shù)據(jù)上的優(yōu)勢，對空中目標類型識別，將雷達信噪比和目標航跡特征相結(jié)合，以提高目標識別準確度，但沒有考慮到循環(huán)神經(jīng)網(wǎng)絡(luò)RNN 的梯度消失和長時間依賴問題。Wang L 等［12］通過遷移學習的方式對互聯(lián)網(wǎng)打車軌跡的進行了識別，但是在其汽車數(shù)據(jù)集中，許多車輛運動規(guī)律單一，并沒有研究對復(fù)雜情況下的軌跡特征提取方法，所研究方法仍存在一定局限性。

綜上，本文經(jīng)過對已有研究內(nèi)容的分析以及不足的思考，提出了一種ResNet-LSTM融合網(wǎng)絡(luò)的船型識別模型。通過ResNet 卷積網(wǎng)絡(luò)則可以有效地提取航跡數(shù)據(jù)的局部空間特征，構(gòu)造LSTM 網(wǎng)絡(luò)去提取航跡數(shù)據(jù)中的長時間時序特征，同時由于ResNet網(wǎng)絡(luò)的殘差跳躍結(jié)構(gòu)，也可以避免傳統(tǒng)網(wǎng)絡(luò)的梯度消失和梯度爆炸問題，從而提高模型在海上復(fù)雜船跡類型識別任務(wù)中的準確度。

2 相關(guān)理論知識

2.1 殘差網(wǎng)絡(luò)（ResNet）

殘差神經(jīng)網(wǎng)絡(luò)［13］是由MSRA 的學者提出的一種卷積神經(jīng)網(wǎng)絡(luò)。在神經(jīng)網(wǎng)絡(luò)中，網(wǎng)絡(luò)深度的增加往往意味著網(wǎng)絡(luò)對數(shù)據(jù)的擬合能力越好，但它也會帶來過擬合以及梯度消失或者梯度爆炸的問題，這會導(dǎo)致網(wǎng)絡(luò)準確度的降低甚至喪失對測試集的檢測能力。殘差神經(jīng)網(wǎng)絡(luò)通過其跳躍連接的機制可以解決此問題。其具體原理如圖1 所示，假設(shè)神經(jīng)網(wǎng)絡(luò)某一層的神經(jīng)網(wǎng)絡(luò)所代表的函數(shù)為F(x)，x為輸入到該層神經(jīng)元的特征信息，在傳統(tǒng)的深度神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元的輸出即為F(x)，但在殘差神經(jīng)網(wǎng)絡(luò)中，其內(nèi)部的殘差塊使用了跳躍連接，將原始的特征信息與F(x)的信息相加作為下一個神經(jīng)元的輸入。

圖1 殘差結(jié)構(gòu)圖解

在ResNet 模型中這一結(jié)構(gòu)用數(shù)學公式可以表示為

ResNet 系列網(wǎng)絡(luò)包括ResNet18、ResNet34、ResNet50、ResNet101、ResNet152 等，網(wǎng)絡(luò)模型數(shù)字越大，代表模型越大，所需要的計算量越大。ResNet18 具有精度高、模型小、易于實現(xiàn)等優(yōu)點。本文所利用的ResNet 網(wǎng)絡(luò)是ResNet18 輕量級網(wǎng)絡(luò)模型。

2.2 長短時記憶網(wǎng)絡(luò)（LSTM）

LSTM長短時記憶網(wǎng)絡(luò)［14］是一種特殊的遞歸神經(jīng)網(wǎng)絡(luò)，通過門限機制，完成網(wǎng)絡(luò)前饋過程，以克服傳統(tǒng)的RNN 網(wǎng)絡(luò)在處理長序列輸入數(shù)據(jù)中表現(xiàn)的不足，對數(shù)據(jù)長距離時序特性的提取能力較強，其基本結(jié)構(gòu)如圖2所示。

圖2 長短時記憶網(wǎng)絡(luò)基本結(jié)構(gòu)

LSTM長短時記憶網(wǎng)絡(luò)的前饋過程可表示為

其中，sigm 為Sigmoid 激活函數(shù)，取值范圍為［0，1］。tanh 為雙曲正切激活函數(shù)。LSTM 網(wǎng)絡(luò)的訓(xùn)練過程通過權(quán)重參數(shù)W、U和偏置參數(shù)b來控制。

3 基于ResNet-LSTM 的融合網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計

本文設(shè)計了一種殘差神經(jīng)網(wǎng)絡(luò)（ResNet）與長短時記憶網(wǎng)絡(luò)（LSTM）進行結(jié)果融合的網(wǎng)絡(luò)模型，所采取的融合方式為令ResNet 模型的最終輸出結(jié)果為F1(x)，LSTM 模型的最終輸出結(jié)果為F2(x)，定義一個權(quán)重參數(shù)a，令模型融合的結(jié)果為F3(x)，可以得到公式如下：

總模型結(jié)構(gòu)如圖3所示。

圖3 總模型結(jié)構(gòu)圖

如圖3 所示，本文使用的ResNet 網(wǎng)絡(luò)在ImageNet［15］數(shù)據(jù)集上事先預(yù)訓(xùn)練好權(quán)重，通過遷移學習的方法［16］，使該網(wǎng)絡(luò)參數(shù)能夠更快速地收斂，該權(quán)重對應(yīng)的分類個數(shù)為1000，本模型在ResNet 預(yù)訓(xùn)練模型之后增加一層全連接層，以修改分類個數(shù)，激活函數(shù)為Softmax，其輸出的特征向量表示模型對輸入所預(yù)測的5 種船舶類型的概率。所使用的LSTM 模型中，模型層數(shù)為2，輸入維度為480，輸出維度為256。模型的最后同樣是全連接層，輸出5類的預(yù)測概率。

最終根據(jù)所構(gòu)建的融合公式，將兩個模型的輸出進行融合，在神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程中，在反向傳播過程中，交叉熵損失函數(shù)所產(chǎn)生的梯度也會根據(jù)該融合權(quán)重數(shù)值分別更新兩個模型的參數(shù)。

4 實驗流程

4.1 數(shù)據(jù)預(yù)處理

本文使用原始數(shù)據(jù)集為船舶AIS航跡數(shù)據(jù)集［17］。采集2017 年美國海岸包括漁船、客船、油船、集裝箱船和散貨船等船舶類型在內(nèi)的真實船舶軌跡數(shù)據(jù)。該數(shù)據(jù)集存在的問題如下：

1）因為該數(shù)據(jù)集數(shù)據(jù)量比較大，所以會存在數(shù)據(jù)重復(fù)、錯誤以及時間混亂的數(shù)據(jù)。

2）由于船舶數(shù)據(jù)通過硬件上傳信息，可能由于設(shè)備，網(wǎng)絡(luò)傳輸?shù)葐栴}造成數(shù)據(jù)缺失。

所以在針對上述數(shù)據(jù)集中存在的問題使用的方法如下：

1）對于重復(fù)的數(shù)據(jù)進行去重操作，根據(jù)時間戳進行排序，按照時間排序繪制軌跡路線。

2）在缺少數(shù)據(jù)的部分，采用線性插值處理，彌補數(shù)據(jù)缺失部分。

本文數(shù)據(jù)預(yù)處理的流程圖如圖4所示。

圖4 數(shù)據(jù)預(yù)處理流程圖

4.2 動態(tài)特征的選取

本文將船舶數(shù)據(jù)根據(jù)速度的大小關(guān)系按航跡點跡映射為不同顏色，映射關(guān)系如圖5所示。

圖5 船速可視化色彩映射關(guān)系圖

當船只的速度高時，其顏色其可視化偏向于藍色，當船只的速度低時，其可視化偏向于紅色。根據(jù)船只航跡的不同顏色，可以大致判斷出，該船只的運動狀態(tài)。

考慮到數(shù)據(jù)集內(nèi)不同船只之間的航行速度以及航行軌跡，可能有所差異。可視化部分不同類型船舶的軌跡路線示例如圖6所示。

圖6 部分各類船只軌跡示意圖

通過數(shù)據(jù)可視化分析，本文選取航跡數(shù)據(jù)中的六個動態(tài)特征，即經(jīng)度、緯度、對地速度、對地航偏、航首向以及轉(zhuǎn)彎率作為神經(jīng)網(wǎng)絡(luò)的輸入。經(jīng)數(shù)據(jù)預(yù)處理，每類選取5000 個數(shù)據(jù)樣本，每個數(shù)據(jù)樣本大小為80 行、6 列。數(shù)據(jù)被劃分為訓(xùn)練集、驗證集和測試集，三者的比例分別為7∶3∶1。研究通過航跡數(shù)據(jù)對漁船、客船、油船、集裝箱船和散貨船五類船舶進行類型識別。

4.3 實驗環(huán)境與參數(shù)設(shè)置

本實驗仿真環(huán)境和配置如下：操作系統(tǒng)為Windows10-64 位，開發(fā)語言為Python3.8，開發(fā)環(huán)境為anaconda虛擬環(huán)境。

實驗中模型的具體參數(shù)設(shè)置如表1所示。

表1 具體參數(shù)設(shè)置

4.4 實驗結(jié)果

4.4.1 基線模型訓(xùn)練

圖7 為在ResNet18 模型上進行遷移學習得到的訓(xùn)練結(jié)果，可以從圖中看到，在訓(xùn)練過程中，ResNet 卷積神經(jīng)網(wǎng)絡(luò)在驗證集以及測試集上具有一定的震蕩，而且在訓(xùn)練后期，網(wǎng)絡(luò)出現(xiàn)過擬合現(xiàn)象，準確率反而下降。

圖7 ResNet18模型訓(xùn)練過程指標變化

圖8 是經(jīng)LSTM 模型的訓(xùn)練結(jié)果。相比于ResNet模型雖然略有差距，但沒有出現(xiàn)過擬合的現(xiàn)象，說明該LSTM模型的Dropout弱化了過擬合所帶來的影響，LSTM 模型所提取的特征與ResNet 模型也存在一定差異。

圖8 LSTM模型訓(xùn)練過程指標變化

4.4.2 確定最佳網(wǎng)絡(luò)融合參數(shù)

為了得到最優(yōu)的網(wǎng)絡(luò)融合系數(shù)，本文對比4 組不同融合參數(shù)的模型準確度，即融合參數(shù)a 分別取0.2，0.4，0.6，0.8。訓(xùn)練過程的損失與準確度指標如圖9所示。

圖9 不同融合參數(shù)下網(wǎng)絡(luò)模型訓(xùn)練過程對比

在圖9 中，對比不同融合參數(shù)，可以發(fā)現(xiàn)當融合參數(shù)a 越大，ResNet網(wǎng)絡(luò)提取的局部空間特征占的權(quán)重越大，網(wǎng)絡(luò)損失率下降越快，但網(wǎng)絡(luò)在訓(xùn)練過程中的抖動情況越嚴重。融合參數(shù)a 越小，LSTM 模型提取的長距離時序特征占的權(quán)重越大。網(wǎng)絡(luò)的抖動情況也有所改善。當融合參數(shù)a 取0.4左右，網(wǎng)絡(luò)運行效果最佳，說明在該參數(shù)值下，融合模型既避免了ResNet 模型單獨作用下網(wǎng)絡(luò)過擬合以及網(wǎng)絡(luò)抖動的影響，又能利用LSTM 模型提取到有效的時序特征。網(wǎng)絡(luò)的準確度和學習效率有更高的提升。

另外，在利用神經(jīng)網(wǎng)絡(luò)處理類型識別問題時，所涉及到的主要評估指標還包括精確度、召回率、F1值等。表2表示不同融合參數(shù)下，網(wǎng)絡(luò)運行結(jié)果指標報告。隨機抽取總數(shù)為4992 的實驗數(shù)據(jù)進行測試，其中類別0，1，2，3，4 分別表示漁船、客船、油船、集裝箱船和散貨船五種船舶類型。

表2 不同融合參數(shù)下的網(wǎng)絡(luò)在測試集上的評價指標統(tǒng)計

通過對表2 的結(jié)果分析，當融合參數(shù)a 為0.2時，網(wǎng)絡(luò)模型對油船的識別的精確度不高，當融合參數(shù)a 為0.6 時，網(wǎng)絡(luò)模型對散貨船識別的精確度不高，當融合參數(shù)a 為0.8 時，網(wǎng)絡(luò)模型在客船和散貨船精確度上表現(xiàn)不佳，當融合參數(shù)為0.4時，各項指標在數(shù)值上高于融合參數(shù)a 取其他值時的各項取值，ResNet-LSTM 網(wǎng)絡(luò)融合效果最好，此結(jié)果與圖9中所展示結(jié)果表現(xiàn)一致。

4.4.3 網(wǎng)絡(luò)模型對比實驗

本節(jié)為證明所提網(wǎng)絡(luò)模型在本文任務(wù)中的效果，實現(xiàn)了四種不同的網(wǎng)絡(luò)模型架構(gòu)（即特殊的CNN 網(wǎng)絡(luò)模型架構(gòu)［18］、1DCNN-LSTM 網(wǎng)絡(luò)模型架構(gòu)［19］、Transformer-LSTM 網(wǎng)絡(luò)模型架構(gòu)以及簡單的RNN 網(wǎng)絡(luò)模型架構(gòu)；將上述網(wǎng)絡(luò)架構(gòu)與本文所提的ResNet-LSTM（a=0.4）網(wǎng)絡(luò)架構(gòu)進行對比分析。各個模型訓(xùn)練過程中損失率與準確度如圖10 和表3所示。

表3 不同網(wǎng)絡(luò)模型結(jié)果對比

圖10 不同模型結(jié)果圖

對圖10 和表3 進行分析可知：特殊的CNN 網(wǎng)絡(luò)［18］模型，通過100 個訓(xùn)練周期，達到收斂后在測試集上的準確度可達到0.90。1DCNN-LSTM 網(wǎng)絡(luò)模型［19］訓(xùn)練50 個訓(xùn)練周期達到收斂，在測試集上的準確度達到了0.95。Transformer-LSTM 網(wǎng)絡(luò)模型以及RNN網(wǎng)絡(luò)模型分別通過50次迭代過程的訓(xùn)練達到收斂，二者網(wǎng)絡(luò)在測試集上的準確度分別可達到0.96 和0.86。均沒有超過本文所提ResNet-LSTM（a=0.4）網(wǎng)絡(luò)模型的0.98的準確度。

5 結(jié)語

本文把深度學習領(lǐng)域中的神經(jīng)網(wǎng)絡(luò)模型應(yīng)用于船舶類型識別任務(wù)中，構(gòu)造ResNet 模型預(yù)訓(xùn)練模型和LSTM 模型，分別提取航跡數(shù)據(jù)中的局部空間特征和長距離時序特征，克服了傳統(tǒng)網(wǎng)絡(luò)的梯度消失、特征提取能力不足等缺點，構(gòu)造了兩種網(wǎng)絡(luò)的融合公式，利用反向傳播更新網(wǎng)絡(luò)參數(shù)，有效地將二者網(wǎng)絡(luò)進行融合，提出了一種基于ResNet-LSTM的融合網(wǎng)絡(luò)模型。并與現(xiàn)有的網(wǎng)絡(luò)模型架構(gòu)進行對比，結(jié)果表明，本文所提出的ResNet-LSTM模型能夠有效地對航跡數(shù)據(jù)特征進行提取，具有很好的識別性能。

下一步將對AIS 數(shù)據(jù)之外更多的航跡數(shù)據(jù)進行研究，嘗試不同模型融合方式、融合效果，從而能夠識別出更多的目標類型。