改進LSTM神經網絡在極短期波浪時序預報中的應用

尚凡成, 李傳慶,2, 詹 可, 朱仁傳

(1.上海交通大學 海洋工程國家重點實驗室; 船舶海洋與建筑工程學院,上海 200240;2.上海船舶運輸科學研究所 航運技術與安全國家重點實驗室,上海 200135)

在實際海洋環境中,船海工程結構物由于受到海洋風、浪、流等環境因素的作用,會不斷產生六自由度搖蕩運動,而劇烈的搖蕩運動對船舶海上作業產生一系列有害影響,包括對工作效率、安全性和船體結構、各種裝備的影響等[1].如能在艦載機起飛和水下潛水器回收等船海結構物作業場景中提前預知船舶運動,給操作員提供輔助信息可以降低事故發生概率,提高作業能力和安全性.極短期預報利用船舶當前或過去的運動狀態和某些己知的外部條件,使用某種方法來預測未來一段時間內船舶運動狀態[2],以此為船舶海上航行以及海上任務作業提供控制輸入和輔助決策信息,進而提高船舶在惡劣海況下的海上作業能力.

極短期預報具有實時性、不確定性的特點,通常基于波浪或者船舶運動歷史的時歷數據,使用時間序列分析方法對未來一段時期的波高或船舶運動姿態進行預報.20世紀80年代左右,經典的自回歸模型等時間序列建模方法開始被廣泛用于波浪和船舶運動運動預報[3],這些傳統時序分析計算量比較小,但主要針對線性系統,對非線性較強的系統預報結果不佳,具有很大局限性.

隨著人工智能技術的發展,神經網絡、支持向量機等機器學習方法日趨成熟,因其可以任意精度逼近任意的非線性函數,擬合能力較強,所以逐漸受到研究者的關注.目前在時序分析中應用較為廣泛的是循環神經網絡(RNN)及其一系列變體,特別是長短期記憶(LSTM)神經網絡,通過引入門控單元實現了長期記憶能力[4],預報效果較好.2016年Duan等[5]將經驗模態分解技術與支持向量機回歸結合對顯著波高進行了預測研究.2017年Li等[6]使用具有外部輸入的非線性自回歸(NARX)神經網絡對船舶運動進行了單步與多步時序預測.2019年劉煜城[2]、2020年張彪等[7]使用RNN對船舶運動姿態進行了預報研究.但上述研究大多仍局限在原有理論框架,往往使用單一神經網絡模型,并且沒有充分利用諸如頻譜特征等已知信息,因此預報精度受限.而隨著神經網絡理論的發展,開始出現第三代人工智能概念[8],注重知識、數據、算法、算力的融合,強調先驗知識與基本物理定律的重要性.

神經網絡是一種通用的問題處理框架,其在各個細分領域上取得較好效果離不開與該領域專家知識的融合.另外神經網絡是一個典型的“黑箱模型”,通過融合專業知識有助于進一步加深對神經網絡底層原理的認識,同時有助于提高網絡泛化性.隨機海浪仍符合一定的統計規律,特定海區的隨機波浪往往具有穩定的頻譜特性.在波浪和船舶運動姿態預測中,頻譜特性可以發揮更為重要的作用,值得探索時頻域結合的極短期預報模型.本文受生成式對抗思想的啟發,提出一種改進的LSTM神經網絡架構,借助生成式對抗神經網絡強大的數據增強能力,將波浪的頻譜特性反饋至LSTM神經網絡,通過融合頻域領域先驗知識,增強了神經網絡對頻譜特性的捕捉能力,成功實現了時域、頻域信息耦合預報.同時該改進也可視為在原有LSTM模型的損失函數中加入正則化項,可有效防止神經網絡訓練中過擬合,提高模型泛化性.另外對頻域信息的學習也便于去除神經網絡由于偶然誤差或其他原因產生的高頻噪聲分量,保證了神經網絡輸出的預報準確性.實驗表明,該模型在波浪極短期時序預報上優于傳統預報方法和原始LSTM神經網絡架構,具有較高的實用價值.

1 LSTM神經網絡

LSTM神經網絡是RNN的一個變體,可以有效解決簡單RNN的梯度爆炸或消失問題,結構如圖1所示.與傳統RNN相比,LSTM網絡改進[9]主要如下.

圖1 LSTM神經網絡結構圖Fig.1 LSTM neural network

(1) 引入了門控機制控制信息傳遞的路徑,輸入門i、遺忘門f和輸出門o的狀態計算公式為

(1)

式中:σ(·)為Logistic函數;輸出區間為(0,1);h為神經網絡隱藏層的外部狀態;ht-1為上一時刻的隱藏層外部狀態;xt為當前時刻的輸入;W為狀態-輸入權重矩陣;U為狀態-狀態權重矩陣;b為偏置向量;下標i、f和o分別對應相應的門控單元.

(2) 引入一個新的內部狀態進行線性的循環信息傳遞,同時輸出信息給隱藏層的內部狀態ct和外部狀態ht,計算公式為

(2)

上述門控單元中各權重矩陣和隱藏狀態ct、ht在訓練過程中不斷更新,使得LSTM神經網絡可以成功學習時序信息中的短期影響和長期規律,實現對未來時刻信息的預測.

2 基于生成式對抗思想的 LSTM改進

2.1 生成式對抗思想

生成式對抗思想的核心思想來源于博弈論的納什均衡[10],由一個生成器和一個判別器構成,生成器G的目的是盡量學習真實的數據分布,而判別器D的目的是盡量正確判別輸入數據來自真實數據還是來自生成器[11].為了取得勝利,需要不斷優化,提高各自的生成和判別能力,該過程使用目標函數實現.

minGmaxDV(D,G)=Ex～pdata(x)(lnD(x))+

Ez～pz(z)[ln(1-D(G(z)))]

(3)

式中:E為數據期望;pdata(x)與pz(z)分別為真實數據與生成數據概率分布.

在生成式對抗神經網絡中需要首先固定生成器G,讓判別器D最大概率地分對訓練樣本的標簽.

maxDV(D,G)=Ex～pdata(x)(lnD(x))+

Ez～pz(z)[ln(1-D(G(z)))]

(4)

隨后需要固定判別器D,生成器G通過式(5)最大化D的損失以迷惑判別器,使生成器G的輸出與真實數據分布趨于相近.

maxGV(D,G)=Ez～pz(z)[ln(1-D(G(z)))]

(5)

生成式對抗神經網絡具有數據增強能力.該思想成功實現了對抗性域適應遷移學習[12]、不平衡樣本分類[13]等應用,說明生成式具有對抗神經網絡強大的信息歸納與生成能力,也證明了該思想與眾多神經網絡架構結合的靈活性.

2.2 譜分析方法與波浪頻譜特性

海浪及船舶運動通常被視為一種隨機性過程,可以利用頻譜分析對海浪進行統計意義上的考察.一般將隨機過程由時域到頻域的變換稱為隨機過程譜分析,設隨機過程的一個樣本為x(t),并設其物理含義為波面函數.使用傅里葉變換直接將上述隨機過程進行時域與頻域上的轉換:

(6)

式中:ω為頻率.

同時得到譜密度函數:

(7)

式中:T為序列周期.

上述傅里葉變換針對連續函數,實際中由于采樣頻率不能無窮小,得到的樣本往往是有限長的離散數據,所以需要利用離散傅里葉變換方法.采用著名的快速傅里葉(FFT)算法[14]進行時頻轉換,該方法認為樣本x(t)是由N點構成的序列,寫作x(n),n=0,1,…,N-1,對應的時頻轉化式為

(8)

式中:k、n分別為對應于ω、t的離散變量,k=0,1,…,N-1.可借助W因子的周期性和對稱性,實現快速時頻轉換.

波浪起伏和船舶搖蕩運動雖是一個隨機性過程,但是通過上述頻譜分析法可以在統計意義上進行考察分析.PM譜、ITTC雙參數譜、JONSWAP 譜等多種可以近似描述波浪譜的表達式[1]也證明了海浪雖然在時域呈現巨大隨機性,但是在特定風速下,特定海區的頻譜較為穩定.圖2為4個機構對北大西洋海區有義波高(Hs)出現概率P(Hs)的統計,該統計說明了在特定海區中特定波高的出現概率一定.

圖2 北大西洋波高分布Fig.2 Wave height distribution in the North Atlantic

2.3 融合時頻信息的LSTM改進形式

長時間統計得到的特定海區波浪頻譜往往呈現相似特征,能夠反映波浪的真實分布,其頻域特性反映了波浪的重要特征信息,對極短期預報有重要意義.但時頻轉換難以直接融合至LSTM神經網絡框架中.受生成式對抗網絡(GAN)中對抗思想的啟發,提出GAN-LSTM模型,旨在使用LSTM網絡替代生成器,將預報得到的結果和真實數據進行頻域轉換后輸入判別器進行判別,通過判別器使得LSTM神經網絡自動學習頻譜特征,實現時歷特征和頻譜特性的雙重近似,從而使得LSTM神經網絡損失函數最小化的同時實現預報頻譜分布接近真實頻譜分布,即輸出數據的分布逐漸接近真實分布.

LSTM神經網絡改進形式實現過程如圖3所示,其中虛線框內為GAN中的生成器,生成器得到的頻譜曲線由LSTM的輸出結果經頻譜變換得到,判別器區分生成器頻譜分布與真實頻譜分布之間差異,并將其直接反饋至LSTM神經網絡促使神經網絡輸出數據的頻譜特性能夠更接近真實頻譜特性.由于訓練數據集往往是歷史測量數據,數據量較為充足,所以使用訓練數據集數據進行頻譜變換可以反映特定海區對應的頻譜特性,通過上述反饋過程實現頻譜信息嵌入LSTM神經網絡.在之后的預報過程中,可直接使用經過上述訓練過程的LSTM神經網絡進行預報,無需額外的頻譜特征輸入.通過引入GAN思想,成功解決了流式數據無法進行頻譜分析的問題,成功將頻譜特性融入LSTM神經網絡的訓練過程中,充分利用了現有信息,成功實現時頻耦合預報.

圖3 改進的LSTM神經網絡流程Fig.3 Flow chart of improved LSTM neural network process

改進的LSTM目標函數為

(9)

L1通常使用相對熵,又名KL散度表示:

L1=KL(p|q)=H′(p)-H′(p,q)

(10)

H(p,q)=Ez～p(z)(-lnp(z))=

(11)

式中:p為真實分布;q為生成分布;H′為交叉熵函數.

從LSTM神經網絡結構的角度來看,本文中LSTM神經網絡改進形式在原有LSTM神經網絡目標函數中添加了反映頻譜近似程度的正則化項L1,實踐表明使用正則化項可以在一定程度上減小神經網絡輸出域空間,使得神經網絡可以更快地收斂穩定,并且可以防止神經網絡參數過擬合[9].LSTM改進形式的另一個優點為通過對頻域特性的學習可以自動抑制輸出噪聲信息,實現濾波平滑過程.

3 仿真結果與分析

3.1 波高時歷數據

數據來自上海船舶運輸科學研究所深水拖曳水池某實驗.深水拖曳水池長192 m,寬10 m,水深4.2 m;造波機為電液伺服搖板式,最大波高0.3 m,頻率范圍為0.25～2.00 Hz;浪高儀采用日本進口的四自由度適航儀Gel-430-S及非接觸式超聲波浪高儀.測量頻率為50 Hz,波浪數據時長為240 s左右,共12 158個數據,基本滿足訓練和測試需要.模型試驗與實船之間的縮尺比為λ=50,模型與實船之間滿足弗勞德相似關系和斯特勞哈爾相似關系,即對應實際特征周期為λ0.5=7.071倍.

實測得到的波高(H)數據存在系統誤差如零飄、隨機誤差如高頻不規則振蕩和異常誤差如個別點跳點等現象,按照實驗規定進行相對應的預處理,預處理后數據如圖4所示,其中fr為頻率.可知,預處理后數據集中于低頻段,分布較為理想.進一步分析數據可知,波高時歷中平均周期為0.76 s,最小周期為0.08 s,最大周期為1.84 s.

圖4 波高數據時頻域特性Fig.4 Time-frequency domain characteristics of wave height data

3.2 模型訓練與評價

3.2.1基線模型 為了更準確地說明神經網絡方法的優越性,使用傳統時序模型作為基線模型進行對照,常見的傳統時序模型包括自回歸(AR)模型、移動平均(MA)模型、自回歸移動平均(ARMA)模型等,具體模型選用根據對波高數據的自相關性和偏相關性分析決定.由圖5可知,自相關圖像呈現明顯“拖尾”現象,偏相關圖像呈現“截尾”現象.平穩時間序列的偏相關系數(PACF)為r步截尾, 自相關系數(ACF)逐步衰減而不截尾, 則序列應該選用AR模型[15].因此,基線模型最終決定為AR模型,表達式為

圖5 波高數據自相關偏相關分析Fig.5 Auto-correlation and partial-correlation analysis of wave height data

(12)

式中:r為模型階數;aj為自回歸系數;εt為隨機擾動項.

實際預報中,往往需要提前多步進行預報從而給后續運動控制等留出充足的決策空間,AR模型無法直接用于多步后預測,需要進行迭代遞推,即使用預報得到的Xt作為已知量進一步預測Xt+1,重復該過程直至得到需要的Xt+n結果.

3.2.2LSTM神經網絡模型 神經網絡模型與傳統AR模型的區別在于可以直接建立Xt-p～Xt-1與Xt+n之間的關系,避免了使用遞推迭代造成的誤差累積.影響LSTM神經網絡的超參數眾多,使用網格法考察訓練數據量、依賴時間步、神經網絡隱層數目、隱藏狀態數和優化器參數等量對最終預報結果的影響,得到LSTM神經網絡模型參數如下:隱藏層數為4,隱藏狀態為10,迭代次數為1 200次,依賴時間步為34.優化算法使用Adam算法,其參數lr為0.001、beta_1為0.9、 beta_2為0.99、epsilon為 1×10-8.使用0～100 s上的數據作為訓練集,共 5 000 個樣本點.

改進LSTM神經網絡中LSTM模塊同上,區別在于在訓練過程中加入判別器模塊,判別器為4層的感知機模塊,其神經元數目設為[3, 32, 32, 2],神經網絡輸入參數為頻率、幅值和相位,對真實樣本的結果標記為1,來自生成器的樣本標記為0,目標函數使用交叉熵函數.

3.2.3性能評價指標 上述任務需要使用合適的度量函數對模型的結果進行評價,由于常需要對比多個不同模型之間的優劣,所以性能評價函數應具有一定普適性.常見的性能評價函數包括均方誤差(MSE)、均方根誤差(RMSE)、平均絕對誤差(MAE)等,其定義為

(13)

統一使用MSE和MAE對傳統時序分析模型、LSTM神經網絡模型和改進后的LSTM模型進行評價.使用測試集中100～200 s區間的數據,共 5 000 個樣本點.

3.3 仿真結果與分析

分別使用基線方法(AR模型)、LSTM神經網絡和改進的LSTM神經網絡提前5步(0.1 s)、10步(0.2 s)、15步(0.3 s)、20步(0.4 s)對上述波高時歷進行預報,訓練數據集使用0～100 s數據,測試數據集使用100 ～200 s數據,性能評價指標使用MSE和MAE,結果如表1所示.

表1 不同工況下預報精度對比Tab.1 Comparison of forecast accuracy under different conditions

由表1可知,在多數工況下LSTM神經網絡進行時間序列分析結果明顯優于傳統時序分析方法,在MSE指標方面,性能提升7%～15%,平均可實現11%左右的提升.改進的LSTM神經網絡較基線模型和原有LSTM神經網絡的預報精度均有所上升,4種工況下較基線模型性能平均提升16%,較原有神經網絡性能提升5%左右,充分證明了改進后神經網絡的優越性.部分情況下神經網絡預報得到的MAE略大于基線方法,這可能是由于神經網絡訓練過程中目標評價函數設置導致,屬于神經網絡中的固有問題.

為了說明3種預測模型的具體效果,隨機截取一段時間窗口進行觀察.圖6為AR模型、LSTM模型與改進LSTM模型預報結果的對比,對應工況為提前預報5步.可知,時間序列分析方法存在一定滯后性,其中AR模型滯后性最明顯,且由于誤差累積在部分時刻會出現突峰,而使用神經網絡方法無需迭代遞推,其預測總體上較穩定;神經網絡的預報過程中往往會出現偶然的波動(噪聲),改進后的LSTM相較于原始LSTM神經網絡在一定程度上抑制了噪聲分量.

圖6 3種模型極短期預報結果(提前預報5步)Fig.6 Short-term forecast results of three models (5 steps in advance)

為了對比分析總體的預測結果,在整個測試集(對應時長100 s)上使用LSTM神經網絡與改進LSTM進行預報得到頻率特性曲線,對應工況為提前預報15步,如圖7所示.

圖7 預測結果頻率特性曲線(提前預報15步)Fig.7 Frequency characteristic curve of prediction results (15 steps in advance)

以上結果表明,測試集上的頻譜特性與圖4中整體的頻譜特性較為相似,說明大量波浪統計信息對應的頻譜存在穩定性,故頻率信息可以視為先驗信息進行知識遷移用于上文所述的預報過程中.如局部放大圖所示,改進LSTM對高頻分量起到抑制作用,達到了之前所述平滑濾波效果.本文中按照原始采樣頻率50 Hz對波高時歷直接進行預報,在該采樣頻率下大量數據位于波峰和波谷之間,可能導致神經網絡對波峰和波谷的數據預報能力較差,最終出現1.6～1.8 Hz頻率區間內的頻譜特性曲線與真實值差別較大的結果,故可進一步探索LSTM和改進LSTM模型在粗粒度預報方面的應用.

4 結論

與圖像識別、目標檢測等領域不同,波浪和船舶運動對應的頻譜往往是穩定的,可以為波浪預報和運動姿態分析提供重要信息.但是頻譜信息目前較少地直接應用至現有極短期預報方法中,主要有兩方面原因:一方面,目前的神經網絡在船舶姿態時序預報領域的應用大多停留在表面,沒有與本領域的專業知識進行深度融合;另一方面,頻譜分析需要對數據整體進行傅里葉變換,這個方式與極短期預報中數據流式傳入、預報結果流式傳出的在線預報方式不符,實踐中很難將頻域信息嵌入其中.受生成式對抗思想的啟發,巧妙地將頻域信息嵌入LSTM神經網絡的訓練過程中,提出了GAN-LSTM改進模型,該模型具有以下優點:

(1) 可以充分利用已知信息,實現時頻域耦合預報.

(2) 通過學習頻域信息,抑制了原有LSTM模型高頻噪聲分量的輸出.

(3) 通過融合頻域知識,提高了訓練時的收斂速度,并一定程度上提高了神經網絡的泛化性.

數值仿真實驗表明,上述LSTM改進模型預報精度高,在海浪預測和船舶姿態預報中可以起到重要作用.