基于門控單元循環(huán)神經(jīng)網(wǎng)絡(luò)的臺風(fēng)路徑預(yù)測

徐高揚(yáng) 鄭海濤 黃國慶 吳鳳波

1(西南交通大學(xué)數(shù)學(xué)學(xué)院 四川 成都 611756)2(重慶大學(xué)土木工程學(xué)院 重慶 400044)3(西南交通大學(xué)土木工程學(xué)院 四川 成都 611756)

0 引 言

在全球氣候變化背景下,臺風(fēng)及其引發(fā)的大風(fēng)、暴雨和風(fēng)暴潮的強(qiáng)度和頻率有增大趨勢，臺風(fēng)導(dǎo)致的災(zāi)害可能更多。由于沿海地區(qū)的快速城市化和工業(yè)化，臺風(fēng)災(zāi)害對沿海地區(qū)造成的風(fēng)險(xiǎn)加大，嚴(yán)重威脅著人類社會生命和財(cái)產(chǎn)安全[1]。我國由于其獨(dú)特和復(fù)雜的地理環(huán)境，是一個(gè)自然災(zāi)害頻發(fā)的國家，特別是臺風(fēng)災(zāi)害，其發(fā)生頻次高、破壞程度大、影響范圍廣。我國東南沿海平均每年遭受10次左右的強(qiáng)臺風(fēng)，約占世界總數(shù)的1/3。強(qiáng)臺風(fēng)可在方圓數(shù)千公里范圍內(nèi)造成高層建筑圍護(hù)結(jié)構(gòu)、大量低矮建筑以及交通電力基礎(chǔ)設(shè)施等的嚴(yán)重破壞[2]。例如2004年臺風(fēng)“云娜”(Rananim)在浙江溫嶺登陸，導(dǎo)致272.2萬平方米的廠房倒塌，756.2萬平方米的廠房遭到嚴(yán)重破壞，直接經(jīng)濟(jì)損失181.28億元[3]。近年來，人們對臺風(fēng)暴雨的認(rèn)識取得了相當(dāng)?shù)倪M(jìn)展，但是在路徑預(yù)測等預(yù)報(bào)方面還存在較多困難，因此關(guān)于臺風(fēng)路徑預(yù)測的研究十分迫切。

鄒亮等[4]提出了基于GIS空間分析的臺風(fēng)路徑預(yù)測方法，其主要是基于空間關(guān)鍵點(diǎn)相似，再結(jié)合臺風(fēng)移向建立一個(gè)預(yù)測臺風(fēng)路徑趨勢的數(shù)學(xué)模型。黃小燕等[5]綜合考慮影響臺風(fēng)路徑的因子，采用主成分分析與逐步回歸計(jì)算相結(jié)合的方法預(yù)測臺風(fēng)下一時(shí)刻到達(dá)位置。在國外Kim等[6]將模糊k-means應(yīng)用到臺風(fēng)路徑預(yù)測問題中。臺風(fēng)路徑的變化受到臺風(fēng)環(huán)境場和臺風(fēng)系統(tǒng)內(nèi)部的熱力、動力等多種因素的綜合影響，是一個(gè)復(fù)雜多變的系統(tǒng)，傳統(tǒng)的數(shù)值預(yù)報(bào)方法和概率模型對臺風(fēng)路徑的預(yù)測結(jié)果不太理想。

隨著人工智能技術(shù)的發(fā)展，人工神經(jīng)網(wǎng)絡(luò)方法在很多學(xué)科領(lǐng)域取得了一些很好的研究成果。俞善賢等[7]提出了熱帶氣旋路徑的人工神經(jīng)網(wǎng)絡(luò)預(yù)報(bào)方法，通過選取合適的預(yù)報(bào)因子，利用反向傳播算法實(shí)現(xiàn)臺風(fēng)下一時(shí)刻位置預(yù)測。Kordmahalleh等[8]在全連接神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，提出了稀疏循環(huán)神經(jīng)網(wǎng)絡(luò)的臺風(fēng)路徑預(yù)測方法，利用遺傳算法篩選出最優(yōu)的循環(huán)神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，然后預(yù)測臺風(fēng)下一時(shí)刻位置。但是該模型在神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程容易出現(xiàn)梯度消失或爆炸問題。

本文利用動態(tài)規(guī)整算法[9]，在對臺風(fēng)進(jìn)行分類的基礎(chǔ)上，提出了門控單元循環(huán)神經(jīng)網(wǎng)絡(luò)預(yù)測方法。對比一般神經(jīng)網(wǎng)絡(luò)預(yù)測方法，循環(huán)神經(jīng)網(wǎng)絡(luò)考慮到了路徑信息的序列性；對比稀疏循環(huán)神經(jīng)網(wǎng)絡(luò)，分類可以使循環(huán)神經(jīng)網(wǎng)絡(luò)獲得更好的訓(xùn)練集，而且門控單元網(wǎng)絡(luò)內(nèi)部獨(dú)特結(jié)構(gòu)能夠更好地捕獲臺風(fēng)序列規(guī)律，同時(shí)避免在神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中出現(xiàn)的梯度消失或爆炸問題；網(wǎng)絡(luò)輸出層只在最后時(shí)刻有輸出，降低了模型計(jì)算量。

1 臺風(fēng)路徑預(yù)測方法

本文臺風(fēng)路徑預(yù)測方法主要包含兩個(gè)步驟：用動態(tài)規(guī)整算法計(jì)算臺風(fēng)之間的相似度，然后對臺風(fēng)數(shù)據(jù)庫中臺風(fēng)進(jìn)行分類；分別利用普通循環(huán)神經(jīng)網(wǎng)絡(luò)、長短時(shí)記憶網(wǎng)絡(luò)和門控單元網(wǎng)絡(luò)預(yù)測臺風(fēng)未來6小時(shí)路徑信息。最后比較三種模型在測試集上的預(yù)測精度和模型復(fù)雜度，得到門控單元模型最優(yōu)。

1.1 分 類

1.1.1動態(tài)時(shí)間規(guī)整

定義兩條時(shí)間序列A:a1,a2,…,ai,…an；B:b1,b2,…,bj,…,bm，長度分別為n和m。為計(jì)算這兩條時(shí)間序列的相似度，傳統(tǒng)的歐式距離不再適用，本文利用動態(tài)規(guī)整算法計(jì)算它們之間的相似度。該方法旨在通過扭曲來對齊兩個(gè)序列時(shí)間軸，直到找到兩個(gè)序列之間的最佳匹配。為了找到兩個(gè)序列之間的最佳對齊，需要找到一個(gè)通過網(wǎng)格的最佳路徑，最小化它們的累積距離[10-11]，見圖1。

圖1 序列A和序列B之間的規(guī)整路徑

為了提高搜索效率，做出以下約束：

(1) 單調(diào)性：路徑不能往回走；

(2) 連續(xù)性：路徑一次向前移動一步；

(3) 有界性：路徑從左下方開始，到右上方結(jié)束；

(4) 扭曲度：路徑不能偏離對角線太遠(yuǎn)；

(5) 斜率限制：路徑不能太陡或太平緩。

動態(tài)規(guī)整算法最初應(yīng)用在語音識別領(lǐng)域[12]，該算法主要通過損失矩陣尋找最優(yōu)路徑，最后得到兩條時(shí)間序列的規(guī)整路徑，主要包含以下步驟：

(1) 設(shè)兩條時(shí)間序列的長度分別為n和m；

(2) 網(wǎng)格的規(guī)模為n×m；

(3) 計(jì)算損失矩陣C，Cij=Ai-Bj；

(4) 計(jì)算規(guī)整矩陣D，令D(1,1)=0，

(5) 得到動態(tài)規(guī)整的規(guī)整矩陣D，則動態(tài)規(guī)整距離為D(n,m)。

1.1.2計(jì)算相似度

從臺風(fēng)數(shù)據(jù)庫中隨機(jī)選擇一條臺風(fēng)計(jì)算它與剩余臺風(fēng)中第i條臺風(fēng)的動態(tài)規(guī)整距離為Di，為方便設(shè)置閾值，將相似度壓縮到0-1之間，定義相似度如下：

Si=e-Di

(1)

計(jì)算相似度并對相似度降序排列，設(shè)置閾值，大于該閾值的臺風(fēng)歸為第一類；在小于該閾值的臺風(fēng)中再隨機(jī)選擇一條臺風(fēng)再次計(jì)算它與剩余臺風(fēng)的相似度，再次對相似度降序排列并設(shè)置閾值，大于該閾值的臺風(fēng)歸為第二類；同理可以將臺風(fēng)數(shù)據(jù)庫中臺風(fēng)分為若干類。

1.2 循環(huán)神經(jīng)網(wǎng)絡(luò)

1.2.1普通循環(huán)神經(jīng)網(wǎng)絡(luò)

在傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)模型中，輸入層到隱藏層再到輸出層，層與層之間是全連接的，但每層之間的節(jié)點(diǎn)是無連接的，因此這種普通的神經(jīng)網(wǎng)絡(luò)對于很多序列問題無能為力。例如，要預(yù)測句子的下一個(gè)單詞是什么，需要用到前面單詞的信息，因?yàn)橐粋€(gè)句子中前后單詞并不是獨(dú)立的。在序列問題中，循環(huán)神經(jīng)網(wǎng)絡(luò)RNN(Recurrent Neural Networks)能夠?qū)η懊娴男畔⑦M(jìn)行記憶并應(yīng)用于當(dāng)前輸出的計(jì)算中，即隱藏層之間的節(jié)點(diǎn)不再是無連接而是有連接的，并且每一時(shí)刻隱藏層的輸入不僅包括輸入層當(dāng)前輸入還包括上一時(shí)刻隱藏層的輸出[13-14]。

圖2是一個(gè)簡單的三層循環(huán)神經(jīng)網(wǎng)絡(luò)，它由一個(gè)輸入層、一個(gè)隱藏層和一個(gè)輸出層組成，設(shè)置該網(wǎng)絡(luò)只在最后時(shí)刻有輸出。

圖2 循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

在該網(wǎng)絡(luò)中將信息沿時(shí)間向前傳播：

Ot+1=V·St+1

(2)

St+1=f(U·xt+1+W·St)

(3)

如果反復(fù)把式(3)帶入式(2)，我們將得到：

Ot+1=V·f(U·xt+1+W·f(U·xt+…))

(4)

式中：Ot+1表示該網(wǎng)絡(luò)輸出層在t+1時(shí)刻輸出；St+1表示該網(wǎng)絡(luò)隱藏層在t+1時(shí)刻激活值；Xt+1表示該網(wǎng)絡(luò)輸入層在t+1時(shí)刻輸入；V表示網(wǎng)絡(luò)隱藏層到輸出層的權(quán)重矩陣；W表示網(wǎng)絡(luò)隱藏層之間的權(quán)重矩陣；U表示網(wǎng)絡(luò)輸入層到隱藏層的權(quán)重矩陣。

可以看出，循環(huán)神經(jīng)網(wǎng)絡(luò)的輸出值是受前面歷次輸入值影響的，這就是為什么循環(huán)神經(jīng)網(wǎng)絡(luò)可以保存歷史信息的原因[15]。

1.2.2長短時(shí)記憶網(wǎng)絡(luò)

普通循環(huán)神經(jīng)網(wǎng)絡(luò)很難處理序列長時(shí)間的依賴問題，而且當(dāng)序列長度超過一定閾值時(shí)，普通循環(huán)神經(jīng)網(wǎng)絡(luò)模型變得不穩(wěn)健，在訓(xùn)練神經(jīng)網(wǎng)絡(luò)時(shí)還會出現(xiàn)梯度消失或梯度爆炸[15]。長短時(shí)記憶網(wǎng)絡(luò)[16]LSTM(Long Short-Term Memory Network)成功地解決了普通循環(huán)神經(jīng)網(wǎng)絡(luò)的缺陷，成為當(dāng)前比較流行的循環(huán)神經(jīng)網(wǎng)絡(luò)并在語音識別、圖片描述、自然語言處理等許多領(lǐng)域中成功應(yīng)用。

LSTM的關(guān)鍵就是怎樣控制長期單元c，在這里L(fēng)STM的思路是使用三個(gè)“門”，分別是“輸入門”、“遺忘門”和“輸出門”，通過門的開關(guān)控制信息的傳遞[16-17]，如圖3所示。

圖3 LSTM網(wǎng)絡(luò)結(jié)構(gòu)

前向傳播公式如下：

ft=σ(Wf·[ht-1,xt]+bf)

(5)

it=σ(Wi·[ht-1,xt]+bi)

(6)

(7)

(8)

ot=σ(Wo·[ht-1,xt]+bo)

(9)

ht=Ot° tanh(ct)

(10)

式中：f、i、o、c、h分別表示遺忘門、輸入門、輸出門、單元狀態(tài)、單元輸出；W表示權(quán)重矩陣，b表示偏置項(xiàng)；σ表示sigmoid激活函數(shù)，tanh表示雙曲正切激活函數(shù)；° 表示哈達(dá)馬乘積。

1.2.3門控單元網(wǎng)絡(luò)

門控單元網(wǎng)絡(luò)GRU[18](Gated Recurrent Unit)對長短時(shí)記憶網(wǎng)絡(luò)做了兩個(gè)大改動，如圖4所示。

(1) 將輸入門、遺忘門、輸出門變?yōu)閮蓚€(gè)門：更新門zt和重置門rt。

(2) 將單元狀態(tài)與輸出合并為一個(gè)單元h。

圖4 GRU網(wǎng)絡(luò)結(jié)構(gòu)

GRU網(wǎng)絡(luò)結(jié)構(gòu)保持了LSTM的優(yōu)良性能，同時(shí)簡化了LSTM的網(wǎng)絡(luò)結(jié)構(gòu)，極大地減少了參數(shù)個(gè)數(shù)，前向傳播公式如下：

zt=σ(Wz·[ht-1,xt])

(11)

rt=σ(Wr·[ht-1,xt])

(12)

ht=tanh(W·[rt·ht-1,xt])

(13)

h=(1-zt)°ht-1+zt°ht

(14)

1.3 循環(huán)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練

沿時(shí)間反向傳播算法BPTT[19-20](Back-propagation through time)是針對循環(huán)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練算法，它的基本原理和全連接神經(jīng)網(wǎng)絡(luò)反向傳播算法是相似的，步驟如下：

(1) 前向計(jì)算每個(gè)神經(jīng)元的輸出值；

(2) 反向計(jì)算每個(gè)神經(jīng)元的誤差項(xiàng)值，它是誤差函數(shù)對每個(gè)神經(jīng)元的偏導(dǎo)數(shù)；

(3) 計(jì)算每個(gè)權(quán)重的梯度；

(4) 最后再用隨機(jī)梯度下降算法更新權(quán)重。

2 案例分析

臺風(fēng)路徑預(yù)測流程圖如圖5所示。

圖5 臺風(fēng)路徑預(yù)測流程圖

2.1 路徑數(shù)據(jù)

本文數(shù)據(jù)來自中國臺風(fēng)網(wǎng)“CMA-STI 熱帶氣旋最佳路徑數(shù)據(jù)集”，選自1949年-2016年西北太平洋(含南海，赤道以北，東經(jīng)180°以西)海域，數(shù)據(jù)內(nèi)容包括熱帶氣旋每 6 小時(shí)的位置、強(qiáng)度等信息。

從臺風(fēng)數(shù)據(jù)庫中選取2006年-2015年10年的觀測數(shù)據(jù)作為本文臺風(fēng)分類數(shù)據(jù)庫，共計(jì)267條臺風(fēng)。根據(jù)上文的分類方法，閾值分別設(shè)置為0.75、0.70和0.65，將臺風(fēng)數(shù)據(jù)庫中臺風(fēng)分為4類，每類臺風(fēng)數(shù)目分別為57條、76條、62條和72條。預(yù)測臺風(fēng)為在2016年發(fā)生的多條臺風(fēng)，本文展示有代表性4條臺風(fēng)，分別是NEPARTAK、CHANTHU、OMAIS 和CONSON。為了提高模型預(yù)測準(zhǔn)確率，方便神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，在實(shí)驗(yàn)前先對數(shù)據(jù)進(jìn)行預(yù)處理，主要步驟包括刪除觀測點(diǎn)少于5個(gè)的臺風(fēng)，對臺風(fēng)數(shù)據(jù)統(tǒng)一進(jìn)行z-score標(biāo)準(zhǔn)化處理，即原始數(shù)據(jù)減去均值再除以標(biāo)準(zhǔn)差。

2.2 分析過程

考慮到臺風(fēng)路徑預(yù)測的實(shí)效性，本文主要對臺風(fēng)路徑進(jìn)行一步快速預(yù)測，即預(yù)測臺風(fēng)6小時(shí)后位置信息。設(shè)定不同的滑動窗寬，即用不同長度的歷史數(shù)據(jù)預(yù)測下一時(shí)刻臺風(fēng)信息。為了避免過擬合，同時(shí)很好地調(diào)節(jié)網(wǎng)絡(luò)超參數(shù)，訓(xùn)練集中的10%作為驗(yàn)證集。設(shè)置訓(xùn)練輪數(shù)為50，正則項(xiàng)系數(shù)設(shè)置為0.2，學(xué)習(xí)率為0.01，選擇均方誤差函數(shù)作為損失函數(shù)，最終選擇在驗(yàn)證集上損失函數(shù)最小的模型作為最后測試模型。網(wǎng)絡(luò)輸入數(shù)據(jù)為二維數(shù)據(jù)經(jīng)、緯度，輸出維度同樣為二維數(shù)據(jù)，隱藏層到輸出層只在最后時(shí)刻有連接。循環(huán)神經(jīng)網(wǎng)絡(luò)具有靈活的網(wǎng)絡(luò)結(jié)構(gòu)，理論上可以設(shè)置任意層數(shù)的網(wǎng)絡(luò)，且每層也可以設(shè)置任意的節(jié)點(diǎn)數(shù)。本文綜合考慮模型的復(fù)雜性與預(yù)測效果，選擇三層神經(jīng)網(wǎng)絡(luò)，以窗寬為2，隱藏層神經(jīng)元個(gè)數(shù)為2為例建立循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，如圖6所示。

圖6 循環(huán)神經(jīng)網(wǎng)絡(luò)模型

為使網(wǎng)絡(luò)有更好的記憶能力同時(shí)提高模型穩(wěn)定性，嘗試循環(huán)神經(jīng)網(wǎng)絡(luò)的變體長短時(shí)記憶網(wǎng)絡(luò)以及長短時(shí)記憶網(wǎng)絡(luò)的變體門控單元模型、窗寬選擇和隱層節(jié)點(diǎn)數(shù)不變，以均方誤差函數(shù)作為損失函數(shù)，比較三種不同網(wǎng)絡(luò)結(jié)構(gòu)在參數(shù)相同的情況下的預(yù)測精度和模型復(fù)雜度，如表1所示。

表1 模型比較

2.3 結(jié)果討論

由實(shí)驗(yàn)結(jié)果表1可知，對比分析三種模型，在參數(shù)設(shè)置相同的情況下，Simple RNN模型最為簡單，擁有最少的參數(shù)；LSTM模型最為復(fù)雜；GRU模型在保持LSTM的優(yōu)良特性的同時(shí)簡化了模型結(jié)構(gòu)，降低了模型的復(fù)雜度。三種模型在窗寬設(shè)置為3時(shí)模型的預(yù)測效果要比窗寬設(shè)置為2時(shí)整體效果要好。

為了展示循環(huán)神經(jīng)網(wǎng)絡(luò)模型對不同臺風(fēng)路徑的預(yù)測效果，我們對預(yù)測的4條臺風(fēng)采用相同的參數(shù)，窗寬設(shè)置為3，對比不同臺風(fēng)的預(yù)測效果。首先我們利用Simple RNN分別預(yù)測2016年的四條臺風(fēng)，由圖7可以看出該模型對于路徑波動較小的臺風(fēng)有很好的預(yù)測效果，如臺風(fēng)NEPARTAK，對于路徑波動很大的臺風(fēng)效果就不太理想，如臺風(fēng)CONSON。其次我們用LSTM模型及其變體GRU模型分別預(yù)測四條臺風(fēng)，它們預(yù)測效果相差無幾，由于LSTM模型內(nèi)部有更多控制信息傳遞的函數(shù)，模型復(fù)雜度更高，故GRU模型被采用。GRU模型預(yù)測結(jié)果如圖8，由對比分析可知GRU模型對臺風(fēng)路徑的預(yù)測效果普遍上要優(yōu)于Simple RNN模型，特別是在臺風(fēng)路徑波動較大位置。通過表2和表3，對比同一條臺風(fēng)預(yù)測的平均絕對誤差，GRU模型的平均絕對誤差普遍小于Simple RNN模型，也可以得到GRU模型預(yù)測結(jié)果優(yōu)于Simple RNN模型。如果臺風(fēng)移動路徑波動較小近似直線型，Simple RNN模型和GRU模型預(yù)測效果相差不大，GRU模型的平均絕對誤差略小于Simple RNN；如果臺風(fēng)運(yùn)動軌跡多變，如臺風(fēng)OMAIS，那么GRU模型很明顯優(yōu)于Simple RNN。這說明GRU模型內(nèi)部結(jié)構(gòu)能夠有效利用歷史臺風(fēng)信息，從而修正下一時(shí)刻臺風(fēng)位置信息。最后我們用訓(xùn)練好的GRU模型去預(yù)測美國臺風(fēng)數(shù)據(jù)集中的臺風(fēng)SANDY和ISAAC，以平均絕對誤差函數(shù)作為指標(biāo)，由表4對比可知門控單元模型優(yōu)于稀疏循環(huán)神經(jīng)網(wǎng)絡(luò)模型，但是本文模型復(fù)雜度更高。

圖7 普通循環(huán)神經(jīng)網(wǎng)絡(luò)對測試集四條臺風(fēng)預(yù)測效果圖

圖8 門控單元模型對測試集四條臺風(fēng)預(yù)測效果圖

NameMAE(latitude°)MAE(longitude°)ComplexityNEPARTAK0.3250.70668CHANTHU1.1020.41768OMAIS0.4760.32868CONSON0.4310.81568

表3 GRU模型路徑預(yù)測誤差比較

表4 Sparse-RNN和GRU模型對臺風(fēng)預(yù)測結(jié)果比較

3 結(jié) 語

本文提出了一種基于門控單元循環(huán)神經(jīng)網(wǎng)絡(luò)的臺風(fēng)路徑預(yù)測模型。該方法綜合考慮臺風(fēng)路徑之間的相似性和路徑信息的序列性，利用三種循環(huán)神經(jīng)網(wǎng)絡(luò)預(yù)測臺風(fēng)未來6小時(shí)路徑信息，以平均絕對誤差為指標(biāo)，最后得到GRU型循環(huán)神經(jīng)網(wǎng)絡(luò)最優(yōu)。

同時(shí)還對比了GRU型循環(huán)神經(jīng)網(wǎng)絡(luò)與稀疏循環(huán)神經(jīng)網(wǎng)絡(luò)模型對臺風(fēng)路徑預(yù)測效果，前者具有更小的平均絕對誤差。

在分類過程中將歷史臺風(fēng)數(shù)據(jù)庫中臺風(fēng)分為多少類比較合理還需要深入研究，分類過多或過少顯然都會影響到預(yù)測效果。考慮到預(yù)測的時(shí)效性與精確性，本文統(tǒng)一對目標(biāo)臺風(fēng)進(jìn)行一步預(yù)測，即預(yù)測臺風(fēng)未來6小時(shí)位置信息，在將來工作中將對多步預(yù)測進(jìn)行深入研究。