基于遞歸神經網絡的風暴潮增水預測

雷森，史振威，石天陽，高松，李亞茹，鐘山

(1.北京航空航天大學 宇航學院圖像處理中心，北京 100191； 2. 國家海洋局 北海預報中心，山東 青島 266000)

基于遞歸神經網絡的風暴潮增水預測

雷森1，史振威1，石天陽1，高松2，李亞茹2，鐘山2

(1.北京航空航天大學 宇航學院圖像處理中心，北京 100191； 2. 國家海洋局 北海預報中心，山東 青島 266000)

風暴潮增水的準確預測能極大地減少人員傷害和經濟損失，具有重要的實用價值。傳統的風暴潮預報方法主要包括經驗和數值預報，很難建立起相對準確的模型。現有的基于機器學習風暴潮預報方法大都只提取出靜態數據間的關系，并沒有充分挖掘出風暴潮數據背后的時序關聯特性。文中提出了一種基于遞歸神經網絡的風暴潮增水預測方法。本文對風暴潮時序數據進行特定的處理, 并設計合適結構的遞歸神經網絡，從而完成時序數據的預測。相較于傳統的BP神經網絡，遞歸神經網絡能更好地應對時序數據的預測問題。將該方法用于濰坊水站的增水預測中，結果表明，相對于BP神經網絡，遞歸神經網絡能得到更好的預測結果，誤差更小。

風暴潮增水；預測；數值預報；機器學習；靜態數據；時序特性；BP神經網絡；遞歸神經網絡

風暴潮(storm surge)是一種由于強烈大氣擾動，如熱帶氣旋(臺風、颶風)、溫帶氣旋等，引起的海面異常升高現象。它具有數小時至數天的周期，通常疊加在正常潮位之上，而風浪、涌浪(具有數秒的周期)則疊加在風暴潮和正常潮位之上。它們的結合所引起的沿岸海水暴漲常常釀成巨大潮災[1]。風暴潮災害的及時預報能極大地減少其對沿海地區帶來的人員傷害和經濟損失，具有很強的實用價值。

傳統的風暴潮預報方法主要分為兩大類：經驗預報方法和數值預報方法。經驗預報方法通常是指預報員的主觀經驗和經驗統計預報方法，而數值預報方法主要包括諾模圖方法和數值預報方法[2]。曾德美[3]研究了青島港的風暴潮概況，提出了青島港極值增減水的經驗公式。謝亞力和黃世昌[4]將風暴潮經驗預報與動力線性模型相結合，建立了經驗預報方程，并在錢塘江風暴潮預報中取得了不錯的效果。高清清等[2]通過研究位于長江入海口的南通單站歷史水文氣象資料，分析該站的風暴增水特征，提出了針對該站臺風風暴潮經驗預報公式。

從20世紀80年代以來，基于數值模擬方法的風暴潮預報技術取得了較大的發展和進步。朱建榮和朱首賢[5]將原正交的ECOM模式改進為非正交曲線坐標系下模式，以更好地擬合河岸線的形狀，應用于長江河口、杭州灣及鄰近海區，取得了不錯的效果。黃世昌等[6]基于河口海岸水動力二維數值模型，建立起了風暴潮與天文潮相互耦合的數值模式，可用于浙江沿海增水預測。王培濤等[7]提出了一種基于高級環流模型(ADCIRC)適合臺灣海峽及福建沿海區域的精細化臺風風暴潮數值預報模式。

然而，基于經驗和數值的傳統風暴潮預報通常需要研究員對風暴潮的動力學規律具有非常深入的研究，操作復雜難懂，并且很難建立起相對準確的模型。后來，隨著計算機技術的發展和大數據時代的到來，許多學者將基于海量數據的機器學習方法用于風暴潮預報中。T. L. Lee[8]將風速、風向、壓強等要素作為輸入訓練前饋神經網絡(feedforward neural network, FNN)，用來進行風暴潮的預測。S. Rajasekaran等[9]則使用支持向量回歸(support vector regression, SVR)來對風暴潮進行預報。

現存的基于機器學習的風暴潮預測方法雖不需要引入風暴潮動力學先驗，直接通過數據本身進行預測，但大都只提取出風暴潮數據間的靜態關系，并沒有充分挖掘其背后的時序關聯特性。遞歸神經網絡[10-12](recurrent neural network, RNN)中隱藏層神經元間相互連接構成有向圖，網絡狀態隨時間變化，耦合了時間參數，非常適合分析具有時序特征的數據。受此啟發，本文基于遞歸神經網絡來進行風暴潮增水預測。風暴潮是隨時間變化發展的，得到的風暴潮數據明顯具有時序特性。相比于傳統的機器學習方法，遞歸神經網絡更加適用于風暴潮預報問題。本文采用遞歸神經網絡進行風暴潮增水過程預測，并在真實數據上進行了實驗驗證。

1 原理說明

1.1 前饋神經網絡

人工神經網絡(artificial neural network, ANN)是一種常用的進行預報的方法。它是一種應用類似于大腦神經連接的結構進行信號處理的數學模型，廣泛應用于語音識別、自然語言處理、圖像處理等領域[13-15]。目前，在大數據分析中主要采用前饋神經網絡來提取靜態數據之間的關系。

前饋神經網絡[16]是一種具有前向結構的人工神經網絡，一般是多層結構，包含輸入層、隱含層以及輸出層，隱含層可以有多層。每一層神經元的輸入是上一層的輸出，并通過全連接將其輸出傳遞給下一層，且整個網絡中沒有反饋。每一個神經元可以是多輸入的，但是只有一個輸出。多層前饋神經網絡是感知器的推廣，只要有一層包含足夠多神經元的隱含層就能夠以任意精度逼近任意復雜度的連續函數[17]。以3層前饋神經網絡為例，結構如圖1所示。

圖1中，Lin表示輸入層，x=[x1x2x3]T是多層感知器輸入；Lhidden表示隱含層，包含4個神經元，表示為h=[h1h2h3h4]T；Lout是輸出層，輸出維數為3(y=[y1y2y3]T)。前向傳播是指數據從輸入到輸出這個傳播過程，可以用式(1)表示：

式中：W1∈3×4表示輸入層和隱含層之間的連接權重，b1∈4×1為隱含層的偏置，W2∈4×3表示隱含層和輸出層之間的連接權重，b2∈3×1為輸出層的偏置。對于激活函數，通常采用雙曲正切函數、logistic函數或sigmoid函數，來使網絡獲得逼近非線性函數的能力。對于多層前饋神經網絡的訓練，通常采用著名的誤差反向傳播(back propagation, BP)算法[18]，因此也常將多層前饋神經網絡直接稱為BP網絡。

雖然多層前饋神經網絡能夠一定程度上解決非線性問題，但其仍然屬于靜態網絡，網絡當前時刻的輸出與上一時刻的輸入無關，因此對于具有時序特征的數據無能為力。為了解決輸入之間前后關聯的問題，多層前饋神經網絡的隱含層不僅需要接收當前的輸入，也要接收上一時刻的輸出，由此產生了遞歸神經網絡。

1.2 遞歸神經網絡

為了克服前饋神經網絡無法處理序列數據的問題，遞歸神經網絡將隱含層之間的節點相互連接，使得隱含層的輸入不僅僅是當前時刻輸入層的輸出還包括了上一時刻隱含層的輸出。通過這種方式，遞歸神經網絡可以將當前時刻以前的信息記憶在網絡之中[19]。如圖2所示，遞歸神經網絡與前饋神經網絡的結構大致相同，不同之處在于隱含層之間的連接關系，即增加了隱含層間的權重Wh。

圖2 遞歸神經網絡Fig.2 Recurrent neural networks

若Lhidden隱含層包含m個神經元，則Wh為m×m維的權重矩陣。遞歸神經網絡的傳播過程可以用式(2)表示：

式中：W1表示輸入層和隱含層之間的連接權重；W2表示隱含層和輸出層之間的連接權重；b1和b2分別表示隱含層和輸出層的偏置；xt、ht和yt分別表示第t時刻網絡的輸入、隱含層輸出和網絡的輸出；ht-1表示第t-1時刻隱含層的輸出。激活函數一般是雙曲正切函數或者Relu函數。

此外，遞歸神經網絡還可以展開成相對應的多層前饋神經網絡，從而可以使用BPTT(back-propagation through time)算法[20]進行訓練，展開過程如圖3所示。

圖3 遞歸神經網絡展開過程Fig.3 The unfolding of recurrent neural networks

若訓練樣本中包含T個時刻的數據，則遞歸神經網絡將展開成一個包含T個隱含層的前饋神經網絡。理論上來說，遞歸神經網絡可以處理任意長度的序列數據，但是當處理無限長的序列數據時，展開的多層前饋神經網絡也是無限層的。因此，在實際應用中通常只假設當前狀態與之前有限個狀態相關，以降低復雜度。與傳統的前饋神經網絡不同的是，展開的遞歸神經網絡有如下特點。

1)每個隱含層的輸入都由兩部分組成，即對應時刻輸入層的輸出和上一時刻隱含層的輸出。而傳統前饋神經網絡的輸入只能是上一層(隱含層或輸入層)的輸出。

2)如圖3所示，展開的遞歸神經網絡相同位置的參數W1、b1、W2、b2、Wh是共享的，而傳統前饋神經網絡則是非共享的，這也大大地降低了網絡所要學習的參數。

3)對于遞歸神經網絡，每一個時刻都會給出一個輸出，但是并不是必要的，只有t時刻的輸出yt才是模型的預測結果，其余的輸出結果都保存在了隱含層中。

1.3 遞歸神經網絡用于風暴潮增水預測

風暴潮增水數據是一維的時間序列，基于遞歸神經網絡進行預報的具體做法如下。

假設樣本數據為d={d1,d2,…,dT}，利用前k個數據作為特征預測下一個數據，則可以組成訓練樣本X和標簽y：

X={x1,x2,…,xT-k}=

{{d1,d2,…,dk},{d2,d3,…,dk+1},…,{dT-k,dT-k+1,…,dT-1}}

y={y1,y2,…,yT-k}={dk+1,dk+2,…,dT}

{xT-k-l+1,xT-k-l+2,…,xT-k}}

{yT-k-l+1,yT-k-l+2,…,yT-k}}

2 實驗結果

本文的實驗數據集是濰坊水站從2008～2014年記錄的風暴潮增水過程數據。每個增水過程共歷時3天，每隔1 h記錄1個水位數據，總計72個數據。圖4展示了2008年里的2個增水過程。

(a)過程1

(b)過程2圖4 風暴潮增水過程Fig.4 The process of storm surge

使用遞歸神經網絡進行預測時，時間延遲選3，即輸入層的神經單元數目為3，隱含層的神經單元數目為15。訓練時，為了避免因為數據的數量級差別而造成遞歸神經網絡預測誤差較大，首先對輸入數據進行歸一化處理，將它們歸一化到區間[0,1]之中，采用的歸一化公式如下：

本文選取了2008～2013年記錄到的31個增水過程當作訓練數據，訓練得到遞歸神經網絡的參數，并將2014年記錄的5個增水過程當作測試數據，對3 h后的水位進行預測。如圖5所示，實線表示真實的觀測值，虛線表示用訓練好的遞歸神經網絡預測出的結果。為了便于分析實驗結果，將測試數據中的5個增水過程串聯在一起進行顯示。為了更好地驗證遞歸神經網絡對風暴潮增水預測的效果，圖6展示了使用BP神經網絡進行預測的結果。BP神經網絡采用與遞歸神經網絡一樣的結構，也是3個輸入層單元，15個隱含層單元。

從圖5和圖6可以看出，相比于BP神經網絡，遞歸神經網絡的3 h預測結果更加接近真實的觀測值。對于增水過程中的峰值預報，遞歸神經網絡的預測結果較BP神經網絡偏離得更小。整體而言，BP神經網絡的預測結果波動很大，而遞歸神經網絡的預測結果則相對平滑。

圖5 遞歸神經網絡3 h預測結果Fig.5 The prediction of recurrent neural network for 3 hour later

圖6 BP神經網絡3 h預測結果 Fig.6 The prediction of back propagation network (multilayer perceptron) for 3 hour later

本文采用平均絕對誤差(mean absolute error, MAE)來定量地評價預測誤差，如下式所示：

從表1中可以看出，隨著預測時間的延長，遞歸神經網絡和BP神經網絡的預測誤差是逐漸升高的。但不管預測時間是多少，遞歸神經網絡的預測精度都優于BP神經網絡的預測精度。從中可以看出，相當于BP神經網絡，遞歸神經網絡更加適合于對風暴潮增水進行預測。

表12014年增水過程預測的平均絕對誤差

Table1Themeanabsoluteerrorofthepredictionofstormsurgein2014

預測時間/h123456遞歸神經網絡/cm4．7110．015．721．026．030．3BP神經網絡/cm6．3315．125．234．040．544．5

3 結束語

本文采用遞歸神經網絡對風暴潮增水進行預測。傳統的BP神經網絡只能用來提取靜態數據之間的關系，而由于增添了反饋連接，遞歸神經網絡就更加適合用于時序數據的處理。本文在真實的數據集上進行了驗證，結果表明，相對于BP神經網絡，遞歸神經網絡能更好地對風暴潮增水進行預測，誤差精度更低。

在實驗中發現，隨著預測時間的增加，遞歸神經網絡預測誤差會逐步加大，并且預測結果與真實測量值的相位差會越來越大。如何采取有效的措施對這一現象進行緩解，是作者下一步需要研究的工作。

[1]王喜年. 風暴潮預報知識講座[J]. 海洋預報, 2001, 18(1): 73-78.

[2]高清清,曹兵,高鑫鑫,等. 南通沿海臺風風暴潮分析及其經驗預報初探[J]. 海洋預報, 2014, 31(1): 29-35.

GAO Qingqing, CAO Bing, GAO Xinxin, et al. Analysis of the typhoon storm surge in the Nantong coastal zone and the forecasting formulas[J]. Marine forecasts, 2014, 31(1): 29-35.

[3]曾德美. 青島港風暴潮經驗統計預報[J]. 海洋預報, 1992, 9(3): 66-73.

ZENG Demei. A statistical forecasting of storm surge in qingdao harbor[J]. Marine forecasts, 1992, 9(3): 66-73.[4]謝亞力, 黃世昌. 錢塘江河口風暴潮經驗預報[J]. 海洋預報, 2006, 23(1): 54-58.

XIE Yali, HUANG Shichang. Effects on watercourse and hydrological factor in downstrean nanxi river due to water diversion[J]. Marine forecasts, 2006, 23(1): 54-58.

[5]朱建榮, 朱首賢. ECOM模式的改進及在長江河口、杭州灣及鄰近海區的應用[J]. 海洋與湖沼, 2003, 34(4): 364-373.

ZHU Jianrong, ZHU Shouxian. Improvement of the ECOM with application to the changjiang river estuary, Hangzhou bay and adjacent waters[J]. Oceanologia Et limnologia sinica, 2003, 34(4): 364-373.

[6]黃世昌, 李玉成, 趙鑫, 等. 浙江沿海超強臺風作用下風暴潮增水數值分析[J]. 海洋工程，2008, 26(3): 58-64.

HUANG Shichang, LI Yucheng, ZHAO Xin, et al. Numerical analysis of storm surge due to a super typhoon in coastal region of Zhejiang province[J]. The ocean engineering, 2008, 26(3): 58-64.

[7]王培濤,于福江,劉秋興,等. 福建沿海精細化臺風風暴潮集合數值預報技術研究及應用[J]. 海洋預報，2010, 27(5): 7-15.

[8]LEE T L. Neural network prediction of a storm surge[J]. Ocean engineering, 2006, 33(3): 483-494.

[9]RAJASEKARAN S, GAYATHRI S, LEE T L, et al. Support vector regression methodology for storm surge predictions[J]. Ocean engineering, 2008, 35(16): 1578-1587.

[10]WILLIAMS R J, ZIPSER D. A learning algorithm for continually running fully recurrent neural networks[J]. Neural computation, 1989, 1(2): 270-280.

[11]ELMAN J L. Finding structure in time[J]. Cognitive science, 1990, 14(2):179-211.

[12]BOTVINICK M M, PLAUT D C. Short-term memory for serial order: a recurrent neural network model[J]. Psychological review, 2006, 113(2): 201-233.

[13]SAINATH T N, KINGSBURY B, SAON G, et al. Deep convolutional neural networks for large-scale speech tasks[J]. Neural networks, 2015, 64: 39-48.

[14]SARIKAYA R, HINTON G E, DEORAS A, et al. Application of deep belief networks for natural language understanding[J]. IEEE transactions on audio, speech, and language processing, 2014, 22(4): 778-784.

[15]KRIZHEVSKY A, SUTSKEVER I, HINTON G E, et al. ImageNet classification with deep convolutional neural networks[C]//International Conference on Neural Information Processing Systems. Nevada, America, 2012: 1097-1105.

[16]SVOZIL D, KVASNICKA V, POSPICHAL J, et al. Introduction to multi-layer feed-forward neural networks[J]. Chemometrics and intelligent laboratory systems, 1997, 39(1): 43-62.

[17]HORNIK K, STINCHCOMBE M B, WHITE H, et al. Multilayer feedforward networks are universal approximators[J]. Neural networks, 1989, 2(5): 359-366.

[18]RUMELHART D E, HINTON G E, WILLIAMS R J, et al. Learning representations by back-propagating errors[J]. Nature, 1988, 323(6088): 533-536.

[19]KOSMATOPOULOS E B, POLYCARPOU M M, CHRISTODOULOU M A, et al. High-order neural network structures for identification of dynamical systems[J]. IEEE transactions on neural networks, 1995, 6(2): 422-431.

[20]WERBOS P J. Backpropagation through time: what it does and how to do it[J]. Proceedings of the IEEE, 1990, 78(10): 1550-1560.

雷森，男，1992年生，博士研究生，主要研究方向為圖像處理、機器學習、遙感影像質量提升。

史振威，男，1977年生，教授，博士生導師，博士，主要研究方向為圖像處理、模式識別、機器學習、遙感影像處理。發表SCI國際期刊檢索論文70余篇。

石天陽，男，1994年生，碩士研究生，主要研究方向為機器學習和人工智能。

Predictionofstormsurgebasedonrecurrentneuralnetwork

LEI Sen1, SHI Zhenwei1, SHI Tianyang1, GAO Song2, LI Yaru2, ZHONG Shan2

(1. Image Processing Center, School of Astronautics, Beihang University, Beijing 100191, China; 2. Beihai Forecast Center of State Oceanic Administration, Qingdao 266000, China)

Accurately forecasting storm surges can greatly reduce personnel injuries and economic losses, and so has great practical value. Traditional methods for predicting storm surge mainly involve experience and numerical forecasting, which makes it very hard to establish accurate models. Most of today’s storm surge forecast methods based on machine learning only extract the relationships among static data and fail to identify the relevant time series properties of these data. In this paper, we propose a storm surge forecast method based on the recurrent neural network. The storm surge data is rearranged with particular treatments, and an appropriate recurrent neural network is designed to perform the prediction of the time series. Compared with traditional BP neural networks, the recurrent neural network can better forecast time series data. In this study, we used a recurrent neural network to predict surges at the Weifang gauge station. The results show that the recurrent neural network produces a better prediction with a smaller error than the BP neural network.

storm surge; prediction; numerical forecast; machine learning; static data; temporal properties; BP neural networks; recurrent neural network

10.11992/tis.201706015

http://kns.cnki.net/kcms/detail/23.1538.TP.20170831.1058.010.html

TP751

A

1673-4785(2017)05-0640-05

中文引用格式：雷森，史振威，石天陽，等.基于遞歸神經網絡的風暴潮增水預測J.智能系統學報， 2017, 12(5): 640-644.

英文引用格式：LEISen,SHIZhenwei,SHITianyang，etal.PredictionofstormsurgebasedonrecurrentneuralnetworkJ.CAAItransactionsonintelligentsystems, 2017, 12(5): 640-644.

2017-06-07. < class="emphasis_bold">網絡出版日期

日期：2017-08-31.

國家自然科學基金項目(61671037).

史振威.E-mail:shizhenwei@buaa.edu.cn.