多特征嵌入的Seq2Seq風速預測模型

杜寶祥，李永利，馬志強,3，王洪彬，張 立

(1.內蒙古工業大學 數據科學與應用學院，內蒙古 呼和浩特 010080；2.內蒙古自治區氣象局 內蒙古自治區氣象信息中心，內蒙古 呼和浩特 010051；3.內蒙古工業大學 內蒙古自治區 基于大數據的軟件服務工程技術研究中心，內蒙古 呼和浩特 010080)

0 引 言

風速是氣象預報的一項重要屬性，在氣象預報中通常以風力等級的形式表示。風速預測是風速預報的一種重要補充手段，指對未來一段時間內風速值的預測，根據時間間隔的長短可劃分為短期預測(未來數分鐘)、中期預測(未來數小時)和長期預測(未來數天以上)。由于風速的不可調節和控制，容易對人類的生活和生產造成不利影響，甚至產生災難性后果，若能夠較為準確地預測未來一段時間的風速變化情況，將為人類社會贏得寶貴的時間，使得人們能夠提前做好防范措施，降低風速變化帶來的負面影響。然而風速的變化會受到氣壓、溫度、濕度、緯度、海拔和地形等諸多因素的影響[1]，導致風速很不穩定，且會不間斷地、隨機性地發生變化，給風速預測帶來很大困難，且現有的基于機器學習的方法很少將除風速以外的因素結合進來，缺乏對更多特征變化規律的分析建模研究。本文以內蒙古地區某站點的氣象觀測數據為基礎，對未來數小時內不同時刻的風速進行預測，屬于中期預測。針對風速形成因素復雜的特點，本文提出了風速多特征嵌入編碼方法及基于序列到序列(sequence to sequence，Seq2Seq)的風速預測模型，不僅對風速的時間序列進行分析建模，還結合大量風速影響因素的多特征數據進行風速多特征嵌入編碼，進而學習風速的多特征與變化規律，提高風速預測模型的預測效果。

1 相關理論

1.1 風速預測

目前，風速預測研究主要以風電場的短期風速預測為主，對于氣象領域的中長期風速預測研究較少。文獻[1-3]基于長短期記憶網絡(long short-term memory，LSTM)分別開展了風電場短期和鐵路附近超短期風速預測研究，取得了良好的預測精度。文獻[4,5]基于時間序列分析對風能研究中心進行了非線性短期風速預測研究，驗證了時間序列分析方法的有效性。文獻[6]基于季節調整和時間序列相混合方法進行了長期風速預測研究，準確有效地實現了月平均風速的預測。在以上研究中，時間序列是風速預測分析建模的一種常用方法。時間序列分析建模只需有限的樣本序列，依據序列本身的時序性和自相關性的信息，即可建立起相當高精度的預測模型，但存在著低階模型預測精度低和高階模型參數估計難度大的不足，而使用深度神經網絡進行時間序列分析建模是比較理想的方法。

LSTM是一種典型的時間序列建模方法，已經被應用到短期風速預測中[1]，實驗結果表明其效果優于BPNN(BP神經網絡)、SVM(支持向量機)、LSSVM(最小二乘支持向量機)和ARIMA(自回歸滑動平均模型)，但并未結合其它影響風速的多因素特征數據，效果仍有待提升。

1.2 Seq2Seq模型

Seq2Seq模型分別由Google Brain和Yoshua Bengio兩個團隊獨立提出，在自然語言處理領域得到廣泛應用，尤其在機器翻譯中取得顯著的效果。此外，Seq2Seq模型在電力負荷預測[7]、加油站時序數據異常檢測[8]及云資源負載預測[9]等時間序列任務中也取得了良好的效果。

Seq2Seq模型由編碼器和解碼器構成，模型結構如圖1所示。編碼器將輸入序列 [A,B,C,] 編碼為固定長度的向量表示h，解碼器將向量表示h解碼為另一個目標序列輸出 [X,Y,Z,]。 當給定一個源序列時，編碼器和解碼器共同訓練來最大化目標序列的條件概率。

圖1 Seq2Seq模型結構

編碼器和解碼器通常使用循環神經網絡(recurrent neural networks，RNN)或LSTM。LSTM是RNN的一種優秀變體，包含輸入門、輸出門和遺忘門3個門控單元和記憶細胞。LSTM解決了RNN的梯度消失和梯度爆炸的問題，并且適合處理長距離依賴的問題，能夠進一步提升Seq2Seq模型性能。另外，LSTM對氣溫預測的良好性能表現[10]也為其它氣象預測研究提供了很好的借鑒。

1.3 注意力機制

注意力機制由Yoshua Bengio團隊提出，用于對Seq2Seq模型進行改進，大大提高了基于Seq2Seq模型的機器翻譯的效果，使機器翻譯全面進入了神經機器翻譯的時代，此外，基于注意力機制的深度神經網絡還被廣泛應用到圖像識別、語音識別及自然語言處理等各種任務中[11]。注意力機制本質是在解碼階段通過對源序列中的每個元素分配不同的權重(注意力)，使得解碼器能夠更有效地利用源序列的重要信息，以獲得更好的解碼效果。

注意力機制如圖2所示，在解碼生成第t個元素yt時，模型會根據不同的權重at,i， 對源序列的元素Xi對應的隱藏狀態向量hi進行加權求和，作為此時的上下文向量。注意力機制能夠避免Seq2Seq模型對源序列編碼所造成的信息壓縮問題，使得解碼器在解碼的每一步都能夠回顧整個源序列，進而提升Seq2Seq模型的預測效果。

圖2 注意力機制結構

2 風速預測模型

2.1 風速多特征嵌入編碼方法

2.1.1 嵌入單元結構

由于風速的變化會受到多個因素的影響，因此進行風速預測時結合影響風速的其它多個因素的特征(本文中簡稱為：風速多特征)會提高預測效果，且文獻[12]也驗證了多特征結合分析方法的有效性。因此，本文提出風速多特征嵌入編碼方法，利用多層深度神經網絡對風速多特征進行嵌入編碼，使風速在模型中能夠得到更加合理的特征向量表示，進而提升預測效果。風速多特征嵌入編碼方法通過基于深度神經網絡的嵌入單元實現，結構如圖3所示，其中嵌入層由多層非線性神經網絡進行全連接得到。

圖3 風速多特征嵌入單元結構

風速多特征嵌入編碼方法是一種可擴展的方法，允許研究者根據支撐數據的豐富程度和重要程度增加或調整多特征的數量以及不同特征的權重，使得模型有更好的預測效果。該模型也是一種可移植的方法，允許其作為單獨模塊加入到各種風速序列預測的神經網絡模型中，以增強模型的整體性能。該方法將影響風速的其它因素結合到時間序列建模中，使得模型不僅依賴于單一的風速時間序列，還能根據其它的氣象信息，對未來的風速進行更加準確合理的預測。

2.1.2 嵌入編碼原理

風速多特征嵌入編碼方法使用深度神經網絡對風速多特征進行嵌入及維度轉換。由于不同特征數據有不同的單位和量級，所以，為了平衡不同因素特征的作用以及減小誤差，編碼過程中增加了特征數據歸一化和標準化操作。

其工作原理是首先將某一時刻的風速值作為一個風速(wind speed，WS)標簽，然后將該時刻的多個特征值 [ft,1,ft,2,…,ft,N] 進行線性函數歸一化(min-max norma-lization)，并按不同權重進行加權標準化(如式(1)所示)，再將處理后的特征值fst進行神經網絡嵌入編碼(如式(2)所示)，最終得到該時刻WS Embedding中M個維度的值 [et,1,et,2,…,et,M]

fst=Fnorm([ft,1,ft,2,…,ft,N])·[a1,a2,…,aN]

(1)

et=[et,1,et,2,…,et,M]=FCno_linear(fst)

(2)

以上各式中各個參數含義如下：fst：t時刻標準化后的多特征數據；Fnorm：歸一化函數；N：特征個數；ft,N：t時刻多特征數據第N個特征的值；aN：第N個特征所占權重；et：t時刻的風速嵌入向量；M：嵌入維度；et,M：t時刻風速嵌入向量第M維的值；FCno_linear：神經網絡非線性全連接層。其中FCno_linear的網絡深度可在訓練過程中進行調整優化。

2.1.3 嵌入單元學習算法

風速多特征嵌入編碼方法不需要復雜的人工干預，僅需要對各項特征進行簡單的權重分配，模型將在訓練時自動優化嵌入層參數。其中，各項特征根據重要程度分配不同的權值，以提高重要特征的數值波動對預測結果的影響，降低非重要特征對模型的過度影響。同深度神經網絡的其它超參數類似，多特征權重在模型訓練前進行配置，無需后續的調整。各項特征的權值默認是相等的，可根據實驗數據的豐富程度對不同特征的權值進行個性化的配置。風速多特征嵌入單元學習算法見表1。

表1 風速多特征嵌入編碼單元學習算法

2.2 多特征嵌入的Seq2Seq風速預測模型

2.2.1 模型架構

根據內蒙古氣象信息中心的研究需要，本文的中期風速預測任務為：當給定當前時刻之前24個小時的真實風速數據時，通過風速預測模型，生成未來9個小時的預測風速值。本文以帶有注意力機制的Seq2Seq模型為基礎，結合風速多特征嵌入編碼方法，設計了包括風速多特征嵌入單元、編碼器、注意力機制以及解碼器的風速預測模型，架構如圖4所示。

圖4 多特征嵌入的Seq2Seq風速預測模型架構

多特征嵌入的Seq2Seq風速預測模型在Seq2Seq的基礎上，結合多個影響風速的特征因素，對風速的時間序列進行建模，并進行多特征嵌入編碼，最終逐步進行未來風速值的解碼預測，生成未來若干小時的預測風速值序列。本文的方法不僅從技術方面采用更適合處理時間序列問題的Seq2Seq作為建模主體，還從理論角度嵌入影響風速的多特征氣象數據作為信息補充，從而得到更準確合理的風速預測模型。

2.2.2 模型原理

多特征嵌入的Seq2Seq風速預測模型將風速的多特征數據作為輸入，通過風速多特征嵌入單元得到相應的風速多特征向量序列E={e1,e2,…,em}。 風速多特征向量依次通過編碼器單元的編碼得到對應的隱藏向量hj(如式(3)所示)，經過注意力機制的計算(如式(4)～式(6)所示)和解碼器單元的逐步解碼(如式(7)所示)，輸出最終的預測風速值序列W={w1,…,wn} (如式(8)，式(9)所示)

hj=LSTM(ej,hj-1)

(3)

rtj=fno_linear(wt-1,hj)

(4)

(5)

(6)

st=LSTM(wt-1,st-1,ct)

(7)

p(wt|{w1,…,wt-1},E)=Fout(wt-1,ct-1,st)

(8)

(9)

以上各式中各個參數含義如下：hj：源序列第j個元素對應的隱藏向量；LSTM：編碼器和解碼器的基本單元；ej：源序列第j個元素對應的WS Embedding；rtj：t時刻輸出與源序列第j個元素的匹配得分；fno_linear：神經網絡非線性層；αtj：t時刻對應源序列第j個元素的權重；ct：t時刻的上文信息向量；wt：t時刻風速的預測值；st：t時刻解碼器隱藏向量；Fout：神經網絡輸出層。

2.2.3 風速預測算法

多特征嵌入的Seq2Seq風速預測模型需要經過大量風速多特征數據訓練后，才能對未來的風速進行預測。在每一次模型迭代訓練時，將給定的一段連續風速多特征數據，根據需要的序列長度分成前后兩段：前段風速值以WS Embedding的形式作為輸入序列，后段的風速值作為目標序列。通過大量數據的不斷迭代訓練，深度神經網絡模型將逐漸擬合真實的風速分布，最終得到最優的風速預測模型。通過當前時刻之前的風速多特征數據和訓練好的模型即可預測未來的風速。

多特征嵌入的Seq2Seq風速預測模型的詳細預測算法過程見表2。

表2 多特征嵌入的Seq2Seq風速預測模型預測算法

表2(續)

3 實驗與分析

3.1 實驗設置

本文實驗數據由內蒙古氣象信息中心提供。研究抽取了內蒙古某氣象觀測站點2018年1月1日0時到2019年1月1日0時的實時風速數據作為原始數據集。表3展示了原始氣象觀測數據情況。

表3 原始氣象觀測數據示例

由表3可知，原始數據采樣間隔為1小時，數據內容包括影響風速的多項數據(氣壓、變壓、溫度、濕度)和風速。全年的風速情況如圖5所示，其中，橫坐標為時刻(單位：h)，縱坐標為風速值(單位：m/s)。本文將原始數據處理為包含源序列和目標序列的樣本集，并按照8∶2劃分訓練集和測試集。

圖5 原始數據的全年風速序列

根據內蒙古氣象信息中心的研究需要，各模型數據的源序列長度設置為24，目標序列長度設置為9，以實現通過過去24小時的數據對未來9小時的風速進行預測。實驗中的Seq2Seq模型采用2層雙向LSTM作為編碼器，2層單向LSTM作為解碼器，均包含32個隱藏單元。Embedding維度為5，表示影響風速的5個特征。模型訓練的batch size=8，使用Adam優化算法，學習率為0.01，模型最終經過65輪訓練后收斂。

本文使用Seq2Seq模型和多特征嵌入編碼方法，分別與基于LSTM、GRU和BP神經網絡的風速預測模型進行對比，并使用風速多特征數據，通過準確性和穩定性兩個方面的實驗，驗證Seq2Seq模型和風速多特征嵌入方法對中期風速預測的有效性。

3.2 評價指標

本文使用準確率和預測評分來評價模型預測的準確性，并使用平均絕對誤差評價模型預測的穩定性。

準確率(acc)：計算各個序列中預測準確的次數占預測總次數的比例(比較各個風速值對應的風力等級，風力等級相同即認為預測準確)，準確率的計算如式(10)所示

(10)

上式中各個參數含義如下：acc：準確率；total_count：預測總次數；ac_count：預測準確次數。

預測評分(score)：對每次預測結果進行評分，將風速值轉換為相應的風力等級，風力等級預測正確得1分，相差1級得0.6分，相差2級得0.4分，其它情況不得分。預測評分的計算如式(11)～式(13)所示

(11)

(12)

(13)

以上各式中各個參數含義如下：t_scorei：第j個序列中第i個時刻的得分；predict_leveli：第j個序列中第i個時刻的預測等級；real_leveli：第j個序列中i第個時刻的真實等級；seq_scorej：第j個序列的得分；L：第j個序列的長度；score：得分；N：序列個數。

平均絕對誤差(mean absolute error，MAE)：計算預測值與真實值的絕對誤差，進而評價預測值與真實值的波動程度，值越小表示模型預測越穩定。平均絕對誤差的計算如式(14)、式(15)所示

(14)

(15)

以上各式中各個參數含義如下：seq_MAEj：第j個序列的平均絕對誤差；L：第j個序列的長度；predict_va-luei：第j個序列中第i個時刻的預測值；real_valuei：第j個序列中第i個時刻的真實值；MAE：平均絕對誤差；N：序列個數。

3.3 實驗結果與分析

本文分別對未來3小時、6小時、9個小時的風速進行了預測實驗，平均絕對誤差分別表示為MAE-3、MAE-6和MAE-9。各模型最終的風速預測準確性實驗結果見表4，穩定性實驗結果見表5。

表4 風速預測準確性實驗結果對比

表5 風速預測穩定性實驗結果對比

表4從風速預測的準確性方面，分別對比了Seq2Seq模型和其它幾種常見的神經網絡模型在準確率及預測評分指標下的效果，并進行了是否使用風速多特征嵌入編碼方法的對比實驗。分析表4的實驗結果可知：①在不使用風速多特征嵌入編碼方法時，Seq2Seq模型已經取得了高于其它模型的準確率和預測評分，序列的整體準確率達到0.5以上，表明了Seq2Seq模型對于風速預測任務的優越性；②使用風速多特征嵌入編碼方法后，準確率提升了8.1%，預測評分突破0.8，顯著提升了預測效果，表明了風速多特征嵌入編碼方法對于預測準確性方面的有效性。

表5從風速預測的穩定性方面，使用MAE評價指標分別對比了不同模型和使用風速多特征嵌入編碼方法的效果。表5的實驗結果表明：①Seq2Seq模型在未來3小時、6小時、9小時均取得了最優的MAE結果，驗證了Seq2Seq模型在風速預測的穩定性方面也具有相當的優勢；②使用風速多特征嵌入編碼方法后，雖導致未來3小時、6小時的MAE值上升，但顯著降低了未來9小時的MAE值，且表現出預測時間越長MAE值越低的趨勢，表明風速多特征嵌入編碼方法雖然對較短期風速預測的穩定性沒有明顯幫助，但可顯著提升較長期風速預測的穩定性。

4 模型應用與分析

為評估多特征嵌入的Seq2Seq風速預測模型的實際應用效果，除表4和表5的實驗結果外，本文還從測試集中隨機抽取了4組該模型的預測樣例，從而直觀地展示一段時間內各個時刻風速的真實值與預測值情況。

圖6描繪了4組根據過去24小時的真實風速數據預測未來9小時風速值的結果。其中，橫坐標為時刻(單位：h)，縱坐標為風速值(單位：m/s)，菱形實線為過去風速的真實值，三角形實線為未來風速的真實值，圓形虛線為模型對未來風速的預測值。每幅圖上方分別標注了預測評分、準確率和平均絕對誤差的值，并按照預測評分值的降序進行了展示。

圖6(a)和圖6(b)為預測效果相對較好的樣例，預測評分達到0.8以上，準確率達到0.6以上，平均絕對誤差低于0.6，預測曲線的擬合程度也比較高，可見模型能夠較為準確地預測未來的風速情況。圖6(c)和圖6(d)則為效果相對較差的樣例，預測評分不足0.6，準確率不足0.4，平均絕對誤差,高于2.0，預測曲線也幾乎完全不擬合真實曲線，表明模型對于某些情況的預測還存在著一些不足。

圖6 多特征嵌入的Seq2Seq風速預測模型預測樣例

綜合分析不同模型的風速預測實驗對比結果和預測樣例，多特征嵌入的Seq2Seq風速預測模型能夠取得比其它模型更優秀的預測效果，但還存在一些不足。由于風速序列的較大波動以及預測時間的較大跨度等潛在因素的影響，不同序列的預測效果差別很大，同時存在較好和較差的兩極化預測結果，模型預測的穩定性還需進一步提高。

5 結束語

為了提高風速預測的準確性，本文提出了一種風速多特征嵌入編碼方法及基于Seq2Seq的風速預測模型，結合風速影響因素的多特征數據，對未來若干個小時的風速進行預測。

實驗結果表明，①在預測的準確性和穩定性方面，Seq2Seq模型均比LSTM模型取得了更好的預測效果，驗證了Seq2Seq模型對于風速預測任務的優越性；②使用風速多特征嵌入編碼方法后，顯著提高了Seq2Seq模型的預測準確性，驗證了風速多特征嵌入編碼方法的有效性。

然而，目前對于風速預測模型的研究仍然存在很多不足。模型對不同序列的預測效果差別很大，同時存在較好和較差的兩極化的預測結果，如何避免較差預測結果的出現仍是目前研究的難點。未來將使用更大規模和更多特征的數據，對風速預測的穩定性進行進一步的研究，使得風速預測模型能夠在生活和生產中得到真正應用。