基于雙重Q學習的動態風速預測模型

李永剛 王 月 吳濱源

基于雙重Q學習的動態風速預測模型

李永剛 王 月 吳濱源

（新能源電力系統國家重點實驗室（華北電力大學） 保定 071003）

準確的風速預測對新能源并網穩定運行具有重要意義。為提高風速預測精度，該文構建基于雙重Q學習的動態風速預測模型。首先，構建由五種基礎預測算法組成的風速Q學習模型集，充分考慮風速波動情況和屬性因素，通過Q學習強化學習算法選取出每時段的最佳預測模型，得到初步的風速預測結果；然后，基于風速預測結果計算預測誤差，構建第二階段的誤差Q學習模型庫，篩選該模型庫中的最佳模型，以修正初步預測值，對誤差進行校正，得到最終的預測結果；最后，通過對實際風場不同季節的風速進行預測，驗證所提方法的有效性。

風速預測 Q學習 誤差校正 動態模型選擇

0 引言

近年來風力發電技術在全世界得到了廣泛的應用和發展。隨著越來越多的風電集成到電網中，給電力系統的安全運行帶來了巨大的挑戰，這主要是由風的間歇性和波動性引起的[1-3]。因此，準確的風速預測對于風電并網及電力系統的穩定運行變得越發重要[4-6]。

現階段主流的風速的預測方法主要有BP神經網絡[7]、極限學習機[8]、核嶺回歸[9]（Kernel Ridge Regression, KRR）等。文獻[10]運用小波分解進行數據預處理，利用遺傳算法對支持向量機進行參數優選，實現短期風速預測，得到較好的預測效果。文獻[11]通過長短時記憶網絡（Long-Short Term Memory, LSTM）對風向進行建模，并在預測模型中添加了誤差校正環節，驗證了誤差校正的有效性。現如今，風速預測方法已不僅僅滿足于單模型預測，越來越多的國內外學者將集成學習[12-13]、深度學習[14]等方法融入風速預測中，相比于過去的單一預測模型，預測精度得到了一定程度的提高。文獻[15]基于多模型融合Stacking集成學習方式對負荷進行預測，相對于單模型預測顯著提高了預測精度。

隨著人工智能技術的快速發展，無模型的強化學習框架成為近幾年的研究熱點，通過對當前狀態的行為進行獎勵或懲罰來提高下一動作的預測精度。其中，Q學習由于所需的參數少、可離線訓練等優點已成為最受歡迎的強化學習方法[16]。它可以從最新技術中選擇最佳的預測模型，每一步均基于機器學習的預測模型。具體地說，在每個訓練步驟中，Q學習代表將從當前的預測模型M轉移到下一個預測模型M，從而獲得獎勵，Q學習代表將從中學習模型選擇的最優策略。

本文選取不同的機器學習算法構建基于雙重Q學習的動態預測（Dynamic Prediction based on Double Q Learning, DPDQ）模型，對風電場風速序列進行預測。選用支持向量回歸（Support Vector Regression, SVR）、核嶺回歸（Kernel Ridge Regression, KRR）、BP（back propagation）神經網絡、深度學習算法LSTM和XGBoost五種機器學習算法組成第一階段Q學習模型庫，通過Q學習篩選出適應本時段的預測算法，得到初步的風速預測結果；第二階段采用基于不同內核函數的KRR算法、SVR、BP神經網絡組成第二階段Q學習模型庫，通過Q學習選取適應度高的模型對第一階段預測誤差進行訓練及預測，進而實現對第一階段預測結果的修正，得到更為準確的風速預測值。最后，將預測結果與實際風場數據進行對比，驗證所提模型的有效性。

1 基礎理論介紹

1.1 支持向量回歸

支持向量回歸模型通過將低維數據映射到高維的空間，在高維空間中找到線性可分的超平面，最后再將高維空間的超平面映射回低維空間，以實現支持向量機的預測。但是，將低維的數據映射到高維的空間，在高維空間做計算將會增加模型計算量，也容易過擬合[17]。由此，本文選擇徑向基核函數代替線性方程中的線性項，可以使原來的線性算法非線性化，即能做非線性回歸，此時引進核函數達到了升維的目的，也可以有效地控制過擬合。

1.2 BP神經網絡

BP神經網絡是一種多層前饋網絡，通過輸入信號正向傳播和誤差信號反向傳播對網絡參數進行調整，具有很強的非線性映射能力和良好的自組織學習能力[18-19]。BP神經網絡模型由輸入層、輸出層和多個隱藏層組成。輸入信號正向傳播過程是通過輸入向量及各層權重、閾值計算輸出向量，再根據輸出向量和期望輸出向量計算誤差；而誤差信號反向傳播過程則是采用誤差梯度下降法更新網絡各層權重和閾值，使誤差不斷減小，直至滿足精度要求。

1.3 核嶺回歸

核嶺回歸[20]基于核技巧將時間序列數據模式非線性地轉換為由滿足Mercer條件的核函數所確定的某些高維特征空間。回歸模型表示為

式中，為輸入數據的高維特征空間；為不同核函數代表的核心矩陣；為正則化系數；為階單位矩陣；為輸入通過非線性映射函數內積的向量。

在訓練過程中，滿足Mercer條件的核函數通過將數據映射到高維特征空間來提高計算能力，增強數據的線性可分性，從而提高了模型回歸和分類的準確性、穩定性及泛化能力。內核函數種類及具體表達式如下。

多項式核函數（Polynomial kernel）為

高斯核函數（Gaussian kernel）為

正切雙曲核函數（tangent hyperbolic kernel）為

Morlet小波核函數（Morlet wavelet kernel）為

墨西哥帽小波核函數（Mexican Hat wavelet kernel）為

式中，、、、為核參數；為最高次數。

1.4 長短時記憶網絡

式中，、、、為連接輸入信號x的權重矩陣；、、、為連接隱含層輸出信號y的權重矩陣；、、為連接神經元激活函數輸出矢量和門函數的對角矩陣；r、r、r、r為偏置參數；為激活函數，通常為tanh或Sigmoid函數。采用反向誤差傳播為本文LSTM的訓練算法。

1.5 XGBoost算法

XGBoost算法通過優化結構化損失函數（加入了正則項的損失函數，可以起到降低過擬合的風險）實現弱學習器的生成，并且XGBoost沒有采用搜索方法，而是直接利用損失函數的一階導數和二階導數值，并通過預排序、加權分位數等技術大大提高了算法的性能。模型形式為

式中，1為樹的數量；為樹的集合；f為第棵樹的相關情況。

2 基于Q學習的動態預測模型

強化學習是一種典型的機器學習算法，可與其他預測算法結合，構建出具有高度自適應性的預測模型。本文采用無模型自適應動態規劃算法Q學習，在每個時段獲取風速預測模型庫和誤差校正模型庫的最優策略。

2.1 基礎模型庫選擇

考慮到風速序列的高變異性，深度學習可對原始數據進行深層特征挖掘，在風速波動劇烈時能更好地預測風速變化趨勢，但在細節上可能存在過擬合的現象。而SVR和BP神經網絡往往在風速波動較平緩時段，擁有更高的預測精度；在風速波動劇烈時具有較大的預測誤差。故選取深度學習算法LSTM、集成學習算法XGBoost、淺層學習算法SVR、BP神經網絡和KRR五種算法作為風速預測模型集中的基礎模型，以期針對不同波動情況，Q學習能在其中選取到更適合的預測模型，其中KRR選擇基于多項式核函數的PKRR。

根據風速預測部分得到的初步預測結果和實際值之差得到的初步預測誤差為

對于誤差校正模型集的選取，由于預測誤差的波動性和變異性遠沒有原始風速序列劇烈，更多的是需要對誤差序列進行細節上的預測。因此，本文選取效率較高的SVR、BP神經網絡、GKRR、PKRR、MHKRR五種模型構成誤差校正模型集。最終的預測結果為

2.2 Q學習理論

為了訓練Q學習代表，首先在馬爾可夫決策過程中定義了基于強化學習的動態模型選擇的數學框架。通常，Q學習代表根據狀態-作用值矩陣在一系列狀態下采取順序操作，直到達到最終目標[21]。通過評估當前狀態空間的預測效果得到獎勵更新。狀態空間由當前的預測模型組成，即

為了使用Q學習成功地解決馬爾可夫決策過程，最核心的部分是通過適當的獎勵函數(,)得到獎勵矩陣。本文定義誤差和模型排名混合獎勵函數為

式中，RANK(M)為第時刻預測模型M的排名；TIME(M)為第時刻預測模型M的計算時間；、為權重系數，且滿足+=1。

由于Q學習為無模型的動態模型選擇框架，往往會擇優選取模型進行預測，因此當兩模型均排名為1時，該項為0，則失去獎懲作用。故選擇加權兩個Q學習框架，使獎勵函數更具普適性。定義狀態、行動和獎勵后，通過使用Q學習訓練數據集t訓練Q學習動態預測模型。

采用衰變t貪婪方法[22]的Q學習代表從一開始就采取完全隨機的動作，同時在學習過程中通過衰減來降低隨機性。在N次訓練之后，Q學習算法最終將收斂到最優策略Q*，該策略用于在Q學習過程中找到最優動作*。具體步驟如下：

（1）定義模型步長，預測尺度，模型庫尺寸M，Q學習數據集t，動態預測模型數據集c，控制學習的積極性的學習率，權衡未來回報的折現因子，訓練次數N，確保在c的每個步驟中，從個模型中選擇最佳模型。圖1中te和ce分別為第步的Q學習數據集及動態預測模型數據集。

（3）根據式（17）計算更新獎勵矩陣。

（4）通過式（18）更新(,)。

2.3 基于雙Q學習的動態預測模型框架

風速波動的季節性和不可測性給預測模型帶來巨大的挑戰，因此本文致力于提高風速預測精度的研究提出了基于雙重Q學習的兩步動態預測模型，具體框架如圖1所示。

圖1 基于雙Q學習的動態選擇模型框架

為驗證所提模型的有效性，選取方均誤差1、相對誤差2和決定系數2三種評價指標對預測結果進行評價，其中1、2預測結果期望為0，2期待最優為1。

3 仿真分析

選取東北某實際風場2019年1月～2020年12月風速及相關屬性數據展開研究，對該風場2020年各季度典型月進行短期風速預測，并對原始數據進行預處理，采用相鄰數據互補法替換缺失及異常數據值。原始數據的采樣間隔為10min，全年共計52 560個點，取2019年全年數據為訓練集，對DPDQ及QWSP模型進行訓練。選取2020年3、6、9、12月1～15日數據為測試集，16～30日為檢驗集（用以檢驗模型參數設定是否合適）。

本文的訓練及測試均在Matlab 2016b環境下運行，采用Intel(R)Core(TM) i5-8500，CPU@3.00GHz，RAM 8.00 GB的微機平臺。

3.1 模型超參數設置

為提升模型應用靈活性，本文選取滑動步長為6，即以1h為最小單位尺度。1h的風速預測即可為風電實時并網所需的超短期預測提供參考，也可擴展至24h的日前預測，工程上更具實用性和廣泛性。

本文Q學習框架具體參數設置為=0.1，=0.8，以確保動態模型選擇的學習速度，N=100，并充分考慮獎勵函數的未來獎懲，選取=0.9，=0.1。根據風場實際運行情況，本文選擇進行步長為6的日前預測（=6，=144），即根據訓練集數據的訓練結果，采用最佳策略為下一個步做出模型選擇決策。基礎模型超參數設置見表1。

表1 不同算法超參數設置

Tab.1 Different algorithm hyperparameter settings

關于Q學習獎勵函數的設置，目前在人工智能算法中自適應誤差函數比較常用，但在訓練過程中發現采用自適應誤差函數為獎勵函數進行的Q學習未能收斂，這是因為預測評估指標的大小不僅取決于預測模型，而且會隨著時間而變化。采用從表現較差的模型切換到最佳模型的操作可能仍會收到負回報（由于預測評估指標的下降）。同時，一個預測模型的成熟與否不僅與預測精度有關，還與其所付出的時間成本相關，由此，本文提出了另一種獎勵函數對模型效果進行評價，即綜合考慮模型排名改進和模型預測時間，見式（17）。兩種方法的部分訓練結果如圖2所示，可以看出，該函數成功收斂，有效地避免了時間序列效應。

圖2 獎勵函數收斂情況

為了使DPDQ模型預測效果達到最優，本文在歷史風速數據的基礎上添加了多種屬性因素作為考量以提高風速預測模型精度。計算了風向（WD）、風速標準差（SD）、濕度（SH）、湍流強度（TI）、風速（WS）、溫度（TP）6組序列的Spearman秩序相關系數[23]。當相關系數大于0時兩序列為正相關，小于0為負相關，數值越大則相關程度越高。具體結果如圖3所示。

圖3 各屬性因素相關性

由圖3可知，各屬性因素與風速之間的相關系數有正有負，其中最高的為風速標準差，可達0.762；與風向的相關程度次之，相關系數為0.199；最低為湍流強度，僅-0.014。選擇正相關變量可提升模型預測精度，選擇負相關變量會導致模型預測誤差增大[24]。由此，根據結果本文選擇風速、風速標準差、風向和溫度作為輸入集，對DPDQ模型進行訓練和預測。

3.2 預測算法對比分析

東北風場2019年一整年的風速波動情況如圖4所示，可以看出該風場風能量密度較大，其中春冬兩季風速波動較為劇烈，不同時刻風速差較大，最高風速超過25m/s。而夏秋兩季風速多為低于10m/s，波動較為平緩，風能量密度明顯低于秋冬季節。

圖4 風場2019年風速波動情況

為檢驗和說明基于Q學習的動態模型選擇的有效性，選取單預測模型LSTM和BP神經網絡兩種不同預測原理的人工智能算法與DPDQ中的風速預測部分（Q learning Wind Speed Prediction, QWSP）進行仿真對比分析，對各季度典型月風速進行滑動步長為6的日前預測。具體預測結果如圖5所示。

由圖5可以看出，QWSP在應對各季節不同的風速波動情況下均能得到良好表現，整體的預測效果優于單一預測模型。而從細節上看，夏季的風速波動較為平緩，風速也較低，春冬季節的風速相對較高。展開圖5a中時間序列121～126和圖5b中時間序列61～66部分可以看出，各模型均能得到較好的預測效果。圖5c中127～132部分，BP神經網絡和LSTM由于沒有進行動態選擇，導致其不能應對所有的風速變化情況，預測結果與實際值偏差較大。而圖5d中的細節預測結果則不然，Q學習各時段所選擇的預測模型結果見表2。

表2 Q學習在各時段選擇模型結果

Tab.2 Q learning to select model results at each time period

（續）

由表2和圖5d中小圖可以看出，Q學習在10:00～11:00點之間選擇的預測模型為SVR，預測結果偏差大于BP神經網絡，這主要是Q學習模型選擇失誤而導致的預測偏差較大，由于獎勵函數機制的設置，本次所選模型的排名應較為靠后，導致本次獎勵為負值，在下一次模型選擇中實現修正，進而保證預測結果的精度。下一次的預測結果如圖6所示，接收到負獎勵信號后的Q學習在本次得到了較為準確的預測結果，大部分模型的預測值都更接近實際值。值得說明的是，在0:00～1:00時Q學習選擇的SVR模型不是排名第一的，而是隨機選擇的，這主要是由于首次選擇需為后續步驟提供獎勵值參考，使后面的模型選擇更具邏輯性。

圖6 冬季第121～126步預測結果

在Q學習的動態選擇正確時，預測精度普遍偏高，模型具有較好的穩健性；而當單預測模型過擬合時，將會出現預測誤差較大的情況，由于獎勵函數的機制，可充分考慮本地獎懲和宏觀優勢，使模型能夠及時得到修正。由此，基于Q學習的模型選擇策略，可使風速預測模型性能得到整體提高。

各模型訓練及預測時間見表3，深度學習相比于淺層學習所需要的訓練時間更長。而Q學習訓練Q代理在各基礎模型中進行選擇，需要153.89s。各季度預測誤差見表4。

由表4中數據可知，由于夏季風速波動最小，各模型方均誤差均小于0.5(m/s)2，而冬季風速波動大，給模型帶來一定的預測難度，導致預測誤差1也隨之增大。本文所提的基于強化學習的動態模型選擇使其2結果在各季度均最接近于1，1誤差也為三個模型中最小。不同方法夏季的相對誤差2結果如圖7所示。可以看出，QWSP的誤差在大多數時刻都小于其他兩種方法，驗證了本文所提方法的預測精度更高。由圖7中誤差情況可知，采用本文方法得到初步預測結果對應的誤差值同樣為非線性波動，因此，本文提出的風速預測模型也適用于預測誤差，繼而進行誤差修正。由于誤差的隨機波動性遠低于原始風速序列，故只需選用效率較高的淺層學習算法進行預測即可。

表3 不同方法運行時間

Tab.3 Different method running time

表4 不同方法短期預測誤差

Tab.4 Short-term prediction error results of different methods

圖7 不同方法相對誤差ε2

3.3 誤差校正環節

為驗證本文誤差校正環節的有效性，利用DPDQ對各季節進行日前風速預測，結果如圖8所示。可以看出DPDQ模型在各季節均能達到較好的預測效果，但對于某些風速驟變的極端風況，如圖8c中的極值風速點仍存在一定的預測誤差，這是不可避免的。對各季節預測值進行誤差校驗前后的相對誤差計算如圖9所示。其他誤差結果見表5。

圖8 各季節DPDQ預測結果

圖9 各季節誤差校正前后對比

表5 DPDQ日前預測誤差

Tab.5 DPDQ day-ahead forecast error

圖9中右側框為DPDQ模型的預測誤差，左側框為QWSP的預測誤差，可以看出，各季節的預測結果中位數均在0左右，誤差上下四分位數有效減小。進一步對比表5中和表4中QWSP的預測誤差，不同季節的風速預測結果在進行誤差校正后都有所改進，驗證了誤差校正環節的合理性和必要性。

為了定量分析誤差校正部分對預測精度的影響程度，選擇校正前后預測結果的|2%|誤差進行對比，結果如圖10所示。從中可以看出，校正前預測誤差居于區間大于16中的點在經過校正后，數量明顯減少，而多數的點都集中在區間小于4之間。統計多次預測結果可知，校正后預測模型的相對誤差與之前相比降低約50%。分析結果表明，誤差校正部分可有效減少模型預測誤差，提高預測精度。

圖10 誤差校正前后對比

4 結論

本文構建雙重Q學習的動態預測模型，在每個步驟中，Q學習代理從風速預測模型集部分中選擇最佳預測模型進行初步風速預測，下一階段另一個Q學習代表從誤差預測模型集中選擇最佳預測模型，將誤差預測結果輸入到誤差修正部分，最終提出風速的最優預測策略。結合實測風場數據進行日前風速預測，得出以下結論：

1）Q學習在風速預測部分和誤差校正部分都有效選擇了每個預測步長的最佳預測模型。

2）誤差校正使相對平均誤差減少50%左右，說明了誤差校正環節對成熟預測模型的有效性。

3）通過構建組合風速預測模型對不同季節典型月進行預測，結果表明DPDQ具有較好的穩健性與適用性。

本文初步探索了將強化學習融入風速預測的可能性，基于此，比較不同強化學習的模型選擇功能，如何將其與風速預測結合，構建更全面的誤差指標，將成為下一步工作的研究重點。

[1] 潘超, 王典, 蔡國偉, 等. 考慮風速時空相關特性的元啟發式支配預測模型[J]. 電網技術, 2020, 44(11): 4105-4114.

Pan Chao, Wang Dian, Cai Guowei, et al. Meta-heuristic dominance prediction model considering wind speed spatio-temporal correlation characteristics[J]. Power System Technology, 2020, 44(11): 4105-4114.

[2] 楊茂, 董昊. 基于數值天氣預報風速和蒙特卡洛法的短期風電功率區間預測[J]. 電力系統自動化, 2021, 45(5): 79-85.

Yang Mao, Dong Hao. Short-term wind power interval prediction based on wind speed of numerical weather prediction and Monte Carlo method[J]. Automation of Electric Power Systems, 2021, 45(5): 79-85.

[3] 沈小軍, 周沖成, 付雪嬌. 基于機聯網-空間相關性權重的風電機組風速預測研究[J]. 電工技術學報, 2021, 36(9): 1782-1790.

Shen Xiaojun, Zhou Chongcheng, Fu Xuejiao. Wind speed prediction of wind turbine based on the internet of machines and spatial correlation weight[J]. Transactions of China Electrotechnical Society, 2021, 36(9): 1782-1790.

[4] 王晨, 寇鵬. 基于卷積神經網絡和簡單循環單元集成模型的風電場內多風機風速預測[J]. 電工技術學報, 2020, 35(13): 2723-2735.

Wang Chen, Kou Peng. Wind speed forecasts of multiple wind turbines in a wind farm based on integration model built by convolutional neural network and simple recurrent unit[J]. Transactions of China Electrotechnical Society, 2020, 35(13): 2723-2735.

[5] Ma J, Fouladirad M, Grall A. Flexible wind speed generation model: Markov chain with an embedded diffusion process[J]. Energy, 2018, 164: 316-328.

[6] 凡航, 張雪敏, 梅生偉, 等. 基于時空神經網絡的風電場超短期風速預測模型[J]. 電力系統自動化, 2021, 45(1): 28-35.

Fan Hang, Zhang Xuemin, Mei Shengwei, et al. Ultra-short-term wind speed prediction model for wind farms based on spatiotemporal neural network[J]. Automation of Electric Power Systems, 2021, 45(1): 28-35.

[7] Wang Shouxiang, Zhang Na, Wu Lei, et al. Wind speed forecasting based on the hybrid ensemble empirical mode decomposition and GA-BP neural network[J]. Renewable Energy, 2016, 94: 629-636.

[8] 王琦, 關添升, 秦本雙. 基于MRMR的ORELM的短期風速預測[J]. 可再生能源, 2018, 36(1): 85-90.

Wang Qi, Guan Tiansheng, Qin Benshuang. Short-term wind speed prediction of ORELM based on MRMR[J]. Renewable Energy, 2018, 36(1): 85-90.

[9] Naik J, Bisoi R, Dash P K. Prediction interval forecasting of wind speed and wind power using modes decomposition based low rank multi-kernel ridge regression[J]. Renewable Energy, 2018, 129: 357-383.

[10] 羅文, 王莉娜. 風場短期風速預測研究[J]. 電工技術學報, 2011, 26(7): 68-74.

Luo Wen, Wang Lina. Research on short-term wind speed prediction in wind farms[J]. Transactions of China Electrotechnical Society, 2011, 26(7): 68-74.

[11] 唐振浩, 趙賡楠, 曹生現, 等. 基于SWLSTM算法的超短期風向預測[J]. 中國電機工程學報, 2019, 39(15): 4459-4468.

Tang Zhenhao, Zhao Gengnan, Cao Shengxian, et al. Ultra-short-term wind direction prediction based on SWLSTM algorithm[J]. Proceedings of the CSEE, 2019, 39(15): 4459-4468.

[12] 胡夢月, 胡志堅, 仉夢林, 等. 基于改進AdaBoost.RT和KELM的風功率預測方法研究[J]. 電網技術, 2017, 42(2): 536-542.

Hu Mengyue, Hu Zhijian, Wu Menglin, et al. Research on Wind power forecasting method based on improved AdaBoost.RT and KELM algorithm[J]. Power System Technology, 2017, 42(2): 536-542.

[13] 李永剛, 王月, 劉豐瑞, 等. 基于Stacking融合的短期風速預測組合模型[J]. 電網技術, 2020, 44(8): 2875-2882.

Li Yonggang, Wang Yue, Liu Fengrui, et al. Combination model of short-term wind speed prediction based on Stacking fusion[J]. Power System Technology, 2020, 44(8): 2875-2882.

[14] Wang Kejun, Qi Xiaoxia, Liu Hongda, et al. Deep belief network based k -means cluster approach for short-term wind power forecasting[J]. Energy, 2018, 165: 840-852.

[15] 史佳琪, 張建華. 基于多模型融合Stacking集成學習方式的負荷預測方法[J]. 中國電機工程學報, 2019, 39(14): 4032-4042.

Shi Jiaqi, Zhang Jianhua. Load forecasting based on multi-model by stacking ensemble learning[J]. Proceedings of the CSEE, 2019, 39(14): 4032-4042.

[16] Ouyang Tinghui, Zha Xiaoming, Qin Liang, et al. Prediction of wind power ramp events based on residual correction[J]. Renewable Energy, 2019, 136(6): 781-792.

[17] 王賀, 胡志堅, 張翌暉, 等. 基于聚類經驗模態分解和最小二乘支持向量機的短期風速組合預測[J]. 電工技術學報, 2014, 29(4): 237-245.

Wang He, Hu Zhijian, Zhang Yihui, et al. Combination forecast of short-term wind speed based on clustering empirical mode decomposition and least square support vector machine[J]. Transactions of China Electrotechnical Society, 2014, 29(4): 237- 245.

[18] 李奎, 李曉倍, 鄭淑梅, 等. 基于BP神經網絡的交流接觸器剩余電壽命預測[J]. 電工技術學報, 2017, 32(15): 120-127.

Li Kui, Li Xiaobei, Zheng Shumei, et al. Prediction of residual current life of AC contactors based on BP neural network[J]. Transactions of the China Electrotechnical Society, 2017, 32(15): 120-127.

[19] 宋建, 束洪春, 董俊, 等. 基于GM(1,1)與BP神經網絡的綜合負荷預測[J]. 電力建設, 2020, 41(5): 75-80.

Song Jian, Shu Hongchun, Dong Jun, et al. Comprehensive load forecasting based on GM(1,1) and BP neural network[J]. Electric Power Construction, 2020, 41(5): 75-80.

[20] 李勇周, 羅大庸, 劉少強. 鄰域保持最大間隔分析的人臉識別[J]. 模式識別與人工智能, 2010, 23(1):23-28.

Li Yongzhou, Luo Dayong Liu Sshaoqiang Face recognition using neighborhood preserving maximal margin analysis of kernel ridge regression[J]. Pattern Recognition and Artificial Intelligence, 2010, 23(1): 23-28.

[21] Yan Jun, He Haibo, Zhong Xiangnan, et al. Q-learning-based vulnerability analysis of smart grid against sequential topology attacks[J]. IEEE Transactions on Information Forensics and Security, 2016, 12(1): 200-210.

[22] Mnih V, Kavukcuoglu K, Silver D, et al. Playing atari with deep reinforcement learning[J]. Computer Science, 2013.

[23] 康重慶, 夏清, 劉梅. 電力系統負荷預測[M]. 北京:中國電力出版社, 2007.

[24] 朱喬木, 李弘毅, 王子琪, 等. 基于長短期記憶網絡的風電場發電功率超短期預測[J]. 電網技術, 2017, 41(12): 3797-3802.

Zhu Qiaomu, Li Hongyi, Wang Ziqi, et al. Short-term wind power forecasting based on LSTM[J]. Power System Technology, 2017, 41(12): 3797-3802.

Dynamic Wind Speed Prediction Model Based on Double Q Learning

Li Yonggang Wang Yue Wu Binyuan

（State Key Laboratory of New Energy Power System North China Electric Power University Baoding 071003 China）

Accurate wind speed prediction is of great significance to the stable operation of new energy grids. In order to improve the accuracy of wind speed prediction, this paper constructs a dynamic wind speed prediction model based on double Q learning. First, build a wind speed Q learning model set consisting of 5 basic prediction algorithms, fully consider wind speed fluctuations and attribute factors, select the best prediction model for each time period through the Q learning, and get the preliminary wind speed prediction results. Calculate the prediction error based on the wind speed prediction result, construct the second-stage error Q learning model library, screen the best model in the model library to correct the preliminary prediction value, obtain the final prediction result. Finally, the effectiveness of the proposed method is verified by predicting the wind speed of the actual wind field in different seasons.

Wind speed prediction, Q learning, error correction, dynamic model selection

10.19595/j.cnki.1000-6753.tces.210272

TM715

李永剛 男，1967年生，教授，博士生導師，研究方向為電氣設備診斷、新能源電力系統。E-mail：lygzxm0@163.com

吳濱源 男，1998年生，博士研究生，研究方向為新能源電力系統。E-mail：wby_ncepu@163.com（通信作者）

國家自然科學基金資助項目（51777075）。

2021-03-03

2021-05-30

（編輯 赫蕾）