基于改進自適應構造區間法的電力負荷區間預測

陸臣斌，包哲靜，于淼，蔡昌春

(1.浙江大學 工程師學院，杭州 310015； 2.浙江大學 電氣工程學院，杭州 310027；3.河海大學 物聯網工程學院，江蘇 常州 213022)

0 引 言

準確的電力負荷預測在現代電力系統經濟和安全運行中至關重要。近年來，在能源互聯網的大背景下[1]，負荷影響因素更加多元化，負荷特性也呈現出新的特點和趨勢[2]。同時，電力系統高效經濟運行對負荷預測精度的要求逐步提高，傳統的點預測方法越來越難以滿足實際需求。負荷區間預測能夠量化預測結果的不確定，可以給電力工作人員帶來更多的參考信息，有利于制定各種科學合理的策略，因而越來越受到重視。

廣泛用于電力負荷區間預測的方法主要包括統計方法、人工智能方法和混合方法[2]。基于時間序列的統計模型，如：自回歸、指數平和差分整合移動平均自回歸模型可以分解歷史數據中的長期趨勢，并將歷史趨勢推演到未來[2-5]。因此，這些方法需要大量的過去數據來進行模型開發[5]。與上述方法相比，許多研究提出了直接產生預測區間上下界的人工智能方法[6-11]。這些方法基于各種機器學習模型，如人工神經網絡、支持向量機和核極限學習機方法[6-9]，并利用各類啟發式算法對參數進行優化，如模擬退火和粒子群優化算法[10-11]。在以往的研究中[12-14],采用基于區間覆蓋概率(Prediction Interval Coverage Probability，PICP)和區間平均寬度(Prediction Interval Normalized Average Width，PINAW)的雙目標優化預測方法，可以得到最優的預測區間。然而，在帕累托前沿的眾多非支配解中平衡這兩個目標是非常困難的[15]。因此，為了解決這個問題，在后續相關研究中，有使用覆蓋寬度標準(Coverage Width Criterion，CWC)指標將雙目標優化問題轉化為單目標優化問題[15-17]，這些方法被稱為基于上下界估計(Lower Upper Bound Estimation，LUBE)的方法。隨著優化參數的增加，啟發式算法往往需要較長的搜索時間。因此，這些方法僅限于應用在參數相對較少的淺層機器學習模型。

深度學習已成為近年來的研究熱點，更復雜結構的神經網絡具有更強的非線性映射能力，并且可以從數據中提取比傳統機器學習模型更多的內在特征[18]。代表性的深度學習模型包括卷積神經網絡、堆疊式自動編碼器和長短期記憶神經網絡(Long and Short-Term Memory，LSTM)[19-21]。近年來，門控循環單元(Gate Recurrent Unit，GRU)被開發出，作為具有簡化門控機制的LSTM的擴展，具有與LSTM類似的性能以及較低的計算負擔[22]。但這些模型很少應用于區間預測問題。基于以往的研究，文獻[23]提出了一種具有高學習能力的GRU預測模型，可以直接生成預測區間，并采用高效的梯度下降算法進行模型訓練，如均方根傳遞(Root Mean Square Prop，RMSProp)和自適應動量(Adaptive momentum，Adam)算法[24-25]。基于梯度的性質，這些算法需要可微的代價函數進行監督學習，故其不能對CWC這類不可微的評估指標進行優化[7]。為了解決這個問題，文獻[23]提出了一種基于構造區間的自適應優化方法，為模型的監督學習建立高質量的訓練標簽。但該方法在應用時并未考慮預測區間寬度的優化，且每次訓練得到的預測區間具有較大不確定性。

文章對基于構造區間的自適應優化方法加以改進，在優化過程中引入區間平均寬度，采用基于PID思想的閉環自適應調節策略提高了預測效果，同時應用驗證集的訓練指標選出最好的訓練模型，提高了預測的穩定性。下面先介紹區間預測評估指標，基于GRU的區間預測模型以及基于構造區間的自適應優化方法，再以澳大利亞新南威爾士AEMO(2006年～2010年)及歐洲阿爾巴尼亞(2017年～2019年)的歷史負荷數據為例進行對比，驗證改進的效果。

1 算法實現

1.1 門控循環神經網絡(GRU)

近年來，GRU被廣泛應用于處理時間序列數據。作為LSTM的改進版，GRU通過放棄記憶細胞并引入更新門來替換輸入門和遺忘門，簡化了LSTM結構。許多研究表明，GRU與LSTM具有相似的性能，但其計算量更少。GRU的結構單元如圖1所示。

圖1 GRU結構單元

對于某一時間步t，假設輸入為小批量樣本Xt∈Rn×d，其中n為樣本個數，d為樣本維數，上一個時間步的隱藏狀態為Ht-1∈Rn×h，h為隱藏單元個數。重置門Rt∈Rn×h和更新門Zt∈Rn×h的計算如下：

Rt=σ(XtWxr+Ht-1Whr+br)

(1)

Zt=σ(XtWxz+Ht-1Whz+bz)

(2)

(3)

式中Wxh∈Rd×h和Whh∈Rh×h是權重參數矩陣；bh∈Rl×h是偏差參數矩陣，采用tanh()激活函數將候選隱藏狀態的值保持在區間(-1，1)中。從式(3)可以看出，重置門通過控制上一時間步的隱藏狀態矩陣來影響當前時間步的候選隱藏狀態，可以選擇性得丟棄和保留歷史信息。

(4)

1.2 基于GRU的區間預測模型

為了將最先進的深度學習技術引入負荷區間預測，構建了一個多層神經網絡模型，如圖2所示。

圖2 GRU區間預測結構

在該模型中，GRU輸入層用于時間序列的特征提取，再通過全連接層對特征進一步處理，輸出預測區間上下界。具體解釋如下：第一層為GRU循環輸入層，基于輸入序列x={x1,…,xn}完成特征向量Ht的提取，時間序列長度為n，其中每個xi為第i時刻的負荷值，最后一個GRU單元的輸出為提取的特征向量，輸入至其后的全連接層。全連接層主要由幾個隱藏層和一個輸出層組成，輸出層包括兩個神經元，分別輸出預測區間的上界和下界。激活函數的作用是提供規?；姆蔷€性化能力，文中采取ReLU作為全連接層后的激活函數，如式(5)所示，可以有效緩解梯度消失的問題，并且加快收斂速度。

(5)

1.3 區間預測評估指標

區間預測評估結果可以用區間覆蓋率(PICP)和區間平均寬度(PINAW)來描述。其中，在同一置信度(Prediction Interval Nominal Confidence，PINC)下，PICP值越大，同時PINAW值越小，表明模型的性能越好[26]，其定義如下：

(6)

(7)

(8)

式中n為測試集樣本的個數；Ui、Li分別為生成的區間上下限；yi為第i個樣本的觀測值，觀測值在區間內時為1，否則為0；R表示測試集的范圍，用于對該指標進行歸一化。

為了綜合考慮區間寬度和覆蓋率，引入基于PICP和PINAW的綜合指標CWC作為評價標準，其定義如下：

CWC=PINAW(1+γe-ηPICP-μ)

(9)

式中μ是由置信度決定的；η為懲罰系數，當區間覆蓋率小于給定置信度時，給予指數級的懲罰，當覆蓋率大于置信度時，只考慮區間平均寬度PINAW；綜合指標CWC值越小，代表預測結果越好。

1.4 基于構造區間的自適應優化方法及其改進

1.4.1 基于構造區間的自適應優化方法

該方法是文獻[23]提出的，其中采用了一種結合了自適應學習策略和動量機制的梯度下算法Adam來訓練預測模型，該算法可以加快收斂速度，并有效的避免陷入局部最優[25]。Adam在本質上是基于反向傳播算法的，因此必須構造一個可導的代價函數來實現有監督學習。為了定義這樣的代價函數，訓練標簽是必須的。故文中針對給定的區間預測置信度PINC，通過人工構造上下界的方法直接獲得訓練標簽[23]。對于訓練集中一系列訓練標簽Y=[y1,y2,…,yn]，其中n是訓練集樣本數，構造區間定義如下：

(10)

式中Yu和Yl分別是構造區間的上界和下界；du、dl是構造區間的上下寬度，作為自適應優化的變量，由此可構建基于均方誤差的代價函數：

(11)

式中Ui、Li分別是模型的第i個輸出上界和下界，因為每個訓練樣本的fcost可導，因此Adam算法可以使用該函數來計算神經網絡中每個權重和偏差的梯度。

問題轉化為尋找合適的上下寬度du、dl進行訓練，針對梯度下降算法不能像柔性啟發式算法那樣優化寬度的問題，提出了一種自適應寬度優化方法。在每個訓練周期之后，模型輸出的預測區間將逐漸接近構建的訓練區間，并且兩者之間會產生擬合誤差。平均擬合誤差定義如下：

(12)

式中el、eu分別為下界和上界的平均擬合誤差。因為擬合誤差是逐漸優化并最終趨于穩定的，所以期望構建的區間能夠跟隨輸出的預測區間。根據上述假設，在每個訓練周期后，若el上升，需要增加構造的區間寬度dl；若eu上升，則需要減少構造的區間寬度du。同時引入參數α用于在每個訓練周期后對PICP進行優化，在PICP

(13)

式中參數k1用于控制更新速度，參數α的更新策略如式(14)所示：

(14)

式中參數k2用于控制α的更新速度。

1.4.2 改進的基于構造區間的自適應優化方法

由于上述方法在實際訓練過程中,PICP達到給定PINC的速度較慢，需要比較長的訓練周期，且在訓練時會出現一定的震蕩，因此文中提出改進的基于構造區間的自適應優化方法，采用基于PID思想的閉環自適應調整策略，引入比例和微分控制，加快動態過程，將式(14)調整為：

(15)

式中ki1、kp1、kd1分別為積分、比例、微分項控制的系數。積分項用于確保PICP隨著訓練過程的迭代，最終收斂于PINC附近；比例項根據v(T)的變化趨勢來調節α，若v(T)

為了在訓練過程中考慮PICP的同時兼顧PINAW，增加參數β用于在每個訓練周期后對PINAW進行優化，調整原理與優化PICP類似。因此，在改進的基于構造區間的自適應優化方法中，具體調整過程為：

(16)

式中參數k3用于控制區間寬度的更新速度;α和β根據式(17)和式(18)進行調整為：

(17)

(18)

式中ki2、kp2、kd2分別為積分、比例、微分項控制的系數。由于訓練過程中PICP與PINAW的優化存在一定的矛盾，故在訓練樣本的PICP未達到給定的置信度時，暫不考慮優化PINAW，按照式(13)更新構造的區間寬度。當訓練樣本的PICP達到給定的置信度時，期望PINAW越小越好，故預設PINAW的訓練指標為0，并按照式(16)更新構造的區間寬度。

如圖3所示，GRU預測模型的具體訓練過程包括以下步驟：

步驟1：對負荷數據樣本進行預處理，主要是處理異常數據，并通過劃窗將負荷序列劃分出特征和標簽，歸一化后將數據集按8∶1∶1的比例劃分為訓練集、驗證集和測試集；

圖3 GRU預測模型訓練流程圖

步驟2：初始化GRU模型與參數。

步驟2.1：初始化GRU模型的權重和偏差，給定PID參數ki1、kp1、kd1、ki2、kp2、kd2；

步驟2.2：初始設定du、dl、α、β為0，令其在訓練過程中進行自適應優化；

步驟3：訓練GRU區間預測模型。

步驟3.1：根據式(10)，采用當前的du、dl以及標簽Y構建訓練區間，將訓練集樣本代入到模型中完成一個周期的訓練；

步驟3.2：通過Adam優化算法及式(11)的代價函數計算梯度，并以小批量的形式更新權重和偏差；

步驟3.3：根據式(12)計算平均擬合誤差，計算當前預測區間的PICP、PINAW，根據式(17)、式(18)更新α、β。若PICP

步驟4：計算驗證集預測區間的CWC指標；

步驟5：若達到最大的訓練周期，且存在優質模型則退出訓練，否則重復步驟3～步驟4；

步驟6：取出CWC指標最小的模型用于預測。

2 算例分析

選取澳大利亞新南威爾士AEMO(2006年～2010年)的歷史負荷數據，以及歐洲阿爾巴尼亞(2017年～2019年)的歷史負荷數據為樣本進行所提區間預測算法性能的驗證。

AEMO歷史負荷數據采樣頻率為半個小時一次。應用改進前后的負荷區間預測的方法分別進行短期預測，預測對象為次日全天48點負荷值(從0∶00～23∶30每隔30 min進行一次采樣，共計48個采樣點)。根據所有的歷史負荷數據，以該日之前一周的336(7×48)個點的負荷數據作為輸入向量。將模型的驗證集以及測試集均劃分為182天，剩余的劃分到訓練集中。設定置信度PINC為93%，改進前后訓練集預測區間的PICP和PINAW在訓練過程中的變化如圖4所示。

圖4 改進前后PICP和PINAW在訓練過程的變化曲線圖

由圖4可以看出，改進前的PICP在第35個訓練周期達到PINC，但在訓練過程中存在一定的震蕩，在第70個訓練周期后趨于穩定。而PINAW在PICP達到置信水平后，在0.4左右不斷震蕩，直至在第175個訓練周期后開始下降，在訓練結束后下降至0.2。改進后PICP在第25個訓練周期即迅速接近至PINC，且在接下來的訓練過程中趨于穩定。當PICP保持在PINC附近之上，訓練的優化方向轉向PINAW。PINAW在第25個訓練周期后不斷下降，訓練結束后其值為0.15。綜合來看，改進后PICP在訓練過程中的變化更加平穩，且能夠更快速的達到設定的置信水平，PINAW在PICP穩定后也呈現出下降的趨勢，驗證了方法的有效性。

改進前后模型對測試集的區間預測結果如圖5所示。

圖5 改進前后測試集的預測結果圖

如圖5所示，由于改進后的算法在訓練時要對區間平均寬度進行優化，會犧牲一定的區間覆蓋率，可能會出現個別實際值超出預測范圍的情況。但改進后的預測區間在達到PINC的同時，具有更小的區間寬度，表明其預測區間的效果更好。區間預測置信度PINC分別取0.7、0.8、0.9情況下的區間預測結果如表1所示?？梢钥闯觯趨^間覆蓋率滿足置信度要求的前提下，改進后的方法在區間寬度上明顯更優，即具有較窄的區間寬度。

表1 改進前后區間預測指標比較

考慮到深度學習算法在多次訓練結果上會呈現不一致的情況，分別對改進前后的算法訓練10次，取PINC為0.93，記錄其區間預測結果指標如表2所示。可以看出，改進后的模型可以保證在PICP達到PINC的同時，PINAW整體會更小，意味著其預測區間質量更高，且改進后的算法訓練后得到的10個模型預測結果接近，表明其具有較強的一致性。

表2 改進前后區間預測指標比較(10次訓練)

歐洲阿爾巴尼亞(2017年～2019年)的歷史負荷數據采樣頻率為一個小時一次。應用改進前后的負荷區間預測的方法分別進行短期預測，預測對象為次日全天24點負荷值。分別對改進前后的算法訓練10次，取PINC為0.9，記錄其區間預測結果指標如表3所示，可見文中所提出的基于改進自適應構造區間法的電力負荷區間預測方法在區間覆蓋率滿足置信度要求的前提下，在區間寬度上明顯更優。

表3 改進前后區間預測指標比較(10次訓練)

3 結束語

電力負荷具有較強的不確定性，一定置信度下的區間預測方法比點預測方法更加適合描述這種不確定性。考慮到區間預測中有兩個量化指標，區間覆蓋率PINC和平均區間寬度PINAW，文中對基于GRU模型的自適應構造區間的區間預測方法進行了改進，將PINAW指標引入自適應構造區間的調整策略中，使得區間構造中綜合考慮上述兩個指標；同時借鑒PID控制的思想，在調整策略中引入了PINC和PINAW的一階和二階差分項，對訓練過程進行改進?；诎拇罄麃喰履贤柺緼EMO及歐洲阿爾巴尼亞近年的歷史負荷數據，對所提出的負荷區間預測方法進行了不同置信度下的驗證。結果表明，改進區間預測方法的訓練過程更加平穩；在PINC滿足置信度的前提下，改進方法得出的PINAW更窄，綜合PINC和PINAW的CWC指標更優；同時，改進的區間預測方法對于多次訓練具有較好的一致性。