基于APSO-LSTM模型的短期電力負荷預測

印 江，戴春萍，袁華保峰，胡萬平，錢正杰

（1.山西大學電力與建筑學院，山西 太原 030000；2.山西大學自動化與軟件學院，山西 太原 030000）

自動發電系統（Automatic Generation Control，AGC）承擔著協調爐機系統及響應調度中心負荷指令的重要任務，是連接單元機組與電網的樞紐[1]。火電廠分布控制系統上位機接受來自AGC程序的分配，優化后將負荷指令合理地分配給各個單元機組，通過協調機組燃燒和調門開度及時響應AGC指令。但是機組運行過程涉及的工藝設備多，且爐側和機側是2個動態特性差異特別大的控制對象[1]，汽輪機慣性小，而鍋爐系統燃燒過程慣性時間長，造成單元機組難以快速響應AGC指令。利用短期負荷預測，開展AGC超前控制策略[2]，協調電廠各個子系統提前動作，補償大慣性設備造成的響應遲延，可以提高電廠對AGC指令的響應速度。負荷預測指對歷史負荷進行數據挖掘并對未來負荷進行預測，根據精確的負荷預測[3]指令開展超前控制，有利于實現電量的實時供需平衡，是電力領域的研究熱點。

電力負荷預測分為長期預測、中期預測、短期預測、超短期預測[4]，短期負荷預測以小時或天為單位，由于短期負荷受節假日、天氣等復雜因素影響較大，隨著電網規模不斷擴大和負荷多樣性增加，高效和精確的短期負荷預測變得更加困難[5]。眾多研究者提出不同模型進行預測，文獻[6]提出利用Elman神經網絡模型進行負荷預測，但預測算法的初始權值是隨機選擇的，還有很大的優化空間[7]；文獻[8]提出基于MLR和LSTM的神經網絡模型，但模型未考慮電價因素，預測精度有待進一步提高；文獻[9]提出一種灰色模型和神經網絡相結合的模型，但是大樣本情況下預測精度不高，由此可以看出，精確的負荷預測目前具有很大的改進空間。

長短記憶的時間遞歸神經網絡（Long Short Term Memory，LSTM）具有很強的長時記憶功能，可以學習長期依賴信息[10]，負荷預測采用LSTM模型可以獲得較高的預測精度。但其優化算法學習率的初始值一般采用經驗值，降低了模型的預測精度和泛化能力。粒子群算法是一種常見的尋優算法，但由于算法的靜態學習導致尋優過程緩慢且容易陷入局部最優值。本文提出一種改進的自適應粒子群算法（Adaptive Particle Swarm Optimization，APSO），將算法的學習因子和慣性權重動態化，改進位置更新公式，使算法具有更強的尋優能力，利用APSO計算LSTM優化算法的學習率初始值，并分別結合LSTM的3種優化算法進行模型學習，得到最佳的預測模型，可以提高模型的預測精度。

1 LSTM模型

為了解決循環神經網絡，（Recurent Neural Network，RNN）梯度爆炸的問題，首先由HOCHREⅠTER等在1997年提出LSTM模型，如今在時間序列數據的預測應用十分廣泛[11]。LSTM模型作為RNN的一種特殊形式，具有RNN的重復鏈式結構，但重復的模塊中具有與RNN網絡不同的結構，其主要結構可以分為忘記門（又稱遺忘門）、輸入門、輸出門3部分[12]。

1.1 忘記門

忘記門決定模型會從細胞狀態中丟棄何種信息，該門會讀取ht-1和xt，輸出一個0～1之間的數值，給每個在上一次細胞狀態中的Ct-1數字，1表示完全保留，0表示完全舍棄，將上一步的細胞狀態中的信息選擇性遺忘[13]。

式（1）中：ft為忘記上一次細胞信息Ct-1的程度；σ為Sigmoid函數；Wf為忘記門的更新權重矩陣；ht-1為上一步LSTM的輸出；xt為當前步LSTM的輸入；bf為忘記門的偏置。

1.2 輸入門

輸入門的功能可以分為2部分，即找到那些需要更新的細胞狀態和把需要更新的信息更新到細胞里。

式（2）（3）中：it為輸入門更新值的概率；Wi為輸入門的更新權重矩陣；bi為輸入門的偏置；為tanh層創建的候選值向量；Wc為細胞狀態更新權重矩陣；bc為細胞狀態偏置。

在私密的臥室空間里設計一扇天窗，讓更多的光線進入室內，可以讓室內保持充足的溫度和大量的自然光，增大室內的空間通透感。另外，通過不同的光感形式還可營造臥室空間豐富多彩的視覺效果。巧妙地設置天窗，可以讓臥室瞬間擁有明亮感；通過天窗的光線，可以為臥室營造浪漫舒適的氛圍，暈染的光環籠罩著整個臥室如夢如幻，質樸的內飾與大自然外景相輔相成，躺在自己的一片小天地里仰望上方，正是一片閃耀的星空。

忘記門找到需要忘記的信息后，將它與舊狀態相乘，丟棄確定需丟棄的信息，再將結果加上it·C?t使得細胞狀態獲得新的信息，這樣就完成了細胞狀態的更新。

式（4）中：Ct為當前步LSTM的細胞狀態；?為哈達瑪乘積；Ct-1為上一步LSTM的細胞狀態。

1.3 輸出門

在輸出門中，通過一個Sigmoid層確定哪部分的信息將輸出，接著把細胞狀態通過tanh進行處理得到一個-1～1之間的值，并將它和Sigmoid層的輸出相乘，得出最終想要輸出的那部分。

式（5）（6）中：Ot為輸出門中當前步Sigmoid層的輸出；Wo為輸出門的更新權重矩陣；bo為輸出門的偏置；ht為當前步LSTM的輸出。

2 粒子群算法

由于神經網絡的參數優化方法中學習率的初始值一般來說都是根據經驗取值，但這不一定能夠達到很好的效果，超參數設置過大或者過小都會嚴重影響最終的負荷預測精度，于是本文考慮采用粒子群算法得到學習率的初始值。

2.1 粒子群算法原理

粒子群算法通過設計一種無質量的粒子來模擬鳥群中的鳥，通過鳥群之間的競爭與合作尋找目標食物[14]。粒子僅具有速度和位置2個屬性，速度代表移動的快慢，位置代表移動的方向。每個粒子在搜索空間中單獨地搜尋最優解，并將其記為當前個體極值，并將個體極值與整個粒子群里的其他粒子共享，找到最優的個體極值作為整個粒子群的當前全局最優解，粒子群中的所有粒子根據自己找到的當前個體極值和整個粒子群共享的當前全局最優解來調整自己的速度和位置，從而使自己達到更優的位置。

式（7）（8）中：w為慣性常數，非負數，調節對解空間的搜索范圍；為第i個粒子在第k－1次d維的速度；c1、c2為學習因子，調節學習的最大步長；r1、r2為2個隨機值，取值范圍為[0，1]，增加解空間搜索的隨機性；pbestid為第i個粒子d維的歷史搜索最優值；為第i個粒子在第k－1次d維的位置；gbestd為d維全局最優解。

2.2 粒子群算法步驟

粒子群算法步驟如下：①對粒子群的隨機位置、學習因子、慣性權值等進行初始設定，同時設定選代次數并將粒子的最優歷史位置pbest作為當前位置，群體中最優的粒子設置為當前的gbest；②在每一次迭代中計算每個粒子的適應度函數值；③對每個粒子，將當前所處位置的適應度值與所經歷的歷史最好位置pbest的適應度值進行比較，若當前位置的適應度較好，則將其作為該個體最優位置；④對每個粒子，將當前所處位置的適應度值與全局所經歷的最好位置gbest的適應度值進行比較，若當前位置的適應度較好，則將其作為當前的全局最優位置；⑤根據粒子的速度更新公式和位置更新公式對粒子的速度和位置進行優化，從而產生新的粒子狀態；⑥如未達到結束條件（通常為最大迭代次數數或最小誤差要求），則返回第②步。

3 改進的自適應粒子群算法

標準PSO算法存在一些固有缺陷，如搜索精度低、局部搜索能力差，尤其求解復雜非線性多峰函數時容易陷人局部極小解出現“早熟”收斂[15]，于是，本節將粒子群算法進行改進。

3.1 改進學習因子

c1是個體認知因子，促使粒子獲得個體歷史的最優位置，有利于開發局部最優解，c1=0為無私型粒子群算法，會迅速喪失群體的多樣性優勢，易陷入局部最優而無法跳出；c2為社會認知因子，推進粒子向全局最優的區域收斂，加快收斂速度，c2=0為自我認知型粒子群算法，完全沒有信息的社會共享，導致算法收斂緩慢。

粒子群算法的2個學習因子對于學習過程具有不同促進作用，在迭代過程的前半程和后半程粒子的尋優特點是不同的，所以應使得學習因子在整個迭代過程中動態化，發揮2個學習因子的優勢，提高尋優速度和質量。在迭代過程的前半程，應增大c1，減小c2，能夠幫助粒子探索自身的最優值，強調粒子的個體認知，避免粒子過早聚集在最優值周圍，在迭代過程后半程，應增大c2，減小c1，能夠幫助粒子更快地向群體最優值靠近，強調社會認知部分，提高尋優速度，這種改進后的粒子群算法，其參數具有自適應性，稱為自適應粒子群算法。

式（9）—式（11）中：cmax為學習因子初始值最大值，一般設為2.1；cmin為學習因子初始值最小值，一般設為0.8；k為當前迭代次數；K為總迭代次數；δ為加速度率，其值在[0.05，0.1]中隨機產生，可以防止第i個粒子k+1次和k次迭代學習因子差距過大。

3.2 改進慣性權重

慣性權重w是一個重要的調節參數，調節對解空間的搜索范圍，使得算法具有較大的全局搜索能力，盡快靠近最優解。w較大時算法具有更強的全局搜索能力，w較小時算法具有更強的局部搜索能力，在算法迭代的前期應提高粒子的全局搜索能力，使得粒子快速靠近最優解，算法迭代后期，應提高粒子的局部搜索能力，發掘粒子附近的最優值。

式（12）中：wmax為慣性權重最大值；wmin為慣性權重最小值。

3.3 改進位置更新公式

傳統粒子群算法容易陷入局部最優，僅靠速度公式中參數的更新難以較好解決這一問題。因此對位置更新公式進行改進，在傳統粒子群算法位置更新公式的基礎上引入擾動補償因子可以很好解決這一問題，促使粒子跳出局部最優值搜索空間，向全局最優值空間進行搜索，使得粒子對全局空間的搜索更加廣泛。

本小節將學習因子、慣性權重動態化，使得粒子群算法的迭代過程中參數變化更加符合迭代過程階段特征的變化，此外引入擾動因子更新位置公式，提高了粒子種群的多樣性。

4 APSO-LSTM預測模型

LSTM模型訓練中參數優化算法通常使用SGD算法、AdaGrad算法、Adam算法，但是學習率的初始值一般是根據經驗值給定，降低了學習的效果和負荷預測的精度，于是采用APSO來進行優化算法中學習率初始值的優化給定，可以提高模型的預測精度。

4.1 APSO-LSTM模型構建

取山西某電廠2016-11-25—2019-11-24的負荷、當日最高溫度和最低溫度為數據集，按照7∶3的比例將數據集劃分為訓練集和測試集，使用24 h的負荷預測第25 h的負荷，APSO的適應度函數取為LSTM模型中測試集的預測誤差MAPE，APSO的優化目的就是最小化MAPE，即縮小預測值和真實值之間的差值。利用APSO得到最優的學習率，再將此學習率帶入LSTM模型重新訓練，得到負荷預測值。

式（13）中：yi為第i個樣本的負荷真實值；predi為第i個樣本的負荷預測值。

4.2 APSO-LSTM算法流程

APSO-LSTM算法流程如圖1所示。算法流程總體上分為APSO部分和LSTM模型部分，具體步驟如下。

圖1 APSO-LSTM算法流程圖

電力負荷受溫度因素影響相對較大，將日最高氣溫、日最低氣溫、負荷值、日類型值、月類型值作為LSTM模型的輸入。其中，日類型和月類型分別體現負荷的日周期性和月周期性，大小區間為[0，1]。日類型值為每個時刻在一天24個時刻中的相對大小值，月類型值為每個時刻在一個月總天數中的相對天數大小值。

對數據集進行預處理，剔除異常數據。將日最低溫和日最高溫進行歸一化處理，并按照7∶3將LSTM模型的輸入劃分為訓練接和測試集，將前24 h的負荷和第25 h的負荷作為一組數據輸入LSTM模型的迭代器。

初始化LSTM模型參數及粒子群，將適應度函數定義為測試集的預測值和真實值的平均絕對誤差百分比MAPE，r1、r2的值由隨機函數產生。

粒子群算法中用隨機函數初始化學習率并輸入LSTM模型進行模型訓練，模型訓練的優化器分別使用SGD算法、AdaGrad算法、Adam算法來進行神經網絡權重參數的優化。

比較粒子適應度值和個體最優值以及粒子適應度值和群體最優值，根據速度公式和改進后的位置公式更新粒子狀態，同時更新學習因子、慣性權重，進行下一次迭代。

滿足APSO設置的迭代次數則迭代結束，得到3種不同權重優化算法學習下最優學習率初始值，代入LSTM模型，重新進行LSTM模型訓練，得到負荷預測值。

4.3 仿真實驗

仿真實驗采用Python語言進行編寫，其中LSTM模型部分程序的編寫框架選用Pytorch，此框架是Facebook中最為流行的深度學習框架。選取山西某電廠2018-12-31的數據預測2019-01-01—2019-01-03的負荷，每小時采樣一次，2018-12-31的數據共計24個數據點，2019-01-01—2019-01-03共計72個數據點。本次實驗將LSTM模型中batch_size設置為30，即每次訓練使用30組數據，由于數據量很大，epoch設置為10，即將數據訓練10遍。APSO中粒子數設置為50，迭代次數設置為20，將慣性權重初始值最大值設置為0.9，最小值設置為0.5，學習因子初始值最大值和最小值分別設置為2.1和0.8。為進一步說明實驗方案的可行性，將SGD算法、AdaGrad算法、Adam算法分別作為優化算法進行預測，學習率根據初始值設置為0.05，再利用APSO分別訓練得到3種優化算法下的初始學習率，然后重新代入LSTM模型訓練得到預測結果。

運行Python程序得到圖2和圖3，其中圖2為分別使用SGD算法、AdaGrad算法、Adam算法，并將學習率初始值設置為經驗值的預測結果，圖3為將APSO優化后的學習率分別作為SGD算法、AdaGrad算法、Adam算法的初始學習率的預測結果。對比圖2和圖3可以明顯看出，經過APSO優化初始學習率后采用3種優化算法的模型預測結果更加貼合實際預測值。

圖2 模型改進前的預測結果

圖3 模型改進后的預測結果

為了更有力說明預測精度的提高，計算MAPE指標和MAE指標來進行說明，結果如表1所示。可以看出經過自適應粒子群算法優化的LSTM模型，采用3種不同優化算法進行負荷預測時，其預測精度均得到提升，預測性能好。

表1 不同模型的預測誤差對比

5 結語

準確的電力負荷預測能給電廠智能調配和穩定運行提供安全保障。為提高短期電力負荷預測的精度，使用改進的自適應粒子群算法對LSTM模型的初始學習率進行優化，實驗采用3種不同的優化算法進行仿真，并使用MAPE和MAE這2個指標對預測精度進行說明。可以發現，3種優化算法結合了APSO后，預測誤差大幅度降低，其中APSO-Adam-LSTM模型的精度最高，APSO-LSTM模型比LSTM模型具有更高的預測精度。

但由于APSO的初始化參數是經驗給定，故還有較大的改進空間。后續可以采用多重粒子群算法對粒子群初始化參數進行優化設置，進一步提高模型的尋優能力。