改進量子粒子群優化算法的神經網絡模型負荷預測

張 蘭

(1.西北工業大學 理學院,陜西 西安 710129;2.西安航空職業技術學院 基礎課部, 陜西 西安 710089)

?

·數理科學·

改進量子粒子群優化算法的神經網絡模型負荷預測

張 蘭1,2

(1.西北工業大學 理學院,陜西 西安 710129;2.西安航空職業技術學院 基礎課部, 陜西 西安 710089)

提出一種基于Levy飛行的量子粒子群優化算法并用于小波神經網絡的訓練,該算法采用基于Levy分布的飛行策略擴大粒子的搜索空間,使粒子易于逃離局部最優點。該算法克服了傳統算法在神經網絡訓練過程中易于陷入局部最優、收斂速度慢等缺點,提高了神經網絡的泛化能力。最后將改進的量子粒子群優化算法訓練小波神經網絡應用于電力系統負荷預測的模型,仿真結果表明改進的量子粒子群優化算法在神經網絡訓練上具有更高的預測精度。

Levy飛行;量子粒子群;神經網絡;負荷預測

負荷預測是一個復雜的問題,其預測的準確性將影響到電力生產和電網安全運行等方面[1]。而影響負荷預測的常見因素如天氣等經常具有隨機性,使得預測模型呈現很大的非線性,因此負荷預測的技術就顯得非常重要。傳統的預測方法如線性回歸、專家系統、模糊控制等算法的效果常常無法滿足實際需要[2]。

神經網絡強大的自主學習能力和良好的非線性映射能力使其廣泛應用于負荷預測、故障診斷和系統辨識等方面[3]。然而傳統的神經網絡算法在進行網絡訓練時,具有學習效率低下、容易陷入局部極小值等缺點。近年來，許多學者致力研究于神經網絡性能的提高,如Zhang等人[4]提出了小波神經網絡(wavelet neural network, WNN),該算法是將小波變換理論和神經網絡相結合,兼有了小波變換的局部化性質和神經網絡的自主學習能力,所以具有較好的逼近能力。目前，小波神經網絡在模型預測、系統辨識、故障診斷等領域取得了一些成果[5-6],然而其泛化能力一直是學術界的難點。

隨著計算技術的快速發展,智能優化算法開始廣泛應用于復雜工程領域的計算。粒子群優化算法(particle swarm optimization,PSO)[7]是由Kennedy和Eberhart在1994年提出的,該算法是通過模擬鳥群覓食行為來進行函數尋優,且具有參數少、魯棒性高等優點。因此,采用PSO算法訓練WNN模型能夠更好的發揮神經網絡的泛化能力。然而PSO算法在收斂后期粒子易失去多樣性,出現早熟、陷入局部極小值點等缺點。孫俊等[8-9]從量子系統出發提出一種量子粒子群優化算法(quantum behaved particle swarm optimization,QPSO),該算法中粒子具有更高的隨機性,也就意味著QPSO算法比傳統的PSO算法具有更好的全局搜索能力。在QPSO-WNN 模型進行負荷預測方面,文獻[10]進行了探索,也取得了較好的預測效果,但是在迭代后期,由于粒子對前期運動軌跡的記憶,限定了種群的搜索空間,使得預測結果不是十分理想,因此,可以對QPSO算法進行改進以提高算法的收斂性能和精度。比如,文獻[11]提出了對平均最優位置加權的量子粒子群優化,提高了算法的收斂速度;Coelho等[12]提出了采用Gauss變異算子修正QPSO并應用于求解PID控制問題,修正后的算法增強了全局搜索能力;Peng等[13]利用Levy分布對QPSO算法中的全局最優值進行變異,Levy分布的尾翼相比于高斯分布和柯西分布更寬,因此具有更好的擾動能力,從而增加了粒子跳出局部最優的能力。

本文借鑒文獻[13]中的Levy分布,對QPSO算法進行改進,將基于Levy分布的Levy飛行策略應用于QPSO中,讓粒子在更大的解空間中進行搜索,使粒子更容易跳出局部最優點,而且收斂速度和性能都有所提高。最后將改進的QPSO算法進行小波神經網絡訓練,并將其應用于電力系統的負荷預測中。對實際算例的仿真分析,驗證了該算法具有更高的預測精度。

1 QPSO算法及其改進

1.1 QPSO算法

粒子群算法是一種基于群體的隨機優化技術,是對鳥類的群體聚集行為進行仿真研究啟發而得到的。PSO算法將每個可能產生的解表述為一個粒子,所有粒子在搜索空間中以一定速度飛行,粒子的運動軌跡用每個粒子的位置和速度來描述。但是,粒子在尋優中隨機性不高,導致容易收斂到局部最優點。2004年孫俊等人在量子系統中提出了一種量子粒子群優化算法,該算法中的粒子具有量子行為,其運動狀態是由波函數來確定,粒子在量子δ勢阱的基礎上不斷的靠近局部吸引點pi(t),粒子在空間某位置的概率由薛定諤方程確定。因此采用蒙特卡洛模擬得到粒子的運動軌跡用如下方程確定:

(1)

其中,xi(t)為個體當前最優位置,u為[0, 1]之間的均勻分布隨機數,±是由u的大小決定的,當u>0.5時,取+號,其他情況取-號;局部吸引點pi(t)由式(2)確定:

(2)

l為勢阱長度，由式(3)確定:

li(t)=2β|mbesti-xi(t)|。

(3)

(4)

其中:N為種群數,因此,QPSO算法中粒子的進化方程最終為如下式子:

xi(t+1)=

(5)

1.2 Levy飛行原理

Levy飛行是一種隨機過程,行走的步長服從Levy分布,它符合自然界的大部分生物的搜索行為,在進行大規模搜索尋優時, 它可以進行多數粒子的短距離局部搜索和少數粒子的長距離全局搜索 不僅能擴大種群的搜索空間,同時也能提高全局搜索性能,因次,一些學者在優化算法中引入Levy飛行策略并取得了較好的性能[14-17]。

Levy飛行的步長服從Levy 分布,其概率密度函數通常以如下形式出現

(6)

一般都是對其進行簡化和傅里葉變換,得到冪指數形式的概率密度函數如下所示：

Levy～μ=t-λ;1<λ<3。

(7)

其中:λ為冪指數,式(7)服從Levy分布式是一個帶有寬尾的概率分布，在程序計算L(λ)時,通常采用Mantegna提出的模擬Levy飛行步長的計算公式[18]：

(8)

(9)

通過式(8)、(9)就可以計算出Levy飛行步長L(λ)。

1.3 改進的QPSO算法

在QPSO算法中,隨著粒子迭代次數的增加,種群的多樣性減少,相似的粒子會大大縮減種群的搜索空間,粒子陷入局部最優后很難跳出來。采用Levy飛行策略進行搜索可以擴大粒子搜索空間,因此,Richer等人[19]最早在PSO算法中對于個體最優引入了Levy分布,提高了搜索效率。本文在前述文獻的基礎上采用Levy飛行策略對QPSO算法進行改進,利用Levy飛行獨特的隨機游走機制進行搜索,以期擴大粒子的搜索空間,并增加了種群的多樣性。基于該策略的改進算法中需要將原算法中的式(5)更新為

(10)

其中：L(λ)中取λ=2。本文將采用Levy飛行搜索的QPSO算法,記為LQPSO。

2 LQPSO算法訓練WNN

2.1 小波神經網絡概述

WNN是用小波函數替代神經網絡的激活函數而得到,具有小波變換和神經網絡的優點,它有很強的自主學習能力、函數逼近能力和較快的學習速度。三層的小波神經網絡拓撲如圖1所示。

圖1 小波神經網絡的結構Fig.1 The structure of WNN

其中xi(i=1,2,…,N)為輸入層,隱藏層激活函數采用小波基函數,文中取Morlet為基函數;y(x)為WNN的輸出,wi(i=1,2,…,N)為輸入層與隱藏層的神經元間的權值,ui為隱藏層與輸出層的神經元間的權值。

2.2 LQPSO算法訓練WNN

QPSO-WNN網絡訓練的本質就是網絡的權重和閥值不斷調整的過程。QPSO用于WNN訓練時,網絡的權重和閾值由粒子的位置向量xi代表,粒子的最佳適應度函數用網絡訓練的均方誤差來表示:

(11)

LQPSO算法訓練WNN的步驟:

Step1 確定WNN模型結構:輸入層,隱含層,輸出層的數目；

Step2 初始化:確定粒子數N=30,粒子維數20,最大迭代代數Tmax=200, 最佳精度g;

Step3 通過公式(11)評價每個粒子i對訓練樣本的適應度;

Step4 通過公式(2),(4),(10)計算粒子i經Levy飛行后的達到的最佳位置pbesti,以及當前最佳適應度值,并將其與全局最優位置gbesti的最佳適應度值進行對比,若較好,則用其替換全局最優位置,并記錄當前適應度值;

Step5 判斷是否達到最大迭代次數,否則返回步驟2;

Step6 不斷更新粒子,確定最佳網絡參數;

Step7 輸入訓練參數,進行WNN模型的負荷預測;

Step8 反復訓練,直到達到滿意的預測精度。

3 LQPSO-WNN模型用于負荷預測仿真

3.1 數據來源和模型結構

本實驗所用數據來源于網站:http://www.ferc.gov/market-oversight/mkt-electric/overview.asp中某城市的負荷數據。由于負荷數據具有很大的隨機性,原則上,選取歷史負荷數據越多,負荷預測的精確度就會越高。因此,在實際應用中,常常選擇具有代表性的數據,并對數據做預處理。一般的處理方法有數據的歸一化,使其位于[0,1]之間;對錯誤數據進行剔除;對缺失數據進行前后兩個數據取平均值。在負荷預測中,負荷的數據主要受歷史數據和天氣的影響,另外,工作日和周末的負荷模式差異比較大。因此應該將負荷數據在工作日和周末的獨立預測。QPSO-WNN網絡模型如表1。

3.2 LQPSO-WNN 預測結果及分析

本實驗在MATLAB-R2013a上進行,實驗結果采用絕對誤差(absolute percentage error,APE)和平均絕對誤差(mean absolute percentage error,MAPE)作為檢驗預測的負荷值和實際的負荷值之間差異的標準。

(12)

(13)

其中,Ai代表實際的負荷值,Pi代表預測的負荷值,n代表小時數。

表1 采用的網絡結構模型

本文任意選中其中一天24小時整點的數據作為檢驗網絡的泛化能力,分別采用QPSO-WNN和LQPSO-WNN用于負荷預測,并將得到的預測值與實際的電力負荷值作比較,得到預測結果分別如圖2和圖3所示,橫坐標為時間,縱坐標為負荷值。

圖2 LQPSO-WNN預測結果Fig.2 The result of improved QPSO-WNN

圖3 QPSO-WNN預測結果Fig.3 The result of QPSO-WNN

分析比較可知,用LQPSO-WNN方法的負荷預測值和實際值的擬合度相對較高。兩種模型的絕對誤差APE比較如表2,由表2可知,未改進的QPSO-WNN模型的最大絕對誤差達到12.452 6%,而改進之后的最大絕對誤差為5.281 1%。改進后的模型降低了負荷預測的絕對誤差。由表3可知QPSO-WNN模型MAPE為3.031 2%,而LQPSO-WNN模型的MAPE為2.381 5%。由此可以看出LQPSO-WNN模型提高了預測精度。另外,在表3中可以發現改進的模型迭代時間更短,計算效率更高。因此,本文提出的算法在進行負荷預測時具有優越性和高效性。

表2 兩種網絡結構模型的絕對誤差(APE)對比

Tab.2 Comparisons of APE between two network structures adopted

時間QPSO-WNN/%LQPSO-WNN/%111.14723.814722.54500.0998312.45262.999941.00032.999951.97973.000061.46231.122673.00002.910283.00001.102991.12261.1102100.88960.1117112.99995.2811123.74303.0001133.84621.0861143.00003.0000155.58402.9993161.57641.5576172.23890.0404183.00003.0001190.62813.0000200.54690.5469210.85060.8506220.23912.8564234.73614.7361240.76513.5889

表3 兩種網絡結構模型的迭代時間和預測誤差(MAPE)的對比

Tab.3 Comparisons of iteration time and MAPE between two network structures adopted

模型結構迭代時間MAPE/%QPSO-WNN1943.0312LQPSO-WNN1572.3815

4 總 結

本文首先對QPSO算法進行改進,提出了基于Levy飛行的LQPSO算法,該算法采用Levy飛行搜索來更新粒子位置,擴大了粒子的搜索空間,使搜索效率最大化,從而避免粒子陷入局部最優點,提高了全局搜索性能和速度,并將LQPSO算法進行訓練WNN模型。最后將訓練好的LQPSO-WNN模型應用于電力系統的負荷預測仿真試驗,負荷預測結果表明LQPSO算法在WNN的訓練中不僅具有較快的收斂速度,而且還提高了負荷預測的精度。

[1] 康重慶,夏清,劉梅.電力系統負荷預測[M].北京:中國電力出版社,2007:3-5.

[2] MOGHRAM I, RAHMAN S. Analysis and evaluation of five short-term load forecasting techniques [J]. Proceedings of the IEEE Transaction on Power Systems, 1989,4(4):1484-1491.

[3] 梁艷春,聶義勇.從科學方法論看人工神經網絡研究的發展[J].吉林大學學報(信息科學版), 2001,20 (1):59-62.

[4] ZHANG Q. BENVENISTE. A wavelet networks [J]. IEEE Transactions of Neural Networks, 1992, 3(6):889-898.

[5] ZHANG Q. Using wavelet network in non parametric estimation [J].IEEE Transactions on Neural Networks, 1997, 8(2): 227-236.

[6] SZU H, TELFER B, KADAMBE S. Neural network adaptive wavelets for signal representation and classification[J]. Optical Engineering, 1992, 36(9):1907-1916.

[7] KENNEDY J, EBERHART R C. Particle swarm optimization[C]. Proceedings of the 1995 IEEE International Conference on Neutral Networks. Piscataway, NJ: IEEE Press, 1995: 1942-1948.

[8] SUN J, FENG B, XU W.B. Particle swarm optimization with particle having quantum behavior [C].Proceedings of Congress on Evolutionary Computation, Portland, USA：IEEE Press, 2004,1: 325-331.

[9] SUN J, XU W B, FENG B. Adaptive parameter control for quantum behaved particle Swarm optimization on individual level [C].Proceedings of IEEE International Conference on Systems, Man And Cybernetics, Piscataway：IEEE Press, 2005:3049-3054.

[10] TIAN S, LIU T J. Short term load forecasting based on FBFNN and QPSO[J]. Power and Energy Conference, 2009, 4:1-4.

[11] XI M L, SUN J, XU W B. An improved quantum behaved particle swarm optimization with weighted mean best position[J]. Applied Mathematics and Computation,2008,11: 751-759.

[12] COELHO L S, NEDJAH N, MOURELLE L M. Gaussian quantum behaved particle swarm optimization applied to fuzzy PID controller design[J]. Computational Intelligence, 2008,201:1-15.

[13] PENG Y M, XIANG Y, ZHONG Y B. Quantum-behaved particle swarm optimization algorithm with levy mutated global best position[J]. Fourth International Conference on Intelligent Control And Information Processing, 2013,7:529-534.

[14] LIU C P, YE C M. Bat algorithm with the characteristics of Levy flights [J]. CAAI Transactions On Intelligent Systems, 2013, 8(1): 240-246.

[15] 劉曉勇.帶有Levy flight機制的引力搜素算法[J].計算機科學與探索,2014,8(10)1239-1245.

[16] 朱曉恩,郝欣,夏順仁.基于Levy flight的特征選擇算法[J].浙江大學學報(工學版),2013,47(4):638-643.

[17] 嚴小飛,葉東毅.基于Levy飛行的改進菌群覓食算法[J].計算機系統應用,2015,24(3): 124-132.

[18] 張前圖,房立清, 趙玉龍. 具有Levy飛行特征的雙子群果蠅優化算法[J]. 計算機應用,2015,35(5):1348-1352.

[19] RICHER T J, BLACKWELL R A. The Levy particle swarm[J].IEEE Congress on Evolutionary Computation,2006,7:808-815.

(編 輯 亢小玉)

Applying improved quantum behaved particle swarm optimization used for neural networks model to load forecasting

ZHANG Lan1,2

(1.School of Natural and Applied Sciences, Northwestern Polytechnical University, Xi′an 710129, China;2.Department of Basic, Xi′an Aeronautical Polytechnic Institute, Xi′an 710089， China)

An improved quantum particle swarm optimization algorithm based on Levy flight is proposed, which is applied to the training phase of the wavelet neural network. The flight strategy based on Levy distribution is adopted to expand the search space of particles, making it easy for the particle to escape from the local optimum. The improved quantum behaved particle swarm optimization free from some disadvantages of the conventional neural networks training process, such as being likely to run into local minimum points and slow convergence speed, enhances the generation ability of traditional neural network. Finally, the improved quantum behaved particle swarm optimization is used for the training of wavelet neural network of load forecasting model in the power system. The simulation results show that the proposed algorithm enjoys high forecasting precision.

Levy flight; quantum behaved particle swarm; neuron network; load forecasting

2015-05-11

國家自然科學基金資助項目(11471262);陜西省教育廳科研計劃基金資助項目(15JK1381)

張蘭，女，陜西西安人，博士生，從事優化算法研究。

TP183; TM 743

A

10.16152/j.cnki.xdxbzr.2016-05-004