融合混沌與模擬退火PSO的BP神經(jīng)網(wǎng)絡(luò)模型研究

胡水源 陳以

摘? 要：考慮到BP神經(jīng)網(wǎng)絡(luò)模型和PSO粒子群優(yōu)化算法存在有的收斂速度慢及陷入局部最優(yōu)的問題，給出了基于融合混沌（Chaos）模型和模擬退火（SA）算法而設(shè)計的PSO-BP神經(jīng)網(wǎng)絡(luò)模型。將混沌模型和SA算法的優(yōu)點進行融合并對PSO算法加以改進，防止PSO算法因“早熟”而處于局部最優(yōu)，從而得出BP神經(jīng)網(wǎng)絡(luò)模型的權(quán)值與閾值集合。實例驗證結(jié)果表明，CSAPSO-BP神經(jīng)網(wǎng)絡(luò)模型的收斂性高于PSO-BP神經(jīng)網(wǎng)絡(luò)模型與SAPSO-BP神經(jīng)網(wǎng)絡(luò)模型，其平均絕對百分比誤差分別比后兩者低25.23%和14.19%。

關(guān)鍵詞：混沌模型；模擬退火粒子群；CSAPSO-BP神經(jīng)網(wǎng)絡(luò)；動態(tài)平均適應(yīng)度權(quán)重

中圖分類號：TP391；F812.42? ? 文獻標識碼：A? ? 文章編號：2096-4706（2023）08-0083-05

Abstract： Considering the problems of slow convergence speed and falling into local optimization of the BP neural network model and Particle Swarm Optimization （PSO） algorithm， a PSO-BP neural network model designed based on the fusion of Chaos （C） model and Simulated Annealing （SA） algorithm is proposed. The advantages of the Chaos model and the SA algorithm are fused and the PSO algorithm is improved to prevent the PSO algorithm from being local optimization due to “precociousness”， so as to obtain the weight and threshold set of the BP neural network model. The results of actual case verification show that the convergence of the CSAPSO-BP neural network model is higher than that of the PSO-BP neural network model and the SAPSO-BP neural network model， and the average absolute error ratio is 25.23% and 14.19% lower than the latter two respectively.

Keywords： Chaos model; simulated annealing particle swarm; CSAPSO-BP neural network; dynamic average fitness weight

0? 引? 言

神經(jīng)網(wǎng)絡(luò)因其具有強大的識別非線性系統(tǒng)的能力而被廣泛用于預測系統(tǒng)中，其神經(jīng)網(wǎng)絡(luò)的權(quán)值和閾值對模型性能影響最大。而智能優(yōu)化算法是指在滿足一定條件下，在解空間內(nèi)進行全局優(yōu)化和高效尋優(yōu)的一種優(yōu)化方法。

文獻[1]采用PSO（Particle Swarm Optimization）算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)模型的閾值和初始權(quán)值對爆破振動速度峰值進行預測，研究表明BP神經(jīng)網(wǎng)絡(luò)處理非線性關(guān)系的問題具有較好的性能，PSO算法提高了模型的預測精度。文獻[2]采用PSO算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)模型的閾值和初始權(quán)值對斜軋穿孔管型進行預測，實驗結(jié)果表明PSO算法提高了模型的預測性能。

文獻[3]將混沌算法引入到PSO算法，利用混沌序列逆映射原始全局最優(yōu)解至原始解空間，研究結(jié)果表明該方法對于傳統(tǒng)的BP算法和PSO算法具有較好的性能。文獻[4]采用混沌（Chaos， C）模型當中的Logistic映射模型對PSO算法的權(quán)重系數(shù)加以改進，從而增強了粒子群的全局搜索能力。使用修正后的PSO算法，優(yōu)化了BP神經(jīng)網(wǎng)絡(luò)模型的權(quán)值和閾值對風速數(shù)據(jù)進行預測，通過與BP神經(jīng)網(wǎng)絡(luò)算法、PSO-BP算法的預測結(jié)果加以對比，結(jié)果表明改進的PSO-BP算法的模型效果優(yōu)于其他模型。文獻[5]引入Singer混沌映射動態(tài)調(diào)整PSO算法的權(quán)重系數(shù)，使得權(quán)重系數(shù)的變化范圍為[0，1]，研究表明混沌動態(tài)權(quán)重算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)模型優(yōu)于BP神經(jīng)網(wǎng)絡(luò)模型與PSO-BP神經(jīng)網(wǎng)絡(luò)模型。文獻[6]借助混沌算法的遍歷性與隨機性，在混沌動態(tài)權(quán)重改進的基礎(chǔ)上，通過混沌思想對PSO算法迭代后的最優(yōu)粒子進行局部混沌迭代，將混沌迭代與PSO算法交替進行，研究表明這兩種算法的交替進行提高預測模型的精度。文獻[7]采用混沌模型對PSO算法當中部分適應(yīng)度最差的粒子進行混沌化，再進行粒子適應(yīng)度值計算直到達到標準，實驗結(jié)果表明其模型效果優(yōu)于原BP神經(jīng)網(wǎng)絡(luò)模型和PSO-BP神經(jīng)網(wǎng)絡(luò)模型。文獻[8]采用模擬退火（Simulated Annealing， SA）算法對PSO算法當中較大適應(yīng)度的粒子進行部分粒子接受操作，并進行退溫操作，后續(xù)重復迭代。實驗結(jié)果SAPSO算法在收斂速度和預測效果上優(yōu)于原PSO算法。文獻[9]采用SA算法對PSO算法的粒子初始位置進行隨機擾動，使其產(chǎn)生新的粒子位置，并重復進行，不斷更新粒子的全局最優(yōu)位置。文獻[10]利用SA算法對PSO算法當前全局最佳粒子進行處理，并以一定概率更新全局最優(yōu)解的位置與適應(yīng)度值，研究結(jié)果表明此種方法使得離散PSO算法的局部搜索能力和整體性能得到提高。上述文獻都能較好的提高PSO算法的性能，但是模型仍然存在“早熟”、收斂速度慢的問題。

針對以上改進的方法，本文改進結(jié)構(gòu)如圖1所示。引入基于平均適應(yīng)度的動態(tài)慣性權(quán)重對標準PSO算法進行優(yōu)化，并采用混沌模型與SA算法進行改進，彌補了PSO算法因后期全局搜索能力不足的缺點。將改進的PSO對BP神經(jīng)網(wǎng)絡(luò)模型的權(quán)值與閾值進行優(yōu)化，最后采用某地區(qū)的稅收進行實例驗證，研究結(jié)果表明CSAPSO-BP神經(jīng)網(wǎng)絡(luò)模型的稅收預測結(jié)果優(yōu)于PSO-BP神經(jīng)網(wǎng)絡(luò)模型和SA-BP神經(jīng)網(wǎng)絡(luò)模型。

2.3? 混沌模擬退火PSO算法優(yōu)化步驟

BP神經(jīng)網(wǎng)絡(luò)模型是基于梯度下降法來對權(quán)值和閾值進行更新，會陷入局部最優(yōu)解，使得模型的預測精度降低。CSAPSO-BP神經(jīng)網(wǎng)絡(luò)模型訓練流程圖如圖3所示。模型采用混沌模型與SA算法對PSO算法進行改進，對BP神經(jīng)網(wǎng)絡(luò)模型的權(quán)值和閾值進行求解，CSAPSO-BP神經(jīng)網(wǎng)絡(luò)模型有效地提高了模型預測精度與收斂速度。

3? 仿真與實例分析

3.1? 仿真實驗

本文采用非線性函數(shù)作為模型基準函數(shù)進行仿真測試，設(shè)定粒子數(shù)為20，迭代100次，模擬退火溫度1 000，降溫操作速度0.98，CSAPSO-BP神經(jīng)網(wǎng)絡(luò)隱含層為10，輸出層為100。選取的非線性函數(shù)測試公式為：

式中：X1和X2為自變量，范圍為[1，100]。

將X1和X2的取值[1，100]代入基準函數(shù)得到1 000個函數(shù)值進行仿真。通過CSAPSO-BP神經(jīng)網(wǎng)絡(luò)進行模型訓練，規(guī)定誤差值小于0.000 001，總共1 130個權(quán)值與閾值。再將X1和X2的取值[1，100]進行代入模型得到函數(shù)預測值。算法模型收斂過程如圖4所示。

由圖4可知，改進的混沌模擬退火粒子群算法的收斂速度快于模擬退火粒子群算法與基本粒子群算法，在最小均方誤差上也低于其他粒子群算法。混沌模擬退火粒子群算法最佳迭代次數(shù)為8，驗證性能為0.000 191 97，模型效果如圖5所示。

3.2? 實例驗證

為了更加全面地驗證改進的混沌模擬退火粒子群算法的性能，對于BP神經(jīng)網(wǎng)絡(luò)模型的初始連接權(quán)值與閾值選擇的問題。本文從國家統(tǒng)計局、國家稅務(wù)總局和地區(qū)稅務(wù)局獲得公開數(shù)據(jù)，取某地區(qū)5年稅收數(shù)據(jù)作為研究對象。將原始數(shù)據(jù)進行歸一化處理，使用2017年1月到2019年12月的每月數(shù)據(jù)（共36個月）作為訓練樣本，2020年1月到2022年3月的每月數(shù)據(jù)（共27個月）作為測試樣本，進行模型訓練預測，部分數(shù)據(jù)如表1所示。

為了驗證CSAPSO-BP神經(jīng)網(wǎng)絡(luò)模型的收斂性與準確性，設(shè)定其結(jié)構(gòu)為：輸入層節(jié)點為4，隱含層節(jié)點為10，輸出層節(jié)點為1，總共61個權(quán)值與閾值。分別選取基本粒子群法和模擬退火粒子群算法進行對比，部分參數(shù)選擇如表2所示。

模型預測結(jié)果對比如圖6所示：PSO-BP神經(jīng)網(wǎng)絡(luò)模型和SAPSO-BP神經(jīng)網(wǎng)絡(luò)模型在預測曲線上偏離真實值較遠，CSAPSO-BP神經(jīng)網(wǎng)絡(luò)模型接近真實曲線，CSAPSO-BP神經(jīng)網(wǎng)絡(luò)模型的預測效果優(yōu)于PSO-BP神經(jīng)網(wǎng)絡(luò)模型和SAPSO-BP神經(jīng)網(wǎng)絡(luò)模型。

由表3和圖7分析可得，CSAPSO-BP神經(jīng)網(wǎng)絡(luò)模型對稅收的預測結(jié)果誤差低于PSO-BP神經(jīng)網(wǎng)絡(luò)模型和SAPSO-BP神經(jīng)網(wǎng)絡(luò)模型，預測精度較高。且在收斂速度上也優(yōu)于其他兩種模型，表明改進的算法模型能有效地提高收斂速度。

表4結(jié)果分析在MAPE、MSE和MAE上都也相對低于PSO-BP神經(jīng)網(wǎng)絡(luò)模型和SAPSO-BP神經(jīng)網(wǎng)絡(luò)模型。在MAPE上，CSAPSO-BP神經(jīng)網(wǎng)絡(luò)模型比SAPSO-BP神經(jīng)網(wǎng)絡(luò)模型低14.19%，比PSO-BP神經(jīng)網(wǎng)絡(luò)模型低25.23%，CSAPSO-BP神經(jīng)網(wǎng)絡(luò)模型的預測結(jié)果更靠近真實值。CSAPSO-BP神經(jīng)網(wǎng)絡(luò)模型的其他評價指標都低于SAPSO-BP神經(jīng)網(wǎng)絡(luò)模型，SAPSO-BP神經(jīng)網(wǎng)絡(luò)模型的評價指標也都低于PSO-BP神經(jīng)網(wǎng)絡(luò)模型，表明了混沌模型對于PSO的局部搜索尋優(yōu)具有一定的有效性，因此SA算法也有助于改善PSO的全局搜索尋優(yōu)特性。

4? 結(jié)? 論

在混沌理論的基礎(chǔ)上，利用混沌模型求解局部最優(yōu)解的新領(lǐng)域搜索空間，進一步提升其局部最優(yōu)解能力。同時利用SA算法在PSO全局最優(yōu)解區(qū)間進行降溫操作，獲取全局最優(yōu)解，提高模型全局最優(yōu)解能力。并利用PSO-BP神經(jīng)網(wǎng)絡(luò)模型和SA-BP神經(jīng)網(wǎng)絡(luò)模型，開展了仿真對比實驗。對比結(jié)果表明，CSAPSO-BP神經(jīng)網(wǎng)絡(luò)模型收斂速度快、收斂精度也較高。在某地區(qū)稅收數(shù)據(jù)上進行實例驗證分析。實例證明，CSAPSO算法的收斂速度與精度均優(yōu)于其他模型。

參考文獻：

[1] 范勇，裴勇，楊廣棟，等.基于改進PSO-BP神經(jīng)網(wǎng)絡(luò)的爆破振動速度峰值預測 [J].振動與沖擊，2022，41（16）：194-203+302.

[2] 王清華，加世瀅，胡建華，等.基于GRA的PSO-BP神經(jīng)網(wǎng)絡(luò)斜軋穿孔管形預測 [J].鍛壓技術(shù)，2022，47（8）：88-94.

[3] 吳炬卓，陳書原，牛海清，等.混沌粒子群優(yōu)化小波神經(jīng)網(wǎng)絡(luò)在電能質(zhì)量擾動信號分類中的應(yīng)用 [J].電器與能效管理技術(shù)，2022（2）：68-73.

[4] 段新會，李文鑫.基于改進粒子群優(yōu)化神經(jīng)網(wǎng)絡(luò)的超短期風速預測 [J].自動化與儀表，2021，36（3）：76-80.

[5] 李強，車文龍.基于改進粒子群優(yōu)化神經(jīng)網(wǎng)絡(luò)的電機故障診斷 [J].電氣傳動，2020，50（1）：103-108.

[6] 成樞，馬衛(wèi)驕，高秀明，等.CPSO-BP組合優(yōu)化模型的滑坡位移預測 [J].測繪科學，2019，44（10）：65-71.

[7] 李升健，黃燦英，陳艷.基于改進PSO-BP網(wǎng)絡(luò)的配電網(wǎng)故障選線與測距 [J].沈陽工業(yè)大學學報，2019，41（1）：6-11.

[8] 甘地.一種新的基于正弦自適應(yīng)權(quán)重的模擬退火粒子群優(yōu)化算法 [J].科技創(chuàng)新與應(yīng)用，2022，12（5）：11-14.

[9] 吳金文，王玉鵬，周海波.基于模擬退火耦合粒子群算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的機床主軸熱誤差補償研究 [J].機床與液壓，2019，47（11）：92-95.

[10] 張榮光，胡曉輝，宗永勝.基于改進離散粒子群優(yōu)化的連續(xù)屬性離散化 [J].計算機工程與應(yīng)用，2017，53（18）：108-114+235.

[11] DONG X，WANG Y D，WANG Z. Intelligent Meta-Model Construction and Global Stochastic Sensitivity Analysis Based on PSO-CNN [J].Structures，2022，43：1516-1529.

[12] WANG Z P，TIAN J C，F(xiàn)ENG K P. Optimal Allocation of Regional Water Resources Based on Simulated Annealing Particle Swarm Optimization Algorithm [J].Energy Reports，2022，8：9119-9126.

[13] JING W Q，ZHEN M，GUAN H J，et al. A Prediction Model for Building Energy Consumption in a Shopping Mall Based on Chaos Theory [J].Energy Reports，2022，8：5305-5312.

[14] SHANG Y，MIAO L J，SHAN Y P，et al. A Hybrid Ultra-Short-Term and Short-Term Wind Speed Forecasting Method Based on CEEMDAN and GA-BPNN [J].Weather and Forecasting，2022，37（4）：415-428.

作者簡介：胡水源（1998—），男，漢族，湖北武漢人，碩士研究生在讀，研究方向：機器學習與智能信息處理；通訊作者：陳以（1963—），男，漢族，廣西玉林人，教授，碩士研究生導師，碩士，研究方向：智能控制、計算機應(yīng)用技術(shù)。