基于改進(jìn)回聲狀態(tài)網(wǎng)絡(luò)的居民消費(fèi)價(jià)格指數(shù)預(yù)測研究

楚旭

摘 要：對居民消費(fèi)價(jià)格指數(shù)（CPI）做出準(zhǔn)確的預(yù)測，能夠?yàn)閲一虻貐^(qū)相關(guān)部門在制定合理的發(fā)展規(guī)劃以及對資源進(jìn)行優(yōu)化配置時(shí)提供重要依據(jù)。早期研究者主要采用計(jì)量經(jīng)濟(jì)模型、時(shí)間序列模型對CPI進(jìn)行預(yù)測。

本文分析了回聲狀態(tài)網(wǎng)絡(luò)預(yù)測模型和小世界網(wǎng)絡(luò)結(jié)構(gòu)。包括ESN的訓(xùn)練過程、儲(chǔ)備池的關(guān)鍵參數(shù)和小世界網(wǎng)絡(luò)的數(shù)學(xué)模型。然后，構(gòu)建具有小世界特性的小波回聲狀態(tài)網(wǎng)絡(luò)預(yù)測模型（SW-W-ESN）。同時(shí)，儲(chǔ)備池是ESN的核心部分，改進(jìn)回聲狀態(tài)網(wǎng)絡(luò)對CPI的預(yù)測更為準(zhǔn)確，在宏觀經(jīng)濟(jì)調(diào)控方面更具有科學(xué)性和可行性。

關(guān)鍵詞：回聲狀態(tài)網(wǎng)絡(luò);居民消費(fèi)價(jià)格指數(shù);小世界網(wǎng)絡(luò);小波函數(shù)

一、具有小世界特性的小波回聲狀態(tài)網(wǎng)絡(luò)預(yù)測模型

傳統(tǒng)的回聲狀態(tài)網(wǎng)絡(luò)儲(chǔ)備池是隨機(jī)生成的，神經(jīng)元之間耦合很強(qiáng)，預(yù)測能力受限。使用小世界網(wǎng)絡(luò)結(jié)構(gòu)取代傳統(tǒng)的隨機(jī)結(jié)構(gòu)，避免了模塊化結(jié)構(gòu)。不同的群集包含不同數(shù)量的神經(jīng)元，不同類型的神經(jīng)元，豐富了儲(chǔ)備池神經(jīng)元，增強(qiáng)了儲(chǔ)備池信息處理能力。因此，使用小世界網(wǎng)絡(luò)代替儲(chǔ)備池傳統(tǒng)的隨機(jī)結(jié)構(gòu)。小波函數(shù)具有良好的局部特性和變換特性，在儲(chǔ)備池達(dá)到一定規(guī)模時(shí)，可擴(kuò)展儲(chǔ)備池的狀態(tài)空間，有助改善儲(chǔ)備池的非線性逼近能力。

1.具有小世界特性的回聲狀態(tài)網(wǎng)絡(luò)儲(chǔ)備池設(shè)計(jì)

本文提出了一種簡單的小世界網(wǎng)絡(luò)構(gòu)造方法，可以直接生成儲(chǔ)備池連接矩陣。生成過程分為以下幾步：

新方法可以簡單、直接、快速生成連接矩陣作為ESN儲(chǔ)備池結(jié)構(gòu)，在實(shí)際應(yīng)用中，在保證預(yù)測精度的前提下，降低預(yù)測工具的使用復(fù)雜度是很有意義的。

2.小波神經(jīng)元分析

儲(chǔ)備池神經(jīng)元通常使用Sigmoid函數(shù)作為激勵(lì)函數(shù)限制了傳統(tǒng)ESN儲(chǔ)備池激勵(lì)函數(shù)的類型，減弱了ESN處理復(fù)雜特征的能力。小波神經(jīng)元的激活函數(shù)是由一個(gè)小波母函數(shù)經(jīng)過伸縮和平移變換后得到的，用其替換部分Sigmoid函數(shù)。因此，每個(gè)小波神經(jīng)元具有不同的激活函數(shù)，從而豐富了儲(chǔ)備池的存儲(chǔ)和轉(zhuǎn)換功能，并提高了儲(chǔ)備池的記憶功能。本文選用Symlets小波作為母小波，其數(shù)學(xué)形式表示為：

對每一個(gè)小波神經(jīng)元使用不同的伸縮和平移因子，Symlets 小波產(chǎn)生的小波函數(shù)系為：

最后，ESN的儲(chǔ)備池狀態(tài)的更新方程定義如下：

這樣，儲(chǔ)備池神經(jīng)元類型就在S型神經(jīng)元的基礎(chǔ)上增加了小波神經(jīng)元，而且不同的小波神經(jīng)元可以通過小波基函數(shù)拓展為不同的函數(shù)形式，極大地豐富了神經(jīng)元類型。

3.SW-W-ESN組合預(yù)測模型

SW-W-ESN預(yù)測模型通過使用小世界網(wǎng)絡(luò)結(jié)構(gòu)代替?zhèn)鹘y(tǒng)ESN儲(chǔ)備池隨機(jī)結(jié)構(gòu)并同時(shí)使用Sigmoid函數(shù)和小波函數(shù)作為激勵(lì)函數(shù)的改進(jìn)回聲狀態(tài)網(wǎng)絡(luò)預(yù)測模型。首先，確定儲(chǔ)備池規(guī)模N以及小世界群集數(shù)Q。本研究中，選取Sigmoid函數(shù)或Symlets函數(shù)，至此，具有小世界網(wǎng)絡(luò)特征和小波激勵(lì)函數(shù)的儲(chǔ)備池構(gòu)建完成，然后使用訓(xùn)練數(shù)據(jù)集對SW-W-ESN預(yù)測模型進(jìn)行訓(xùn)練，訓(xùn)練獲得對應(yīng)的輸出權(quán)值矩陣，對測試集數(shù)據(jù)進(jìn)行預(yù)測，對每組數(shù)據(jù)集進(jìn)行50次試驗(yàn)，最后將50次試驗(yàn)獲得的MAPE和MSE的平均值作為模型最后的輸出。

SW-W-ESN組合預(yù)測模型流程如下所示：

（1）讀取數(shù)據(jù)，對數(shù)據(jù)進(jìn)行預(yù)處理，將標(biāo)準(zhǔn)化后的數(shù)據(jù)分別劃分為訓(xùn)練集和測試集，訓(xùn)練集和測試集的數(shù)量比一般設(shè)為7：3。

（2）構(gòu)建具有小世界特性的ESN儲(chǔ)備池。

（3）確定各群集的神經(jīng)元類型。

（4）使用測試集對SW-W-ESN預(yù)測模型進(jìn)行測試，確定最優(yōu)的輸出權(quán)值矩陣。

（5）使用經(jīng)過訓(xùn)練的SW-W-ESN模型預(yù)測驗(yàn)證集數(shù)據(jù)。記錄預(yù)測值與期望值的MAPE和MSE。

（6）50次重復(fù)試驗(yàn)，輸出MAPE和MSE的平均值。

二、居民消費(fèi)價(jià)格指數(shù)預(yù)測

在第1章中，得到了改進(jìn)的回聲狀態(tài)網(wǎng)絡(luò)預(yù)測模型——SW-W-ESN預(yù)測模型，并從理論上分析了改進(jìn)的科學(xué)性和可行性。在本章中，將SW-W-ESN模型應(yīng)用到實(shí)際問題中，對CPI進(jìn)行預(yù)測。

1.預(yù)測精度衡量指標(biāo)

常見的誤差評(píng)判方法有：平均誤差（ME）、平均百分誤差（MPE），平均絕對百分誤差（MAPE）和均方誤差（MSE）;然而，ME和MPE不能有效地反映預(yù)測效果，因?yàn)檎?fù)誤差會(huì)抵消，使平均值總是接近于零。MAPE雖未能考慮到誤差方向，但確實(shí)能夠很好地反映預(yù)測效果。如果實(shí)際值達(dá)到0或接近0，誤差會(huì)被放大，本研究選擇MSE作為精度評(píng)判標(biāo)準(zhǔn)更合適。MSE本質(zhì)上是預(yù)測誤差的樣本標(biāo)準(zhǔn)偏差（沒有任何自由度調(diào)整），假設(shè)較大的預(yù)測誤差比較小的預(yù)測誤差更重要，所以算例選取MAPE和MSE來評(píng)價(jià)模型的預(yù)測性能。

2.基于SW-W-ESN的居民消費(fèi)價(jià)格指數(shù)預(yù)測

（1）數(shù)據(jù)來源

2000年1月-2019年4月全國CPI指數(shù)具體數(shù)據(jù)。數(shù)據(jù)來源：http：//data.eastmoney.com/cjsj/consumerpriceindex.aspx？p=1。

（2）對比預(yù)測模型和數(shù)據(jù)集劃分

SW-W-ESN模型的預(yù)測效果與儲(chǔ)備池規(guī)模N、群集個(gè)數(shù)Q、小波神經(jīng)元所占比例P有關(guān)，在第1章中提到，參數(shù)的設(shè)置方法可以通過實(shí)際應(yīng)用中的經(jīng)驗(yàn)給出或者通過尋優(yōu)得到。針對這些參數(shù)設(shè)置對比實(shí)驗(yàn)，儲(chǔ)備池規(guī)模N取值為{100，150，200}群集個(gè)數(shù)Q取值為{2，3，4，5}，小波神經(jīng)元P取值為{25%，50%，75%}，確定具有較優(yōu)參數(shù)的SW-W-ESN預(yù)測模型;然后將SW-W-ESN模型與傳統(tǒng)ESN模型的預(yù)測效果進(jìn)行對比;最后，與只進(jìn)行單一改進(jìn)的模型進(jìn)行對比。

對比驗(yàn)證選取的數(shù)據(jù)為2000年1月至2018年9月全國各月CPI數(shù)據(jù)，共有220個(gè)數(shù)據(jù)點(diǎn)，數(shù)據(jù)分為兩個(gè)部分：訓(xùn)練集（156個(gè)數(shù)據(jù)點(diǎn)）和測試集（52個(gè)數(shù)據(jù)點(diǎn)），訓(xùn)練集用來對生成的網(wǎng)絡(luò)進(jìn)行訓(xùn)練得到輸出權(quán)值，最后用測試集數(shù)據(jù)來檢測模型的預(yù)測效果。本文采用單步預(yù)測策略，前12個(gè)數(shù)據(jù)預(yù)測第13個(gè)數(shù)據(jù)，則訓(xùn)練集中共有156組訓(xùn)練樣本，測試集中共有52組測試樣本。

（3）參數(shù)設(shè)置及結(jié)果分析

對于本文提出的SW-W-ESN模型，最重要的三個(gè)參數(shù)是儲(chǔ)備池規(guī)模N、小世界網(wǎng)絡(luò)群集個(gè)數(shù)Q、小波神經(jīng)元所占比例P。

（4）預(yù)測模型驗(yàn)證分析

通過對比實(shí)驗(yàn)，發(fā)現(xiàn)當(dāng)儲(chǔ)備池規(guī)模為150，群集個(gè)數(shù)為3，小波神經(jīng)元所占比例為1/3時(shí)，預(yù)測效果最好。

為了驗(yàn)證SW-W-ESN預(yù)測模型的改進(jìn)能夠提高原始模型的預(yù)測精度，分別用ESN、SW-ESN和W-ESN三種不同的模型作為對比。儲(chǔ)備池規(guī)模相同的情況下，SW-ESN模型的群集個(gè)數(shù)為3，W-ESN模型中小波神經(jīng)元所占比例為1/3。

從表3和圖2可以得到以下幾點(diǎn)結(jié)論：

（1）本實(shí)驗(yàn)選取了一組變化規(guī)律十分復(fù)雜的時(shí)間序列，四種模型都實(shí)現(xiàn)了高精度預(yù)測，說明傳統(tǒng)ESN模型和改進(jìn)后的ESN都能對游客到達(dá)人數(shù)進(jìn)行精準(zhǔn)的預(yù)測;

（2）對傳統(tǒng)ESN模型進(jìn)行單一的改進(jìn)均能提升預(yù)測效果，但提升幅度有限;相對于傳統(tǒng)ESN模型，W-ESN模型的MAPE和MSE分別降低3.34%、3.18%，SW-ESN模型的MAPE和MSE分別降低4.61%、4.28%;

（3）預(yù)測精度提升明顯，使用SW-W-ESN模型進(jìn)行預(yù)測，取得的MAPE和MSE分別降低22.44%、33.84%;說明同時(shí)改進(jìn)具有意義且優(yōu)于單一改進(jìn)。

（4）看出傳統(tǒng)ESN模型和SW-W-ESN模型預(yù)測能力的異同。在一次預(yù)測多個(gè)數(shù)據(jù)點(diǎn)的時(shí)候，大多數(shù)模型的預(yù)測精度會(huì)越來越低，但這兩個(gè)模型在對50個(gè)月度數(shù)據(jù)進(jìn)行預(yù)測時(shí)，預(yù)測精度并沒有明顯的降低，只是后期的預(yù)測值趨于平穩(wěn)，不具備對峰值數(shù)據(jù)的精準(zhǔn)預(yù)測能力，這說明兩種模型具有很強(qiáng)的預(yù)測穩(wěn)定性，可以進(jìn)行長期預(yù)測;SW-W-ESN模型的預(yù)測值全面優(yōu)于傳統(tǒng)ESN模型。

三、結(jié)論

在ESN儲(chǔ)備池中引入具有小世界特性的網(wǎng)絡(luò)結(jié)構(gòu)代替?zhèn)鹘y(tǒng)的隨機(jī)網(wǎng)絡(luò)結(jié)構(gòu)，避免了隨機(jī)網(wǎng)絡(luò)節(jié)點(diǎn)之間耦合性強(qiáng)、計(jì)算能力有限的缺點(diǎn)。同時(shí)使用小波神經(jīng)元和S型神經(jīng)元，使得儲(chǔ)備池神經(jīng)元具有良好的局部特性和變換特性。構(gòu)建SW-W-ESN模型，設(shè)置對比試驗(yàn)，得到預(yù)測效果較好時(shí)的儲(chǔ)備池規(guī)模和群集個(gè)數(shù)。選取了一組變化規(guī)律十分復(fù)雜的時(shí)間序列，使用ESN模型、W-ESN模型、SW-ESN模型和SW-W-ESN模型進(jìn)行預(yù)測，結(jié)果顯示，SW-W-ESN模型的預(yù)測精度明顯高于其他三種模型，同時(shí)對兩者進(jìn)行改進(jìn)時(shí)，預(yù)測精度有了明顯的提升，說明這兩種改進(jìn)的組合是有意義的，有互相促進(jìn)的作用，其預(yù)測精度的提升幅度明顯高于兩種單一改進(jìn)模型的提升幅度之和，而且SW-W-ESN模型很強(qiáng)的預(yù)測穩(wěn)定性，可以進(jìn)行長期預(yù)測。

參考文獻(xiàn)：

[1]Akin M. A novel approach to model selection in tourism demand modeling[J].Tourism Management，2015，48：64-72.

[2]Bao G，Zeng Z G.Global asymptotical stability analysis for a kind of discrete-time recurrent neural network with discontinuous activation functions[J].Neurocomputing，2016，193（1）：242-249.

[3]Boccato L，Diogo C，Attux R，F(xiàn)ernando J.Performance analysis of nonlinear echo state network readouts in singal processing tasks[C].Proceeding of WCCI 2012 IEEE World Congress on Computational Intelligence，2012：1-8.

[4]Cang S.A non-linear tourism demand forecast combination model [J].Tourism Economics，2011，17（1）：5-20.

[5]Jaeger H. The “Echo State” Approach to Analysing and Training Recurrent Neural Networks - with an Erratum note[R].German National Research Center for Information Technology，2010：148-156.

[6]Jan A，Hiu F C. A wavelet neural network conjunction model for groundwater level forecasting[J].Journal of Hydrology，2011，407：28-40.

[7]Kim C I，Yu I K，Song Y H. Kohonen neural network and wavelet transform based approach to short-term load forecasting[J].Electric Power Systems Research 2002，63：169-176.

[8]Li D C，Han M. Chaotic time series prediction based on a novel robust echo state network[J].IEEE Transactions Neural Networks Learning Systems，2012，23：787-799.

[9]Li G，Niu P，Zhang W，Zhang Y.Control of discrete chaotic systems based on echo state network modeling with an adaptive noise canceler[J].Knowledge-Based Systems，2012，35： 35-40.

[10]Wang S，Yang X J，Wei C J.Harnessing nonlinearity by sigmoid-wavelet hybrid echo state networks[C].The 6th World Congress on Intelligent Control and Automation，2006，WCICA 2006.Piscataway，NJ 08855-1331，2006，1：3041-3018.

[11]Zheng P S，Tang W S，Zhang J X. A simple method for designing efficient small-world neural networks[J].Neural Networks，2010，23（2）：155-159.

[12]薄迎春，喬俊飛，張昭昭.一種具有small world特性的ESN結(jié)構(gòu)分析與設(shè)計(jì)[J].控制與決策，2012，27（3）：383-388.

[13]黎倩.回聲狀態(tài)網(wǎng)絡(luò)的神經(jīng)元模型和拓?fù)浣Y(jié)構(gòu)優(yōu)化研究[D].重慶：重慶大學(xué)圖書館，2017.

[14]羅熊，黎江，孫增圻.回聲狀態(tài)網(wǎng)絡(luò)的研究進(jìn)展[J].北京科技大學(xué)學(xué)報(bào)，2012，34（2）：217-222.

[15]楊飛，方濱興，王春露，左興權(quán)，李麗香，平源.基于小波和回聲狀態(tài)網(wǎng)絡(luò)的交通流多步預(yù)測模型[J].吉林大學(xué)學(xué)報(bào)（工學(xué)版），2013，43（3）：646-653.