深度回聲狀態(tài)網(wǎng)絡(luò)概述

程國建，魏珺潔

(西安石油大學(xué) 研究生院，陜西 西安 710065)

遞歸神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network，RNN)作為一種動態(tài)神經(jīng)網(wǎng)絡(luò)[1]，因?yàn)槠溆?xùn)練算法太過復(fù)雜、計(jì)算量大、訓(xùn)練網(wǎng)絡(luò)需要大量的時(shí)間，所以在實(shí)際的應(yīng)用中仍然存在很多問題[2]。2001年，Jaeger提出了一種新型的遞歸神經(jīng)網(wǎng)絡(luò)[3]——回聲狀態(tài)網(wǎng)絡(luò)(Echo State Network，ESN)，該網(wǎng)絡(luò)能夠更好的解決時(shí)序相關(guān)的動態(tài)問題。ESN的計(jì)算量小，訓(xùn)練簡單，使用過程中只需要訓(xùn)練網(wǎng)絡(luò)的輸出權(quán)值，而且僅通過線性回歸就可以完成訓(xùn)練[4]。現(xiàn)在ESN已經(jīng)應(yīng)用在許多方面，例如預(yù)測太陽黑子數(shù)量的時(shí)間序列和城市共享單車數(shù)量[5]、變風(fēng)量空調(diào)內(nèi)模控制[6]、網(wǎng)絡(luò)流量預(yù)測[7]、化工故障檢測[8]、非線性衛(wèi)星信道盲均衡[9]以及電力負(fù)荷預(yù)測[10-11]等。然而ESN也有不足，即當(dāng)輸入數(shù)據(jù)用儲備池中的回聲狀態(tài)來表示時(shí)，由于儲備池通常是一個(gè)大的隨機(jī)稀疏連接的遞歸神經(jīng)網(wǎng)絡(luò)，所以可能會存在多余的回聲狀態(tài)。這就是ESN的共線性問題。

有許多研究人員嘗試對ESN進(jìn)行優(yōu)化及改進(jìn)[12-15]，黃文華在其研究中將改進(jìn)的ESN作為熱點(diǎn)話題預(yù)測模型[16]，張寧致等人將改進(jìn)的ESN應(yīng)用在股價(jià)預(yù)測等實(shí)際問題中[17-18]。深度回聲狀態(tài)網(wǎng)絡(luò)(Deep-Echo State Network，Deep-ESN)也是一種改進(jìn)的ESN，論文所介紹的Deep-ESN模型是Qianli Ma、Lifeng Shen等人在2017年提出的一種分層儲備池計(jì)算框架[19]，為了融合每個(gè)儲備池獲得的多尺度表示，該網(wǎng)絡(luò)添加了從每個(gè)編碼器到最后一個(gè)輸出層的連接。一些時(shí)間序列的實(shí)驗(yàn)結(jié)果表明，Deep-ESN可以捕獲多尺度動力學(xué)，并且優(yōu)于標(biāo)準(zhǔn)的淺層ESN。

1 回聲狀態(tài)網(wǎng)絡(luò)

1.1 網(wǎng)絡(luò)模型

ESN是一種結(jié)構(gòu)簡單的新型RNN，它僅由輸入層、儲備池和輸出層組成[20]，如圖1。……