面向突觸故障的回聲狀態網絡容錯方法研究

摘要： 在實際應用部署過程中，回聲狀態網絡中儲備池的內部突觸容易受到應用系統故障的影響而發生故障，偏離預期的性能。因此，提出一個面向突觸故障的回聲狀態網絡容錯模型。分析模型中一些故障的突觸（權重擾動）的行為特征，考慮發生故障的實際場景，采用檢測機制檢測并定位這些故障的突觸，最后通過容錯策略使其恢復。仿真實驗結果表明，針對不同特點的時間序列數據，通過容錯性能評估、統計分布和短期記憶能力對比，提出的容錯模型是有效的。此外，通過數學理論推導證明出儲備池突觸故障容錯的邊界條件。

關鍵詞： 回聲狀態網絡； 突觸故障； 容錯性； 時間序列預測； 短期記憶能力

中圖分類號： TP18

文獻標志碼： A

文章編號： 1671-6841（2024）05-0039-08

DOI： 10.13705/j.issn.1671-6841.2023029

Research on Fault Tolerance Method for Echo State Networks

Oriented to Synapse Faults

SUN Xiaochuan 1，2， GAO Jiahui 1，2， WANG Yu 1，2， LI Yingqi 1，2

（1.College of Artificial Intelligence， North China University of Science and Technology， Tangshan

063210， China; 2.Hebei Key Laboratory of Industrial Perception， Tangshan 063210， China）

Abstract： During practical application deployment， the internal synapses of reservoirs in echo state networks were susceptible to failure and deviation from the expected performance due to application system failures. Therefore， a fault-tolerant model for synaptic faults in echo state networks was proposed. There were some faulty synapses （weight perturbations） in this model. Their behavioral characteristics were analyzed， the actual scenarios in which the failures occurred were considered. A detection mechanism was used to detect and locate these faulty synapses， and finally， they were recovered by a fault-tolerance strategy. The simulation results showed that the effectiveness of the fault-tolerance model was verified by fault-tolerance performance evaluation， statistical distribution， and short-term memory capacity comparison for time series data with different characteristics. In addition， the boundary conditions of fault tolerance for reservoir synapses failures were proved by mathematical theory derivation.

Key words： echo state network （ESN）; synapse fault; fault tolerance; time series prediction; short-term memory capacity

0 引言

回聲狀態網絡（echo state network，ESN）［1］是一種典型的儲備池計算模型，在時間序列預測、故障診斷、目標跟蹤等領域得到了廣泛應用［2-4］。在ESN的建模過程中，儲備池的適應性問題最具挑戰性。目前，很多研究旨在結構方面的優化［5-7］，以獲得更好的泛化性能。然而，在實際應用任務中，如果ESN沒有內置的或經過驗證的容錯能力，就會因為關鍵部分的錯誤而造成災難性的網絡故障。因此，容錯性實際上也應當是儲備池計算適應性問題的關鍵內容，這在一定程度上決定了ESN在實際問題中的應用能力。

在實際應用中，復雜惡劣的環境（大氣輻射、放射性雜質）、溫度變化、電壓不穩定、底層半導體設備和硬件設備磨損老化等［8-10］因素都會導致軟件層面上的儲備池內部組件（突觸）發生故障，即軟件故障，影響ESN的正常計算。為了確保ESN在出現錯誤時仍能正確運行，需要一個有效的容錯設計。

容錯理論的相關研究包括被動式和主動式容錯處理，且大多數方法集中于前饋型神經網絡。例如，在被動方法中，增加冗余、改進學習/訓練算法和約束條件下的網絡優化三類方法能夠提高神經網絡固有的容錯能力。Zhao等［10］采用了四種基于算法容錯的方案用于卷積神經網絡（convolutional neural network，CNN）中的卷積運算。該方案可以在卷積運算過程中檢測并糾正硬故障和軟故障，從而提高卷積層的故障容錯能力。馬曉港等［11］通過對CNN中冗余的關鍵神經元進行復制來削弱故障神經元對神經網絡的影響。Dey等［12］將三個正則化器應用于多層感知器（multi-layer perception，MLP）網絡的訓練中，當出現鏈路故障、權重擾動時，三個正則化器通過懲罰系統誤差，改變突觸權重，從而使MLP具有魯棒性。實質上，被動容錯技術沒有故障診斷、重新學習或重新配置的過程，無法確定故障具體位置，僅僅通過神經網絡固有的冗余來掩蓋故障的影響，但這些故障仍然存在。

在主動方法中，低延遲故障檢測和恢復技術能夠確保神經網絡的容錯性。Naeem等［13］結合尖峰時序相關塑性和Bienenstock Cooper Munro學習規則建立輸入-輸出之間的映射關系，當突觸出現功能障礙時通過自我修復維持正常的映射。Liu等［14］提出了一種選擇性神經元重計算技術應用于人工神經網絡的分類問題。該技術可以識別出誤差對結果沒有影響的情況，旨在對那些分類結果不可靠的神經元進行重新計算、處理錯誤。主動容錯系統在面臨故障時，能夠通過自適應、再訓練或自我修復的機制及時給予補償，使神經網絡從故障中恢復。可見，主動容錯方法將是神經網絡容錯研究中有效的處理技術。

綜上，盡管國內外學者在神經網絡容錯問題上進行了大量卓有成效的工作，但大多研究集中于前饋型神經網絡，針對反饋型神經網絡的容錯研究相對較少，而反饋型神經網絡在計算收斂速度、聯想記憶和優化計算方面的應用具有更明顯的優勢。鑒于此，本文擬開展儲備池計算框架下的故障容忍方法研究，從權重擾動故障的角度設計儲備池容錯策略，對于完善神經網絡理論、發掘儲備池計算的應用潛力具有重要的價值和意義。最后，證明了儲備池故障的容錯能力，為構建故障容錯機制的必要性提供了理論依據。

1 儲備池容錯模型結構

本文提出了一種面向隨機突觸故障的回聲狀態網絡容錯模型（synapse random fault tolerated echo state network，SRFT-ESN）。具體地，構造了一個ESN故障模型，儲備池的內部存在一些有問題的突觸（權重擾動），考慮了三種發生故障的實際場景，并根據權重擾動的行為特征設計檢測機制來檢測并定位故障的突觸。最終利用容錯機制處理這些故障。

圖1給出了SRFT-ESN的總體結構。類似于傳統的ESN，該模型由一個輸入層、一個儲備池和一個輸出層組成，包含K個輸入神經元，N個儲備池神經元和L個輸出神經元。儲備池的狀態更新方程為

x（t+1）=f（Winu（t+1）+Wx（t）+Wbacky（t）），（1）

SRFT-ESN的輸出表達式為

y（t+1）=fout（Woutx（t+1）），（2）

其中：Win、W、Wback和Wout分別表示儲備池的輸入權重矩陣、內部權重矩陣、反饋權重矩陣和輸出權重矩陣；u（t）∈RK和x（t）∈RN分別表示網絡輸入和儲備池神經元在時間t的狀態；y（t）∈RL表示t時間的L維度的輸出；f（·）為儲備池的激活函數，通常為tanh； fout（·）表示identity激活函數。

訓練SRFT-ESN的目標是獲得最佳Wout，通常使用Moore-Penrose算法直接完成，即

Wout=X～Y=（XTX）-1XTY，（3）

其中：X=［x（1）， x（2）， …， x（nmax）］是儲備池的狀態矩陣，X～是X的廣義逆矩陣，Y=［y（1）， y（2）， …， y（nmax）］是輸出權重矩陣所對應的目標輸出。

然而，與傳統ESN不同的是，儲備池內部存在一些相對獨立的故障突觸，如圖1中虛線所示的連接，其表現要么連接短路，要么連接受到外部干擾，權值偏離預期值。基于這兩種情況，可以建模為權值始終卡死在Wmin=-1或Wmax=+1上［15］。因此，本文設計了一種再訓練的主動容錯策略，保證儲備池具備良好的映射能力。特別地，ESN的一個關鍵屬性是回聲狀態屬性（echo state property，ESP），它表征了有效的ESN動力學特性。而儲備池內部權重矩陣的絕對值最大的特征值小于1時，ESN才具有ESP。由此可見，ESP與儲備池內部狀態有直接關系。所以本文僅針對與ESN動力學特性有較大關系的內部權重進行容錯分析。

2 儲備池突觸故障容錯機制

算法1給出了突觸隨機故障容錯處理的整體流程。考慮了突觸故障隨機發生在儲備池訓練前、訓練后，以及訓練前、后并存的情況，分別在這些階段進行故障檢測和容錯處理。其中，檢測故障時調用算法2；處理故障時，調用算法3。這里，對于隨機型的故障突觸，采用其權值+1來表征。具體地，在算法1中，對于初始化的ESN，通過兩層循環依次檢測每個突觸是否存在故障，若存在故障，返回true，否則返回false（算法2的第3～10行）。當返回true時，定位這些故障連接，并依次將對應的權值設置為0（算法3的第4～14行）。之后，進行模型的訓練和Wout的求解（算法1的第7～10行）。為了兼顧訓練后發生故障，繼續調用算法2、算法3進行檢測和修復。特別地，使用while循環不斷執行訓練過程以及訓練后的容錯過程，直至訓練后的ESN經過容錯處理后不再發生錯誤。

算法1 突觸的隨機故障容錯處理

輸入： 樣本數據u（t），y（t），儲備池大小N，譜半徑λ，Win，W，Wback，狀態收集時間T和沖洗時間T0。

輸出： 權重矩陣Wout。

1. 初始化ESN（隨機初始化ESN中的權重）

2. if 算法2→true then //故障檢測

3. 算法3；//容錯

4. end

5. while （true）

6. for t=T0 to T do //開始訓練

7. 根據公式（1）更新儲備池狀態；

8. 收集網絡狀態X和輸出Y

9. end

10. 根據公式（3）求解Wout；//結束訓練

11. if 算法2 → true then //故障檢測

12. 算法3；//容錯

13. else

14. break；//訓練后無故障

15. end

16.end

算法2 突觸隨機故障檢測方法

輸入： ESN。

輸出： true or false。

1. 從故障的ESN中獲取W和儲備池大小N

2. function flag=check（ESN）；

3. for i=1 to size N do

4. for j=1 to size N do

5. if W（i， j）=+1 then

6. 返回 true；

7. else

8. 返回 false；

9. end

10. end

11.end

算法3 突觸隨機故障容錯方法

輸入： 故障的ESN。

輸出： 正常的ESN。

1. 從故障的ESN中獲取W和儲備池大小N；

2. function 正常ESN=repair（ESN）；

3. 定義故障突觸收集數組eNode；

4. for i=1 to size N；//定位故障突觸

5. for j=1 to size N

6. if W（i， j）=+1 then

7. 將（i， j）添加到eNode；

8. end

9. end

10. end

10. for s=1 to size eNode //修復故障

12. （i， j）=eNode（s）；

13. W（i， j）=0；

14. end

3 儲備池突觸容錯能力證明

突觸是連接神經元的傳輸介質，要么正確傳輸信號，要么停止傳輸（崩潰）或者傳輸任意值（拜占庭故障）的信號。由于崩潰的突觸無法傳輸信息，因此，本節考慮神經元、突觸分別發生拜占庭故障，在給出故障神經元誤差上界的基礎上，推導出容忍的邊界條件，進一步證明故障的突觸與神經元產生的誤差上界是等價的，最終，推導出容忍故障突觸的邊界條件，證明儲備池的故障容忍能力。

首先，根據突觸故障的行為特征，將其與神經元產生的錯誤聯系起來。具體地，當神經元i到神經元j的突觸連接有故障時，會影響神經元i傳輸的狀態信息，為了表征此錯誤信息，通過神經元j來傳播。為了證明，考慮儲備池狀態更新方程為

xini=∑Kk=1winkiuk+∑Nk=1wkix～k+∑Lk=1wbackkiy～k

xouti=f（xini）

Fres（U）=∑Ni=1xouti，（4）

其中：uk、xini和xouti分別是儲備池內部神經元的數據輸入、狀態輸入和狀態輸出；x～k和y～k分別是上一時刻儲備池神經元k的狀態輸出和輸出層神經元k的輸出；winki、wki和wbackki分別是儲備池神經元i的輸入權重、內部權重和反饋權重；U為任意輸入向量；Fres（·）為目標函數F（·）在連續映射空間C（［0， 1］d， ［0， 1］）中的ε-逼近，即

‖F（U）-Fres（U）‖<ε， U∈［0， 1］d。（5）

引用文獻［16］的推論，定義具有非最小儲備池的ESN由N個神經元組成，可以容忍Nfail個拜占庭故障神經元，并且能夠實現ε-逼近（ε′≤ε），即Fres（·）可以算出F（·）的ε′-逼近，即

‖F（U）-Fres（U）‖<ε′。（6）

假設Ffail（·）表示出現Nfail個故障神經元時神經函數Fres（·）的剩余部分。基于范數的三角不等式性質，對于任何輸入向量U，有

‖F（U）-Ffail（U）‖≤‖F（U）-Fres（U）‖+

‖Fres（U）-Ffail（U）‖。（7）

假設1 有界誤差假設。對于任意的輸入U，任意儲備池神經元的實際輸出為xouti+λi，這里xouti是儲備池神經元的真實輸出，λi是神經元i的誤差，則儲備池神經元的輸出在最壞的情況下存在一個統一的上界E∈R*+，即

xi+λi≤E， i∈［0， N］。

描述ESN容忍能力的引理、定理如下。

引理1 在儲備池中，有Nfail個神經元受故障的影響，每個神經元i向下一個所連接的正常神經元發送包含誤差為λi的輸出xouti+λi，而不是預期的xouti。在這種情況下，對輸出影響的上界為

‖Fres（U）-Fλ（U）‖≤NfailKwmE，

其中：Fres（U）是正常的神經元函數；Fλ（U）為誤差λi的神經元函數；wm是儲備池中最大的內部權值；K為激活函數的調諧系數。具體地，sigmoid是ESN的非線性本質，而普適性定理適用于該激活函數。本節將普適性定理的條件加到激活函數上，并認為sigmoid為K-Lipschitzian［16］。特別地，這里的誤差只傳送給正常的神經元，而故障的神經元僅傳送其本身的誤差。

證明 設Qfail為故障神經元的集合，f（·）為sigmoid函數，儲備池的狀態輸出誤差為

‖Fres（U）-Fλ（U）‖=‖∑i∈Qfailf［wi（x～i+λi）］‖，（8）

其中：wi表示與儲備池神經元i對應的權重向量。注意，這里只考慮儲備池內部神經元的錯誤影響。則根據范數三角不等式性質得到

‖Fres（U）-Fλ（U）‖≤K∑i∈Qfail‖wi（x～i+λi）‖，（9）

應用假設1和wm的定義能夠獲得儲備池的總體狀態輸出誤差上限，表示為

‖Fres（U）-Fλ（U）‖≤NfailKwmE，（10）

在最壞的故障情況下，輸入誤差達到最大值E，并且故障神經元與具有最大權值wm相連時，上述約束是緊致的。

定理1 設ε和ε′是任意兩個正實數，且0＜ε′≤ε，儲備池容忍Nfail個拜占庭故障神經元的上界為

Nfail≤（ε-ε′）/KwmE。

此外，若沒有額外約束條件，這個約束條件是緊致的。

證明 用Ffail表示儲備池中具有Nfail個拜占庭故障神經元的總體輸出，F為連續的目標函數。利用引理1得到

‖Fres（U）-Ffail（U）‖≤NfailKwmE，

結合公式（6）和（7）得到

‖F（U）-Ffail（U）‖≤ε′+NfailKwmE，

因此，為了保證

‖F（U）-Ffail（U）‖≤ε，

則最終得到的上界為

Nfail≤（ε-ε′）/（KwmE）。（11）

引理2 在儲備池中，神經元i到神經元j的突觸處產生的誤差值為λij，在最壞的情況下，等價于神經元j的傳輸誤差為KE。

證明 從神經元i到神經元j突觸中的誤差值λij在神經元j處產生一個接收和，記為xinλ，j，所用公式為

xinλ，j=∑Kk=1winkjuk+∑Nk=1，k≠iwkjx～k+

∑Lk=1wbackkjy～k+wijx～i+λij=

（∑Kk=1winkjuk+∑Nk=1wkjx～k+∑Lk=1wbackkjy～k）+λij，（12）

因此，通過激活函數的K-Lipschitzness，神經元j的輸出誤差上限為

error=φ（xinλ，j）-φ（xinj）≤

Kxinλ，j-xinj=Kλij，（13）

最壞情況下，根據假設1，傳輸誤差λij為E。

定理2 為了保證儲備池的穩健性，給出故障突觸數量的上界為

Nfail≤（ε-ε′）/KwmE，

同理，這個約束條件是緊致的。

證明 根據上述推理，首先，應用引理2，將儲備池中Nfail個突觸的失效等同于在最壞情況下儲備池中Nfail個神經元的失效。然后，應用定理2，得出結果。

4 仿真實驗與性能分析

在本節的實驗中，對模型的容錯恢復性能進行了綜合評估。所使用的數據具有不同特點、不同領域的時間序列，包括Henon Map混沌時間序列［17］、非線性自回歸移動平均（nonlinear auto regressive moving average，NARMA）系統數據［18］、多重疊加振蕩器（multiple superimposed oscillators，MSO）時間序列［19］以及由轎車移動模式產生的下行蜂窩網絡流量數據［20］。本文分別從恢復性能評估、頻譜分析、統計分布比較、短期記憶能力（memory capacity，MC）的角度對SRFT-ESN的有效性、可靠性進行了驗證，并與功能良好的ESN（well-functioning ESN，WESN）進行了對比。

4.1 數據預處理與性能評估指標

在本文實驗中，使用的Henon Map、NARMA和MSO時間序列數據均為3 000條，轎車移動模式產生的網絡流量數據為2 992條。并且，取每種數據的前50%作為訓練集，后50%作為測試集。特別地，在SRFT-ESN模型中，突觸故障是隨機產生的，且產生的數量也是隨機的，但不超過總體數量的25%。此外，對NARMA系統數據、轎車移動模式產生的網絡流量數據進行預處理。對于前者，采用高斯平滑方法，在保留數據原有特征的同時，減少異常點和噪聲。對于后者，分別采用插值法、高斯平滑處理方法和線性min-max歸一化方法。具體地，用前一時刻數據填補下一時刻缺失的數據，之后用高斯平滑法來減輕波動和異常值的影響，最后用線性min-max歸一化方法將數據按比例縮放，統一映射到［0， 1］區間上。

為評估可恢復模型的預測性能，考慮了歸一化均方根誤差（normalized root mean square error，NRMSE）、平均絕對誤差（mean absolute error，MAE）和決定系數R2三個指標。

4.2 容錯性能分析

表1給出了SRFT-ESN在多種時間序列預測任務中的容錯性能評估結果。顯然，在NRMSE、MAE、R2性能指標上，SRFT-ESN均優于WESN，意味著該模型不僅從故障模式中得到恢復，并且具有更好的非線性逼近能力，說明本文所提容錯方案具有高效性和可靠性。

圖2給出了SRFT-ESN的預測值和真實值的頻譜分析圖。從圖中可以看出，相較于原始模型，SRFT-ESN的預測結果與真實數據頻率下的幅度響應、噪聲頻譜（帶狀陰影）分布有更好的擬合（特別是在MSO、轎車產生的網絡流量預測任務中），說明在不改變拓撲結構的情況下進行容錯，模型能夠得到較好的恢復，具有更好的非線性逼近性能。

為了進一步證明所提容錯策略的有效性和可靠性，從數學統計分析的角度對模型的預測性能進行評估。圖3給出了容錯模型預測輸出的經驗累積分布函數（empirical cumulative distribution function，ECDF）分析圖。圖中x軸表示六個時間序列的真實值，y軸F（x）表示所有小于等于當前時間序列真實值的概率。從圖3可以看出，SRFT-ESN和WESN的ECDF曲線基本擬合，說明二者的預測數據分布相似，即在故障模式下，容錯模型已恢復到與原始模型相似的預測性能，證明了容錯方法的有效性。

圖4給出了兩種模型預測數據的小提琴對比圖。每個小提琴圖由一個箱型圖和位于其左右的密度跡線組成。在圖4（b）～（d）中，容錯模型與原始模型的預測輸出在密度分布軌跡、箱型圖中的中位數和四分位數上的信息具有一致性，說明二者具有相似的預測性能，驗證了模型從故障中得到修復。在圖4（a）中，SRFT-ESN的預測數據與真實數據的密度分布軌跡在整體上基本相似，僅在特殊值處略有偏差，并且二者在箱型圖上的信息基本一致，說明該模型不僅得到恢復，并且具有更好的預測性能。綜上，通過可恢復性能評估、頻譜分析以及統計分布對比結果可以得到，SRFT-ESN能夠恢復到原始的非線性逼近性能，甚至在一定程度上得到了提升，驗證了本文所提出的再訓練主動容錯方案的高效性和可靠性。

4.3 短期MC

最后，使用MC來驗證SRFT-ESN的可恢復性和有效性［15］，通過短時記憶（short-time memory，STM）來研究該模型的時間處理能力。一般來說，STM可以使輸入信號從以前的時間t開始重建。對于SRFT-ESN，設置延遲步長為k，即到達的輸入流{…， s（t-2）， s（t-1）， s（t）}產生s（t-k）的延遲任務。

則模型良好的擬合特性定義為

MCk=Cov2（s（t-k），yk（t））Var（s（t））Var（yk（t）），（14）

其中：s（t-k）表示在t時刻具有k延時輸入的預期輸出；yk（t）表示實際輸出；Cov（·）和Var（·）分別表示協方差和方差算子。

通過對所有MCk求和得到STM值，即

MC=∑kmaxk=1MCk。（15）

在STM評估試驗中，ESN的拓撲結構為1-40-1，輸入延遲為k=1， 2， … ， 40。圖5給出了所提模型在預測任務中的遺忘曲線。在每個子圖中，SRFT-ESN與WESN均在延遲至10 s時表現出接近100%的記憶能力，之后，隨著延遲增加，記憶能力開始下降。顯然，容錯模型的記憶曲線比原始模型的記憶曲線下降趨勢緩慢，在某些延遲k上，前者的記憶能力高于后者。此外，還評估了容錯模型的STM值。在Henon Map、NARMA系統、MSO時間序列以及轎車移動軌跡產生的蜂窩網絡流量預測任務中，SRFT-ESN的STM值依次為17.8685、26.2105、24.2658、33.0667，WESN的STM值依次為15.9428、24.2738、23.2050、32.6785，可以看出，SRFT-ESN的STM在四類數據上均高于WESN，這也與圖5中的結果相對應，容錯模型的記憶能力得到提升，驗證了本文所提模型的有效性和可靠性。

5 結論

針對突觸故障會導致儲備池神經元無法正常傳遞信息的問題，本文提出了一種面向突觸故障的回聲狀態網絡容錯模型。該模型中存在一些故障的突觸，考慮故障發生的實際場景，利用檢測機制檢測并定位故障的突觸，通過容錯策略使模型得到恢復。仿真實驗表明，所提容錯模型具有良好的恢復性能。

由于本文僅考慮了突觸發生故障的單一情況，并沒有將神經元和突觸同時發生故障考慮在內，而這種情況出現時對儲備池計算將造成嚴重的影響，因此，未來將設計一種能夠將二者同時容錯的ESN模型，以提升儲備池計算的可持續使用性。

參考文獻：

［1］ GAO R B， DU L， DURU O， et al. Time series forecasting based on echo state network and empirical wavelet transformation［J］. Applied soft computing， 2021， 102： 107111.

［2］ LI Z Q， TANAKA G. Multi-reservoir echo state networks with sequence resampling for nonlinear time-series prediction［J］. Neurocomputing， 2022， 467： 115-129.

［3］ ZHANG S H， SUN Z Z， WANG M， et al. Deep fuzzy echo state networks for machinery fault diagnosis［J］. IEEE transactions on fuzzy systems， 2020， 28（7）： 1205-1218.

［4］ YANG X F， ZHAO F. Echo state network and echo state Gaussian process for non-line-of-sight target tracking［J］. IEEE systems journal， 2020， 14（3）： 3885-3892.

［5］ HU R H， TANG Z R， SONG X Y， et al. Ensemble echo network with deep architecture for time-series modeling［J］.Neural computing and applications， 2021， 33（10）： 4997-5010.

［6］ LIU J X， SUN T N， LUO Y L， et al. Echo state network optimization using binary grey wolf algorithm［J］. Neurocomputing， 2020， 385： 310-318.

［7］ LI Y， LI F J. PSO-based growing echo state network［J］. Applied soft computing， 2019， 85： 105774.

［8］ LI W S， NING X F， GE G J， et al. FTT-NAS： discovering fault-tolerant neural architecture［C］∥2020 25th Asia and South Pacific Design Automation Conference. Piscataway：IEEE Press， 2020： 211-216.

［9］ 劉晶， 高立超， 孫躍華， 等. 基于知識和數據融合驅動的設備故障診斷方法［J］. 鄭州大學學報（理學版）， 2022， 54（2）： 39-46.

LIU J， GAO L C， SUN Y H， et al. Fault diagnosis method for equipment driven by knowledge and data fusion［J］. Journal of Zhengzhou university （natural science edition）， 2022， 54（2）： 39-46.

［10］ZHAO K， DI S， LI S H， et al. FT-CNN： algorithm-based fault tolerance for convolutional neural networks［J］. IEEE transactions on parallel and distributed systems， 2021， 32（7）： 1677-1689.

［11］馬曉港. 面向神經網絡的故障注入與容錯研究［D］. 湖州：湖州師范學院， 2022.

MA X G. Research on fault injection and fault tolerance oriented to neural network［D］.Huzhou： Huzhou University， 2022.

［12］DEY P， NAG K， PAL T， et al. Regularizing multilayer perceptron for robustness［J］. IEEE transactions on systems， man， and cybernetics： systems， 2018， 48（8）： 1255-1266.

［13］NAEEM M， MCDAID L J， HARKIN J， et al. On the role of astroglial syncytia in self-repairing spiking neural networks［J］. IEEE transactions on neural networks and learning systems， 2015， 26（10）： 2370-2380.

［14］LIU S S， REVIRIEGO P， LOMBARDI F. Selective neuron re-computation （SNRC） for error-tolerant neural networks［J］. IEEE transactions on computers， 2022， 71（3）： 684-695.

［15］TORRES-HUITZIL C， GIRAU B. Fault and error tolerance in neural networks： a review［J］. IEEE access， 2017， 5： 17322-17341.

［16］EL MHAMDI E M， GUERRAOUI R. When neurons fail［EB/OL］（2017-06-02）［2023-01-16］.https：∥ieeexplore.ieee.org/stamp/stamp.jsp？tp=&arnumber=7967193.

［17］PENG Y X， SUN K H， HE S B. A discrete memristor model and its application in Hnon map［J］. Chaos， solitons & fractals， 2020， 137： 109873.

［18］WAHEEB W， GHAZALI R， SHAH H. Nonlinear autoregressive moving-average （NARMA） time series forecasting using neural networks［C］∥2019 International Conference on Computer and Information Sciences （ICCIS）. Piscataway： IEEE Press， 2019： 1-5.

［19］LI Y， LI F J. Growing deep echo state network with supervised learning for time series prediction［J］. Applied soft computing， 2022， 128： 109454.

［20］RACA D， QUINLAN J J， ZAHRAN A H， et al. Beyond throughput： a 4G LTE dataset with channel and context metrics［C］∥Proceedings of the 9th ACM Multimedia Systems Conference. New York： ACM Press， 2018： 460-465.