基于突觸鞏固機制的前饋小世界神經網絡設計

李文靜 李治港 喬俊飛

人工神經網絡是受生物神經網絡啟發而設計出來的一種數學計算模型,具有良好的容錯能力、萬能的逼近特性以及優越的自適應和自學習功能[1],同時具備高速并行處理信息的結構[2],可以解決復雜的工程問題.這些優點使得人工神經網絡成為當今最成功的人工智能模型之一[3],已廣泛地應用于眾多領域,如非線性系統建模[4-5]、數據挖掘[6-7]、計算機視覺[8-9]和自然語言處理[10-11]等.

1998 年,Watts 等[12]發現許多生物網絡、社會網絡介于隨機網絡和規則網絡之間,其拓撲結構呈現出稀疏特性,且具有較大的聚類系數和較短的平均路徑長度,并將其定義為小世界網絡.隨著人們對生物神經網絡研究的深入,借助彌散張量成像、磁共振腦功能成像等技術,研究者發現生物神經網絡在結構和功能上均呈現出小世界屬性[13-15].研究表明,生物神經網絡較短的平均路徑長度可以加快信息在網絡中的傳播速度,較大的聚類系數能夠增加網絡的容錯能力[16].盡管人工神經網絡通過構建大量節點(神經元)之間的相互連接模擬人腦的信息處理方式,但是其拓撲結構及功能與生物神經網絡仍相去甚遠.

近年來,已有很多學者嘗試將小世界屬性引入人工神經網絡設計中,旨在提高人工神經網絡的信息處理及容錯能力.前饋神經網絡(Feedforward neural network,FNN)由于結構簡單靈活[17],且可以以任意精度逼近任一連續函數[18-19],在模式識別、函數逼近等方面得到廣泛應用[20-21].目前,基于FNN的小世界神經網絡設計得到越來越多的關注.Simard 等[22]以多層感知器為基礎模型,建立了一種多層前饋小世界神經網絡,發現小世界神經網絡比規則網絡和隨機網絡有更快的學習速度和更高的精度.Li 等[23]探究了重連概率對小世界神經網絡性能的影響,發現重連概率在0.1 附近時,網絡收斂速度最快.可見,將小世界屬性融入人工神經網絡結構設計能夠提升網絡的收斂速度和泛化能力.基于此,小世界神經網絡已廣泛地應用到智能控制[24-25]、風力預測[26]、醫療診斷[27-28]、污水處理[29-30]等多個領域,取得了良好的效果.

小世界神經網絡的拓撲結構直接影響著網絡的性能.目前,構造小世界神經網絡的方法主要包括Watts-Strogatz (WS)[12]和Newman-Watts (NW)[31]兩種方式.WS 型前饋小世界神經網絡通過在FNN 上以一定概率隨機斷開相鄰層連接再進行隨機跨層重連實現小世界網絡構建,而NW 型前饋小世界神經網絡則是通過在FNN 上直接隨機跨層加邊進行小世界網絡構造.從網絡的構造方式可以看出,WS 型小世界神經網絡相比NW 型小世界神經網絡拓撲結構更加稀疏,因此得到更多學者的關注.在WS 方式構造的基礎上,不少學者通過改進其斷開或重連策略實現構造方式的優化.例如,李小虎等[32]對隨機斷開連接加以限制,即禁止斷開最后一個隱含層與輸出層之間的連接,以防止孤立神經元的產生.王爽心等[33]提出基于層連優化的小世界神經網絡的改進算法,引入了同層節點重連的策略,改善了小世界神經網絡聚類系數偏低的問題,并且發現輸入層和輸出層直接相連會造成網絡性能下降.此外,近年來研究學者在WS 構造方式的基礎上對網絡進行稀疏化,以進一步提高網絡的泛化性能.Guo等[34]提出了一種基于E-信息熵的剪枝算法用于稀疏化WS 型前饋小世界神經網絡,在一定程度上改善了因網絡結構過大而出現過擬合的問題.Li 等[30]利用節點的Katz 中心性衡量網絡中節點的重要性,刪除不重要的節點使網絡結構更加緊湊,同時提高了網絡的泛化性能.盡管以上研究通過優化網絡結構提升了網絡性能,但是在WS 型構造方式中,網絡的隨機跨層重連是在隨機斷開相鄰層間連接的基礎上實現的,而連接斷開的隨機性可能會導致網絡重要信息丟失,在一定程度上影響網絡的建模精度.

針對以上問題,本文提出一種基于突觸鞏固機制[35-36]的前饋小世界神經網絡(Feedforward smallworld neural network based on synaptic consolidation,FSWNN-SC).首先,使用正則化方法對FNN進行預訓練,基于突觸鞏固機制選擇性斷開網絡連接;其次,設計小世界網絡重連規則,同時實現網絡的稀疏化,并采用梯度下降學習算法訓練網絡;最后,通過4 個UCI 基準數據集和2 個真實數據集進行模型性能測試,并使用Wilcoxon 符號秩檢驗[37]對實驗結果進行顯著性分析.

1 背景知識

1.1 前饋神經網絡

前饋神經網絡,又稱多層感知器,采用級聯方式連接實現信息的前向傳導,其結構由輸入層、隱含層和輸出層組成,如圖1 (以4 層為例)所示.假設FNN 共包含L層,使用X表示輸入數據,yl(1≤l≤L)表示第l層輸出,FNN 各層功能及表示詳述如下.

圖1 前饋神經網絡結構示意圖Fig.1 The architecture of feedforward neural network

1)輸入層.輸入層將輸入數據導入FNN,該層神經元激活函數常采用線性的,以得到數據的原始特征.若輸入數據為n維,即X=[x1,x2,···,xn]T,則輸入層包含n個神經元,其中第i個神經元的輸出為

2)隱含層.FNN 包含至少一層隱含層,通過激活函數實現該層輸入數據的非線性映射,激活函數采用sigmoid 函數,因其導數便于計算而廣泛使用.FNN 第l(1＜l＜L)層(即第l-1 個隱含層)的第j個神經元的輸出為

3)輸出層.輸出層是隱含層輸出的集成,該層激活函數常采用線性的,進而實現對隱含層的線性加權,輸出層神經元個數視系統問題而定.以含有一個輸出神經元的FNN 為例,其輸出為

1.2 小世界屬性

1998 年,Watts 等[12]發現生物、技術和社交等網絡的連接方式介于規則網絡的“規則”和隨機網絡的“無序”之間,具有較大的聚類系數和較短的特征路徑長度等特征,將其定義為小世界網絡.圖論是描述網絡特征的重要工具,網絡可以看作一個無向圖,由節點和邊組成,則網絡的平均聚類系數AC和平均最短路徑長度AL可由式(4)和式(5)計算得到

其中,N是網絡中的節點數;Di是節點i的度,即節點i的相鄰節點數,則Di(Di-1)/2 表示這些相鄰節點理論最多連接數量;而Ei是這些相鄰節點的實際連接數量;lij表示節點i到節點j的最短距離.當網絡的聚類系數遠大于隨機網絡的聚類系數,且特征路徑長度接近于隨機網絡時,即AC ?ACrand且AL ≈ALrand時,該網絡具有小世界屬性.因此,定義小世界網絡屬性指標為

當網絡滿足η＞1 時,該網絡為小世界網絡[38].

對于前述前饋神經網絡,其連接遵循一定的規則,即相鄰層之間為全連接結構,同一層內神經元之間無連接且不存在跨層連接.因此,對任一神經元,其近鄰神經元之間不存在邊,由式(4)可得網絡聚類系數為0.通過在前饋神經網絡規則連接的基礎上進行隨機跨層重連,可生成小世界神經網絡[30,32-34].相對于規則前饋神經網絡,小世界神經網絡由于存在跨層連接,其聚類系數始終大于0,且由于位于不同層的兩個神經元之間的最短路徑減小使得其特征路徑長度減小.相對于完全隨機網絡,小世界神經網絡的拓撲結構含有隨機網絡的“無序”特性,使其特征路徑長度接近于完全隨機網絡的特征路徑長度,同時小世界神經網絡的拓撲結構仍然保留一定的“規則”連接,這使得小世界神經網絡的聚類系數遠大于完全隨機網絡的聚類系數,因此具備小世界屬性.

1.3 突觸鞏固機制

在生物神經網絡中,突觸是神經細胞之間的連接,也是細胞間信息傳遞的“橋梁”.研究表明,突觸具有可塑性,可以自主調節其連接強度,突觸的形態和功能可發生較為持久的改變.當學習特定任務時,有些突觸興奮性會增強,有些會被抑制,這就是突觸鞏固機制[39].突觸鞏固的實現依賴突觸的長時程增強(Long-term potentiation,LTP)[40]和長時程抑制(Long-term depression,LTD)[41].如果兩個神經元之間存在持久的信息傳遞,LTP 將加強它們之間的突觸連接;如果兩個神經元之間的信息傳遞弱且呈間歇性,LTD 會抑制其間突觸連接.因此,突觸鞏固機制可以選擇性地增強和削弱特定的突觸.如圖2 所示,圖2(a)是神經元與突觸模型,圖2(b)展示了突觸鞏固機制作用下突觸的變化.其中,粗線表示重要的突觸在突觸鞏固的作用下會增強其連接強度(LTP),而虛線表示不重要的突觸在突觸鞏固作用下會消失(LTD).

圖2 突觸鞏固Fig.2 Synaptic consolidation

研究者通過模擬生物神經系統的結構特征和突觸的可塑性機制,設計人工神經網絡結構及學習規則.突觸鞏固機制在人工神經網絡結構設計中也得到了廣泛應用,如模型壓縮[42]和增量學習[43]等.

2 基于突觸鞏固機制的小世界神經網絡設計

受到突觸鞏固機制的啟發,本文提出一種前饋小世界神經網絡(FSWNN-SC).首先,通過前饋神經網絡正則化對其進行預訓練,保留網絡中重要的權值連接、斷開網絡中不重要的權值連接以模擬生物神經網絡的突觸鞏固;其次,制定小世界網絡重連規則,對斷開的連接進行隨機跨層重連,實現小世界神經網絡的構造;最后使用梯度下降法對網絡進行訓練,實現網絡權值更新.

2.1 FNN 預訓練

對于規則FNN,本文首先使用網絡正則化方法對其進行預訓練,旨在通過網絡稀疏化保留網絡重要權值連接、斷開不重要的權值連接.具體步驟如下:

1)初始化.初始化網絡結構包括層數和神經元個數等參數,網絡的連接權值設置為[-1,1]區間內的隨機數.設置懲罰系數λ、網絡學習率μ、預訓練迭代步數S和重連概率P.

2)定義損失函數.即

該損失函數由兩項組成,其中第1 項E(W)為誤差項,通過式(8)計算得到

其中,M為訓練樣本數,dm與為樣本m的期望與實際輸出.第2 項λg(W)是正則化項,其中λ是懲罰系數,g(W)為Lq(0≤q ≤1)范數,即

此處分別列出q=0,1/2,1 時的計算式,即

其中,L為網絡的總層數,代表第l層的第i個神經元與第l+1 層的第j個神經元的連接權值.由于其在原點處不可導,將其在原點處進行平滑[44],即

其中,a為接近于0 的常數,本文中取值a=0.005.

3)使用梯度下降法更新網絡權值.更新式為

其中,t為迭代步數,ΔW(t)是權值變化矩陣,矩陣中第l層的第i個神經元與第l+1 層的第j個神經元的連接權值變化量可由式(15)計算得到

其中,μ是學習率,λ是懲罰系數.按照式(16)計算得到

當迭代次數達到預設步數S時,訓練停止.

4)網絡稀疏化.根據設定重連概率P,計算斷開連接數Nc.將完成預訓練后的網絡權值降序排列,設置前Nc個連接權值為0.

通過網絡預訓練,規則FNN 將按照重連概率P斷開網絡不重要的權值連接,其他權值連接被保留.

2.2 小世界神經網絡構造方法

本文對WS 重連規則進行改進,設計小世界神經網絡構造方法.

標記經過預訓練后斷開連接的神經元,假設l層的第i個神經元與l+1 層的第j個神經元之間的權值連接被斷開,起始及終止神經元分別記為和.

同時設定約束條件:輸入層與輸出層的神經元不能直接相連.

本文所提出的小世界神經網絡構造方法可以用圖3 表示,規則網絡先經過預訓練斷開網絡中不重要的連接(圖3(a)),然后按照重連規則進行跨層重連(圖3(b)),最后刪除孤立神經元(圖3(c)).

圖3 基于突觸鞏固小世界神經網絡構造流程Fig.3 Construction process of small-world neural network based on synaptic consolidation

2.3 小世界神經網絡結構描述

在規則前饋神經網絡的基礎上,本文通過以上重連規則引入跨層連接構造小世界神經網絡.兩者輸入層的數學描述相同,如式(1)所示.而由于引入了跨層連接,小世界神經網絡隱含層及輸出層的數學描述與規則前饋神經網絡有所不同.

對于隱含層,以小世界神經網絡第l(1＜l＜L)層的第j個神經元為例,其輸出通過式(18)計算得到

其中,ns表示第s層神經元的個數,f(·)為激活函數,為第s層第i個神經元與第l層的第j個神經元之間的連接權值.若不存在連接,則為0.由式(18)可以看出,第l層隱含層的輸入需要同時考慮來自前面所有層的輸出.

對于輸出層,其輸入需要同時考慮來自所有隱含層的輸出,其輸出通過式(19)計算得到

2.4 小世界神經網絡參數學習

本文使用梯度下降算法更新小世界神經網絡的連接權值.首先,基于誤差函數定義損失函數,即

其中,M是訓練樣本數,dm與分別表示樣本m的期望輸出與實際輸出.

按照式(21)更新連接權值,即

其中,t為迭代步數,ΔW為權值變化矩陣.矩陣中第l層的第i個神經元與第s層的第j個神經元的連接權值變化量可通過式(22)計算得到

其中,μ是學習率,為第l(1≤l＜s ≤L)層的第i個神經元的輸出,可由式(23)計算得到

其中,δd是第d層神經元的誤差;為第s層的第j個神經元與第d層神經元的連接權值向量;是第s層第j個神經元的輸出的導數,通過式(24)計算得到.

當迭代步數達到最大迭代步數(itermax)或訓練誤差達到均方根誤差(Root mean squared error,RMSE)的期望值RMSEd時,網絡訓練結束.

2.5 FSWNN-SC 算法流程

本文在規則前饋神經網絡的基礎上,通過網絡正則化斷開不重要的權值連接,設計網絡重連規則構造小世界神經網絡,使用梯度下降算法更新網絡權值,算法流程圖如圖4 所示.

圖4 FSWNN-SC 算法流程圖Fig.4 The flowchart of FSWNN-SC

3 實驗仿真

通過實驗仿真,本文首先研究預訓練關鍵參數(重連概率P及預訓練次數S)對實驗結果的影響,為后續實驗的參數選取提供實驗依據;其次,從建模精度及訓練時間等方面評價FSWNN-SC 模型的性能及有效性;最后,使用Wilcoxon 符號秩檢驗方法進一步驗證FSWNN-SC 模型相比于其他模型的顯著性優勢.

3.1 實驗數據

本文選取了4 個UCI 數據集[45],包括2 個分類數據集(數據集1 和數據集2)和2 個回歸數據集(數據集3 和數據集4),以及2 個真實數據集(數據集5 和數據集6)進行實驗.數據集信息如下:

1)數據集1:HTRU2.該分類數據集有17 898組樣本,8 個特征變量,1 個輸出變量(取值-1,1分別代表所屬兩種類別).抽取3 278 組樣本,正負樣本比例為1 :1.2,2 295 組樣本用于網絡訓練,983 組樣本用于網絡性能測試.

2)數據集2:Banknote Authentication.該分類數據集有1 372 組樣本,4 個特征變量,1 個輸出變量(取值-1,1 分別代表所屬兩種類別),正負樣本比例為1 :1.2492.將數據集劃分為訓練集和測試集,960 組樣本用于網絡訓練,412 組樣本用于網絡性能測試.

3)數據集3:Boston Housing.該回歸數據集有506 組樣本,13 個特征變量,1 個輸出變量.將數據集劃分為訓練集和測試集,354 組樣本用于網絡訓練,152 組樣本用于網絡性能測試.

4)數據集4:Concrete Compressive Strength.該數據集有1 030 組樣本,8 個特征變量,1 個輸出變量.721 組樣本用于網絡訓練,309 組樣本用于網絡性能測試.

5)數據集5:風速預測.風速時間序列從中國某風電場采集,采樣間隔為2011 年4 月6 日凌晨0:00 至2011 年4 月12 日凌晨0:00,采樣間隔為10 分鐘.用y(t)表示t時刻的風速值,使用y(t-5)至y(t)作為網絡輸入,預測下一時刻的風速值,即y(t+1)網絡輸出.697 組樣本用于網絡訓練,299組樣本用于網絡性能測試.

6)數據集6:出水生化需氧量(Biochemical oxygen demand,BOD)濃度預測.該數據來自北京市某污水處理廠,共包含365 組數據,輸入變量包括:a)出水總氮;b)出水氨氮;c)進水總氮;d)進水BOD;e)進水氨氮;f)出水磷酸鹽;g)混合液懸浮固體(Mixed liquid suspended solids,MLSS);h)溶解氧(Dissolved oxygen,DO);i)進水磷酸鹽;j)進水化學需氧量(Chemical oxygen demand,COD).輸出變量為出水BOD 濃度.265 組樣本用于網絡訓練,100 組樣本用于網絡性能測試.

為了消除特征向量之間量級不同導致的影響,對6 個實驗的數據集都進行歸一化處理,特征變量歸一化至[-1,1],輸出變量歸一化至[0,1].

3.2 實驗設置

本文選取基于L1/2范數(即q=1/2 )的正則化方法進行網絡預訓練,進而構建FSWNN-SC 網絡.實驗設置超參數,包括網絡結構、預訓練懲罰系數λ、學習率μ、最大迭代步數itermax和期望均方根誤差RMSEd等,詳見表1.

表1 實驗超參數設置Table 1 Setting of the hyperparameters in experiments

本文使用分類精度(Accuracy,Acc)和標準均方根誤差(Normalized root mean squared error,NRMSE)分別評價模型對分類和回歸實驗的建模精度,具體定義為

其中,K是分類問題中的類別總數,TPk是第k個類別下真陽性樣本總量;M是樣本總量,dm和ym分別為第m個樣本的期望輸出與實際輸出,是網絡期望輸出的均值.可見,Acc反映了網絡分類準確性,Acc越大,網絡性能越好;NRMSE反映了網絡實際輸出與期望輸出之間的誤差大小,NRMSE越小,網絡性能越好.

此外,由于預訓練后可能會產生孤立節點,本文提出的FSWNN-SC 在刪除孤立節點后,會產生一定的稀疏化作用.為了評價模型的稀疏化程度,定義稀疏度指標為

其中,NI是網絡初始狀態下非零權值的數量,NF是訓練結束后網絡中非零權值的數量.SP越小表示稀疏化程度越高;反之,SP越大,稀疏化程度越低.

本文實驗所使用的軟件為MATLAB R2021b,操作系統為Windows11,CPU 為AMD 5800H 16 GB.

3.3 預訓練參數影響分析

3.3.1 重連概率P對小世界屬性的影響

如第2.1 節所述,在預訓練過程中,重連概率P決定了預訓練后需要斷開并進行重連的連接邊數Nc,直接影響網絡的小世界屬性.本文通過計算不同P取值情況下的小世界網絡屬性η值,來研究重連概率P對網絡小世界屬性的影響.

在本研究中,重連概率P定義為重連邊數Nc與最大可重連邊數Nmax的比值,即

其中,最大重連邊數Nmax取值為可斷開邊數Nd和可跨層重連邊數Nr的最小值,即

其中,

其中,nl代表第l層的神經元個數.當重連概率P=1 時,規則前饋神經網絡變為隨機網絡,神經網絡的小世界屬性根據式(6)計算得出.

本文在[0,1]范圍內,對P進行不同取值,計算相應重連概率下的小世界屬性η值,在各數據集上進行驗證,畫出P-η曲線,如圖5 所示.由圖5 可見,在各實驗中,隨著重連概率P的增大,η值均呈現先增大后減小的趨勢,一般在P=0.5 左右,η達到峰值.基于以上實驗結果,為了保障所建立模型具有較好的小世界屬性,本文中設置重連概率P=0.5.

圖5 網絡小世界屬性η與重連概率P的關系曲線(P-η曲線)Fig.5 The curves for the relationship between the small-world propertyηand the rewiring probabilityP (P-ηcurves)

3.3.2 預訓練次數S對模型精度的影響

本文在[1,5 000]范圍內對預訓練次數S進行取值,計算不同預訓練次數下建模精度指標,以研究預訓練次數對網絡性能的影響,繪制曲線如圖6所示.

圖6 預訓練次數對網絡性能的影響Fig.6 Influence of pre-training epochs on network performance

在分類問題(數據集1 和數據集2)中,隨著預訓練次數的增加,測試集的Acc 逐漸減小;在回歸問題(數據集3～6)中,隨著預訓練次數的增加,測試集的NRMSE 逐漸增大.可見,預訓練次數的增加將會導致網絡性能變差.因此,為了保證網絡性能,本文設置預訓練次數S為較小值,取值S=20.

3.4 FSWNN-SC 網絡性能測試

本文使用6 個數據集,分別從訓練過程和測試結果對提出的FSWNN-SC 網絡的性能進行評價.FSWNN-SC 網絡訓練過程RMSE 曲線如圖7 所示.可見,在訓練過程中,當迭代步數達到設定的預訓練次數時,網絡按照重連規則結構發生變化以構造小世界神經網絡,訓練RMSE 發生一次跳變,之后快速下降直至網絡收斂.

圖7 訓練過程RMSE 曲線Fig.7 The RMSE curves in the training process

FSWNN-SC 網絡對測試樣本的分類和預測效果如圖8 所示.可見,對于分類問題,FSWNN-SC網絡能夠達到較高的分類精度;對于回歸問題,FSWNN-SC 網絡能夠較好地對輸出進行擬合,實驗結果驗證了FSWNN-SC 網絡的有效性.

圖8 測試集樣本擬合與分類效果Fig.8 Test set sample fitting and classification effects

為了進一步研究FSWNN-SC 網絡的性能,本文將其與多層前饋神經網絡(FNN)、基于WS 重連規則構造的前饋小世界神經網絡(FSWNN-WS)[32]、基于層連優化的新型小世界神經網絡(FSWNNTO)[33]、基于Katz 中心性剪枝的前饋小世界神經網絡(PFSWNN-Katz)[30]、基于正則化(L1/2范數)的刪減型小世界神經網絡(PFSWNN-SL)等模型性能進行對比.所有網絡設置相同的初始結構,小世界神經網絡的構造過程重連概率均設置為P=0.5,網絡學習率、期望RMSE 和最大迭代次數均按照表1 進行設置.實驗獨立運行20 次,通過計算各模型的測試Acc 和測試NRMSE 等性能指標評價模型精度,記錄訓練時間對模型的學習速度進行評價,同時計算網絡稀疏度,實驗結果見表2 和表3.

表2 分類實驗結果對比Table 2 Comparison results in classification experiments

表3 回歸實驗結果對比Table 3 Comparison results in regression experiments

從表中可以看出,相比于其他網絡,FSWNNSC 網絡在分類問題中具有更高的分類精度,在回歸問題中具有更小的測試NRMSE,說明FSWNNSC 能夠獲得更好的建模精度.FSWNN-SC、PFSWNN-SL 和PFSWNN-Katz 模型具有網絡稀疏性,其中FSWNN-SC 模型通過在網絡重連過程中刪除產生的孤立節點實現稀疏化,而PFSWNN-SL和PFSWNN-Katz 是在學習過程中分別通過網絡正則化和合并節點實現網絡稀疏化,實驗驗證網絡稀疏化能夠獲得相對于FSWNN-WS 和FNN 更緊湊的結構,然而其訓練時間也相應增加.雖然FSWNNSC 的稀疏化程度要低于PFSWNN-SL 和PFSWNN-Katz,但是其訓練時間相對于PFSWNNSL 和PFSWNN-Katz 縮短,更接近于FSWNNWS 和FNN 的訓練時間.相比于FSWNN-TO,FSWNN-SC 的訓練時間明顯短,因為FSWNN-SC 沒有引入同層節點連接,在權值更新時FSWNN-SC的誤差反傳“路徑長度”比FSWNN-TO 短.同時,通過對比FNN 與其他5 個具有小世界屬性的網絡,驗證了將小世界屬性加入神經網絡模型的設計中,能夠提高模型精度.綜上所述,通過對比實驗分析可見,本文提出的FSWNN-SC 網絡在獲得緊湊網絡結構的同時,具有更高的建模精度.分析其原因,FSWNN-SC 網絡優越的建模精度依賴于其預訓練環節,該環節模仿生物神經網絡的突觸鞏固過程,通過網絡正則化方法保留了重要的權值連接并斷開了不重要的權值連接,使該階段網絡所學到的知識得以保留,可以有效避免災難性遺忘問題.

3.5 Wilcoxon 符號秩檢驗

為了進一步驗證本文所提出模型是否具有顯著優勢,對第3.4 節的實驗結果進行Wilcoxon 符號秩檢驗.它是一種非參數檢驗方法,可以評估多個事件下兩個模型是否有顯著性差異[46],具體流程如下.

步驟 1.提出原假設H0:兩個模型之間沒有顯著性差異.

步驟 2.對于多個事件,通過式(32)和式(33)分別計算正負秩

其中,di是第i個事件下兩個模型的差異,本文通過精度性能指標的差值計算得到,rank(·)表示降序排名的名次.基于此得到Wilcoxon 統計量,為正負秩兩者中的較小值,即

步驟 3.通過Wilcoxon 統計量計算得到Z的臨界值,計算式為

其中,N是事件數,通過查正態分布Z值表得到對應的Pw,若Pw＞0.05,則接受原假設H0,反之,則拒絕原假設,即兩個模型間存在顯著性差異,且Pw值越小差異越顯著.

針對第3.4 節中的實驗結果進行Wilcoxon 符號秩檢驗,其中事件數為實驗獨立運行的次數20,分別對比FSWNN-SC 模型與其他5 種模型的性能,檢驗結果如表4 所示(*表示存在顯著性差異).由表4 可見,本文提出的FSWNN-SC 模型在精度上顯著優于其他5 種模型.此外,本文實驗中,FSWNNSC 在不同場景、不同任務(分類、回歸)下表現出的顯著優越性,反映了該模型對不同應用環境的適應性及可塑性,同時在實際應用中的準確建模反映了其具有一定的抗擾性.

4 結束語

針對WS 構造小世界神經網絡方式中隨機斷開規則網絡中的權值連接,可能會造成重要信息丟失,進而導致網絡精度下降的問題,本文提出了FSWNNSC 模型.該模型具有以下特點:

1)FSWNN-SC 模型使用正則化方法對FNN進行預訓練,斷開對網絡不重要的權值連接,以減少重要信息丟失的概率,并制定了重連規則構造小世界神經網絡,保證構造的小世界神經網絡的性能;

2)FSWNN-SC 模型通過在網絡重連過程中刪除產生的孤立節點實現網絡稀疏化,能夠獲得緊湊的網絡結構;

3)實驗結果表明,相比于PFSWNN-SL、PFSWNN-Katz、FSWNN-TO、FSWNN-WS 以及FNN,FSWNN-SC 在獲得緊湊結構的同時,在模型精度方面具有顯著優勢.