分數階非因果BP神經網絡模型

黃晶晶，王建宏

南通大學 理學院，江蘇 南通 226019

BP神經網絡是一種按照誤差逆向傳播算法訓練的多層前饋神經網絡，是應用最廣泛的神經網絡，被廣泛應用于預測[1]、分類模式識別[2]等方面。但是，BP神經網絡有著收斂速度慢、耗時較長等缺陷。近年來，出現了很多對BP神經網絡進行優化的成果[3-7]。特別地，分數階的記憶性和遺傳性在一定程度上彌補了神經網絡的不足。從理論角度出發，分數階BP算法的誤差函數具有單調性和收斂性，數值模擬的結果也成功驗證了這項理論[5]。此外，分數階BP算法已被成功運用于實際應用中，例如：對分類數據集進行處理，能夠得到比整數階BP算法更高的分類準確率[5]，且有良好的泛化能力[6]；能夠提高預測的科學性和準確性，具有更高的預測精度[7]。由此可見，分數階微積分對BP神經網絡有很好的優化效果。

分數階微積分[8]這一重要的數學分支誕生在1695年，幾乎和經典微積分同時出現。目前，常見的分數階微積分定義有Riemann-Liouville（RL）定義、Grünwald-Letni kov（GL）定義、Caputo定義[9]。近一些年分數階微積分的理論被成功應用到基礎研究和工程應用中，例如圖像處理、信號處理[10]。隨著對分數階微積分的應用研究的發展，一些研究者將分數階微積分理論與因果、反因果、非因果信號處理技術相結合[11]，得出了分數階因果、反因果、非因果微積分的定義。因果系統為線性時不變系統中一類非常重要的系統，其輸出信號由輸入信號的現在和過去時刻決定，得到的輸出信號為因果信號。相反，反因果系統是指輸出信號只與輸入信號的現在和將來時刻有關系的系統，其輸出輸入信號為反因果信號。此外，若輸出信號依賴于輸入信號的現在、過去和將來時刻的輸入，這樣的系統稱為非因果系統，其輸出輸入信號為非因果信號。非因果系統常在控制理論和信號處理中被提到[12-13]。分數階非因果微積分實質上是分數階因果和反因果微積分的加權和。它在保留分數階的靈活性的情況下，擁有和整數階導數相同的相頻特性[14]。因此，從理論上來說分數階非因果微積分較優。此外，將其用于圖像去噪能在有效平滑噪聲的同時抑制相位偏移[11]；將其用于檢波具有較高的檢測準確率和定位精度[14]。顯而易見，分數階非因果微積分有很高的研究價值。

基于分數階非因果微積分和分數階因果BP神經網絡的研究，本文構建了分數階非因果BP神經網絡以達到比分數階因果BP神經網絡更好的優化效果。將一階和Caputo分數階因果、反因果、非因果微積分分別應用到BP算法的反向傳播過程中對權值進行調整，產生了六個不同的模型。為了驗證Caputo分數階非因果BP神經網絡的優化效果，需要對這六個模型進行比較。為了方便對比，將這些模型對波士頓房屋數據集和MNIST數據集進行處理。本文的研究需體現非因果和分數階的優越性，故本文進行了三個比較：整數階的三個模型之間的對比；分數階的模型與其相應的整數階模型之間的對比；分數階的三個模型之間的對比。

1 Caputo分數階微積分

本文研究的Caputo非因果微積分實際上是由Caputo因果、反因果微積分線性加權組合成的。

1.1 Caputo分數階因果微積分

對于函數f(t)，其一階因果導數可寫成Dl f(t)=。結合Caputo分數階微積分公式可得到Caputo分數階因果微積分的定義。

定義1（Caputo分數階因果微積分）α階的Caputo分數階因果微積分的定義如下所示：

α在區間（0，1）時，公式就變為：

1.2 Caputo分數階反因果微積分

對于函數f(t)，其一階反因果導數可寫成Dr f(t)=。由此可推導出Caputo分數階反因果微積分公式。

定義2（Caputo分數階反因果微積分）α階的Caputo分數階反因果微積分的定義如下所示：

其中，rCaputoaDαt表示Caputo分數階反因果算子，[t,b]是f(t)的積分區間。

當α在區間（0，1）時，公式就變為：

1.3 Caputo分數階非因果微積分

本文研究的分數階非因果微積分，其實質是分數階因果和反因果微積分的加權和[6，8]。由此可得出一個相應的Caputo分數階非因果微積分，其定義如下所示。

定義3（Caputo分數階非因果微積分）當α在區間（0，1）時，定義Caputo分數階非因果微積分算子為Caputo分數階因果微積分算子與Caputo分數階反因果微積分算子的加權和：

2 基于Caputo分數階微積分的BP算法

在這個部分，將上面提出的Caputo分數階因果、反因果、非因果微積分分別代入BP神經網絡中，得到了新的BP算法。

BP神經網絡一共有三層：輸入層、隱含層和輸出層，設輸入層有m個，隱含層有n個，輸出層有1個神經元，以及輸入的樣本共用J個。第j(j=1,2,…,J)個輸入樣本和其對應的期望輸出分別用Xj和Oj表示。輸入層和隱含層之間的權重為W1=(νiq)n×m，并且隱含層和輸出層之間的權重為W2=(μ1,μ2,…,μn)T。νiq是輸入層的第q(q=1,2,…,m)個神經元和隱含層第i(i=1,2,…,n)個神經元之間的權重。此外，μp(p=1,2,…,n)是隱含層第p個神經元和輸出層的那個神經元之間的權重。令νi=(νi1,νi2,…,νim)T。假設g和f是隱含層和輸出層的傳遞函數。

2.1 基于Caputo分數階因果微積分的BP算法

其中，η＞0是學習速率，0＜α＜1是分數階，cmin=。

h(s(t))是一個組合函數，根據Caputo分數階導數的定義，h(s(t))關于t的α階導數為：

其中：

根據公式（2），當0＜α＜1時，能夠得到：

其中，k∈?，i=1,2,…,n，j=1,2,…,J。則誤差關于的具體公式為：

類似于公式（10）有：

其中：

由上式可以得出：

2.2 基于Caputo分數階反因果微積分的BP算法

2.3 基于Caputo分數階非因果微積分的BP算法

3 實例分析

為了驗證Caputo分數階非因果BP神經網絡模型的效果。將這些模型分別應用到波士頓房屋數據集和MNIST數據集中。通過所得準確率的高低來驗證Caputo分數階非因果的模型的準確率最高。為了保證實驗結果的可靠性，選取了多個學習速率，隱含層神經元的數目和分數階進行比較，最后選取比較好的數值代入這些模型中進行總的比較分析。在這個過程中發現無論是因果、反因果還是非因果的模型，Caputo分數階BP算法都比一階的結果更好。此外，分數階非因果的結果是這些模型中最好的。整個模擬通過matlab軟件完成。

3.1 波士頓房屋數據集

波士頓房屋數據集是美國人口普查局在1978年收集的美國馬薩諸塞州波士頓住房價格的有關信息，涵蓋了506條波士頓不同郊區的房屋數據，每條數據14個字段，包含自住房的平均房價（MEDV）和13個影響因素：城鎮人均犯罪率（CRIM）、城鎮非零售商用土地的比例（INDUS）、住宅平均房間數（RM）等。本文以這13個影響因素為輸入，以MEDV為輸出。

在這次模擬中，將這506條數據隨機排列后，取前404條為波士頓房屋訓練集，剩下的102條數據為波士頓房屋測試集。BP神經網絡有一個隱含層，隱含層神經元的數量取HidNodes=10，其網絡結構為13×10×1。本文選取的階數為α=1/9,2/9,…,8/9和1，α=1代表了整數階的情況。最大迭代次數為1 000。每種網絡都要訓練五次，取平均值得到最終的結果。為了直觀地比較不同模型的預測值的可靠性，本節用絕對系數R2來顯示預測值的擬合效果。以第j個樣本為例，令其預測值為yj，期望輸出為Oj，則其絕對系數R2為：

其中，J為數據集中數據組的總組數，R2的取值在[0，1]內，且值越大預測值的擬合優度越高。經過反復實驗，將學習速率定為0.08進行最終的模擬。訓練集和測試集經過模擬得到的絕對系數如表1和表2所示。

表1 波士頓房屋測試集的絕對系數Table 1 Absolute coefficient of Boston housing testing dataset

表2 波士頓房屋訓練集的絕對系數Table 2 Absolute coefficient of Boston housing training dataset

由表1和表2可知，無論是整數階還是分數階的模型，非因果BP神經網絡的預測值的擬合優度最高；對于因果、反因果和非因果BP預測模型，總能找到一個或多個分數階的預測結果比1階的好。總的來說，對于波士頓房屋數據集，分數階非因果BP神經網絡的預測值的可靠性最高。

3.2 MNIST數據集

MNIST數據集來自美國國家標準與技術研究所，是機器學習領域中非常經典的一個數據集。其中的每張圖片由28×28個像素點構成，也可展開為一個784×1的一維行向量，里面的每個元素都是（0，255）里的數，代表了每個像素的灰度等級。該數據集包含了60 000個用于訓練的示例和10 000個用于測試的示例。在這次模擬中，這60 000個訓練示例組成了測試集，10 000個測試示例組成了測試集[15]。

BP神經網絡有一個隱含層，隱含層神經元的數量取HidNodes=50，100，150，200，其網絡結構為784×{50，100，150，200}×10。本文選取的階數依然為α=1/9,2/9,…,8/9和1。網絡中的學習速率是一個重要的參數，選取eta=1.5，2，3，4進行比較選擇。最大迭代次數為5。每種網絡都要訓練5次，取平均值得到最終的訓練準確率和測試準確率。

3.2.1 整數階BP算法的比較分析

本小節分別用1階因果、反因果和非因果BP算法對訓練集和測試集進行處理，結果如圖1所示。圖1顯示在同一個學習速率下，非因果的曲線一直是最高的。可見整數階非因果模型比整數階因果，反因果的更好。

3.2.2 分數階BP算法的比較分析

因果BP神經網絡的模擬結果如圖2所示：在相同的HidNodes值下，從每個子圖的最高點的準確率可知：測試集和訓練集的準確率都隨著學習速率的增大而提高；當α=8/9時準確率最高；當隱含層神經元數HidNode從50到100時準確率變高，但到150之后就變低。總之，對于因果BP神經網絡，分數階的模型比整數階的好，且較合適的參數為α=8/9，HidNodes=100，eta=4。由圖3可知，反因果模型的最高準確率基本出現在α=8/9的時候，且其較合適的HidNodes值和學習速率與因果模型的相同。

從圖4可見，非因果BP神經網絡模型的圖像與因果、反因果的基本相反：當α=8/9時，非因果的準確率最低；當α=2/9時，準確率最高。此外，對于非因果模型較合適的HidNodes值為150，學習速率為3。

總的來說，無論是因果、反因果還是非因果模型，分數階的模擬結果比其對應的整數階的好。

3.2.3 分數階與傳統BP算法的比較分析

圖1 整數階BP神經網絡結果對比圖Fig.1 Comparison between integer-order BP algorithms

圖2 因果BP神經網絡結果對比圖Fig.2 Comparison between causal BP algorithms

圖3 反因果BP神經網絡結果對比圖Fig.3 Comparison between anti-causal BP algorithms

圖4 非因果BP神經網絡結果對比圖Fig.4 Comparison between non-causal BP algorithms

已知因果和反因果BP神經網絡算法的較合適的參數為eta=4，HidNodes=100，α=8/9。傳統BP神經網絡和分數階因果、反因果、非因果BP神經網絡在這些取值下的模擬結果如圖5所示。由圖5可知，分數階模型的曲線都比傳統的高，尤其是分數階非因果模型。這證明了分數階因果、反因果和非因果微積分都對BP神經網絡有優化作用，其中分數階非因果微積分的優化作用最好。

圖5 分數階與傳統BP神經網絡結果對比圖Fig.5 Comparison between traditional and fractional-order BP algorithms

4 結語

本文在分數階對BP神經網絡具有優化效果的基礎上，進一步提出了分數階非因果微積分對BP神經網絡進行優化的想法。結合1階因果和反因果的概念推導出了反因果Caputo分數階微積分，并由分數階非因果微積分的定義得出Caouto非因果微積分。此外，將一階和Caputo分數階因果、反因果、非因果微積分分別應用到BP神經網絡的反向傳播過程中，從而產生了新的BP算法。為了驗證分數階非因果模型是這些模型中準確性最高的，分別用這些模型對波士頓房屋數據集和MNIST數據集進行模擬。模擬的結果和本文預想的一樣：分數階的結果比整數階的好；非因果模型的預測擬合度和分類準確率都比因果和反因果的高。總之，分數階非因果BP算法對于預測和分類識別都有更高的準確性。本文驗證了分數階非因果微積分與BP神經網絡相結合的可行性，在神經網絡優化的研究上有很好的前景。