替代與級聯性深度網絡與應用研究

李森林 鄧小武

（懷化學院，湖南 懷化 418008）

替代與級聯性深度網絡與應用研究

李森林 鄧小武

（懷化學院，湖南 懷化 418008）

神經網絡應用中80%～90%采用BP反饋網絡，但BP反饋網絡存在非約束性、非線性特征，優化模型參數多，計算時間長難收斂，而且優化結果泛化能力不強。2006年深度學習的提出，使神經網絡再次成為研究熱點。本文提出了一種替代與級聯性反饋網絡。實驗證明替代性反饋神經網絡在運算速度、緯度減少、收斂性等方面有一定的提高。

深度網絡；替代行；收斂速度

1．引言

二十年前，反向傳播BP(Back-Propagation)網絡，因其良好的非線性映射能力和柔軟的網絡結構，在模式識別、圖像處理、數據預測等各個領域被廣泛應用，并且它的理論發展也日趨成熟。文獻[1]-[4]給出了BP網絡的相關理論：BP網絡通過學習和存貯大量的輸入-輸出間的映射關系，使用最速下降法不斷調整網絡的權值和閾值，找出最優參數。BP網絡系統參數較多，計算復雜度高，具有收斂速度慢、易陷入局部極小等缺陷，以致出現了許多改進的BP算法[5]。通過分析，文中提出了一種替代級聯性反饋網絡，進行編程實驗，驗證了改進算法的有效性。

2．標準BP神經網絡

BP網絡學習工作原理是，如果網絡作出錯誤的判決，則通過網絡的學習使得網絡減少下次犯同樣錯誤的可能性。即先給定一個訓練集，根據這個訓練集學習出一個模型，然后通過成本函數最小準則調整模型參數，并測試這個函數訓練得好不好（即此函數是否足夠擬合訓練集數據）。假設有訓練樣本集（x(i),y(i)），那么神經網絡算法能夠提供一種非線性假設模型hw,b(x)，它具有參數w,b，可以以此參數來擬合數據。神經網絡就是將多個單一“神經元”聯結在一起，一個“神經元”的輸出作為另一個“神經元”的輸入。

圖1就是一個簡單的神經網絡。神經網絡layerL1叫做輸入層，LayerL3叫做輸出層，LayerL2叫做隱藏層。標準BP網絡，權值參數多是主要缺點，因此算法的誤差曲面（權值向量的函數）是一個形狀極復雜的多維曲面，下降緩慢，影響收斂速度，且易使網絡陷入局部極小值[4]。BP算法描述如下：

（1）初始化：對所有連接權和閾值賦以隨機任意小值；

（2）從N組輸入輸出樣本中取一組樣本：x=[x1,x2,…, xp]輸入到網絡中；

（3）正向傳播：計算各層節點的輸出,設

公式中xL-1為L層輸入,wL為第L層到第L-1層權重,θL為L層單元節點的閾值。計算各層節點輸出xL(i)=f(UL(i)),其中作用函數

(4)計算網絡總誤差

(6)讓t+1→t，取出另一組樣本重復（2）-（5），直到N組輸入輸出樣本的誤差達到要求時為止。

(5)反向傳播：從輸出層方向計算到第一個隱層，按連接權值修正公式向減小誤差方向調整網絡的各個連接權值。為節點i到節點j的權值改變量——輸出層連接權調整公式——隱層連接權調整公式

3．自動解碼器（autoEncoder）原理

AutoEncoder自動編碼器是利用人工神經網絡具有層次結構的特點，假設其輸出與輸入是相同的，然后用無標簽數據訓練調整網絡參數的方法。工作原理是：將無標簽數據輸入到一個encoder編碼器，得到編碼code，通過decoder解碼器對code解碼輸出一個信息，這個信息和開始的輸入信號構成誤差（Error），通過調整encoder和decoder的參數，使得該重構誤差最小，編碼code就是input信號的一個表示。如圖2所示。

圖3中描述了Autoencoder嘗試學習了一個hw,b(x)≈x的函數，使得輸出x∧接近于輸入x。并引入稀疏性的限制，即神經元的輸出接近于1的時候被激活，輸出接近于0的時候被抑制，假設神經元的激活函數是sigmoid函數。另表示隱藏神經元的激活度，那么定義[4]隱藏神經元的平均激活度。令進而引入稀疏性限制。另ρ=0.05,為此給目標函數加入一個懲罰因子總的代價函數設為Js(w，b)=J(w，b)+

4．級聯與替代性BP神經網絡

2006 年機器學習領域的泰斗Geoffrey Hinton和他的學生RuslanSalakhutdinov在《科學》上發表了一篇文章，開啟了深度學習在學術界和工業界的浪潮[5]。文章有兩個主要觀點：1）多隱層的人工神經網絡具有優異的特征學習能力；2）深度神經網絡在訓練上的難度可以通過無監督學習實現。目前標簽數據相對較少，無標簽數據較多，為此采用無監督學習,這樣可以給算法以大量的未標注數據，學習出較好的特征描述。在解決具體的分類問題時，可以基于學習出的特征描述和可能比較少的已標注數據，用有監督學習完成分類。

級聯與替代性BP神經網絡工作原理是，用一個稀疏自編碼器從數據中學習稀疏特征描述，替代原始數據進行訓練和完成分類。假定有已標注訓練集我們可以為輸入數據找到更好的特征描述。例如，可以將X_l輸入到稀疏自編碼器如圖4所示，得到隱藏單元激活量a_l。接下來，可以直接使用a_l來代替原始數據X_l或用a_l與X_l級聯代替原始輸入數據。訓練出一個有監督學習算法，得到一個判別函數對y值進行預測。

為了驗證算法的性能，在matlab中，編程讀取excel中數據并歸一化，輸入自學習編碼器獲得新的特征描述，用該特征描述替代原始數據進行網絡訓練和預測。圖5-圖9分別給出了訓練樣本分布情況、性能比較和誤差情況圖,明顯級聯和替代網絡比BP網絡要穩定和收斂。

圖5 訓練樣本分布圖

圖6 性能比較圖

圖7 BP網絡誤差圖

圖8 替代網絡誤差圖

圖9 級聯網絡誤差圖

5．結束語

目前深度學習技術的深入研究日趨火熱，改變了過去人們對神經網絡的看法，深度學習在大數據、并行計算方面有獨特的優勢。需要有待進一步深入學習研究。文中只是利用自編碼技術用新的特征替代原始數據輸入完成了一般的實驗驗證工作，由于數據量不大，難以看到明顯效果，在降緯方面也沒有得到體現，有待研究。

[1]Tianp ing Chen，Hong Chen，Ruey-wen L iu．App roximation-Capability inC(Rn)by Multilayer Feedforward Networks andRelated Problems[J]．IEEE TransNN，1995，6(1)：25-30．

[2]陳玉芳，雷霖．改進BP算法的研究及應用[J]．微計算機信息，2009，25(8)：90-93．

[3]KamarthiSV,Pittner S．Accelerating neural network training using weight extrapolations[J]．Neural Networks，1999，12(9)：12851299．

[4]UFLD[EB/OL]．http：//deeplearning．stanford．edu/wiki/index．php/ UFLD

Study on theAlternation and Cascade Deep Network

Li Senlin Deng Xiaowu
（Huaihua University，Huaihua 418008,Hunan）

tract】 80%to 90%of the neural network applications use BP feedback network,which is non-binding,non-linear,and has many optimization model parameters,long calculating time and difficult convergence,and poor generalization ability of optimization results.Deep learning proposed in 2006 make neural network become a hot topic once again.This paper presents an alternative and cascade feedback network.Experiments show that the alternative feedback neural network is improved to some extent in computing speed,latitude reduction and convergence.

words】 deep network;alternation;convergence speed

李森林，男，河北邯鄲人，碩士，講師，研究方向：人工智能。