關于遞歸神經網絡的一個結果

丁小帥

【摘 要】本文論證了用梯度下降法訓練遞歸神經網絡過程中，有時權值會變得非常大，甚至無界.

【關鍵詞】遞歸神經網絡；梯度下降法；懲罰項；有界性

0 引言

人工神經網絡以其自身的自組織、自適應和自學習的特點，被廣泛應用于各個領域.實際中， 有時我們希望建立的對象的模型能夠反映出系統的動態特性， 而傳統的前饋神經網絡屬于靜態網絡，在處理動態系統的應用中存在很多問題.雖然通過引入時滯環節來描述系統的動態性是可行的， 但仍有嚴重不足，因為這需要大量的神經元來表示動態響應， 并且需要預先知道系統的階次.近年來遞歸神經網絡 （RNN） 的研究有了很大發展.與前饋網絡相比， 它是動態網絡， 利用網絡的內部狀態反饋來描述系統的非線性動力學特性，能更直接的反應系統的動態特性.1987年， Pineda首先提出了遞歸神經網絡的BP算法[1]；接著， 1989年， Willams 和 Zipser提出了基于梯度下降法的實時遞歸學習算法（RTRL）[2].但是， 與傳統的BP網絡一樣， 在訓練中， RTRL算法可能會使網絡權值變得很大， 甚至無界.

本文的安排如下：下一節， 我們介紹遞歸神經網絡的RTRL學習算法， 第三節討論權值的無界性.

1 網絡結構及權值無界性

2 權值序列的無界性

可見， 在訓練時當誤差函數E（wm）趨向極小值E*時， 序列可能會變得越來越大.實際計算中， 當Ew（wm）訓練到充分小的值時， 我們就停止網絡的學習.

【參考文獻】

[1]Pineda F J. Generalization of back propaga-tion to Recurrent neural networks[J]. Physical Rev.Lett， 1987，59：2229-2232.

[2]Willams R J， Zipser D A. learning algorithm for continually running fully recurrent neural networks[J]. Neural Computation，1989，1：270-280.

[3]Xu Dongpo， Li Zhengxue， Wu Wei. Convergence of gradient descent algorithm for a recurrent neuron[C]//Lecture Notes in Computer Science， ISNN 2007， PartⅢ， LNCS 4493， 117-122.

[4]Simon Haykin，著.神經網絡原理[M].葉世偉，史忠植，譯.北京：機械工業出版社，2004.

[責任編輯：湯靜]

【摘 要】本文論證了用梯度下降法訓練遞歸神經網絡過程中，有時權值會變得非常大，甚至無界.

【關鍵詞】遞歸神經網絡；梯度下降法；懲罰項；有界性

0 引言

人工神經網絡以其自身的自組織、自適應和自學習的特點，被廣泛應用于各個領域.實際中， 有時我們希望建立的對象的模型能夠反映出系統的動態特性， 而傳統的前饋神經網絡屬于靜態網絡，在處理動態系統的應用中存在很多問題.雖然通過引入時滯環節來描述系統的動態性是可行的， 但仍有嚴重不足，因為這需要大量的神經元來表示動態響應， 并且需要預先知道系統的階次.近年來遞歸神經網絡 （RNN） 的研究有了很大發展.與前饋網絡相比， 它是動態網絡， 利用網絡的內部狀態反饋來描述系統的非線性動力學特性，能更直接的反應系統的動態特性.1987年， Pineda首先提出了遞歸神經網絡的BP算法[1]；接著， 1989年， Willams 和 Zipser提出了基于梯度下降法的實時遞歸學習算法（RTRL）[2].但是， 與傳統的BP網絡一樣， 在訓練中， RTRL算法可能會使網絡權值變得很大， 甚至無界.

本文的安排如下：下一節， 我們介紹遞歸神經網絡的RTRL學習算法， 第三節討論權值的無界性.

1 網絡結構及權值無界性

2 權值序列的無界性

可見， 在訓練時當誤差函數E（wm）趨向極小值E*時， 序列可能會變得越來越大.實際計算中， 當Ew（wm）訓練到充分小的值時， 我們就停止網絡的學習.

【參考文獻】

[1]Pineda F J. Generalization of back propaga-tion to Recurrent neural networks[J]. Physical Rev.Lett， 1987，59：2229-2232.

[2]Willams R J， Zipser D A. learning algorithm for continually running fully recurrent neural networks[J]. Neural Computation，1989，1：270-280.

[3]Xu Dongpo， Li Zhengxue， Wu Wei. Convergence of gradient descent algorithm for a recurrent neuron[C]//Lecture Notes in Computer Science， ISNN 2007， PartⅢ， LNCS 4493， 117-122.

[4]Simon Haykin，著.神經網絡原理[M].葉世偉，史忠植，譯.北京：機械工業出版社，2004.

[責任編輯：湯靜]

【摘 要】本文論證了用梯度下降法訓練遞歸神經網絡過程中，有時權值會變得非常大，甚至無界.

【關鍵詞】遞歸神經網絡；梯度下降法；懲罰項；有界性

0 引言

人工神經網絡以其自身的自組織、自適應和自學習的特點，被廣泛應用于各個領域.實際中， 有時我們希望建立的對象的模型能夠反映出系統的動態特性， 而傳統的前饋神經網絡屬于靜態網絡，在處理動態系統的應用中存在很多問題.雖然通過引入時滯環節來描述系統的動態性是可行的， 但仍有嚴重不足，因為這需要大量的神經元來表示動態響應， 并且需要預先知道系統的階次.近年來遞歸神經網絡 （RNN） 的研究有了很大發展.與前饋網絡相比， 它是動態網絡， 利用網絡的內部狀態反饋來描述系統的非線性動力學特性，能更直接的反應系統的動態特性.1987年， Pineda首先提出了遞歸神經網絡的BP算法[1]；接著， 1989年， Willams 和 Zipser提出了基于梯度下降法的實時遞歸學習算法（RTRL）[2].但是， 與傳統的BP網絡一樣， 在訓練中， RTRL算法可能會使網絡權值變得很大， 甚至無界.

本文的安排如下：下一節， 我們介紹遞歸神經網絡的RTRL學習算法， 第三節討論權值的無界性.

1 網絡結構及權值無界性

2 權值序列的無界性

可見， 在訓練時當誤差函數E（wm）趨向極小值E*時， 序列可能會變得越來越大.實際計算中， 當Ew（wm）訓練到充分小的值時， 我們就停止網絡的學習.

【參考文獻】

[1]Pineda F J. Generalization of back propaga-tion to Recurrent neural networks[J]. Physical Rev.Lett， 1987，59：2229-2232.

[2]Willams R J， Zipser D A. learning algorithm for continually running fully recurrent neural networks[J]. Neural Computation，1989，1：270-280.

[3]Xu Dongpo， Li Zhengxue， Wu Wei. Convergence of gradient descent algorithm for a recurrent neuron[C]//Lecture Notes in Computer Science， ISNN 2007， PartⅢ， LNCS 4493， 117-122.

[4]Simon Haykin，著.神經網絡原理[M].葉世偉，史忠植，譯.北京：機械工業出版社，2004.

[責任編輯：湯靜]