基于自適應學習率的深度信念網設計與應用

喬俊飛 王功明 李曉理 韓紅桂 柴偉

基于自適應學習率的深度信念網設計與應用

喬俊飛1,2王功明1,2李曉理1韓紅桂1,2柴偉1,2

針對深度信念網(Deep belief network,DBN)預訓練耗時長的問題,提出了一種基于自適應學習率的DBN(Adaptive learning rate DBN,ALRDBN).ALRDBN將自適應學習率引入到對比差度(Contrastive divergence,CD)算法中,通過自動調整學習步長來提高CD算法的收斂速度.然后設計基于自適應學習率的權值訓練方法,通過網絡性能分析給出學習率變化系數的范圍.最后,通過一系列的實驗對所設計的ALRDBN進行測試,仿真實驗結果表明,ALRDBN的收斂速度得到了提高且預測精度也有所改善.

深度信念網,自適應學習率,對比差度,收斂速度,性能分析

深度學習網絡是人工神經網絡的延伸,在某種意義上等同于含有多個隱層的多層感知器(Multilayer perceptron,MLP),近年來在語音識別、計算機視覺以及大數據處理等方面取得了較大的進展.深度學習通過提取底層特征信息來獲取更加抽象的高層表示,以揭示數據的分布式特征表示[1],目前應用較為廣泛的深度學習網絡主要是深度信念網(Deep belief network,DBN),已經在多個領域得到了成功的推廣和應用[2?8].DBN是由多個受限玻爾茲曼機(Restricted Boltzmann machine,RBM)順序疊加構成,采用無監督貪心算法對所有RBM逐一進行預訓練,然后再利用有監督的誤差反傳方法對整個網絡權值進行微調[9].DBN的無監督預訓練相當于傳統神經網絡中有監督訓練之前的權值隨機初始化,這樣可以將初始權值確定在一個較好的范圍,有利于克服由隨機初始化權值導致陷入局部最優的問題[10].

盡管DBN已經在多個領域實現較好的應用,但是在理論和學習算法方面仍存在許多難以解決的問題,其中面臨的最大挑戰就是其預訓練階段耗時長的問題[11].Lopes等通過合理地選取學習參數提高了RBM的收斂速度[12],BN整體學習速度方面效果不佳;經過近幾年的研究,一種基于圖像處理單元(Graphic processing unit,GPU)的硬件加速器被應用到DBN算法運算中,并取得了顯著的加速收斂效果[13?15],該方法的主要問題是硬件設備成本和維護費用太高,不經濟并且也沒有從算法的角度提高收斂速度.隨著大數據時代的到來,處理數據的信息量會呈指數級增長,傳統DBN無法快速收斂甚至會難以完成學習任務,因此如何既快速又經濟地完成對大量數據的充分學習是DBN今后發展的一個方向[16].

針對傳統DBN預訓練耗時長的問題,文中將一種基于自適應學習率[13]的思想引入到深度信念網(Adaptive learning rate DBN,ALRDBN).根據對比差度(Contrastive divergence,CD)[17]算法中參數每次迭代方向的異同來動態調整學習率,從而成功避開了固定學習率所帶來的欠學習和陷入局部最優的問題[12],并通過網絡性能分析,給出自適應學習率的動態調整系數取值范圍的選取方法.同時將所設計的ALRDBN應用于MNIST數據庫手寫數字識別、大氣二氧化碳濃度變化預測以及洛倫茲混沌時間序列預測等實驗,結果表明ALRDBN在學習過程中能夠以更快的速度實現收斂,同時預測精度也略有提高.

文中第1節介紹ALRDBN的結構及學習過程;第2節進行網絡性能分析,并給出自適應學習率動態調整系數取值范圍的選取方法;第3節對網絡的性能進行仿真實驗,并對結果進行分析;第4節給出總結與展望.

1 自適應學習率深度信念網

1.1 ALRDBN結構

與傳統的DBN結構類似,ALRDBN由若干個RBM順序疊加構成,上一個RBM的輸出作為下一個RBM 的輸入.考慮到網絡的過擬合和泛化能力等因素,在處理中等規模的數據時DBN隱含層層數一般選用2至3層,為了方便起見,故ALRDBN隱含層選用2層,網絡結構如圖1所示.雙向箭頭表示相鄰兩層之間為雙向全連接,同一層神經元之間沒有連接.

從圖1可以看出,DBN學習過程相對復雜,分為兩個階段:預訓練階段和微調階段,在預訓練階段,首先使用CD算法對構成DBN的所有RBM逐一進行無監督訓練;在微調階段,將整個網絡展開成一個前向型網絡,再使用誤差反傳方法對整個網絡權值進行有監督的微調.

1.2 ALRDBN預訓練過程

RBM是一種能量生成模型,由可視層(輸入層)和隱含層(輸出層)組成,兩層之間采用雙向全連接,同一層之間沒有連接,如圖2所示.

圖1 ALRDBN結構Fig.1 The structure of ALRDBN

圖2 受限玻爾茲曼機Fig.2 Restricted Boltzmann machine

其中,Z是配分函數,可以看作為可視層和隱含層所有狀態下的能量函數之和,如式(3)所示.

由RBM 的結構可以看出,從可視層到隱含層的映射以及對可視層的重構實質就是對神經元的激活,因此神經元的狀態用0或1表示,0表示神經元處于關閉狀態,1表示神經元處于開啟狀態.無論是可視層還是隱含層,同一層的節點之間是相互獨立的,那么在給定可視層狀態的情況下,隱含層第j個單元h被開啟的概率可表示為

其中

判斷激活和開始的標準常通過設定一個閾值[17]來實現,如式(8)所示.

其中,ξ為一個介于0.5到1的常數.

重復式(5)和式(8)即為一個Gibbs采樣過程,具有k個連續Gibbs采樣的CD算法如圖3所示.

圖3 CD-k算法Fig.3 The algorithm of CD-k

由貝葉斯定理可知

故,式(9)可表示為

其中,h·iP表示求關于分布P的數學期望.

對于每一個訓練樣本,可以分別用“data”和“model” 來表示這兩個概率分布,則對數似然函數對連接權值Wij、可視層單元的偏置ai和隱含層單元的偏置bj的偏導數分別為

由于h·imodel的計算既費時且工作量又大,因此將Gibbs的采樣個數縮至k個(CD-k準則),根據CD-k準則,參數集 θ∈{Wij,ai,bj}的更新公式為

其中,η為學習率,大量研究工作證明,將k的值取1即能達到可視層和隱含層的平穩分布[12].

1.3 學習率自適應調整方法

在CD-k算法中,由于每個RBM 均需要多次迭代,且每次迭代后的參數更新方向不盡相同,所以固定的學習率會導致算法出現“早熟”現象或難以收斂,因此如何做到使算法根據合適的梯度來自適應地控制學習速度成為關鍵.根據RBM 訓練過程連續兩次迭代后的參數更新方向的異同設計ALRDBN算法,自適應學習率更新機制[15]為

1)收斂速度在很大程度上是指受限玻爾茲曼機(RBM)無監督學習速度,而RBM 無監督學習是指從可視層接收的原始數據到隱含層所表示的抽象數據的過程,這一過程被稱為Encoder,然后再經過一個Decoder過程來解決人們所期望的回歸或者分類問題.自適應學習率以變步長的方式自動調節學習因子加速了單個RBM的Encoder過程,而ALRDBN是由多個RBM 順序疊加組成的,上一個RBM的Encoder過程的輸出作為下一個RBM的Encoder過程的輸入,以此類推.Hinton教授在論文《Reducing the dimensionality of data with neural networks》中指出分層降維能夠達到高維數據維數呈現指數下降的效果.同理,由于ALRDBN在功能上也是由多個RBM進行的分層表述,所以在單個RBM運用自適應學習率加速收斂的情況下,多個RBM分層表述能夠產生收斂速度指數提高的效果.分層表述過程中Encoder和Decoder的網絡結構如圖4所示.

2)受限玻爾茲曼機(RBM)的權值學習過程是一種無監督的網絡權值學習過程,它有別于以往的BP網絡和RBF網絡等的有監督學習過程.在以往的BP網絡權值學習過程中學習率也有采取自適應形式的,也就是說學習率為非定值.但是BP網絡通常是根據誤差的大小來動態調整學習率的變化(如當誤差較大時常常加大學習率來減小誤差,當誤差較小時常常減小學習率來防止震蕩或者減小模型的誤差).由于RBM是無監督學習網絡,它的權值訓練過程中學習率也采用自適應學習的方式調整,所以很難找到如BP算法類似結論,因為它是無監督的.無監督訓練階段,在誤差曲面尋找最優點的過程中,這種學習率自適應調整方法能夠既準確又迅速的找到滿足目標函數的最優解.具體來說,自適應學習率算法能夠根據誤差曲面的凹凸性來自適應地增大或減小學習率,實現在預訓練階段加速收斂的效果.另外,在有監督微調階段,自適應學習率算法能夠有效地克服誤差校正信號越來越微弱的缺點,避開了算法在尋優過程中處于循環波動和陷入局部最優的情況.

圖4 ALRDBN分層表述結構Fig.4 Hierarchical representation structure of ALRDBN

3)在有監督訓練階段,圖5是ALRDBN網絡中來自輸出層的誤差反傳過程.其中,表示第d組訓練樣本作用下最后一個隱含層中第i個神經元的輸入狀態,WWW 表示輸出層和最后一個隱含層之間的連接權值,S表示輸出層的輸入,D表示訓練樣本個數和分別表示第d組訓練樣本作用下輸出層第j個神經元的實際輸出和期望輸出,那么對應的誤差可表示為,損失函數可定義為

那么損失函數對權值的導數為

其中

由式(20)可知,權值更新過程中誤差校正信號為

圖5 ALRDBN頂層的反傳誤差Fig.5 Error back-propagated from top layer of ALRDBN

傳統固定學習率算法的一個缺點就是,權值更新過程中的每一步調節并不總是朝著損失函數減小的方向進行,致使收斂速度大大降低.但是當學習率η以式(18)所示的規律自適應變化時,由式(22)可知,有監督學習階段誤差校正信號會根據連續兩次更新方向的異同自適應地變化,能夠克服傳統固定學習率算法的這一缺點,從而加速收斂速度.同理可知,偏置項ai和bj尋優過程也會以相同的自適應方法加速收斂.

綜上分析可知,基于自適應學習率算法下的權值更新思想是,如果連續兩步的學習同時降低hvihji0與 hvihjik之間的差值,則學習率增大;相反地,如果增大了hvihji0與 hvihjik之間的差值則學習率減小[18?19].這種確定學習率變化系數的ALRDBN不僅能夠提高網絡的魯棒性,還能夠加速收斂過程.

2 網絡性能分析

ALRDBN預訓練過程是利用變學習率對每個RBM進行無監督學習,以期望提取更多的輸入信息特征.不失一般性,將式(7)中Sigmoid函數的上下漸近線推廣到AL和AH,和分別表示可視層的輸入信息和重構狀態,和分別表示隱含層狀態,此時一次Gibbs采樣過程中可視層和隱含層的狀態表示如下

ALRDBN算法是一種對極大似然的近似,構成ALRDBN的所有RBM被逐一訓練,上一個RBM的輸出作為下一個RBM 的輸入,在每個RBM的一次Gibbs采樣過程中,網絡輸出與采樣過程的中間狀態有關.同時,自適應學習率對誤差曲面最小點搜索的準確性起決定性作用,α過大或過小都會影響到算法的收斂速度和精度,甚至使網絡不穩定.故通過以上論述,給出如下性能分析:

對于由3個隱含層構成的ALRDBN,若整個網絡穩定,頂層RBM輸出狀態范圍為,必滿足且α與 ξ正相關.

另一方面,若網絡穩定,則每個RBM的可視層和隱含層狀態均滿足有界性,即當第1個RBM的可視層輸入為時,頂層RBM 的輸出范圍為].又因為Sigmoid函數是單調遞增的,且隨著被開啟的神經元個數不斷增加,可得

從式(8)可知,當ξ增大時隱含層神經元被開啟的概率減小,Gibbs采樣過程中所得到的可視層和隱含層神經元狀態采樣值的稀疏性[20?22]越明顯,那么連續兩次Gibbs迭代之后權值更新方向一致的概率增大,即

根據式(15)～(17)可知,當權值調整處于誤差曲面比較平坦的區域時,加大學習率可以在不影響精度的情況下加快收斂速度,則有

由式(30)和(31)可知,ξ與α的數學定性關系式為

同時,在一個Gibbs采樣過程中權值更新一次,而中間狀態的二值化采樣要進行兩次,并且每次更新的權值與狀態采樣成正比,所以得到ξ與α的近似關系式如下:

ξ是對隱含層神經元狀態(開啟或者關閉)進行判別的概率閾值,取值范圍是[0.5,1],在實際應用中常取值為0.7,由式(33)可得α的取值范圍是[1,2],同理可知,β的取值范圍是[0,1].

3 實驗及分析

為了驗證所提方法的有效性,本節對手寫數字識別、CO2濃度預測和Lorenz時間序列預測等進行了仿真研究.為了消除其他無關因素對實驗效果的影響,從而客觀地反映所提方法的有效性,所有仿真實驗的編譯軟件和計算機運行環境設置情況如下:編譯軟件為Matlab 8.2版本,計算機處理器為Intel(R)Core(TM)i7-4790,主頻為3.6GHz,RAM為8GB.

3.1 手寫數字識別

該實驗數據源于MNIST手寫數據庫,該數據庫擁有6萬個訓練圖像和1萬個測試圖像,其中的數字都是手寫體,每一個數字均用很多數量的手寫方式來顯示.隨著模式識別和數據挖掘技術的不斷發展,很多理論方法應用到該數據庫中,所以該數據庫被視為一種理想的、標準的測試新方法的經典對象.

取5000個樣本用于訓練,1000個樣本用于測試.每張樣本圖像為0～9手寫體的阿拉伯數字,像素為28×28,故可視層神經元個數設定為784個,每個神經元接收每張圖像中的一個像素點.5000個樣本分為50批次進行訓練,每批次包含100個樣本,每個RBM 迭代50次,故每層神經元個數默認為100個,學習率增大和減小系數的根據經驗取值為:α=1.5,β=0.5.實驗中根據RBM的分布,進行一次Gibbs采樣后所獲樣本與原數據的差異稱為重構誤差,重構誤差變化曲線能直觀地反映出無監督學習的效果和收斂速度,重構誤差可表示為

圖6 頂層RBM的重構誤差Fig.6 The reconstruction error of top RBM

圖7 ALRDBN錯誤識別原圖像Fig.7 The original images with classi fi cation mistakes of ALRDBN

由圖6可以看出,重構誤差一開始呈現急速下降趨勢,當迭代到第30次時基本達到穩定(收斂),由此可以看出自適應學習率提高了算法的收斂速度;圖7和圖8顯示,對1000個樣本進行測試后產生了68處錯誤.

為了更好地展現ALRDBN的快速收斂性以及更高的識別精度,在相同的實驗環境和設置下將ALRDBN與其他算法相比較,結果如表1所示,圖9是隱含層神經元數與收斂時間的關系曲線.

圖8 ALRDBN錯誤識別圖像Fig.8 The images with classi fi cation mistakes of ALRDBN

表1 MNIST手寫數字實驗結果對比Table 1 Result comparison of MNIST experiment

圖9 隱含層神經元數對收斂時間的影響Fig.9 E ff ect of the number of hidden neurons on convergence time

由表1可以看出,在隱含層個數和每層神經元個數相同的情況下,ALRDBN的收斂速度最快,且對手寫數字識別的正確率略有提高.同時,從圖9可知,在相同的隱含層神經元數條件下ALRDBN的收斂時間最快.該MNIST手寫數字識別實驗證明,ALRDBN具有相對較好的學習能力和較快的收斂速度.

同時,為了更充分地說明學習率增大和減小系數α和β對加快算法收斂的影響,在確保其他實驗參數不變以及ALRDBN性能穩定的前提下,將α和β取若干組不同的值并再次實驗.圖10是不同的α和β對應的算法收斂時間.可以看出,當α和β在第2節所確定的范圍內取值時,算法收斂速度變化很微弱,收斂時間基本維持在20s左右,此時ALRDBN處于平穩狀態.當α和β的取值超出穩定范圍時,算法收斂時間出現跳躍式增加,此時ALRDBN處于不穩定狀態.由此可見,第2節所確定的學習率增大和減小系數α和β的取值范圍在理論和應用上得到了有效的驗證.

圖10 α和β對收斂時間的影響Fig.10 In fl uence of α and β on convergence time

3.2 預測大氣CO2濃度變化

環境問題一直是世界各國關心的焦點之一,而CO2濃度的變化恰恰能反映出環境質量的好壞.大氣中CO2濃度的增加導致全球變暖;反過來,氣候的變化也會影響到碳循環,從而影響到大氣中的CO2濃度.大氣中CO2濃度的增加一方面取決于人為排放的增加(這也取決于世界人口增長速度、能源需求量的增加速度和開發速度以及替代能源的開發速度等等),另一方面又取決于自然CO2貯庫對人為排放的CO2的響應,特別是生物圈和海洋的響應.因此為了客觀地反映空氣中CO2的濃度變化情況,選取西太平洋某海域的一個海島CO2的濃度變化進行預測.實驗使用此海島1965年到1980的CO2濃度數據共187組,前100組數據作為訓練樣本對網絡進行訓練,后87組數據作為測試樣本對網絡進行測試,網絡使用3個歷史數據作為輸入來進行一步預測.為了較好地學習到CO2數據的內在特征提高預測效果,采用的ALRDBN網絡結構為3-20-40-1,每個RBM訓練次數為200次,學習率增大和減小系數的根據經驗取值為:α=0.5,β=1.5.有監督的微調階段訓練步數為10000次,仿真結果如圖11、圖12和圖13所示.

圖11 ALRDBN訓練結果Fig.11 The training results of ALRDBN

圖12ALRDBN測試結果Fig.12 The test results of ALRDBN

圖11 是對網絡的訓練結果,圖12是對網絡的預測結果,可以看出該海島所在地區CO2濃度在不同季節有規律地變化,這主要是由不同季節海島居民的有規律活動引起的,但總體上呈現出逐年上升的趨勢,這也符合當今全球CO2濃度逐年走高的現實情況(溫室效應導致的全球變暖).圖13是有監督階段均方根誤差的變化曲線,可以看出,一開始均方根誤差急速下降后出現波動,這是因為一開始無監督學習過程中某兩次參數更新方向不同而導致的,隨著迭代次數的增加,學習率以自適應的方式不斷加大,從而加速了學習過程.當迭代到1000次時基本趨于穩定,這說明自適應學習率提高了無監督學習算法的收斂速度并最終實現收斂.

圖13 ALRDBN訓練RMSEFig.13 The training RMSE of ALRDBN

為了更進一步說明實驗效果,在相同的實驗環境和參數設置下將ALRDBN與其他算法相比較,結果如表2和圖14所示.

圖14 隱含層神經元數對收斂時間的影響Fig.14 E ff ect of the number of hidden neurons on convergence time

表2 CO2濃度變化實驗結果對比Table 2 Result comparison of CO2forecasting

由表2可以看出,BP網絡在采用3-6-1的結構時網絡性能相對穩定在一定的范圍,這說明BP網絡耗時且易陷入局部最優.在隱含層個數和每層神經元個數相同的情況下,深度神經網絡中ALRDBN的運算速度(收斂速度)最快,同時均方根誤差相對略有降低.實際經驗表明,有規律的增加或者減少隱含層神經元個數可以獲得優于表2的均方根誤差.圖14表明盡管隨著隱含層神經元數的增加收斂時間延長,但是ALRDBN的收斂時間仍然是最快的.該CO2濃度變化預測實驗證明,ALRDBN具有較快的收斂速度.另一方面,為了更充分地驗證第2節所確定的α和β取值范圍的有效性,在確保其他實驗參數不變以及ALRDBN性能穩定的前提下,將α和β取若干組不同的值并再次實驗.圖15是不同的α和β對應的算法收斂時間,可以看出,當α和β在第2節所確定的范圍內取值時算法收斂時間變化很微弱,ALRDBN處于平穩狀態.當α和β的取值超出穩定范圍時算法收斂時間出現跳躍式增加,此時ALRDBN處于不穩定狀態.

圖15 α和β對收斂時間的影響Fig.15 In fl uence of α and β on convergence time

3.3 Lorenz混沌時間序列預測

本實驗目的是驗證ALRDBN能夠以較快的速度完成預測任務,即能夠提高算法收斂的速度.混沌時間序列預測是檢驗神經網絡結構和方法有效性的基準問題之一,Lorenz效應因其相位圖酷似蝴蝶又稱蝴蝶效應.實驗中,取1500個樣本用于訓練,1000個樣本用于測試,在網絡中使用3輸入進行一步預測,即用t?2,t?1和t時刻的信息預測t+1時刻的信息,ALRDBN網絡結構為3-3-3-1每個RBM的迭代100次,微調階段訓練步數為5000次,實驗結果如圖16、圖17和圖18所示.

圖16和圖17分別是ALRDBN對Lorenz混沌時間序列的訓練結果和預測結果,可以看出,ALRDBN很好地學習了Lorenz時序狀態,并實現了較好的預測.圖18是ALRDBN在有監督微調過程中均方根誤差變化曲線,從圖中可以看出,均方根誤差一開始急速下降,這是因為無監督學習過程的初始階段參數更新方向一致,學習率以自適應的方式不斷加大,從而加速了學習過程.當迭代到500次左右時均方根誤差基本趨于穩定,最終訓練誤差為0.0326.這說明基于自適應學習率算法收斂速度較快.為了更進一步展現實驗效果,在相同的實驗環境和參數設置下將ALRDBN與其他算法相比較,結果如表3和圖19所示.由圖19和表3可以看出,在隱含層個數和每層神經元個數以及網絡總神經元個數相同的情況下,ALRDBN的收斂速度最快,同時均方根誤差也略有降低.

圖16 ALRDBN訓練結果Fig.16 The training results of ALRDBN

圖17 ALRDBN測試結果Fig.17 The test results of ALRDBN

圖18 ALRDBN訓練RMSEFig.18 The training RMSE of ALRDBN

表3 Lorenz時序預測實驗結果對比Table 3 Result comparison of Lorenz forecasting

圖19 隱含層神經元數對收斂時間的影響Fig.19 E ff ect of the number of hidden neurons on convergence time

相應的,為了更充分的驗證第2節所確定的α和β取值范圍的有效性,在確保其他實驗參數不變以及ALRDBN性能穩定的前提下,將α和β取若干組不同的值并再次實驗.圖20是不同的α和β對應的算法收斂時間,可以看出,當α和β在第2節所確定的范圍內取值時算法收斂時間變化很微弱,ALRDBN處于平穩狀態.當α和β的取值超出穩定范圍時算法收斂時間出現跳躍式增加,此時ALRDBN處于不穩定狀態.

4 總結與展望

針對DBN預訓練耗時長的問題,文中將基于自適應學習率的思想引入到傳統深度信念網中,提出了自適應學習率深度信念網的設計方法,并通過網絡性能分析證明了網絡的穩定性和有效性,同時給出了自適應學習率增大和減小系數的取值范圍.最后,通過大量實驗結果可以看出,該方法在提高算法收斂速度方面效果明顯.

圖20 α和β對收斂時間的影響Fig.20 In fl uence of α and β on convergence time

同時,文中也存在兩方面的問題:1)在DBN隱含層個數和每層神經元個數的確定方面尚沒有行之有效的統一理論方法,目前都是憑借經驗設定,文中也是通過經驗確定隱含層層數和每層神經元個數,這對DBN的應用效果帶來很大的隨機性.2)要想加快DBN的收斂速度,僅憑在學習算法上的改進(自適應學習率)是遠遠不夠的,應該在考慮經濟成本的基礎之上試圖更新硬件設備的性能來加速算法收斂.因此,如何解決這兩個方面存在的問題將是DBN研究的一個熱點方向,也是下一步工作的重點方向.

1 Bengio Y H,Delalleau O.On the expressive power of deep Architectures.In:Proceeding of the 22nd International Conference.Berlin Heidelberg,Germany:Springer-Verlag,2011.18?36

2 Hinton G E,Salakhutdinov R R.Reducing the dimensionality of data with neural networks.Science,2006,313(5786):504?507

3 Guo Xiao-Xiao,Li Cheng,Mei Qiao-Zhu.Deep learning applied to games.Acta Automatica Sinica,2016,42(5):676?684

(郭瀟逍,李程,梅俏竹.深度學習在游戲中的應用.自動化學報,2016,42(5):676?684)

4 LeCun Y,Bengio Y,Hinton G.Deep learning.Nature,2015,521(7553):436?444

5 He Yu-Yao,Li Bao-Qi.A combinatory form learning rate scheduling for deep learning model.Acta Automatica Sinica,2016,42(6):953?958

(賀昱曜,李寶奇.一種組合型的深度學習模型學習率策略.自動化學報,2016,42(6):953?958)

6 Ma Shuai,Shen Tao,Wang Rui-Qi,Lai Hua,Yu Zheng-Tao.Terahertz spectroscopic identi fi cation with deep belief network.Spectroscopy and Spectral Analysis,2015,35(12):3325?3329

(馬帥,沈韜,王瑞琦,賴華,余正濤.基于深層信念網絡的太赫茲光譜識別.光譜學與光譜分析,2015,35(12):3325?3329)

7 Geng Zhi-Qiang,Zhang Yi-Kang.An improved deep belief network inspired by glia chains.Acta Automatica Sinica,2016,42(6):943?952

(耿志強,張怡康.一種基于膠質細胞鏈的改進深度信念網絡模型.自動化學報,2016,42(6):943?952)

8 Abdel-Zaher A M,Eldeib A M.Breast cancer classi fi cation using deep belief networks.Expert Systems with Applications,2016,46:139?144

9 Rumelhart D E,Hinton G E,Williams R J.Learning representations by back-propagating errors.Nature,1986,323(6088):533?536

10 Mohamed A R,Dahl G E,Hinton G.Acoustic modeling using deep belief networks.IEEE Transactions on Audio,Speech,and Language Processing,2012,20(1):14?22

11 Bengio Y.Learning deep architectures for AI.Foundations and Trends in Machine Learning,2009,2(1):1?127

12 Lopes N,Ribeiro B.Improving convergence of restricted Boltzmann machines via a learning adaptive step size.Progress in Pattern Recognition,Image Analysis,Computer Vision,and Applications,Lecture Notes in Computer Science.Berlin Heidelberg:Springer,2012.511?518

13 Raina R,Madhavan A,Ng A Y.Large-scale deep unsupervised learning using graphics processors.In:Proceedings of the 26th Annual International Conference on Machine Learning.New York,NY,USA:ACM,2009.873?880

14 Ly D L,Paprotski V,Danny Y.Neural Networks on GPUs:Restricted Boltzmann Machines,Technical Report,University of Toronto,Canada,2009.

15 Lopes N,Ribeiro B.Towards adaptive learning with improved convergence of deep belief networks on graphics processing units.Pattern Recognition,2014,47(1):114?127

16 Le Roux N,Bengio Y.Representational power of restricted boltzmann machines and deep belief networks.Neural Computation,2008,20(6):1631?1649

17 Hinton G E.Training products of experts by minimizing contrastive divergence.Neural Computation,2002,14(8):1771?1800

18 Yu X H,Chen G A,Cheng S X.Dynamic learning rate optimization of the backpropagation algorithm.IEEE Transactions on Neural Networks,1995,6(3):669?677

19 Magoulas G D,Vrahatis M N,Androulakis G S.Improving the convergence of the backpropagation algorithm using learning rate adaptation methods.Neural Computation,1999,11(7):1769?1796

20 Lee H,Ekanadham C,Ng A.Sparse deep belief net model for visual area V2.In:Proceedings of the 2008 Advances in Neural Information Processing Systems.Cambridge,MA:MIT Press,2008.873?880

21 Ji N N,Zhang J S,Zhang C X.A sparse-response deep belief network based on rate distortion theory.Pattern Recognition,2014,47(9):3179?3191

22 Qiao Jun-Fei,Pan Guang-Yuan,Han Hong-Gui.Design and application of continuous deep belief network.Acta Automatica Sinica,2015,41(12):2138?2146

(喬俊飛,潘廣源,韓紅桂.一種連續型深度信念網的設計與應用.自動化學報,2015,41(12):2138?2146)

23 Chang L C,Chen P A,Chang F J.Reinforced two-stepahead weight adjustment technique for online training of recurrent neural networks.IEEE Transactions on Neural Networks and Learning Systems,2012,23(8):1269?1278

24 Chen Q L,Chai W,Qiao J F.A stable online selfconstructing recurrent neural network.Advances in Neural Networks―ISNN 2011.Berlin Heidelberg:Springer,2011,6677:122?131

喬俊飛 北京工業大學教授.主要研究方向為智能控制,神經網絡分析與設計.E-mail:junfeq@bjut.edu.cn

(QIAO Jun-Fei Professor at Faculty of Information Technology,Beijing University of Technology.His research interest covers intelligent control,analysis and design of neural networks.)

王功明 北京工業大學博士研究生.主要研究方向為深度學習,神經網絡結構設計和優化.本文通信作者.

E-mail:xiaowangqsd@163.com

(WANG Gong-Ming Ph.D.candidate at Faculty of Information Technology,Beijing University of Technology.His research interest covers deep learning,analysis and design of neural networks.Corresponding author of this paper.)

李曉理 北京工業大學教授.1997年獲得大連理工大學控制理論與工程碩士學位,2000年獲得東北大學博士學位.主要研究方向為多模型自適應控制,神經網絡控制.

E-mail:lixiaolibjut@bjut.edu.cn

(LI Xiao-Li Professor at Faculty of Information Technology,Beijing University of Technology.He received his master degree in control theory and control engineering from Dalian University of Technology in 1997,and Ph.D.degree from Northeastern University in 2000,respectively.His research interest covers multiple model adaptive control and neural network control.)

韓紅桂 北京工業大學教授.主要研究方向為污水處理工藝復雜建模與控制,神經網絡分析與設計.

E-mail:rechardhan@sina.com

(HAN Hong-Gui Professor at Faculty of Information Technology,Beijing University of Technology.His research interest covers modelling and control in waste water treatment process,analysis and design of neural networks.)

柴偉 北京工業大學講師.主要研究方向為系統辨識和狀態估計研究.

E-mail:chaiwei@bjut.edu.cn

(CHAI Wei Lecturer at Faculty of Information Technology,Beijing University of Technology.His research interest covers system identi fi cation and state estimation.)

Design and Application of Deep Belief Network with Adaptive Learning Rate

QIAO Jun-Fei1,2WANG Gong-Ming1,2LI Xiao-Li1HAN Hong-Gui1,2CHAI Wei1,2

A deep belief network with adaptive learning rate(ALRDBN)is proposed to solve the time-consuming problem in the pre-training period of DBN.The ALRDBN introduces the idea of adaptive learning rate into contrastive divergence(CD)algorithm and accelerates its convergence by a self-adjusting learning rate.The training method of weights in this case is designed,in which the adjusting scope of the coefficient in learning rate is determined by performance analysis.Finally,a series of experiments are carried out to test the performance of ALRDBN,and the corresponding results show that the convergence rate is accelerated signi fi cantly and the accuracy of prediction is improved as well.

Deep belief network,adaptive learning rate,contrastive divergence,convergence rate,performance analysis

May 10,2016;accepted October 9,2016

喬俊飛,王功明,李曉理,韓紅桂,柴偉.基于自適應學習率的深度信念網設計與應用.自動化學報,2017,43(8):1339?1349

Qiao Jun-Fei,Wang Gong-Ming,Li Xiao-Li,Han Hong-Gui,Chai Wei.Design and application of deep belief network with adaptive learning rate.Acta Automatica Sinica,2017,43(8):1339?1349

2016-05-10 錄用日期2016-10-09

國家自然科學基金(61533002,61473034),國家杰出青年科學基金(61225016),內涵發展—引進人才科研啟動費資助

Supported by National Natural Science Foundation of China(61533002,61473034),National Natural Science Fund for Distinguished Young Scholars(61225016),Connotation Development—Scienti fi c Research Start-up Funds of Talent Introduction

本文責任編委王占山

Recommended by Associate Editor WANG Zhan-Shan

1.北京工業大學信息學部北京 100124 2.計算智能與智能系統北京市重點實驗室北京100124

1. Faculty of Information Technology,Beijing University of Technology,Beijing 100124 2. Beijing Key Laboratory of Computational Intelligence and Intelligent System,Beijing 100124

DOI10.16383/j.aas.2017.c160389