基于稀疏降噪自編碼器的深度置信網(wǎng)絡

曾 安，張藝楠，潘 丹，Xiao-Wei Song

(1.廣東工業(yè)大學 計算機學院，廣州 510006； 2.廣東建設職業(yè)技術(shù)學院 現(xiàn)代教育技術(shù)中心，廣州 510440；3.西蒙弗雷澤大學 影像技術(shù)實驗室，加拿大 溫哥華 V6B 5K3)(*通信作者電子郵箱2656351065@qq.com)

基于稀疏降噪自編碼器的深度置信網(wǎng)絡

曾 安1，張藝楠1，潘 丹2*，Xiao-Wei Song3

(1.廣東工業(yè)大學 計算機學院，廣州 510006； 2.廣東建設職業(yè)技術(shù)學院 現(xiàn)代教育技術(shù)中心，廣州 510440；3.西蒙弗雷澤大學 影像技術(shù)實驗室，加拿大 溫哥華 V6B 5K3)(*通信作者電子郵箱2656351065@qq.com)

傳統(tǒng)的深度置信網(wǎng)絡(DBN)采用隨機初始化受限玻爾茲曼機(RBM)的權(quán)值和偏置的方法初始化網(wǎng)絡。雖然這在一定程度上克服了由BP算法帶來的易陷入局部最優(yōu)和訓練時間長的問題，但隨機初始化仍然會導致網(wǎng)絡重構(gòu)和原始輸入的較大差別，這使得網(wǎng)絡無論在準確率還是學習效率上都無法得到進一步提升。針對以上問題，提出一種基于稀疏降噪自編碼器(SDAE)的深度網(wǎng)絡模型，其核心是稀疏降噪自編碼器對數(shù)據(jù)的特征提取。首先，訓練稀疏降噪自編碼；然后，用訓練后得到的權(quán)值和偏置來初始化深度置信網(wǎng)絡；最后，訓練深度置信網(wǎng)絡。在Poker Hand 紙牌游戲數(shù)據(jù)集和MNIST、USPS手寫數(shù)據(jù)集上測試模型性能，在Poker Hand數(shù)據(jù)集下，方法的誤差率比傳統(tǒng)的深度置信網(wǎng)絡降低46.4%，準確率和召回率依次提升15.56%和14.12%。實驗結(jié)果表明，所提方法能有效地改善模型性能。

深度置信網(wǎng)絡；受限玻爾茲曼機；稀疏降噪自編碼器；深度學習

0 引言

深度置信網(wǎng)絡(Deep Belief Network, DBN)是深度學習中一種代表性的模型，通過貪婪策略將網(wǎng)絡分成若干個受限玻爾茲曼機(Restricted Boltzmann Machine, RBM)網(wǎng)絡，有效地降低了網(wǎng)絡復雜度[1]。網(wǎng)絡訓練采用無監(jiān)督預訓練和有監(jiān)督微調(diào)的方法，其中無監(jiān)督逐層預訓練RBM的方法解決了大量有標簽數(shù)據(jù)收集費時費力的困難[2]；且在一定程度上避免了有監(jiān)督BP算法的局部最優(yōu)弊端等，從而被廣泛應用于語音識別[3]、手寫數(shù)字識別[4]、圖像識別[5]和自然語言處理[6]等領(lǐng)域。

然而，目前DBN模型也存在一些問題，如：DBN往往采用重構(gòu)誤差作為網(wǎng)絡的評價指標，雖然這樣可以反映網(wǎng)絡對訓練樣本的似然度，但它并不可靠[7]；RBM的目標函數(shù)不能直接最大化，從而無法知道訓練是何時結(jié)束的，這在控制計算成本上是個巨大的挑戰(zhàn)[8]；學習率、動量等參數(shù)尋優(yōu)對先驗經(jīng)驗依賴性較強[7]，隱含層層數(shù)也難以選擇[9]。并且，DBN采用無監(jiān)督逐層學習RBM以獲得網(wǎng)絡參數(shù)并初始化網(wǎng)絡的方法，雖然這在一定程度上能提高訓練精度和節(jié)省訓練時間，但網(wǎng)絡中RBM隨機設定的初始化網(wǎng)絡權(quán)值和偏置會導致重構(gòu)后的數(shù)據(jù)和原始輸入數(shù)據(jù)有較大的差別，從而影響精度的進一步提高。這是一個亟待解決的問題。于是，如何快速地找到較好的預訓練網(wǎng)絡參數(shù)，使其在一定程度上能更好地擬合訓練數(shù)據(jù)，這對提高有監(jiān)督學習時的迭代收斂速度[7]和提高分類準確率[2]都有重要的研究意義。這也正是本文的研究重點。

目前，權(quán)值和偏置的參數(shù)尋優(yōu)方法主要集中在淺層學習上，比較流行的有：隨機初始化取值方法、基于樣本特征提取初始化法、遺傳和免疫取值法、均勻設計取值法、記憶式取值法和感受野型取值法等算法，而較少文獻研究DBN的參數(shù)尋優(yōu)問題。Srivastava 等[10]提出一種dropout參數(shù)加入DBN網(wǎng)絡的反向微調(diào)中，每次訓練時讓特征檢測器以概率p停止工作以提高網(wǎng)絡的泛化能力，該方法現(xiàn)已成功應用到DBN模型中；Ranzato等[11]提出在RBM的模型中加入稀疏懲罰項，即在無監(jiān)督預訓練RBM時加入稀疏限制參數(shù)，更好地重構(gòu)數(shù)據(jù)并提高模型的分類精度；胡振等[12]提出了一種基于降噪自編碼器的五層混合神經(jīng)網(wǎng)絡，前兩層是降噪自編碼器，中間兩層是RBM，最后用Logistic層進行分類，網(wǎng)絡模型旨在提高DBN無監(jiān)督預訓練的特征提取能力以獲得更好的初始權(quán)重，該模型已成功運用在作曲家分類的問題上。

研究表明，RBM權(quán)值的設定可以影響隱含單元的狀態(tài)，使其不會一直處于被激活或者抑制狀態(tài)，從而提高網(wǎng)絡的運行效率[13]。同時合理的RBM初始化權(quán)值和偏置可以減小網(wǎng)絡重構(gòu)與輸入數(shù)據(jù)的差距，從而提高分類精度。稀疏降噪自編碼器具有更好的特征提取能力[14]和較高的模型分辨率，于是，本文嘗試用稀疏降噪自編碼器對無標簽數(shù)據(jù)訓練，并將得到的網(wǎng)絡參數(shù)作為深度置信網(wǎng)絡的初始權(quán)值和閾值,以期克服網(wǎng)絡易陷入局部最優(yōu)和訓練時間長的弊端，從而提高模型的分類精度和運行效率。

1 模型簡介

1.1 深度置信網(wǎng)

DBN是一個概率生成模型，如圖1所示，由多個RBM串聯(lián)堆疊而成。DBN的學習可分為兩個過程：無監(jiān)督逐層預訓練RBM和有監(jiān)督BP算法微調(diào)。

圖1 DBN網(wǎng)絡結(jié)構(gòu)

RBM是一種基于隨機神經(jīng)網(wǎng)絡的概率圖模型[15]，也是一個能量模型，可視層v為數(shù)據(jù)輸入層，隱藏層h為特征提取層，層內(nèi)節(jié)點無連接，層間節(jié)點全連接。學習過程是將上一層的輸出作為下一層的輸入，以獲取有效特征。對于一組給定的狀態(tài)向量，可見狀態(tài)向量v和隱藏狀態(tài)向量h的聯(lián)合概率分布為：

(1)

其中，Z(θ)是歸一化因子。

由于RBM層內(nèi)無連接，層間全連接[16]，由已知的其中一層節(jié)點可得到另一層節(jié)點的值，即:

(2)

(3)

RBM的學習是為了求出參數(shù)的θ值，采用梯度下降的方法最大化式(1)的聯(lián)合分布。由于歸一化函數(shù)Z(θ)很難獲取，本文采用對比散度(Contrastive Divergence, CD)算法[8]對RBM網(wǎng)絡進行學習以提高計算速度和精度，并采用重構(gòu)誤差(Reconstruction Error)作為其評價指標。

經(jīng)過大量無標簽數(shù)據(jù)逐層對RBM無監(jiān)督訓練初始化網(wǎng)絡后，利用有標簽數(shù)據(jù)對網(wǎng)絡進行微調(diào)，即BP算法反向微調(diào)整個網(wǎng)絡。

1.2 稀疏降噪自編碼器

稀疏降噪自編碼器(Sparse Denoising AutoEncoder, SDAE)是一種特殊的自編碼器(AutoEncoder, AE)，可視為一個三層神經(jīng)網(wǎng)絡：輸入層-隱藏層-輸出層，其中，輸入層和輸出層具有相同的結(jié)構(gòu)，當輸入等于輸出時，隱藏層即為輸入的一種特征表達。而SDAE即在AE網(wǎng)絡中加入隨機性和在損失函數(shù)中加入稀疏性限制，相比AE具有更好的魯棒性和高效性，模型如圖2。

圖2 SDAE網(wǎng)絡結(jié)構(gòu)

自編碼網(wǎng)絡中加入隨機性是指在輸入數(shù)據(jù)中加入一定概率分布的噪聲(通常是將輸入矩陣每個值都隨機置0)，讓網(wǎng)絡學習去除這種噪聲的能力，使其學習到的特征更具魯棒性，提升模型對輸入數(shù)據(jù)的泛化能力[17]。稀疏性限制是指神經(jīng)元大部分時間都被抑制的限制，如果當神經(jīng)元輸出為1時，認為其被激活，那么當輸入為0時則被抑制，因此，稀疏性限制就是神經(jīng)元輸出矩陣只有個別非零元素或者有很少的幾個遠大于零的元素，加入稀疏性限制的網(wǎng)絡使用較少的激活單元表示特征，使模型更具高效性。

SDAE的代價函數(shù)為：

(4)

其中函數(shù)的第一項為均方誤差重構(gòu)項，第二項為稀疏懲罰項，為保證稀疏性限制，要求:

(5)

2 基于稀疏降噪自編碼器的深度置信網(wǎng)

深度學習采用無監(jiān)督學習策略獲得網(wǎng)絡參數(shù)并初始化網(wǎng)絡的方法，在一定程度上解決了BP算法反向微調(diào)易陷入局部最優(yōu)的問題，因為預訓練后的網(wǎng)絡的權(quán)值能更好地表達輸入數(shù)據(jù)結(jié)構(gòu)，提高網(wǎng)絡的特征表達能力和泛化性能，這也正是無監(jiān)督學習在深度置信網(wǎng)中起關(guān)鍵作用的原因。本文基于這一點提出基于稀疏降噪自編碼器的深度置信網(wǎng)絡。

深度置信網(wǎng)絡的實質(zhì)是通過受限玻爾茲曼機的堆疊混合得到，應證了深層神經(jīng)網(wǎng)絡在構(gòu)建中強調(diào)模型的混合這一理論[20]，因此，結(jié)合稀疏降噪自編碼器和深度置信網(wǎng)絡構(gòu)建深層神經(jīng)網(wǎng)絡也是可行的。由自編碼器的原理可知，編碼過程和解碼過程實現(xiàn)將原始數(shù)據(jù)與高維特征空間的相互投影，具有保持原始數(shù)據(jù)的可恢復性的作用[12]，而投影過程中的可恢復性作用可以保證投影結(jié)果的相對穩(wěn)定并增加數(shù)據(jù)的可分性。因稀疏降噪自編碼器中降噪的表達能起到降維的作用，并很好地發(fā)現(xiàn)隱含在輸入數(shù)據(jù)內(nèi)部的結(jié)構(gòu)與模式；稀疏的表達則是網(wǎng)絡的特征選擇，從大量維度中篩選出對系統(tǒng)有用的若干維,有較好的特征提取能力，能很好地特征表達輸入數(shù)據(jù)，因此，相比于深度置信網(wǎng)絡，稀疏降噪自編碼器在數(shù)據(jù)的特征提取、分析、降維和表達方面有更好的效果。

而深度置信網(wǎng)絡，RBM的初始化是指隨機設定且范圍在(0,1)間的網(wǎng)絡權(quán)值和偏置，會導致重構(gòu)后的數(shù)據(jù)和原始輸入數(shù)據(jù)有較大的差別，從而使網(wǎng)絡無論在準確率還是效率上都無法達到最優(yōu)。不僅如此，初始值的選擇會影響局部極小值的性能，較好的預訓練初始值可以在一定程度上提高局部極小值的性能，提高網(wǎng)絡的特征表達能力和泛化性能，并使模型更加穩(wěn)定(加快收斂)。

綜合以上兩點，本文采用稀疏降噪自編碼器初始化RBM：提出用單隱層稀疏降噪自編碼器對數(shù)據(jù)進行預訓練，將模型所產(chǎn)生的權(quán)值和偏置直接賦值給首層RBM，然后進行DBN的無監(jiān)督預訓練和有監(jiān)督反向微調(diào)，在一定程度上優(yōu)化網(wǎng)絡參數(shù)，以進一步改善局部最優(yōu)問題并提高模型的分類精度和訓練效率。

胡振等[12]提出一種基于降噪自編碼器的五層混合神經(jīng)網(wǎng)絡(前兩層是降噪自編碼器，后兩層是RBM)，該模型中降噪自編碼器的輸出即為深度置信網(wǎng)絡的輸入，由此證明了在深度置信網(wǎng)絡和降噪自編碼器這兩個模型間參數(shù)傳遞是可行并有效的。而本文采用的稀疏降噪自編碼器在降噪自編碼器的基礎上加入稀疏因子，并沒有改變降噪自編碼器的本質(zhì)，于是，參數(shù)傳遞依然可行。因此，本文用參數(shù)傳遞的方法實現(xiàn)兩個模型的對接，以達到用稀疏降噪自編碼器對模型參數(shù)進行預訓練的目的。當稀疏降噪自編碼器訓練后得到的權(quán)值和偏置賦值給深度置信網(wǎng)絡后，通過BP算法對整個深度置信網(wǎng)絡(兩層隱藏層)微調(diào)并在數(shù)字手寫數(shù)據(jù)集和紙牌游戲數(shù)據(jù)集上驗證，實驗證明，用SDAE進行預訓練能取得很好的結(jié)果。

基于稀疏降噪自編碼器的深度置信網(wǎng)的流程如圖3所示。

步驟1 建立并訓練單隱層的稀疏降噪自編碼器，得到權(quán)值W和偏置b。

步驟2 將第一步訓練得到的權(quán)值W和偏置b賦值給DBN的第一層RBM，初始化RBM。由第一步的結(jié)果得知，稀疏降噪自編碼器將會產(chǎn)生兩個權(quán)值矩陣：編碼過程生成W矩陣和解碼過程生成W′矩陣，因W就能很好地學習輸入中的特征[20]，W′可被約束為權(quán)值矩陣W的轉(zhuǎn)置，在模型參數(shù)傳遞中并沒有明顯的作用，因此本文直接將W矩陣賦值給RBM。

步驟3 建立并訓練雙隱層DBN并輸出結(jié)果。

步驟4 輸出錯誤率并解釋分析數(shù)據(jù)。

以上四步形成了本文提出的模型：先建立并訓練單隱層的稀疏降噪自編碼器，隨后將訓練得到的權(quán)值和偏置賦值給第一層RBM，初始化RBM，之后建立并訓練雙隱層DBN并輸出結(jié)果，最后通過模型輸出的數(shù)據(jù)進行對比分析。

圖3 基于稀疏降噪自編碼器的深度置信網(wǎng)流程

3 實驗分析

3.1 實驗數(shù)據(jù)集

本文所采用的實驗數(shù)據(jù)集為MNIST和USPS標準手寫體庫和Poker Hand撲克牌游戲數(shù)據(jù)集，MNIST和USPS標準手寫體庫各包含0～9共10個手寫阿拉伯數(shù)字樣本，實驗中樣本被歸一化、中心化統(tǒng)一大小，數(shù)據(jù)集MNIST為28×28 的標準灰度圖像，數(shù)據(jù)集USPS是16×16 的標準灰度圖像。Poker Hand數(shù)據(jù)集是一種以撲克牌游戲的手牌牌型作為數(shù)據(jù)來源，數(shù)據(jù)包含10個隨機屬性。為保證實驗的高效性(加快運行速度)和準確性，實驗過程采用小批量數(shù)據(jù)模式，因此選取MNIST數(shù)據(jù)60 000 個訓練樣本和10 000個測試數(shù)據(jù)，批量大小為100；USPS數(shù)據(jù)選取7 290個訓練樣本和2 000 個測試樣本，批量大小為10。Poker Hand數(shù)據(jù)選取25 010個訓練樣本和10 000個測試樣本，批量大小為10。

3.2 實驗參數(shù)設置

為了與本文提出的方法作一個詳實的比較，本文一共實現(xiàn)了6個模型，分別是：

1)本文提出的基于稀疏降噪自編碼器的深度置信網(wǎng)絡(簡稱為DBNS)。先構(gòu)建只含一個隱藏層的稀疏降噪自編碼器網(wǎng)絡，所得權(quán)值和偏置設置為RBM模型的初始化權(quán)值和閾值，然后利用有標簽數(shù)據(jù)反向微調(diào)DBN網(wǎng)絡。其中，DBN網(wǎng)絡含有兩個隱藏層，其節(jié)點數(shù)均為100，其輸出層為Logistic分類層。

2)潘廣源等[9]提出的DBN深度確定方法(簡稱為DBNN)。首先建立一個隱藏層并計算重構(gòu)誤差，通過判斷重構(gòu)誤差是否小于預設值來增加模型的隱藏層數(shù)，最后反向微調(diào)整個網(wǎng)絡以提高模型的精度。其中，本文設定重構(gòu)誤差正確率為99%以上，隱藏層節(jié)點個數(shù)均為100(包括增加的隱藏層)。

3)胡振等[12]提出的基于深度置信網(wǎng)絡和級聯(lián)去噪自編碼器的混合模型(簡稱為SDA2_DBN2)，SDA2_DBN2是一個五層的神經(jīng)網(wǎng)絡，包括兩層降噪自編碼、兩層RBM和一層Logistic分類層。首先建立并初始化網(wǎng)絡，隨后無監(jiān)督逐層預訓練，最后，反向微調(diào)整個網(wǎng)絡。

4)胡振等[12]提出的基于深度置信網(wǎng)絡和級聯(lián)去噪自編碼器的混合模型的修改(簡稱為SDA_DBN2)，由于文獻[12]提出的模型深度較大導致訓練時間較長，于是本實驗在SDA2_DBN2的基礎上減少一層降噪自編碼，該模型包含四層。

5)傳統(tǒng)的深度置信網(wǎng)絡(DBN)[19]，本文采用含有兩個隱含層的深度神經(jīng)網(wǎng)絡(確保模型規(guī)模相同，方便對比)。

6)傳統(tǒng)的稀疏降噪自編碼器(SDAE)[20]，本文采用含有兩個隱含層的深度神經(jīng)網(wǎng)絡確保模型規(guī)模相同，方便對比。

3.3 實驗結(jié)果

實驗中，稀疏降噪子編碼器的網(wǎng)絡結(jié)構(gòu)為：784-100(可視層-隱藏層)，DBN的網(wǎng)絡結(jié)構(gòu)為：784-100-100(可視層-隱藏層-隱藏層)，不同模型的實現(xiàn)結(jié)果比較如圖4所示。圖4表示的是隨著迭代次數(shù)的增加，各模型分類誤差的變化情況。其中圖4(a)是在MNIST數(shù)據(jù)集上迭代50次的結(jié)果，圖4(b)是在USPS數(shù)據(jù)集上迭代150次的結(jié)果(確保實驗結(jié)果收斂)，圖4(c)是在Poker Hand數(shù)據(jù)集上迭代50次的結(jié)果。為保證實驗數(shù)據(jù)準確率，數(shù)據(jù)均為5次實驗求平均值的結(jié)果。

由圖4可知，隨著迭代次數(shù)的增加，網(wǎng)絡的分類誤差在不斷地減小，直到趨于穩(wěn)定。 基于數(shù)據(jù)集MNIST、USPS和Poker Hand，本文提出的模型分類誤差率最低，在相同隱藏層層數(shù)的模型中收斂速度最快。

不同模型在不同數(shù)據(jù)集的分類誤差率及訓練時間見表1。

表1 不同數(shù)據(jù)集訓練結(jié)果

由表1 MNIST數(shù)據(jù)集結(jié)果可知，在MNIST數(shù)據(jù)集上，本文方法(DBNS)誤差率(2.02%)相比DBN降低了10.62%，時間縮短了2.02%；相比DBN深度確定方法(DBNN)(2.16%)降低了6.48%，訓練時間卻增加了，這是因為DBN深度確定方法建立的模型只含有一個隱藏層，訓練時間較少；相比兩個混合模型(即SDA2_DBN2和SDA_DBN2)，誤差率分別降低了6.05%和7.76%，訓練時間分別縮短了31.26%和16.69%；相比SDAE，雖然訓練時間幾乎相同，但在誤差率上有明顯降低(8.60%)。不僅如此，本文方法在準確率和召回率相比其他5個模型均有提高。

由表1的USPS數(shù)據(jù)集結(jié)果可知，在USPS數(shù)據(jù)集上，本文方法的誤差率(5.8%)比DBN深度確定方法(DBNN)誤差率降低了30.54%，時間縮短了3.35%；比SDA2_DBN2和DBN誤差率降低了21.09%，時間縮短了17.77%和3.86%；比SDA_DBN2誤差率降低了16.55%，時間縮短了8.55%；比SDAE誤差率降低了18.3%，時間縮短了2.96%。在準確率和召回率上，DBNS相比其余模型均有不同程度的提升。

由表1結(jié)果可知，在Poker Hand數(shù)據(jù)集上，本文方法的訓練時間和DBN深度確定方法、DBN和SDAE相近，但是誤差率(18.04%)比DBN誤差率明顯降低了46.4%，準確率和召回率顯著提高(15.56%和14.13%)；相比DBN深度確定方法誤差率降低了41.8%，準確率和召回率提高了8.2%和4.78%；相比SDAE誤差率降低了26.72%，準確率提高了7.95%；相比SDA_DBN2和SDA2_DBN2在訓練效率上有顯著提高(訓練時間分別縮短28.09%和35.31%)，誤差率分別降低了32.61%和16.25%，準確率提升了9.82%和4%，召回率提升了9.88%和3.83%。

從上述的實驗數(shù)據(jù)，可以看出本文提出的方法不僅在分類誤差上低于其他模型，而且訓練效率(包含SDAE訓練效率)、準確率和召回率也相應得到提升。實驗數(shù)據(jù)表明，用稀疏降噪自編碼器初始化深度置信網(wǎng)絡的方法是可行的，并且相比其他較為流行的模型，在分類精度和訓練效率上都取得了較好的效果。

4 結(jié)語

由于稀疏降噪自編碼器對輸入數(shù)據(jù)具有較好的特征提取能力，本文提出了一種基于稀疏降噪自編碼器的深度置信網(wǎng)絡，將訓練好的稀疏降噪自編碼器的權(quán)值和偏置賦值給深度置信網(wǎng)絡。在MNIST、USPS手寫數(shù)據(jù)集和Poker Hand數(shù)據(jù)集上的實驗結(jié)果表明，SDAE的有效訓練使深度置信網(wǎng)絡模型在一定程度上克服了易于陷入局部最優(yōu)的弊端，有效降低了分類誤差率并提高了訓練效率和準確率。如何使網(wǎng)絡在保證精度和效率的基礎上更智能化，自動尋優(yōu)參數(shù)以減少對先驗經(jīng)驗的依賴，將是接下來研究的重點。

References)

[1] LECUN Y, BENGIO Y, HINTON G. Deep learning [J]. Nature, 2015, 521(7553): 436-444.

[2] ERHAN D, BENGIO Y, COURVILLE A, et al. Why does unsupervised pre-training help deep learning? [J]. Journal of Machine Learning Research, 2010, 11(3): 625-660.

[3] MOHAMED A R, DAHL G E, HINTON G. Acoustic modeling using deep belief networks [J]. IEEE Transactions on Audio Speech & Language Processing, 2012, 20(1): 14-22.

[4] WALID R, LASFAR A. Handwritten digit recognition using sparse deep architectures [C]// Proceedings of the 2014 9th International Conference on Intelligent Systems: Theories and Applications. Piscataway, NJ: IEEE, 2014: 1-6.

[5] BU S, LIU Z, HAN J, et al. Learning high-level feature by deep belief networks for 3-D model retrieval and recognition [J]. IEEE Transactions on Multimedia, 2014, 16(8): 2154-2167.

[6] SARIKAYA R, HINTON G E, DEORAS A. Application of deep belief networks for natural language understanding [J]. IEEE/ ACM Transactions on Audio Speech & Language Processing, 2014, 22(4): 778-784.

[7] HINTON G. A practical guide to training restricted Boltzmann machines [EB/OL]. [2016- 12- 12]. http://www.csri.utoronto.ca/～hinton/absps/guideTR.pdf.

[8] HINTON G E. Training products of experts by minimizing contrastive divergence [J]. Neural Computation, 2002, 14(8): 1771-1800.

[9] 潘廣源，柴偉，喬俊飛.DBN網(wǎng)絡的深度確定方法[J].控制與決策,2015,30(2)：256-260.(PAN G Y, CHAI W, QIAO J F. Calculation for depth of deep belief network [J]. Control and Decision, 2015, 30(2): 256-260.)

[10] SRIVASTAVA N, HINTON G, KRIZHEVSKY A, et al. Dropout: a simple way to prevent neural networks from overfitting [J]. Journal of Machine Learning Research, 2014, 15(1): 1929-1958.

[11] RANZATO M, BOUREAU Y L, LECUN Y. Sparse feature learning for deep belief networks [J]. Advances in Neural Information Processing Systems, 2007, 20: 1185-1192.

[12] 胡振，傅昆，張長水.基于深度學習的作曲家分類問題[J].計算機研究與發(fā)展,2014,51(9):1945-1954.(HU Z, FU K, ZHANG C S. Audio classical composer identification by deep neural network [J]. Journal of Computer Research and Development, 2014, 51(9): 1945-1954.)

[13] BENGIO Y, LAMBLIN P, POPOVICI D, et al. Greedy layer-wise training of deep networks [C]// Proceedings of the 19th International Conference on Neural Information Processing Systems. Cambridge, MA: MIT Press, 2006: 153-160.

[14] VINCENT P, LAROCHELLE H, BENGIO Y, et al. Extracting and composing robust features with denoising autoencoders [C]// Proceedings of the 25th International Conference on Machine Learning. New York: ACM, 2008: 1096-1103.

[15] SALAKHUTDINOV R, HINTON G. Deep Boltzmann machines [J]. Journal of Machine Learning Research, 2009, 5(2): 1967 -2006.

[16] BENGIO Y, COURVILLE A C, VINCENT P. Unsupervised feature learning and deep learning: a review and new perspectives [EB/OL]. [2016- 12- 22]. http://docs.huihoo.com/deep-learning/Representation-Learning-A-Review-and-New-Perspectives-v1.pdf.

[17] VINCENT P, LAROCHELLE H, LAJOIE I, et al. Stacked denoising autoencoders: learning useful representations in a deep network with a local denoising criterion [J]. Journal of Machine Learning Research, 2010, 11: 3371-3408.

[18] LIU Y, ZHOU S, CHEN Q. Discriminative deep belief networks for visual data classification [J]. Pattern Recognition, 2011, 44(10/11): 2287-2296.

[19] XIE J, XU L, CHEN E. Image denoising and inpainting with deep neural networks [EB/OL]. [2016- 11- 27]. http://staff.ustc.edu.cn/～linlixu/papers/nips12.pdf.

[20] DENG L. A tutorial survey of architectures, algorithms, and applications for deep learning [EB/OL]. [2017- 01- 10]. https://www.cambridge.org/core/services/aop-cambridge-core/content/view/S2048770314000043.

[21] HINTON G E, SALAKHUTDINOV R R. Reducing the dimensionality of data with neural networks [J]. Science, 2006, 313(5786): 504-507.

Deepbeliefnetworksbasedonsparsedenoisingautoencoders

ZENG An1, ZHANG Yinan1, PAN Dan2*, Xiao-wei SONG3

(1.FacultyofComputerScience,GuangdongUniversityofTechnology,GuangzhouGuangdong510006,China;2.ModernEducationTechnicalCenter,GuangdongConstructionPolytechnic,GuangzhouGuangdong510440,China;3.ImageTechLab,SimonFraserUniversity,VancouverV6B5K3,Canada)

The conventional Deep Belief Network (DBN) often utilizes the method of randomly initializing the weights and bias of Restricted Boltzmann Machine(RBM) to initialize the network. Although it could overcome the problems of local optimality and long training time to some extent, it is still difficult to further achieve higher accuracy and better learning efficiency owing to the huge difference between reconstruction and original input resulting from random initialization. In view of the above-mentioned problem, a kind of DBN model based on Sparse Denoising AutoEncoder (SDAE) was proposed. The advantage of the advocated model was the feature extraction by SDAE. Firstly, SDAE was trained, and then, the obtained weights and bias were utilized to initialize DBN. Finally, DBN was trained. Experiments were performed on card game data set of Poker hand and handwriting data sets of MNIST and USPS to verify the performance of the proposed model. In Poker hand data set, compared with the conventional DBN, the error rate of the proposed model is lowered by 46.4%, the accuracy rate and the recall rate are improved by 15.56% and 14.12% respectively. The results exhibit that the proposed method is superior to other existing methods in recognition performance.

Deep Belief Network (DBN); Restricted Boltzmann Machine (RBM); Sparse Denoising AutoEncoder (SDAE); deep learning

2017- 03- 28;

2017- 06- 07。

國家自然科學基金資助項目(61300107)；廣東省自然科學基金資助項目(S2012010010212)；廣州市科技計劃資助項目(201504301341059, 201505031501397)。

曾安(1978—)，女，湖南新化人，教授，博士，CCF會員，主要研究方向：人工智能、數(shù)據(jù)挖掘； 張藝楠(1993—)，女，廣東興寧人，碩士研究生，主要研究方向：數(shù)據(jù)挖掘； 潘丹(1975—)，男，廣東興寧人，高級工程師，博士，主要研究方向：人工智能、數(shù)據(jù)挖掘、大數(shù)據(jù)；Xiao-Wei Song(1962—)，女，北京人，研究員，博士，主要研究方向：腦科學、神經(jīng)影像。

1001- 9081(2017)09- 2585- 05

10.11772/j.issn.1001- 9081.2017.09.2585

TP183

A

This work is partially supported by the National Natural Science Foundation of China (61300107), the Natural Science Foundation of Guangdong, China (S2012010010212), the Science and Technology Program of Guangzhou (201504301341059,201505031501397).

ZENGAn, born in 1978, Ph. D., professor. Her research interests include artificial intelligence, data mining.

ZHANGYinan, born in 1993, M. S. candidate. Her research interests include data mining.

PANDan, born in 1975, Ph. D., senior engineer. His research interests include artificial intelligence, data mining, big data.

Xiao-WeiSONG, born in 1962, Ph. D., researcher. Her research interests include brain science, neuroimaging.