深度信念網絡研究現狀與展望

王功明 喬俊飛 關麗娜賈慶山

人工神經網絡是計算機模擬人類大腦處理信息的一種運算模式,即通過訓練輸入和輸出數據,使網絡得到關于輸入和輸出的非線性映射關系,從而在未來的任務中進行自主計算.因此,人工神經網絡是計算機科學、認知科學、腦科學和數學的交叉學科,其在模式識別、智能控制、多種信號處理、優化設計等領域得到較大的發展,并已在信息產業中得到了成功的應用[1?5].20 世紀八十年代末期,用于人工神經網絡的反向傳播算法(Back-propagation,BP) 的發明,給機器學習帶來了希望,掀起了基于統計模型的機器學習熱潮.這個時候的人工神經網絡雖然也被稱作多層感知器(Multi-layer perceptron,MLP),但實際上是一種只含有一個隱含層的淺層人工神經網絡模型.進入21 世紀以后,隨著互聯網的高速發展,對大數據的智能化分析和預測提出了巨大需求.由于淺層網絡往往采用梯度類學習算法,人為經驗因素較多,缺乏自主學習過程且對初始參數的設定依賴性較強[6?8],這限制了神經網絡的特征自動提取能力,使得其在處理大規模不確定性數據時往往誤差較大.生物神經系統學研究結果表明,人類的智能主要取決于大腦皮層,而大腦皮層是一個大規模互連的深層生物神經網絡[9?11],主要認知方式是無監督自主學習與推理.探求大腦的組織結構和運行機制,從模仿人腦深層學習機制的角度出發,尋求新的信息處理方法是當前人工智能領域發展的優先方向.然而,由于理論分析的難度,加上訓練方法需要很多經驗和技巧,所以這個時期深層人工神經網絡相對較為沉寂.

2006 年,加拿大多倫多大學教授、機器學習領域泰斗― Geoffrey Hinton 和他的學生Ruslan Salakhutdinov 在頂尖學術刊物《Science》上發表了一篇文章,開啟了深度學習(Deep learning,DL)在學術界和工業界的浪潮[12?14].主要思想是利用“逐層初始化(Layer-wise pre-training)”來完成自主學習與推理過程,從而有效克服深層結構的訓練困難.近幾年來,深度學習憑借其模擬人腦分層學習和自主推理的認知機理逐漸成為研究熱點[15],同時也帶動了人工神經網絡領域的進一步發展.由于深度學習能夠在大量數據任務中快速穩定地計算,這推動了云計算、大數據科學的發展,如今已經在自然語義理解、模式識別問題、機器人學和數據挖掘等方面得到了較好的應用[16?19],甚至在機器情感分析方面也開始被研究,使得該領域朝著圖靈機的實現又邁進了一大步.2016 年,利用深度學習技術訓練過的阿爾法圍棋(AlphaGo) 擊敗人類圍棋冠軍,引起了學術界和科技界的巨大轟動,并激起了人們對深度學習研究的再一次熱潮.

目前,深度信念網絡(Deep belief network,DBN) 是深度學習的主要實現方法之一.DBN 是具有若干潛變量層的生成模型.潛變量通常是二值的,而可見單元可以是二值或實數[20?21].盡管構造連接比較稀疏的DBN 是可能的,但在一般的模型中,每層的每個單元連接到每個相鄰層中的每個單元,而層內沒有連接.DBN 可以通過若干個受限玻爾茲曼機(Restricted Boltzmann machine,RBM)的順序堆疊來構造,其學習過程分為兩個階段,即首先對RBM 進行逐層無監督預訓練,再用反向傳播算法對整個網絡進行有監督的調優.DBN 的這種分階段訓練方法使其在學習深層結構上取得了一定的成功,并在圖像處理、模式識別、系統建模和預測等任務中得到了關注和研究[20,22?27].

近年來,眾多學者在現有DBN 結構和學習算法的基礎上進行了拓展與改進,并提出了多種類型的DBN 變種模型.目前,比較常見的DBN 變種模型主要有稀疏DBN[28?29]、自組織DBN[26]、增量式DBN[27]、遞歸DBN[30].與傳統的DBN 相比,改進型的DBN 分別在各自的聚焦點上取得了部分性能上的提升.但是,在結構自主確定方面,DBN 仍然存在一些難以解決的瓶頸問題,相關的研究工作還處于剛剛起步狀態,在理論、技術以及應用層面上還有很大的提升空間,在未來一段時間內仍將是深度學習研究中比較熱門的研究方向之一.

1 深度信念網絡基本模型與概述

深度信念網絡是為了簡化邏輯斯蒂信念網絡的推理困難而提出的一種深度模型,也是目前深度學習最主要的實現方式之一.DBN 可以通過受限玻爾茲曼機的順序堆疊來構造,其學習過程分為兩個階段,首先是對RBM 進行逐層無監督預訓練,然后再用反向傳播算法對整個網絡進行有監督的調優.本節重點介紹DBN 的無監督學習.RBM 和DBN 的結構分別如圖1 和圖2 所示.

圖1 RBM 結構圖Fig.1 Structure of RBM

圖2 DBN 結構圖Fig.2 Structure of DBN

給定模型參數θ=(wR,bv,bh),那么可視層和隱含層的聯合概率分布P(v,h;θ) 用能量函數E(v,h;θ) 定義為

對于一個伯努利(可視層) 分布-伯努利(隱含層) 分布的RBM,能量函數定義為

其中,是RBM 的連接權值,bvi和bhj分別表示可視層節點和隱含層節點的偏置.那么條件概率分布可表示為

式中,σ(·) 是一個Sigmoid 函數.

由于可視層和隱含層是伯努利的二值狀態,所以判斷它們二值概率取值的標準常通過設定一個閾值來實現[31].

通過計算對數似然函數logP(v;θ) 的梯度,可以得到RBM 權值更新公式為

式中,τ和η分別表示RBM 的迭代次數和學習率,Edata(vihj) 和Emodel(vihj) 分別表示訓練集中觀測數據的期望和模型所確定分布上的期望[32].特別地,RBM 有一個有趣的性質,即當利用基于最大似然的學習規則訓練時,連接兩個神經元的特定權重的更新僅取決于這兩個神經元在不同分布下收集的統計信息:Pmodel(v) 和網絡的其余部分參與塑造這些統計信息,但是權值參數可以在完全不知道網絡其余部分或這些統計信息如何產生的情況下更新.這意味著學習規則是“局部”的,這使得RBM 的學習似乎在某種程度上是符合生物學機理.我們可以設想每個神經元都是RBM 中隨機變量的情況,那么連接兩個隨機變量的軸突和樹突只能通過觀察與它們物理上實際接觸細胞的激發模式來學習.特別地,經常發生某種強烈的脈沖激勵時的兩個神經元之間的連接會被加強,這就是Hebb 學習規則的核心思想.Hebb 學習規則給出了生理學與心理學之間的內在聯系,該規則至今仍被許多神經網絡學習算法所使用.

作為一種深層網絡模型,DBN 兼具生成模型和判別模型的雙重屬性.因為DBN 的預訓練過程主要用來表達數據的高階相關性或者描述數據的聯合統計分布,具有生成模型的特點;DBN 有監督調優過程通常用來分類數據的內在模式或者描述數據的后驗分布,具有判別模型的特點.這里的“生成”是指從隱含層到輸入數據的的重構過程,而“判別”是指從輸入數據到隱含層的歸約過程.同時,作為一種生成模型,生成式對抗網絡(Generative adversarial network,GAN) 近年來同樣受到很大的關注并進行了廣泛的應用[32?33].GAN 實質上屬于一種基于深度學習的混合模型,其通過框架中生成模型和判別模型的互相博弈學習產生相當好的輸出.從數據生成角度看,GAN 的數據生成過程是在有監督信號的反饋作用下完成的.而DBN 作為一種生成模型時,其監督信號是數據本身,即通過對原始數據的重構完成網絡的訓練,從而具有生成能力.具體應用中,DBN 常作為GAN 的生成模型,與判別模型進行對抗學習[32].

DBN 學習模型的優點是通過組合許多RBM,把上一層RBM 的特征激勵作為下一層的訓練數據,可以高效地對隱含層進行學習.遞歸神經網絡(Recurrent neural networks,RNN),它的深度甚至可以達到和輸入數據序列的長度一致.在無監督學習模式下,RNN 被用來根據先前的數據樣本預測未來的數據序列,并且學習過程中沒有用到類別信息.然而,RNN 在近幾年才得以廣泛使用,部分原因是由于在訓練中遇到的梯度彌散或梯度爆炸問題,它很難通過訓練來捕捉長時相關性.隨著在Hessianfree 優化研究方面的進展,在一定程度上解決了這個問題,該方法使用了近似二階信息或隨機曲率估計.另外,RNN 沒有基于無監督預訓練的參數初始化過程,這也是其與DBN 在訓練原理上的最大區別.

卷積神經網絡(Convolutional neural networks,CNN) 是另一種具有判別性能的深度學習網絡,它的每個模塊都是由卷積層(Convolutional layer) 和池化層(Pooling layer) 組成.卷積層共享權值,池化層對卷積層的輸出進行降采樣,減少了下一層的數據量.研究發現,CNN 的應用主要集中于計算機視覺或者圖像識別領域,并且效果較為出色[34].而DBN 的應用則廣泛分布于計算機視覺和數據建模及預測等領域.另一種與DBN 相似的深度結構基本學習模型是自編碼器(Auto encoder),自編碼器主要用于完成數據轉換的學習任務,在本質上是一種無監督學習的非線性特征提取模型.自編碼器與DBN 也有著重要的區別,這種區別的核心在于:自編碼器希望通過非線性變換找到輸入數據的特征表示,它是某種確定論性的模型;而DBN 的訓練則是圍繞概率分布進行的,它通過輸入數據的概率分布(能量函數) 來提取高層表示,是某種概率論性的模型.

另外,DBN 具有較多的超參數,可分為兩類:一類是訓練參數(如學習率和動量項);另一類是定義網絡結構的參數(如網絡層數和每層神經元數).前者的自動調優屬于超參數優化(Hyperparameter optimization,HO) 的范疇,而后者的自動調優一般稱為神經網絡架構搜索(Neural architecture search,NAS).嚴格地講,NAS 屬于DBN 結構設計的方法之一,目前DBN 結構設計大多數通過提前賦值來完成,即在網絡訓練過程中結構不變,只有訓練參數在不斷調整.本文即將介紹的兩種變結構設計策略(自組織結構和增量式結構) 對固定結構來講是一種突破,但是與NAS 又存在區別,主要體現在:NAS 先定義搜索空間,然后通過搜索策略找出候選網絡結構,對它們進行評估,根據反饋進行下一輪的搜索;而變結構策略只要是以某種觸發機制或誤差導向來實時調整結構規模.

2 深度信念網絡結構分析與性能比較

2.1 固定結構深度信念網絡

目前最為常見的DBN 應用形式是定結構模型,即在訓練過程中DBN 結構固定不變.盡管現在與其他無監督或生成學習算法相比,固定結構的DBN大多已經失去了青睞并很少使用,但它們在深度學習歷史中的重要作用仍應該得到承認[20].定結構DBN 在處理實際復雜數據時,無監督預訓練和反向傳播調優算法均具有提升和改進的空間,主要表現在預訓練耗時和調優精度兩方面.同時,定結構DBN 主要是通過足夠的經驗和充足的數據來確定其結構,且其結構一旦確定將不再調整,這導致定結構DBN 無法滿足待處理數據的多樣性變化要求.

眾所周知,DBN 具有很強的計算和信息處理能力,但是它對于模式識別、感知以及在復雜環境中作決策等問題的處理能力卻遠不如人.神經生理學研究結果表明,人的智能主要取決于大腦皮層,而大腦皮層是一個大規模互連的生物深度神經網絡.在處理不同信息時,生物深度神經網絡會啟用不同的神經元連接結構,也就是說,其采用的是一種變結構的信息處理機制[35].而在實際過程中,定結構DBN 只是通過改變權值參數來適應任務的變化,但如何構造一種DBN 使其結構在動態調整的同時不斷調整權值參數,是今后DBN 發展的趨勢,也是一個開放且尚未解決的問題[36].

2.2 稀疏深度信念網絡

研究發現,現有的DBN 模型在學習過程中內部神經元之間的權值連接均是一種密集表述[37?38].然而,在深度學習算法中,一個主要的目的是獨立地表述數據的差異[36],密集表述容易導致網絡不穩定,因為任何輸入上的擾動都會引起中間隱含層特征表述向量發生變化,甚至是巨變[38].稀疏表述就是用較少的基本信號的線性組合來表述大部分或者全部的原始信號.利用稀疏表述對DBN 進行稀疏連接訓練,可以有效地降低輸入擾動對中間隱含層特征表述向量的影響[39].無監督學習過程中的稀疏表述原理如圖3 所示.

圖3 稀疏表述原理圖Fig.3 Sparse representation scheme

Lee 等[40]通過在RBM 訓練過程中引入一個正則化懲罰項來降低密集表述的程度.具體來講,首先設置一個隱含層神經元的期望激活強度值,然后懲罰隱含層神經元實際激活強度與期望激活強度之間的偏差.給定m組訓練數據集其實現稀疏表述的優化問題為

其中,λ是正則化常數,μ是控制著第j個隱含層神經元稀疏度的期望激活強度值,通過這種提前給定期望激活閾值的方法可以實現一定意義上的稀疏表述.

為了使所有隱含層神經元能夠以一定的概率或者波動性逼近期望激活強度值,Keyvanrad 等[41]通過引入正態函數的集中分布思想來控制網絡的稀疏度.根據這種思想,對應于稀疏表述優化問題的正則化項可表示為

其中,σ是控制稀疏強度波動性的方差.

同時,應該注意到參數的設置對網絡學習效果的影響是顯著的[38],如果設置不當,要實現較高精度的建模并學習到正確的特征信息往往比較困難.因此上述稀疏表述方法雖然在網絡性能的魯棒性方面取得一定程度的效果,但對無監督學習的迭代次數和神經元數量等有一定依賴.

2.3 自組織深度信念網絡

目前DBN 在應用中存在一個重要問題,即針對不同的問題,DBN 需要提前設置網絡深度,然后利用經驗法比較各種不同深度的精度和訓練效果.這極大地制約了網絡解決問題時的效率,使DBN 的進一步推廣與應用受到很大限制.實際上,著名深度學習專家Bengio 在2009 年提出了一個與此類似的問題[36],該問題原文描述為:“Is there a depth that is mostly sufficient for the computations necessary to approach human-level performance of AI tasks?”.意思是,是否存在一個合適深度的DBN,可以用來盡可能像人類解決問題那樣去解決大多數的AI 問題呢? 由于該問題比較籠統,涉及的學科范圍太廣,很難通過一個有效的數學方法來解決該問題,難以設計出包含較多的特征并具有代表性的實驗對其進行驗證,因此該問題在短時間內難以得到徹底的解決.目前,針對此問題的初步試探性解決方法有結構自組織策略和湊試法.本節只介紹結構自組織策略.

Qiao 等[26]提出了一種基于神經元激活強度和誤差下降率最小化的結構自組織方法.首先,在無監督預訓練階段將隱含層神經元的激活強度作為神經元的“貢獻度”,并根據“貢獻度”的大小對神經元進行增加或刪減.其次,在有監督調優階段,將訓練誤差的下降率作為隱含層的刪減標準,當訓練誤差下降率首次出現遞減時刪掉一個隱含層,否則增加隱含層.激活強度SI可表示為

其中,α是正常數,oi·l是第l個隱含層的第i個神經元的輸出,i=1,2,3,···,Nl,Nl是第l個隱含層的神經元個數,si·l表示第l個隱含層的第i個神經元的輸入權值之和,可通過如下公式計算得到

其中,rij是i個神經元的第j個輸入量,wij是第j個輸入神經元和第i個神經元之間的連接權值,ni是第i個神經元的輸入神經元個數,si·l所表示的權值連接過程如圖4 所示.DBN 的結構自組織策略原理如圖5 所示.

在傳統淺層神經網絡的結構設計方面,研究人員注重結構自組織設計方法[42?43],即根據神經元激活強度的大小來增加或者刪減結構.盡管結構自組織設計方法在淺層神經網絡中得到了成功的應用并取得了較好的效果,但關于DBN 結構自組織方法的研究卻非常有限.本節介紹的基于傳統自組織方法的變結構DBN 模型在學習精度上有所提高,但是在學習效率方面提高不明顯,相關研究還需要進一步加強.

圖4 計算激活強度的權值連接過程Fig.4 Weights connecting process of computing spiking intensity

2.4 增量式深度信念網絡

與傳統淺層神經網絡的結構自組織相比,DBN結構自組織策略一直沒有得到學術界的廣泛關注,主要原因有:1) 自組織方法將神經元的激活強度作為增加和刪減結構的評判標準,而DBN 往往擁有多個隱含層且每個隱含層含有較多的神經元,這導致DBN 自組織設計過程復雜且計算量龐大[26];2) 預訓練好的初始DBN 可被視為一種知識源域(Source domain),其中的知識可被視為一種可重復利用的經驗[44],但是結構自組織方法未能在知識源域到目標域(Target domain) 之間實現知識的轉移.因此,在DBN 結構自組織過程中需要不間斷地對目標域內若干個新增子結構進行參數初始化,從而導致自組織方法在DBN 結構設計中應用成本較高,甚至難以實現.

通過上述分析可知,DBN 結構自組織方法遇到的主要障礙是計算量巨大,而如何在知識源域與目標域之間實現知識的有效轉移成為關鍵.遷移學習(Transfer learning,TL) 是一種旨在實現知識轉移的學習方法且具有較強的魯棒性[45?47].常用的遷移學習方法是:首先訓練一個模型并將其作為知識源域,然后再利用特定的方法將知識源域中可重復利用的知識轉移到目標域中來加速新結構的學習過程[48?49],從而提高復雜模型的訓練效率.近些年來,基于遷移學習的神經網絡復合訓練方法大批涌現并取得了較好的效果[50?51].

圖5 結構自組織策略原理圖Fig.5 Self-organizing structure strategy scheme

為了解決上述問題,Wang 等[27]提出了一種基于遷移學習策略的增量式深度信念網絡(TLGDBN) 模型.相較于淺層神經網絡的結構自組織方法,不同之處在于TL-GDBN 沒有利用神經元的激活強度作為結構增長或刪減的依據.首先,初始化一個單隱含層DBN 并對其進行預訓練(Pretraining),然后固定預訓練好的初始DBN 并將其作為知識源域.其次,在初始DBN 的基礎上不斷增加固定規模的隱含層和神經元并將其作為目標域,同時建立基于遷移學習的知識轉移規則來加速目標域的訓練過程.第三,根據TL-GDBN 的預訓練的重構誤差設置結構增長的停止準則及其閾值,從而獲得最優的結構.

基于遷移學習的增量式深度信念網絡(TLGDBN) 的結構增長過程僅在預訓練階段進行.每一步的結構增長包括神經元和隱含層兩部分.數據被分為三部分:訓練數據(Training data)、驗證數據(Validating data) 和測試數據(Testing data).訓練數據用來預訓練初始DBN 并獲得知識源域,驗證數據用來結合遷移學習實現TL-GDBN 結構的增量式變化,測試數據用來測試TL-GDBN.預訓練結束后TL-GDBN 結構將不再變化.

知識在遷移學習規則下持續地被轉移到新增結構中,TL-GDBN 的一步結構增長過程如下:

步驟1.結構初始化和預訓練.首先初始化一個單隱含層的DBN 結構,然后利用對比散度(Contrastive divergence,CD) 算法和訓練數據進行預訓練.假設初始化DBN 的輸入和其隱含層神經元的個數分別為m和n,那么預訓練后學習到的知識(權值參數矩陣)Rm×n將被保存在知識源域中.

步驟2.增加神經元.增加兩倍于初始DBN 隱含層神經元數量的神經元,新的權值參數矩陣變為∈Rm×3n.

步驟3.增加隱含層.增加與初始DBN 具有相同數量神經元的隱含層,對應的新增權值參數矩陣為R3n×n.

步驟4.計算預訓練過程的重構誤差,并將重構誤差作為預訓練過程誤差.

步驟5.設置結構增長的停止準則.利用驗證數據計算重構誤差,并將重構誤差的連續若干步的減小量作為結構增長的停止準則.同時設置停止準則的閾值,當訓練過程中的重構誤差滿足閾值條件時,TL-GDBN 結構停止增長并進入步驟6;否則,跳轉到步驟2.

步驟6.固定當前TL-GDBN 的最優結構,預訓練過程結束.

TL-GDBN 的一步結構增長過程原理如圖6 所示.結構增長過程一旦結束,TL-GDBN 的結構和對應的初始權值參數即被確定.

實驗結果發現,TL-GDBN 的稀疏度隨著結構的不斷擴大而表現出先增大后穩定的趨勢.這種趨勢表明在結構增長過程中TL-GDBN 的密集表述越來越弱,網絡各隱含層提取到的特征向量受輸入波動影響的程度也越來越弱,即網絡魯棒性較強.

然而,關于如何進行知識遷移仍然是一個難點,究其原因主要在于:在遷移學習中,學習器必須執行兩個或更多個不同的任務,但是我們假設能夠解釋P1變化的許多因素和學習P2需要抓住的變化相關.例如,我們可能在第一種情景中學習了一組數據分布特性,然后在第二種場景中學習了另一組數據分布特性.如果第一種情景P1中具有非常多的數據,那么這有助于學習到能夠使得從P2抽取的非常少的樣本中快速泛化表示.一般來講,當不同情景或任務存在有用特征時,并且這些特征對應多個情景出現的潛在因素,遷移學習可以發揮事半功倍的效果.然而,有時不同任務之間共享的不是輸入的數據分布特性,而是輸出的目標數據分布特征.這種情況下,使用遷移學習往往會得到不盡人意的學習效果.

2.5 遞歸深度信念網絡

從學習策略上看,傳統DBN 模型是一種前饋網絡,堆疊的RBM 只能保存暫時的信息(達到能量平衡后的穩態信息),故現有的DBN 模型對時間序列的建模與預測精度相對較低[52?55].Ichimura等[30]提出一種遞歸深度信念網絡(RNN-DBN),其在結構上是由若干個遞歸受限玻爾茲曼機(RNNRBM)[56]堆疊組成.而RNN-RBM 則是在遞歸時間RBM (RTRBM) 的基礎上發展起來的[52],是一種基于能量的時域序列密度估計模型.RTRBM 結構如圖7 所示.

圖6 TL-GDBN 的一步增長過程Fig.6 Illustration of one-growing step

圖7 RTRBM 的結構圖Fig.7 RTRBM structure

圖7 中每一個框代表一個RBM,h是隱含層,v是可視層,雙向箭頭表示h和v生成的條件概率,即:

其中,A(t)=表示所有t時刻之前的(v,h) 集合.此外對于RTRBM,可以理解為每個時刻可以由上一時刻的狀態h(t?1)對該時刻產生影響(通過Whh和Whv),然后通過RBM 得到一個(h(t),v(t)) 穩態.由于每一個參數都和上一時刻的參數有關,可以認為只有偏置項是受隱含層影響的,即:

從結構和學習過程中可以看出,RTRBM 的隱含層描述的是可視層的條件概率分布,只能保存暫時的信息(達到穩態的信息).將RTRBM 中的隱含層用遞歸網絡代替時,就可以得到RNN-RBM,其結構由圖8 所示.上面每個框代表一個RBM,而下面的框則表示一個按時間展開了的RNN.這樣設計的好處是把隱含層分離了,h只用于表示當前RBM的穩態狀態,u表示RNN 里的隱含層節點.通過順序堆疊RNN-RBM 可以得到RNN-DBN,其結構如圖9 所示.

圖8 RNN-RBM 的結構圖Fig.8 RNN-RBM structure

盡管RNN-DBN 在結構和學習算法上取得了成功,但是其穩定性和收斂性卻成為一個新的復雜問題[57?59].例如,在取得較高建模精度的同時如何分析RNN-DBN 遞歸算法的穩定性和收斂性等問題仍需要繼續深入研究.

以上所述幾種DBN 結構均在各自的關注點上取得到了進步,但距離網絡性能的整體提升還有差距.稀疏DBN 是在定結構基礎上為了提升網絡輸出魯棒性能(穩定性) 而提出的,其適用于處理復雜數據并探索無監督學習過程的稀疏連接原理.自組織DBN 和增量式DBN 是在定結構基礎上提出的變結構衍生模型,它們的主要目的是探索如何利用變結構機制來提升網絡的學習效率.需要指出的是,增量式DBN 利用了知識遷移策略,適用于標簽數據不足且知識源域與目標域的數據分布特性相似的場景,而自組織DBN 則是利用了神經元的激活度,對應用場景沒有特別的要求.遞歸DBN 是一種帶有反饋連接的深層結構,主要應用在時間序列建模和預測.

圖9 RNN-DBN 的結構圖Fig.9 RNN-DBN structure

2.6 深度信念網絡結構性能比較

以上介紹的4 種DBN 學習結構均從各自的出發點解決了不同的學習問題,并提高了相應的網絡性能.稀疏DBN 通過引入稀疏表述提高了網絡的輸出魯棒性.自組織DBN 是基于神經元激活強度和誤差下降率最小化的思想構建的一種結構增加-刪減網絡,提高了學習精度.增量式DBN 是一種基于遷移學習策略的增長型網絡,其在學習效率和精度方面均得到提高.遞歸DBN 是通過引入反饋環構建的一種學習網絡,其在時間序列預測方面效果較好.表1 給出了具有不同結構的DBN 在Mackey-Glass 時間序列建模和預測上20 次獨立實驗的性能對比結果.

表1 不同DBN 結構的性能對比Table 1 Performance comparison of different DBN structures

3 深度信念網絡學習算法

3.1 無監督預訓練方法

DBN 無監督預訓練的目的是通過逐層訓練每一個RBM 來確定整個網絡的初始權值.研究表明,利用這種無監督的算法來初始化DBN 的權值通常會得到比隨機初始化權值更好的訓練結果[60].目前常用的無監督預訓練方法主要是對比散度算法[22].近些年來,眾多學者將加速預訓練過程和提高學習精度的思想引入CD 算法中,并提出了基于自適應學習率的CD 算法[15]和半監督CD 算法[61].

3.1.1 自適應學習率對比散度

盡管DBN 已經在多個領域實現較好的應用,但是在理論和學習算法方面仍存在許多難以解決的問題,其中面臨的最大挑戰就是其預訓練階段耗時長的問題[36].Lopes 等通過合理地選取學習參數提高了RBM 的收斂速度[62],但是該方法在提高DBN整體學習速度方面效果不佳.經過近幾年的研究,一種基于圖像處理單元(Graphic processing unit,GPU)的硬件加速器被應用到DBN 算法運算中,并取得了顯著的加速收斂效果[63?65],該方法的主要問題是硬件設備成本和維護費用太高,不經濟并且也沒有從算法的角度提高收斂速度.隨著大數據時代的到來,處理數據的信息量會呈指數級增長,傳統DBN 無法快速收斂甚至會難以完成學習任務,因此如何既快速又經濟地完成對大量數據的充分學習是DBN 今后發展的一個方向[22].

喬俊飛和王功明等[15,66]根據RBM 訓練過程連續兩次迭代后的參數更新方向的異同設計了一種自適應學習率方法,并由此構造了基于自適應學習率的DBN (ALRDBN) 模型.學習率自適應更新機制為:

其中,D和d表示學習率增大系數和減小系數.學習率自適應變化的原理是當連續兩次迭代后的參數更新方向(變化量的正負) 相同時,學習率會加大,相反則減小.

3.1.2 半監督對比散度

在深度學習的背景下,無監督學習可以為如何表示空間聚集樣本提供有用線索.在輸入空間緊密聚集的樣本應該被映射到類似的表示.在許多情況下,新空間上的線性分類器可以達到較好的泛化效果[67?68].這種方法的一個經典變種是使用主成分分析作為分類前(在投影后的數據上分類) 的預處理步驟.而半監督學習通常指的是學習一個表示h=f(x),其學習表示的目的是使相同類中的樣本有類似的表示.

盡管DBN 的無監督預訓練在挖掘數據本質特性方面具有優勢,并且可以采用有監督學習方式對權值進行調優,但是它本質上是一種無監督學習方法,因此在分類、識別以及預測等應用領域效果欠佳.在分類方面,Larochelle 等[69]將監督信息引入到RBM 中,并提出了一種稱為判別式受限玻爾茲曼機(Discriminative RBM).在預測方面,單一的無監督預訓練無法提取監督信息與訓練樣本之間更為抽象和具體的關聯特征.為了兼顧數據特征提取能力和關聯特征提取能力,Wang 等[61]提出了一種RBM 半監督學習算法,通過隱含層共享和權值綁定將認知模型和生成模型融合到一起.

針對半監督的學習原理,可以構建這樣一個模型,其中生成模型P(x) 或P(x;y) 與判別模型P(y/x) 共享參數,而不用分離無監督和有監督部分.此模型只需權衡有監督模型準則-logP(y/x) 和無監督或生成模型準則(如-logP(x) 或-logP(x;y)).生成模型準則表達了對有監督學習問題解的特殊形式的先驗知識[70],即P(x) 的結構通過某種共享參數的方式連接到P(y/x).通過控制在總準則中的生成準則,可以獲得比純生成或純判別訓練準則更好的權衡[70?71].半監督RBM 的結構原理如圖10 所示.

圖10 半監督RBM 結構Fig.10 Structure of semi-supervised RBM

半監督RBM 的能量函數定義如下:

其中,ψ=(wR,p,bv,bh,cu),λ1為權衡系數,用于控制模型中無監督學習和有監督學習的比重.根據標準CD 算法不難得出半監督RBM 的參數學習過程,即半監督對比散度算法,此處不再贅述,由此可得到基于半監督學習的DBN (SDBN) 模型.

3.2 有監督調優方法

DBN 有監督調優的目的是根據無監督預訓練得到的權值調整網絡的生成權值(靶向知識).目前,常用的有監督調優方法是BP 算法和基于偏最小二乘回歸(Partial least square regression,PLSR) 的調優方法[25].

3.2.1 梯度下降算法

有監督學習的目的就是對由無監督學習得到的權值進行調優.目前最常用的DBN 的調優方法是BP 算法.以圖2 中輸出層和最后一個隱含層之間的權值wout為例,假設y和d分別是DBN 實際輸出和期望輸出,那么計算輸出誤差對wout的梯度,然后沿著該方向反向進行調整:

其中,τ為迭代次數,η為學習率.

經過調優后可得到輸出層和最后一個隱含層之間的更新權值wout.利用這種方法從頂層輸出層到底層輸入層依次調優可以得到整個DBN 網絡的權值W=(wout,wl,wl?1,···,w2,w1).

3.2.2 偏最小二乘回歸算法

大量研究表明,傳統基于BP 算法的有監督調優方法存在諸多缺陷,尤其是當DBN 含有多個隱含層時問題尤為突出,例如梯度消失和局部極小值等[25,27].為了消除或避開復雜的梯度計算過程導致的上述問題,Qiao 等[25]利用逐層偏最小二乘回歸方法代替BP 算法對整個DBN 模型進行有監督的調優(Fine-tuning).基于PLSR 逐層調優方法的原理如圖11 所示.

PLSR 是一種多對多的回歸建模方法,由于其同時考慮了自變量和因變量的信息,所以PLSR 也是一種有監督的學習模型.特別當兩組變量的個數很多且都存在多重相關性,而觀測數據的數量(樣本量) 又較少時,用PLSR 建立的模型具有傳統的經典回歸分析等方法所沒有的優點.基于PLSR 的DBN 有監督調優是從頂層輸出層(標簽數據層) 開始,每兩層建立一個PLSR 回歸模型,直到第一個隱含層和最底層輸入層為止.基于PLSR 的逐層調優過的過程如下:

步驟1.提取由無監督訓練獲得的隱含層特征向量(hl,hl?1,···,h1).

圖11 基于PLSR 的DBN 調優Fig.11 PLSR-based fine-tuning of DBN

步驟2.將期望輸出y和最后一個隱含層特征分別視為因變量和自變量,并建立PLSR 模型,可以得到輸出權值wout.

步驟3.從hl?1和hl?2到h1和vin每兩層之間建立PLSR 模型,并最終得到基于PLSR 調優的優化權值參數矩陣W=(wout,wl,wl?1,···,w2,w1).

基于PLSR 的調優方法之所以能夠成功,主要原因可以歸結為以下兩點:1) PLSR 只需要每個隱含層的特征向量,不需要求取梯度信號,因此避開了BP 算法在求取梯度信號時遇到的問題[70?71];2) 無監督預訓練得到的權值正是用于提取每個隱含層特征向量的必要參數.

3.3 深度信念網絡算法性能比較

以上介紹的4 種DBN 學習算法均從各自的出發點解決了不同的學習問題,并在一定程度上提高了網絡性能.具體來講,基于自適應學習率的DBN模型是通過設計一種動態變化的學習率來適應參數學習的更新速度,從而實現學習算法的加速收斂.基于半監督學習的深度信念網絡模型則通過將有監督信息引入到無監督學習過程中構造一種新型的半監督學習算法,從而實現網絡學習精度的提升.梯度下降算法是一種經典而又傳統的有監督學習算法,其在淺層神經網絡中的學習效果較好.基于偏最小二乘的逐層調優算法則是利用各隱含層所提取的特征向量建立多個回歸模型,從而獲取最優參數.

同時,以上所述算法也存在缺點,自適應學習率算法在處理中低維復雜數據時具有較好的效果,當處理高位復雜數據集時基于自適應學習率的學習加速效果變得不再明顯.半監督學習算法則多數作判別模型,主要用于模式分類.而偏最小二乘算法盡管取得到較好的學習效果,但由于需要構造若干個偏最小二乘回歸模型,所以在穩定性分析方面需要對接每個模型的輸入與輸出,且保證他們具有穩定的有界性,從而導致理論分析變得復雜.表2 給出了不同DBN 算法在Lorenz 時間序列建模和預測上20次獨立實驗的性能對比結果.

表2 不同DBN 算法的性能對比Table 2 Performance comparison of different DBN algorithms

在DBN 學習框架的搭建方面,研究人員開始注重不同學習算法的混合模型.這種混合模型中,最具創新意義的是一種基于DBN 預訓練技術的回聲狀態網絡(Echo state network,ESN) 學習模型(DBESN)[72].這種混合模型DBESN 首先利用DBN 的預訓練技術對高維復雜數據進行降維和關鍵特征提取,然后將所提取到的有效特征向量作為ESN 模型的輸入進行再訓練.大量實驗結果證明,DBESN 具有較強的時間序列預測能力,開啟了混合模型研究的先河.為了克服單一數據表述方法在學習能力上的不足,Deng 等[73]提出了一種用于數據分類的分層融合深度模糊神經網絡(FDFNN).通過融合包括模糊學習和神經元學習在內的多種數據表述方法獲得的知識,FDFNN 能夠構造一個用于模式分類的最終的數據表述.

4 結論與展望

在深度信念網絡中,利用無監督預訓練的方式首先初始化權值,然后在具有待處理數據先驗知識的初始化權值的基礎上進行有監督調優,克服了傳統深層神經網絡訓練難的問題.本文在給定深度信念網絡簡化模型的基礎上,分析了多種深度信念網絡的網絡結構、無監督預訓練方法和有監督調優方法及其網絡性能,回顧并總結了深度信念網絡的研究現狀.

盡管針對深度信念網絡的研究在理論和工程上均已取得了豐碩的成果,但就其后續發展而言還有很長的路要走.結合研究現狀,現對深度信念網絡的研究提出以下展望.

1) 深度信念網絡的無監督學習理論研究及生物學解釋.人腦研究表明,大腦的認知過程主要靠對外部信息無監督學習的知識積累[74?77],這一過程也可以理解成若干連續小樣本無監督學習之和.借鑒對大腦的研究成果可進一步模擬大腦的無監督知識積累過程,設計新的無監督學習算法,部分實現大腦的功能;借鑒統計學及信息論的相關知識,研究深度信念網絡在多次運行性能上的隨機性,可從統計學特性上解釋深度信念網絡的魯棒性理論.

2) 深度信念網絡結構設計研究.目前的深度信念網絡結構多數是在足夠經驗和充足數據的基礎上通過湊試法來確定,且結構一旦確定將不再調整,這導致固定結構的深度信念網絡無法滿足待處理數據的多樣性變化要求.同時,單個神經元的增長和修剪算法也難以實現結構的快速有效設計.另一方面,神經生理學研究結果表明,人類大腦的智能主要取決于大腦皮層,而大腦皮層是一個大規模互連的生物深度神經網絡.在處理不同信息時,生物深度神經網絡會啟用不同的神經元以及相應的特殊連接結構[78?80].也就是說,其采用的是一種變結構的信息處理機制,這一點從著名的Hebb 學習規則中也能看出.因此研究深度信念網絡智能化實時在線結構設計方法將是一個無法躲避且非常重要的研究方向,也必將誕生眾多標志性成果.

3) 研究深度信念網絡的超參數自適應設置問題.與傳統的淺層神經網絡相比,深度信念網絡結構龐大,除了需要學習的權值參數之外還存在大量的超參數[81].在訓練深度信念網絡之前,超參數設置不當會直接影響網絡學習的效果.例如,學習率設置過大或者過小,會相應地造成算法陷入局部最優或者過早收斂.盡管本文介紹了一種基于連續兩次迭代更新方向的自適應學習率設計方法,但是從深度信念網絡的長遠發展看,這遠不是終點.因此,從超參數的自適應設置角度切入研究可以獲得事半功倍的效果,也可完善深度信念網絡的學習理論.

4) 深度信念網絡在復雜過程控制中的應用研究,如連續攪拌反應器(Continuous stirred tank reactor,CSTR) 系統和污水處理過程(Wastewater treatment processing,WWTP) 行業.目前,深度信念網絡乃至深度學習技術主要應用于模式分類、圖像處理以及預測等單一的問題,并取得了不錯的效果,反觀在過程控制領域中的應用研究卻較少.以深度信念網絡為代表的深度學習方法停留在模式識別已有十年之久,將其作為非線性系統預測模型與過程控制相結合正是深度學習未來要面向多領域發展的多個方向之一.Lenz 等[82]針對切割水果的機器人手臂控制問題,嘗試性地提出了一種利用深度卷積網絡(深度學習) 直接從數據中學習控制器的新方法,并取得到令人欣喜的效果.針對復雜過程控制系統的非線性、強耦合、時變、時滯及不確定等特點,設計合適的深度信念網絡模型,將其作為待控制系統的預測模型與滾動優化控制理論相結合,構造基于深度信念網絡的模型預測控制方法將是一個極具前景的研究方向.

附表1 文中用到的主要數學符號Schedule 1 Main mathematical notations in this paper