一種深度置信提升網絡集成分類模型

宋曉明，曲文龍，b，闞明陽，汪慎文，b

（河北地質大學 a．信息工程學院；b．機器學習與人工智能實驗室，石家莊 050031）

分類是機器學習與數據挖掘核心問題之一，分類模型的本質是：基于已有的標記信息進行挖掘分類規則、構建分析模型，從而對未標記的對象進行識別。分類方法已廣泛應用于模式識別［1］、智能控制［2］、故障檢測［3］等諸多領域。

傳統機器學習方法在面對高維、復雜和非結構化的海量數據時，由于網絡結構設計的局限性，導致模型和算法的魯棒性和學習能力有限。深度學習（deep learning，DL）技術的出現有效地解決了淺層機器學習特征提取能力不足的問題［4］，其通過模擬人類大腦的組織結構和學習機制，利用分層思想對數據進行非線性處理，讓機器能夠自主學習數據的本質特征。深度學習模型在計算機視覺、語音識別和自然語言處理中展現了巨大的潛力［5－7］。

深度置信網絡是由G．E．Hinton等［8］在2006年提出的一種深度模型，作為深度神經網絡主要實現方式之一，具備從原始數據中抽象出更高階特征的能力。DBN不僅能夠無監督對數據進行高效自主學習，而且能夠利用受限玻爾茲曼機［9］（restricted Boltzmannmachine，RBM）的逐層表示學習能力進一步提高識別性能。集成學習［10］通過訓練數據構建多個差異性學習器以獲得更高的性能，與單個學習器相比，集成學習能夠很大程度上提高學習系統的泛化能力。文獻［11］提出了一種深度置信網絡堆疊結構，通過多個DBN對雷達信號進行特征提取，克服了單一深度模型學習能力差的問題。文獻［12］提出采用3個單一的DBN個體分類器用于肺部圖像識別，通過“相對多數投票策略”進行集成。上述方法中，均使用淺層神經網絡作為分類器，使深度學習的分類性能受到限制。文獻［13］提出了一種基于DBN XGBDT的入侵檢測方法，利用DBN對高維復雜的數據集進行降維，通過XGBDT算法進行二分類，使用單一XGBDT作為分類器，存在分類器的穩定性較差、學習能力有限等問題。

針對以上的不足，本文提出了一種深度置信提升網絡集成分類模型。該模型采用集成DBN從原始數據中提取出高階特征向量，借鑒深度學習的思想，采用XGBoost和GBDT作為基學習器，通過級聯構成深層提升網絡，進而對高階特征向量進行逐層監督學習，深層提升網絡克服了深層神經網絡反向傳播過程中存在的耗時問題，并且超參數少，魯棒性強。基于UCI公開數據集和MNIST數據集，本文所提出模型與傳統深度學習方法和集成學習方法進行了性能比較實驗，實驗結果表明，本文模型具有良好的識別性能。

1 理論技術

1．1 深度置信網絡

DBN是以概率圖模型為基礎的深層表示學習模型，能夠模擬真實數據的聯合分布。深度置信網絡是由多層無監督的受限玻爾茲曼機和一層有監督的反向傳播（back propagation，BP）網絡組成［14］，其拓撲結構如圖1所示。從圖1中可以看出，輸入數據從底層向上依次傳遞，每層RBM輸入特征向量維度分別為n0，n1，n2，經過逐層抽象得到深層次特征表示，最后一層為BP網絡，利用真實樣本標簽反向傳播精調模型參數。

圖1 DBN模型拓撲結構框圖

RBM的基本結構是由可視層和隱藏層2部分構成。通過可視層輸入數據，隱藏層對數據進行重構。假設可視層神經元和隱藏層神經元的輸入特征值均為二進制數值，則：

式中：vi表示第i個可視層神經元的狀態；0表示非激活狀態；1表示激活狀態；hj表示第j個隱藏層神經元的狀態。

可視層和隱藏層之間任意2個神經元的連接權重為W，能量函數定義為：

式中：v和h分別代表可視層節點和隱藏層節點；wij為2個神經元連接權重矩陣W的元素；n為可視層節點數目；m為隱藏層節點數目；ci和bj分別表示vi和hj的偏移量。

通過以上定義，RBM的聯合概率分布為：

在實際應用中，通過用學習到的邊緣概率分布生成盡可能擬合真實樣本分布的數據集，即需要計算p（v｜h），有：

RBM需要訓練。對于樣本數據x，主要采用RBM標準的對比散度算法［15］進行訓練，訓練完成后得到參數 θ＝（wij，ci，bj），進而得到非常接近真實分布的p（v），最后通過將整個網絡參數輸入到BP網絡中，并結合樣本數據標簽進行參數精準調優，使分類誤差達到最小。

1．2 極限梯度提升樹

XGBoost算法［16］被稱為極限梯度提升算法，它是基于梯度提升決策樹（見本文1．3節）的改進算法，是一種利用Boosting思想將多個基學習器的輸出與權重相結合的算法。由于單個決策樹的準確性和泛化性能不強，容易出現識別精度低和過擬合的情況，極限梯度提升數的核心思想是：為了降低上一層弱分類器殘差，每個弱分類器都建立，然后把弱學習器進行累加得到最終的強學習器。

相對于傳統的隨機森林和GBDT，XGBoost有以下優點：

1）與傳統GBDT相比，XGBoost不僅可以使用分類回歸樹（classification and regression trees，CART）作為基學習器，而且支持線性分類器。

2）XGBoost對代價函數進行2階泰勒展開，充分利用了1階導數和2階導數信息。為了控制模型的復雜程度，在代價函數中加入了正則化懲罰項，防止模型過擬合。

3）與傳統隨機森林對訓練集采用相同的訓練方式不同，XGBoost通過對基學習器賦予不同權重，使特征具有區分性，并且在處理分類問題上，XGBoost具有更高的精度和識別性能。

與傳統的隨機森林和GBDT相比，XGBoost體現出顯著的優勢，所以本文通過XGBoost作為基學習器構建深層網絡。

1．3 梯度提升決策樹

GBDT是G．H．FriedMan［17］提出的一種Boos ting方法，是一種基于決策樹的集成算法。核心思想是：每次計算多個弱學習器的輸出結果和上一次輸出結果的殘差，利用梯度下降法進行訓練，即在殘差減小的方向上構建一個新的回歸模型。GBDT處理分類問題時，通過將目標函數得到的對數數值轉換為概率值，利用評測（概率）與真實（概率）之間的差值作為殘差，即所提升的是關于概率的近似殘差。考慮到集成學習中學習器的多樣性，本文將GBDT作為構建深層網絡的另一種基學習器。

2 一種深度置信提升網絡集成分類模型

周志華等［18］提出了多粒度級聯森林（multi gained cascade forest，gcForest），它是基于決策樹的多層隨機森林的集成方法。gcForest的提出是為了簡化深層神經網絡的網絡結構、降低超參數的數量和提升訓練效率，實驗結果表明，gcForest不僅訓練時間和超參數少于深層神經網絡，而且在大規模數據集上和深層神經網絡表現能力相當。本文對gcForest進行了改進，將特征提取階段的多粒度掃描替換為集成DBN，將用于深層網絡學習的隨機森林替換為基于梯度提升策略的決策樹。提出了基于深度置信提升網絡的集成分類模型。

2．1 整體模型結構

深度置信提升網絡的集成分類模型由輸入層、隱層、輸出層等3個部分構成。

輸入層采用集成DBN作為特征提取器，以MNIST數據集為例，通過3個單一DBN（每層節點數為100＼150＼300）對MNIST數據進行不同層次的深入學習，將每層RBM的輸出和最后一層DBN輸出進行融合，同時進行特征選擇去除冗余特征，最后將3個單一DBN的學習結果融合成900維增強特征向量并作為隱層的輸入，即784維的原始數據由900維的增強特征向量重新表示。

隱層使用XGBoost與GBDT作為基學習器，采用深層網絡結構對增強特征向量進行深入學習。隱層的第一層對增強特征向量進行高級特征提取，從隱層的第二層開始，將上一層所有基學習器輸出結果（4維）和增強特征向量（900維）融合作為輸入。隱層層數根據每層的學習結果進行自適應，如果當前層輸出平均預測準確率和上一層輸出平均預測準確率相比，沒有提升且當前層輸出預測準確率矩陣的方差小于自適應因子ε，則停止增加網絡層數，訓練結束。

輸出層采用相對多數投票策略得到最終的分類結果。模型結構如圖2所示。

圖2 集成分類模型總體結構框圖

2．2 集成DBN特征提取

集成DBN分為單一DBN網絡構建和集成DBN構建2個部分。假設輸入數據m維，首先構建單個DBN分類器，探討不同隱層層數和不同隱層節點數對分類準確率和訓練時間的影響，選取最優的網絡結構（m－n－n），為了保持提取特征的多樣性，其余2個DBN結構選為隱層層數相同、隱層節點數分別為n±0．5n?？紤]到RBM編碼時存在重構誤差，所以將倒數第二層RBM輸出和最后層輸出進行融合。最后將3個單一DBN進行集成，輸出增強特征向量。

針對DBN融合淺層特征深層特征過程中可能存在特征冗余問題，利用基于歐幾距離（euclide an distance，ED）度量特征之間的差異性［19］，使用基于條件方差方式（conditional variance，CV）度量特征與標簽的相關性［20］，使得特征子集盡可能具有較高的差異性和互補性。設樣本特征子集為征子集的差異性度量和特征與標簽的相關性度量為：

式（5）（6）中：EDi表示第i個特征與其他特征的平均相似度；CVi表示第i個特征與類別標簽的相關程度，取值范圍［0，1］，取值接近1表示xi與y存在強相關性，相反，取值接近0表示，兩者相互獨立；Var（xi）表示第i特征的邊際方差；E［Var（xi｜Y）］表示條件方差期望值。

特征之間的總平均相似度（overall average similarity，OAS）和特征與類別標簽的總平均相關度為（overall average correlation，OAC）分別為：

算法1為集成DBN模型的訓練標準算法，分為DBN網絡訓練和特征融合等2個部分。設置算法輸入訓練數據集為D＝｛（x1，y1），（x2，y2），…，（xn，yn）｝T，可視層和隱藏層連 接 權重為W ＝（Wij）T，可視層偏執為c＝｛c1，c2，…，cn｝T，隱藏層偏執為b＝｛b1，b2，…，bm｝T，集成DBN網絡由DBN（1，2，…，p）構 成， 每 層 DBN 網 絡 輸 出為DBN1out（1，2，．…，N）。

算法1 集成DBN模型訓練過程。

輸入：訓練數據集D，迭代次數n＿step，采樣的步數cd＿k

2．3 深層提升網絡

深層提升網絡是基于梯度提升策略的決策樹的多層級聯結構。本文使用XGBoost和GBDT作為個體學習器，采用級聯的方式構成深層網絡，進而對集成DBN輸出的增強特征向量進一步深層學習。深層提升網絡第一層將增強特征向量作為輸入；從第二層開始，每一層都是接收前一層處理的信息融合增強特征向量，并將處理后的結果輸入到下一層。為了降低過擬合風險，每次產生一個新的隱層，計算當前層輸出預測準確率c和當前層各個體學習器輸出預測準確率矩陣的方差η，將η與自適應因子ε進行比較，自適應因子ε為學習結果變化的參數。如果η＜ε或當前層平均精度c小于上一層平均精度，訓練結束。

假設樣本個數為N，隱層基學習器個數為K，第i層的第k個學習器的輸出和預測準確率分別用Aij和ci表示，則方差η和當前層預測精度ci公式為：

算法2 深層提升網絡訓練算法。

輸入：訓練樣本x＿trian，訓練樣本標簽y＿train，測試樣本x＿test，測試樣本標簽y＿test。

輸出：訓練樣本x＿trian，訓練樣本標簽y＿train，測試樣本x＿test，測試樣本標簽y＿test，隱層數目m。

初始化參數：隱層個體學習器（Gi1，Gi2，Li1，Li1）的學習率為α，最大迭代次數為n，最大深度為d

／ 深層提升網絡訓練過程 ／

f←0 ／／停止標志

do while（f等于1） ／／1為達到停止條件，0為未達到停止條件

gi1←Gi1（x＿train，y＿train）gi2←Gi2（x＿train，y＿train）li1←Li1（x＿train，y＿train）li2←Li2（x＿train，y＿train）

／／通過訓練集訓練Gi1，Gi2生成2個XGBoost模型，通過訓練集訓練Li1，Li2生成2個GBDT模型

x＿train←gi1（x＿train）∪gi2（x＿train）∪

li1（x＿train）∪li2（x＿train）

／／通過將4個初級學習器類向量原始數據進行融合生成新的訓練樣本

x＿test←gi1（x＿test）∪gi2（x＿test）∪

li1（x＿test）∪li2（x＿test）

／／通過將4個初級學習器類向量原始數據進行融合生成新的測試樣本

計算當前層預測準確率矩陣方差η和當前層預測精度ci

Ifη＜εor ci＜ci－1

f←1

else

i＝i＋1

end do。

深層提升網絡從第二層開始都是建立在上一層學習結果的基礎上進行歸納學習，采用監督學習的方式進行訓練，從而能夠刻畫復雜數據結構，同時隱層層數自動調整，根據數據規模利用每層的輸出結果自適應調節，更加準確地了解學習過程的變化情況。

2．4 相對多數投票策略

集成多個基學習器進行學習時，輸出層通常由單個基學習器的輸出投票產生。投票法一般分為絕對多數投票法［21］和相對多數投票法［22］，前者多用于處理二分類問題，后者多用于處理多分類問題，因此，本文選用相對多數投票法。假設對于未知樣本x，第k個基學習器輸出結果為i（樣本類別數為3），則分類器函數定義為：

將式（11）進行求和，有：

采用相對多數投票策略，即：

3 實驗分析

3．1 實驗設計

實驗設計為相同實驗環境下10次相同的實驗結果的均值，其中包括參數設置和模型驗證。參數設置部分分為DBN參數對識別性能的影響探究和自適應隱層層數的探究；模型驗證部分通過將提出模型與DBN、XGBoost和DBN XGBDT［13］等3種經典機器學習模型進行對比，進一步驗證提出模型的優越性。

3．2 實驗環境與評估指標

實驗環境。實驗使用的計算機配置為Intel（R）Core（TM）i7－9750H 2．60GHz處理器，8 GB內存，運行環境為Windows10操作系統下的Python 3．7．0，開發工具為Pycharm。

評價指標。為了評估本文提出模型在訓練時間和其他模型的檢測性能，本文使用準確率和F1－度量作為評價指標。

3．3 實驗方法

本文使用10折交叉驗證的方法，將數據集隨機劃分生成訓練集和測試集，其中訓練集和測試集的比例為7∶3，交叉驗證重復10次，利用統計方法計算準確率和F1－度量的平均值作為整體模型性能的評估。

3．4 實驗數據和預處理

實驗數據基于UCI公開數據集［23］（Breast Cancer、Dermatology、Chess、Arrhythmia和MNIST數據集）進行檢測實驗。數據集信息如表1所示。

UCI公開數據集中的數據類型均為多變量，因為數量單位不統一，所以在實驗前需要對數據進行歸一化處理。通過將數據值映射到［0，1］區間，使各個指標均在一個數量級，從而容易對不同模型輸出分類結果進行對比。本文歸一化使用的是sklearn庫中MinMaxScaler方法。

表1 數據集信息

3．5 模型參數分析實驗

參數設置為2個部分：一部分探討DBN網絡結構，通過實驗確定DBN的隱層層數、隱層節點數、學習率，從而為后續實驗選擇最優的網絡結構；另一部分通過改變提出模型隱層級聯結構來觀察分類準確率的變化，從而確定自適應因子ε的范圍。

3．5．1 實驗1：DBN網絡層數對分類結果的影響

在訓練集成DBN模型時，首先設置非監督學習率均為1，動量學習率為0．5，后期設置為0．9，激活函數為sigmoid函數，RBM訓練最大迭代次數50。BP算法學習率0．1，最大迭代次數50。通過實驗確認DBN網絡層數，每次網絡訓練都將其中一個網絡參數作為變量，其他的網絡參數固定。

針對Breast Cancer、Dermatology、Chess、Ar rhythmia和MNIST數據集，隱層節點分別為10、40、20、100、400，設置各層節點數均相同，研究DBN網絡的隱層層數｛1，2，3，4，5｝對分類準確率的影響，實驗結果如表2所示。

從表2可知，在Breast Cancer數據集上，隱層數為2時，準確率達到最高值，最高為68．53%，隨著層數升高結果沒有顯著變化，因此隱層數目選擇為2；在Dermatology數據集和Chess數據集上，隱層數為2時，分別取得了很好的結果，分別為74．54%和82．86%；在Arrhythmia數據集上，隱層數為2時，準確率達到最高，最高值為55．09%；在MNIST數據集上，隱層數為2時，準確率最高，最高值為88．88%。

根據實驗結果可知，隨著DBN隱層層數的增加，分類準確率呈現先升高后降低的趨勢?？紤]到模型結構的復雜性和訓練時間，將DBN的隱層層數固定為2。

3．5．2 實驗2：集成DBN隱層節點數對分類結果影響

基于實驗1的結果，研究不同隱層節點數對數據集的影響，針對不同的數據集，選擇最優的隱層節點數以提升DBN的識別性能。實驗結果如表3所示。

表2 DBN不同隱層層數的分類準確率

表3 不同隱層節點下分類準確率

由表3可知，隨著隱層節點數的增加，DBN識別性能呈現了先上升后下降的趨勢，考慮到集成DBN中單個DBN結構的多樣性，第1個DBN選擇識別性能最優的隱層節點數n（DBN結構為mn－n，m為輸入特征個數），然后其余2個DBN隱層節點數固定為n±0．5n。在Breast Cancer數據集上，識別性能最優時隱層節點數為15（DBN結構為30－15－15），則其余2個DBN結構固定為（30－7－7，30－22－22）；在Dermatology數據集上，分類準確率最大時隱層節點數為20，則其余2個DBN隱層結構為（34－10－10，34－30－30）；在Chess數據集上，分類準確率最大時隱層節點數為40，其余2個DBN隱層結構為（71－20－20，71－60－60）；在Arrhythmia數據集上，分類準確率最大時隱層節點數為150，其余2個DBN隱層結構為（277－75－75，277－225－225）；在MNIST數據集上，分類準確率最大時隱層節點數為300，其余2個DBN隱層結構為（784－150－150，784－450－450）。根據以上選擇，最終配置如表4所示。

表4 DBN參數最終配置

3．5．3 實驗3：學習率對DBN分類效果的影響

根據實驗2的結果，針對不同的數據集DBN選取最優隱層節點數。實驗選取學習率的區間為［0，1］，實驗結果如圖3所示。

圖3 不同學習率對DBN影響情況

實驗結果表明，在Breast Cancer數據、Derma tology數據、Chess數據和Arrhythmia數據上學習率在［0．1，0．3］上取得準確率較高，隨著學習率的增加，代價函數反而出現了不穩定的趨勢。在MNIST數據上，學習率在［0．02，0．3］上取得準確率較高并且穩定，因此固定學習率 λ＝（0．3＋0 1）／2＝0．2。

3．5．4 實驗4：深度提升網絡層數對分類結果的影響

深度提升網絡是由2個XGBoost與2個GBDT組成的多層級聯結構。為了更好地對實驗分類結果進行類比，對XGBoost和GBDT的超參數進行設置，如表5所示。

表5 XGBoost和GBDT參數配置

研究網絡層數對不同數據集下分類準確率的影響。為了體現實驗結果統一性和類比性，將其他參數保持不變，每次網絡訓練都將網絡層數作為變量，實驗結果如表6所示。

表6 隱層不同級聯層數的分類準確率

根據表6可以得出，隨著網絡層數的增加，分類準確率的變化趨勢呈現出逐漸上升的趨勢，但當增加到一定程度，隨著層數增加，出現過擬合現象，導致識別精度開始降低，為了能夠保持較高的識別精度，自適應因子ε的范圍固定為［0．004，0 015］時，分類性能達到最優。在Breast Cancer數據集上，隱層層數為2時分類準確率達到最大值，最大值為97．82%；在Dermatology數據集上，網絡層數為2時分類準確率達到98．92%；在Chess數據集上，網絡層數為4時分類準確率達到98 01%；在Arrhythmia數據集上，網絡層數為2時分類準確率達到71．32%；在MNIST數據集上，隱層層數為3時分類準確率達到93．24%。

綜上可知，網絡層數對分類結果存在一定的影響。需要在一定范圍內確定隱層層數，通過當前層各學習器輸出準確率矩陣的方差變化情況和當前層輸出準確率與上一層輸出準確率的變化情況自適應層數，從而提升模型訓練效率。

3．6 實驗仿真結果

通過實驗1～4，探討模型參數對識別性能的影響，確定最優的模型參數。基于UCI數據集和MNIST數據集進行仿真實驗，仿真結果如圖4和圖5所示。

圖4 基于UCI數據集分類準確率

圖4 、5均為訓練集上準確率和測試集上準確率對比結果。由圖4所知，本文模型在Chess數據和Dermatology數據上分類性能比較穩定。由圖5所知，本文模型在Breast Cancer數據和MNIST數據上分類性能較為穩定，但是在Arrhythmia數據上訓練結果和測試結果相差較大，原因是樣本分布不均勻導致，由于訓練集和測試集采用隨機劃分，某些少數類別只劃分在測試集，在模型訓練過程中并沒有此類別樣本，因此出現了檢測結果波動較大的現象。

圖5 基于MNIST數據集分類準確率

3．7 模型整體性能分析

將所提出模型與傳統模型進行對比，將實驗數據按一定比例劃分為訓練集和測試集，分別輸入DBN模型、XGBoost模型、DBN＋XGBoost模型和所提出模型，通過分類準確率評價指標進行對比，對比結果如表7所示。其中DBN和XGBoost的參數設置見表4和表5。

表7 不同模型分類結果對比

續表（表7）

由表7可知，使用DBN模型的預測F1－度量值在74．07% ～90．07%，平均值為85．06%，使用XGboost模型的預測F1－度量值在31．49%～96 42%，平均值為81．45%，使用DBN XGBDT模型的預測F1－度量值在78．16% ～97．29%，平均值為91．37%，本文模型的預測F1－度量值在94 69%～98．01%，平均值為92．638%，比DBN、XGBoost和DBN XGBDT的預測F1－度量值都高。本文模型的分類準確率與DBN相比，平均提升13．8%，與XGBoost相比，平均提升6．98%，與DBN XGBoost相比，平均提升4．18%，由此可見，本文模型不僅分類準確率上具有明顯提升，而且在F1－度量上具有明顯優勢。

在處理小規模數據時XGBoost模型的分類精度明顯優于DBN模型，通過將XGBoost用于分類器，一定程度上可以提升DBN模型處理小規模數據的能力。通過與DBN、XGBoost、DBN XGBDT模型對比，本文模型不僅在大規模高維數據上識別性能表現良好，而且處理小規模數據時也能表現出優秀的分類性能。因為采用集成DBN算法特征提取，所以導致訓練時間較長，雖然訓練時間明顯高于其他3種模型，但是可以通過優化模型參數來進一步提升訓練效率。通過對比實驗得出結論，本文模型整體分類識別能力良好，尤其處理高維非線性數據時，更是表現出優秀的學習能力。

4 結論

針對單一淺層神經網絡學習能力不足問題，本文提出基于深度置信提升網絡的集成分類模型。模型采用集成DBN進行特征提取，借鑒深度學習的思想，采用XGBoost和GBDT構成的深層提升網絡對提取的特征進行表征學習，采用自適應網絡層數以降低模型復雜度?；赨CI公開數據集和MNIST數據集進行實驗，結果表明，本文提出模型的分類準確率均高于現有方法，可以為深度學習和集成學習結合提供新的方向。因為采用集成DBN方法進行特征提取，所以模型訓練時間較于傳統方法更長。下一步研究采用何種方法選擇最優參數以提升訓練效率，以及將其應用解決實際問題。