一種耦合深度信念網絡的圖像識別方法

馬 苗，許西丹，武 杰

(1. 陜西師范大學 現代教育技術教育部重點實驗室，陜西 西安 710119；2. 陜西師范大學 計算機科學學院，陜西 西安 710119)

近年來，隨著深度神經網絡的深入研究與計算能力的不斷發展，深度網絡的層數從2012年AlexNet模型的8層增加到2015年ResNet模型的 1 202 層[1-2]．一般來說，使用深度神經網絡識別圖像時，網絡的層數越多，能學習到的圖像特征越高級，識別性能也越好．但是，僅僅增加網絡層數會產生以下問題: 一是網絡參數隨層數增加呈現指數級增長，導致網絡訓練所需的樣本量迅速增大，因此，在樣本數據有限的情況下，網絡可能無法達到最佳收斂狀態; 二是由于網絡層數增多，網絡訓練所需時間也會變得更長，且對硬件環境要求也會提高; 三是在反向傳播時，隨著網絡深度增加，最初幾層神經元的更新權重幅值急速衰減，使得網絡不能得到有效學習，這種問題被稱為梯度消失問題．

作為深度學習中的主流算法之一，深度信念網絡(Deep Belief Network，DBN)利用受限玻爾茲曼機(Restricted Boltzmann Machine，RBM)對參數進行初始化，可以有效地避免參數訓練陷入局部最優的問題．然而，隨著深度的增加，DBN也存在梯度消失問題[5-6]．

針對上述問題，筆者將“跨層”連接引入到DBN中，提出了一種耦合深度信念網絡(Coupled-Deep Belief Network，C-DBN)的圖像識別方法．從本質上看，使用一次“跨層”連接的DBN網絡可分解為兩個相互耦合的DBN網絡，因此，稱該網絡為“耦合深度信念網絡”．同時，文中以一個5層DBN結構為例，對比分析DBN和C-DBN在ASL數據集和MNIST數據集上的識別性能，討論C-DBN中“跨層”連接的有效性和其主、次線耦合比例對網絡性能的影響．

1 深度信念網絡

DBN是文獻[5]于2006年提出的一種深度學習算法，該網絡由一系列級聯的RBM和一個分類器組成．本質上，RBM是基于概率生成模型建立數據與標簽之間的聯合分布，通過對比散度(Contrastive Divergence， CD)[7]算法更新網絡參數．目前，它已成功應用在圖像識別、文本分類和語音識別等領域[8-12]．

DBN網絡參數的學習采用逐層訓練的模式進行，包括無監督訓練和有監督微調兩個部分．具體來說，先將訓練樣本輸入到第1層RBM，待該層RBM參數學習達到穩定后，將其隱含層輸出作為下一層RBM的輸入，通過不斷地堆疊RBM并向前傳遞實現DBN網絡參數的無監督學習; 在有監督微調階段，利用類標信息，以式(1)為目標函數，采用BP算法對網絡參數進行更新．

(1)

其中，θ={W，b，c}，W為權值，b為可視層偏置，c為隱含層偏置，v為可視層分布，α為學習率．對于某個樣本vi，其參數的偏導數為

其中，E(v，h|θ)為給定參數θ的能量函數，·P表示分布P的數學期望，P(h|vi，θ)表示隱含層的概率分布，P(v，h|θ)表示可見層與隱含層的聯合分布．通過CD算法，對于每一個參數，式(2)可表示為

2 耦合深度信念網絡

2015年，文獻[2]提出ResNet模型．該網絡通過引入殘差子模塊緩解了因網絡深度增加帶來的網絡學習性能退化問題，并在圖像分類、目標檢測和語義分割等領域中都取得很好的成績[13]．圖1為一個殘差子模塊．其中，x為殘差子模塊的輸入，H(x)為輸出，殘差函數F(x)=H(x)-x．

圖1 殘差子模塊

與傳統深度神經網絡相比，ResNet模型的主要特點如下:

(1)“跨層”連接．傳統深度神經網絡在增加網絡深度時并沒有涉及“跨層”連接．這使得傳統深度神經網絡在反向傳播過程中會出現因層數過深帶來的梯度消失問題．ResNet模型通過引入“跨層”連接有效地避免了該問題，提高了網絡的學習能力．

(2)“+”操作．底層特征跨層向更高層傳遞時，有多種融合方式，如相乘、相加等．ResNet模型中通過將經過主線與次線的特征進行求和來構建網絡子模塊．

綜上所述，ResNet模型之所以能在較深的網絡層數下獲得較好的性能，其主要原因是“跨層”連接的使用有效地緩解了反向傳播過程中出現的梯度消失問題，使網絡更好地完成參數更新．因此，筆者將其應用于DBN中，設計并實現了C-DBN．C-DBN的網絡結構如圖2(a)所示．

圖2 C-DBN網絡結構

圖2(a)給出了一個引入單個“跨層”連接的DBN網絡結構．本質上來看，該網絡可看作是一個較深的DBN網絡與一個較淺的DBN網絡耦合所形成的一種耦合網絡，如圖2(b)所示．這里考慮到網絡不同層次特征學習的尺度差異性及不同尺度特征在圖像識別中的貢獻，將跨層“?”處的傳播方式定義如下:

(1) 前向傳播過程．訓練樣本進入輸入層后，在某一個隱含層h+1 上會產生一條次線，將其提取的特征與第h+n-1 個隱含層產生的特征聯立起來作為第h+n個隱含層的輸入，即

Hh+n=(Hh+1，Hh+n-1) ,

(6)

其中，Hh+1、Hh+n-1和Hh+n分別為隱含層h+1層、h+n-1層和h+n層上的特征矩陣．顯然，利用特征聯立的方式可以將不同層次的特征表征共同輸入到下一層進行學習．

(7)

其中，Gh+1、Gh+2和Gh+n分別為隱含層h+1、h+2和h+n上的梯度矩陣，p、q分別為主、次線對應的梯度矩陣耦合比例因子，耦合比例表示為(p∶q)．

3 實驗結果與分析

3.1 實驗數據

文中所用到的實驗數據有ASL數據集和MNIST 數據集．ASL數據集是Pugeault等于2011年公布的手勢圖像數據集，其中以靜態圖像的形式提供了24個英文字母(英文字母J和Z除外)的手勢圖像約 60 000 張．為了保證每類手勢的樣本圖像數量一致，以數量比較少的類別數為依據，每個手勢圖像選擇 2 100 張，形成文中實驗的訓練樣本集為 50 400 張(24個英文字母，每個 2 100 張); 類似地，獲得測試樣本集為 6 000 張(24個英文字母，每個250張)，每張圖像尺寸均歸一化為 32× 32．MNIST數據集來自美國國家標準與技術研究所，由250個不同人手寫的數字圖像構成，共 70 000 張．文中實驗中，該數據集訓練樣本集為 60 000 張，測試樣本集為 10 000 張，每張圖像尺寸為 28× 28．

這里，以一個5層的DBN為例進行分析．通過大量實驗，筆者發現當DBN的各隱含層節點數分別設置為600、200和100時，網絡性能最佳．

3.2 耦合深度信念網絡中跨層連接的有效性分析

為分析C-DBN網絡結構的有效性，筆者將具有相同深度及節點數且在各自最優參數設置下的DBN和C-DBN進行比較，圖3(a)為兩種網絡在ASL數據集上隨迭代次數增加其識別性能的變化曲線，圖3(b)為兩種網絡在MNIST數據集上的圖像識別率曲線．

圖3 DBN與C-DBN圖像識別率對比

由圖3可知，隨著迭代次數的增加，兩種網絡的性能曲線都呈現先上升、后平穩的趨勢．對于ASL數據，DBN迭代20次時的識別率約為80.13%，C-DBN迭代10次就能達到約81.69%．DBN迭代100次時開始收斂并在迭代200次時識別率約為95.78%; 而C-DBN迭代50次時開始收斂并在迭代200次時識別率約為97.07%．對于MNIST數據集，兩種網絡性能表現相當，且在1次迭代之后，DBN和C-DBN的識別率均達到90%以上．然而，經過仔細對比，可以看出C-DBN的總體性能仍優于DBN的．具體來說，DBN迭代40次時識別率約達98.52%并收斂，而C-DBN迭代30次時識別率約達98.58%并收斂．

綜上可知，由于“跨層”連接的引入，C-DBN比DBN能更快地趨于收斂狀態，并獲得更好地識別性能．因此，采用文中設計的“跨層”連接方式可以有效提升DBN的性能．

3.3 主、次線耦合比例對網絡性能的影響

在網絡訓練過程中，筆者發現主、次線的耦合比例(p∶q)對網絡的識別率有顯著的影響．下面，利用ASL數據集和MNIST數據集，采用3.2節所設參數，以p+q=1 為約束條件，以0.1為間隔，分析不同耦合比例對網絡性能產生的影響．實驗結果如圖4所示．

圖4 主、次線耦合比例對網絡性能的影響

由圖4可知，主、次線比例的不同對網絡的性能具有明顯的影響．在ASL數據集上，主線比例低于次線比例時，網絡性能整體較好，在(0.1∶0.9)時識別率最高;在MNIST數據集上，識別率隨著次線增加呈波動狀態，并在(0.1∶0.9)時達到最高．因此，后續對兩個數據集的實驗中，主、次線比例均設置為 (p∶q)= (0.1∶0.9)．

3.4 圖像識別結果

為測試文中方法的有效性，增加了C-DBN與經典的深度網絡模型LeNet-5和棧式降噪自編碼(Stacked Denoising Auto-Encoder，SDAE)在ASL和MNIST數據集上的對比實驗．具體對比算法包括:簡化LeNet-5模型：含兩個卷積層和兩個降采樣層，卷積核個數分別為6和12;SDAE：各隱含層節點數分別為600、200和100，學習率為0.5，并采用系數為 0.000 01 的L2范數正則;DBN：網絡結構、學習率和正則項與SDAE相同;C-DBN：網絡結構和正則項與SDAE相同，學習率為0.1，主、次線耦合比例為(0.1∶0.9)．上述網絡模型在ASL數據集上均迭代200次，在MNIST數據集上均迭代30次．此外，針對ASL數據集，加入了具有最好識別效果的SAE-PCA方法[14]; 對于MNIST數據集，加入了具有最好識別率的MCDNN方法[15]．對比實驗結果如表1所示．

表1 不同網絡模型在兩個數據集上的識別實驗結果對比

表1顯示，C-DBN在兩個數據集上均獲得了比較好的識別性能．其中，在ASL數據集上，相比于識別率最高的SAE-PCA，文中方法識別率降低約2%; 在MNIST數據集上，文中方法相比于最好的識別方法MCDNN降低約1.2%．然而，由于C-DBN僅利用單一的深度信念網絡完成圖像識別任務，并不包含基于傳統方法的處理手段(如SAE-PCA)，也沒有采用基于多網絡組合的策略(如MCDNN)，因此，文中提出的基于C-DBN模型的方法識別性能是較優的．

4 結 束 語

筆者在深度信念網絡結構的基礎上，通過引入“跨層”連接，設計了一種耦合深度信念網絡的圖像識別方法．同時，以5層網絡結構為例，文中在ASL數據集和MNIST數據集上對比分析了C-DBN和DBN的網絡性能，驗證了“跨層”連接在網絡結構設計中的有效性，并討論了不同主、次線耦合比例對網絡性能的影響．實驗結果表明，通過引入“跨層”連接可有效緩解梯度消失問題；同時，文中提出的C-DBN在收斂速度和識別性能上均優于相同網絡層數下的DBN．此外，通過與經典的深度網絡在ASL和MNIST兩個數據上識別結果進行對比，說明C-DBN具有較強的學習能力和較好的圖像識別性能．