基于深度信念網絡的手寫數字識別方法研究

劉長明（濱州市科學技術情報研究所,山東 濱州 256600）

?

基于深度信念網絡的手寫數字識別方法研究

劉長明
（濱州市科學技術情報研究所,山東 濱州 256600）

摘 要：多隱層神經網絡的學習一直是大家關注的熱點問題，而傳統的學習算法并不能很好地適應于多隱層神經網絡學習。提出了一種基于受限玻爾茲曼機的學習算法，將多隱層神經網絡的學習變為多個受限玻爾茲曼機的順序學習。將該方法應用于手寫數字識別問題，取得了較好的識別結果。

關鍵詞：深度信念網絡；受限玻爾茲曼機；模式識別

0 引言

對于維數較高的有向信念網絡，根據給定的數據矢量推測隱層行為的條件分布是很難的，這也導致它們的學習非常困難。變分法（Variational methods）對條件分布真值采用簡單的近似，但是近似是很不盡如人意的，特別是在最深的隱層。變分學習需要對所有的參數一起學習，隨著參數數量的增加讓學習時間規模變的很大。

針對上述問題，Hinton等提出了一種由受限玻爾茲曼機構成的深度信念網絡。這種深度信念網絡可以用一個快速貪婪學習算法來很快找到一組性能很好參數。可以進行無監督學習，推斷速度快而且準確。本文將這種深度信念網絡用于手寫數字識別，并對其性能進行了討論。

1 深度信念網絡簡介

深度信念網絡由可視層、輸入層及多個隱層組成。傳統的神經網絡中［1-2］，當隱層較多的時候，反向傳播等算法都不能很好的工作。在深度信念網絡中，相鄰的兩層可以看作一個受限玻爾茲曼機［3-4］，這樣一個深度信念網絡就可以看作多個串聯在一起的受限玻爾茲曼機。每次深度信念網絡的學習，都可以分解成每個玻爾茲曼機從下向上的順序學習。

如圖1所示，每個受限玻爾茲曼機包括一個可視層和一個隱層，每一層都由多個隨機神經元組成。層間的神經元之間都有連接，而層內的神經元之間沒有連接。每個神經元都具有兩個狀態——激活和未激活，可以用0和1表示，狀態是根據概率來確定。

1.1 補充先驗

1.2 受限玻爾茲曼機的對比散度學習

當上述概率分布確定之后，需要根據此概率分布，確定在整個訓練集（包含K個訓練數據）上概率最大的使得φ，即

求φ*的關鍵是對L（ φ）求偏導，可以將L（ φ）表示為：

對φ中的某個參數φl求偏導為

這里，＜.＞P為依分布P的數學期望。上述方法稱為對比散度學習算法［5］。

2 實驗結果

MNIST手寫數字數據庫包括60000個訓練圖片和10000個測試圖片。這個公開的數據庫上，不同模式識別技術的結果都已經給出，所以評估新模式識別技術比較理想。在訓練之前并不進行預處理和增強。網絡在44000個訓練圖像上進行訓練，將訓練集分為440小批，每批包括每類數字的各10個圖片。每個小批更新一次權重。

測試網絡的一種方法是采用測試集，采用本生成模型來獲得分類。對于測試集10000個測試圖片，錯誤率1.29%。出錯的125個數據如圖2所示，在左上角給出了網絡識別的結果。

每個訓練周期的重構均方誤差如圖3所示。左側是7層的網絡，每層分別包括784、400、200、100、50、25、6個神經元。右側是3層網絡，每層分別包括784、532、6個神經元。從圖中可以看出，7層網絡的訓練速度要明顯高于3層網絡，而且訓練誤差低于3層網絡。

3 結論

本文討論了一種深度學習的算法，將多隱層神經網絡表示為一系列受限玻爾茲曼機串聯的形式，而多隱層網絡的學習相應的變為多個受限玻爾茲曼機的順序學習。給出了受限玻爾茲曼機的對比散度學習方法。進而，將本方法應用到手寫數字識別問題，取得了較高的識別率。

參考文獻：

［1］葉世偉,史忠植.神經網絡原理［M］.北京：機械工業出版社,2006.

［2］Haykin S.神經網絡與機器學習（英文版）［M］.北京：機械工業出版社,2009.

［3］Jordan M, Sejnowski T. Learning and relearning in boltzmann machines ［A］. Parallel Distributed Processing Explorations in the Microstructure of Cognition,1986：45-76

［4］Hinton GE. Training products of experts by minimizing contrastive divergence［J］.Neural Computation,2002, 14（08）：1711-1800.

［5］Hinton GE, Dayan P, Frey BJ et al. The wake-sleep algorithm for self-organizing neural networks［J］.Science, 1995,268：1158-1161.

DOI：10.16640/j.cnki.37-1222/t.2016.12.112

作者簡介：劉長明（1971-）, 男,山東無棣人，本科，助理研究員，主要從事科學技術基礎研究工作。