基于Dropout深度信念網絡的人臉圖像識別研究

王瑋+李福進

摘 要：針對深度神經網絡在只存在少量訓練樣本時容易出現過擬合的問題，文中將Dropout算法與深度信念網絡相結合，以解決神經網絡在訓練階段識別正確率高，但在測試階段識別正確率不高的問題。將加入Dropout 的深度信念網絡和未加入Dropout的網絡在ORL人臉庫中進行對比，實驗結果表明，加入Dropout網絡的系統誤識率更低，對于防止過擬合有很好的效果。

關鍵詞：深度信念網絡；過擬合；Dropout；人臉識別

中圖分類號：TP391 文獻標識碼：A 文章編號：2095-1302（2018）02-00-03

0 引 言

人臉識別技術屬于生物特征識別技術，歸屬于熱門的計算機技術研究領域。人臉識別方法包括以下幾種：

（1）幾何特征方法[1]：通過眼睛、鼻子、嘴巴等五官的幾何位置進行識別；

（2）特征臉方法[2]：將人臉圖像變換到一個低維空間上，進行相似性衡量和分類學習實現人臉識別；

（3）神經網絡方法[3]：通過學習圖像的低維特征到高維特征的映射，得到人臉圖像的本質特征，具有非常好的識別效果。

近幾年，深度學習取得了巨大進步，特別是在圖像識別、語音識別、自然語言處理等領域取得了突破性進展[4]。2016年，AlphaGo首次打敗圍棋專業棋手韓國名將李世石，讓深度學習進入到了公眾視野。深度學習是一種模仿人類深度腦組織結構，采用分層處理方式處理數據，對輸入數據提取不同水平的特征，并逐層形成從低層信號到高層特征對應表示的方法。目前，被廣泛使用的深度學習方法包括稀疏自動編碼算法（SAE）[5]、深度卷積神經網絡（Deep CNN）[6]和深度信念網絡（DBN）[7] 等。其中，DBN是最具代表性的深度學習方法，具有較強的函數表征能力，能夠從較少的樣本中學習到最本質的數據特征。

過擬合是深度神經網絡學習中的一個常見問題，即模型在訓練集上能夠較好地分類，但在測試集上卻具有較高的誤識率。Hinton首次提出Dropout策略[8]，即在模型訓練階段，Dropout以一定的概率將部分隱藏層神經元的輸出設置為0，每一次訓練都得到不同的網絡結構，提高了網絡泛化性能[9]。實驗結果表明，將Dropout與DBN相結合的方法應用在人臉圖像識別中取得了較好的效果。

1 DBN算法

1.1 DBN算法模型

2006年，多倫多大學的Hinton等人提出了DBN學習算法，即一種概率生成模型。DBN由多個受限玻爾茲曼機（RBM）堆疊而成，其結構如圖1所示。

RBM是一個二分圖，由可視層和隱含層構成，層內無連接，層間互相連接。受限玻爾茲曼機是一種能量概率模型，其能量函數見式（1）：

其中W為權值矩陣，a為可視層單元閾值，b為隱藏層單元閾值。網絡越穩定，能量函數的值越小，求解目標即求取最小能量函數值。

由于RBM同層節點之間無連接，因此相鄰兩層節點之間的條件分布相互獨立，概率分布如式（2）和（3）所示：

其中δ（x）是sigmoid激活函數，其作用在于限定神經元輸出振幅。

在DBN中，每兩個隱含層構成一個RBM，同時還包含一層反向傳播（BP）網絡，其結構如圖2 所示。DBN的訓練過程包含預訓練和微調。在預訓練階段，DBN采用自底向上的無監督訓練方法訓練每一層RBM，將輸入作為第一層RBM的可視層，第一層RBM的隱含層作為第二層RBM的可視層，依次類推，無監督地訓練整個DBN網絡。在微調階段，采用自頂向下的方式對整個網絡進行有監督的微調。

1.2 Dropout神經網絡模型描述

假設有一個含有L層隱藏層的神經網絡，其輸入輸出關系如式（4）和（5）：

其中，z為輸入向量，y為輸出向量，w為權重，b為偏置向量，f為激活函數，其作用在于限定幅值，取f（x）=1/（1+exp（-x））。

當加入Dropout，前饋神經網絡關系如式（6）～（9）：

式中r為伯努利隨機變量。

如圖3所示，圖（a）為標準網絡，圖（b）為加入Dropout的網絡，通過伯努利隨機變量使網絡變薄，如果一個單元在訓練時以概率p保留，那么測試時的輸出權重也要乘以概率p。

Dropout隨機刪除了一些單元，但并不意味著這些單元徹底消失，而只是讓該單元暫時失活。由于每次使用輸入網絡的樣本進行權值更新時，隱含層的節點都以一定的概率隨機出現，因此無法保證每2個隱含節點每次都能同時出現，這樣權值更新將不再依賴于具有固定關系隱含節點的共同作用，可防止某些特征僅在其他特征存在時才有效果的情況出現。如圖4所示，取p=0.5時的Dropout神經網絡可以看到隱含層中一半的神經元概率設置為0，即在該次訓練過程中不起作用，在下一次訓練過程中不將其概率設置0時便又恢復作用。

可以將Dropout看做一種模型平均，雖然每次訓練的樣本都不同，但它們卻共享所有隱含結點的權重。在訓練神經網絡時使用Dropout能夠使每個單元與其他隨機出現的單元共同作用，而那些不依賴于其他固定關系的單元只有在某些單元出現時才發揮作用，具有獨自改錯和創造有區分性特征的能力，增強神經元的魯棒性。對于全連接層的網絡，將Dropout作用于所有隱藏層的作用效果要優于只作用于一層隱藏層的效果，且其概率應適當選擇，太過極端反而會導致糟糕的結果出現。Dropout同樣可以作用于輸入層，而此時最佳的概率應選擇0.5。

2 實 驗

為了驗證所提算法的有效性，實驗在Matlab 7.1環境下進行，計算機配置為Windows10 Intel（R） Core（TM） i5-4200H CPU @ 2.80 GHz 4 GB內存；實驗在ORL人臉庫中進行，ORL人臉庫包括40人的信息，每人10幅圖像，分別為表情、姿態和面部飾物的變化。圖5、圖6所示分別為深度信念網絡訓練過程和測試過程的識別錯誤率。endprint

訓練和測試階段的迭代次數均為200次。在訓練階段，使用Dropout和未使用Dropout的神經網絡的識別錯誤率都不高且兩者接近，但在測試階段，使用Dropout顯然比未使用Dropout的網絡識別錯誤率更低。通過該實驗說明加入Dropout的深度信念網絡有更強的泛化能力，能夠有效防止過擬合。

3 結 語

針對傳統神經網絡存在的過擬合問題，將Dropout和深度信念網絡相結合，并通過ORL人臉庫實驗表明，加入Dropout的深度信念網絡的識別錯誤率變低，所提算法能夠提高網絡的泛化能力，具有防止網絡過擬合的能力。

參考文獻

[1]糜元根，陳丹馳，季鵬.基于幾何特征與新Haar特征的人臉檢測算法[J]. 傳感器與微系統， 2017， 36（2）：154-157.

[2] Sharma R，Patterh M S. A new pose invariant face recognition system using PCA and ANFIS[J].Optik - International Journal for Light and Electron Optics， 2015， 126（23）：3483-3487.

[3] Sun Y， Wang X， Tang X. Sparsifying Neural Network Connections for Face Recognition[C]// IEEE Conference on Computer Vision and Pattern Recognition. IEEE Computer Society， 2016：4856-4864.

[4]蔣魯寧.機器學習、深度學習與網絡安全技術[J].中國信息安全，2016（5）：94.

[5] Kato T， Hino H， Murata N. Multi-frame image super resolution based on sparse coding[J]. Neural Networks： the Official Journal of the International Neural Network Society， 2015， 66（C）： 64–78.

[6]盧宏濤， 張秦川.深度卷積神經網絡在計算機視覺中的應用研究綜述[J].數據采集與處理， 2016，31（1）：1-17.

[7] HINTON G E， OSINDERO S， THE Y-W.A fast learning algorithm for deep belief nets[J].Neural Computation，2006，18（7）： 1527-1554.

[8] Hinton G E， Srivastava N， Krizhevsky A， et al.Improving neural networks by preventing co-adaptation of feature detectors[J].Computer Science， 2012，3（4）： 212-223.

[9] Srivastava N， Hinton G， Krizhevsky A， et al. Dropout： a simple way to prevent neural networks from overfitting[J].Journal of Machine Learning Research，2014， 15（1）：1929-1958.endprint