基于深度卷積自編碼器的單樣本人臉識別

張彥 鄭任兒

摘要：單樣本人臉識別問題是人臉識別問題中的難點問題，由于樣本數少，現有的人臉識別算法在處理單樣本人臉識別問題時，識別效果會顯著降低。本文提出一種基于深度卷積自編碼器的單樣本人臉識別算法。算法采用深度卷積自編碼器將多樣本個體的類內變化遷移至單樣本個體，重構出單樣本個體包含類內變化的新圖像，從而提高識別率。算法在公共測試庫上進行了測試，實驗結果表明，該算法能夠重構出單樣本個體包含其他類內變化的人臉圖像，同時，識別率優于原圖的識別率。

單樣本人臉識別是人臉識別問題中的難點問題。在單樣本人臉識別問題中，每個測試個體僅有一張已知樣本圖像，測試圖像通過與已知樣本圖像的對比，得到測試結果。由于人臉圖像在不同的環境、時間等情況下，會包含光照、表情、遮擋、姿態等變化，因此，當測試圖像與已知樣本圖像拍攝的時間、環境等不同時，同一個體的人臉圖像間會存在由于表情、環境、遮擋等帶來的類內變化，有時類內變化會遠遠大于個體身份變化帶來的類間變化。因此，諸多人臉識別算法在處理單樣本人臉識別問題時，識別率會下降。

2012年Alex Krizhevsky等將卷積深度神經網絡應用于Imagenet圖像識別大賽，并取得了最好成績，使得卷積深度神經網絡得到廣泛推廣，并在諸如文字識別、語音識別等領域取得了成功。

深度神經網絡要求有大量的樣本進行訓練，當樣本數較少時，識別結果會迅速下降。2014年Bengio等研究了深度學習中特征的可遷移性問題，遷移學習的目標是利用已有的數據，將學習到的模式應用于相關的問題中，解決樣本數較少時的識別問題。人臉圖像的變化是具有相似性的，那么，是否可以利用已有個體的多個圖像，學習人臉圖像光照、表情、遮擋等類內變化，將其遷移至單樣本個體，重構出該個體的圖像，提高單樣本人臉識別的識別率？

本文提出了一種基于深度卷積自編碼器的單樣本人臉識別算法。算法試圖通過深度卷積神經網絡，經過遷移學習，將多樣本人臉圖像的類內變化，推廣至單樣本人臉圖像，重構出單樣本個體不同類內變化圖像，增加單樣本個體的樣本數，從而提高識別率。

本文算法分為以下三個步驟：

（1）采用所有已知樣本訓練通用深度卷積自編碼器

（2）采用單樣本個體的單個樣本訓練特定深度卷積自編碼器

（3）采用softmax回歸進行分類

深度卷積自編碼器通過神經網絡的卷積與反卷積重構出輸入圖像，輸入圖像與重構圖像間的誤差作為損失函數，訓練深度卷積自編碼器，得到訓練結果。

設訓練圖像為，則第K層的特征映射為：

h^k=σ（X*W^k+b^k）

其中為激活函數（文中采用雙曲正切函數），為2維卷積，b為偏移量。

在重構時，重構圖像通過如下函數進行重構：

其中Y為重構圖像，H為特征的集合，c為偏移量。在重構圖像時，根據上式進行反卷積操作，重構出新的圖像。

通過最小化輸入圖像與輸出圖像間的最小均方誤差函數，對深度卷積自編碼器進行訓練，誤差函數如下所示：

通用深度卷積自編碼器包含人臉圖像的類內及類間信息，在訓練時，我們將所有的已知圖像輸入深度卷積自編碼器，對所有輸入圖像進行重構，訓練結束后，深度卷積自編碼器應包含人臉圖像的類內類間變化特征。

在通用深度卷積自編碼器的基礎上，我們采用每個單樣本個體的標準圖像，對通用深度卷積自編碼器進行微調（finetune），修改通用深度卷積自編碼器的權值，將多樣本個體的類內變化進行遷移，得到針對每個單樣本個體的特定深度卷積自編碼器。

Softmax回歸模型可用于多目標分類問題，通過訓練數據得到訓練樣本屬于某個類別的后驗概率模型，當測試時，將測試數據輸入概率模型，得到測試數據屬于每個類別的概率，最大概率給出分類結果。

本文將特定深度卷積自編碼器生成的重構圖像及其編碼器編號作為訓練樣本，生成類別概率模型，再將測試圖像輸入分類器，得到分類結果。

本節在AR Database上進行測試實驗。AR Database 包含100個人，每人13張包含不同表情、光照及遮擋的人臉圖像，其中50人性別為男，50人性別為女。AR Database中的圖像如下圖所示。

圖1中（a）為個體的標準圖像，該圖像沒有遮擋、表情及光照的變化，圖1中（b）為包含表情、光照及遮擋的人臉照片。

本文選擇50個人（25人男性，25人女性）的所有照片及另外50人的標準圖像（共700幅圖像）作為通用深度卷積自編碼器的訓練樣本，所有圖像轉換為灰度圖像，抽取為30*30的圖像，輸入深度卷積自編碼器進行訓練，生成通用深度卷積自編碼器。

生成通用深度卷積自編碼器后，選取剩余50人的標準圖像，經過灰度化及抽取，轉換為單通道30*30的圖像，圖像復制，生成500個樣本，輸入通用深度卷積自編碼器進行微調，生成50個特定深度卷積自編碼器。

測試時，選取人臉庫中除訓練圖像外的所有圖像（共600幅）作為測試圖像，將測試圖像輸入50個特定深度卷積自編碼器，得到測試圖像的重構圖像，重構圖像的類別為特定深度卷積自編碼器的類別。識別時，將測試圖像與重構圖像輸入softmax分類器，給出識別結果。

特定深度卷積自編碼器的輸入圖像及重構圖像如圖2所示。

本文分別測試了卷積核為7、15、23、29時的識別結果，識別率結果如圖3所示。表1 給出了相同訓練樣本及相同測試樣本情況下，采用softmax回歸的分類結果，以及本文算法的識別結果（卷積核為29）。通過對比，表明本文算法可以提高單樣本識別問題的識別率。

本文提出了一種基于深度卷積自編碼器的單樣本人臉識別算法，算法將多樣本個體的類內變化遷移至單樣本個體，重構出單樣本個體的新圖像，采用重構圖像進行識別，提高識別率。實驗表明，本文算法能夠重構出單樣本個體在不同環境下包含類內變化的圖像，識別率優于原圖采用相同分類算法的識別率。

[1]Krizhevsky， Alex ， I. Sutskever ， and G. Hinton . "ImageNet Classification with Deep Convolutional Neural Networks." NIPS Curran Associates Inc. 2012.

[2]Yosinski， Jason ， et al. "How transferable are features in deep neural networks？." International Conference on Neural Information Processing Systems MIT Press， 2014.

[3]Jonathan Masci， Ueli Meier， Dan Cire?an， Jürgen Schmidhuber， Stacked Convolutional Auto-Encoders for Hierarchical Feature Extraction，Artificial Neural Networks and Machine Learning （ICANN）， 2011， pp： 52-59.