基于GCSLBP的DBN人臉識別算法

關小蕊　程衛月　張雪琴　林克正　高鐵洪

摘要：針對傳統Gabor小波變換提取的特征向量維數較高以及DBN在完成人臉識別時會忽略局部信息的問題，提出了一種基于GCSLBP的DBN人臉識別算法（Gabor fusion central symmetric local binary pattern deep belief network， GCSLBP-DBN ）。該算法首先改進了原始的Gabor變換，通過引入中心對稱局部二值模式方法（local binary pattern， LBP）進行優化，然后利用直方圖的方法表示最終的特征向量，既提取到圖像豐富的局部特征，又能降低特征向量維數。最后使用深度信念網絡方法提高分類魯棒性，完成人臉的分類和識別。該算法已在ORL和CMU_PIE數據集上進行仿真實驗，實驗結果表明，本文GCSLBP-DBN 算法有效的提高了人臉識別率，在光照等變換下也具有魯棒性。

關鍵詞：Gabor小波變換;中心對稱局部二值模式;特征提取;深度信念網絡

DOI：10.15938/j.jhust.2022.02.009

中圖分類號： TP391.4

文獻標志碼： A

文章編號： 1007-2683（2022）02-0069-07

DBN Face Recognition Algorithm Based on GCSLBP

GUAN Xiao-rui CHENG Wei-yue ，ZHANG Xue-qin LIN Ke-zheng GAO Tie-hong

（1.School of Computer Science and Technology， Harbin University of Science and Technology， Harbin 150080， China;

2.Heilongjiang College of Business and Technology， Harbin 150025， China;

3.Heilongjiang Institute of Teacher Development， Harbin 150080， China）

Abstract：Aiming at the problem that the feature vector extracted by original Gabor transform has a high dimension and DBN ignores local information when completing face recognition， a DBN face recognition algorithm based on GCSLBP is proposed. Firstly， the algorithm improves the original Gabor transform， and optimizes it by introducing the LBP . Then the algorithm uses the histogram method to represent the final feature vector， which extracts the rich local features of the image and reduces the dimensionality of the feature vector. Finally， DBN is used to improve the robustness of classification and complete the classification and recognition of faces. The algorithm has been simulated experiments on ORL and CMU_PIE data sets. The experimental results show that the algorithm in this paper effectively improves the face recognition rate and are also robust under light and other transformations.

Keywords：Gabor wavelet transform; centrosymmetric local binary pattern; feature extraction; deep belief network

0引言

特征提取是人臉識別系統中最關鍵的技術之一，它是指通過對人臉圖像進行計算和分析，以獲得可識別的數據來描述人臉特征的過程。一般來說，主要有全局特征提取和局部特征提取這兩種特征提取方法。與全局特征提取相比，局部特征提取在捕獲局部變化和增強光照的魯棒性方面做得更好。因此，基于局部特征的人臉識別方法越來越受到人們的重視。Gabor小波變換作為一種重要的局部特征提取方法[1]，不僅與人眼視網膜細胞接收場模型具有驚人的相似性，而且獲得了頻率和時間的最小不確定性，對光照、姿態、表情等外部干擾具有較強的魯棒性，它能很好地提取局部空間的圖像信息。但是Gabor小波變換得到的特征維數很高，特征向量帶來的信息是冗余的，且耗時較長，不利于特征的分類[2]。雖然現有的降維算法已有較好的性能，但不可避免地會丟失一些關鍵信息，導致識別率下降。因此，人臉識別技術還需要研究者們不斷深入研究和創新，推動其日趨完善，不斷向更好的方向蓬勃發展[3-7]。

LBP是紋理分析的算子[8]，該算法具有算法簡單、計算過程不太復雜、識別能力強、具有旋轉和亮度變化的魯棒性等優點，因此LBP特征描述算子多被用于紋理特征提取[9]。有人采用Gabor-LBP方法[10]，用二維Gabor小波提取原始圖像特征，對得到的圖像進行編碼，利用LBP算法構造直方圖，使圖像的細節信息充分提取。文[11]通過LBP對Gabor變換得到的特征進行處理的同時又進一步提取了局部特征，從結果上顯示這種結合是有效的，但是LBP處理之后的特征維數還是很高，中心對稱局部二進制模式算法（central symmetric local binary pattern， CSLBP）是一種基于LBP的中心對稱編碼改進方法。CSLBP計算復雜度低，可以將特征維數減少到LBP的一半。因此，將CSLBP與Gabor小波變換相結合是合理的[12]。在已有的一些方法中已經實現了他們的結合，但是與純結合的方法不同，本文將CSLBP的計算思想應用到Gabor小波變換后的子圖像中，得到能夠充分表示子圖像間信息的新特征。因為DBN具有自動學習不同層次抽象特征和獲得人臉特征非線性描述的優點，但它不能提取人臉圖像局部紋理特征，降低了人臉識別率。所以考慮把提取到的GCSLBP特征輸入到深度信念網絡中進行

訓練識別，這樣在彌補其不足時可以充分利用DBN的優勢來提高人臉識別率。通過大量的實驗和分析證明GCSLBP方法能有效地解決光照等變化對人臉識別的影響。

1相關基本理論

1.1Gabor模型

Gabor小波變換最初是為了模擬視覺皮層中簡單細胞的感受域而發展起來的，如今已被廣泛用于各種應用中提取局部特征。利用Gabor小波變換的優點，可以實現人臉識別、紋理分類、表情分類等圖像分析應用。在Gabor小波變換中，用一組不同尺度和不同方向的Gabor濾波器對圖像進行卷積。Gabor濾波器可由公式（1）所示。

1.2DBN算法

深度學習架構是一種由多層無監督神經網絡構成的網絡，前一層的輸出通常被設置為后一層的輸入[13]。而且人臉識別的研究大多基于深度學習[14-19]。學習的目的是通過構建網絡結構和訓練參數，使原始輸入信息和最終輸出信息盡可能相似。

DBN由具有快速學習能力的多層玻爾茲曼機（restricted boltzmann machines， RBM）組成，RBM是一個概率生成模型，即建立觀測數據與標簽之間的聯合分布[11]。受限玻爾茲曼機中所謂的“受限”是指限定模型必須為二分圖，這個“受限”使得該訓練算法更加高效[20-21]。RBM是一種兩層隨機神經網絡，分別是可視層單元和隱藏層單元，其中所有可視層單元都與隱藏層單元相連接，如圖2所示。DBN的結構模型如圖3所示，對于輸入數據主動挖掘隱藏在其中的豐富信息。

1.3CSLBP算法

CSLBP算法的主要思想：比較中心對稱方向像素對的灰度值，當像素對差值大于等于0時，二進制編碼為1，當差值小于0時二進制編碼為0，并將二進制值轉換為十進制的CSLBP值。CSLBP僅產生N/2個二進制模式，當使用直方圖來描述局部紋理特征時，CSLBP的直方圖維數為2P/2，低于LBP的直方圖維數2P，極大地縮短了有限元長度，提取的特征維度低。這種算子可以表達圖像局部紋理的空間結構，對光照變化具有一定的魯棒性，且計算復雜度低。

CSLBP算法的編碼規則定義如下：

2基于GCSLBP模型的DBN人臉識別算法

2.1GCSLBP模型

傳統的Gabor特征提取是直接利用Gabor濾波器處理后得到的整體圖像特征將其輸入分類器中進行識別，但是這樣會導致特征維數過高，而且用Gabor提取到的特征也包含大量的冗余信息[22]。GCSLBP的思想是首先對圖像進行Gabor變換處理，這樣在同一個尺度下會生成8個子圖像，這些子圖像反映著人臉圖像紋理沿不同方向的變化。然后引入1.3節中介紹的中心對稱局部二值模式（CSLBP）算法對這八個子圖像進行編碼處理，得到一個特征圖像。根據實驗設置的尺度，最后會得到所有尺度下的特征圖像。

經過以上計算方法的處理便得到GCSLBP特征，具體的操作過程如圖4所示，圖4是以尺度5為例，說明GCSLBP是如何工作的。首先經過Gabor濾波器會得到每個尺度下的8個子圖像，然后用式（10）計算每一尺度下的特征，最后將5種尺度的直方圖特征連接起來，便得到圖像的GCSLBP特征向量，相對于Gabor-LBP的8位二進制，GCSLBP的特征是4位二進制。

2.2直方圖表示

2.3算法設計

根據前面的推導和分析，使用CRC作為分類器闡述所提出GCSLBP-DBN模型，具體操作步驟如算法1所示。

算法1GCSLBP-DBN算法描述

輸入： 人臉圖像X，子塊為m×m

輸出： 人臉圖像的特征向量（S，S，…，S）

1）對輸入圖像X進行劃分，得到大小為m×m的子塊;

2）利用式（1）～（4）對每個子塊x（1≤x≤m）處理，得到40個小波子圖像;

3）利用式（7）～（10）對小波子圖像進行編碼，得到各尺度圖像的特征圖像;

4）對每個特征圖像進行直方圖運算，利用式（12）將5個尺度的直方圖特征連接起來，得到子塊S的特征向量;

5）連接每個子塊x（1≤x≤m）特征，得到圖像X的特征向量V。

6）將步驟3）得到的紋理特征向量v輸入到DBN可見層中，然后對每一層進行訓練，得到最優網絡。本文設置隱藏層數為2，隱藏單元數不固定，不同的數據集設置不一樣。其中采用DBN迭代算法優化訓練網絡的權值w，最優網絡的判斷是根據訓練集的最大概率函數值來決定。最大概率函數如式（13）所示。

其中：w為權值矩陣;V為訓練集的GCSLBP紋理特征矩陣，將迭代次數m設為3000，學習率設定為0.001。

7）經過上一步得到最優網絡后，利用DBN網絡頂層的Softmax方法進行分類，最終得到測試樣本的識別率。

3實驗結果與分析

3.1實驗環境及數據集

該模型使用MATLAB R2017a編程語言，在windows7（64位），RAM 8G的實驗環境上進行相關實驗。

為了驗證整體算法的性能和效果，實驗采用ORL和CMU_PIE數據集進行實驗。

ORL人臉數據庫由劍橋大學創建，數據集包含40個人的400張面部圖像，每個人都有10張不同面部表情、不同光照條件下的圖像，它的大小是112×92像素，部分樣例如圖5所示。

CMU_PIE數據庫是由卡內基梅隆大學采集的，包含68個人在不同姿勢、光照和表情下拍攝的41368張面部圖像。使用的數據庫是由5個近正面的姿勢組成，它們的標簽分別是姿勢05、07、09、27、29，大小為64×64像素。圖6展示了一個人的部分圖像。

3.2評價指標

本文采用準確率 （Accuracy） 方法來評判所提方法的優劣程度。

準確率表示的是被正確分類的樣本數占總體樣本的比重，公式如下：

式中：TP表示被正確劃分為正例的個數;TN表示被正確地劃分為負例的個數;P+N表示總的測試樣本數。

3.3實驗對比與結果分析

將數據庫中的人臉圖像通過尺度歸一化的方法，大小統一為64×64像素。并將原始圖像分割為4×4的子塊進行實驗。DBN網絡設置1個可見層、2個隱藏層和1個輸出層，第一層和最后一層神經元個數分別為m、n，其中m是輸入向量維數，n是目標分類數，每層迭代次數為30，學習率為0.001。隱藏單元數較少會導致提取的特征不足，過多會容易導致過擬合，為了找出在ORL、CMU_PIE與混合數據集上DBN最佳的隱藏單元數進行了實驗，如圖7所示。

由圖7可知，實驗中隱藏層單元數分別設置為10、150、200、250和300，兩個隱藏層的隱藏單元數相同，每個隱藏單元數下進行20次人臉識別實驗，取識別率的平均值。發現隱藏單元的個數對識別率有明顯的影響。隨著單元數的增加，結果呈現先增加后降低的趨勢，這與理論分析一致。在ORL數據集上，當隱藏單元數為200時，識別率最佳。CMU_PIE數據集上，當隱藏單元數為250時，識別率最佳。將ORL數據集和CMU_PIE數據集的圖片進行隨機混合之后，當隱藏單元數為250時，識別率最佳。在實際中能夠給在相同人臉數據庫進行實驗研究的學者提供一定的參考，以便于獲得更好的實驗效果，避免提取特征不足或者過擬合。所以在之后的實驗中為了獲得更好的效果，DBN的隱藏單元數設置如上。

將訓練好的整體模型分別在ORL和CMU_PIE數據庫上進行實驗，對于ORL人臉庫隨機選取每個人的n（n=4，5，6，7）張圖像作為訓練集，剩下的是測試集，進行10次實驗，計算其平均識別率。對比方法有典型的DBN，Gabor與CSLDP結合的稀疏人臉識別方法[8]，Gabor-LBP方法[10]，圖8為不同方法的識別率比較。圖8可以看出，在干擾條件較少的ORL數據庫中，4種方法的識別率都是隨著訓練樣本的增加而提高的，說明訓練樣本的數量會影響算法的識別性能，也表示光照變換對不同方法的識別率影響不同，在不同數量的訓練樣本上本文方法對光照變換的魯棒性一直優于其他方法，不同的光照條件并沒有降低本文方法的識別率。在這幾種方法中DBN模型的識別率相對是低的，說明在輸入網絡前對圖像進行一定的特征處理是有必要的，可以有效提高后續的分類識別，但是光照變換對圖像的特征處理造成了干擾，導致提取到的特征不夠豐富，不能有效提取人臉圖像局部紋理特征。傳統Gabor小波的人臉識別率最低，本文提出的方法識別性表現出較好的優勢，說明Gabor與CSLBP的結合是有效的，其提取到的特征比其他特征更加豐富，對光照變換的敏感度更低，魯棒性更強，可以有效去除光照影響，能有效提取更多人臉圖像局部紋理特征。而且用CSLBP提取的特征比用LBP和CSLDP算法提取的特征維數相對較少，降低了整體的計算復雜度。

對于CMU_PIE數據庫，隨機選取每個人的15張圖像作為訓練集，8張作為測試集，進行15次實驗，分別得到其識別率，最后將識別率結果取平均值。對比方法有傳統的Gabor算法、Gabor+SRC人臉識別算法、DBN網絡模型、CSLBP結合DBN的人臉識別以及基于Gabor和LBP的深度人臉識別方法[11]。表1給出了本文方法與其他不同方法識別率的對比結果。

由表1可知，本文提出方法的識別率明顯高于比傳統的Gabor算法，識別率受到光照變換的影響是最小的，對光照變換的魯棒性更強，而Gabor+PCA方法對光照的敏感度是最強的。用CSLBP+DBN進行人臉識別比DBN方法明顯效果好，識別率提高接近10%，本文提出的方法又比CSLBP+DBN方法識別率提高2%左右，這說明直接把原始圖片輸入網絡進行訓練達不到理想效果，DBN可能會忽略圖像的局部結構，從而光照變換等條件對其干擾過多，難以學習人臉的局部特征，所以有效的特征表示在分類中起著至關重要的作用，要充分利用局部特征去傳達圖像信息。文[2]通過LBP對Gabor變換得到的特征進行處理的同時又進一步提取了局部特征，從結果上顯示這種結合是有效的，識別率達到95%左右。本文方法比單純的融合這兩個局部特征要表現出較好的識別性能，識別率提高1.2%，在不同光照條件下的魯棒性更高，同時CSLBP在保證提取信息豐富的情況下可以將特征維數減少到LBP的一半，但這兩種特征的融合使算法的計算復雜度增加。

4結論

本文針對Gabor小波變換提取的特征向量維數較高以及DBN在完成人臉識別時會忽略局部信息的問題，提出了一種基于GCSLBP的DBN人臉識別方法。一方面，該方法將Gabor變換得到的不同方向不同尺度的子圖像與CSLBP算法進行融合，得到新的特征表示，既降低了特征維數又提取了圖像豐富的局部特征;另一方面，充分利用了DBN網絡可以自動學習人臉的不同層次間的抽象特征，提高分類魯棒性。實驗結果表明本文GCSLBP-DBN 算法有效的提高了人臉識別率，在光照等變換下也具有魯棒性。

參 考 文 獻：

[1]XUE G J， SONG L， SUN J， et al. Hybrid Center-symmetric Local Pattern for Dynamic Background Subtraction[C]// 2011 IEEE International Conference on Multimedia and Expo， Barcelona， 2011：1.

[2]CHOI J Y， LEE B. Ensemble of Deep Convolutional Neural Networks With Gabor Face Representations for Face Recognition[J]. IEEE Transactions on Image Processing， 2020， 29：3270.

[3]徐望明， 張培， 伍世虔. 基于多方向Gabor特征圖稀疏表示的魯棒人臉識別方法[J]. 北京理工大學學報， 2019， 39（7）：732.XU Wangming， ZHANG Pei， WU Shiqian. Robust Face Recognition Method Based on Sparse Representatio of Multi-direction Gabor Feature Graph[J]. Journal of Beijing University of Technology， 2019， 39（7）：732.

[4]歐陽寧， 王先傲， 蔡曉東， 等. 結合小波與遞歸神經網絡的低分辨率人臉識別[J]. 西安電子科技大學學報，2019， 46（6）：95.OUyang Ning， WANG Xianao， CAI Xiaodong， et al. Low Resolution Face Recognition Based on Waveletand Recursive Neural Network. Journal of Xidian University，2019， 46（6）：95.

[5]LI J Y， ZHANG D. Multi-pose Face Recognition Based on Convolutional Neural Network[J]. Journal of Computers， 2020， 31（1）：225.

[6]GEORGESCU M I， IONESCU R T， POPESCU M. Local Learning with Deep and Handcrafted Features for Facial Expression Recognition[J]. IEEE Access， 2019， 7： 64827.

[7]ZHU X， LIU H， LEI Z， et al. Large-scale Bisample Learning on ID Versus Spot Face Recognition[J].International Journal of Computer Vision， 2019， 127（6）： 684.

[8]OJALA T， PIETIKAINEN M， HARWOOD D. A Comparative Study of Texture Measures with Classification Based on Featured Distributions[J]. Pattern Re-cognition， 1996，29（1）： 51.

[9]孫玲. 基于Gabor和HOG特征融合的人臉識別算法研究[D].哈爾濱：哈爾濱理工大學，2021.

[10]HUANG J， ZHANG Y， ZHANG H J， et al. Sparse Representation Face Recognition Based on Gabor and CSLDP Feature Fusion[C]// Proceedings of the 31st Chinese Control and Decision Conference， 2019：5697.

[11]ZHUANG L Y， GUAN Y P. Deep Learning for Face Recognition under Complex Illumination Conditions Based on Log-Gabor and LBP[C]// Information Technology， Networking， Electronic and Automation Control Conference. Chengdu， 2019：1926.

[12]LIU J， WU Z L， LI Q， et al. A Novel Local Feature Extraction Algorithm Based on Gabor Wavelet Transform[C]// 3rd International Conference on Advances in Image Processing， 2019：76.

[13]李珊， 鄧偉洪. 深度人臉表情識別研究進展[J]. 中國圖像圖形學報， 2020， 25（11）：2306.LI Shan， DENG Weihong. Journal of Image and Graphics， 2020， 25（11）：2306.

[14]ZHAO X M， SHI X G， ZHANG S Q. Facial Expression Recognition Via Deep Learning[J]. IETE Technical Review， 2014， 32（5）： 347.

[15]WU B F， LIN C H. Adaptive Feature Mapping for Customizing Deep Learning Based Facial Expression Recognition Model[J]. IEEE Access， 2018， 6： 12451.

[16]ZENG N Y， ZHANG H， SONG B， et al. Facial Expression Recognition Via Learning Deep Sparse Autoencoders[J]. Neurocomputing， 2018， 273： 643.

[17]ZHANG T， ZHENG W M， CUI Z， et al. A Deep Neural Network Driven Feature Learning Method for Multi-view Facial Expression Recognition[J]. IEEE Transactions on Multimedia， 2018， 18（12）： 2528.

[18]SUN X， PAN T. Static Facial Expression Recognition System Using ROI Deep Neural Networks[J]. Acta Electronica Sinica， 2017， 45（5）： 1189.

[19]YAN G L， DENG X J， LIU C. Facial Expression Recognition Model Based on Deep Spatiotemporal Convolutional Neural Networks[J]. Journal of Central South University （Science and Technology）， 2016， 47（7）： 2311.

[20]SHYU M L， CHEN S C，? SARINNAPAKORNL K.? A? Novel? Anomaly? Detection? Scheme? Based? on? Principal Component Classifier[C]// ICDM Foundation and New Direction of Data Mining workshop， 2003：172.

[21]MURPHY K P. Machine Learning： a Probabilistic Perspective[J]. Chance， 2012， 27（2）：62.

[22]林克正， 莊靚瑋， 榮友湖， 等. 基于Gabor特征的全局加權稀疏表示[J]. 哈爾濱理工大學學報， 2016， 21（1）：40.LIN Kezheng， ZHUANG Liangwei， RONG Youhu， et al. Based on Gabor Characteristics Global Weighted Sparse Representation[J]. Journal of Harbin University of Science and Technology，2016，21（1）：40.

（編輯：溫澤宇）