基于多級紋理特征的深度信念網絡人臉識別算法

陳雪鑫 孫 玥 苗 圃 卜慶凱

(青島大學電子信息學院 山東 青島 266071)

0 引 言

人臉識別是基于人臉特征信息進行身份自動識別的生物識別技術，憑借非強制性、非接觸性及并發性強的優勢廣泛應用于金融領域和安保領域等智能化社會建設方面[1]。傳統的人臉識別方法是基于統計特征的識別方法，特征的提取過度依賴于人工選擇，干擾因素過多。隨著研究的深入，機器學習的人臉識別方法(FRMML)得到空前發展[2]。在FRMML中包含了淺層機器學習識別方法(SMLFRM)和深層機器學習識別方法(DLFRM)，其中SMLFRM優化復雜度高，識別率較低。而DLFRM中新形成的深度信念網絡(DBN)提高了訓練過程的泛化能力和自適應能力，在復雜分類上比淺層網絡結構有更好的效果，因此得到學者青睞。人臉特征高效且準確的描述與提取決定識別的精度。傳統的特征描述算法主要有基于全局特征和基于局部特征兩類。基于全局特征的描述算法主要有主成分分析(Principal Component Analysis，PCA)、線性判別分析(Liner Discriminant Analysis，LDA)等。陳海霞等[3]結合PCA降維特性和Gabor小波多尺度濾波特性，實現了對臉部整體特征的提取，提高了識別準確率。基于局部特征的描述算法主要有局部二值模式(Local Binary Pattern，LBP)、定向梯度直方圖(Histogram of Oriented Gradient，HOG)和Gabor變換等。Xie等[4]通過提取邊緣方向特征作為局部紋理特征的補充信息，實現LBP和HOG算法的融合，改善了紅外人臉識別的魯棒性。周昊等[5]通過對人臉圖像中特定的區域進行分塊處理，結合稀疏表示分類器訓練測試，雖然識別率有所提高但當面對復雜人臉表情時并不能取得良好的效果。胡麗喬等[6]根據分塊后的人臉圖像識別貢獻率配置相應的權重，然后利用支持向量機(SVM)對帶有權重的分塊直方圖進行學習訓練而后完成識別。

局部紋理特征是圖像特征的局部表達，對蘊含信息的表達具有良好的魯棒性，因此局部紋理特征詳細的提取可以達到有效描述人臉圖像的效果并為后續分類操作提供可靠的保障。為了實現更高的人臉識別率，本文提出對局部紋理特征采取多級提取的方法，對均勻分塊的圖像提取局部紋理特征，在此基礎上使用改進的CS-LBP進一步獲取局部詳細紋理信息并結合HOG算子優勢，提取邊緣信息作為輔助，對人臉圖像紋理做出清楚詳細的描述。局部紋理特征的充分描述，彌補了DBN忽略局部結構的缺陷。級聯后的融合特征信息通過DBN的深度學習并在頂層實現人臉識別。實驗表明，多級局部特征的提取在DBN模型下能夠提高人臉識別精度。

1 算法理論

1.1 LBP和MB-LBP特征描述

局部二值模式(Local Binary Pattern，LBP)是由Ojala[7]提出的一種圖像局部紋理特征的描述算子。LBP算子將中心像素灰度值和鄰域像素灰度值以比較的方式實現對圖像局部紋理特征的高效描述，具有旋轉不變性、灰度不變性以及計算高效的特點[8-9]。傳統的LBP算子如圖1所示，在一個3×3區域中，中心點像素灰度值作為閾值，相鄰的像素灰度值依次與之比較，大于等于閾值則為1，否則為0。將產生的8個二進制數按順時針連接并轉化為十進制數。這個十進制數即為區域中心點像素值，最后選用LBP直方圖作特征向量。

圖1 LBP算子示意圖

LBP算子編碼公式為：

(1)

(2)

式中：(xc，yc)代表中心像素的坐標；gc、gi分別代表中心像素的灰度值和鄰域像素的灰度值。觀察圖1，傳統的LBP算子被限制在固定區域內對像素點之間比較提取特征，過于局部化并且削弱了局部特征的健壯性[10]。為此使用圓形鄰域結合雙線性插值運算替代正方形鄰域，以此來獲取任意半徑和任意數目的不在像素中心位置的鄰域像素點。如圖2所示，用P表示鄰域點的個數，R表示圓形領域的半徑。

(a) LBP4,1(b) LBP8,1 (c) LBP8,2圖2 圓形LBPP,R算子

使用LBP算子對圖像像素進行直方圖統計不僅受鄰域像素的影響對噪聲敏感，而且缺乏對圖像粗粒度的把握，易丟失結構信息。因此可以對圖像采取分塊處理，使用MB-LBP(Multi-Block Local Binary Patterns)彌補缺陷。MBS-LBP算子表示把圖像細分成大小為S×S的像素塊，圖3為S=3的MB-LBP算子。

圖3 MB3-LBP算子示意圖

對于圖3，整個圖像區域分為9個像素塊，每個像素塊有6個像素點，傳統LBP算子像素灰度值之間的比較被像素塊之間的平均灰度的比較所代替，而且MB-LBP將每個像素塊的中心點像素也都考慮到，增加了對圖像全局信息的把握。傳統LBP算子得到的二進制模式數目較多，而實際的位于分塊區域的像素數目卻相對較少，失去了統計意義。因此提出統一化模式概念，保留的統一化模式往往反映重要的信息，而非統一化模式中往往由噪聲引起，不具有良好的統計意義。

圖4所示的是像素塊大小為3×3，半徑為2，鄰域為8的統一化模式下的圓形LBP算子，每個虛線的小方格代表一個像素，每個粗線圍成的大方格代表一個像素塊，其值是由其中3×3共9個像素的灰度平均而得的。不同像素塊大小代表著不同的觀察和分析粗粒度，可以加強對圖像整體特征信息的描述。

圖算子

1.2 CS-LBP算子及其改進

中心對稱局部二值模式(Center-Symmetric Local Binary Patters，CS-LBP)使用中心對稱思想對鄰域內像素灰度值的比較規則進行重新定義，通過比較以中心像素灰度值為中心對稱的像素值對完成編碼，即對中心對稱點的亮度差編碼。

CS-LBP編碼公式為:

(3)

(4)

式中：gc代表對稱中心像素；gi代表以gc為圓心、R為半徑的圓周上的像素值，P代表圓上像素點的數量。gi、gi+(p/2)代表對稱像素值對。T代表閾值反映紋理的平坦性可以取gc，也可以根據實驗自行設定。通過對比式(1)和式(3)以及觀察圖5可以發現，LBP算子運算后得到的二進制模式串的長度為P、二進制模式的種類為2P。而CS-LBP用對稱像素值對思想提取紋理特征，得到的二進制模式串的長度為P/2、二進制模式的種類為2P/2。二者相比較，CS-LBP對圖像局部區域灰度變化差異的描述能力更強，同時也降低了紋理特征的維數，縮減了存儲的空間。

圖5 LBP與CS-LBP算子對比示意圖

傳統的特征提取算子僅考慮中心像素和相鄰像素或者中心對稱像素對之間的灰度差，單一像素差之間的比較容易造成特征的丟失。結合LBP和CS-LBP紋理提取的優勢，重新定義了像素之間的比較規則，即添加對稱像素與中心像素之間的比較，使生成的直方圖既短又考慮了中心像素。借用圖像中心點像素信息改善紋理特征粗細的同時放大了不同表達特征向量之間的差異，嚴格控制每個像素點的周圍條件，增強抗噪能力，使得所提取的紋理信息更加細致。改進的CS-LBP編碼公式為:

CS-LBPP,R(x,y)=

(5)

(6)

(7)

圖6比較了不同算子對人臉圖像的紋理提取，可以看出LBP算子對紋理具有很強的描述能力。傳統的LBP算子描述的略顯粗糙。MB-LBP提取紋理特征加大了對整體信息的粗粒度把握，整體的結構信息明顯加深，部分區域信息的描述增強。CS-LBP算子改善了紋理的復雜度。改進的CS-LBP算子繼承了傳統LBP算子的優點并且有效地區分背景，紋理特征豐富，五官表征明顯，在局部特征描述上具有很強的辨別能力。

圖6 不同算子紋理提取

1.3 方向梯度直方圖

方向梯度直方圖(Histograms of Oriented Gradients，HOG)是一種特征描述子，通過提取圖像局部區域的梯度或邊緣方向信息，構成局部區域的方向梯度直方圖特征以此表征目標形狀[13-14]。HOG是對圖像局部單元區域進行描述提取，所以HOG特征描述子能夠保持圖像幾何和光學轉化不變性，而且在圖像區域形狀變化較大時依然可以提取出有效的邊緣信息。

HOG特征描述子提取過程如圖7所示。

圖7 HOG特征提取流程圖

(1) 對圖像進行顏色空間標準化，抑制噪聲的干擾。

(2) 捕捉圖像輪廓信息，計算圖像每個像素點的梯度(包括大小和方向)：

Gx(x,y)=H(x+1,y)-H(x-1,y)Gy(x,y)=H(x,y+1)-H(x,y-1)

(8)

式中：Gx(x,y)、Gy(x,y)、H(x,y)分別代表圖像中像素點(x，y)處的水平方向梯度、垂直方向梯度和像素值。像素點(x，y)處的梯度幅值和梯度方向分別為：

(9)

(3) 將圖像劃分成小cell，統計每個cell的梯度直方圖(不同梯度的個數)，即可形成每個cell的特征描述子。將每幾個cell組成一個block(cell與block關系如圖7(b))，一個block內所有cell的特征描述子串聯起來歸一化后便得到該block的HOG特征描述子。

(4) 檢測窗口中所有重疊的block并進行HOG特征收集，按順序結合成最終的特征向量供后續分類使用。

1.4 深度信念網絡

深度信念網絡(Deep Belief Network，DBN)是Hinton等[15]提出的非監督深度學習神經網絡， DBN不依賴于手動選擇信息而是主動學習輸入數據并自動挖掘隱藏在已知數據中的豐富信息[16]。DBN可以被視為玻爾茲曼機(Restricted Boltzmann Machines，RBM)的堆棧，RBM是一個基于能量的生成型模型，每個RBM由可視層和隱藏層構成，可視層負責數據輸入，隱藏層負責特征提取。層與層之間全連接，同一層各單元彼此互不連接，如圖8右側所示。

圖8 DBN模型結構圖

對于給定的一組狀態(v，h)擁有的能量函數為：

(10)

式中：v、h分別代表可視層和隱藏層單元的狀態向量；m、n分別代表可視層和隱藏層的單元數目；θ=(wij，ai，bj)是RBM系統中的參數，wij代表兩層之間的連接權重；ai、bj分別代表可視層和隱藏層單元的偏置值向量。通過能量函數可得到(v，h)的聯合概率分布函數：

(11)

RBM的學習目的就是對給定的輸入信號v最大程度重構生成對應信號h，使用對比散度算法調整系統參數θ使得聯合概率分布函數P(v,h)最大。

在具有n個隱藏層的DBN結構中，其可視層單元與隱藏層單元的聯合分布為:

P(v,h(1),h(2),…,h(n-1),h(n))=

P(v|h(1))P(h(1)|h(2))…P(h(n-2)|h(n-1))P(h(n-1)|h(n))

(12)

式中：v=h(0)代表可視層單元；h(l)(l=1，2，…，n)代表第l層的隱藏層單元。其中第l層與第l+1層的隱藏層單元關系為:

(13)

DBN模型的訓練如下：

(1) 預訓練階段。采用貪婪學習算法，訓練第一個RBM以盡可能準確地重構輸入，并且使第一個RBM的輸出訓練第二個RBM。每一個RBM的隱藏層作為下一個RBM的可視層。由下到上，重復該過程直到完成整個DBN網絡的逐層訓練。該階段的最終目的是訓練得到每層最優參數，最大程度完成輸入特征的重構。

(2) 微調階段。在DBN的最后一層設置為BP神經網絡，在接收到前一層RBM的輸出后進行有監督訓練，由上到下，反向傳播(Back Propagation，BP)，優化每一層RBM的權值參數。

2 算法設計及流程

圖9 人臉圖像分級提取特征

在圖9中可以清楚地觀察到MB-LBP算子提高了人臉圖像粗粒度，提取的紋理特征更加詳盡。改進的CS-LBP消除了冗雜的特征信息，細化了紋理特征的層次性，加強對部分區域(比如眼睛、嘴唇、鼻子等)特征提取。采用HOG作為輔助，完善圖像邊緣形狀特征信息，將整體的人臉圖像特征信息最大化提取。經過對人臉圖像的分級操作，得到了完整且有效的紋理特征。

本文整體算法流程如圖10所示。對人臉數據庫分為訓練集和測試集，對圖像進行灰度統一化等預處理操作，訓練集在經過三級特征提取后得到融合特征輸入DBN學習訓練。測試集在已完成訓練的DBN系統中測試得到識別結果。

圖10 人臉識別算法流程圖

DBN在訓練過程中可以從輸入數據中學習隱含的抽象信息。學習訓練過程中DBN系統聯合分布為：

P(H,h(1),h(2),…,h(l-1),h(l))=

P(H|h(1))P(h(1)|h(2))…P(h(l-1)|h(l))

(14)

式中：H代表三級紋理提取后的最終融合特征向量，H中包含層次分明、結構完整的局部紋理特征，也含有邊緣梯度等抽象特征，完整地保存了人臉圖像的固有特征。融合特征H由低層可視層輸入至整個DBN網絡，采用逐層訓練的機制實現數據的訓練。h(1)，h(2)，…，h(l)是深度信念網絡對融合特征H訓練學習而得到的相應高層表示。P(H|h(1))代表對第一個隱藏層狀態向量求含有輸入特征的可視層狀態向量的概率。結合式(11)可以完成DBN系統的最終目的即調整系統參數達到全局最優完成對融合特征充分飽滿的吸收。DBN系統隱藏層單元數量決定著深度網絡的性能，但沒有統一的理論標準規定。為此，本文在每層隱藏層選取相同數量單元的情況下進行實驗分析。

3 實驗結果與分析

實驗中選用ORL和YALE人臉數據庫完成測試。ORL人臉庫含有光照不變、姿態表情變化的40個人的400幅人臉圖像，其中隨機抽取6幅圖像作為訓練集，4幅作為測試集。YALE人臉庫含有15個人，每人有11幅光照、姿態、表情都存在變化的人臉圖像，隨機選取7幅作為訓練集，4幅作為測試集。設定RBN學習率為0.05，BP神經網絡學習率為7.5。

3.1 隱藏層層數

在DBN系統中隱藏層的數量對系統識別精度有重要的影響，網絡系統的深度過深則會使參數優化陷入局部最優，深度過淺則不能充分訓練輸入特征。在固定每層隱藏單元數為200不變的情況下改變隱藏層層數，然后研究其變化情況對識別正確率的影響。結果如表1所示(組別中1-4為ORL人臉庫；5-8為YALE人臉庫)。

表1 不同隱藏層下的識別結果

由表1可知，在兩個人臉庫中，隨著系統深度的增加，識別率會有增加但并不是一直增加。在隱藏層深度為2時，DBN系統識別正確率達到最大，訓練的時間也在一個可觀范圍內。隨著深度的增加，對DBN系統的泛化能力造成影響最終出現過擬合的現象，不僅識別準確率下降而且訓練的時間也增長。經過實驗測試，本文最終確定選用含有2層隱藏層的DBN系統。

3.2 隱藏層單元數

DBN系統實現人臉圖像的識別取決于深度網絡中對輸入特征逐層強有力的學習。之前的研究中已經確定最佳的隱藏層層數，而另一個影響因素就是隱藏層單元數。隱藏層所含有的單元數對系統的學習能力以及訓練時間有著舉足輕重的作用。DBN系統中隱藏層單元數過多會導致過載現象，多余的單元數會增加訓練過程的復雜度，降低整體識別正確率。而隱藏層單元數過少，神經元之間的連接也會減少，從而忽略特征信息，降低特征學習訓練的能力。本文在兩個人臉庫中對隱藏層單元數進行測試，結果如圖11所示。

圖11 不同隱藏層單元數下識別率

由圖11可知，隱藏層單元數目帶動了人臉圖像特征更好的表達，然而識別率并不隨著隱藏單元數的增加而提高。在ORL人臉庫中當隱藏層單元數為500時輸入特征充分被吸收，識別率達到最大94.67%。在YALE人臉庫識別率達到最大值93.72%時隱藏層單元數也接近500。

3.3 不同識別算法比較

選取經測試得到的最佳DBN系統模型結構即深度為2層且每層隱藏層單元數都為500。在此情況下與傳統的SVM、PCA、BP算法在相同人臉庫中驗證本文算法的優越性，結果如圖12、圖13所示。

圖12 ORL人臉庫算法識別率比較

圖13 YALE人臉庫算法識別率比較

由圖12和圖13可以看出，本文算法相比傳統的算法取得了良好的人臉識別效果。與BP神經網絡相比較，本文采用的DBN系統中每一層RBM優化只對自身層的權值達到最優，為深度學習網絡選擇合適的初值提高了效率，而此點正是BP神經網絡所缺少的。與SVM、PCA算法相比較，傳統的淺層學習算法僅僅是對提取到的特征進行表面的吸收學習，學習的準確性取決于特征提取的詳盡性。DBN系統是多層網絡結構的深度學習模式，可以學習到輸入特征再次提取特征信息，為系統的學習訓練增加保障。本文構建的DBN系統在最適樣本訓練完成后，樣本增加對識別率影響不大，這充分說明DBN系統憑借自身無監督學習和有監督微調的特點，在深層次的數據挖掘方面展現出傳統淺層學習所沒有的優勢。

表2為不同特征提取算法下的人臉識別結果。ORL人臉庫中人臉圖像在表情、姿態方面存在不同，不存在光照方面的影響。YALE人臉庫在光照、表情、姿態方面都存在不同。使用不同的算法對人臉圖像特征進行提取。由表2可以看出，改進的CS-LBP算法對識別率有明顯的提高，尤其是在YALE人臉庫中識別率的提高驗證了對背景光照的改善效果明顯。本文提出的三級圖像紋理提取算法提高了整體識別率。單一方面的紋理特征提取并不能充分展現出圖像的本質，多級的紋理提取增強了特征的適用性，局部紋理與全局紋理的結合為DBN的訓練提供了良好的條件。本文算法得到的識別率在兩種人臉庫中提高了3%左右。

表2 不同特征提取方法的識別結果

4 結 語

借助深度信念網絡無監督學習和有監督微調的訓練方式，提出多級紋理特征提取的人臉識別算法。在標準人臉庫中與傳統淺層學習方法以及單一特征提取算法作對比，充分展現了本文算法的優越性。

(1) 通過分塊改進局部紋理特征提取方式，融合算法細化紋理特征，增加邊緣信息加以輔助，層層篩選將人臉圖像固有特征詳細化。

(2) 探索最佳的DBN系統結構，發揮DBN深度挖掘數據信息的優點，同時也彌補了DBN學習局部特征薄弱的缺陷。

本文對局部紋理特征進行整合提取，提高了識別的魯棒性，證明了DBN在人臉識別方面的應用價值。如何減少特征維數以及確保初級特征的完整性是接下來進一步研究的方向。