一種特征加權融合人臉識別方法

孫勁光，孟凡宇

(1.遼寧工程技術大學 電子與信息工程學院, 遼寧 葫蘆島 125000; 2.遼寧省數字化礦山裝備工程技術研究中心, 遼寧 阜新 123000)

?

一種特征加權融合人臉識別方法

孫勁光1,2，孟凡宇2

(1.遼寧工程技術大學 電子與信息工程學院, 遼寧 葫蘆島 125000; 2.遼寧省數字化礦山裝備工程技術研究中心, 遼寧 阜新 123000)

摘要：針對傳統人臉識別算法在非限制條件下識別準確率不高的問題，提出了一種特征加權融合人臉識別方法(DLWF+)。根據人臉面部左眼、右眼、鼻子、嘴、下巴等5個器官位置，將人臉圖像劃分成5個局部采樣區域；將得到的5個局部采樣區域和整幅人臉圖像分別輸入到對應的神經網絡中進行網絡權值調整，完成子網絡的構建；利用softmax回歸求出6個相似度向量并組成相似度矩陣與權向量相乘得出最終的識別結果。經ORL和WFL人臉庫上進行實驗驗證，識別準確率分別達到97%和91.63%。實驗結果表明：該算法能夠有效提高人臉識別能力，與傳統識別算法相比在限制條件和非限制條件下都具有較高的識別準確率。

關鍵詞：人臉識別；非限制條件；深度自信網絡；局部特征；特征融合；全局特征

中文引用格式：孫勁光，孟凡宇. 一種特征加權融合人臉識別方法[J]. 智能系統學報， 2015, 10(6): 912-920.

人臉識別一直是模式識別和計算機視覺領域的研究熱點。人臉圖像像素矩陣較大同時特征維數也較高，進行識別難度較大，因此設計出高效的特征提取器成為人臉識別的關鍵。其中最典型方法為主成分分析法(principal components analysis，PCA)[1]，其思想首先，把一副圖像按行或列拉直成一個高維列向量，然后，求取整個訓練樣本集高維列向量的協方差矩陣，求此協方差矩陣的特征向量和特征值得到投影變換矩陣，最后，把人臉圖像高維特征通過投影變換矩陣映射到低維空間中，得到人臉的低維表示特征；在人臉識別研究中，利用PCA方法對高維特征進行降維處理，獲得了良好的效果，是最為成功的線性鑒別分析方法之一。但實際的應用中，PCA方法進行線性鑒別分析通常會產生小樣本問題(即樣本個數遠小于特征維數)；被識別人臉圖像是在非限制條件下提取時，應用PCA算法提取的特征并不適合作為分類的特征。

人們利用深度神經網絡進行人臉識別主要分為2類：1)利用深度神經網絡特征提取后再應用其他分類器進行識別[2-6]；2)直接在深度神經網絡增加分類層進行識別[7-8]。湯曉鷗[9]等利用卷積神經網絡進行人臉驗證取得了良好的效果，在LFW人臉庫上的識別率已經達到99.15%；解決了人臉識別問題中的二分類問題。

為了解決傳統人臉識別方法在復雜背景下和人臉多姿態條件下進行識別時，識別率不高的問題，本文提出了一種特征加權融合人臉識別方法。本文的主要貢獻是通過將人臉面部進行區域劃分提取得到了人臉面部的局部特征，并結合整幅人臉的全局特征進行相似度矩陣的求取，通過各部分的貢獻度不同進行加權得出最終判別結果，提出了基于相似度矩陣加權的深度網絡模型(deep learning and weighted fusion，DLWF+)人臉識別方法。

1基于相似度加權評分深度網絡模型

1.1問題描述

利用傳統深度信念網絡[10-11]進行人臉識別，輸入的是整張人臉的像素級特征，忽略了人臉圖像局部結構特征，網絡難以學習得到人臉局部特征[12]；在自然條件下，所獲得的人臉圖像通常受到背景、光照等外界因素的影響，很難確定哪些面部器官在識別過程中所起到的比重大，哪些器官起的比重小，使得在實際研究過程中對相似度加權的權值確定變得復雜。因此本文重點解決提取人臉局部特征的深度學習模型及多特征加權識別方法權值確定2個問題。

1.2基本思想

為建立人臉面部局部特征深度學習模型，首先利用人臉面部的主要特征點將人臉分成若干子區域；然后將這些小的子區域和整幅人臉經歸一化處理，輸入到對應的DBN網絡進行訓練，得到各個子區域和整幅人臉的相似度概率向量；最后將左眼、右眼、鼻子、嘴、下巴等器官和整個面部的相似度向量加權后進行分類。DLWF+分為以下4個主要階段：

1)人臉面部區域劃分

利用haar方法進行人臉檢測，提取出人臉面部主要區域，并根據人臉面部主要器官左眼、右眼、鼻子、嘴巴、下巴等進行子區域的劃分。

2)網絡模型的構建并確定權值

利用上一步求取得到的各個區域和整幅人臉圖像分別輸入到對應的子網絡中，進行權值的調整，完成網絡模型的構建。對各個子區域分別進行識別得出識別率作為各自的權重。

3)求取面部隸屬度矩陣

通過將測試集不同區域的采樣塊分別輸入到對應的子網絡中，取出個區域的相似度向量，并利用求得的各個相似度向量組成相似度矩陣。

4)加權求和得出識別結果。

將相似度矩陣進行加權得出測試圖像對應于每個類別的綜合評分，評分最高的類別即作為最終的識別結果。

1.3基本原理

1.3.1主動形狀模型

主動形狀模型是由Cootes等[13-15]在1995年提出。該模型主要由全局形狀模型和局部紋理模型構成。

1)全局形狀模型

將訓練樣本對齊完成后，采用主成分分析(PCA)方法建立形狀模型，過程如下：

①計算對齊完成后訓練樣本平均形狀：

②計算形狀向量的協方差矩陣：

③對C進行特征分解，得到特征值λk(λk≥λk+1，λk≠0，k=1，2，…，2n)和特征向量Pk。

④提取前t個特征值[λ1λ2…λt]，令

式中：η為所選特征占總特征比例，一般為95%～98%。求得特征向量P=[p1p2…pt]，最終求得全局形狀模型：

式中：b為主分量參數，控制前t個模式系數，且bi取值：

全局形狀模型的作用，在搜索更新過程中，通過改變形狀參數，找到最佳的匹配模型，將形狀變化約束在模型允許范圍內。

2)局部紋理模型

局部紋理模型構建過程如下：

①以第i個樣本第j個標定點為中心，與相鄰2點連線垂直方向一定長度范圍(也稱Profile鄰域)，內外各取k個點的灰度值作為該點灰度信息：

②求gij梯度dgij：

對dgij歸一化處理得

式中：dgij,l=gij,(l+1)-gij,l。

對訓練樣本集所有圖像的第j個特征點進行相同操作，求得第j個特征點的N個局部紋理G1j，G2j，…，GNj。

③得到標記點j對應的平均紋理Gj和協方差矩陣Cgj，即為該點的局部紋理模型。

利用上述模型方法提取到的77個面部特征點如圖1所示。

圖1　人臉面部特征點Fig.1　Facial feature points

1.3.2深度信念網絡(DBN)

DBN模擬人大腦的組織結構，由低級到高級地提取數據的抽象特征[16]。DBN由多個RBM堆疊而成，RBM被當做是一個動力學系統在給定一組狀態(v,h)下的能量定義為

式中：nv、nk分別為可見層和隱含層中神經元數目。vi為可見層第i個神經元狀態，hj為隱含層第j個神經元狀態，ai為可見層中第i個神經元偏置，bj為隱含層第j個神經元偏置，ωi,j為可見層第i個神經元與隱含層第j個神經元之間連接權重，θ表示需要訓練調整模型參數θ={a,b,w}。

用向量形式表示為

當給定模型參數θ={a,b,w}時，利用式(12)定義的能量函數，可以求出可視層v和隱含層h聯合概率分布：

式中：Z(θ)為歸一化因子。

當給定可視層節點時，隱含層節點hi為0或1的條件概率分布為

當給定隱含層節點時，可視層節點vi為0或1的條件概率分布為

第k和k+1層隱含單元滿足：

式中：σ(x)=1/(1+e-x)，bi(k)為第k層的偏置，Wij(k)為第k和k+1層之間權值，在DBN中將p(h(l-1)，h(l))看作為為一個RBM模型。結構如圖2。

圖2　DBN結構模型Fig.2　DBN structure model

1.3.3Softmax回歸

Softmax回歸將只能夠解決二分類問題的Logistic回歸擴展至能夠解決多分類問題。

假定Softmax回歸模型訓練樣本來自k個不同的類別，共有m個，那么這m個訓練樣本組成的訓練樣本集為{(x(1),y(1)),…,(x(m),y(m))}，則Softmax回歸的假設函數為

式中：假設向量hθ(x(i))的每個元素p(y(i)=j|x(i);θ)表示樣本x(i)屬于類別j的概率。θ1,θ2,…,θk為模型參數，其中θi∈Rn+1，將這些向量寫成矩陣：

則模型代價函數定義:

式中：1{ ·}表示指示函數，花括號中表達式為真，那么函數值為1，否則函數值為0。加號后面部分為了防止模型過擬合所加的權衰減項。其中，λ為模型參數，在實驗部分確定。分析可知無法直接求取可以使J(θ)最小的θ的解析解，通過迭代優化算法求解。計算代價函數梯度公式為

1.4本文研究方法(DLFW+)

本文研究重點內容如下：

1)面部區域劃分

利用主動形狀模型確定人臉面部主要特征點，對于每張人臉面部圖像能得到一個特征點位置向量:

①左眼子區域劃分

左眼區域采樣框確定，根據左眼眼角確定采樣框長，眉毛輪廓線最高點與眼睛輪廓線最低點確定采樣框寬。為了獲取左眼區域更多細節特征，長和寬同時向外延伸Lleye個像素。左眼區域長寬計算公式如下：

式中：wleye為左眼區域寬，hleye為左眼區域長，Ileye為從原始圖像矩陣I上截取的左眼區域矩陣。

②右眼子區域劃分

右眼區域采樣框確定，根據右眼眼角確定采樣框長，眉毛輪廓線最高點及眼睛輪廓線最低點確定采樣框寬。為獲取右眼區域更多細節特征，長和寬同時向外延伸Lreye個像素。此區域長寬計算公式為

式中：wreye為右眼區域寬，hreye為右眼區域長。

③鼻子子區域劃分

鼻子區域采樣框確定，根據鼻子輪廓線最低點及眉毛輪廓線最前端特征點確定鼻子區域采樣框長。根據鼻子輪廓線最左邊特征點及最右邊特征點確定采樣框的寬。長和寬同時向外延伸Lnose個像素。鼻子區域長寬計算公式如下：

式中：wnose鼻子區域寬，hnose為鼻子區域長。

④嘴子區域劃分

嘴部區域采樣框確定，根據嘴部特征點的左右嘴角確定采樣框長。根據嘴部輪廓最上面特征點及最下面特征點位置確定采樣框寬。并且長和寬同時向外延伸Lmouth個像素。嘴部區域長寬計算公式為：

式中：wmouth為嘴部區域寬，hmouth為嘴部區域長。

⑤下巴子區域劃分

下巴區域采樣框確定，根據與嘴角連線平齊的下巴輪廓線上2個特征點確定下巴采樣框長，根據這2個特征點及下巴輪廓線最低點確定下巴采樣框寬。長和寬同時向外延伸Lchin個像素。下巴區域長寬計算公式如下：

式中：wchin為下巴區域寬，hchin為下巴區域長。

將一個m×n的圖像矩陣I按上述長寬截取5個子區域并和整幅人臉圖像組成訓練集即

式中：Ileye，Ireye，Inose，Imouth，Ichin表示截取得到的5個子區域像素矩陣，Iface表示整幅人臉圖像像素矩陣。

應用雙線性內插法將上述區域歸一化到固定大小，經過上述步驟截取得到的5個不同區域的采樣塊與整幅人臉圖像一起構成了網絡的訓練樣本集，如圖3所示。

圖3　子區域劃分Fig.3　Sub region division

2)構造區域網絡模型

由于截取得到的人臉面部5個子區域及整幅人臉圖像大小不同，因此輸入層結點個數也不相同，需要分別為5個人臉面部區域及整幅人臉圖像構建相應的DBN網絡，網絡結構如圖4所示。

隸屬度求取網絡是一個5層DBN網絡，由1個輸入層、1個輸出層和3個隱含層構成。如表1所示。

圖4　子區域網絡結構Fig.4　Sub region network structure

結點數目左眼右眼鼻子嘴巴下巴人臉輸入層wleye×hleyewreye×hreyewnose×hnosewmouth×hmouthwchin×hchinWface×hface隱含層1β1leye×L1β1reye×L1β1nose×L1β1mouth×L1β1chin×L1β1face×L1隱含層2β2leye×L2β2reye×L2β2nose×L2β2mouth×L2β2chin×L2β2face×L2隱含層3β3leye×L3β3reye×L3β3nose×L3β3mouth×L3β3chin×L3β3face×L3

其中，β為各層神經元的縮放系數，用來決定特征的降維尺度，同時也決定了特征損耗的多少。Li為第i層的神經元個數。

輸出層神經元個數為將要識別的類別數。

將提取得到的5個區域采樣塊及整個人臉分別輸入到對應的DBN網絡，經過自下而上逐層提取得到更抽象特征，輸出層利用Softmax分類器求取各區域特征屬于各類別的隸屬度。求得的隸屬度向量為Pi(P1,iP2,i…Pn,i)T。將各區域求出的隸屬度向量進行組合便得到隸屬度矩陣P。

式中：6列代表6個區域，行數n代表n個類別。

3)隸屬度加權融合方法

利用在上一步驟中構建的DBN網絡，求出各區域的正確識別率，識別率越高說明進行人臉識別時此區域起到的作用越大，識別率越低說明此區域起到的作用越小。將此識別率作為各區域權值系數確定依據。具體計算公式為

使得ω1+ω2+ω3+ω4+ω5+ω6=1，對人臉圖像進行識別時，利用求得的權值矩陣P與隸屬度向量ω相乘，計算公式如下：

從而求得此待識別人臉圖像隸屬于各類別的綜合評分向量Q=[q1q2…qn]。其中評分最高的類別，即為最終識別結果。

1.5算法描述

特征加權融合的人臉識別方法具體算法實現過程如下：

算法1訓練算法。

1)利用ASM模型標注LFW人臉庫中全部13233幅圖像，人臉面部特征點向量xi=(xi,0，yi,0，xi,1，yi,1，…xi,(n-1)，yi,(n-1))。

2)根據面部特征點向量xi，確定5個采樣區域位置，并計算5采樣框的長和寬wleye、hleye、wreye、hreye、wnose、hnose、wmouth、hmoth、wchin、hchin。

3)在灰度化后原圖像I中根據上步求出的采樣框大小，進行采樣得到5個子區域Ileye，Ireye，Inose，Imouth，Ichin}∈I，以眼睛區域為例：

式中：xij表示采樣后子區域內像素值。

4)將5個子區域及整幅人臉圖像利用雙線性內插法歸一化到規定大小，并拉直成列向量：

5)對5個子區域及整幅人臉圖像進行灰度化、灰度拉伸等預處理操作，形成初調訓練樣本集，從將要用于測試的類別中選取一部分作為精調訓練樣本集。

6)利用得到的6個初調訓練樣本集分別對6個DBN網絡應用對比散度方法[17]進行預訓練調整各層權值矩陣Wi及偏置矩陣Bi。式中：i表示第i層。

7)應用反向傳播方法，在精調訓練樣本集上對DBN網絡各層權值矩陣Wi及偏置矩陣Bi精調。

8)訓練完成后，將各層權值矩陣Wi及偏置矩陣Bi保存，供識別時使用。

算法2分類算法

1)對于一張給定的待識別人臉圖像，利用ASM模型提取出人臉面部特征點向量：

2) 根據面部特征點向量x，確定5個采樣區域位置，并計算5采樣框的長和寬wleye、hleye、wreye、hreye、wnose、hnose、wmouth、hmoth、wchin、hchin。

3)在原圖像I中根據上步求出的采樣框大小，進行采樣得到5個子區域Ileye，Ireye，Inose，Imouth，Ichin}∈I。

4)將5個子區域及整幅人臉圖像利用雙線性內插法歸一化到規定大小。而后進行灰度化、灰度拉伸等預處理操作。

5)將4)中得到的子區域拉直成列向量，輸入到由訓練完成的權值矩陣Wi及偏置矩陣Bi構造的DBN網絡中，求出隸屬度矩陣P。

6)將隸屬度矩陣P與權值向量ω(ω1，ω2，ω3，ω4，ω5，ω6)相乘求出此待識別人臉圖像隸屬于各個類別的綜合評分向量Q=[q1q2…qn]。

7)找出評分向量Q中獲得評分最高的類，作為分類結果。

2實驗結果及分析

本文算法分別在LFW(Labeled Faces in the Wild Database)人臉庫和ORL(Olivetti research laboratory)人臉庫上進行仿真實驗，證明了本文算法的有效性。在LFW人臉庫實驗目的是為了驗證本文算法在非限制條件下識別的有效性，同時，由于LFW人臉庫中有13 233幅人臉圖像為DBN預訓練提供了充足的訓練樣本，保證DBN參數能夠趨近全局最優[18]。為了進一步評估本文算法通用性，在ORL人臉庫上同樣進行了比較和測試。進行本文實驗硬件環境為：3.50 GHz的Intel(R) Core(TM) i5-4690 CPU,8.00 GB內存。

2.1LFW人臉庫上的實驗

LFW人臉庫包含5 749人的13 233幅人臉圖像。其中，1 680人包含2幅及以上人臉圖像，4 069人只有一幅人臉圖像。圖像分辨率為250×250，以JPEG格式存儲，絕大多數為彩色圖像，少數為灰度圖像。LFW主要用于在非限制條件下人臉識別研究，以成為學術界和工業界識別性能評價基準。LFW人臉庫能充分表現自然條件下人臉圖像的變化，如光照、姿態、表情、背景、性別等。

本文選取人臉庫中包含圖像數目大于或等于25幅的人作為實驗對象，包括29人共2458幅圖像。每人隨機選取5幅人臉圖像作為訓練樣本，其余圖像作為測試樣本。將這些圖像首先根據人臉面部五官的位置進行區域的劃分，然后歸一化到固定大小(下巴區域88×33、嘴部區域51×34、左眼和右眼區域44×31、鼻子區域32×46)，由此生成訓練、測試樣本。

1) 隱含層單元設置壓縮比不同時對比實驗

DBN的分類能力主要取決于自下向上、多層提取得到特征的有效性。為了能夠獲得更多細節特征，5個區域長和寬分別向外擴大了Lleye、Lreye、Lnose、Lmouth、Lchin，它們的取值為各區域長的0.2倍。在構建DBN時，確定各隱含層神經元個數至關重要。因為LFW人臉庫中圖像都是在沒有限制的自然條件下采集的，所以人臉圖像特征較為復雜，并且含有較多噪聲，為了能夠有效提取人臉圖像抽象特征，首先應該討論網絡構建問題中，不同隱含層神經元個數對網絡識別性能的影響。實驗結果如表2所示。

表2　不同網絡結構的正確識別率

由表2可知，隨著隱含層神經元縮放系數增加，深度神經網絡能夠更好地提取得到適合于分類的人臉圖像抽象特征，但計算量也隨之增大。同時，隱含層神經元數目相同時，本文提出算法的識別率均高于只輸入整張人臉圖像像素級特征的傳統深度神經網絡算法。

2) 訓練樣本數不同時對比實驗

實驗2的目的是為了測試本文算法在不同數量訓練樣本的情況下，與傳統人臉識別算法在識別率方面所表現的優劣程度。由于在實際應用環境中很難采集得到大量有標簽的訓練樣本，所以在具有較低的訓練樣本個數條件下，能取得較好的識別效果就變得尤為重要。表3為深度神經網絡隱含層結點數目的縮放系數為0.9時，在不同訓練樣本數目的條件下，與傳統人臉識別方法進行比較的結果。

表3　不同訓練樣本數正確識別率

由表3可知，本文提出算法經過非監督的預訓練，為DBN參數提供了較好的初始化值，再經過少量有標簽的訓練樣本有監督的微調，便能達到較好的識別效果。隨著訓練樣本數不斷增加開始時識別準確率明顯上升，而后趨于不變，表明本文算法在非限制條件下進行識別具有良好的魯棒性。同時，表3也表明了本文算法比直接輸入整張人臉圖像像素級特征的DBN識別準確率更高。傳統的人臉識別算法如PCA、SVM等在訓練樣本個數較少時，所提取的底維特征分類能力并不強。隨著訓練樣本個數增加，提取的特征分類能力有所增強，但在非限制條件下算法的識別精度并不高。

3) 類別數不同時對比實驗

實驗3目的是為了驗證本文算法在非限制條件下的普適性和有效性。從LFW中選擇擁有人臉圖像數目大于或等于25幅圖像的39個人作為實驗的候選樣本，從其中隨機挑選出10、20、30人作為實驗對象，每人隨機挑選出5幅人臉圖像作為訓練樣本，其余圖像作為測試樣本。每次隨機選擇不同人臉圖像進行實驗，求取平均值作為最終結果。本次實驗采用的DBN網絡隱含層縮放系數與實驗2相同，實驗結果如表4所示。

表4　類別數不同時不同算法正確識別率

經過在LFW人臉庫上實驗可知，本文提出的人臉識別算法在非限制條件下的魯棒性和準確率均高于傳統人臉識別算法。通過將人臉面部進行區域劃分，分別提取局部抽象特征的方法，比傳統僅輸入整張人臉像素級特征方法更容易學習得到適合于分類的局部特征。并通過上述實驗證明了本文算法在非限制條件下的有效性。

2.2ORL人臉庫上的實驗

ORL人臉庫又稱AT&T人臉庫，是劍橋大學歷時2年拍攝完成的，包含40個人，每個人有10幅不同姿態、表情、光照的圖像，共400幅，其中人臉的姿態和光照變化較小，圖像分辨率為112×92，圖像背景為黑色，以PGM格式存儲。實驗過程中，神經網絡首先利用LFW人臉庫中所有人臉圖像進行預訓練，然后在ORL人臉庫中每人隨機選取5幅圖像作為微調階段訓練樣本集，其余的人臉圖像作為測試樣本集。

1) 隱含層單元數不同時對比實驗

本實驗目的是為了驗證本文提出算法的通用性，以及在ORL人臉庫上，不同隱含層縮放系數所表現出的識別性能的差異。表5為DBN網絡隱含層縮放系數不同時的識別結果。

表5ORL庫上不同網絡結構時正確識別率

Table 5Recognition rate of different network structures in ORL

隱含層縮放系數DBN識別率/%DLWF識別率/%DLWF+識別率/%0.704457610.755264670.807177820.858286890.90949797

從表5可知，當隱含層縮放系數逐漸增加時，網絡逐層提取得到的人臉圖像抽象特征的分類識別能力逐漸增強。當網絡隱含層縮放系數為0.9時，獲得了較高識別率97%。

2) 與其他人臉識別方法對比實驗

為了驗證本文提出算法相對于傳統人臉識別算法所具有的優越性，分別同PCA、SVM和傳統DBN算法做了對比實驗，表6為本文提出算法在ORL人臉庫上與其他算法進行對比的實驗結果。實驗結果表明本文算法具有較好的通用性，與傳統人臉識別方法進行比較，在識別率方面具有較為明顯的優勢。

表6　ORL庫上不同算法識別率比較

3結束語

本文提出了一種特征加權融合人臉識別方法，首先通過提取面部特征點將人臉圖像劃分成多個局部區域采樣區域，然后將采樣區域通過歸一化處理后分別輸入到對應DBN網絡中，求取相似度矩陣，最后進行加權求和得出最終判別結果并計算識別準確率。經過在LFW人臉庫上實驗證明了本文算法在非限制條件下進行人臉識別的有效性，并且能夠自下而上提取得到適合于分類的抽象人臉特征。識別率達到了91.63%。同時在ORL人臉庫上進行的實驗充分證明了本文算法的通用性和有效性，識別率達到了較高的97%，表現出了比傳統人臉識別更高的優越性。

參考文獻:

[1]TURK M, PENTLAND A. Eigenfaces for recognition[J]. Journal of Cognitive Neuroscience, 1991, 3(1): 71-86.

[2]SUN Yi, WANG Xiaogang, TANG Xiaoou. Deep learning face representation from predicting 10, 000 classes[C]//Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus, OH, USA, 2014: 1891-1898.

[3]HU Junlin, LU Jiwen, TAN Y P. Discriminative deep metric learning for face verification in the wild[C]//Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus, OH, USA, 2014: 1875-1882.

[4]HUANG G B, LEE H, LEARNED-MILLER E. Learning hierarchical representations for face verification with convolutional deep belief networks[C]//Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition. Providence, RI, USA, 2012: 2518-2525.

[5]ZHU Zhenyao, LUO Ping, WANG Xiaogang, et al. Deep learning identity-preserving face space[C]//Proceedings of the 2013 IEEE International Conference on Computer Vision. Sydney, NSW, Australia, 2013: 113-120.

[6]SUN Yi, WANG Xiaogang, TANG Xiaoou. Hybrid deep learning for face verification[C]//Proceedings of the 2013 IEEE International Conference on Computer Vision. Sydney, NSW, Australia, 2013: 1489-1496.

[7]TAIGMAN Y, YANG Ming, RANZATO M A, et al. Deepface: Closing the gap to human-level performance in face verification[C]//Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus, OH, USA, 2014: 1701-1708.

[8]SUN Yi, CHEN Yuheng, WANG Xiaogang, et al. Deep learning face representation by joint identification-verification[J]. Advances in Neural Information Processing Systems. 2014.

[9]HINTON G E, OSINDERO S, TEH Y W. A fast learning algorithm for deep belief nets[J]. Neural Computation, 2006, 18(7): 1527-1554.

[10]HINTON G E, SALAKHUTDINOV R R. Reducing the dimensionality of data with neural networks[J]. Science, 2006, 313(5786): 504-507.

[11]AREL I, ROSE D C, KARNOWSKI T P. Deep machine learning a new frontier in artificial intelligence research[research frontier][J]. IEEE Computational Intelligence Magazine, 2010, 5(4): 13-18.

[12]COOTES T F, TAYLOR C J, COOPER D H, et al. Active shape models-their training and application[J]. Computer Vision and Image Understanding, 1995, 61(1): 38-59.

[13]MILBORROW S, NICOLLS F. Active shape models with SIFT descriptors and MARS[J]. VISAPP, 2014, 1(2): 5.

[14]MILBORROW S, BISHOP T E, NICOLLS F. Multiview active shape models with SIFT descriptors for the 300-W face landmark challenge[C]//Proceedings of the 2013 IEEE International Conference on Computer Vision Workshops. Sydney, NSW, Australia, 2013: 378-385.

[15]Bengio Y, Delalleau O. On the expressive power of deep architectures[C]//Proceedings of the 22nd International Conference. Espoo, Finland, 2011: 18-36.

[16]HINTON G E. Training products of experts by minimizing contrastive divergence[J]. Neural Computation, 2002, 14(8): 1771-1800.

[17]BENGIO Y. Learning deep architectures for AI[J]. Foundations and Trends in Machine Learning, 2009, 2(1): 1-127.

孫勁光，女，1962年生，博士，教授，博士生導師，計算機學會(CCF)會員(21314S)，主要研究方向為計算機圖像處理、計算機圖形學、知識工程。

孟凡宇，男，1991年生，碩士研究生，主要研究方向為計算機圖像處理。

英文引用格式：SUN Jinguang， MENG Fanyu. Face recognition by weighted fusion of facial features[J]. CAAI Transactions on Intelligent Systems, 2015, 10(6): 912-920.

Face recognition by weighted fusion of facial features

SUN Jinguang1, 2， MENG Fanyu2

(1. School of Electronics and Information Engineering, Liaoniing Technical University, Huludao 125000, China; 2. LiaoNing Digital Mining Equipment Engineering Technology Research Center, Fuxin 123000, China)

Abstract：The accuracy of face recognition is low under unconstrained conditions. To solve this problem, we propose a new method based on deep learning and the weighted fusion of facial features. First, we divide facial feature points into five regions using an active shape model and then sample different facial components corresponding to those facial feature points. A corresponding deep belief network (DBN) was then trained based on these regional samples to obtain optimal network parameters. The five regional sampling regions and entire facial image obtained were then inputted into a corresponding neural network to adjust the network weight and complete the construction of sub-networks. Finally, using softmax regression, we obtained six similarity vectors of different components. These six similarity vectors comprise a similarity matrix, which is then multiplied by the weight vector to derive the final recognition result. Recognition accuracy was 97% and 91.63% on the ORL and WFL face databases, respectively. Compared with traditional recognition algorithms such as SVM, DBN, PCA, and FIP+LDA, recognition rates for both databases were improved in both constrained and unconstrained conditions. On the basis of these experimental results, we conclude that the proposed algorithm demonstrates high efficiency in face recognition.

Keywords：face recognition; unconstrained condition; deep belief networks; local feature; feature fusion; overall feature

作者簡介：

通信作者：孟凡宇. E-mail：mengfanyu1991@163.com.

基金項目：國家科技支撐計劃資助項目(2013BAH12F02).

收稿日期：2015-09-17.

中圖分類號：TN911.73

文獻標志碼：A

文章編號：1673-4785(2015)06-0912-09

DOI:10.11992.tis.201509025