基于單演同相幅值模式的人臉識別方法

劉機福，王煉紅，湯春龍

LIU Jifu,WANG Lianhong,TANG Chunlong

湖南大學(xué) 電氣與信息工程學(xué)院，長沙 410082

College of Electrical and Information Engineering,Hunan University,Changsha 410082,China

1 引言

近年來，人臉識別逐漸成為模式識別和計算機視覺領(lǐng)域的研究熱點，在視頻監(jiān)控及數(shù)字安防等方面有著十分廣泛的應(yīng)用前景。Gabor小波由于對外界變化具有魯棒性的特征，在人臉識別中得到了廣泛的應(yīng)用[1]，但是Gabor小波特征的維數(shù)往往較高，這使得基于Gabor變換的方法往往具有較大的復(fù)雜度[2]。針對這一問題，Yang[3]等人將單演信號理論引入到人臉識別中，運用圖像的單演幅度和方向信息進行人臉識別并獲得了極好的效果。實驗表明基于單演濾波的方法的識別性能與基于Gabor變換的方法基本相當(dāng)甚至超過了基于Gabor的方法。同時基于單演濾波的方法能夠極大地降低算法的時間復(fù)雜度和空間復(fù)雜度。但是文獻[3]中的編碼方式卻未對單演濾波產(chǎn)生的相位信息加以利用，單演信號具有穩(wěn)定的局部幾何特征和局部相位定位能力，基于單演相位的邊緣識別精度甚至能達到亞像素級別。因此，文獻[4-5]中利用單演相位進行光流估計。而本文提出了一種新穎的特征提取方法——單演同相幅值模式。考慮到提取的高維特征中往往包含較多的冗余信息，本文進一步采用基于分塊的線性判別方法對提取的特征（Block-based Fisher Linear Discrimination，BFLD）[6]進行降維，以獲得最具判別能力的特征。該算法先用PMMSP算子提取圖像的特征，再運用BFLD對特征進行降維，充分利用了相位和幅值信息，提高了系統(tǒng)的識別性能。

2 基于單演同相幅值模式的人臉表示

2.1 單演信號理論

單演信號[7]是一維解析信號的2D擴展。單演圖像表述法通過使用單演濾波器對圖像進行濾波，獲取圖像局部幅值、相位和方向信息來得出給定圖像結(jié)構(gòu)信息的二維解析表述。近年來，單演信號分析在紋理分析、圖像降噪以及立體匹配等圖像處理領(lǐng)域得到了廣泛的應(yīng)用。

設(shè)圖像為 f(x，y)，x、y表示二維圖像域的坐標(biāo)。在單演信號里2D帶通信號可以通過Log-Gabor濾波器g(x，y)產(chǎn)生。然后通過Riesz變換來獲取圖像的單演信號表述。Riesz變換在頻域內(nèi)表達式為[Hu(u,v)，Hv(u,v)]，hx(x，y)，i=x，y為對應(yīng)的空間域表示。則單演信號可以表示為：

fM(x，y)=g(x，y)*f(x，y)*[1，hx(x，y)，hy(x，y)] （1）

其中“ *”表示卷積運算。 g(x，y)=F-1(G(ω))，F(xiàn)-1表示傅里葉逆變換。G(ω)為Log-Gabor濾波器的頻域表示。其表達式如式（2）所示：

其中δ為帶寬比例因子，ω0為中心頻率。

則圖像 f(x，y)的單演幅值 M 、單演方向θ和單演相位P可以分別表示為：

其中

單演濾波的尺度空間由Log-Gabor濾波器的尺度因子S來定義。

其中：λmin為最小波長，μ為波長的倍增系數(shù)。

2.2 單演同相幅值模式

不同于邊緣輪廓信息，單演相位特征包含了圖像的絕大部分重要特征信息，只需知道單演相位信息就能重建原圖像[8]。而且單演相位特征最大的優(yōu)點是完全獨立于亮度信息，不受光照變化的影響，而且該特征具有很好的抗噪聲性能。單演幅度則包含著圖像的能量信息，因而從圖像的單演幅度和相位圖中可以獲得有效的識別信息。

文獻[9-10]中提出了一種針對梯度方向和幅度的方向邊緣幅值方法并且取得了很好的效果。受其啟發(fā)，本文對單演特征中的幅度和相位信息進行與之相似的處理，從而獲得單演同相幅值模式。

首先，由于相位對圖像的局部位置變化極為敏感，因此為了增強編碼的魯棒性，本文并不關(guān)心具體的相位角度，而是關(guān)注每個像素點的相位所處的區(qū)間。與文獻[11]類似，本文算法中也將相位根據(jù)其角度大小劃分為4個區(qū)間，即[0°，90°），[90°，180°），[180°，270°），[270°，360°）。然后，對于圖像中的任一像素點 pc，以 pc為中心在一個矩形區(qū)域（本文稱為“單元”）內(nèi)對相位處于同一區(qū)間的像素點的幅值進行累加。最后再以 pc為中心在一個圓形區(qū)域（本文稱為“塊”）內(nèi)對處于同一相位區(qū)間的累加后的幅值進行二值編碼。所以，單演同相幅值模式編碼的數(shù)學(xué)表達式為：

其中，i(i=1、2、3、4)表示第i個相位區(qū)間。 d表示二值編碼圓形采樣“塊”的直徑，w表示“單元”大小。AMi(pc)表示像素點 pc在第i個相位區(qū)間內(nèi)的幅度累加值。ΑΜi(pj)表示第i個區(qū)間內(nèi)的像素點 pc的第 j個鄰域（即像素點 pj在以自己為中心的一個單元內(nèi)的幅度累加值）。n表示中心像素點 pc的鄰域采樣點個數(shù)。則在 pc點的PMMSP特征可表示為4個相位區(qū)間相對應(yīng)的PMMSP集合，如式（9）所示：

圖1以6點采樣(n=6)為例說明了PMMSP算子對pc點進行特征提取的過程。圖1中的每一個方塊即為一個“單元”，以 pc為中心的環(huán)形區(qū)域即為一個“塊”。

將圖像的每一個像素點按照上述方式編碼為4個不同相位區(qū)間的PMMSP編碼值，然后分別按照不同相位區(qū)間將每個像素點的PMMSP值分解，則可以得到4張對應(yīng)于不同相位區(qū)間的PMMSP模式圖。然后將每張PMMSP圖分塊并分別統(tǒng)計每一塊的直方圖。最后將同一張圖片的所有PMMSP模式圖的直方圖串聯(lián)得到最終的特征向量。本文固定采用3種尺度的單演濾波器，則一張人臉圖像可以分解為12張PMMSP模式圖。

圖1 PMMSP算子示意圖

3 基于分塊的線性判別分析（BFLD）

FLD主要是通過最小化類內(nèi)散度最大化類間散度來達到最佳的分類效果[12-13]。在線性假設(shè)的前提下，F(xiàn)LD通過最大化樣本類間散布矩陣和類內(nèi)散布矩陣的比值達到求解最佳投影矩陣的目的，即

其中，x為訓(xùn)練樣本，mi是Ci類的均值，m是所有樣本的均值。對于式（10），可通過求解廣義特征值問題SBW=SWWΛ來獲得最優(yōu)的解空間。

傳統(tǒng)的FLD都是抽取圖像的全局特征，而實際上在光照、表情尤其是遮擋環(huán)境中往往出現(xiàn)人臉部分區(qū)域變化較大而其他部分變化不大的情況，而此時若直接對整體特征運用FLD投影將造成較大的誤差。文獻[14]指出：全局非線性數(shù)據(jù)結(jié)構(gòu)可以被看成是局部線性的，且局部結(jié)構(gòu)可以被線性擬合。因而可以將圖像分為若干個塊，分別對每個塊的特征獨立進行FLD投影，然后將每個塊的投影特征重新組合成全局特征進行目標(biāo)匹配。這樣通過對每個局部塊進行線性判別分析，盡可能地逼近人臉圖像的真實分布，減小圖像局部變化對算法整體性能的影響。同時，采用分塊策略可以有效地避免因樣本特征維數(shù)過高導(dǎo)致的“小樣本問題”，可謂一舉多得。

4 結(jié)合PMMSP和BFLD的人臉識別

首先利用PMMSP方法獲得人臉圖像的有效特征，然后用BFLD進行特征映射，這樣不僅可以有效地降低特征維數(shù)，而且顯著提高PMMSP特征的識別能力。具體的BFLD降維過程如下：

（1）將由式（7）得到的編碼圖像分為 K塊（下文稱之為母塊），然后將每個母塊分為N個子塊，并求取各子塊的直方圖特征，最后按照一定的規(guī)律串接成表示該母塊特征的特征向量。

（3）如果直接應(yīng)用Fisher線性判別求取最佳投影矩陣，由于特征維度過高，往往會出現(xiàn)小樣本問題。盡管本文采用了分塊方式能夠適當(dāng)降低特征維度，但是為了避免在Fisher中出現(xiàn)小樣本問題，擬應(yīng)先用PCA對特征進行降維。因此，在訓(xùn)練集中，對步驟2得到的Hi應(yīng)用PCA進行降維，在PCA降維后的特征空間中，求解公式（10），即計算使得類間散度和類內(nèi)散度比值最大的投影向量（Fisher最佳投影向量），從而形成最佳投影向量矩陣Wi。

（4）對于注冊集和測試集，由步驟1，2得到原始低維特征集合和，并通過步驟3得到的Wi線性投影到低維判別空間中，形成低維特征和，即Fi=

本文用余弦距離來衡量兩個母塊間的相似度，并將M個母塊的相似度累加作為最終兩張圖片間的相似度。其計算公式如下所示：

其中S(IG，IP)表示注冊圖像 IG和測試圖像IP之間的相似度。

5 實驗結(jié)果及分析

本實驗在Windows XP，Matlab7.0平臺下實現(xiàn)，運行環(huán)境是Intel雙核處理器，2 GB內(nèi)存，人臉庫采用中科院CAS-PEAL人臉庫和AR人臉庫。

5.1 在CAS-PEAL人臉數(shù)據(jù)庫上的實驗

CAS-PEAL人臉數(shù)據(jù)庫中包含1 040名中國人共99 450幅頭肩部圖像。所有圖像在專門的采集環(huán)境中采集，涵蓋了姿態(tài)、表情、飾物、背景、時間和光照6種主要變化條件。本文實驗主要在表情、飾物和光照3個子庫上進行，由于庫中原圖像較大，實驗中將所有圖片均以其眼睛坐標(biāo)為基準(zhǔn)按照一定的規(guī)格裁剪為100×100大小。

首先探討本文方法中參數(shù)對識別率的影響，其中對識別率影響較大的兩個參數(shù)是PMMSP算子中的“單元”和“塊”的大小。因而從CAS-PEAL的表情、飾物和光照3個子集中分別隨機選200張共計600張圖片組成測試集。在固定圖像分塊方式為8×8（64塊）的情況下，令PMMSP算子中w（即單元大小為w像素×w像素）分別取3、4、5、6、7、8、9、10、11以及 d（PMMSP算子中圓形塊的直徑）分別取3、4、5、6、7、8、9、10、11時測試了每種參數(shù)組合的識別率，并繪制了識別率的三維柱形圖，各種組合下的識別率如圖2所示。其中單演濾波器的參數(shù)設(shè)置為：S=3，λmin=4，μ=1.8，δ/ω0=0.64。

圖2 不同塊和單元大小時的識別率

由圖2可知，PMMSP算子中的塊和單元過大或者過小對識別率都會造成一定的影響。當(dāng)單元大小w和塊的直徑d均取7的時候取得最佳識別效果，這主要是因為，當(dāng)w和d取值過大的時候，雖能把握區(qū)域的變化趨勢，但會導(dǎo)致微小局部信息的丟失，不能準(zhǔn)確把握微小局部相位信息的變化。而當(dāng)w和d取值過小，雖然能夠準(zhǔn)確提取相位的微小局部變化信息，但是卻導(dǎo)致對更大的區(qū)域相位信息的把握不足，不能有效提取區(qū)域性的區(qū)域信息。而當(dāng)w，d分別取值7的時候，該算法恰好能夠同時兼顧微小局部信息和區(qū)域變化信息。圖2的實驗數(shù)據(jù)也充分表明，只有當(dāng)w和d都取值恰當(dāng)?shù)臅r候，本文算法才能達到最好的性能。因此本文余下實驗中均固定參數(shù)w=7，d=7。

為了測試本文算法的識別性能，在CAS-PEAL表情、飾物及光照3個子集上分別進行了實驗。實驗中單演濾波器參數(shù)與前文設(shè)置相同。為了進行對比，本文同時測試了MBP算法在3個子集上的識別率和幾種算法的綜合識別率（MBP中單演濾波器參數(shù)與PMMSP中設(shè)置完全相同，MBP算子中對幅值采樣時采用半徑為3的8點采樣）。另外文中列舉了文獻[15]中運用LBP和LGBP算法在這3個子集上所取得的最佳識別率。其中PMMSP+BFLD（下文中以PMMSP_F表示）和MBP+BFLD（下文中以MBP_F表示）算法中，每幅圖片分成4×4個母塊，每個母塊分成2×2個小塊。本文BFLD方法中每個塊的直方圖特征經(jīng)過PCA降維后均保留C-1維（C為訓(xùn)練樣本類別數(shù)）。各種方法在CAS-PEAL人臉數(shù)據(jù)庫表情、飾物以及光照三個子集上識別率及相應(yīng)的特征長度如表1所示。

表1 不同算法在CAS-PEAL人臉庫識別率

在CAS-PEAL人臉庫上的實驗結(jié)果表明：本文所提出的PMMSP特征提取算法在不經(jīng)過BFLD訓(xùn)練的情況下，已經(jīng)取得了較好的識別率。在表情和飾物兩個子集上的識別率與MBP持平，甚至優(yōu)于MBP，說明了本文提出的PMMSP算法能夠有效提取圖像的判別特征。而在光照子集上的識別率則明顯高于MBP，說明本文算法對圖像光照變化具有較好的魯棒性。在經(jīng)過BFLD訓(xùn)練之后，各個子集上的識別率均有了不同程度的提升，這主要得益于BFLD能夠有效提取判別特征，壓縮冗余信息，逼近人臉的真實分布，克服了全局特征不能有效描述局部人臉變化的缺點。而且由表中各種算法的綜合識別率可以看出，本文算法的綜合識別率是幾種算法中最高的，說明了本文提出的將PMMSP與BFLD相結(jié)合的方法的有效性。

同時，為了對比各種算法的復(fù)雜度，以CAS-PEAL光照子集作為測試集，在每種方法均采取8×8分塊的策略下，測試了每種方法對光照子集完成一次測試每幅樣本所耗費的平均時間。各種方法在8×8分塊時的特征長度以及每幅圖片所需的平均時間如表2所示。

表2 相同分塊方式下各算法特征長度及平均時間

由表2可以看出，在分塊方式相同的情況下，本文算法的特征長度不僅遠小于LGBP而且也小于MBP方法，同時由各種算法所耗費的平均時間可以看出，本文方法雖然比MBP相比所耗費時間稍多，但由上述分析知道，本文方法在識別率上是有較大優(yōu)勢的。根據(jù)文獻[11]，在進行單演濾波時，只需要3次卷積運算和6次Riesz變換，相對于LGBP的40次卷積運算可大大降低算法的時間復(fù)雜度，而且本文方法最終僅產(chǎn)生12幅模式圖，同樣遠遠小于LGBP算法的40幅模式圖。與傳統(tǒng)的LGBP相比，PMMSP的空間復(fù)雜度僅為LGBP的1/4，時間復(fù)雜度僅為其的1/3。相對MBP而言，雖然PMMSP算法最終產(chǎn)生的模式圖數(shù)目比MBP多，但是由于PMMSP模式數(shù)目遠小于MBP模式數(shù)目，因而最終提取的PMMSP特征長度仍小于MBP算法，這樣將有效降低算法運算過程中所需的存儲空間，降低空間復(fù)雜度。PMMSP_F在PMMSP上進一步采用BFLD降維，雖然BFLD需要進行額外的訓(xùn)練獲取最佳投影矩陣，而且訓(xùn)練復(fù)雜度也較大，但是，本文所述的BFLD采用的是離線訓(xùn)練的方式，其對在線識別的影響僅僅是多做了若干次線性映射，因此在時空復(fù)雜度方面，其對算法識別的影響是十分有限的。從表2的實驗數(shù)據(jù)可以看出，PMMSP_P特征長度僅為PMMSP的1/9，同時相對MBP，LGBP等都大為降低，同時表2的經(jīng)驗時間表明PMMSP_F的時間復(fù)雜度也較MBP，LGBP，PMMSP小。所以可以看出，本文提出的PMMSP和PMMSP_F方法不單在識別率上具有優(yōu)勢，而且能夠有效降低時間和空間的消耗。

5.2 在AR人臉數(shù)據(jù)庫上的實驗

AR人臉庫共包括來自126人分兩批次采集的超過4 000幅正面人臉圖像。該人臉庫包含了光照、表情和遮擋的變化子集。在本文實驗中，在126人中選出50個男性對象和50個女性對象共100人的2 600張圖片組成數(shù)據(jù)庫子集進行測試，且實驗前所有圖像均裁剪到165像素×120像素大小。測試集共分為四種，第一種是無遮擋情況下的識別率，第二種遮擋物為墨鏡，第三種遮擋為圍巾，第四種為總的識別率。對于無遮擋的情況，取第一批次下的每人無遮擋的7張圖片共計700張作為注冊集，第二批次下的每個人無遮擋的7張圖片作為測試集合。對于有遮擋的測試，只選用第一批次下每個對象的第一張圖片作為注冊集，兩個批次下所有墨鏡遮擋的圖片和兩個批次下所有有圍巾遮擋的圖片分別組成兩個測試集。在BFLD訓(xùn)練階段，取第一批次下無遮擋的7張圖片作為訓(xùn)練集。文獻[3]中在AR人臉庫上的測試與本文實驗設(shè)置完全相同，因而本文列舉了文獻[3]中LBP和LGBP兩種算法在AR人臉庫上的識別率。對于MBP和PMMSP則采用完全相同的單演濾波器參數(shù)，且分塊方式與文獻[3]中相同均為8×8分塊。BFLD訓(xùn)練階段每張圖分為4×4個母塊，每個母塊進一步分為2×2個子塊。各種算法識別率如表3所示。

表3 各種算法在AR人臉庫的識別率

由表3可以看出，本文方法在AR人臉庫上表現(xiàn)出了極好的識別性能，本文算法在墨鏡遮擋和圍巾遮擋的情況下識別率均高于MBP算法，同時也高于LGBP方法，說明本文提出的PMMSP算子對于遮擋也具有一定的魯棒性。另外，PMMSP特征經(jīng)過BFLD方法投影后進一步提高了識別率，即便是在遮擋面積較大的兩個測試集合上同樣取得了較高的識別率，PMMSP_F算法在AR人臉庫上的綜合識別率仍然是所列算法里最高的，充分說明了本文算法的有效性。

6 結(jié)束語

本文研究了單演信號理論在人臉識別中的應(yīng)用。為了提取圖像的有效分類特征，提出了一種新的算子-單演同相幅值模式來提取圖像單演濾波后產(chǎn)生的單演幅度和單眼相位圖中的信息。同時為了降低算法的復(fù)雜度，本文進一步提出了將PMMSP與BFLD相結(jié)合的人臉識別方法。在CAS-PEAL和AR人臉庫上的實驗證明了本文算法的有效性。如何從圖像單演濾波后產(chǎn)生的多模式單演特征中獲得更具有分辨力的特征是下一步的研究重點。

[1]Zhang Wenchao，Shan Shiguang.Local Gabor Binary Pattern Histogram Sequence（LGBPHS）：a novel non-statistical model for face representation and recognition[C]//Proceedings of 5th International Conference on Computer Vision，Beijing，China，2005：786-791.

[2]徐永紅，侯景，趙艷茹，等.Gabor小波幅值和相位特征人臉識別方法比較[J].計算機工程與應(yīng)用，2012，48（15）：195-200.

[3]Yang Meng，Zhang Lei，Zhang Lin，et al.Monogenic Binary Pattern（MBP）：a novel feature extraction and representation model for face recognition[C]//20th IEEE International Conference on Pattern Recognition，2010：2680-2683.

[4]Felsberg M.Optical flow estimation from monogenic phase[C]//Complex Motion.Berlin Heidelberg：Springer，2007：1-13.

[5]Alessandrini M，Bernard O，Basarab A，et al.Multiscale optical flow computation from the monogenic signal[J].IRBM，2013，34（1）：33-37.

[6]Xie Shufu，Shan Shiguang，Chen Xilin，et al.Fusing local patterns of gabor magnitude and phase for face recognition[J].IEEE Transactions on Image Processing，2010，19（5）：1349-1361.

[7]Felsber G M，Sommer G.The monogenic signal[J].IEEE Transactions on Signal Processing，2001，49（12）：3136-3144.

[8]Zang D，Sommer G.Phase based image reconstruction in the monogenic scale space[C]//Pattern Recognition.Berlin Heidelberg：Springer，2004：171-178.

[9]Vu N S，Caplier A.Face recognition with patterns of oriented edge magnitudes[C]//Computer Vision-ECCV 2010.Berlin Heidelberg：Springer，2010：313-326.

[10]Vu N S.Exploring patterns of gradient orientations and magnitudes for face recognition[J].IEEE Transactions on Information Forensics and Security，2013，8（2）：295-304.

[11]Yang Meng，Zhang Lei.Monogenic binary coding：an efficient local feature extraction approach to face recognition[J].IEEE Transactions on Information and Security，2012，7（6）：1738-1751.

[12]Sanguansat P，Adornwised W，Jitaponkul S，et al.Two-dimensional linear discriminant analysis of principle component vectors for face recognition[C]//IEEE Int Conf on ICASSP.Washington DC：IEEE Computer Society，2006：345-348.

[13]戴文戰(zhàn)，周昌亮.一種改進Fisher準(zhǔn)則的線性判別分析方法[J].計算機工程與應(yīng)用，2013，49（3）：210-212.

[14]Roweis S T，Saul L K.Nonlinear dimensionality reduction by locally linear embedding[J].Science，2000，290（5500）：2323-2326.

[15]張文超.局部Gabor二值模式人臉表示與識別方法研究[D].哈爾濱：哈爾濱工業(yè)大學(xué)，2007.