基于Gabor-PCA的人臉遮擋區域重建算法

黃 孝 平

(南寧學院　廣西 南寧 530200)

?

基于Gabor-PCA的人臉遮擋區域重建算法

黃 孝 平

(南寧學院廣西 南寧 530200)

針對遮擋人臉重建和識別問題，提出一種基于Gabor濾波和主成分分析相融合的人臉遮擋區重建算法。首先通過構建5維8方向的Gabor直方圖信息分類器，從人臉庫中選擇Gabor直方圖信息與待重建原始人臉圖像在外形輪廓等粗信息更為接近的圖像組成訓練樣本集，然后采用主成分分析對奇異值分解重建協方差矩陣進行投影形成重建圖像，最后進行仿真實驗。結果表明，該算法可以得到平滑自然的重建人臉圖像，而且具有較強的適應性。

人臉重建訓練樣本主成分分析遮擋人臉

0　引　言

人臉識別特指利用分析比較人臉視覺特征信息進行身份鑒別的計算機技術，是一種重要的生物特征識別技術，其在公共安全監測、身份鑒定、門禁系統等領域得到了廣泛的應用[1]。在人臉識別應用中，人臉圖像的遮擋(如眼鏡、口罩、圍巾等)會經常出現，而遮擋對人臉識別的性能影響很大，因此，對人臉遮擋進行區域重建，提高人臉識別率成為圖像處理研究中的熱點問題[2]。

由于遮擋人臉識別具有十分重要的實用價值，國內外學者對進行了大量研究，提出了一些許多有效的遮擋人臉重建和識別算法[3]。遮擋人臉圖像分為無意和有意遮擋，無意遮擋包括帽子、圍巾、眼鏡等，有意遮擋為墨鏡口罩或是其它物體擋住面部五官，其有意遮擋通常由于特征變化過大，容易造成識別失敗，較低幾率造成誤識別。而無意遮擋通常僅僅遮擋小部分面部特征，導致特征提取過程中引入過多干擾特征，使其它重要特征置信度降低，有較高的幾率造成誤識別[4]。人臉遮擋區域重建屬于高維矩陣計算范疇，當前主要有主成分分析法PCA(PrincipalComponentAnalysis)、核主成分分析法KPCA(KernelPrincipalComponentAnalysis)、局部保持投影LPP(LocalityPreservingProject)、模糊主分量(FuzzyPCA)等[5-8]。這些方法通過對比遮擋人臉與非遮擋人臉子空間上的絕對誤差來判斷遮擋區域，然后對遮擋區域進行重建，并提出人臉特征；當投影矩陣或協方差矩陣直接滿足局部正交時，它們函數不會陷入局部最大化，但是訓練樣本多樣性使重建人臉容易陷入局部最大化以及協方差矩陣分解耗時嚴重問題，而且它們默認函數符合局部正交，這不符合人臉識別實際應用實際情況[9]。Gabor濾波器可以從同方向、不同尺度對人臉圖像局部結構信息進行捕捉，對人臉姿態和光照變化不敏感，在人臉識別應用最為廣泛，然而Gabor濾波器存在計算量，而且特征維數很高等難題[10]。

針對當前遮擋人臉重建算法存在的缺陷，為了改善人臉重建效果，提出一種基于Gabor濾波和主成分分析(PCA)相融合的人臉遮擋區重建算法(Gabor-PCA)。首先通過構建Gabor直方圖信息分類器，并根據待重建原始人臉圖像相應的Gabor直方圖信息，從人臉庫中選擇輪廓信息更為接近的圖像作為訓練樣本集，然后在PCA進行降維，最后通過仿真實驗測試算法的有效性。

1　Gabor-PCA的人臉重建算法

1.1Gabor-PCA的工作原理

在人臉圖像中，五官結構、人臉長寬比例等信息比較固定，和而表情、姿態、發型、膚色、飾物等細節信息變化比較大，為此在人臉重建之前，對人臉圖像樣本進行分類，選擇重構人臉相似度比較大的人臉組成訓練集。為此，首先構建Gabor直方圖信息，對訓練樣本進行分類，然后根據待重建人臉相應的Gabor直方圖信息從人臉庫中選擇細節信息更為匹配的圖像作為訓練樣本集，最后采用PCA重建協方差矩陣來降維，提高了人臉識別效果具體如圖1所示。

圖1　Gabor-PCA的工作流程

1.2Gabor和PCA算法

1.2.1Gabor算法

用Gabor濾波器人臉圖像處理，具有優良的空間局部性和方向選擇性，能夠抓住圖像局部區域內多個方向的空間頻率(尺度)和局部性結構特征。當有光照變量、姿態和表情的變化時，不僅能夠增強人臉中一些關鍵特征，并且對圖像的局部形變具有良好的魯棒性[11]。Gabor濾波器定義如下：

(1)

式中，z=(x,y)表示像素點；kμ,ν=kvejφμ，kv=kmax/fv，φμ=πμ/8。

Gabor濾波器的方向和尺度分別為μ和ν，采用5個尺度(ν=0,1,…,4)，8個方向(μ=0,1,…,7)的Gabor濾波器組對人臉圖像進行濾波處理。令I(x,y)表示人臉圖像，對其做Gabor濾波處理即為下面的卷積運算：

Gμ,ν(x,y)=I(x,y)*ψμ,ν(z)

(2)

選用5個尺度、8個方向的Gabor濾波器組，v∈{0,1,2,3,4}，u∈{0,1,2,…,7}，提取的人臉圖像的Gabor特征如圖2所示。

圖2　人臉圖像的Gabor特征表征

每個像素點Z=(x,y)的多尺度和多方向特征表示為Gu,v(z)，那么人臉圖像特征向量為：

{Gu,v(z):u∈(0,1,…,7),v∈(0,1,…,4)}

(3)

1.2.2PCA算法

主成分分析(PCA)通過K-L變換抑制具有較少信息量的系數來實現數據維度的減少，PCA將多維人臉圖像信息轉換成少數幾個主成分，這些成分包含了大多數的圖像信息，提高人臉識加緊效率。假定現有N個樣本特征{x1,x2,…,xN}，每個特征是一個n維空間且屬于類別{X1,X2,…,Xc}的某一類。考慮一種線性變換，從n維空間映射到m維空間滿足m

yn=WTxkk=1,2,…,N

(4)

式中，WT是一個帶有正交列的矩陣。

假定總樣本散點矩陣定義如下：

(5)

式中，N為樣本數量；μ∈Rn是所有樣本的均值。

接著可以采用線性變換：

(6)

式中，{wi|i=1,2,…,m}是n維特征空間散點集ST對應的m個最大特征向量，也成為模型的映射特征。

1.3Gabor-PCA的工作步驟

(1) 收集人臉圖像，并對其進行歸一化處理。

(2) 構建Gabor函數，主要設置Gabor濾波器方向以及頻率參數，提取了人臉特征，共得到的40組Gabor信號，特征構建矩陣G5×8=[G0,…,Gi,…,G7]。

(3) 對Gi進行求模，得到S=[‖G0‖,…,‖Gi‖,…,‖G7‖]。

(4) 根據式(7)計算人臉庫第i個圖像的輪廓值：

(7)

(6) 構建人臉特征的協方差矩陣，并計算該人臉與訓練樣本集平均值的差，構建協方差矩陣C=AAT/c，其中A=(d0,…,di,…,dN-1)，并正交歸一化特征向量vi。

(7) 按式(8)計算特征值的貢獻率：

(8)

式中，p為有效的特征值個數。

(9) 按式(8)計算重建人臉圖像特征。

(9)

(10) 采用最支持向量機對重建人臉圖像進行識別。

1.4人臉圖像分類器設計

支持向量機分類目標就是在滿足所有約束制條件下，尋找一個最優分類超平面，把全部數據點分開，且盡可能使點與超平面之間的距離最遠，見圖3[12]所示。

圖3　最優分類平面圖

給定數據集{xi,yi}，xi∈Rn，i=1,2,…,n，xi表示提取人臉圖像特征；yi表示人臉圖像的類級別。根據風險最小化的原理，SVM的最優該超平面表示為：

y=ωTΦ(x)+b

(10)

式中，ω為權向量；b為偏移向量。

對于一個線性不可分問題，直接采用SVM對其進行求解比較困難，通過引入非負的松弛因子將其轉變成二次優化問題，即有：

(11)

式中，ξi第i個樣本的訓練誤差；C為懲罰參數。

式(11)是一個典型的凸二次優化問題，因此通過引入Lagrange乘子可轉化為其對偶問題式(12)來解決。

(12)

式中，αi表示Lagrange乘子。

對式(12)進行求解，可以得到αi的值，那么權向量(ω)可表示為：

ω=∑αiyiΦ(xi)·Φ(x)

(13)

這樣SVM分類決策函數變為：

f(x)=sgn(αiyiΦ(xi)·Φ(x)+b)

(14)

在高維空間中直接點積運算比較困難，利用核函數代替點積Φ(xi)·Φ(xj)，人臉圖像的分類函數轉化成為：

f(x)=sgn(αiyik(x,xi)+b)

(15)

2　仿真試驗

2.1仿真環境

為了檢Gabor-PCA算法的人臉重建和識別性能，在Intel雙核2.8GBCPU、4GB內存，WindowsXP平臺上，采用Matlab2012編程實現仿真實驗，采用多個人臉圖像檢驗算法魯棒性和通用性。

2.2結果與分析

圖4(a)為待重建的原始圖像，圖4(a)-(c)為重建的人臉圖像，對圖4(b)-(d)進行分析，可以得到如下結論：

(1) 圖4(b)表示PCA算法的人臉圖像重建結果。從圖4(b)可以清楚看出，由于沒有經過Gabor算法選擇訓練集，直接采用PCA選擇特征，重建人臉圖像完全被噪聲淹沒。

(2) 圖4(c)為Gabor算法的人臉圖像重建結果。從圖4(c)可以看出，由于經過訓練樣本的篩選，構建的訓練樣本集在輪廓上大致符合長發、面孔居于圖像中上位置情況息，得到的重建人臉圖像視覺上和原始人臉有一定的相似性，但是由于沒有經過PCA進行降低處理，部分重建人臉有陷入局部最大化缺陷。

(3) 圖4(d)為Gabor-PCA重建人臉圖像。從視覺上看，人臉面部信息完整、清晰，和原始圖像沒有太大差別，只是包含少量噪聲。實驗結果表明，采用Gabor-PCA算法對人臉圖像樣本集的選擇是合理。

圖4　不同處落地的重建人臉效果對比

2.3迭代次數對人臉重建效果的影響

為了測試迭代次數對于Gabor-PCA算法性能影響，選擇圖5(a)作為待重建原始圖像(眼鏡遮擋)，不同迭代次數重建的人臉圖像如圖5(b)-(d)所示。對結果進行分析可得，經過一次迭代后，重建后的人臉圖像視覺效果還比較差，經過10次迭代后，圖像細節信息比較清楚，視覺效果比好，很好地達到了“遮擋物清除”的目的，可以滿足人臉圖像重建的實時性應用需求。

圖5　迭代次數對Gabor-PCA性能的影響

2.4算法的魯棒性測試

為了測試Gabor-PCA的魯棒性，選取幾個典型的遮擋人臉進行實驗，圖6分為“胡須”、“眼鏡”、“耳墜”、“側臉””以及“長頭發”遮擋人臉。圖7為Gabor-PCA重建后的人臉圖像，從圖7可以看出，Gabor-PCA可以較好地去掉人臉中遮擋區域，重建的人臉圖像視覺效果相當好，最終達到清除人臉遮擋物的目的。

圖6　遮擋人臉

圖7　Gabor-PCA的重建建

2.5人臉識別率比較

為了測試Gabor-PCA的優越性，選擇PCA、Gabor、LPP算法進行對比實驗，分類器均采用支持向量機進行構建。首先采用AR人臉庫中的遮擋圖像部分，共采用其中的80人560張測試圖像，1張正常圖像，3張墨鏡圖像，3張圍巾圖像，如圖8所示。以無遮擋人臉圖像為基準圖像進行識別。

圖8　AR人臉庫

所有算法的AR人臉庫的識別率和誤識率如圖9所示，其中，識別率是指能夠正確識別出遮擋人臉的身份信息，誤識率是指識別出遮擋區域，但人臉身份識別錯誤，其余則為拒絕識別。

圖9　不同算法在AR庫上的識別率和誤識率

為了測試算法的通用性，采用自行采集的人臉擴大測試，共43人，387張圖像，分為兩組進行測試，圖像均為正向，面部區域大小以AR庫的大小為準，去除背景信息，其中A組為自然遮擋物體組，即圍巾，帽子，眼鏡。如圖10所示。不同處落地的識別率和誤識率為如圖11所示。

圖10　擴展遮擋人臉A

圖11　不同算法在擴展遮擋人臉A上的識別率和誤識率

B組為故意遮擋物體組，包括書籍遮擋和惡意圖像修改，如圖12所示。對于B組，不同算法的人臉圖像識別率和誤識率如圖13所示。

圖12　擴展遮擋人臉B

圖13　不同算法在擴展遮擋人臉B的識別率和誤識率

3　結　語

為了提高遮擋人臉識別的效果，提出一種基于Gabor-PCA的人臉遮擋區域重建算法。仿真實驗結果表明，本文算法能夠較好地重建遮擋人臉區域，與同類遮擋識別算法相比，本文算法獲得了更高的人臉識別率，有效降低人臉的誤識率，具有更廣泛的應用范圍。

[1]ParkJS,OhYH,AhnSC,etal.Glassesremovalfromfacialimageusingrecursiveerrorcompensation[J].IEEETransonPatternAnalysisandMachineIntelligence,2005,27(5):805-811.

[2] 王志明,陶建華.人臉遮擋區域檢測與重建[J].計算機研究與發展,2010,47(1):16-22.

[3] 蘇煜,山世光,陳熙霖,等.基于全局和局部特征集成的人臉識別[J].軟件學報,2010,21(8):1849-1862.

[4] 田玉敏,云艷娥,馬天駿.判別近鄰保持嵌入人臉識別[J].西安電子科技大學學報,2011,38(3):24-28.

[5]RoweisST,SaulLK.Nonlineardimensionalityreductionbylocallylinearembedding[J].Science,2000,290(22):2323-2326.

[6]BartlettMS,MovellanJR,SejnowskiTJ.Facerecognitionbyindependentcomponentanalysis[J].IEEETransactionsonNeuralNetworks,2002,13(6):1450-1464.

[7]WrightJ,YangY,GaneshA,etal.Robustfacerecognitionviasparserepresentation[J].patternanalysisandmachineintelligence,2009,31(2):10-227.

[8]OjalaT,PietikainenM,MaenpaaM.Multiresolutiongray-scaleandrotationinvarianttextureclassificationwidthlocalbinarypatterns[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2002,24(7):971-987.

[9]WuCY,LiuC,ShunHY.Automaticeyeglassesremovalfromfaceimages[J].IEEETransactiononPatternAnalysisandMachineIntelligence,2004,26(30):322-336.

[10]VishwakarmaVP,PandeyS,GuptaMN.AnilluminationinvariantaccuratefacerecognitionwithdownscalingofDCTcoefficients[J].JournalofComputingandInformationTechnology,2010,18(1):53-67.

[11]YangM,ZhangL.GaborfeaturebasedsparserepresentationforfacerecognitionwithGaborocclusiondictionary[M].ComputerVision-ECCV2010.SpringerBerlinHeidelb-erg,2010:448-461.

[12]HuangCL,WangCJ.AGA-basedfeatureselectionandparametersoptimizationforsupportvectormachines[J].ExpertSystemswithApplications,2011,31(2):231-240.

GABOR-PCABASEDRECONSTRUCTIONALGORITHMOFOCCLUDEDFACEREGION

HuangXiaoping

(Nanning University,Nanning 530200,Guangxi,China)

Aimingattheoccludedfacereconstructionandrecognitionproblem,weproposedaGaborandPCAfusion-basedreconstructionalgorithmforoccludedregionofface.First,byconstructingGaborhistograminformationclassifierwithfivedimensionalitiesandeightdirectionsweselectedtheimagesfromdatabasewhichhavetheGaborhistograminformationmuchclosetothecoarseinformationsuchastheoutlineoftheprimitivefaceimagestobereconstructedtoformtrainingsampleset,andthenadoptedPCAtodecomposesingularvalueandtoreconstructcovariancematrixaswellastoprojecttofromthereconstructedimage,andfinallythesimulationexperimentwascarriedout.Resultsshowedthattheproposedalgorithmcouldobtainsmoothandnaturalreconstructedfaceimages,andhadstrongeradaptability.

FacereconstructionTrainingsamplePrincipalcomponentanalysis(PCA)Occludingface

2014-07-01。2012廣西高校特色專業及課程一體化建設項目(GXTSZY305)。黃孝平，高工，主研領域：人臉識別，智能控制，嵌入式系統應用。

TP391.4

ADOI:10.3969/j.issn.1000-386x.2016.03.048