基于膚色信息和模板匹配的人臉檢測(cè)與提取

邵 虹，耿 昊

(沈陽(yáng)工業(yè)大學(xué) 信息科學(xué)與工程學(xué)院，遼寧 沈陽(yáng) 110870)

基于膚色信息和模板匹配的人臉檢測(cè)與提取

邵 虹，耿 昊

(沈陽(yáng)工業(yè)大學(xué) 信息科學(xué)與工程學(xué)院，遼寧 沈陽(yáng) 110870)

隨著人機(jī)交互的日益發(fā)展，人臉識(shí)別中的重要環(huán)節(jié)人臉檢測(cè)得到了越來(lái)越多的重視。人臉檢測(cè)的關(guān)鍵在于準(zhǔn)確率和效率。針對(duì)膚色信息進(jìn)行人臉檢測(cè)速度快、易于實(shí)現(xiàn)，但準(zhǔn)確率不高的特點(diǎn)，將膚色信息與模板匹配的方法結(jié)合起來(lái)進(jìn)行人臉檢測(cè)。利用在YCbCr色彩空間中的膚色高斯模型，進(jìn)行膚色區(qū)域的分割，經(jīng)過(guò)膨脹腐蝕、長(zhǎng)寬比與歐拉數(shù)等規(guī)則的處理，完成人臉區(qū)域的粗檢測(cè)。然后通過(guò)模板匹配的方法進(jìn)行人臉的細(xì)檢測(cè)，將檢測(cè)出的人臉區(qū)域圈起來(lái)并進(jìn)行提取，形成一系列的人臉圖像。實(shí)驗(yàn)結(jié)果表明，兩種方法結(jié)合后檢測(cè)準(zhǔn)確率有所提高，速度較快。

色彩空間；膚色高斯模型；膚色信息；模板匹配；人臉檢測(cè)

0 引 言

在人臉識(shí)別的研究中首先衍生出人臉檢測(cè)問(wèn)題，從而使人臉檢測(cè)成為人臉識(shí)別系統(tǒng)中的一個(gè)關(guān)鍵步驟。人臉檢測(cè)指的是利用一些方法對(duì)給定的圖像進(jìn)行搜索，從而確定圖像中是否存在人臉，如果是，則定位與標(biāo)記人臉的位置[1]。隨著互聯(lián)網(wǎng)與智能應(yīng)用的快速發(fā)展，諸多的安全問(wèn)題隨之而來(lái)，各種場(chǎng)合的身份驗(yàn)證已成為必然，人臉識(shí)別是一種有效的人物身份驗(yàn)證的方法，現(xiàn)實(shí)的環(huán)境要求人臉識(shí)別系統(tǒng)可以實(shí)現(xiàn)對(duì)大多數(shù)圖像識(shí)別的功能，這使得人臉檢測(cè)逐漸受到學(xué)者們的重視，從而延伸為一個(gè)獨(dú)立的研究方向。現(xiàn)在，人臉檢測(cè)的應(yīng)用領(lǐng)域已經(jīng)逐漸超出人臉識(shí)別的范疇，人臉檢測(cè)技術(shù)最熱門的應(yīng)用領(lǐng)域有三個(gè)：身份認(rèn)證與安全防護(hù)、媒體與娛樂(lè)、圖像搜索。

膚色是人臉最為顯著的特征之一，利用膚色信息可以分離開(kāi)人臉區(qū)域和大部分其他區(qū)域，從而實(shí)現(xiàn)檢測(cè)人臉的目標(biāo)[2-3]。利用膚色進(jìn)行人臉檢測(cè)具有實(shí)現(xiàn)簡(jiǎn)單、速度快的特點(diǎn)，但準(zhǔn)確率較低[4]。模板匹配的方法是建立一個(gè)能夠反映人臉普遍特征的人臉模板，然后通過(guò)計(jì)算待檢測(cè)圖像中某一區(qū)域與人臉模板的相似度來(lái)判斷這一區(qū)域是否為人臉。具體的算法流程如圖1所示。

圖1 算法流程

1 基于膚色信息的人臉粗定位

目前，可以將基于膚色信息的方法應(yīng)用到人臉檢測(cè)的三個(gè)環(huán)節(jié)中：

(1)單純地利用膚色信息來(lái)檢測(cè)人臉。通過(guò)區(qū)域分割的方式找到圖像中的膚色區(qū)域，然后經(jīng)過(guò)處理將膚色區(qū)域作為人臉。這種應(yīng)用方式易于實(shí)現(xiàn)、速度快，但準(zhǔn)確率較低。

(2)利用膚色信息衡量前期人臉檢測(cè)方法的效果。將膚色信息作為檢測(cè)效果的驗(yàn)證，可以有效提高人臉檢測(cè)算法的準(zhǔn)確率[5]。

(3)將膚色檢測(cè)作為人臉檢測(cè)的粗略檢測(cè)。雖然不能認(rèn)為膚色區(qū)域一定是人臉區(qū)域，但相比于其他人臉檢測(cè)方法，判斷是否為膚色區(qū)域的過(guò)程具有速度快的特點(diǎn)，可以縮小搜索范圍，提高檢測(cè)效率。文中將膚色應(yīng)用到此步驟中，進(jìn)行人臉的粗定位，方便之后的精確定位與檢測(cè)。

1.1 色彩空間的選取

不同膚色的人臉區(qū)域，其亮度差別較大，而色度差別較小。RGB色彩空間在圖像處理的研究中常被使用，但是RGB色彩空間受光線強(qiáng)度的影響較大，而膚色在YCbCr色彩空間中的聚類性較好，人臉膚色和非膚色的分布范圍在YCbCr中交叉重疊的區(qū)域較小，而且膚色部分在YCbCr中能夠用一種較好的模型來(lái)表達(dá)[6-7]。YCbCr是由YUV派生而來(lái)，Y表示色彩的亮度，Cb、Cr表示色彩的色度。YCbCr色彩空間可以由RGB色彩空間進(jìn)行轉(zhuǎn)換得到，公式如下：

(1)

1.2 建立膚色高斯模型

膚色模型，是利用數(shù)學(xué)的方法來(lái)反映所給圖像中的屬于膚色的像素點(diǎn)。在膚色高斯模型中表示膚色信息，是利用膚色高斯模型計(jì)算出所有像素點(diǎn)是否為膚色的概率值，膚色似然圖就是由這些概率值得到的。文獻(xiàn)[5]通過(guò)手工裁剪人臉膚色樣本，將給定圖像的像素通過(guò)式(1)在YCbCr色彩空間中表示出來(lái)，從而得到對(duì)應(yīng)的每個(gè)像素在該色彩空間下的色度值，即(Cb，Cr)值。統(tǒng)計(jì)色度值為(Cb，Cr)的像素點(diǎn)的數(shù)目，由膚色樣本點(diǎn)的分布情況得到其在YCbCr色彩空間中的分布圖，如圖2(a)所示。

由分布圖可見(jiàn)，膚色樣本點(diǎn)的統(tǒng)計(jì)分布近似于高斯正態(tài)分布，那么可以得到膚色高斯模型N(m,C)。其中，m是均值，C是協(xié)方差，利用所選擇的樣本計(jì)算得到，公式如下：

m=E{x}

x=(Cb,Cr)T

C=E{(x-m)(x-m)T}

(2)

膚色高斯模型如圖2(b)所示。

1.3 膚色區(qū)域的分割

利用上述所得的膚色高斯模型，可以計(jì)算得出所給圖像中所有的像素點(diǎn)與膚色相似的程度，即膚色似然度，進(jìn)而可得出膚色似然圖[8]。再對(duì)膚色似然圖進(jìn)行二值化處理，便可達(dá)到將膚色區(qū)域分割出來(lái)的目的。具體方法如下：

(1)通過(guò)上述方法計(jì)算待檢測(cè)圖像的Cb、Cr值，通過(guò)式(3)計(jì)算膚色似然度。

P(Cb,Cr)=exp{-0.5(x-m)C-1(x-m)T}

(3)

其中，x=(Cb,Cr)T。

同時(shí)可得到待檢測(cè)圖像的最大膚色似然度，兩者的比值即為膚色概率值，由此得到膚色似然圖，如圖3所示。

圖2 膚色分布圖和高斯模型

圖3 膚色似然圖

(2)使用動(dòng)態(tài)獲取閾值的方法將膚色似然圖二值化，從而將圖像中的膚色區(qū)域分割出來(lái)。將圖像中所有像素點(diǎn)分為目標(biāo)對(duì)象和背景兩類。利用一定的經(jīng)驗(yàn)值，事先定義一個(gè)閾值范圍，當(dāng)閾值發(fā)生變化時(shí)，以0.1的幅度進(jìn)行賦值運(yùn)算，在變化的過(guò)程中選擇一個(gè)最適合分類的閾值[9]。當(dāng)獲取到最佳閾值后，就可以對(duì)膚色似然圖進(jìn)行二值化完成膚色區(qū)域的分割，效果如圖4所示。

圖4 膚色分割圖

1.4 候選區(qū)域的篩選

由上面的膚色分割圖可以看出，膚色區(qū)域已經(jīng)大部分提取出來(lái)，同時(shí)還存在一些細(xì)小條紋類的噪聲，這時(shí)就需要進(jìn)行形態(tài)學(xué)的噪聲處理[10]。腐蝕膨脹是最常用且有效的去除噪聲的方法。腐蝕能夠使物體沿其周邊縮小一個(gè)像素大小的面積，從而達(dá)到消除所有邊界點(diǎn)的目的。膨脹能使物體的面積增大，從而將物體周邊的所有點(diǎn)填充到該物體中。針對(duì)膚色分割圖中的噪聲，使用形態(tài)學(xué)的開(kāi)運(yùn)算進(jìn)行噪聲去除[11]。對(duì)一個(gè)圖像進(jìn)行先腐蝕后膨脹的操作過(guò)程稱為開(kāi)運(yùn)算，它對(duì)于細(xì)小的邊緣輪廓、連接與突出部分的噪聲去除具有較好效果。噪聲處理效果如圖5所示。

圖5 噪聲處理后的效果圖

經(jīng)噪聲處理后，圖像中可能還存在一些非膚色區(qū)域，所以要進(jìn)行最后的區(qū)域篩選。根據(jù)對(duì)人臉的先驗(yàn)知識(shí)以及特征分析圖像，確定膚色區(qū)域。人臉可以使用如下特征進(jìn)行篩選。

(1)歐拉檢測(cè)。

由于人臉存在像眼睛和嘴巴這樣的非膚色區(qū)域，使得人臉圖像經(jīng)上述處理后會(huì)產(chǎn)生多個(gè)孔洞，排除那些沒(méi)有孔洞的區(qū)域，可以獲得更準(zhǔn)確的人臉區(qū)域。通過(guò)計(jì)算區(qū)域中的孔洞數(shù)來(lái)判斷是否為人臉區(qū)域，孔洞數(shù)可以通過(guò)歐拉數(shù)計(jì)算得到[12]。歐拉數(shù)等于連通成分?jǐn)?shù)減去孔洞數(shù)，即E=C-H。

利用歐拉數(shù)的方法進(jìn)行篩選存在一些局限性。例如，一些待檢測(cè)圖像中人的眼睛較小或沒(méi)有睜開(kāi)，會(huì)導(dǎo)致經(jīng)膚色分割后人臉區(qū)域不存在孔洞，在歐拉檢測(cè)時(shí)會(huì)把這個(gè)區(qū)域給排除掉，影響了最后的檢測(cè)率。圖6顯示了歐拉檢測(cè)效果較好和效果較差的實(shí)驗(yàn)結(jié)果。

圖6 歐拉檢測(cè)

(2)長(zhǎng)寬比檢測(cè)。

統(tǒng)計(jì)區(qū)域邊界的所有點(diǎn)的坐標(biāo)值，記錄并令x和y等于x軸和y軸上最大最小的坐標(biāo)值，r=x/y就是所求的區(qū)域長(zhǎng)寬比。根據(jù)專家機(jī)構(gòu)大量的統(tǒng)計(jì)分析，人臉長(zhǎng)寬比約為1.3[13]。選取候選區(qū)域長(zhǎng)寬比在1～2范圍內(nèi)的區(qū)域，不在此范圍內(nèi)的區(qū)域?qū)⑵渑懦簟?/p>

2 基于模板匹配的人臉精確檢測(cè)與提取

2.1 人臉模板

在進(jìn)行模板匹配之前，要制作一個(gè)人臉模板，通過(guò)以下步驟可以制作一個(gè)人臉模板[14]。

(1)選取一些彩色人臉照片，并且計(jì)算得到灰度圖像。

(2)手動(dòng)截取人臉區(qū)域，根據(jù)人臉先驗(yàn)知識(shí)，設(shè)定模板尺寸。

(3)對(duì)人臉模板的灰度分布進(jìn)行標(biāo)準(zhǔn)化。

為了防止人臉邊緣(例如毛發(fā))對(duì)匹配產(chǎn)生影響，最后要對(duì)模板進(jìn)行掩膜處理。得到的人臉模板如圖7所示。

圖7 人臉模板

2.2 模板匹配

在制作完人臉模板之后，就要進(jìn)行經(jīng)膚色檢測(cè)篩選過(guò)后的圖像與人臉模板的匹配。

(1)輸入待匹配圖像，設(shè)待匹配圖像為X={xi,j}，均值為μx，方差為σx。

(2)調(diào)用人臉模板，設(shè)尺度大小為W*H的人臉模板為T={ti,j}，均值為μt，方差為σt。

(3)通過(guò)計(jì)算得到相關(guān)系數(shù)，從而得到匹配的相似度，模板與待匹配圖像之間的相關(guān)系數(shù)r(T,X)為：

(4)利用上一步得到的結(jié)果，與閾值相比較，當(dāng)r>0.6時(shí)，判定該區(qū)域?yàn)槿四槄^(qū)域，反之則判是為非人臉區(qū)域。

利用上述模板匹配的方法可以準(zhǔn)確檢測(cè)出人臉區(qū)域，并圈出來(lái)。為了對(duì)人臉區(qū)域進(jìn)行進(jìn)一步的分析與處理，例如人臉表情的識(shí)別，實(shí)驗(yàn)將檢測(cè)到的人臉區(qū)域進(jìn)行提取，最終形成了一個(gè)只包含人臉區(qū)域的人臉圖像序列。

3 實(shí)驗(yàn)結(jié)果與分析

使用MATLAB進(jìn)行大量的實(shí)驗(yàn)，實(shí)驗(yàn)數(shù)據(jù)為個(gè)人的照片和網(wǎng)上下載的圖片。實(shí)驗(yàn)結(jié)果如圖8、表1和表2所示。

圖8 實(shí)驗(yàn)結(jié)果

人數(shù)樣本人臉數(shù)檢測(cè)正確數(shù)檢測(cè)率/%單人75751002人74741003人7572963人以上767092.1總計(jì)30029197

由上可知，膚色信息和模板匹配相結(jié)合的方法的檢測(cè)率較單獨(dú)利用膚色信息方法的檢測(cè)率有所提高。同時(shí)，在實(shí)驗(yàn)過(guò)程中，還存在一些問(wèn)題影響到最后的檢測(cè)率，其中有主觀因素和客觀因素。例如，待檢測(cè)圖像中人的眼睛較小，會(huì)在歐拉檢測(cè)過(guò)程中被排除掉，從而影響檢測(cè)率，如圖6(b)所示；有些圖片中人的姿勢(shì)不規(guī)則，也會(huì)導(dǎo)致最后的檢測(cè)率下降。

表2 實(shí)驗(yàn)數(shù)據(jù)與對(duì)比

4 結(jié)束語(yǔ)

文中給出了一種結(jié)合膚色信息和模板匹配的人臉檢測(cè)方法。實(shí)驗(yàn)結(jié)果表明，此方法較傳統(tǒng)方法檢測(cè)率有所提高。但檢測(cè)率還有待于進(jìn)一步提升，候選區(qū)域篩選方法需要做出進(jìn)一步改進(jìn)。

[1] 陳兆華,徐汀榮,韓志遠(yuǎn).基于運(yùn)動(dòng)信息的快速局部遮擋人臉檢測(cè)[J].計(jì)算機(jī)應(yīng)用與軟件,2013,30(1):63-66.

[2]JonesMJ，RchgJM.Statisticalcolormodelswithapplicationtoskindetection[J].InternationalJournalofComputerVision,2002,46(1):81-96.

[3]TofighiA，MonadjemiSA.FacedetectionandrecognitionusingskincolorandAdaBoostalgorithmcombinedwithGaborfeaturesandSVMclassifier[C]//Internationalconferenceonmultimedia&signalprocessing.[s.l.]:[s.n.],2011:141-145.

[4] 王 蓉,李麗華,楊曉剛.膚色信息在人臉檢測(cè)中的應(yīng)用研究[J].中國(guó)人民公安大學(xué)學(xué)報(bào):自然科學(xué)版,2012,18(3):75-77.

[5] 劉喜榮.基于膚色模型和模板匹配的人臉檢測(cè)研究[D].太原:太原科技大學(xué),2010.

[6] 陳冠潼.人臉檢測(cè)與識(shí)別算法的研究與應(yīng)用[D].大連:大連理工大學(xué),2013.

[7]GhazaliKHB,MaJ,XiaoR.AninnovativefacedetectionbasedonYCgCrcolorspace[J].PhysicsProcedia,2012,25:2116-2124.

[8]ParkJH,ChoiHC,KimSD.Bayesianfacedetectioninanimagesequenceusingfaceprobabilitygradientascent[C]//IEEEinternationalconferenceonimageprocessing.[s.l.]:IEEE,2005.

[9] 郭 佳，劉曉玉，吳 冰,等.一種光照不均勻圖像的二值化方法[J].計(jì)算機(jī)應(yīng)用與軟件,2014,31(3):183-186.

[10] 武 瑛.形態(tài)學(xué)圖像處理的應(yīng)用[J].計(jì)算機(jī)與現(xiàn)代化，2013(5):90-94.

[11] 李鳳慧.基于數(shù)學(xué)形態(tài)學(xué)的圖像噪聲處理[J].信息技術(shù),2006,30(6):45-46.

[12] 王 驊.彩色圖像中人臉檢測(cè)與跟蹤研究[D].南京:南京理工大學(xué),2009.

[13] 盧緒軍,趙勛杰.一種基于膚色和模板匹配的人臉檢測(cè)方法[J].計(jì)算機(jī)應(yīng)用與軟件,2011,28(7):112-114.

[14]KasturiS，VanjareA，OmkarSN.AutomatichumanfacerecognitionusingmultivariateGaussianmodelandfisherlineardiscriminativeanalysis[J].ICTACTJournalonImageandVideoProcessing,2014,5(1):899-902.

Face Detection and Extraction Based on Skin-color Information and Template Matching

SHAO Hong,GENG Hao

(School of Information Science and Engineering,Shenyang University of Technology, Shenyang 110870,China)

With the development of human-computer interaction,face detection,an important part of face recognition,has got more and more attention.The key of face detection is accuracy and efficiency.The speed of face detection by skin-color information is fast and it is easy to be implemented,but the accuracy is not high.A method combined skin-color information and template matching is put forward for face detection.First of all,the skin-color Gaussian model in YCbCr color space to segment the area of skin is used.After the processing of expansion corrosion,aspect rating,Euler number and other rules,the rough face detection is completed.Then fine face detection by template matching is accomplished.Face region is circled and extracted to form series of face image.Experiments show that the accuracy of the combined method is higher and the speed is faster.

color space;skin-color Gaussian model;skin-color information;template matching;face detection

2016-01-19

2016-05-12

時(shí)間：2016-10-24

遼寧省高等學(xué)校優(yōu)秀人才支持計(jì)劃(LJQ2013013)

邵 虹(1974-)，女，博士，教授，CCF會(huì)員，研究方向?yàn)閳D像處理與模式識(shí)別；耿 昊(1991-)，男，碩士研究生，研究方向?yàn)閳D像處理與模式識(shí)別。

http://www.cnki.net/kcms/detail/61.1450.TP.20161024.1113.030.html

TP391

A

1673-629X(2016)11-0049-05

10.3969/j.issn.1673-629X.2016.11.011