基于改進(jìn)的MBLBP人臉檢測算法設(shè)計(jì)與實(shí)現(xiàn)

薛賓田

（河南牧業(yè)經(jīng)濟(jì)學(xué)院 信息工程學(xué)院，河南鄭州，450053）

0 引言

人臉檢測在計(jì)算機(jī)視覺研究中是一個具有挑戰(zhàn)性的課題。因?yàn)槿四槞z測的環(huán)境復(fù)雜多樣，特別是在圖像背景比較復(fù)雜的情況下，人臉檢測的錯誤率很高，許多背景被錯誤檢測為人臉，針對此問題人們提出進(jìn)行基于特征的人臉的方法?；谔卣鞯娜四槞z測是使用掃描窗口掃描整個圖像，并計(jì)算掃描窗口中的特征向量[1]，然后使用強(qiáng)分類器對這些特征向量進(jìn)行判斷該特征向量是否符合人臉特征。通過分析和對比Haar特征和MBLBP(Multi block Local Binary Pattern)特征作為人臉特征在人臉檢測算法中的優(yōu)缺點(diǎn)[2~3]，本文選擇使用MBLBP作為人臉特征并對該特征進(jìn)行改進(jìn)。改進(jìn)后的基于MBLBP特征人臉檢測不僅提高了在復(fù)雜環(huán)境下檢測的準(zhǔn)確率，而且與基于Haar特征人臉檢測算法相比檢測速度更快。

1 問題分析及人臉特征分析

■ 1.1 復(fù)雜背景下人臉檢測問題分析

通常復(fù)雜背景下基于特征的人臉檢測算法會將背景中的一些區(qū)域判斷為人臉，因?yàn)榇藭r許多特征和人臉特征具有相似性，從而將背景錯誤判斷為人臉，因此誤檢率或虛警率較高。

針對復(fù)雜背景情況下檢測錯誤率較高的問題，有兩種解決辦法。一種是尋找更加具有區(qū)分度的特征來描述人臉，或者使用特征融合進(jìn)行人臉描述，Yuseok Ban等將Haar特征和LBP特征進(jìn)行融合建立人臉分類器，但是特征數(shù)量的增加會降低人臉檢測的速度，同時對人臉特征強(qiáng)度要求太過于嚴(yán)格會造成人臉漏檢的情況。因此簡單增加人臉特征數(shù)量是行不通的，這會導(dǎo)致計(jì)算速度以及檢測準(zhǔn)確率等問題。

另一種方法就是利用膚色特征，先利用膚色與背景明顯不同的顏色特征將人臉和相似的膚色區(qū)域和圖形中復(fù)雜的背景部分分離出來，然后在這些被分離出的膚色區(qū)域進(jìn)行基于特征的人臉檢測[4~5]。這樣可以提高人臉檢測的準(zhǔn)確率；為提高檢測速度，我們還需要一種尋找能保持人臉檢測準(zhǔn)確率的同時檢測速度也較快的特征。經(jīng)過分析本文采用經(jīng)過改進(jìn)的MBLBP特征作為人臉檢測的新特征。

■ 1.2 Haar特征和MBLBP特征

Haar特征也稱為矩形特征，該特征是由Papageorgiou等人進(jìn)行科研時提出的，主要應(yīng)用于人臉特征的表示。Viola等人對Haar特征進(jìn)行了擴(kuò)展，并成功地應(yīng)用到人臉檢測中，主要有5種。這五種特征共分為三類，分別為二矩形組成的特征、三矩形組成的特征和四矩形組成特征，每個矩形中的子矩形大小和形狀都是相同的。Haar特征的特征值是矩形特征中白色矩形框和黑色矩形框所對應(yīng)檢測窗口中灰度圖像所有像素點(diǎn)值的和的差值。這些特征能夠很好地刻畫人臉的一些具體特征。

Haar特征中的二矩形特征主要用來描述垂直或者水平方向有變化的特征，在人臉中表現(xiàn)為人的眼睛部分和臉頰部分的變化；三矩形特征主要表示這兩個方向中更復(fù)雜的變化，在人臉中表現(xiàn)為人的鼻梁和兩邊臉頰的變化，因?yàn)楸橇夯叶戎狄话惚葍蓚?cè)的臉頰較低，如圖 1所示。從圖中可以看出，上述Haar特征可以很好的反應(yīng)人臉特征，但是這些Haar特征數(shù)量很大，必須使用相應(yīng)算法從這些特征中挑選出最佳特征。若需要計(jì)算這些Haar特征，則需要計(jì)算出每個特征相對于矩形內(nèi)灰度值的和，這個過程是非常耗時的，這將大大降低人臉訓(xùn)練和檢測的速度。針對此問題，Viola等人引入了積分圖(Integral Image)概念。

圖1 人臉Haar特征

積分圖是將圖像上任意一點(diǎn)到圖像起始點(diǎn)形成的矩形內(nèi)像素點(diǎn)灰度值的和作為一個二維數(shù)組的值保存，得到的二維數(shù)組就是積分圖。當(dāng)要計(jì)算圖像上某個矩形區(qū)域內(nèi)像素值的和時，可以直接引用數(shù)組的值利用這些數(shù)組的值直接進(jìn)行加減就可以得到矩形面積，而不用每次都計(jì)算矩形區(qū)域內(nèi)像素灰度值的和。對于圖像內(nèi)一點(diǎn)a(x,y)，其積分圖ii(x,y) 的定義如下，式中i(x',y')表示原圖像中在該點(diǎn)的灰度像素值：

根據(jù)積分圖的定義可知，每個像素點(diǎn)的積分值是從當(dāng)前像素點(diǎn)到起始點(diǎn)坐標(biāo)(1,1)形成的矩形內(nèi)所有像素灰度值總和。所以ii(x,y)可以通過以下迭代式得到。

式 2 中s(x,y)代表當(dāng)前像素點(diǎn)i(x,y)和y軸方向上所有像素點(diǎn)的和。用數(shù)學(xué)公式表示為：

并且定義ii(0,y)=0，s(x,0)=0。圖2是人臉灰度圖和積分圖圖像。從圖中可以看出積分圖越到底部亮度越大，因?yàn)閳D像的矩形區(qū)域越大灰度值和越大，所以圖像像素越亮。

圖2 灰度圖與積分圖

盡管積分圖的提出解決了Haar特征值計(jì)算較慢的問題，但是當(dāng)Haar特征數(shù)量非常巨大時，這些特征值的計(jì)算仍然要花費(fèi)很長時間。而通常情況下Haar特征的數(shù)量確實(shí)很大，如在19×19的圖像中，Haar特征就有近16萬個，特征數(shù)量巨大導(dǎo)致訓(xùn)練和檢測速度降低。另外Haar只能對邊緣、線條和中心特征進(jìn)行描述，人臉的其他特征Haar特征往往無能為力，如人臉的兩個眼睛和鼻子構(gòu)成的三角特征Haar就無法表示，而使用紋理特征則要可以。

紋理特征是圖像中由于灰度和顏色的不同而表現(xiàn)出的一種特征，在人的直觀上紋理顯示的是圖像的平滑性、稀疏性和規(guī)則性等特點(diǎn)。紋理特征和其他特征相比，不僅包含了灰度信息的空間特性，還包含了圖像表面信息和周圍像素點(diǎn)的信息。LBP特征(Local Binary Pattern)是一種算子，可以用來描述圖像局部紋理特征，能夠很好的描述圖像的局部信息和全局信息。MB-LBP特征是LBP的一種推廣。MBLBP在LBP窗口的基礎(chǔ)上分別在垂直和水平方向進(jìn)行放大，尺寸不固定，但是還是分為9個方塊。MBLBP的這一特征能夠很好的描述人臉的局部細(xì)節(jié)特征和全局特征。

原始的LBP算子是一個3×3的窗口，并以窗口中心像素作為閾值，然后與其他八個像素點(diǎn)進(jìn)行比較，若像素點(diǎn)大于中心像素點(diǎn)的值就標(biāo)記為1，否則標(biāo)記為0，這樣一個3×3的窗口可以產(chǎn)生一個八位的二進(jìn)制數(shù)，表示的特征種類有256個，可以用來代表紋理信息。

MBLBP特征也是一個3×3的方格，但是每個方格并不是一個像素而是由很多像素組成。MBLBP特征值是通過中心區(qū)域矩形內(nèi)像素的平均值gc和該矩形區(qū)域的八鄰域矩形{g1,...,g8}進(jìn)行比較，同LBP特征計(jì)算規(guī)則一樣，如果八鄰域矩形平均值大于中心區(qū)域像素點(diǎn)平均值標(biāo)記為1，反之標(biāo)記為0，將八個鄰域標(biāo)記進(jìn)行組合得到 MBLBP二進(jìn)制編碼值。

MBLBP特征由于可以放大縮小窗口，適于描述從微觀到宏觀的特征，因而比Haar特征更適合作為人臉特征。根據(jù)MBLBP特征的定義，也可以使用積分圖來提高M(jìn)BLBP特征值的計(jì)算速度。MBLBP特征和Haar相比能夠描述的圖像特征比較多，在圖像的不同位置，以不同大小的特征分別可以描述邊、線、點(diǎn)和角等。通常情況下，MBLBP特征的數(shù)量比Haar少的多，如在一個20乘20的窗口內(nèi)只有3969個MBLBP，此時Haar特征有45891個，因此基于MBLBP特征的人臉訓(xùn)練和檢測速度都比Haar特征快。

2 改進(jìn)的MBLBP人臉檢測算法

■ 2.1 MBLBP特征存在的問題

將膚色分割預(yù)處理與基于特征的人臉檢測兩種方法結(jié)合起來能夠很好地解決復(fù)雜環(huán)境下人臉檢測問題。膚色分割將圖像中復(fù)雜的背景過濾掉減少背景對檢測算法的干擾，然后由基于特征的人臉檢測算法對分割結(jié)果進(jìn)行檢測。

盡管MBLBP特征能描述更加豐富的人臉特征，而且特征總量少，訓(xùn)練分類器和檢測速度都比較快，但是MBLBP特征也有一些問題，如當(dāng)中心矩形灰度值比所有相鄰矩形的灰度值都大或小時，就不能準(zhǔn)確的描述中心像素與周圍像素的細(xì)微差別，因?yàn)榇藭r只使用了中心矩形的灰度值與相鄰矩形的灰度值進(jìn)行比較，比如在圖 3所示情況下，MBLBP特征的計(jì)算結(jié)果為0，沒有反映這個差別。

圖3 特殊MBLBP值

所以本文在MBLBP的基礎(chǔ)上對其進(jìn)行改進(jìn)使MBLBP特征能夠更加細(xì)致的描述人臉特征，從而提高人臉在復(fù)雜環(huán)境或者光照變化情況下檢測準(zhǔn)確率。

■ 2.2 MBLBP特征的改進(jìn)

在灰度圖像中灰度值變化較大的地方，通常具有較多的紋理信息，而灰度值均勻分布的區(qū)域紋理信息較少，原來的MBLBP特征無法區(qū)分一些灰度值變化較大的特殊特征。比如現(xiàn)在有兩個MBLBP特征，每個特征的八鄰域矩形區(qū)域灰度均值都比中心矩形灰度均值點(diǎn)小，兩個MBLBP特征值都是0，但是第一個MBLBP特征的第一行中三個矩形區(qū)域內(nèi)的灰度均值比第三行內(nèi)三個矩形內(nèi)的灰度均值大，第二個MBLBP特征正好相反，所以兩個MBLBP特征是有區(qū)別的。

本文改進(jìn)的地方是，讓鄰域內(nèi)每個矩形區(qū)域灰度均值和九個矩形灰度值的全局均值μ進(jìn)行比較，如果差值的絕對值大于這個九個矩形區(qū)域灰度均值的均方差δ，該區(qū)域標(biāo)記為1，反之標(biāo)記為0。

改進(jìn)后的MBLBP特征值不僅可以描述中心矩形區(qū)域灰度均值較大的特征，而且也可以描述較小的灰度均值特征，同時可以過濾掉一些灰度均值基本和中心區(qū)域均值相同的紋理信息。所以改進(jìn)后的MBLBP特征能夠更細(xì)致的描述人臉特征。

圖4 是對人臉原MBLBP特征和改進(jìn)后MBLBP特征值分布進(jìn)行對比試驗(yàn)。從實(shí)驗(yàn)結(jié)果可以看出，原MBLBP特征中特征值集中在0和255的比較多（圖b最左和最右兩側(cè)），這樣使其他特征值的區(qū)分度降低；而改進(jìn)后的MBLBP特征將原來特征值為0和255的特征進(jìn)行了更加細(xì)致的區(qū)分（峰值不再集中到0和255）。

圖4 原MBLBP和改進(jìn)MBLBP特征值分布對比

3 實(shí)驗(yàn)及結(jié)果分析

實(shí)驗(yàn)一主要證明改進(jìn)MBLBP特征具有描述更多特征的優(yōu)點(diǎn)?；贖aar特征、MBLBP特征和改進(jìn)的MBLBP特征在人臉數(shù)據(jù)庫MIT上學(xué)習(xí)并生成分類器，MIT人臉數(shù)據(jù)庫中共有7087個訓(xùn)練樣本，其中人臉圖像有2706張，非人臉圖像有4381張。

實(shí)驗(yàn)二對基于Harr特征、基于膚色分割算法和本文基于改進(jìn)的MBLBP特征的三種人臉檢測算法進(jìn)行對比試驗(yàn)。實(shí)驗(yàn)平臺：matlab R2013a，實(shí)驗(yàn)數(shù)據(jù)：MIT人臉數(shù)據(jù)庫，由麻省理工大學(xué)提供。

■ 3.1 實(shí)驗(yàn)一及結(jié)果分析

圖5(a)是三個由不同數(shù)量弱分類器構(gòu)成的強(qiáng)分類器的檢測錯誤率對比，檢測錯誤率指將人臉檢測為非人臉和將非人臉檢測為人臉的總數(shù)量與總測試樣本數(shù)量的比值。

圖5 不同特征分類器誤檢率對比

從圖5(a)中可以看出，在使用相同數(shù)量的特征進(jìn)行檢測時，改進(jìn)后的MBLBP特征分類器具有較低的錯誤率。圖5(b)是三種特征類型分類器的ROC曲線，即在虛警率和相應(yīng)的檢測率形成的曲線，從圖中可以看出當(dāng)虛警率為0.25時，改進(jìn)MBLBP特征形成的分類器檢測率比Haar特征分類器大約高0.07，比原來MBLBP特征分類器檢測率高0.04。以上實(shí)驗(yàn)說明，基于改進(jìn)后的MBLBP特征對人臉更具有區(qū)分度，主要因?yàn)楦倪M(jìn)的MBLBP特征能夠描述更多圖像的紋理信息。

■ 3.2 實(shí)驗(yàn)二及結(jié)果分析

圖6 是基于Haar特征人臉檢測，基于膚色分割算法人臉檢測和本文算法的對比試驗(yàn)。

圖6 多人臉檢測結(jié)果

圖6只是部分實(shí)驗(yàn)結(jié)果，為了對比三個算法檢測率和誤檢率，本文一共在50張多人臉圖片，共350個人臉的測試樣本上進(jìn)行了實(shí)驗(yàn)，分別統(tǒng)計(jì)了基于Haar特征人臉檢測，基于膚色分割人臉檢測和本文提出的人臉檢測算法的檢測率和誤檢率，統(tǒng)計(jì)結(jié)果如表 1所示。

表1 人臉檢測統(tǒng)計(jì)表

試驗(yàn)結(jié)果表明，本文算法與基于Haar特征的人臉檢測算法相比具有較高檢測率同時，也降低了將背景錯誤檢測為人臉的數(shù)量。由于基于Haar特征的人臉檢測要在整幅圖像中掃描人臉，而有些背景特征與人臉特征比較相似，所以會將一些背景錯誤的判斷為人臉?；谀w色的人臉檢測檢測率很高，但是錯誤率也比較高，主要是因?yàn)槿说氖植炕蛘咂渌w色區(qū)域容易被錯誤的判斷為人臉，如圖6(b)實(shí)驗(yàn)結(jié)果。

盡管在膚色分割情況下人臉檢測錯誤率很高，但是當(dāng)膚色檢測與基于改進(jìn)MBLBP特征人臉檢測結(jié)合后人臉檢測效果很好，如圖 6 (c)實(shí)驗(yàn)結(jié)果，因?yàn)榛诟倪M(jìn)MBLBP特征人臉檢測方法會在膚色區(qū)域進(jìn)行再次檢測剔除非人臉候選區(qū)域。而且由于膚色分割過濾掉了大部分背景區(qū)域，基于特征的檢測方法總的掃描窗口數(shù)量和檢測區(qū)域大小是成正比，所以基于改進(jìn)MBLBP特征的人臉檢測只是針對膚色區(qū)域進(jìn)行人臉檢測而不用去檢測非膚色區(qū)域，這樣便縮短了檢測時間。所以，本文算法在保證正確率的同時也加快了檢測速度。

4 總結(jié)

針對復(fù)雜背景下人臉檢測存在的一些問題進(jìn)行分析，并提出了相應(yīng)的解決辦法。然后對Haar特征和MBLBP特征進(jìn)行詳細(xì)的分析和比較，并將積分圖應(yīng)用到求解MBLBP特征值中，提高了MBLBP特征值的計(jì)算速度。由于MBLBP特征存在對紋理特征灰度變換較大的特征點(diǎn)無法詳細(xì)描述的缺點(diǎn)，本文對MBLBP特征進(jìn)行了改進(jìn)，并比較了原MBLBP特征和改進(jìn)后MBLBP特征值分布，改進(jìn)后的MBLBP特征能夠更加細(xì)致的描述人臉紋理特征。最后，將膚色分割和基于改進(jìn)MBLBP特征的人臉檢測結(jié)合起來，利用兩者的優(yōu)點(diǎn)成功解決了人臉在復(fù)雜背景下無法準(zhǔn)確檢測的問題。雖然本文能夠在一定程度上提高檢查速度和降低誤檢率，但是在人臉出現(xiàn)旋轉(zhuǎn)或者部分遮擋情況時本文會出現(xiàn)誤判情況，所以后期本文會針對人臉旋轉(zhuǎn)和部分遮擋問題改進(jìn)本文算法。