基于AdaBoost算法和色彩信息的臉部特征定位

寧　娟　朱　敏　戴李君

(華東師范大學(xué)信息科學(xué)技術(shù)學(xué)院　上海 200062)

?

基于AdaBoost算法和色彩信息的臉部特征定位

寧娟朱敏*戴李君

(華東師范大學(xué)信息科學(xué)技術(shù)學(xué)院上海 200062)

摘要針對臉部特征定位提出一種新型的基于AdaBoost算法和色彩信息的方法。首先用參考白光照補償法對臉部區(qū)域進(jìn)行光線補償，然后用AdaBoost算法的級聯(lián)分類器快速定位圖像中的臉部區(qū)域，最后根據(jù)臉部膚色與臉部特征在色彩信息上的區(qū)別，建立眼部模型和嘴部模型，實現(xiàn)眼睛與嘴巴定位。實驗結(jié)果表明，基于該方法的臉部特征定位具有較高檢測率和實用性，同時嘴巴定位不易受到表情變化的影響。

關(guān)鍵詞AdaBoost算法人臉檢測臉部特征定位色彩信息

0引言

臉部特征定位，即在給定的圖像區(qū)域內(nèi)搜索部分或所有臉部特征(如眼睛、鼻子、嘴巴等)的位置[1]。臉部特征定位是人臉識別應(yīng)用中的一個重要組成部分。人臉識別廣泛運用于人臉信息提取、處理以及分類，具體應(yīng)用包括鏡頭聚焦、人臉考勤、圖像分類以及身份識別等。而臉部特征定位則作為人臉檢測[2]、人臉識別的重要依據(jù)，提供豐富的定位信息，為后期識別和處理人臉信息打下良好的基礎(chǔ)。

Rein-Lien Hsu等[3]在YCbCr色彩空間中利用非線性顏色變換定位膚色區(qū)域，然后根據(jù)臉部特征的色彩信息在膚色區(qū)域上定位所有可能的眼睛與嘴巴，最后利用霍夫變換抽取眼睛與嘴巴形成的最佳橢圓，達(dá)到人臉檢測[2]以及精確定位臉部特征的效果。文獻(xiàn)[4]通過AdaBoost算法首先定位人臉，然后在人臉區(qū)域用訓(xùn)練人眼樣本得出的人眼檢測器定位眼睛。文獻(xiàn)[5]通過結(jié)合改進(jìn)的AdaBoost算法和模板匹配的方法定位眼睛。

本文提出基于AdaBoost[6-8]算法和色彩信息的臉部特征定位方法。首先對待測圖片進(jìn)行參考白光照補償改善圖片色彩偏差，其次基于AdaBoost算法快速定位臉部區(qū)域排除大量非臉部區(qū)域，然后在檢測到的區(qū)域內(nèi)利用臉部特征的色彩信息建立眼睛與嘴部模型，最后利用閾值分割定位眼睛和嘴巴。臉部特征定位流程如圖1所示。

圖1　臉部特征定位流程圖

1光線補償

由于膚色、臉部特征等色彩信息容易被光源和圖像采集設(shè)備所影響，容易導(dǎo)致圖像在整體上偏離本質(zhì)色彩。Anil K.Jain提出的參考白光照補償法能夠有效改善這一問題。首先在YCbCr色彩空間中按照從大到小的順序排列圖像中所有的亮度色彩分量，提取前5%的像素點(像素數(shù)量足夠多)，將這些像素點對應(yīng)在RGB色彩空間的R、G、B分量值調(diào)整為最大的255，即所謂“參考白”。計算當(dāng)前的調(diào)整因子，按照這一調(diào)整因子調(diào)整圖像中所有其他像素。實驗結(jié)果表明，基于參考白光照補償法能夠很好的改善圖像的整體色彩偏離。

2人臉檢測

2.1Haar-like特征和積分圖像

基于AdaBoost算法的人臉檢測將表征樣本圖像的矩形特征，也就是Haar-like特征，作為分類的依據(jù)。Haar-like特征有許多種類，常見的四類Haar-like特征如圖2所示。

圖2　Haar-like特征的四種常見模型

將一個Haar-like特征模型置于人臉樣本的任意位置，用白色矩形對應(yīng)的樣本像素值之和減去黑色矩形對應(yīng)的像素值之和，并將計算得到的值作為一個Haar-like特征值。為了能夠快速計算Haar-like特征值，Viola[6]等人提出了積分圖像的概念。點(x,y)的積分圖像定義如下：

ii(x,y)=∑x′≤x,y′≤yi(x′,y′)

(1)

其中，i(x′,y′)表示當(dāng)前像素點的灰度值；

利用式(2)、式(3)兩個遞推公式，可以在只遍歷一次樣本的前提下即得出所有點的積分圖像。s(x,y)表示當(dāng)前行的前(x-1)個像素點灰度值之和。

s(x,y)=s(x,y-1)+i(x,y)

(2)

ii(x,y)=ii(x-1,y)+s(x,y)

(3)

2.2 AdaBoost算法

基于AdaBoost算法的人臉檢測是結(jié)合積分圖像和AdaBoost算法的一種快速人臉檢測方法。該方法使用Haar-like特征描述人臉樣本，然后用AdaBoost算法訓(xùn)練所有特征，每輪訓(xùn)練結(jié)束可以得到一個最佳的描述人臉樣本的特征，與此同時提高當(dāng)前分類錯誤樣本圖像的權(quán)重。經(jīng)過數(shù)輪訓(xùn)練后，得到若干個弱分類器，最后通過加權(quán)弱分類器獲得一個強分類器。

具體的算法描述如下所示：

1) 輸入：(x1,y1),(x2,y2),…,(xL,yL),其中，xi∈X，X表示樣本集合，yi∈Y={0,1},Y表示樣本類別。在人臉檢測的相關(guān)應(yīng)用中，0表示非人臉類別，1表示人臉類別。

2) 初始化所有樣本的權(quán)重，具體公式如下：

(4)

其中，j表示樣本類別；m表示正類樣本的個數(shù)，n表示負(fù)類樣本的個數(shù)；L=m+n。

3) 進(jìn)行T輪訓(xùn)練，t=1,2,3,…,n：

① 歸一化所有樣本的權(quán)重：

(5)

② 針對每一個特征j，訓(xùn)練一個簡單的弱分類器：

(6)

其中，θj表示閾值；pj=±1，表示不等式方向；

③ 計算弱分類器對應(yīng)的分類誤差：

(7)

④ 選擇分類誤差最小的弱分類器，記錄當(dāng)前弱分類器的錯誤率εt，同時利用式(8)更新所有樣本權(quán)重：

(8)

4) 加權(quán)組合T個弱分類器，構(gòu)成一個強分類器：

(9)

其中：αt=-logβt；

AdaBoost算法在進(jìn)行T輪迭代后，形成的強分類器具有較好的分類效果，然而在實際應(yīng)用中一個強分類器遠(yuǎn)遠(yuǎn)無法滿足需求，不論是檢測時間還是檢測效率。這時通過使用級聯(lián)分類器可以有效改善這一問題。

級聯(lián)分類器是一系列強分類器的組合，其中弱分類器的個數(shù)隨著級聯(lián)分類器層數(shù)的增加而增加。也就是說越靠前的層中使用的強分類器越簡單，計算速度越快。雖然隨著層數(shù)的增加強分類器會變得越來越復(fù)雜，但這時需要檢測的樣本數(shù)量卻越來越少，檢測的速度仍然能夠加快，因此級聯(lián)分類器具有較好的實時性與較高的檢測率。

本文使用C++與OpenCV實現(xiàn)基于AdaBoost算法人臉檢測，檢測效果如圖3所示。

圖3　基于AdaBoost算法的人臉檢測結(jié)果

3臉部特征定位

3.1眼睛定位

在YCbCr色彩空間，眼睛的藍(lán)色色度分量較高而紅色色度分量較低，同時瞳孔與眼白的亮度反差較大。根據(jù)這兩個特點，建立兩個獨立的眼部模型，分別基于色度和亮度分量，然后對兩個獨立模型實現(xiàn) “與”操作，強調(diào)出公共眼睛部位。眼睛定位過程如圖4所示。

圖4　眼睛定位過程

具體定位過程如下：

1) 建立基于色度分量的眼部模型：

(10)

2) 由于眼睛在亮度分量上既有深色像素又有亮色像素，為了能夠突出眼睛亮度的這一特征，可以通過使用形態(tài)學(xué)操作[9]強調(diào)亮色像素和深色像素。形態(tài)學(xué)操作包括膨脹與腐蝕操作，膨脹操作強調(diào)亮色像素，腐蝕操作則強調(diào)深色像素。形態(tài)學(xué)操作將結(jié)構(gòu)元素作用于輸入圖像獲得輸出圖像。本文選用的結(jié)構(gòu)元素為半球狀的灰度級結(jié)構(gòu)元，如圖5所示。

圖5　半球狀的灰度級結(jié)構(gòu)元

建立基于亮度分量的眼部模型：

(11)

其中，P2(x,y)表示當(dāng)前像素點(x,y)的灰度值，Y(x,y)表示圖像在YCbCr色彩空間的亮度分量。⊕表示灰度范圍內(nèi)的膨脹操作，?表示腐蝕操作，G(x,y)表示形態(tài)學(xué)的結(jié)構(gòu)元。

3) 將P1(x,y)直方圖均衡化后再與P2(x,y)進(jìn)行乘積操作，即：

P(x,y)=P1(x,y)×P2(x,y)

(12)

4) 對圖像進(jìn)行膨脹與濾波操作，擴(kuò)展圖像亮區(qū)的同時去除噪音。

5) 閾值分割，定位人眼。

3.2嘴巴定位

由于嘴部區(qū)域的色彩分量比臉部的其他區(qū)域包含更多的紅色像素而含有更少的藍(lán)色像素。因此可推測出在YCbCr色彩空間的嘴部區(qū)域內(nèi)表征紅色色度分量的Cr值要明顯大于表征藍(lán)色色度分量的Cb值，進(jìn)一步可推斷出嘴部區(qū)域的Cr/Cb值偏小，而Cr2的值則相對偏大。通過重構(gòu)嘴部區(qū)域的色度分量，強調(diào)嘴部的色彩特征，建立嘴部模型，實現(xiàn)定位。定位過程如圖6所示。

圖6　嘴巴定位過程

具體定位過程如下：

1) 根據(jù)公式建立嘴部模型：

(13)

P′(x,y)表示像素點(x,y)的灰度值，Cr2和Cr/Cb都已被歸一化至[0,255]范圍之內(nèi)。

(14)

其中，n表示臉部區(qū)域的像素數(shù)量，η表示臉部區(qū)域Cr2和Cr/Cb的均值之間的比例系數(shù)。

2) 對圖像進(jìn)行膨脹與濾波操作，擴(kuò)展圖像亮區(qū)的同時去除噪音。

3) 閾值分割，定位嘴巴。

4實驗結(jié)果

針對本文提出的基于AdaBoost算法和色彩信息的臉部特征定位方法，選用CLV Face Database以及NLPR Face Database進(jìn)行實驗測試。CLV Face Database中為彩色人臉圖片，包含114個人的表情、姿勢變化的797幅圖片，每個人分別具有正面、正面微笑、正面露齒笑、左右側(cè)身以及45度左右側(cè)身的7幅圖片(個別缺失)。NLPR Face Database包括27個人在不同光照和背景下的450張人臉圖片。

本文針對眼睛和嘴巴定位，在CLV Face Database和NLPR Face Database的基礎(chǔ)上建立3個實驗圖庫。第一組自建圖庫選取100張NLPR Face Database包含人臉的圖片；第二組自建圖庫選取正面、正面微笑以及45度左右側(cè)身的100張CLV Face Database的彩色人臉圖片。第三組自建圖庫選取正面、正面微笑、正面露齒笑的三組包括50人的150張CLV Face Database的彩色人臉圖片。部分測試圖片如圖7、圖8、圖9所示。

圖7　第一組自建圖庫的部分測試圖片

圖8　第二組自建圖庫的部分測試圖片

圖9　第三組自建圖庫的部分測試圖片

實驗測試環(huán)境為Windows 7系統(tǒng)，基于C++與OpenCv。

實驗1包含兩組對比實驗，實驗的主要目的是研究在光照的影響下，使用基于AdaBoost算法和色彩信息的臉部特征定位對眼睛定位的影響。對比實驗1使用自建圖庫1，對比實驗2使用自建圖庫2。實驗結(jié)果見表1與表2所示。部分實驗結(jié)果如圖10、圖11所示。

表1　左眼與右眼定位檢測率對比

圖10　基于AdaBoost算法和色彩信息的眼睛定位檢測結(jié)果圖

算法左眼定位檢測率右眼定位檢測率基于Adaboost算法和色彩信息的臉部特征定位85%60%

圖11　基于AdaBoost算法和色彩信息的眼睛定位檢測結(jié)果圖

實驗2使用自建圖庫3，實驗的主要目的是研究在表情變化時，使用基于Adaboost算法和色彩信息的臉部特征定位對嘴巴定位的影響。實驗結(jié)果見表3所示。

表3　嘴巴定位檢測率

部分實驗結(jié)果如圖12所示。

圖12　嘴巴定位檢測結(jié)果圖

實驗3使用自建圖庫1，包含一組對比實驗，實驗的主要目的是對分別使用基于AdaBoost算法和色彩信息的臉部特征定位以及文獻(xiàn)[4]提出的基于AdaBoost算法的人眼定位的檢測率進(jìn)行對比。實驗結(jié)果見表4所示。

表4　人眼定位檢測率

部分實驗結(jié)果如圖13和圖14所示。

圖13　基于AdaBoost算法和色彩信息的眼睛定位檢測結(jié)果圖

圖14　基于AdaBoost算法的人眼定位檢測結(jié)果圖

5結(jié)語

本文利用基于AdaBoost算法和臉部特征的色彩信息定位眼睛與嘴巴。該方法首先對待測圖片進(jìn)行光照補償，其次通過AdaBoost算法快速定位臉部區(qū)域，然后根據(jù)膚色與臉部特征在色彩信息上的差異，建立眼部與嘴部模型，實現(xiàn)眼睛與嘴巴定位。

實驗1的結(jié)果表明，基于AdaBoost算法和色彩信息的眼睛定位具有較高的檢測率。第一組實驗的自建圖庫均為臉部光照均勻的彩色人臉圖片，左眼與右眼的色彩特征能夠很好地被表現(xiàn)出來，具有較高檢測率。第二組實驗的自建圖庫中，大部分圖片的光源來自于臉部左側(cè)，實驗的最初雖然已經(jīng)對待測圖片進(jìn)行了光線補償，但仍然無法消除光照不均帶來的影響。因此在建立眼部模型時，左眼的色彩信息特征能夠被很好地表現(xiàn)出來，而右眼模型由于受到光照的影響產(chǎn)生了偏差，因此不能很好地表現(xiàn)出色彩信息特征，檢測率遠(yuǎn)不及左眼。經(jīng)過對比分析兩組實驗發(fā)現(xiàn)，基于本文方法的眼睛定位容易受到光照影響，通用性較差。然而本文的眼睛定位是基于眼部在亮度和色度上的色彩信息特征而提出的，光照影響無法避免，但可以通過進(jìn)一步研究改進(jìn)眼部模型，適當(dāng)減小亮度信息在眼部模型中所占比例，從而減小光照不均帶來的影響。

實驗2的結(jié)果表明，嘴巴表現(xiàn)出的色彩信息較為特殊，所受到的環(huán)境干擾較小，因此基于本文方法的嘴巴定位具有較高的檢測率。且嘴巴定位的檢測率高于眼睛定位。

實驗3的結(jié)果表明，基于文獻(xiàn)[4]的人眼定位方法對于光照的影響較小，這一點毋庸置疑優(yōu)于本文提出的人眼定位方法；然而對于部分戴眼鏡的人臉圖片、表情發(fā)生變化的人臉圖片以及眼睛特征較不明顯的人臉圖片來說，基于文獻(xiàn)[4]的人眼定位方法沒有辦法實現(xiàn)定位，這是由于訓(xùn)練集缺失和人眼的特征較于人臉來說更加難以表征所導(dǎo)致，針對這一點來說，基于AdaBoost算法和色彩信息的臉部特征定位則能夠更加準(zhǔn)確的定位到人眼目標(biāo)。

總而言之，基于AdaBoost算法和色彩信息定位臉部特征具有較高的檢測率，實現(xiàn)起來簡單易行，具有一定的實用性以及后續(xù)研究拓展性。

參考文獻(xiàn)

[1] 林維訓(xùn)，潘綱，吳朝暉，等.臉部特征定位方法[J].中國圖象圖形學(xué)報，2003，8(8)：849-859.

[2] 梁路宏，艾海舟，徐光祐,等.人臉檢測研究綜述[J]. 計算機學(xué)報，2002，25(5)：449-458.

[3] Hsu R，Abdel Mottaleb M，Jain A K.Face Detection In Color Images[J].IEEE Transactions On Pattern Analysis And Machine Intelligence，2002，24(5)：696-706.

[4] 王基帆，錢藝，童衛(wèi)青.基于AdaBoost算法的人眼定位[J]. 現(xiàn)代計算機(專業(yè)版)，2009(9)：73-75.

[5] 王江波，李紹文.基于AdaBoost算法和模板匹配的人眼定位[J].計算機測量與控制，2012，20(5)：1347-1353.

[6] Viola P， Jones M. Rapid Object Detection Using a Boosted Cascade of Simple Features[C]//Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition，2001，1：511-518.

[7] Schapire R.E.A Brief Introduction of Boosting[C]//Proceedings of 16thInternational Joint Conference on Artificial Intelligence，1990，14：377-380.

[8] 董樂紅，耿國華，高原.Boosting 算法綜述[J].計算機應(yīng)用與軟件，2006，23(8)：27-29.

[9] Rafael C Gonzalez，Richard E.Woods.數(shù)字圖像處理[M].阮秋琦，阮宇智，等譯.3版.北京：電子工業(yè)出版社，2013.

LOCALISATION OF FACIAL FEATURES BASED ON ADABOOST ALGORITHM AND COLOUR INFORMATION

Ning JuanZhu Min*Dai Lijun

(CollegeofInformationScienceandTechnology,EastChinaNormalUniversity,Shanghai200062,China)

AbstractWe proposed a novel method for facial features localisation, which is based on AdaBoost algorithm and colour information. First, we used the “reference white” illumination compensation approach to compensate the light on face area; then we used the cascaded classifier of AdaBoost to rapidly locate the face area in image. Finally, according to the difference of colour information between complexion and facial features, we built eyes model and mouth model to realise the location of eyes and mouth. Experimental result showed that the facial feature localisation based on this method has higher detection rate and practicability, at the same time the mouth localisation is less conducive to be affected by face expressions as well.

KeywordsAdaBoostFace detectionFacial features localisationColour information

收稿日期：2015-07-24。寧娟，碩士生，主研領(lǐng)域：圖像處理，模式識別。朱敏，高工。戴李君，工程師。

中圖分類號TP391

文獻(xiàn)標(biāo)識碼A

DOI:10.3969/j.issn.1000-386x.2016.05.052