基于膚色模型和FloatBoost的多姿態人臉檢測

李全彬，劉錦高，黃 智

1.徐州師范大學 物理與電子工程學院，江蘇 徐州 221116

2.華東師范大學 通信工程系，上海 200062

基于膚色模型和FloatBoost的多姿態人臉檢測

李全彬1，劉錦高2，黃 智1

1.徐州師范大學 物理與電子工程學院，江蘇 徐州 221116

2.華東師范大學 通信工程系，上海 200062

1 引言

光照、表情、姿態、遮擋等都會在一定程度上影響人臉檢測的準確率，其中，姿態的變化對檢測結果的影響尤其明顯。而有研究表明，實際應用需處理的人臉圖像，超過75%都是多姿態的[1]。因此，多姿態的人臉檢測已經成為目前研究的一個熱點方向之一。

Miao等[2]利用拉普拉斯算子提取人臉6個主要器官的邊緣作為人臉模板，利用分層的方法較早地實現了復雜背景下的多姿態人臉檢測。但該方法只能檢測旋轉角度在－30°至+30°的灰度人臉圖像，并且檢測率只有86.7%。Li等[3]采用支持向量機訓練人臉姿態分類器，實現了多姿態的人臉檢測，但系統的運行速度離實際應用還有一定的差距。Huang等[4]通過一棵由粗到精標注了人臉的不同姿態的樹形檢測器實現了多姿態的人臉檢測。如果考慮到膚色信息，該系統的運行速度應該還有很大的提升。Wang[5]等用遞歸非參數鑒別分析（RNDA）方法提取人臉特征，利用Adaboost算法設計分類器，實現了多姿態的人臉檢測，但由于沒有考慮人臉的膚色信息，造成了部分誤檢，影響了檢測效果。Lin等[6]利用YCbCr顏色空間進行人臉區域的粗定位，然后利用訓練的神經網絡模型實現了多姿態的人臉檢測。該方法雖然考慮了膚色信息，但由于YCbCr分割閾值是個固定范圍，在某些復雜光照情況下會造成膚色區域定位失敗，造成檢測失敗。Chen[7]和Vural[8]根據不同姿態的人臉特征點信息，利用級聯分類器實現了多姿態的人臉檢測系統，對于標準化處理過的多姿態人臉圖像實現了較好的檢測效果。但由于提取的特征點過多并且沒有考慮膚色信息，對復雜環境下的圖像進行實時的多姿態人臉檢測在速度和準確度上都有一定的局限性。

本文利用光照魯棒的膚色模型來搜索可能人臉區域，并進行膚色分割，確定候選人臉區域，然后對人臉的關鍵特征進行定位，確定重要特征塊的中心，將這些中心點確定的符合條件的候選區域利用FloatBoost進行分類，最終快速準確的實現了多姿態的人臉檢測。系統的實現框圖如圖1所示。

圖1 多姿態人臉檢測系統實現框圖

2 膚色區域檢測

利用光照魯棒的膚色模型[9-10]，對輸入圖像進行膚色區域檢測，效果如圖2所示。

圖2 膚色區域檢測結果

3 人臉候選區域的搜索和分割

3.1 搜索特征和定位

經過膚色區域檢測后，背景、頭發等影響人臉檢測的因素基本被清除，即可在剩下的候選區域內進行特征搜索，待搜索特征采用Lin等[6]使用的三角形特征，但搜索策略有所增加。Lin等選擇的三角形的三個頂點為左眼、右眼和嘴唇，該三角形近似為等腰三角形，如圖3（a）所示。但如果偏轉角度接近90°，左眼或右眼的定位特征消失，將造成檢測失敗，如圖3（b）所示。為此，本文引入新的三角形特征，即：左眼（右眼）、鼻孔、嘴唇，如圖3（c）所示。

圖3 三角形特征和裁剪區域

為了對本文所提三角形特征的各個頂點進行準確定位，對Hsu等[11]提出的基于YCbCr顏色空間的彩色人臉圖像特征（眼睛和嘴巴）定位方法進行改進，即在獲取映射圖像后，對映射圖進行二值化，然后采用4-連通檢測的方法獲取其中的關鍵特征點區域，并按規則消除非特征點區域，實現了彩色/灰度圖像的眼睛、鼻子、嘴巴的準確定位，實現過程如圖4所示。

圖4 人臉特征點定位過程

3.2 搜索策略

由于搜索特征的變化，本文在Lin等采用的搜索策略基礎上，新增搜索策略如下：

其中，i為左眼或右眼塊的中心，j為嘴唇塊的中心，k為鼻孔塊的中心。D(i，j)為眼睛與嘴唇的歐式距離，D(i，k)為眼睛與鼻孔的歐式距離，D(j，k)為鼻孔與嘴唇的歐式距離。 Abs為絕對值。如果(i，j，k)坐標滿足上面三個匹配條件，則構成待選的三角區域。

一般分割的人臉區域應該包含眉毛至下巴的區域，修正Lin等的分割策略，解決其在檢測水平偏轉角度超過－15°以后造成的候選區域裁剪不當問題。修正策略如下（所有坐標值均取整，下同）：

其中，(Xi，Yi)表示左眼的中心，(Xj，Yj)表示嘴唇的中心，(Xk，Yk)表示右眼的中心。(X1，Y1)，(X2，Y2)，(X3，Y3)，(X4，Y4)分別表示圖3（d）所示分割區域的四個頂點。

由本文搜索策略確定的區域，分割坐標由下面的公式確定：

其中，(Xi，Yi)表示左眼或右眼的中心，(Xj，Yj)表示嘴唇的中心，(Xk，Yk)表示鼻孔的中心。 (X1，Y1)，(X2，Y2)，(X3，Y3)，(X4，Y4)分別表示圖3（d）所示分割區域的四個頂點。

經過以上步驟，一系列的人臉候選區域已經被確定，在將這些候選區域進行尺寸標準化，統一為60像素×60像素，即可送入FloatBoost分類器進行驗證，以最終確定真實的人臉區域。

4 FloatBoost算法

Freund等[12]提出的AdaBoost算法有一個前提假設，即隨著弱分類器的不斷增加，強分類器的分類性能也應該逐漸提高。但在實際應用中，這一單調性的假設如不能滿足，將造成弱分類器選擇失敗。此外，AdaBoost在訓練時，對于分類性能好的弱分類器增加權值，反之則減少權值，這將導致該算法在弱分類器的選擇中常常存在局部最優的問題，影響分類性能。因此，Li[1]等對AdaBoost算法進行了改進，提出了FloatBoost算法。該算法把浮動搜索（Floating Search）與AdaBoost算法結合起來，在前向搜索時引入回朔機制，將已選擇的強分類器中導致整體分類性能下降的弱分類器從級聯弱分類器中剔除掉，這種策略不僅解決了AdaBoost算法必須保證單調性的問題，也在很大程度上克服了AdaBoost算法存在的局部最優缺陷。

5 分類器的設計

基于該算法設計的人臉檢測分類器采用由粗到精的塔型策略，共3層，最上一層處理的姿態范圍為[-90，+90]，第二層細分姿態為三組，分別為[-90，-30]，[-30，+30]，[+30，+90]，第三層繼續將姿態細分，每偏轉20度為一個組，共9組，分別為 [-90，-70]，[-70，-50]，[-50，-30]，[-30，-10]，[-10，+10]，[+10，+30]，[+30，+50]，[+50，+70]，[+70，+90]。分類器結構如圖5所示。

圖5 多姿態人臉的分類器結構圖

該分類器結構共包含13個檢測器，但只有其中的8個需要通過樣本進行訓練，其他位于第二層和第三層的5個檢測器可以利用人臉的對稱性通過鏡像的方法得到，因此，每層只需要訓練（K+1）/2個檢測器即可（K是對應層次的姿態檢測器數目）。這些檢測器分別獨立訓練，訓練過程如下：最上面一層的檢測器由三個分別使用5，13，20個Haar小波特征訓練的強分類器級聯，能拒絕50%的非人臉圖像，接受99%的訓練人臉。在第二層，每一個檢測器都是由6個強分類器級聯，能拒絕第一層檢測漏檢的97%的非人臉圖像，接受98%的訓練人臉。第三層，每一個檢測器由20個強分類器組成，能實現接近97%的人臉檢測率，6×10－4的誤檢率和3.4×10－2的漏檢率。

分類器的訓練樣本來自FERET彩色人臉庫和部分網絡收集的多姿態人臉照片，共1 000張，涵蓋了垂直偏轉[-90，+90]、水平偏轉[-45，+45]以及上下[-20，+20]的姿態范圍。部分訓練樣本如圖6所示。

圖6 部分多姿態人臉訓練樣本

6 實驗結果和分析

實驗所用測試圖像共1 200張，大小不等。其中含人臉圖像1 000張（包含1 655個人臉），無人臉圖像200張。測試圖像來自數碼相機拍攝、網絡、FERET彩色人臉庫和MIT-CBCL人臉庫[13]。實驗平臺為Windows XP，P4 2 GHz，內存2 GB的臺式機，在總計1 655個獨立人臉圖像中，有55張漏檢，1張誤檢，正確檢測率接近96.6%（1 599/1 655= 96.6%），非人臉圖像只有一幅圖像出現誤檢，非人臉拒絕率為99.5%（199/200=99.5%），檢測系統通過Delphi代碼實現，在大小為170像素×240像素的人臉圖像中，平均定位一個人臉的時間約為220 ms。部分圖片的檢測效果如圖7所示，圖8對比了文獻[6]方法和本文方法的人臉區域定位效果，表1是最終的實驗結果。

圖7 多姿態人臉檢測效果

表1 本文方法與其他方法的實驗結果比較 （%）

實驗結果表明，有效的膚色檢測可以有效提高多姿態人臉檢測的正確檢測率，并且明顯地縮短檢測時間，提高了檢測效率。由圖8可以看出，本文的特征搜索策略提高了多姿態人臉的檢出率，定位人臉區域的效果也明顯改善，為后期的人臉識別提供了更準確的特征提取區域。

圖8 定位結果比較

[1]Li S Z，Zhang Z Q.Floatboost learning and statistical face detection[J].IEEE Trans on Pattern Anal Mach Intell，2004，26：1112-1123.

[2]Miao J，Yin B，Wang K，et al.A hierarchical multiscale and multiangle system for human face detection in a complex background using gravity-center template[J].Pattern Recognition，1999，32（7）：1237-1248.

[3]Li Y M，Gong S G，Sherrah J，et al.Support vector machine based multi-view face detection and recognition[J].Image and Vision Computing，2004，22（5）：413-427.

[4]Huang C，Ai H，Li Y，et al.Vector boosting for rotation invariantmulti-view facedetection[C]//Proceedingsofthe 10th IEEE ICCV，2005.

[5]Wang P，Ji Q.Multi-view face and eye detection using discriminantfeatures[J].ComputerVision and Image Understanding，2007，105（2）：99-111.

[6]Lin C.Face detection in complicated backgrounds and differentillumination conditionsby using YCbCrcolorspace and neural network[J].Pattern Recognition Letters，2007，28（16）：2190-2200.

[7]Chen J C，Lien J J J.A view-based statistical system for multi-view face detection and pose estimation[J].Image and Vision Computing，2009，27（9）：1252-1271.

[8]Vural S，Mae Y，Uvet H，et al.Multi-view fast object detection by using extended haar filters in uncontrolled environments[J].Pattern Recognition Letters，2012，33（2）：126-133.

[9]李全彬，王小明，劉錦高，等.復雜光照下的人臉膚色檢測方法[J].計算機應用，2010，30（6）：1594-1596.

[10]李全彬，孫巧榆，劉錦高，等.復雜背景和光照多變的人臉檢測方法[J].計算機工程與應用，2009，45（18）：22-24.

[11]Hsu R L，Abdel-Mottaleb M，Jain A K.Face detection in color images[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2002，24（5）：696-706.

[12]Freund Y，Schapire R E.A decision-theoretic generalization of on-line learning and an application to boosting[J].Journal of Computer and System Sciences，1997，55（1）：119-139. [13]Weyrauch B，Huang J，Heisele B，et al.Component-based face recognition with 3D morphable models[C]//1st IEEE Workshop on Face Processing in Video，Washington，DC，2004.

LI Quanbin1,LIU Jingao2,HUANG Zhi1

1.College of Physics and Electronic Engineering,Xuzhou Normal University,Xuzhou,Jiangsu 221116,China
2.Department of Communication Engineering,East China Normal University,Shanghai 200062,China

Multi-view face detection is a key problem for face recognition system.This method searches the potential face regions using the proposed skin color model,chroma map is adopted to obtain the four-connected components from the skin color segmentation blocks,it labels them,and identifies the center of each block,the faces verification is performed through the classifier based on FloatBoost.

face detection;multi-view;skin color model;FloatBoost

多姿態人臉檢測是人臉識別系統必須解決的關鍵問題之一。利用光照魯棒的膚色模型來搜索待檢圖像的可能人臉區域并進行膚色分割，結合分割區域的幾何信息確定最終的候選人臉區域，然后對人臉的關鍵特征進行定位，按規則計算重要特征塊的中心，將這些中心點確定的符合條件的候選區域利用FloatBoost進行分類，最終實現了快速準確的多姿態人臉檢測。

人臉檢測；多姿態；膚色模型；FloatBoost

A

TP391

10.3778/j.issn.1002-8331.1202-0187

LI Quanbin,LIU Jingao,HUANG Zhi.Multi-view face detection using skin color model and FloatBoost.Computer Engineering and Applications,2013,49（23）：166-169.

國家自然科學基金（No.41104096）；上海市科委科技支撐計劃部市合作項目（No.10DZ0581000）。

李全彬（1977—），男，博士，講師，主要研究領域為人工智能、網絡信息系統；劉錦高（1948—），男，教授，博導；黃智（1973—），女，博士，副教授。E-mail：liqbzy@163.com

2012-02-13

2012-04-06

1002-8331（2013）23-0166-04

CNKI出版日期：2012-06-15 http://www.cnki.net/kcms/detail/11.2127.TP.20120615.1727.042.html