基于膚色和Haar方差特征的人臉檢測*

李 燕,王 玲

(湖南師范大學物理與信息科學學院，湖南 長沙 410081)

基于膚色和Haar方差特征的人臉檢測*

李 燕,王 玲

(湖南師范大學物理與信息科學學院，湖南 長沙 410081)

為了在提高復雜背景下的人臉檢測率的同時減少檢測時間，將膚色分割和Haar方差特征相結合，在YCbCr顏色空間通過橢圓膚色模型和logistic回歸分析確定每一點的膚色概率，生成膚色概率圖，從而將每一點的像素值映射到[0,1],在Ostu方法的基礎上采用并行的遺傳算法確定膚色分割的閾值，快速分割出人臉區域；最后用少量的Haar方差特征取代原來的Haar特征，并采用SVM訓練分類方法對分割出的人臉區域進行驗證。實驗表明，該方法不僅提高了人臉檢測的正確率，而且具有較快的人臉檢測速度。

膚色分割;橢圓膚色模型;回歸分析；遺傳算法；方差特征

1 引言

當前世界各國許多研究機構從事人臉識別方面的研究，也涌現出了許多人臉識別算法。人臉檢測作為人臉識別的第一步，長期以來一直受到人們的關注，并發展成為一個獨立的研究領域。

盡管目前學術界涌現出了許多的人臉檢測算法，AdaBoost人臉檢測算法仍然是目前最成功的算法之一，AdaBoost算法采用Haar特征進行人臉表征，它具有較高的檢測準確率。但是，該算法訓練人臉分類器的速度慢，且訓練需要大量的訓練樣本，當數據集較小時，使用SVM[1]進行分類訓練效果常常更好。Haar特征是通過一系列矩形特征間像素相加減而得到特征值來進行人臉判斷，它具有計算簡單的優點，但缺點是特征表示能力比較弱，因此，對于復雜背景下以及未知人臉狀態的人臉檢測容易產生“錯檢”、“漏檢”，很多學者在特征改進方面進行了研究[2,3]。Lienhart R等人[4]在Haar特征的基礎上提出了旋轉的Haar特征，使得分類器的誤檢率降低了10%。還有很多文獻結合其他頻域空間數據作為特征進行分類器的訓練，如使用contourlet 變換圖像金字塔模型中的系數[5]、基于Gabor 變換提出的類Gabor 特征、LBP 特征等。但是，這些特征的計算需要大量額外的計算時間，降低了人臉檢測的速度。在彩色圖像中，膚色對于人臉檢測是一項非常有用的信息，它不依賴于面部的細節特征，對于旋轉、表情等變化情況都能適用，且檢測速度快。然而，自然界的大量物質與人類膚色相近，因此膚色檢測需要和其他的人臉檢測方法相結合才能得到較高的檢測準確率。此外，膚色分割閾值的確定一直是膚色分割的難點，閾值的選取決定了膚色分割的性能。文獻[6～8]中采用固定閾值的方法雖然計算較快，但是準確率不高；文獻[9]采用動態閾值分割的方法，準確率較高，但是計算復雜，難以滿足實時性的要求；文獻[10,11]通過Ostu方法可以得到一個很好的閾值，但是求取最佳閾值時需要大量的重復計算，也不能滿足實時性要求。

本文將膚色分割的人臉檢測算法和基于Haar方差特征的人臉檢測算法相結合，在YCbCr顏色空間建立橢圓膚色模型并結合logistic回歸分析確定每一點的膚色概率，在Ostu方法的基礎上，采用并行的遺傳算法得到圖像分割閾值，快速分割出人臉區域，接著用Haar方差特征對分割出的人臉區域進一步驗證。實驗表明，本文算法在人臉檢測準確性和檢測速度方面都有所提高。

2 膚色分割

2.1 生成膚色概率圖

人類膚色在顏色空間分布相對比較集中，不同種族之間膚色的差異主要是由亮度引起的，而與顏色屬性無關。常見的顏色空間有RGB、YCbCr和HSV三種。三種顏色空間中，YCbCr空間的Cb、Cr分量不受亮度影響，可以有效地將Y分離，且Y、Cb、Cr可由R、G、B經過線性變換得到。此外，三種顏色空間中，YCbCr空間中膚色聚類特性是最好的，更適合做膚色分割，因此我們選擇YCbCr顏色空間。

本文生成膚色概率圖的過程如下：

(1)將RGB與YCbCr按式(1)相互轉換(RGB取值范圍均為0～255)：

(1)

(2)在YCbCr空間中，膚色聚類是呈兩頭尖的紡錐形狀，膚色聚類區域隨Y不同而呈非線性變化的趨勢。因此,簡單地排除Y的影響，在Cb,Cr、空間中尋找膚色聚類區域是不可靠的，有必要進行非線性分段色彩變換[12]。非線性變換公式如式(2)和式(3)：

(2)

(3)

其中，Wcb=46.97，WLcb=23，Wcr=38.76，WLcr=20，WHcr=10，Kl=125，Kh=188，Ymin=16，Ymax=235。

(3)經過非線性色彩變換后，利用橢圓公式進行擬合，建立橢圓膚色模型，如式(4)所示：

x=cosω*(Cb′-Cx)+sinω*(Cr′-Cy),

y=(-sinω)*(Cb′-Cx)+cosω*(Cr′-Cy),

(4)

(4)利用logstic回歸分析(式5)，確定每一個點的膚色概率值，用這一點的膚色概率值代替像素值來表征圖片，從而將每一點的像素值映射到[0,1]。

(5)

其中,β1、β2分別為2.247和1，Cx=109.38，Cy=152.02，ω=2.53，eCx=1.6，eCy=2.41，a=25.39，b=14.03。

2.2 遺傳算法確定分割閾值

遺傳算法把問題的解表示成“染色體”，在算法中以二進制編碼的串表示。在執行遺傳算法之前，給出一群“染色體”，也即假設解。然后，把這些假設解置于問題的“環境”中，并按適者生存的原則，從中選擇出較適應環境的“染色體”進行復制，再通過交叉、變異過程產生更適應環境的新一代“染色體” 群[13]。這樣，一代一代地進化，最后就會收斂到最適應環境的一個“染色體”上，它就是問題的最優解。

本文遺傳算法的實現流程如圖1所示，其中適應函數為最大類間方差，交叉率為0.2，變異率為0.01，遺傳40代內連續五代出現的最優解不再變化時達到整體最優解，遺傳終止。

Figure 1 Skin probability graph

Figure 2 Flow chart of genetic algorithm

(6)

(7)

由式(6)和式(7)可以得：

wAuA+wBuB=ut，wA+wB=1

(8)

fitness(t)=wA(uA-ut)2+

wB(uB-ut)2=wAwB(uA-uB)2

(9)

(10)

圖3為簡單高斯模型分割圖、混合高斯模型分割圖以及本文算法分割圖的對比。

Figure 3 Several kinds of skin color segmentation effect

3 Haar特征及Haar方差特征

3.1 Haar特征與計算

Haar特征最早是由PapageogiouV等人應用于人臉表示。Haar特征可分為四類：邊緣特征、線性特征、對角線特征和中心特征，常見的形式如圖4所示[14]。其中，圖4a和圖4b為邊緣特征，圖4c為線性特征，圖4d為對角線特征，圖4e為中心特征。

Figure 4 Haar features

將上面的任意一個矩形放到人臉區域上，然后將白色區域的像素和減去黑色區域的像素和，得到的值稱為人臉特征值；如果把這個矩形放到一個非人臉區域，那么計算出的特征值和人臉特征值是不一樣的，而且越不一樣越好，所以這些方塊的目的就是把人臉特征量化，以區分人臉和非人臉。在計算特征值的方法上，Viol提出了積分圖的概念，如圖5所示，對于圖像內一點i(x′,y′)，定義其左上角所有像素和為i(x,y)。

Figure 5 Integral figure

(11)

為了節約時間，減少重復計算，積分圖可按照式(12)遞推公式計算:

s(x,y)=s(x,y-1)+i(x,y),

i(x,y)=i(x-1,y)+s(x,y)

(12)

其中，s(x,y)為點(x,y)的累計行總和。

由圖像的積分圖可以方便快速地計算圖中任意矩形內所有像素灰度積分。如圖6所示，點1、2、3、4的積分圖分別為：

i1=sum(A)，i2=sum(A)+sum(B)，

i3=sum(A)+sum(C)，

i4=sum(A)+sum(B)+sum(C)+sum(D)

(13)

Figure 6 Haar feature calculation

矩形區域D內所有像素灰度積分可由矩形端點的積分圖像值得到：

sum(D)=i1+i4-(i2+i3)

3.2 Haar方差特征

文獻[15]提到利用Haar的協方差特征來進行行人檢測，它的非正交特性用于圖像的匹配、重建，本文用Haar的方差特征來進行人臉的檢測。

在進行方差特征值計算時，我們以圖4和圖5為例,點(x，y)處的方差計算為[16]：

(14)

其中，n為矩形區域像素點的個數， 則i(x,y)的方差為：

Var(i(x,y))=E(i(x,y)2)-μ2

(15)

本文使用Haar方差特征結合SVM訓練分類算法對分割出的圖片進一步驗證。SVM是Cortes和Vapnik于1995年首先提出的，它在解決小樣本、非線性及高維數模式識別中表現出許多特有的優勢。人臉的特征維數相當高，而由于實際條件的限制，無法對每個人都采集大量的圖像樣本，因此相對于人臉維數，人臉的樣本數很少，是一個典型的小樣本、高維數的非線性分類問題。本文對SVM的使用分為訓練和分類兩個階段。

在訓練階段，所有的人臉樣本和非人臉樣本歸一化為64×64，有4 096個像素特征。用一個24×24的子窗口按八個像素的步長掃描樣本圖像，每個窗口可提取四個方差特征，可獲得的方差特征向量為144個;再用一個大小為12×12的子窗口，按步長為四的大小去掃描圖像，可以獲得784個方差特征向量。兩次掃描，在每一幅人臉圖像中，一共可以獲得928個特征向量，遠遠小于4 096個像素特征。最后，將提取出的方差特征用于訓練分類器。

在分類階段，將膚色分割后的圖片作為輸入，用一個大小為12×12的檢測窗口掃描輸入圖片，在掃描的過程中，不是改變輸入圖片的大小，而是逐漸放大檢查窗口。每一個子窗口提取的Haar方差特征經過訓練階段得到的SVM分類器后，將人臉和非人臉區分開來。

4 實驗結果及分析

本實驗平臺：Matlab2011，臺式計算機，XP32位，單核2.5GHz，2GB內存，使用ORL人臉庫和CAS-PEAL人臉庫作為實驗數據。

ORL人臉庫是由英國劍橋Olivetti實驗室從1992年4月到1994年4月期間拍攝的一系列人臉圖像組成，共有40個不同年齡、不同性別和不同種族的對象。每個對象10幅圖像，共計400幅灰度圖像。其中人臉部分表情和細節均有變化，例如笑與不笑、眼睛睜著或閉著、戴或不戴眼鏡等，人臉姿態也有變化，其深度旋轉和平面旋轉可達20°，人臉尺寸也有最多10%的變化。該庫是目前使用廣泛的標準數據庫。

CAS-PEAL人臉圖像數據庫共有1 040個中國人共99 450幅頭肩部圖像。所有圖像在專門的采集環境中采集,涵蓋了姿態、表情、飾物、背景和光照五種主要變化條件，部分人臉圖像具有背景、距離和時間跨度的變化。CAS-PEAL克服了大多數人臉庫存在的數據量小或者圖像變化情況比較單一的缺陷。此外，目前大多數人臉庫中提供面部圖像的志愿者為西方人，東西方人在面部特征上存在一定差異，CAS-PEAL是一個大規模、多樣化的東方人臉數據庫。本文實驗主要在其表情、飾物和背景三個子庫上進行，測試本算法對不同變化類型人臉的識別性能。

為了驗證本算法的有效性，本文將其與基于LBP特征、LGBP特征、Gabor特征、Haar+Adaboost以及新特征+SVM(即Haar方差特征+SVM)檢測算法進行了對比。

表1為在ORL數據庫測試得到的各檢測算法檢測率及檢測時間。

Table 1 Comparision of detection rates and time on ORL

從表1中可以看出，相對于其他幾種檢測算法,Haar+Adaboost算法的檢測率是最低的，LBP的檢測速度最快，但是檢測率僅高出Haar+Adaboost 3.327%，LGBP和Gabor檢測率相比，LGBP算法的檢測率要比Gabor高3.3%,而且檢測時間要少28%。本文算法的檢測率相對表中的前五種算法各高出5.65%、2.20%、5.08%、5.99%、2.96%，檢測所需時間比LBP要長，但是比LGBP、Gabor以及Haar+Adaboost各少71.28%、77.6%、70.8%。綜合檢測率和檢測時間，本文的算法性能在四種算法中是最好的。

表2為四種方法在CAS-PEAL人臉數據庫表情、飾物以及背景三個子集上測試的識別率。從表2中可以看出，LGBP和Gabor相對于LBP、Haar+Adaboost識別率都有了較大的提高，但是相對于含有飾物的情況，前面五種方法的檢測率都不是很理想，本文算法將飾物數據集的檢測率相對于前面五種算法分別提高了44.0%、8.7%、5.9%、45.8%、4.5%。從背景子集的測試結果來看，本文算法相對于其他算法也有了一定程度的提高。

Table 2 CAS-PEAL face test results

由于本文在對人臉候選區域進行驗證時，不是采用Haar的Adaboost算法而是采用Haar方差特征和SVM方法，因兩種方法都需要通過對訓練集中的圖片學習來獲得分類器，因此本文還探討了不同樣本數目對其檢測準確率的影響。圖7a和圖7b分別是在ORL和CAS-PEAL上的測試結果，其中CAS-PEAL中的樣本是從表情、飾物和背景三個數據子集中按相同比例分別選取的。

Figure 7 Relationship between sample size and recognition rate

從圖7中可以看出，在ORL中，在一定范圍內隨著樣本數目的增多，檢測率都有一定的提高，但是當樣本少于350時，本文算法的優勢不明顯，當樣本數目多于400以后，本文算法相比Haar結合AdaBoost的優勢就明顯體現出來了；在CAS-PEAL數據庫中，人臉樣本從表情、飾物和背景數據集中按比例選出，從圖7中可以看出，本文算法始終優于Haar結合AdaBoost。

5 結束語

本文將膚色檢測和基于Haar方差特征的人臉檢測相結合，在YCbCr空間建立橢圓模型，通過logsitic回歸分析，生成膚色概率圖，將每點的像素映射到[0,1],采用遺傳算法確定分割閾值，從而確定人臉候選區域；再用Haar方差特征結合SVM對人臉候選區域進行驗證，不僅提高了檢測速度，而且提高了檢測的準確率。但是，隨著光照、遮擋等因素的變化，其識別性能有所下降，所以這些因素仍是人臉識別領域所面臨的挑戰。在要求高精度識別的場合之中，多模態的人臉圖像識別已成為目前的一個熱點研究方向。

[1] Ye Jun-yong，Wang Qing-tong，Yang Bo,et al. Algorithm of support vector machine-based face detection[J]. Computer Engineering，2003,29(2):23-25.(in Chinese)

[2] Chen Yong-fei,Liu Xin-ming. Based on the color and Haar features of face image detection[J]. Computer Engineering and Application，2008，44(33)：177-182. (in Chinese)

[3] Tang Feng,Crabb R,Tao Hai.Representing images using nonorthogoal Haar-like bases. Pattern Analysis and machine Intelligence[J]. IEEE Transactions, 2007, 29(12):2120-2134.

[4] Lienhart R，Maydt J. An extended set of Haar-like features for rapid object detection[C]∥Proc of the IEEE ICIP’02,2002：900-903.

[5] Chen Shi-gang，Ma Xiao-hu. Face detection based on multi-Gaussian skin color segmentation and Haar-like intensity features[J]. Journal of Suzhou University，2011,27(3):30-34.(in Chinese)

[6] Kakumanu P, Markrogiannis S, Bourbakis N. A survey of skin color modeling and detection methods[J].Elsevier Journal of the Pattern Recognition Society,2007, 40(3):1106-1122.

[7] Liu Qing-sheng，Chang Fa-liang，Chen Shi-gang.Improved gaussian skin color model and its application in face detection[J]. Journal of Instrument，2012,33(5):1117-1121.(in Chinese)

[8] Zhang Zheng-zheng，Shi Yue-xiang.YCgCr color space skin color clustering face detection[J]. Computer Engineering and Application，2009,45(22)：163-165.(in Chinese)

[9] Li Wei，Li Ming-dong，Liu Wan-qian. Using adaptive sphere model color dynamic threshold segmentation[J]. Computer Engineering and Application，2012, 48(22):179-182.(in Chinese)

[10] Zhao Ming-hua,Zhao Yong-gang. Skin color segmentation based on improved 2D Ostu and YcgCr[C]∥Proc of 2010 International Conference on Electrical and Control Engineering,2010:1954-1957.

[11] Yu Yi-min，Huang Ting-hui,Sang Tao. Skin segmentation based on real adaboost algorithm[J]. Computer Application，2011, 31(12):3370 -3377.(in Chinese)

[12] Li Jie，Hao Xiao-li. Face detection using elliptic model[J]. The Computer Measurement and Control，2006,14(2):170-172.(in Chinese)

[13] Lee L-K,An S-Y,Oh S-Y.Robust fingertip extraction with improved skin color segmentation for finger gesture recognition in human-Robot interaction[C]∥Proc of 2012 IEEE World Congress on Computational Intelligence, 2012:10-15.

[14] Viola P J.Rapid object detection using a boosted cascade of simple features[C]∥Proc of Conference on Computer Vision and Pattern Recognition,2001:511-518.

[15] Khac C N, Park J H, Jung H-y, et al. Face detection using variance based Haar-like feature and SVM[C]∥Proc of World Academy of Science, Engineering and Technology, 2009:165-168.

[16] Viola P. Robust real-time detection[J]. International Journal of Computer Vision, 2004, 57(2):137-154.

附中文參考文獻：

[1] 葉俊勇，汪同慶，楊波，等.基于支持向量機的人臉檢測算法[J].計算機工程，2003,29(2):23-25.

[2] 陳勇飛,劉新明.基于膚色和類Haar特征的人臉圖像的人眼檢測[J].計算機工程與應用，2008，44(33)：177-182.

[5] 陳世剛，馬小虎.基于多高斯膚色分割和Haar-like強度特征的人臉檢測[J].蘇州大學學報，2011,27(3):30-34.

[7] 劉青生，常發亮，陳世剛,等.改進的高斯膚色模型及其在人臉檢測中的應用[J].儀器儀表學報，2012,33(5):1117-1121.

[8] 張爭珍，石躍祥.YCgCr顏色空間的膚色聚類人臉檢測[J].計算機工程與應用，2009,45(22)：163-165.

[9] 李薇，李明東，劉萬錢.運用自適應球體模型實現膚色動態閾值分割[J].計算機工程與應用，2012, 48(22):179-182.

[11] 余益民，黃廷輝，桑濤.基于RealAdaboost算法的膚色分割方向[J].計算機應用，2011, 31(12):3370 -3377.

[12] 李杰，郝曉莉.一種基于橢圓膚色模型的人臉檢測方法[J].計算機測量與控制，2006,14(2):170-172.

LI Yan,born in 1987,MS candidate,her research interests include image processing, and pattern recognition.

Face detection algorithm based on skin color and Haar variance characteristics

LI Yan,WANG Ling

(College of Physics and Information Science,Hunan Normal University,Changsha 410081,China)

In order to improve the rate of face detection under complex background and reduce detection time，we propose a face detection algorithm based on skin color segmentation and improved Haar features. First we derive the probability of every bit of skin color by elliptical skin color model and logistic regression analysis in YCbCr color space and generate the skin probability diagram, which will map every bit of pixel values to [0, 1]. Then we define the threshold of skin color segmentation to segment the face region rapidly, using parallel genetic algorithm based the Ostu method. Finally combining the SVM training and classification method, we adopt a few Haar variance characteristics instead of the original Haar features to verify the segmented face region. Experimental results show that the proposed method can improve the accuracy of face detection with a fast speed.

skin color segmentation;elliptical skin color model;regression analysis；genetic algorithm;Haar variance characteristics

1007-130X(2015)01-0146-06

2013-05-31;

2013-09-10

TP391.4

A

10.3969/j.issn.1007-130X.2015.01.022

李燕(1987-),女,湖南邵東人，碩士生，研究方向為圖像處理和模式識別。E-mail:915082868@qq.com

通信地址：412007湖南省株洲市天元區圓方路131號

Address:131 Yuanfang Rd,Tianyuan District,Zhuzhou 412007,Hunan,P.R.China