基于膚色分割的改進Camshift人臉跟蹤算法

王俊南 賴惠成 楊東旭

摘 ?要： 針對Camshift算法在對人臉跟蹤時，容易受到膚色背景的影響，且當跟蹤環境中背景較為復雜時，易失敗的問題，提出一種基于膚色分割的改進Camshift人臉跟蹤算法。在YCbCr空間中進行膚色分割，提取每一幀的膚色區域，排除幀圖像中非膚色背景的干擾;引入人臉幾何特征，對潛在的人臉膚色區域進行約束;使用Camshift算法跟蹤人臉。同時為了提高算法的性能，文中引入改進的Adaboost算法。實驗結果表明，該算法對視頻幀中的特定人臉可以獲得出色的跟蹤結果，具有實時性強、跟蹤穩定的優點。

關鍵詞： 人臉跟蹤; 膚色分割; 形態學操作; YCbCr空間; 幾何特征; Adaboost算法; Camshift

中圖分類號： TN820.4?34; TP391.41 ? ? ? ? ? ? ?文獻標識碼： A ? ? ? ? ? ? ? ? 文章編號： 1004?373X（2019）06?0166?05

Improved Camshift face tracking algorithm based on skin color segmentation

WANG Junnan， LAI Huicheng， YANG Dongxu

（College of Information Science and Engineering， Xinjiang University， Urumqi 830046， China）

Abstract： In allusion to the problems that the Camshift algorithm is easy to be affected by the skin color background during face tracking， and the tracking is easy to fail if the tracking environment background is complex， an improved Camshift face tracking algorithm based on skin color segmentation is proposed. The skin color segmentation is performed in the YCbCr space to extract the skin color region of each frame， so as to eliminate the interference of the non?skin color background in the frame image. The face geometric features are introduced to constrain the potential face skin color region. The Camshift algorithm is used to perform face tracking in the end. The improved Adaboost algorithm is introduced to improve the performance of the algorithm. The experimental results show that the algorithm can obtain excellent tracking results of the specific face in the video frame， and has the advantages of strong real?time performance and stable tracking ability.

Keywords： face tracking; skin color segmentation; morphological operation; YCbCr space; geometric feature; Adaboost algorithm; Camshift

0 ?引 ?言

經過多年的努力，人臉跟蹤技術已經廣泛應用于視頻監控、人機交互、機器人控制等領域。近來，國內外的很多學者在人臉跟蹤研究方面取得了一些成果。文獻[1]提出一種改進的Camshift跟蹤算法——ERC（Environmental Robust Camshift）。該算法可以在強烈的光照變化、復雜背景和快速移動下有效跟蹤人臉。文獻[2]提出將卡爾曼濾波器與Camshift算法結合進行人臉跟蹤，以提高跟蹤速度。文獻[3]將多視角人臉檢測算法與Camshift算法結合，解決了復雜背景中人臉實時跟蹤的問題[3]。文獻[4]提出一種自適應的多模式轉換的Camshift人臉跟蹤算法，實現了人臉跟蹤的穩定性與準確性。文獻[5]通過使用直方圖分塊加權對Camshift算法進行改進，一定程度增強了抗膚色干擾能力。文獻[6]將圖割理論與Camshift相結合，有效克服了跟蹤時其他膚色區域的干擾。

針對以上分析，本文提出一種基于膚色分割的改進Camshift人臉跟蹤算法，首次實現了YCbCr顏色空間中的膚色分割[7]與Camshift人臉跟蹤算法的結合。經過實驗驗證得知，對于視頻中絕大部分的視頻幀，本文算法均可以獲得出色的跟蹤結果。

1 ?YCbCr顏色空間膚色分割

YCbCr空間中，因為亮度與色度信息沒有關聯，膚色聚類性好，計算較為簡單[8]，所以本文選擇在YCbCr空間中分割膚色。

膚色在Cb?Cr空間中的二維分布如圖1所示。

圖1 ?膚色在Cb?Cr空間的二維分布

從RGB顏色空間到YCbCr顏色空間的轉換公式為：

[YCbCr=16128128+ ? 0.256 8 ? 0.504 1 ?0.097 9-0.148 2-0.291 0-0.439 2 ? 0.439 2-0.367 7-0.071 4RGB] ? ?（1）

由于不同的視頻中的背景及周圍環境的差異，在對不同視頻中的目標人體進行膚色分割時，需要先對Cb，Cr，Y進行設置，取不同的參數。本文在對視頻seq_mb中的目標人體進行膚色分割時，需要將YCbCr空間中相應的參數設為135

2 改進的Adaboost算法

跟蹤開始時，為了自動檢測目標人臉以初始化搜索窗口，文中引入了改進的Adaboost算法。對于傳統的Adaboost算法，有一些弱分類器的功能是近乎相同的。減少具有相似功能的弱分類器數量，就可以減少算法的處理時間，提高算法的性能[9]。

選用Q統計量法[10]求分類器間的關聯性。分類器hi將Nab個待檢測樣本分類為a，分類器hj將Nab個待檢測樣本分類為b，分類器hi和分類器hj之間的Q統計量[Qi，j]為：

[Qi，j=N11N00-N01N10N11N00+N01N10] ? ? ? （2）

當a，b為0時，檢測錯誤;a，b為1時，檢測正確。當[0≤Q≤1]時，hi，hj的分類都是正確的;當[-1≤Q<0]時，表明hi，hj的分類是錯誤的。用Q的均值表示一個分類器集合中L個分類器的Q相關性，有：

[Qi，k=2L（L-1）i=1L-1k=l+1LQi，k] ? ? （3）

相關性判斷的步驟為：

1） 用Adaboost挑出每輪最好的弱分類器hi;

2） 用式（2）計算弱分類器hi與已挑出的弱分類器的關聯性Qi，1，Qi，2…（i>1）;

3） 利用式（3）計算全部分類器的關聯性[Q]，若[argmin Qi

4） 反復進行，直至獲得所需要數量的弱分類器;

5） 組建強分類器，把多個強分類器級聯。

3 Camshift算法

Camshift（Continuously Adaptive Mean Shift）是由MeanShift算法優化得到的。設I（x，y）為點（x，y）處的概率密度值，W為搜索窗的大小，則搜索窗的形心坐標[（xc，yc）]可經下式計算得到，即：

[xc=M10M00yc=M01M00] ? ?（4）

式中：[M00]為搜索窗中概率密度圖的零階矩;[M10，M01]分別為圖中點（x，y）處x和y的一階矩，且：

[M00=xyI（x，y）M10=xyxI（x，y）M01=xyyI（x，y）] ? ? （5）

點（x，y）處x和y在密度圖中的二階混合矩為：

[M11=xyxyI（x，y）M20=xyx2I（x，y）M02=xyy2I（x，y）] ? ? ? （6）

令：

[a=M20M00-x2cb=2（M11M00-xcyc）c=M02M00-y2c] ? ? ?（7）

則不斷更新的搜索窗口[W]的長度l和寬度w為：

[l=（a+c）+b2+（a-c）22w=（a+c）-b2+（a-c）22] ? ? ?（8）

人臉的偏轉角度θ為：

[θ=12arctanb（a-c）] ? ? ? ?（9）

Camshift算法的執行步驟為：

1） 對人臉位置、搜索窗參數初始化;

2） 導入下一幀圖像，求其HSV圖像;

3） 計算搜索窗的顏色直方圖、概率分布圖;

4） 用式（5）查找形心，將搜索窗的中心調整到該形心處;

5） 重復步驟3）和步驟4），直到形心的移動小于規定的閾值，即收斂時為止;

6） 由式（5）、式（9）計算新得到的形心，搜索窗大小。

4 基于膚色分割的改進Camshift人臉跟蹤算法

為了解決視頻中周圍環境對Camshift算法跟蹤結果的影響，并考慮到膚色在YCbCr顏色空間中的聚類性要優于在RGB顏色空間、HSV顏色空間中的聚類性，所以選擇在YCbCr顏色空間中進行膚色分割的操作。此外，Camshift在對人臉跟蹤時，需要手動選擇目標人臉以初始化搜索窗口，比較麻煩，所以又引入改進后的Adaboost算法，使搜索窗口的初始化自動完成。基于膚色分割的改進Camshift人臉跟蹤算法的流程見圖3。

5 實驗結果分析

本文在Matlab 2014a中對改進算法進行仿真，并與Camshift算法進行對比。測試中，選用了斯坦福大學的測試視頻序列seq_mb和新疆地區學生的自拍視頻。對seq_mb中的目標人臉跟蹤的結果如圖4、圖5所示。圖4為Camshift算法對部分幀的跟蹤結果，圖5為本文算法對相應幀的跟蹤結果。

圖3 ?改進Camshift人臉跟蹤算法

圖4 ?Camshift算法對seq_mb部分幀跟蹤結果

圖5 ?本文算法對seq_mb部分幀跟蹤結果

從圖4中可以看出，將Camshift用于人臉跟蹤時，其跟蹤易受到目標人臉附近背景中非臉部區域膚色的干擾，使得跟蹤效果不理想甚至跟蹤失敗。而從圖5中可以看出，通過相關參數的合理設置，本文算法避免了目標人體其他非臉部區域膚色，周圍環境中類膚色物體及其他因素對跟蹤結果的干擾，確保了跟蹤結果的有效性和可靠性。

由表1可以看出，seq_mb測試視頻中本文算法的跟蹤成功率要大于Camshift算法，雖跟蹤速度較慢，但完全滿足實時跟蹤的要求。

本文通過分別求出每一視頻幀圖像中目標人臉的形心坐標、Camshift算法跟蹤框形心坐標、本文算法跟蹤框形心坐標，并把跟蹤失敗時的形心坐標設為（0，0），然后得到每種形心坐標的連線圖，如圖6所示。

圖7為Camshift算法對自拍視頻中部分幀的跟蹤結果， 圖8為本文算法對相應幀的跟蹤結果。

圖6 ?seq_mb中兩種算法性能對比圖

圖7 ?Camshift算法跟蹤結果

從圖8中的實驗結果也可以看出，本文算法在自拍視頻中的跟蹤效果也是要優于傳統的Camshift算法，這也說明本文算法具有良好的適用性。表2列出了兩種算法的性能情況。由表2中的數據可知，本文算法的跟蹤成功率高，跟蹤速度雖慢卻仍可以保證跟蹤的實時性。在此使用與上文同樣的方法得到在對自拍視頻進行實驗時兩種算法的性能情況，如圖9所示。

通過以上兩組實驗對本文算法的性能進行了驗證。實驗結果表明，本文算法對視頻中的目標人臉的跟蹤性能是優于傳統的Camshift算法的，保證了跟蹤性能的情況下還具有良好的實時性。

圖8 ?本文算法對自拍視頻部分幀跟蹤結果

圖9 ?自拍視頻中兩種算法性能對比圖

6 結 ?語

本文提出基于膚色分割的改進Camshift人臉跟蹤算法，首次實現了YCbCr顏色空間中的膚色分割與Camshift人臉跟蹤算法的結合。首先在YCbCr顏色空間中對人臉部分膚色區域進行有效分割，然后再用Camshift進行跟蹤。實驗結果表明該算法具有實時性好、跟蹤穩定的優點。

參考文獻

[1] CONG D， SHI P， LI Y. ERC： an environmental robust Camshift face tracking algorithm [C]// Proceedings of 8th International Congress on Image and Signal Processing. Shenyang： IEEE， 2015： 23?29.

[2] RANGANATHA S， GOWRAMMA Y P. An integrated robust approach for fast face tracking in noisy real?world videos with visual constraints [C]// Proceedings of International Conference on Advances in Computing， Communications and Informatics. Udupi： IEEE， 2017： 772?776.

[3] WANG C， LIN W， ZHANG Q Y， et al. Design of face tracking system based on rotatable camera [C]// Proceedings of 12th International Conference on Signal Processing. Hangzhou： IEEE， 2014： 2360?2364.

[4] SHAN Y G， WANG J B， HAO F. Camshift head tracking based on adaptive multi?model switching [C]// Proceedings of 2nd Advanced Information Technology， Electronic and Automation Control Conference. Chongqing： IEEE， 2017： 2484?2488.

[5] 駱紹燁，劉麗桑.基于改進Camshift的人臉跟蹤算法[J].延邊大學學報（自然科學版），2017，43（2）：144?149.

LUO Shaoye， LIU Lisang. Face tracking algorithm based on improved Camshift [J]. Journal of Yanbian University （Natural science）， 2017， 43（2）： 144?149.

[6] 胡章芳，秦陽鴻.基于圖割理論的尺度自適應人臉跟蹤算法[J].計算機應用，2017，37（4）：1189?1192.

HU Zhangfang， QIN Yanghong. Scale?adaptive face tracking algorithm based on graph cuts theory [J]. Journal of computer applications， 2017， 37（4）： 1189?1192.

[7] RAHMAT R F， CHAIRUNNISA T， GUNAWAN D， et al. Skin color segmentation using multi?color space threshold [C]// Proceedings of 3rd International Conference on Computer and Information Sciences. Kuala Lumpur： IEEE， 2016： 391?396.

[8] 田原嫄，姚萌萌，潘敏凱，等.基于YCbCr膚色檢測與AdaBoost聯級算法的嘴部特征定位[J].計算機應用研究，2017，34（3）：933?935.

TIAN Yuanyuan， YAO Mengmeng， PAN Minkai， et al. Human′s mouth location based on YCbCr complexion detection and AdaBoost cascade connection method [J]. Application research of computers， 2017， 34（3）： 933?935.

[9] 王建璽，李瑋瑤.基于改進Adaboost算法的人臉檢測[J].微處理機，2015，36（5）：57?60.

WANG Jianxi， LI Weiyao. Face detection based on improved Adaboost algorithm [J]. Microprocessors， 2015， 36（5）： 57?60.

[10] KUNCHEVA L I， WHITAKER C J. Measures of diversity in classifier ensembles and their relationship with the ensemble accuracy [J]. Machine learning， 2003， 51（2）： 181?207.

[11] DONG C， WANG X L， LIN T， et al. Face detection under particular environment based on skin color model and radial basis function network [C]// Proceedings of 5th International Conference on Big Data and Cloud Computing. Dalian： IEEE， 2015： 256?259.