基于膚色和Gabor紋理的粒子濾波人臉跟蹤

田 天，陳 剛

(上海交通大學現代遠程教育研究中心，上海 200030)

1 概述

基于計算機視覺的目標跟蹤問題受到國內外學者的大量關注和研究，如何能夠在復雜場景下實現實時、準確、魯棒的跟蹤，一直是難以完美解決和實現的問題。均值漂移Mean Shift算法[1]和CamShift算法[2]主要通過顏色信息進行跟蹤，具有收斂速度快的特點。濾波方法是近年來使用比較多的方法，卡爾曼濾波器[3]提供了一種高效可計算的方法來估計系統的狀態，但是應用范圍受限于線性、高斯系統。粒子濾波通過蒙特卡羅仿真實驗的方法，解決了卡爾曼濾波器無法適應非高斯、非線性系統的問題，且隨著計算機計算能力的不斷提升，粒子濾波計算量大的缺陷也得到了逐步改善。以顏色為單一跟蹤線索的粒子濾波跟蹤系統[4-5]往往不能處理場景中的顏色干擾或者光照變化等問題，在顏色敏感的應用場景中使用比較局限。近年來研究人員嘗試使用更多的跟蹤特征，以及多種跟蹤技術結合的方法，使目標跟蹤具有更優魯棒性。Gabor特征是一種顯著的紋理特征，文獻[6]在Mean Shift算法中使用Gabor濾波和LBP構造多級紋理進行目標跟蹤；文獻[7]使用Gabor濾波和目標的稀疏描述技術進行魯棒跟蹤，克服了光照和外形變化造成的干擾；文獻[8]在傳統的顏色直方圖模型中添加了人臉的形狀直方圖；文獻[9]利用運動目標的速度和加速度信息，給出了對粒子濾波器跟蹤狀態的評價方法，建立了相應的捕獲機制。文獻[10]結合顏色、邊緣和小波特征信息，實現了一種并行粒子濾波算法。本文在粒子濾波的框架下，針對人臉膚色和紋理2個特征，建立膚色直方圖模型和Gabor紋理特征模型，并使用民主融合策略在視頻中實現對人臉區域的準確跟蹤。

2 膚色檢測

膚色特征在人臉跟蹤領域中是最有效的特征之一，膚色信息符合人類的視覺系統習慣，同時提取膚色特征相比于其他特征更迅速、準確，在人臉部發生旋轉、尺度等變化以及目標遮擋時，也表現出更好的魯棒性和誤跟蹤恢復能力。膚色檢測技術的難點主要體現在膚色個體、種群差異性等導致膚色模型需要結合具體的使用環境建立，同時容易受到環境光和復雜背景的影響，導致膚色檢測結果不穩定。膚色檢測技術主要涉及以下2個問題：(1)選用何種顏色空間作為視頻圖像的投影空間；(2)如何建立數學模型描述膚色與非膚色區域以及兩者的區分方法。

2.1 投影顏色空間的選擇

RGB顏色模型是計算機使用最廣泛的模型，可直接作為膚色檢測的投影空間。但RGB空間下3個分量對光照強度具有強相關性，極易受到環境的影響。研究發現，人類膚色雖然顏色差異較大，但主要體現在亮度分量上，實際上色度更大程度地決定了膚色與非膚色區域的劃分。在HSV空間和YCbCr空間中，顏色分量和亮度分量得到有效分離，色度H通道和Cb、Cr通道對膚色具有明顯的高聚類性。本文選取HSV空間和YCbCr空間作為顏色投影空間。對于YCbCr空間Cb-Cr通道，膚色樣本分布如圖1所示。

圖1 YCbCr空間中Cb-Cr聯合通道膚色樣本分布

2.2 膚色模型和似然度計算

文獻[11]總結了一種在RGB空間下膚色像素的閾值分割方法：

該分類方法是較早針對膚色檢測的研究中提出的。該方法簡單有效，但對飽和度比較低的像素區域容易出現誤分類。針對膚色樣本在色度H通道和Cb-Cr通道中的分布，本文通過加權求和的方式來描述膚色的概率分布：

其中，P (s kin| c)表示觀測到某像素后為膚色像素的概率。該概率模型由色度H通道的一維高斯模型和Cb-Cr通道的二維高斯模型通過加權因子求和得到。H通道和Cb-Cr通道的膚色樣本概率分布可通過高斯函數進行擬合。PH(skin |c)和PCbCr(skin |c)通過高斯函數計算膚色似然度，即：

其中，x和m為別是H,CbCr通道的顏色樣本；參數μ,σ2為相應高斯分布N(μ,σ2)的均值和方差；μ,Σ 為N(μ,Σ)的均值向量和協方差矩陣。

3 Gabor濾波和紋理提取

除了人的面部膚色特征，紋理也是一種常見特征。文獻[12]將紋理特征提取方法歸納為以下5種：統計方法，幾何方法，結構方法，模型方法和信號處理方法。基于信號分析的方法符合人類認識紋理的過程，適應多種分辨率，用Gabor函數描述的Gabor濾波器可以在頻域不同尺度、不同方向上提取相關的特征，被證明是信號在空間域和頻率域的最優描述之一。

3.1 Gabor濾波和全局濾波器組

圖像是一個二維離散矩陣，在圖像處理中更多是使用二維Gabor變換。二維Gabor函數g(x,y)是經過復數正弦函數調制的高斯函數，其在空間域和頻率域分別表示為：

其中，σx,σy分別為Gabor小波基函數沿x軸和y軸方向的方差，且 σμ=1/(2πσx),σν=1/(2πσy)；ω為高斯函數的復調制頻率。以g(x,y)為母小波，通過對其進行尺度變換和旋轉變換，可獲得一個全局Gabor濾波器組：

其中，x ′=a-m(xcosθ + ysin θ)；y′=a-m(- xsinθ + ycosθ)；θ=(nπ)/k ，k是方向總數；a-m是尺度因子。該濾波器組包含m×n個Gabor濾波器，每個濾波器對某一特定尺度和方向具有選擇作用，濾波器的數量決定了該全局濾波器組的紋理描述能力。

3.2 紋理特征向量構造

Gabor幅值圖像是原始圖像經過Gabor濾波后得到的復數矩陣幅值響應圖。對Gabor濾波結果進行紋理提取時，本文采用通過計算Gabor幅值圖像中均值和方差構造統計量的方法。使用高階矩構造Gabor特征向量得到的性能提升空間比較有限，而且計算復雜度大幅提高。

設Wmn(x,y)為圖像區域I(x,y)經過Gabor小波變換后的圖像，提取幅值圖像均值和方差的方法如下：

利用所有m×n個濾波結果的均值與標準差構造Gabor特征向量：

4 基于膚色和紋理信息的粒子濾波

粒子濾波依據蒙特卡羅采樣思想，用一組帶有相關權值的隨機樣本來表示系統隨機變量的后驗概率分布。粒子空間傳播過程中使用系統模型預測狀態的先驗概率密度，并結合現有狀態的觀測值進行更新，得到后驗概率密度。具體過程如圖2所示。

圖2 粒子濾波遞推過程(預測和更新)

4.1 粒子動態模型

由于粒子濾波基于狀態近似估計的思想，因此目標運動模型精確度不必過高。本文基于該方法，采用一階自回歸模型描述人臉運動。目標狀態轉移方程的一階自回歸方程為：

其中，ut-1是一個隨機量。針對粒子濾波后驗狀態估計結果，動態調整ut-1的隨機范圍。當跟蹤結果觀測權值較大時，表示粒子已觀測到較為可靠的目標，此時可減小ut-1的隨機范圍，使粒子的傳播過程更加穩定；當觀測權值較小時，可通過適當增大ut-1的隨機范圍，擴大粒子集的傳播和搜索范圍。

4.2 粒子觀測模型

針對膚色似然圖像，建立目標區域的膚色概率分布模型：

其中，xi為當前像素位置；x0為區域中心；k(·)為定義的核函數，使得接近中心區域的像素膚色似然度貢獻較高，而位于邊緣區域的像素貢獻較低；δ(·)為單位沖激函數；u為直方圖序列索引；參數a的設置隨粒子窗口大小變化，保證核函數的合理性。定義Bhattacharyya系數(巴氏系數)計算方法為：

巴氏系數衡量了2個分布的相似性。將相應的巴氏距離作為粒子觀測似然函數計算結果：

對于Gabor濾波結果，通過計算粒子區域內的紋理觀測向量，并和人臉目標紋理向量進行匹配以實現對粒子區域紋理似然函數的估計。選取向量歐式距離作為相似度測量準則：

其中，Dg為歐式距離；k是一個預先確定的常數。最終的粒子觀測似然函數由2種信息通過加權求和得到，即：

粒子觀測模型示意圖如圖3所示。

圖3 粒子觀測模型示意圖

為了在系統中更合理、靈活地融合2種觀測信息，本文采用民主融合策略。該策略的基本原理是對參與融合的各種信息進行可靠度評析，對可靠度較大的信息對在系統觀測計算中占有更大的權值。定義質量函數qi如下：

其中，k是一個常數；di表示融合結果中每種信息和目標特征的相似性距離。

通過當前各信息權值計算當前幀的跟蹤結果后，利用質量函數預測下一幀信息權值的過程如下：

其中，T是連續2幀之間的時間間隔；τ是變化速率。該式使得質量函數值更高的信息逐漸擁有更大的權值，從而使得跟蹤結果中該信息的貢獻更顯著。

4.3 粒子濾波跟蹤算法

基于膚色信息和Gabor紋理信息的粒子濾波算法描述如下：

(1)初始化視頻序列跟蹤對象，獲得人臉跟蹤窗口初始位置；

(2)提取目標人臉膚色直方圖和Gabor紋理特征向量；

(4)粒子傳播：根據狀態轉移方程計算新的粒子集：

(5)粒子觀測：分別計算膚色檢測模型下和Gabor紋理模型下觀測似然 P(Zc| X)和P(Zg|X)，通過高斯模型計算粒子權值：

(6)目標后驗狀態估計：

(7)粒子重采樣：對粒子集進行重采樣；

(8)通過民主融合策略進行信息權值的更新；

(9)轉到步驟(4)。

5 實驗與結果分析

本文選取斯坦福大學開放人臉跟蹤視頻序列seq_ms、seq_djb為實驗對象。斯坦福大學人臉跟蹤視頻比較全面，同時具有跟蹤測試的針對性。視頻序列幀長為50，分辨率為128×96像素。針對2組序列的跟蹤結果如圖4和圖5所示。

圖4 seq_ms序列跟蹤結果

圖5 seq_djb序列跟蹤結果

seq_ms視頻中人物臉部基本保持不動，但是雙手左右移動，手掌數次完全遮擋臉部。人手區域屬于類膚色區域，在膚色似然概率圖中，手部的直方圖與臉部相似，因而會對臉部跟蹤產生干擾。從誤差曲線(圖6)來看，基于膚色的粒子濾波跟蹤結果容易被手部吸引，從而引起數次誤差高峰。臉部的遮擋也將影響到基于紋理信息的跟蹤，但實驗結果顯示紋理跟蹤結果比較理想，主要原因是因為人物保持靜止，背景沒有劇烈的紋理變化。seq_djb視頻中人物首先向右移動至一塊障礙板前，然后向左以較快速度返回，并在移動過程中遇到背景區域中其他人臉的干擾。實驗結果顯示，基于3種信息的粒子濾波器均能夠實現較為穩定的跟蹤。視頻后段中人物臉部以側面移動，同時光照強度較低，因而對膚色信息的跟蹤略有影響。2組視頻中基于Gabor紋理特征的跟蹤起到了更明顯的作用。

圖6 跟蹤誤差

圖7是戶外背景拍攝的視頻序列及其人臉跟蹤結果，序列分辨率為320×240像素。在該序列中，人物面部光照強度較低，但對膚色似然圖像的計算影響較小。基于紋理信息的粒子濾波在該序列中容易出現誤跟蹤，體現在攝像頭移動導致背景不穩定，同時房屋和樹木的細節較多，因而該序列的Gabor幅值圖像較為復雜。視頻序列21幀時，人物處于直立靜止狀態。第50幀起，人物開始移動，伴隨面部的水平移動和輕微旋轉，尤其在第100幀左右，人物移動速度達到了150 pixel/s～180 pixel/s，跟蹤存在一定誤差，但仍能基本鎖定人物的運動方向，提供正確的結果。第120幀之后，人臉由于下蹲發生垂直方向的運動，攝像頭自身也產生移動，由于背景房屋的表面細節豐富，同時受到低分辨率視頻的質量影響，Gabor幅值圖像開始不穩定，跟蹤主要線索集中在膚色特征上，該過程依賴民主融合策略對膚色信息和Gabor紋理信息的混合權重動態調整。整個視頻只包含單一人臉，不存在其他人臉目標或類膚色區域的干擾。

圖7 戶外拍攝序列跟蹤結果

6 結束語

基于單一顏色信息的跟蹤方法計算速度快，但較難適應相似顏色的干擾，因而其局限性較大。本文建立的膚色概率模型綜合了HSV空間和YCbCr空間中H通道和Cb-Cr聯合通道計算膚色似然概率，進一步避免了光照等環境變化造成的錯誤。同時使用Gabor濾波的紋理提取技術捕獲了更多的目標外形特征，當背景紋理單一、靜止時，特征容易區分，目標跟蹤的結果更穩定、魯棒。

Gabor濾波方法在選取尺度、方向數目較多、特征向量維數較高時計算量較大。民主融合策略是在確定膚色直方圖和Gabor紋理特征向量對粒子觀測似然值的貢獻權重時采用的一種自適應策略，提高了跟蹤靈活度和可靠度。實驗結果表明，基于膚色和Gabor紋理信息的粒子濾波跟蹤器能在多種環境下進行準確的跟蹤。此外，粒子數目的多少直接對計算速度產生影響，而且會隨著觀測模型的復雜化而不斷提高。今后將使用和優化更多的目標描述模型，同時對粒子空間傳播過程和重采樣過程進行研究和改進。

[1]Cheng Yizong.Mean Shift,Mode Seeking,and Clustering[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1995,17(8):790-799.

[2]Bradski G R.Computer Vision Face Tracking for Use in a Perceptual User Interface[J].Intel Technology Journal,1998,2(2):1-15.

[3]Welch G,BishopG.An Introduction to the Kalman Filter[EB/OL].(2003-03-02).http://cs.unc/edu/welch/kalman/kalmanIntro.html.

[4]Nummiaro K,Koller-Meier E,van Gool L.A Color-based Particle Filter[C]//Proceedings of the 1st International Workshop on Generative-model-based Vision.Kopenhagen,Denmark:[s.n.],2002:53-60.

[5]Nummiaro K,Koller-Meier E,van Gool L.An Adaptive Color-based Particle Filter[J].Image and Vision Computing,2003,21(1):99-110.

[6]危自福,畢篤彥,楊 儉.基于多級紋理特征和Mean-Shift的灰度目標跟蹤[J].計算機應用,2010,30(6):1568-1572.

[7]Li Weiguang,Hou Yueen,Lou Huidong,et al.Robust Visual Tracking Based on Gabor Feature and Sparse Representation[C]//Proceedings of IEEE International Conference on Robotics and Biomimetics.[S.l.]:IEEE Press,2012:1829-1835.

[8]高建坡,王煜堅,楊 浩,等.以顏色和形狀直方圖為線索的粒子濾波人臉跟蹤[J].中國圖象圖形學報,2007,12(3):466-473.

[9]蔣 斐,程玉寶,李宏斌.基于運動特征的顏色粒子濾波器[J].計算機工程,2011,37(9):221-222,225.

[10]Liu Keyan,Li Yunhua,Li Shanqing,et al.A New Parallel Particle Filter Face Tracking Method Based on Heterogeneous System[J].Journal of Real-Time Image Processing,2012,7(3):153-163.

[11]Vezhnevets V,Sazonov V,Andreeva A.A Survey on Pixelbased Skin Color Detection Techniques[C]//Proceedings of Graphicon’03.Moscow,Russia:[s.n.],2003:85-92.

[12]Tuceryan M,Jain A K.Texture Analysis,Handbook Pattern Recognition and Computer Vision[M].Singapore:World Scientific,1993.