基于Adaboost和STC的實時人臉跟蹤

王佐成，吳艷平，薛麗霞

(1.中國電子科技集團公司第三十八研究所， 合肥 230088；2.安徽四創電子股份有限公司， 合肥 230088；3.合肥工業大學 計算機與信息學院， 合肥 230009)

?

基于Adaboost和STC的實時人臉跟蹤

王佐成1，吳艷平2，薛麗霞3

(1.中國電子科技集團公司第三十八研究所， 合肥 230088；2.安徽四創電子股份有限公司， 合肥 230088；3.合肥工業大學 計算機與信息學院， 合肥 230009)

針對公共重點區域的智能監視問題，研究了時空語義模型(STC)跟蹤技術。針對STC不能實現自動跟蹤，提出利用Adaboost進行人臉檢測、然后利用STC進行跟蹤的實時人臉跟蹤技術。首先利用Adaboost算法進行人臉檢測，而后通過貝葉斯框架建立檢測到的人臉區域與周圍內容的時空關系，計算出人臉區域的置信圖和似然概率最大的位置并作為跟蹤結果。實驗結果表明：該方法實現簡單，具有較好的實時性與魯棒性,可以作為實時人臉跟蹤的有效方法。

智能監視；Adaboost；STC；人臉跟蹤

人臉識別技術由于采集方式友好、用途廣泛，在過去的四十多年中一直是人工智能領域的熱點研究課題。而人臉檢測與人臉跟蹤技術作為人臉識別系統的先決條件，有著十分重要的作用和研究意義。同時人臉檢測與跟蹤也不僅僅局限于人臉識別的范疇，在圖片視頻檢索、視頻監控、人臉表情分析等方面有著廣泛的應用前景。人臉檢測與跟蹤的研究已成為計算機視覺與模式識別領域的研究熱點之一[1]。

基于STC(spatio-temporal context)學習模型的方法[2]通過貝葉斯框架對要跟蹤的目標和它的局部上下文區域的時空關系進行建模，得到目標和其周圍語義區域間低級特征的統計相關性，將跟蹤問題轉化為目標位置置信圖的計算問題，最大化似然函數后獲得目標位置。該方法采用快速傅里葉變換實現時空模型的快速學習和目標的檢測，有著較好的實時性和抗遮擋能力[3]。

由于STC不能主動跟蹤，必須依賴于手動選取目標，本文首先利用Adaboost進行人臉檢測，選取跟蹤的人臉，后利用STC進行跟蹤。通過真實視頻數據實驗驗證，表明該算法處理速度快，且具有較高的準確度。

1 Adaboost人臉檢測算法

AdaBoost算法[4-9]是一種基于學習的特征訓練級聯分類器算法。該方法采用類Haar特征來表示人臉。Haar型特征是Viola[4]等提出的一種簡單矩形特征，因類似于Haar小波而得名，最初的特征庫包括3種類型5種形式的特征，3種類型分別為2-矩形特征、3-矩形特征、4-矩形特征。矩形特征的特征值等于原圖像在白色區域的所有像素值之和減去黑色區域的所有像素值之和。由于計算特征值時須對其覆蓋的矩形范圍內的像素進行灰度值統計，這樣會導致重復計算像素值，效率會降低，因此，應用積分圖解決該問題[8]。

對于圖像內一點A(x,y)，定義其積分圖為：

(1)

其中i(x′,y′)為點(x′,y′)處的灰度像素值。點的積分圖的物理意義表示為該點與圖像原點所形成的矩形內各像素的值之和，但是計算方法并非對各個像素值累加，而是根據迭代的方法快速計算，如圖1所示，可得：

(2)

圖1 積分圖說明

利用基于AdaBoost的學習算法[9-10]，從一個較大的特征集中選擇一些關鍵的特征，產生若干個高效的分類器，再用級聯的方法將這些分類器合成為一個更復雜的分類器。分類器訓練過程中根據訓練結果改變樣本權重，其中判斷正確的賦予較小的權重，下次訓練時給予較少的關注。判斷錯誤的賦予較大的權重，下次訓練時給予較多的關注。然后將賦予新權值的數據集從下層分類器進行訓練，選取若干弱分類器構成強分類器，最后將訓練得到的強分類器級聯起來，形成最終的分類器。

2 時空語義(STC)學習算法

在視覺跟蹤中，包含目標的局部場景在連續幀之間存在著較強的時空關系，充分利用此關系將有助于目標的準確跟蹤[10-14]，其中，目標和它附近一定區域范圍內的背景共同組成了局部語義區域。在遮擋情況下，對于局部區域來說，只是一部分發生了變化，背景以及遮擋部分與背景之間的相對位置并未發生明顯改變，利用這一點，局部上下文就可以在下一幀中預測到目標出現的位置。該方法利用時空語義區域信息能夠處理局部遮擋。具體算法如下[4]：

跟蹤問題可轉化為計算目標置信圖c(x)，

(3)

其中:x∈R2是目標位置;o表示當前幀的目標。

假設在當前幀中已經獲得目標中心的坐標x*。語義特征集合被定義為

(4)

式中：I(z)表示z處的圖像灰度；Ωc(x*)表示位置x*的近鄰。

聯合概率密度為P(x,c(z)|o)。目標位置似然函數可計算如下：

(5)

條件概率P(x,c(z)|o)表示目標位置和它的語義信息，定義為：

(6)

其中hsc(x-z)表示目標及其空間語義之間的空間關系。

P(c(z)|o)是語義的先驗概率，表示局部語義的外觀。

(7)

其中：I(z)是點z處的圖像灰度；a是歸一化常量；σ是尺度參數。

目標位置的置信圖定義為：

(8)

其中:b為歸一化常量;α為尺度參數;β為形狀參數。

結合式(8)中的置信圖函數和語義先驗模型，可以得到學習空間語義模型：

(9)

其中F-1表示傅里葉逆變換。

3 基于Adaboost和STC的實時人臉檢測及跟蹤

圖2 算法流程

3.1 Harr特征及人臉分類器訓練

在進行人臉檢測之前，需要進行人臉分類器的訓練。Adaboost人臉分類器選取的部分haar特征如圖3所示。

圖3 人臉haar特征

1)選擇合適的正樣本集和負樣本集(正樣本集是指待檢目標樣本，負樣本集指其它任意圖片)，通常數量比例為1∶4左右，并對正樣本進行歸一化處理。本文選取的正樣本個數為300個，負樣本個數為1 300個，統一歸一化為20×20大小。圖4、5所示為訓練分類器所需的部分正樣本和負樣本。

圖4 部分人臉庫樣本

圖5 部分非人臉庫樣本

2) 根據樣本和選擇的Haar特征，對樣本中包含的所有Haar特征確定最優閾值。并選擇分類效果最好的一個特征作為第一個弱分類器，并根據判斷結果，改變樣本權重。

3) 利用改變權重后的樣本繼續對Haar特征進行訓練，選擇。重復步驟2)，訓練弱分類器。

4) 根據最大誤檢率(55%)和最小檢測率(96%)來進行強分類器的訓練。

5) 將這些訓練好的強分類器組成級聯分類器。

6) 利用級聯分類器對待檢測的樣本進行人臉檢測。

城市發展是循序漸進的，走可持續發展的路線，濱海新區著力打造“天津智港”“生態城”等新的城市發展功能更符合國際化的城市發展定位，優越的城市文化和先進的城市功能將會吸引更多的國際交流與合作。

圖6 Adaboost分類器與檢測流程

3.2 時空模型更新

啟動跟蹤時即啟動人臉檢測，選取根據 Adaboost 算法檢測到的人臉所在的矩形位置區域為。

(10)

(11)

其中ct+1(x)可由式(12)得到。

(12)

時空語義模型按下式更新：

(13)

4 實驗與分析

本實驗運行環境為：Intel E5-2600u 2.5 GHz， 內存為2×8 GB的服務器上，使用 VC++ 編寫程序進行實驗。

本方法可以用攝像頭或視頻文件作為輸入。實驗取目前監控攝像頭捕獲的視頻進行測試來驗證算法的可行性。圖7為監控視頻的跟蹤結果。圖7(a)為某安檢區域的監控視頻(共238幀)中的第1幀、第22幀、第99幀、第135幀、第172幀、第230幀。算法首先在第1幀中利用Adaboost算法進行人臉檢測，對檢測到的人臉進行時空語義建模。而后利用STC進行人臉跟蹤。在第172幀到230幀之間，運動目標發生側移，跟蹤誤差稍許增高。圖7(b)為普通道路區域的監控視頻(共59幀)中的第1幀、第12幀、第26幀、第37幀、第48幀、第59幀。通過這些幀數的直觀跟蹤結果說明，該算法可行，可作為后續人臉識別的基礎。

圖7 基于Adaboost和STC的監控視頻人臉跟蹤

為了驗證算法的抗遮擋能力，本文取跟蹤領域主流的camshift算法與之比較，同時特地在視頻中進行類膚色干擾如手的干擾等。輸入視頻為720P攝像機拍攝產生的視頻。圖9、10給出了同一個視頻采用兩種方法跟蹤的結果。該組視頻從左到右分別對應第35幀、第82幀、第101幀、第135幀、第149幀的分析結果。視頻在第82幀的時候，出現過被跟蹤人臉被手遮擋的現象，如圖9所示，采用STC，仍能夠很好的進行跟蹤。如圖10所示，采用Camshift算法，則因類膚色干擾，導致跟蹤框漂移。通過該實驗說明了STC算法對遮擋具有很好的魯棒性。

圖8 視頻序列中心誤差曲線

圖9 Adaboost+STC跟蹤結果

圖10 Adaboost+Camshift跟蹤結果

本文選取平安城市監控攝像機以及實驗環境下監控攝像機拍攝的多組1080P視頻數據進行實驗，選取TLD與Camshift算法與本文算法進行比較，得出的實驗數據如表1所示。從表1中可以看出本系統具有更好的實時性與魯棒性。

表1 本文方法與其他跟蹤算法對比

5 結束語

本文提出了一種基于人臉檢測和STC算法的人臉跟蹤技術。對于攝像頭或者視頻文件輸入，首先利用Adaboost算法進行人臉檢測，而后通過貝葉斯框架對要跟蹤的目標和它的局部上下文區域的時空關系進行建模，得到目標和其周圍語義區域間低級特征的統計相關性，將跟蹤問題轉化為目標位置置信圖的計算問題，計算最大化似然函數后獲得目標位置，進而完成人臉跟蹤。試驗結果表明：該算法具有較高的實時性與魯棒性，可在攝像機或視頻流中采集和跟蹤人臉，更好的服務于人臉識別和視頻濃縮摘要。在平安城市軌跡追蹤、銀行身份識別、機場安檢、支付認證等方面具有較好的應用前景。

[1] 佘九華，王敬東，李鵬.基于Camshift的人臉跟蹤算法[J].計算機技術與發展，2008，18(9):12-15.

[2] ZHANG K H,ZHANG L,YANG M H,et al.Fast Visual Tracking via Dense Spatio-temporal Context Learning[M].New York:Springer International Publishing,2014:127-141.

[3] 黃井強.機載視頻運動目標跟蹤研究[D].合肥：合肥工業大學，2014.

[4] VIOLA P,JONES M.Rapid Object Detection Using a Boosted Cascade of Simple Features[J].IEEE Computer Society Conference on Computer Vision & Pattern Recognition,2001(1):511-518.

[5] 王麗.基于視頻的人臉檢測與跟蹤系統的研究[D].重慶：重慶大學，2008.

[6] 趙萬鵬.基于Adaboost算法的數字識別技術的研究與應用[D].成都：中國科學院成都計算機應用研究所,2006.

[7] 孔凡芝.基于Adaboost和支持向量機的人臉識別系統研究[D].哈爾濱：哈爾濱工程大學,2005.

[8] 佘九華.人臉動態檢測與實時跟蹤系統的設計[D].南京：南京航空航天大學,2008.

[9] LEI Y,DING X,WANG S.Adaboost tracker embedded in adaptive particle filtering[C]//International Conference on Pattern Recognition.2006:939-943.

[10]DIVVALA S K,HOIEM D,HAYS J H,et al.An empirical study of context in object detection[C]//Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition.2009:1271-1278.

[11]GRABNER H,MATAS J,Van GOOL L,et al.Tracking the invisible:Learning where the object might be[C]//Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition.2010:1285-1292.

[12]DINH T B.Exploring supporters and distracters in unconstrained environments[C]//Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition.2011:1177-1184.

[13]WEN Longyin,CAI Zhaowei,LEI Zhen,et al.online spatio-temporal structural context learning for visual tracking[C]//12th European Conference on Computer Vision.2012:716-729.

[14]TORRALBA A.Contextual priming for object detection[J].International Journal of Computer Vision,2003,53(2):169-191.

(責任編輯 楊黎麗)

Real-Time Face Tracking Based on Adaboost and STC

WANG Zuocheng1, WU Yanping2, XUE Lixia3

(1.The 38thResearch Institute of China Electronics Technology Group Corporation,Hefei 230088, China; 2.Anhui Sun Create electronic CO., LTD., Hefei 230088, China;3.School of Computer and Information, Hefei University of Technology, Hefei 230009, China)

The spatio-temporal context (STC) tracking method is investigated aiming at the problem of intelligent monitoring in public focus areas. The new method firstly uses Adaboost algorithm for face detection and then tracking the face real-time by STC is proposed because that STC can’t track faces real-time and automatically. First of all, Adaboost algorithm is used for face detection. Then the spatiotemporal relationship between the detected face region and its surrounding contents is established by the Bayesian framework to calculate the confidence map of the detected face region and the maximum position of likelihood function as a tracking result.Experiment results shows that this method is a simple, real-time and robust method, and it is an effective way for real-time face tracking.

intelligent monitoring; Adaboost; STC; face tracking

2017-03-08

中央高校基本科研業務費專項資金資助項目(JZ2014HGBZ0059)

王佐成(1973—)，男，四川巴中人，博士，高級工程師，主要從事視頻圖像，軟件工程研究，E-mail：cswangzc@163.com；吳艷平(1986—)，女，安徽樅陽人，碩士，主要從事視頻圖像研究；薛麗霞(1976—)，女，四川西昌人，博士，副教授，主要從事視頻圖像研究。

王佐成,吳艷平，薛麗霞.基于Adaboost和STC的實時人臉跟蹤[J].重慶理工大學學報(自然科學)，2017(7):169-175.

format：WANG Zuocheng, WU Yanping, XUE Lixia.Real-Time Face Tracking Based on Adaboost and STC[J].Journal of Chongqing University of Technology(Natural Science)，2017(7):169-175.

10.3969/j.issn.1674-8425(z).2017.07.027

TP391

A

1674-8425(2017)07-0169-07