結合PCA的TLD人臉跟蹤

伍靚++袁奕珊++陳姝

摘 要：目標檢測通過樣本學習可以得到目標有效視覺先驗表示，在簡單的跟蹤環境下能夠取得較好的跟蹤效果。目標跟蹤利用目標的在線信息，在復雜的背景下可以很好地跟蹤目標。結合目標檢測與目標跟蹤的優點，在TLD算法的基礎上提出一種基于PCA的在線人臉跟蹤算法。人臉圖像在首幀中手動標注，其他幀中綜合中值光流法跟蹤結果及PCA檢測結果進行人臉跟蹤，并根據跟蹤結果在線更新PCA。實驗結果表明，本文算法可以在光照變化、遮擋、復雜背景下進行人臉長序列跟蹤。

關鍵詞：在線學習；人臉跟蹤；目標檢測；跟蹤模塊

中圖分類號：TP391.41 文獻標識碼：A DOI：10.15913/j.cnki.kjycx.2015.12.006

人臉跟蹤研究對計算機視覺、模式識別等領域的發展具有重大的促進作用，在智能監控、公共安全、虛擬現實、人機交互等各個領域也有著廣泛的應用。

經過多年的發展，人臉檢測技術已經取得了重大的突破。伴隨智能監控、公共安全等應用領域的發展需求，基于視頻的人臉識別已成為人臉識別領域熱門研究方向。TLD將傳統的跟蹤算法和傳統的檢測算法相結合，通過P-N在線學習機制建立目標模型。但是由于其缺乏對人臉特征單獨的訓練方法，在人臉跟蹤中會因為背景成簇、光照變化等因素影響跟蹤的準確性。

針對TLD的固有不足，本文結合PCA及TLD對視頻中的人臉進行跟蹤。在TLD跟蹤框架下加入PCA檢測模塊能夠提高人臉跟蹤的準確性，改進的TLD跟蹤框架在人臉追蹤的過程中更加精確。

本文提出的基于視頻的人臉跟蹤系統包括人臉檢測模塊、人臉跟蹤模塊、跟蹤-檢測綜合三個部分，下面分別進行詳細介紹。

1 人臉檢測

PCA（Principle Component Analysis）在人臉識別領域得到了廣泛的應用，但其需要離線訓練樣本，而不能滿足基于視頻的在線人臉跟蹤。在TLD跟蹤框架中，缺乏對人臉這一特定跟蹤目標的單獨檢測方法，當目標人臉丟失視野后，在視點變化、光照變化強烈的情況下，則不能快速檢測到目標人臉。本文在TLD跟蹤框架中加入了PCA人臉檢測模塊，有效地提高了TLD在人臉跟蹤過程中對人臉的檢測能力。

檢測器在ORL人臉數據庫上進行離線訓練初始化。在首幀對目標手工標注后，對目標人臉進行一系列仿射變化，然后加入到正樣本訓練集X={x1，x2…xn}，其中，X為表示人臉的特征向量。訓練樣本集的協方差矩陣定義為：

CA=（AAT）/n. （1）

式（1）中：A={φ1，φ2……φn}， ， ，

即平均人臉；n為訓練樣本數。協方差矩陣CA為N×n矩陣，N為xi的維數。

由K-L變換原理可知，我們所求的新坐標系由矩陣AAT的非零特征值所對應的特征向量組成。直接求解N×n維矩陣CA的特征值和特征向量存在一定困難。根據奇異值分解原理，可以通過求解ATA的特征值和特征向量來獲得AAT的特征值和特征向量。在計算得到CA的所有非零特征值[λ1，λ2……λr]（從

———————————————————————————

大到小排序，1≤r≤N）及其對應的單位正交向量[u1，u2……

ur]后，取令累積貢獻率 達到90%的前k個特征值及

其對應的特征向量組成特征變換矩陣U=[u1，u2……uη]∈RN×η，則一張待檢測圖片X在新的特征空間下的投影系數為：

Y=UT×X. （2）

計算平均人臉 與待檢測圖片X的投影系數的距離d=

，當其值小于閾值時，便判定為人臉。

2 人臉跟蹤

光流是一種簡單實用的圖像運動的表達方式，其運動可以由光流法獲得。本文采取基于L-K光流計算的中值光流法對目標進行跟蹤。

圖1為目標區域光流特征采樣圖。如圖所示，在上一幀跟蹤的目標區域內均勻采樣10×10個特征點。采用光流法對t時刻圖像It中的特征點xt跟蹤到t+k時刻圖像It+k中的位置xt+k，然后反向跟蹤，即再采用光流法從xt+k特征點往回反向跟蹤至時刻t圖像It中的位置 。定義反向跟蹤誤差為：

. （3）

計算每個特征點的FB-Error，得到所有特征點的FB-Error均值EFB-Error，并過濾掉大于EFB-Error的特征點。

在上述保留的特征點基礎上，在每個特征點周圍取大小為10×10個像素的圖像塊，將該圖像塊與該特征點在上一幀中所取的圖像塊進行模版匹配，計算相似度Sim。由所有特征點的相似度計算均值ESim，并過濾掉大于ESim的特征點。通過以上兩步驟過濾法，最終得到了具有良好跟蹤效果的特征點，并通過這些特征點，預測下一幀圖片目標所在位置。

目標區域內均勻采樣10×10個特征點（白色），通過計算FB-Error和Sim舍棄追蹤效果差的點，保留效果好的特征點并預測下一幀圖片該特征點的位置，如圖1中綠點所示。

3 結合檢測與跟蹤

在跟蹤模塊下，假設目標在幀與幀之間的位移有限，并且目標沒有消失，跟蹤器根據中值光流法預計出目標在兩幀之間的運動。在檢測模塊下，檢測器認為每一幀圖片是獨立的，并通過檢測窗口來定位目標。跟蹤結果和檢測結果通過P-N學習在線建立目標模型。

3.1 目標模型更新

利用P-N在線學習方法來構造目標模型，目標模型由經過歸一化的圖像塊組成的集合 表示，其中， 為第一個被添加的目標圖像塊， 為第一個被添加的背景圖像塊。定義兩圖像塊pi和pj之間的相似度為：

S（pi，pj）=0.5[NCC（pi，pj）+1]. （4）

式（4）中：NCC為歸一化互相關系數。

對于任意待檢測圖像p，我們定義其與目標模型L的相似度如下：

最鄰近正樣本相似度： .

最鄰近負樣本相似度： .

相關相似度： .（Sr值越大，表示圖像塊越有

可能為目標）

保守相似度： .

對于任意一個圖像塊p，如果Sr（p，L）>θNN，則被分類為正樣例；否則被分為負樣本。其中，θNN在實驗中設置為0.6.

3.2 跟蹤器更新

由于檢測器檢測到的目標較多，先根據重疊度對檢測到的

目標圖像塊進行聚類，得到檢測集合 ，其中

之間重疊度小于0.5（重疊度的值等于兩圖像塊交集與并

集的比）。

比較跟蹤器跟蹤到的圖像塊pt與檢測器檢測到結果經過聚類后的圖像塊pd之間的重疊度，如果重疊度小于0.5且 的相似度大于跟蹤器的相關相似度，且滿足條件的pd個數為1，則采用滿足條件的pd去糾正跟蹤器；如果滿足條件的pd的個數大于1，則取與pt重疊度大于0.7的所有pd的并集去糾正跟蹤器。如果沒有滿足條件的pd，則求pt重疊度最大的pd和pt的坐標和大小，其中，pt權重較大。如果跟蹤器丟失目標，但是檢測器檢測到一些目標圖像塊p，則對其進行聚類，并以 重新初始化跟蹤器。

3.3 檢測器更新

在上一幀成功檢測到的目標人臉的基礎上，我們在距離目標框最近的掃描窗口內選擇10個檢測窗口bounding box，在每個bounding box內部利用幾何變換，進行±1%范圍的偏移，±1%范圍的尺度變化，±10°的平面內旋轉操作。在偏移、尺度、旋轉指定范圍內隨機取值變化20次。10個初始bounding box就生成了200個仿射變化的bounding box，將這些bounding box作為正樣本訓練檢測器。

圖2 目標模型構造示意圖

如圖2所示，系統框架采用跟蹤與檢測相結合的方式，通過P-N在線學習機制構造目標模型。積分器整合跟蹤窗口與檢測窗口，并輸出保守相似度最大的窗口。

4 實驗測試及效果分析

本文共在4個人臉視頻序列與TLD、MIL、FT算法進行了比較實驗，其包含了人臉跟蹤中所要解決的光照變化、目標形變、遮擋、尺度變化等問題。

實驗比較效果如圖3所示，在視頻序列David中光照變化很劇烈，目標外觀改變較大（目標在第596幀摘下眼鏡），MIT算法采取多樣例的學習方法，能夠提取目標模型的典型特征，因此其在該視頻中表現最好。本文采用中值光流法結合經過離線訓練的PCA人臉檢測器的方法，在該視頻跟蹤過程中沒有產生跟蹤漂移，也能夠穩定地對目標進行跟蹤。在視頻序列face中，目標遭遇遮擋，中值光流法中的特征點篩選跟蹤策略有效地解決了目標部分遮擋問題，而FT算法通過對模型的碎片化處理，在遮擋情況下的表現最好。但是，FT算法受目標的形變影響最大，而本文采用的PCA檢測器結合P-N在線學習方法建立的目標模型，有效適應了目標的外觀變化，能夠很好地解決視頻序列ssm7、dudek目標形變、尺度變化問題。

（a）David（第163，499，730幀）

（b）dudek（第103，369，829幀）

（c）ssm7（第6，83，163幀）

（d）face（第22，91，291幀）

注：藍色實線框為本文算法，紅色虛線框為FT，綠色虛線框為TLD，黃色虛線框為MIL

圖3 實驗視頻跟蹤效果截圖

參考文獻

[1]Chellappa R，Wilson C，Sirohey S.Human and machine recognition of faces[J].A survey.Proceedings of the IEEE，1995（5）.

[2]D.Ross，J.Lim，R.Lin，et al.Incremental Learning for Robust Visual Tracking[J].International Journal of Computer Vision，2007（77）.

[3]D.Comaniciu，V.Ramesh，P.Meer.Kernel-Based Object Tracking[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2003（5）.

[4]Z.denek Kalal，K Mikolajczyk，J Matas.P-N Learning：Bootstrapping Binary Classfiers by Structural Constraints[J].CVPR，2010（6）.

[5]Z.denek Kalal，K Mikolajczyk，J Matas.Tracking Learning Detection[J].PAMI，2010（1）.

[6]B.D.Lucas，T. Kanade.An iterative image registration technique with an application to stereo vision[J]. IJCAI，1981（81）.

〔編輯：王霞〕

文章編號：2095-6835（2015）12-0008-02