一種基于多特征融合的視頻目標跟蹤方法

柳培忠，阮曉虎，田震，李衛軍，覃鴻

(1.華僑大學工學院，福建 泉州362000;2.中國科學院半導體研究所高速電路與神經網絡實驗室，北京100083)

視頻跟蹤是計算機視覺中一個重要研究分支，十幾年來，一直是最熱門的研究課題之一。視頻跟蹤的主要任務是檢測視頻場景中出現的目標，并對其運動狀態(該狀態包括物體的尺度、位置、速度、物體特征等信息)進行記錄、理解和預測。目前，視頻跟蹤作為一項關鍵技術主要應用在導航制導、自動駕駛、監控視頻分析、醫學影像分析等領域。現階段視頻跟蹤的研究面臨的主要問題是:視頻場景的光照變化，攝像頭運動目標形狀、外觀、姿態和尺度的變化，同時目標的遮擋、背景雜亂、攝像頭抖動、傳感器噪聲、相似物體的干擾也給目標檢測和識別帶來了困難，導致目標運動狀態的獲取存在誤差，跟蹤漂移后難以再獲取目標恢復跟蹤。

近些年，國內外學者們對多目標的視頻跟蹤做了很多研究。與傳統的只采用已知運動狀態預測未知運動狀態[1-2]的跟蹤模式不同，多方法或多特征融合的方法得到了學者們的普遍認可。文獻[3]和[4]雖很好地證明了特征和運動預測跟蹤融合的方法要比傳統僅采用特征或者運動狀態預測的跟蹤效果好，但需手動標定跟蹤目標。文獻[5-6]采用了運動目標檢測和運動狀態預測結合的方法獲得了不錯的效果，但無法應對光照和目標遮擋帶來的影響，同時其計算量偏大，無法保證實時處理。文獻[7]提出了一種基于目標檢測與SIFT特征融合的方法，該方法可以自動地進行目標匹配和跟蹤，但對每一幀的SIFT特征匹配需要消耗大量的計算時間。本文方法是在文獻[7]的基礎上提出的基于多特征融合的視頻目標跟蹤方法，主要著眼于運動目標的自動檢測和匹配跟蹤，由于無需每幀都采用SIFT特征完成目標匹配，因此可以節省部分計算時間。首先，應用碼本的背景建模方法檢測運動目標，獲得目標圖像。其次，對目標的跟蹤采取的是連續幀間的位置關系，對于幀間位移判斷失效的情況下采用圖像的SIFT特征和彩色直方圖特征庫完成對目標的匹配。最后，記錄同一目標出現、消失或重現時間及位置等運動狀態信息，實現目標的跟蹤。實驗結果表明，算法很好地實現了監控視頻的跟蹤任務。

1 背景建模與運動目標檢測

運動目標的檢測是視頻跟蹤的關鍵步驟，本文采用背景剪除的方式檢測視頻前景目標。文獻[3-4]討論了視頻背景建模的方法，其中高斯混合模型[5]和基于碼本的背景模型[6]在運用中取得了比較好的效果。本文采用的背景建模方法為實時更新的雙層碼本建模方法[7]，雙層碼本分為主碼本模型和緩存碼本模型，主碼本模型用于對不變背景的建模，而緩存碼本模型用于應對臨時背景的出現，并且雙層碼本可以根據背景場景的變化進行實時的更新，真實而快速地反應出背景的變化。運動目標的檢測采用的是背景差分法，是將當前幀與背景模型相減，根據像素采樣值與其碼本是否匹配來判斷，如果新輸入的像素值與背景碼本匹配，則判斷為背景，否則判斷為目標。基于碼本的背景建模方法，輸出是二進制掩碼，這正好適用于對運動目標的提取。該過程不像混合高斯模型方法或非參核密度估計方法[8]，無需計算概率，檢測速度快，并且可以應對多種背景的變化，對運動目標的檢測簡便靈活，能達到實時分析視頻內容的目的。

2 建立特征庫

為了應對復雜多變的情況，需要一種穩定的方式表示運動目標，本文采取的方法是對每個運動目標建立一個獨有的特征庫。在運動目標第1次被檢測到時，則利用目標出現的前幾幀建立此運動目標的特征庫;當多目標距離相近或者重合時，則需要利用建立好的特征庫實現實時的匹配運動目標，對匹配成功后的運動目標，同時需要更新其特征庫的信息。因此，特征的選擇將變得非常重要，本文采取的特征為彩色顏色直方圖和SIFT(scale invariant feature transform)特征。

2.1 彩色顏色直方圖

根據文獻[9]，圖像的彩色直方圖是對各顏色級在圖像中出現頻率和次數的統計，在一定程度上反映了目標的特征和表象，對于目標在顏色上的突出特征有較好的識別效果。因此，將目標的彩色直方圖信息作為目標特征庫中的一個特征。

首先利用目標檢測方法，在視頻中分離出運動目標，然后對分離出的運動目標圖像進行彩色圖像的直方圖統計，分別為RGB 3個通道做直方圖統計。在需要特征庫進行目標匹配時，采用的是三通道的顏色直方圖Bhattacharyya距離進行判斷。

2.2 SIFT特征

SIFT 算子是 Lowe于 1999 年提出[10-11]，又在2004年[12]完善的一種提取局部特征的算法，在尺度空間尋找極值點，提取位置、尺度、旋轉不變量。算法的主要特點為:1)穩定性:對旋轉、尺度縮放、亮度變化保持不變性，對視角變化、仿射變換、噪聲也保持一定程度的魯棒性;2)獨特性:信息量豐富，適用于在海量特征數據庫中進行快速、準確地匹配;3)多量性:即使少數的幾個物體也可以產生大量SIFT特征向量;4)高速性:經優化的SIFT匹配算法甚至可以達到實時的要求;5)可擴展性:可以很方便地與其他形式的特征向量進行聯合。因此，算法將SIFT特征作為目標特征庫的另一個特征。

SIFT特征的本質是在高斯差分金字塔各層圖像中尋找局部極值點目標，然后通過窗口的方式進行向量化表示。在高斯差分金字塔中，檢測出的一個極值點又被稱為特征點，是由128維特征向量表示的。在剪切出目標區域后對目標圖像提取SIFT特征用做后續目標匹配的特征。

3 目標跟蹤

在完成對目標的檢測，建立好多目標的特征庫后，需要完成對多目標的跟蹤。首先，當運動目標被檢測出現在視頻中的第1幀時，算法需要判斷此目標是否為重出現目標，在檢測到運動目標后，提取其顏色直方圖特征和SIFT特征與特征庫中的目標信息進行判斷，如是重出現目標，則更新其特征庫和出現時間，如是新加入目標則建立新目標的特征庫和出現時間。

在后續運動目標出現的幀中，無論目標是否為重出現目標，均采用幀間位移信息進行跟蹤，由目標的運動速度自動確定幀間位移閾值，從而完成目標的匹配跟蹤。其次，如果幀間移動距離匹配跟蹤失敗，則通過多目標的特征庫來尋找相應的匹配目標，具體流程如圖1所示。從流程圖中可以看出，本算法在文獻[7]的基礎上，引入了幀間位移距離跟蹤和多特征匹配跟蹤。以幀間位移距離判斷跟蹤為主，以多特征融合的匹配方法為輔，采用更多更豐富的方法完成對目標的匹配。

圖1 目標跟蹤算法流程圖Fig.1 Video tracking flow chart

3.1 幀間位移判斷

目標在視頻中的移動在連續幀間表現為目標位置的變化，通過目標在畫面中的位置和目標的移動速度即可判斷目標可能的運動范圍。對每一幀圖像，檢測出目標位置后，用該位置坐標與前一幀出現過的所有目標求相對距離，如果該距離小于閾值則判斷為可能匹配的目標。此處的閾值通過被測試目標的速度動態確定。首先，應考慮到目標會突然加速的情況，在確定閾值時，目標可能的移動范圍應該為平均位移加上加速距離，平均位移信息可以通過多幀的位移距離平均值得到，每幀的位移為當前幀與前一幀的位置差值來確定，加速距離表示目標加速產生的距離，計算時選取為0.3倍的平均位移。如圖2所示，R為目標可能的運動范圍，R=r+a，r為目標的平均位移距離，a為目標的加速距離。如果可能匹配的目標有且僅有一個，則認為該目標即為匹配目標;如果沒有發現匹配目標或者產生多個匹配目標，則判斷幀間位移跟蹤失敗，需要使用特征庫完成對待檢測目標的匹配跟蹤。

圖2 目標移動范圍圖示Fig.2 Range of target movement

在目標的具體跟蹤過程中，需要確定目標的具體位置，對于檢測出的運動目標，本文采用運動目標的外接矩形幾何中心點和4個角點來代表運動目標的位置信息，并且作為跟蹤對象進行判斷。在匹配跟蹤過程中，也采用了雙層匹配模式，運動目標幾何中心點為第1層匹配對象，外接矩陣的4個角點作為第2層匹配的對象。首先，判斷第1層的幾何中心點是否滿足以上幀間的位移閾值，如果在閾值范圍內則可鎖定目標，完成跟蹤;如果幾何中心點不滿足閾值范圍，則需對2層的外接矩形四角點信息進行判斷，如2個相鄰角點或者3個角點滿足陣間位移閾值則可鎖定目標，完成跟蹤。相鄰角點是指在外接矩形組成邊框的2個角點。角點的合理選擇有利用解決對運動目標遮擋問題，3個角點的判斷避免了目標的小部分遮擋造成的運動目標不匹配，而兩相鄰角點的判斷則解決了大面積遮擋造成的不匹配問題。此幀間位移判斷匹配方法，計算復雜度低，條件判斷簡易，不僅可以快速的完成對運動目標的匹配跟蹤而且可以解決運動目標在遮擋情況下的匹配問題。在匹配跟蹤完成之后，每一幀都實時更新運動目標當前的位置信息，主要包括運動目標的中心點和多角點信息，以便后續完成對運動目標軌跡的記錄和排查。

3.2 特征跟蹤目標

當幀間距離跟蹤判斷未找到匹配目標或者找到多個匹配目標時，就會造成幀間距離跟蹤失效，而此時就需要啟用各目標特征庫信息完成對目標的匹配跟蹤。本文采用的是目標圖像的SIFT特征(表示為T)和目標圖像的彩色直方圖特征(R、G、B三通道的顏色直方圖分別表示為HR、HG、HB)。在判斷目標1與目標2是否匹配時，進行以下過程操作:

首先，分別計算兩個目標彩色直方圖在各顏色分量上的Bhattacharyya距離:

其次，在特征匹配過程中，首先，判斷目標的彩色直方圖各分量上的Bhattacharyya距離是否小于某一給定閾值D，即判斷以下各式是否成立:

式中:DR、DG、DB分別為R、G、B顏色通道直方圖的Bhattacharyya距離閾值，實驗中均取值為0.5，D為三通道之和的總閾值，實驗取值為1.0。

然后，對于滿足上述條件的被測目標進行SIFT特征相似度判斷，不滿足條件的目標判斷為新出現目標。

運用SIFT特征對目標圖像匹配，首先在目標特征庫中選定某個關鍵點，并找出其與分割出的目標圖像中歐式距離最近的前兩個關鍵點，如果最近的距離與次近的距離的比值小于某個閾值，則認為兩者是一對匹配點，試驗中，一般閾值取值為0.8。在特征庫中搜索待匹配目標，如果當前目標與特征庫中目標匹配點個數超過所有SIFT關鍵點的60%，則當前目標識別為滿足該條件的匹配點對數最多的目標。

在跟蹤過程中，目標的特征更新可以使算法及時且更完整地描述目標。因此，對于特征庫中的每一個被匹配的目標，在匹配跟蹤完成后需要對其特征庫信息進行更新，對運動目標特征庫內的彩色顏色直方圖進行替換，對匹配成功的SIFT特征點進行保留，新出現的特征點進行添加。而文獻[7]中并未體現出對跟蹤目標的特征更新。

4 目標軌跡計算

為了得到一個目標的連續軌跡和其在視頻中出現的時間信息，需要在檢測出視頻前景運動目標后，記錄每幀中目標出現的時間和其運動的軌跡。由于采用了雙層碼本的背景建模技術，每一個出現在視頻中的運動目標可直接被檢測。對于檢測出的運動目標，首先判斷目標是否為連續出現目標，如是連續出現目標，則需要將此目標的位置信息加入軌跡序列，并更新其最近一次出現的時間;對于未找到匹配的目標，則認為是新出現目標，標記當前時間為該目標的出現時間，并記錄其起始運動位置。相比傳統算法[13]，本軌跡計算方法計算簡單，執行效率高。

5 實驗結果分析

實驗所用測試視頻均是用固定攝像頭拍攝的室內場景，2個測試視頻為IntelligentRoom.avi和Two-Cars.avi，分別用來測試單目標的檢測跟蹤和多目標的匹配跟蹤。實驗的環境為Windows 7操作系統下的Microsoft Visual Stuidio，并配置有OpenCV計算機視覺數據庫。在測試實驗中，首先，對測試視頻IntelligentRoom.avi背景場景進行建模，利用背景差分法實現視頻運動目標的檢測，用二值圖像表示，目標區域用高像素值，背景區域用低像素值，目標檢測結果如圖3所示，圖3(a)為原始視頻加上跟蹤標記后的畫面，圖3(b)畫面白色區域為對應幀的目標檢測的目標區域。從圖3(b)目標的檢測中可以明顯看出，雙層碼本模型可以較完整的檢測出運動目標，并且對噪聲有一定的魯棒性。

圖3 目標檢測結果Fig.3 Target detection result

其次，需要記錄其相應運動目標的運動軌跡，所用測試視頻的運動目標軌跡如圖4所示。從圖4可以看出，此軌跡較好地反應了目標的行走路線并且沒有出現斷點，證明了算法可以有效地跟蹤運動目標，并且完成對目標軌跡的記錄。

圖4 目標運動軌跡Fig.4 Target trajectory

為了驗證算法可應對多目標的檢測和跟蹤，采用測試視頻TwoCars.avi，視頻中2輛小車從不同方向行駛進入視頻畫面，在圖中央位置經過交叉后，分別駛出視頻畫面。實驗結果如圖5所示，算法可以準確地定位運動目標并完成對多目標的匹配。

圖5 多運動目標的跟蹤結果Fig.5 Multi-target tracking result

從圖6可以看出，本文算法可以很好地實現目標跟蹤，對于動態目標在視頻中發生自身轉動、尺度變化、部分遮擋等情況，也具有很好的識別效果。目標跟蹤過程很好地實現了目標運動狀態的記錄，完整地記錄了目標的運動軌跡。另外，可以對目標運動狀態建立數據庫，用以查詢不同目標的運動狀態，其中包含目標的軌跡、出現時間、目標的圖像等信息。由此，可以滿足一般監控視頻針對車、人等目標活動情況的跟蹤和記錄。

6 結束語

一般監控視頻的跟蹤任務只要求記錄視頻中目標的客觀運動狀態，包括目標出現時間、活動路徑，目標圖像等信息，因此，不需要考慮復雜的目標運動狀態的預測。不同于傳統由目標檢測、預測、識別所構成的視頻跟蹤方法，本文的視頻跟蹤處理僅由目標檢測和目標匹配識別構成，省去了預測的計算復雜度，用以處理一般監控視頻。實驗證明，本文方法可以很好地完成一般監控視頻的目標運動狀態的跟蹤與記錄，并可以克服目標遮擋和光照問題所帶來的匹配跟蹤問題。

由于不用建立復雜的預測模型，本文方法計算復雜度較低，由于動態目標是從原視頻畫面分割而來，目標圖像尺寸較小，一個目標的SIFT特征點一般不會很多，因而，特征匹配速度較為理想，整個流程可以完成低幀率視頻的實時處理。

由于采用了背景減除法自動得到運動目標，所以本算法不能應對移動攝像頭的情景，只能局限在固定攝像頭的目標跟蹤。并且，由于引入了Code-Book的背景建模方法，在具體情況下還需要SIFT特征完成匹配，需要占用大量計算時間，實時性不高，無法處理30幀以上的視頻。因此，本算法目前還只能適用于固定場景多目標緩慢變化的監控視頻，在應用場景上有一定的局限性。未來的工作主要集中在對于視頻中運動目標的旋轉、尺度變化等問題，可以在運動目標的匹配方面深入探索新的特征表達和匹配方法。對運動目標的運動狀態可以單獨建立數據庫，記錄和查詢目標的運動信息。另外，可以引入像ViBe一樣的背景建模方法，不僅可以提高監控視頻算法的魯棒性，而且可以大幅度提高算法實時性。

[1]李鍇.基于粒子濾波與半監督多分類器的視頻跟蹤[D].上海:復旦大學，2012:6-8.LI Kai.Video tracking based on particle filter and semi-supervised multiple classifiers[D].Shanghai:Fudan University，2012:6-8.

[2]楊戈，劉宏.視覺跟蹤算法綜述[J].智能系統學報，2010，5(2):95-105.YANG Ge，LIU Hong.Survey of visual tracking algorithms[J].CAAI Transactions on Intelligent Systems，2010，5(2):95-105.

[3]FAZLI S，POUR H M，BOUZARI H.Particle filter based object tracking with SIFT and color feature[C]//Second International Conference on Machine Vision.Dubai，UAE，2009:89-93.

[4]ZHOU H，YUAN Y，SHI C.Object tracking using SIFT features and mean shift[J].Computer Vision and Image Understanding，2009，113(3):345-352.

[5]BEYAN C，TEMIZEL A.Adaptive mean-shift for automated multi object tracking[J].Computer Vision，2012，6(1):1-12.

[6]JIANG M，LI M，WANG H.A robust combined algorithm of object tracking based on moving object detection[C]//Intelligent Control and Information Processing.Dalian，China，2010:619-622.

[7]RAHMAN M S，SAHA A，KHANUM S.Multi-object tracking in video sequences based on background subtraction and SIFT feature matching[C]//Fourth International Conference of Computer Sciences and Convergence Information Technology.Seoul，Korea，2009:457-462.

[8]WREN C R，AZARBAYEJANI A，DARRELL T.Real-time tracking of the human body[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，1997，19(7):780-785.

[9]PAKORN K，BOWDEN R.An improved adaptive background mixture model for real-time tracking with shadow detection[M].New Youk:Springer，2002:135-144.

[10]ZIVKOVIC Z.Improved adaptive Gaussian mixture model for background subtraction[C]//Proceedings of the 17th International Conference of Pattern Recognition.Cambridge，UK，2004，2:28-31.

[11]KIM K，CHALIDABHONGSE T H.Real-time foreground-background segmentation using codebook model[J].Realtime Imaging，2005，11(3):172-185.

[12]SIGARI M H，FATHY M.Real-time background modeling/subtraction using two-layer codebook model[C]//Proceedings of the International Multi-Conference of Engineers and Computer Scientists.Hong Kong，China，2008:19-21.

[13]ZHU Y，LIANG Y，ZHU Y.The improved Gaussian mixture model based on motion estimation[C]//Proceedings of Third International Conference on Multimedia Information Networking and Security.Shanghai，China，2011:46-50.

[14]鄒煜.基于輪廓提取和顏色直方圖的圖像檢索[D].重慶:西南大學，2011:28-29.ZOU Yu.Image retrieval method based on color histogram and contour extraction[D].Chongqing:Southwest University，2011:28-29.

[15]LINDEBERG T.Scale-space theory:a basic tool for analyzing structures at different scales[J].Journal of Applied Statistics，1994，21(1/2):225-270.

[16]LOWE D G.Object recognition from local scale-invariant features[C]//The Proceedings of the Seventh IEEE International Conference of Computer Vision.Kerkyra，Greece，1999，2:1150-1157.

[17]LOWE D G.Distinctive image features from scale-invariant keypoints[J].International Journal of Computer Vision，2004，60(2):91-110.

[18]趙雷，陳萬忠，韓雙雙.一種改進的運動目標跟蹤與軌跡記錄算法[J].智能系統學報，2008，3(2):145-149.ZHAO Lei，CHEN Wanzhong，HAN Shuangshuang.An improved algorithm for tracking and recording moving targets[J].CAAI Transactions on Intelligent Systems，2008，3(2):145-149.