運動背景下的抗遮擋TLD改進算法

高 陽，徐長波，曹少中

(北京印刷學院 信息工程學院，北京 102600)

視覺目標跟蹤技術是計算機視覺領域內的研究熱點之一，已經被廣泛應用到了日常生活、社會保障、軍事和醫療等各個重要領域[1-2]。目前，應用視覺目標跟蹤技術面臨著一些挑戰，如跟蹤環境光照的變化、目標遮擋、目標快速移動和復雜背景等因素會影響跟蹤效果。

跟蹤學習檢測(Tracking Learning Detection，TLD)算法[3]通過相關的訓練和學習技術對跟蹤目標與背景區域進行分類，以達到目標跟蹤的目的，適用于長時間的目標跟蹤。但是，TLD算法的特征點無法準確表達目標特征，另外，還存在檢測模塊計算量大，無法適應遮擋場景等問題。采用支持向量機(Support Vector Machine，SVM)技術代替TLD算法檢測模塊[4]，能夠提高算法的實時性，改善目標受到嚴重遮擋時算法的準確性，但是，在目標受到完全遮擋時，仍然不能準確地預測到目標位置。多實例學習(Multiple Instance Learning，MIL)算法[5]采用多個圖像塊作為一個樣本集，若樣本集中存在至少一個正樣本，則設置樣本集的標簽為正，這種方式具有更好的靈活性。核相關濾波(Kernel Correlation Filter，KCF)算法[6]采用核函數和嶺回歸的方式，減小了算法復雜度，有效提升了算法速度。

已經有許多研究者對抗遮擋目標跟蹤算法進行了研究。目前的主流的抗遮擋目標跟蹤算法主要分為基于有效特征信息的目標跟蹤算法、基于狀態估計信息的目標跟蹤算法和基于穩定時空信息的目標跟蹤算法等3種[7]，其中，基于狀態信息的目標跟蹤算法又包括應用卡爾曼濾波(Kalman Filter，KF)和粒子濾波(Particle Filter，PF)兩種技術。采用經典Kalman濾波器對遮擋目標進行位置預測[8-9]，能夠有效地針對目標遮擋的場景實施跟蹤，但是，在運動的場景下，該方法無法達到預期效果。采用多特征融合的粒子濾波進行短期跟蹤[10]，或在判定目標受到遮擋后采用粒子濾波方法進行狀態預測[11]，能夠改善遮擋情況下的跟蹤狀況，但是，與經典TLD算法相比，該類算法速度較慢，實時性較差。

為提升目標跟蹤算法對遮擋目標跟蹤的準確性和目標跟蹤過程中的精確度和實時性，本文擬在經典TLD算法的基礎上進行改進，提出一種運動背景下的抗遮擋TLD改進算法。將魯棒性較好的面向加速分段測試特征和旋轉二進制魯棒獨立基本特征(Oriented FAST and Rotated BRIEF，ORB)[12]作為跟蹤模塊的主要特征，采用局部和全局搜索策略，并且引入Kalman濾波與特征點匹配算法，以使得改進的算法在運動背景下遇到目標遮擋時依然能夠準確地跟蹤，并且具有較高的運行速度。

1 經典TLD算法

經典TLD算法主要由跟蹤模塊、檢測模塊和學習模塊等模塊組成[3]，特別適用于對運動目標進行長時間的跟蹤。經典TLD算法框架示意圖如圖1所示。

圖1 經典TLD算法框架示意圖

1.1 跟蹤模塊

跟蹤模塊采用Median-Flow追蹤算法，該算法基本原理為，在時刻t，跟蹤框中產生10×10均勻分布的特征點。將這100個點的位置作為初始位置，然后，運用盧卡斯-卡納德(Lucas-Kanade，L-K)光流法[13]正向追蹤這100個初始位置點在t+1時刻圖像中的前向位置，根據前向位置反向追蹤這些點在t時刻圖像的后向位置，作為預測位置。

1.2 檢測模塊

檢測模塊使用級聯分類器，對從搜索框獲得的樣本進行分類，級聯分類器由方差分類器、集成分類器和最近鄰分類器構成。首先，使用方差分類器對樣本進行方差過濾，濾除方差比較小的樣本；其次，采用集成分類器對通過方差分類器的樣本進行隨機蕨分類，計算10棵樹對該樣本的編碼(長度為13的0/1序列)，得到10棵樹對該樣本的10個后驗概率累加和的平均值，濾除平均值小于閾值的樣本；最后，應用最近鄰分類器計算剩余樣本與在線模型的相關相似度，選擇與在線模型中相似度最高的圖像塊作為最終的檢測結果。

1.3 學習模塊

學習模塊使用的方法為正負約束(Positive-Negative，P-N)學習方法[14]。P-N學習方法是一種半監督學習方法，P專家能夠改正被誤分為負樣本的正樣本，N專家能夠檢出被誤分為正樣本的負樣本，并更新樣本集。另外，學習模塊還不斷更新集成分類器和最近鄰分類器的閾值，以保證檢測模塊的魯棒性。

經典TLD算法跟蹤模塊存在的主要問題是，TLD算法的特征點無法準確地表達目標的特征，在目標受到嚴重遮擋時跟蹤模塊和檢測模塊都無法準確地找出目標的位置，而且，檢測模塊采用全局搜索策略，使得算法的計算時間較長。

2 改進的TLD跟蹤算法

提出一種新的遮擋判定方法，選擇引入ORB特征點與均勻分布特征點相結合的特征點提取算法來代替經典TLD算法中提取均勻分布特征點的方法。當目標受到遮擋時，選擇Kalman濾波器結合基于網格的運動統計(Grid-Based Motion Statistics，GMS)特征點匹配算法[15]對運動背景下被遮擋的目標進行運動預測。檢測模塊選擇局部搜索與全局搜索相結合的方法，將搜索策略與遮擋判定和跟蹤模塊的結果相對應。改進算法的原理框架圖如圖2所示。

圖2 改進算法原理框架示意圖

2.1 結合ORB特征點的跟蹤模塊

特征點提取是目標跟蹤過程中的關鍵步驟，特征點提取的質量將直接影響后續的目標跟蹤效果?？紤]到ORB結合了加速分段測試特征[16](Features from Accelerated Segment Test，FAST)特征點檢測和二進制魯棒獨立基本特征[17](Binary Robust Independent Elementary Features，BRIEF)特征描述子算法，速度比較快，而且在一定程度上對噪聲和圖像變換的抵抗力較高，為此，在跟蹤模塊中采用ORB方法提取圖像的特征點。特征點提取原理示意圖如圖3所示，以像素點P為中心，選取半徑為3的圓上的16個像素點的像素值與點P的像素值作比較，如果圓上有連續的12個像素點的像素值比點P的像素值大或者小，則認為點P為特征點。

圖3 特征點提取原理示意圖

將引入的ORB特征點提取算法與經典TLD算法均勻分布特征點提取方法相結合。在ORB特征點數目超過100個時，采用ORB特征點作為跟蹤模塊的特征點；在ORB提取的特征點不夠100個時，采用均勻分布特征點提取方法對特征點進行補足。這樣做是為了保證特征點的數量足夠表達目標的關鍵特征信息，以提升跟蹤模塊的魯棒性和穩定性。

均勻分布特征點的間距為

(1)

(2)

式中：ls表示水平方向間距；lv表示垂直方向間距；P0為ORB特征點個數；w0和h0分別表示目標框的寬和高。

以David測試集第500幀為例，方法改進前后跟蹤窗口的對比效果如圖4所示。可以看出，選取的特征點主要集中在目標的眼睛、鼻子和嘴巴上，一方面，可以較好地表達目標的特征；另一方面，減小了無效特征點數量，有利于提高算法的準確率。

圖4 方法改進前后跟蹤窗口的對比效果

2.2 Kalman濾波與特征點匹配融合算法

由于經典的Kalman濾波算法對運動背景下的目標遮擋情形的適應性較低，因此，考慮將Kalman濾波器與特征點匹配融合算法，對運動背景下被遮擋的目標位置進行預測，以改善運動背景下對受到遮擋目標的跟蹤效果。

如何正確判斷目標是否發生遮擋，是解決目標遮擋問題的一個關鍵前提。為了保證判斷結果的準確性，在目標跟蹤框的基礎上分割出4個警戒區域，并延展出8個警戒區域，共設定12個警戒區域。改進算法的遮擋檢測方法的警戒區域示意圖如圖5所示。

圖5 遮擋檢測方法警戒區域示意圖

分別計算12個警戒區域的色彩-飽和度-值(Hue-Saturation-Value，HSV)直方圖。以圖5(a)中的右警戒區為例，采用巴氏(Bhattacharyya)距離[18]系數，分別計算t時刻的外側警戒區域HSV直方圖與t-1時刻中部警戒區域HSV直方圖的匹配度ρ(Rout,t,Rmed,t-1)，以及t-1時刻中部警戒區域HSV直方圖與t-2時刻內側警戒區域HSV直方圖的匹配度ρ(Rmed,t-1,Rin,t-2)，其計算表達式分別為

(3)

(4)

其中：Rout,t(i)表示t時刻外側警戒區域HSV直方圖第i個分區的相關數據；Rmed,t-1表示t-1時刻中部警戒區域HSV直方圖第i個分區的數據；Rin,t-2(i)表示t-2時刻內側警戒區域HSV直方圖第i個分區的相關數據；n為樣本分區總數。

HSV直方圖的匹配度ρ的取值范圍在0到1之間，ρ越接近0，代表兩張圖像越相似。若t時刻ρ(Rout,t,Rmed,t-1)和ρ(Rmed,t-1,Rin,t-2)小于閾值(一般為0.5)，且目標框HSV直方圖與目標模型的相似度大于閾值，則判定t時刻跟蹤目標受到遮擋，采用Kalman濾波器與特征點匹配融合算法對被遮擋目標的位置進行預測。反之，在左警戒區，t+j-2時刻外側警戒區域HSV直方圖與t+j-1時刻中部警戒區域HSV直方圖的匹配度和t+j-1時刻中部警戒區域HSV直方圖與t+j時刻內側警戒區域HSV直方圖的匹配度大于閾值，則判定t+j時刻目標遮擋消失，重新采用經典TLD算法進行目標跟蹤。

依據上述方法，無論目標從哪個方向受到遮擋，均能準確地判斷遮擋的發生。為了保證TLD算法的跟蹤準確性，當判定目標受到遮擋時，不再使用學習模塊更新集成分類器和最近鄰分類器的閾值。

在時刻k，改進算法所采用的Kalman濾波方法的核心方程組為

(5)

由于在目標跟蹤過程中，目標背景圖像大多會隨著目標的移動而變化，從而導致目標框的位置和目標的運動速度難以確定。為此，以視頻第一幀為基準，構建坐標系。可以將目標狀態表示為

x=[x,y,w,h,dx,dy]T

(6)

其中：x，y分別表示目標框的橫向、縱向位置坐標；dx，dy分別表示目標的橫向、縱向移動速率；w，h分別表示目標框的寬和高。

采用ORB特征點提取方法，對視頻幀圖像背景區域進行特征點的提取，對相鄰的兩幀圖像的背景區域特征點采用GMS方法進行特征匹配。以Jogging測試集第11和第12幀圖像為例，相鄰幀背景區域特征點匹配效果如圖6所示。在對視頻幀圖像背景區域進行特征點提取操作之后，使用經過特征匹配的相似特征點對計算兩幀間背景移動的距離。

圖6 相鄰幀背景區域特征點匹配效果

對匹配到的特征點對的坐標作差，累加后取平均值即為背景圖像移動的距離，由此得到x,y,dx,dy分別為

(7)

(8)

(9)

(10)

式中：x′t、y′t分別表示第t幀的測量值；x′t-1、y′t-1分別為第t-1幀的測量值；Pt(x,j)和Pt-1(x,j)、Pt(y,j)和Pt-1(y,j)分別表示第t幀和第t-1幀圖像匹配到的第j個特征點對的橫向、縱向位置坐標；N為匹配到特征點對的個數。

如果在第t幀檢測到目標受到遮擋，則使用第t-1幀Kalman濾波器的最優估計值直接作為觀測值，即

(11)

直到目標遮擋消失后，調用檢測模塊，將檢測模塊的最優結果作為跟蹤結果。

2.3 改進的掃描框方法

在經典TLD算法檢測模塊初始化時，產生的掃描框可能有上萬個甚至十萬個，其中大多掃描框中不含有前景目標。排除這些不含前景目標的掃描框對檢測模塊的干擾，有利于提升算法的效率和實時性。

引入感興趣區域(Region of Interest，ROI)方法，在上一幀目標跟蹤框的基礎上向四周拓展20個像素，生成目標局部檢測區域。當跟蹤模塊跟蹤失敗時，采用全局搜索策略；反之，當跟蹤模塊跟蹤到目標時，則采用局部搜索策略。采用改進后的搜索策略，以有效地排除不含有前景目標搜索框的干擾，減少進入檢測模塊搜索框的數量，提升算法速度。以David測試集第770幀為例，算法改進前后效果對比如圖7所示。可以看出不含有前景目標的搜索框相比經典TLD算法大大減少。

圖7 算法改進前后效果對比

3 實驗結果及分析

為測試改進算法的性能，對Jumping、Walking、Dog1、Jogging、Human4、Dog和Fish共7組測試序列集進行測試，并將改進算法的目標跟蹤性能與KCF算法、MIL算法和經典TLD算法進行比較。

在7組測試序列集中，Jumping、Walking、Dog1、Jogging和Human4測試集來自文獻[19]，Dog和Fish測試集來自文獻[20]。這些測試集中場景包含了光照變換，尺度變換，遮擋、形變，運動模糊，快速移動，目標在圖像平面內旋轉，目標在圖像平面外旋轉等情況。

Jumping序列描述了目標快速運動而產生目標模糊的現象，主要用來測試算法對于運動模糊以及目標快速移動的魯棒性。Dog序列描述了小狗沖向主人的運動過程，其中包含了目標奔跑過程中身體形狀與拍攝視角的變化，主要用來測試算法對尺度變化和形變的魯棒性。Walking序列描述了目標在經過輕微遮擋后由近到遠的行走過程，其中包含了目標行走過程中的姿態變化和尺度變化，主要用來測試算法對輕微遮擋、尺度變化和形變的魯棒性。Dog1序列描述了小狗玩偶在運動過程中俯仰、傾斜、搖擺和尺度變化的情形，主要用來測試算法對物體旋轉和多尺度的魯棒性。Fish序列描述了目標物體在快速運動過程中環境光照條件發生變化的過程，主要用來測試算法對于快速運動和光照變化的魯棒性。Jogging序列和Human4序列描述了目標經過遮擋物的過程，主要用來測試算法對運動背景下目標被完全遮擋的適應性。

實驗的硬件環境為AMD Ryzen 7 3700U 2.30 GHz處理器，8 G內存。軟件環境為Visual Studio 2019和OpenCV3.4.15。

3.1 綜合性能分析

選取Jumping、Dog、Walking、Dog1和Fish共5種測試集進行綜合性能測試，比較改進算法與經典TLD算法、KCF算法和MIL算法在跟蹤目標時的魯棒性、準確性和實時性。4種跟蹤算法的目標跟蹤結果如圖8所示，圖中實線為改進算法的跟蹤結果，點型虛線為經典TLD算法的跟蹤結果，間斷型虛線為MIL算法的跟蹤結果，點線型虛線為KCF算法的跟蹤結果。

從圖8(a)中可以看出，對于Jumping測試集中快速移動的跟蹤目標，相對來說，改進算法的跟蹤精度和成功率均為最高，其他算法或多或少都存在目標框丟失和漂移現象。特別是MIL算法和KCF算法均產生了較嚴重的漂移現象，算法的魯棒性較差。

從圖8(b)中可以看出，在Dog測試集中的第86幀和第101幀，當目標發生大幅形變時，經典TLD算法的跟蹤框發生了輕微漂移現象，而MIL算法和KCF算法無法對尺度變化進行檢測，依舊維持初始框大小。

從圖8(c)中可以看出，在Walking測試集中的第86幀，當目標在受到輕微遮擋時，經典TLD和MIL算法目標框均發生小幅偏移，KCF算法目標框則是發生漂移現象，而且在后續的目標尺度逐漸變化的過程中MIL算法無法對尺度變化進行檢測，始終維持初始框大小直到跟蹤結束。

從圖8(d)中可以看出，對于Dog1測試集，經典TLD算法、KCF算法和改進算法對物體旋轉的魯棒性較高，而MIL算法發生了漂移現象。從對目標尺度變化的適應能力上看，經典TLD算法和改進算法表現較好，而KCF算法適應性較差。

從圖8(e)中可以看出，對于Fish測試集，在初始目標發生快速運動的過程中，KCF算法的目標框發生了漂移。在第157幀，當環境光照發生突變時，改進算法和經典TLD算法目標跟蹤框均丟失，而MIL算法具有良好的光照變化魯棒性。

圖8 4種跟蹤算法的目標跟蹤結果

3.1.1 算法的魯棒性

從圖8的實驗結果可以看出，改進算法和經典TLD算法對物體模糊、旋轉、形變以及尺度變化均有著良好的魯棒性，而MIL算法和KCF算法在穩定環境下的跟蹤效果較好，特別是MIL算法對于光線突變變化適應性較好。另外，當物體發生仿射變換時，改進算法的目標跟蹤成功率明顯高于經典TLD算法，但是，對于光照突變的魯棒性較差。這是因為，光照突變對經典TLD算法中跟蹤模塊所使用的L-K光流法影響較大，會直接導致跟蹤失敗。

3.1.2 算法的準確性

采用準確率[20](Success Plot，SP)和平均像素誤差[20](Average Pixel Error，APE)作為算法準確性的評價標準。使用TLD算法、MIL算法、KCF算法和改進算法分別對Walking、Dog、Jumping、Dog1和Fish測試集進行測試，4種算法在不同測試集中的準確率和平均像素誤差測試結果分別如表1和表2所示。

表1 4種算法在不同測試集中的準確率

表2 4種算法在不同測試集中的平均像素誤差

從表1可以看出，改進算法的跟蹤準確率均高于經典TLD算法和KCF算法。除了對于光照變換較劇烈的Fish測試集之外，改進算法的跟蹤準確率也明顯高于MIL算法。從表2可以看出，改進算法的平均像素誤差在多數測試集也優于其他3種算法。這是由于跟蹤模塊采用了更能表達出目標特征的特征點，從而導致算法跟蹤準確率較高，平均像素誤差較低。

但是，從表2還可以看出，在對Dog測試集和Fish測試集進行的測試中，改進算法的平均像素誤差略高于經典TLD算法。這是由于，一方面，Dog測試集目標圖像塊較小，改進算法采集不到較優的特征點，導致跟蹤框產生了小幅偏移，提高了平均像素誤差。另一方面，在對Fish測試集進行的實驗中，經典TLD算法丟失的幀數較多，而這些丟失的幀并不會出現在計算平均像素誤差的過程中，從而導致經典TLD算法的平均像素誤差略低。

3.1.3 算法的實時性

采用平均幀率作為算法準確性的評價標準。平均幀率即每秒鐘算法處理幀數(Frames Per Second，FPS)的平均值。采用TLD算法、MIL算法、KCF算法和改進算法分別對Walking測試集、Dog測試集、Jumping測試集、Dog1測試集和Fish測試集進行測試，4種算法在不同測試集中的平均幀率測試結果如表3所示。

表3 4種算法在不同測試集中的平均幀率

從表3可以看出，MIL算法的檢測速度相對穩定。KCF算法在跟蹤過程中的速度一般，但是，在目標發生丟失時，KCF算法的速度會明顯提高。整體而言，改進算法對較高分辨率和較低分辨率的視頻序列均有較好的實時性。特別是，當改進算法處理目標圖像塊分辨率相對于視頻分辨率較小的視頻序列如Walking時，在目標不發生丟失的情況下檢測速度明顯高于經典TLD算法。這是由于，一方面，改進算法采用ROI方法動態劃分檢測區域，通過方差分類器剔除了大量不含有前景目標的樣本，大大減少了樣本數量，從而導致了算法的運行速度和實時性較高；另一方面，只有當跟蹤過程中目標發生丟失時，改進算法才采用全局搜索的策略，從而運行速度較高。

但是，對Dog1測試集和Fish測試集進行測試的結果顯示，改進算法整體的平均幀率略低于經典TLD算法。這是因為，而改進算法在對Dog1測試集和Fish測試集跟蹤過程中，產生的正樣本過多，檢測模塊中最近鄰分類器的耗時增大，從而導致整體的平均幀率較低。

3.2 抗遮擋性能

為了對比改進算法與經典TLD算法在處理嚴重遮擋問題上的性能差異，選取Jogging和Human4測試集進行測試和比較。

3.2.1 定性分析

使用改進算法與經典TLD算法，選取Jogging和Human4測試集中的關鍵幀進行定性分析。兩種算法對Jogging測試集目標1和目標2跟蹤結果對比分別如圖9和圖10所示，對Human4測試集跟蹤結果對比如圖11所示。

從圖9、圖10和圖11的實驗結果中可以看出，在目標受到輕度遮擋時，經典TLD算法會將含有遮擋物的目標框作為正樣本進行訓練，導致經典TLD算法在一定程度上能夠處理目標受到輕度遮擋的情況。但是，當目標受到嚴重遮擋后，例如，當目標進入遮擋物并消失在視頻幀中時，經典TLD算法的目標框會發生漂移現象，不能進行準確地跟蹤。

圖9 兩種算法Jogging測試集目標1跟蹤結果對比

圖10 兩種算法Jogging測試集目標2跟蹤結果對比

圖11 兩種算法Human4測試集跟蹤結果對比

而在判定為目標受到遮擋后，改進算法能夠預測后續幀中目標的位置。當后續幀判定遮擋消失后，改進算法使用檢測模塊的最優結果作為該幀的跟蹤結果，能夠更加準確地追蹤目標。

3.2.2 定量分析

采用平均重疊率[20](Average Overlap Rate，AOR)作為算法抗遮擋性能準確性的評價標準。使用經典TLD算法和改進算法分別對Jogging測試集目標1、Jogging測試集目標2和Human4測試集進行測試。兩種算法對不同測試對象的平均重疊率測試結果如表4所示。

表4 兩種算法對不同測試對象的平均重疊率

從表4可以看出，相比于經典TLD算法，改進算法的平均重疊率更高，說明改進算法有著更好的抗遮擋性能。這是因為，改進算法中加入了遮擋物判定機制，當判定有遮擋物時，不使用學習模塊進行樣本更新，調用Kalman濾波器進行運動預測，因此，當目標在重新回到視野當中時，依然能夠準確地跟蹤到目標。而經典TLD算法將包含遮擋物的目標框作為正樣本訓練之后，可能會影響后續幀的跟蹤結果。

4 結語

針對經典TLD跟蹤算法無法準確地表達目標的特征，在目標受到嚴重遮擋時，跟蹤不準確，以及采用全局搜索策略，導致的實時性較差等問題，引入ORB特征點與均勻分布特征點相結合的特征點作為跟蹤模塊的特征點集，并采用劃分ROI區域的方法排除非目標圖像塊的干擾，以增強算法的實時性和準確性。另外，通過引入Kalman濾波器結合特征點匹配算法對目標運動軌跡進行預測，從而使得運動背景下的目標在受到嚴重遮擋時，算法依舊能準確地跟蹤到目標。

但是，改進算法仍然存在一些問題，例如，當光照變換較劇烈時，改進算法的魯棒性較差；當跟蹤目標丟失后，幀處理時間較長等。這兩個問題將是下一步的研究的關鍵。