幀間差法對TLD跟蹤算法的改進

付 苗，邢藏菊（北京化工大學 北京100029）

幀間差法對TLD跟蹤算法的改進

付 苗，邢藏菊
（北京化工大學 北京100029）

對跟蹤-學習-檢測（Tracking-Learning-Detection，TLD）目標跟蹤算法進行改進，在原算法中的跟蹤模塊和檢測模塊之間引入了幀間差檢測方法，將幀間差法檢測到的含有前景目標的窗口傳送給TLD檢測模塊的級聯分類器，提高算法的效率以及準確性。并對TLD算法中的重疊度重新定義，提高了該算法的跟蹤成功率。通過實驗對改進前后的TLD算法進行分析比較，證明改進后的算法具有更高的跟蹤效率以及成功率。

TLD；目標跟蹤；幀間差；重疊度

目標跟蹤一直以來都是計算機視覺領域中比較復雜并且熱門的課題，國內外的學者對于目標跟蹤的研究也越來越重視。而目標跟蹤技術也在人機交互[1-3]，城市交通[4-5]，智能監控[6-8]和工業建設[9]等多種領域得到了廣泛的應用。

TLD[10]（Tracking-Learning-Detection）是Zdenek Kalal提出的一種視頻目標跟蹤算法。該算法的亮點是能夠利用較少的先驗信息實現視頻目標的長時間跟蹤，將目標跟蹤算法與目標檢測算法相結合來解決目標在被跟蹤過程中發生的形變、部分遮擋等問題[11]。

TLD算法主要由跟蹤模塊，檢測模塊，綜合模塊以及學習模塊4個模塊組成。其中，跟蹤模塊采用的是基于LK（Lucas-Kanade）光流法改進的中值流跟蹤[12]，根據前一幀中目標的位置信息來估計目標在當前幀中所處的位置；檢測模塊是由方差濾波器、組合分類器和最近鄰分類器所組成的級聯分類器構成，在當前幀采用掃描窗口策略對目標進行檢測，依次成功通過這3個分類器的窗口即為檢測器檢測到的目標窗口；綜合模塊將檢測結果與跟蹤結果相結合，得出當前跟蹤結果是否有效以及目標是否丟失；學習模塊[13]則是通過生成正負訓練樣本對檢測器進行訓練學習，并對跟蹤模塊與檢測模塊進行更新。

1 幀間差法對TLD算法的改進

1.1 幀間差法目標檢測

幀間差法是一種很簡單的目標檢測方法[14]。其原理為，在t時刻，圖像中坐標為（x，y）的象素點的灰度值I=（x，y，t）；在t+1時刻，（x，y）象素點的灰度值變化為I=（x，y，t+1），則t+1時刻與t時刻坐標為（x，y）的象素點的灰度差是

那么，在圖像中，靜止的物體在兩個時刻的灰度差為0，運動物體則得出一定的差值，所以可以利用灰度差ΔIt+1（x，y）來檢測視頻中物體的運動。因此，對于視頻幀，給出相應的閾值，可以有效地減弱噪聲影響，提取圖像中的運動信息，利用灰度絕對差ABSt值獲得差值圖像，即：

幀間差目標檢測方法速度快，對光線變化不敏感，能適應多種動態環境，穩定性較好[15-16]。

1.2 對TLD算法的改進

在TLD算法的檢測器模塊，首先，在前一幀和當前幀利用幀間差法對圖像塊進行檢測。當絕對差值ABS等于1時，說明該圖像塊含有前景目標，反之，當前圖像塊為背景圖像。將經過幀間差法檢測出來的含有前景目標的圖像塊依次傳入方差濾波器、組合分類器、最近鄰分類器，最終順利通過最近鄰分類器的圖像塊就是更加可靠的目標圖像塊，作為檢測器的輸出結果，再經過綜合模塊將其與跟蹤器的跟蹤結果進行整合，輸出最終的結果。

改進后的TLD算法檢測模塊框架圖如圖1所示。

圖1 改進后的檢測模塊框架圖

2 重疊度

TLD算法的檢測模塊通過掃描窗口的方法在圖像中尋找目標。重疊度的判斷關系接下來的跟蹤檢測的輸入內容，所以重疊度的定義是很重要的一個內容。在掃描窗口的過程中，會得到一些與跟蹤目標完全不相關的窗口，即完全不重合的，所以在計算重疊度時，首先利用式（3）和式（4）判斷兩個窗口的坐標是否重合。

其中，x1、x2與y1、y2分別是兩個矩形框的橫縱坐標，w1、w2和h1、h2是兩矩形的寬和高，當上兩式成立時，則兩矩形無重合，檢測器拒絕該掃描矩形框，否則，接受該矩形框，并計算兩者交集的面積，交集邊長的獲取公式為

原算法中重疊度定義為交集與并集之比，但當目標運動劇烈時，就會導致部分檢測窗口方框被拒絕，使檢測成功率偏低，在本文中，將重疊度定義為交集面積與兩個矩形框面積的均值之比，使漏檢的矩形框數目減小，檢測成功率大幅增加，對目標運動劇烈的視頻序列尤為顯著，新的重疊度R的計算公式為：

3 實驗分析

最后，在VS2008+OpenCV環境下對本文改進后的算法進行了性能測試并分析實驗結果。為了使獲得數據更可靠，針對同一視頻序列，每種算法都運行10次，然后取其平均值作為測試結果。采用重疊度為掃描窗口與目標框二者交集面積與面積均值之比進行實驗。用于實驗測試的視頻序列分別是761幀的背景環境由暗到亮漸變并伴有動作姿勢的改變的David序列；945幀的在高速公路上行駛的Car序列，在行駛途中會出現一些相似車型的社會車輛的干擾以及橋梁、路燈、樹木等的全遮擋和半遮擋的情況；9 928幀的Carchase序列，其目標運動速度很快，有眾多相似目標進行干擾，并多次出現目標被干擾物遮擋及較長時間消失于鏡頭的情況的；2 015幀的運動激烈且常常出現跟蹤目標移出鏡頭的Motocross序列。表1給出了各視頻序列的情況。

表1各視頻序列情況

經過實驗得到如表2的結果：

由表2數據可以總結出，改進后的TLD目標跟蹤算法比原TLD算法在跟蹤成功的幀數上有所提高，其中，即使是對于運動較為激烈的目標，在跟蹤效果上也有所提高，其成功率均可提高8%左右。

表2 各測試集的實驗結果

為使以上結論更具有說服力，分別取同一視頻幀中相同位置、相同大小，并且盡可能含有較少背景的目標框，對改進前后的算法進行比較。例如，在Motocross視頻序列中，取以像素點（300，56）為中心，長寬分別為22和56的矩形框，即可將目標選取中，對改進前后的算法進行相同處理并比較；然后取點（300，56）周圍3*3大小的面積上的九個點，分別將這些點作為目標框的中心進行實驗比較。其他視頻序列均做以上實驗處理，4個實驗視頻序列比較結果對比折線圖如圖2至圖5所示。

圖2 David序列實驗結果對比圖

圖3 Car序列實驗結果對比圖

其中，由于David視頻序列目標運動不激烈，原算法跟蹤成功率已接近100%，故對比效果較其他視頻序列差。由圖2～5對比可以得出表3結論：

由表3以及圖2至5可得出，對于同一視頻序列，選定的目標框位置固定時，本文所采用的改進后的算法與原算法相比較，跟蹤成功的幀數仍然有所提高，即，有更高的跟蹤成功率。

圖4 Carchase序列實驗結果對比圖

圖5 Motocross序列實驗結果對比圖

表3 固定目標框后各視頻實驗結果

4 結 論

本文提出了一種采用幀間差目標檢測法改進TLD算法的方法，并對原TLD算法中的重疊度的計算給出了新的定義。幀間差法的改進使檢測器能夠更加高效地進行目標檢測。通過對視頻序列的測試結果得出，改進后的算法與原算法相比，具有更高的跟蹤成功率。但是由于目標運動狀態過于激烈，在跟蹤過程中會出現跟蹤漂移現象，在后期的研究中期望對此進行改進。

[1]王西穎，張習文，戴國忠.一種面向實時交互的變形手勢跟蹤方法[J].軟件學報，2007，10:2423-2433.

[2]張鐵.人機交互中的人體目標跟蹤算法 [J].上海交通大學學報，2015，49（8）:1213-1219.

[3]王麗佳，賈松敏，李秀智.基于改進在線多示例學習算法的機器人目標跟蹤[J].自動化學報，2014，40（12）:2916-2925.

[4]劉華平，李建民，胡曉林，等.動態場景下的交通標識檢測與識別研究進展[J].中國圖象圖形學報，2013，18 （5）:493-503．

[5]段洳嬌.計算機視覺技術在鐵路檢測領域的應用[J].中國鐵路，2010，1（1）:69-72

[6]黃鐵軍，鄭錦，李波，等．多媒體技術研究:2013——面向智能視頻監控的視覺感知與處理[J]．中國圖象圖形學報，2014，19（11）:1539-1562．

[7]黃凱奇，陳曉棠，康運鋒，等.智能視頻監控技術綜述[J].計算機學報，2015（6）:1093-1118.

[8]張誠，馬華東，傅慧源.基于時空關聯圖模型的視頻監控目標跟蹤 [J].北京航空航天大學學報，2015，41（4）:713-720.

[9]華聚良，黃河燕，王樹梅．基于Mean-Shift的復雜工業環境運動目標跟蹤算法[J]．系統仿真學報，2014，26（11）:2600-2606．

[10]KalalZ，Mikolajczyk K， MatasJ.Trackinglearning-detection[J].Pattern Analysis and Machine Intelligence，2012，34（7）:1409-1422.

[11]Kalal Z，Matas J，Mikolajczyk K.Online learning of robust object detectors during unstable tracking[C]// Computer Vision Workshops （ICCV Workshops），2009 IEEE 12th InternationalConference on Queenstown，NewZealand:IEEE，2009:1417-1424.

[12]Kalal Z，Mikolajczyk K，Matas J.Forward-Backward Error:Automatic Detection of Tracking Failures[C]//In:Pattern Recognition（ICPR），2010 20th International Conference on.Istanbul，Turkey :IEEE，2010，23-26.

[13]Kalal Z，Matas J，Mikolajczyk K.P-N Learning: Bootstrapping Binary Classifiers by Structural Constraints[C]//In:Computer Vision and Pattern Recognition（CVPR），2010 IEEE Computer Society Conferenceon.SanFrancisco:IEEE，2010（23）:13-18.

[14]李剛，邱尚斌，林凌，等.基于背景差法和幀間差法的運動目標檢測方法[J].儀器儀表學報，2006 （6）:961-964.

[15]李超，熊璋，赫陽，等.基于幀間差的區域光流分析及其應用[J].計算機工程與應用，2005（31）:195-197.

[16]席志紅，楊傳東，趙趕超，等.基于Android的TLD目標跟蹤算法優化與移植[J].電子科技，2016（12）：130-133.

Improved TLD target tracking method based on frame difference

FU Miao，XING Cang-ju
（Beijing University of Chemical Technology，Beijing 100029，China）

Improved Tracking-Learning-Detection（TLD）target tracking method to increase the efficiency and accuracy，by using frame difference detecting method between the tracking module and the detection module，and then send the output windows in which there is the tracking target to the cascade classifiers of the detection module.Also defined a new expression of overlap in TLD，by using which increased the tracking rate of the original algorithm.The results of experiments show that the improved method has higher efficiency and tracking rate than original TLD.

Tracking-Learning-Detection；target tracking；frame difference；overlap

TN95

A

1674－6236（2017）07-0183-04

2016-03-31稿件編號：201603416

付 苗（1990—），女，黑龍江哈爾濱人，碩士。研究方向：目標跟蹤。