非連續軌跡下的公路車輛智能跟蹤技術研究

梅炳夫

(廣州市廣播電視大學 人文與工程學院，廣州 510091)

0 引言

在運動分析、交通監控等許多領域，目標跟蹤技術得到了廣泛的應用。當前的目標跟蹤算法主要是對短時跟蹤進行分析，其目標檢測可以將第一幀圖像作為檢測對象，因此不需要對目標進行重復檢測[1]。然而長時跟蹤是以目標在一段時間內的視頻序列作為檢測對象，跟蹤目標可能存在形態和尺度變化，或者遭遇環境遮擋等問題，因此其跟蹤難度遠大于短時跟蹤[2]。當跟蹤器遭遇遮擋環境時，它會經歷3個階段，分別是目標特征信息的逐步損失階段、完全損失階段、逐步恢復階段。在目標脫離遮擋時，若其跟蹤信息未被污染，則可以實現持續跟蹤[3]。這次研究將以長時跟蹤為基礎，對遮擋環境下的目標特征提取技術進行優化，并保證目標跟蹤算法的穩定性。

1 STAPLE目標跟蹤算法的改進研究

1.1 STAPLE目標跟蹤算法

由于STAPLE跟蹤算法對形變目標的跟蹤穩定性較好，此次將以此為基礎，進行車輛非連續軌跡的智能跟蹤技術研究。該方法首先通過相關濾波框架算法對目標定位，其次通過特征提取建立目標模板，再根據模板進行目標識別跟蹤[4]。在進行目標定位時，以平移濾波器確定目標位置，以尺度濾波器估計目標尺度，兩者獨立工作。對于給定的視頻圖像，已知目標在t-1幀的位置和尺度大小，并建立對應的目標模板；針對第t幀序列中的圖像xt，在剪裁和特征提取后，結合第t-1幀圖像對應的目標模型參數分析，則可判斷目標跟蹤狀態。式(1)表示第t幀圖像的最大得分值位置pt。

pt=argmaxp∈Stf(T(xt,p);ht-1)

(1)

在式(1)中，S為目標位置集合，T表示圖像xt在位置p處的特征提取函數，ht-1表示第t-1幀的目標模型參數；St為可能的目標位置集合。

相關濾波框架的樣本來源于循環采樣，因此模型采用在線更新策略。STAPLE算法采用梯度方向直方圖算法(histograms of oriented gradients for human detection,HOG)作為特征提取方法，并將顏色直方圖算法線性結合，對目標模型參數進行更新。HOG算法的核心思想是將目標的外表和輪廓以邊緣梯度方向的分布情況進行描述[5]，圖1為HOG的計算圖，(a)、(b)、(c)分別表示cell方向圖、cell與block的計算關系、block與HOG的計算關系。關于其基礎思想解法這里不再贅述。

圖1 HOG的計算圖

以DSST (discriminatiive scale space tracker)算法的近似思想求解STAPLE算法模型參數，其在線更新公式如式(2)所示[6]。其中，α=0.01。

(2)

對于HOG提取特征，若候選區域特征值為φx[u]，則候選區域的得分函數如式(3)所示。

(3)

STAPLE算法采用RBG顏色直方圖進行圖像目標的顏色特征提取。在已有模板基礎上，候選區域圖像的相似度計算公式如式(4)所示。

(4)

在式(4)中，Pfg表示前景顏色相似度，Pbg表示背景顏色相似度，Po表示整體圖像相似度。STAPLE算法將候選區域的顏色特征進行量化處理，將圖像相似度得分視為平均投票；與此同時，在圖像前景區域O和背景區域B分別使用顏色直方圖算法提取圖像顏色特征，以提高算法效率。在第t幀時，區域圖像的顏色特征參數在線更新方程如式(5)所示。其中，ηhist=0.01。

ρt(O) = (1-ηhist)ρt-1(O) +ηhistρt′(O)

ρt(B) =(1-ηhist)ρt-1(B) +ηhistρt′(B)

(5)

繼而，候選區域顏色特征函數為ψ[u]，則對應的得分函數如式(6)所示。

(6)

STAPLE跟蹤算法先利用平移濾波器對目標進行搜索定位，若目標存在形變或光照影響等情況，則以HOG算法和顏色統計直方圖進行匹配校正，更新目標模板；再利用尺度濾波器對目標當前尺度進行估計。式(7)為STAPLE跟蹤算法的計算公式。其中，γtmpl=0.7,γhist=0.3。

f(x)=γtmplftmpl(x)+γhistfhist(x)

(7)

1.2 目標特征提取算法的改進

盡管HOG能夠較好地捕捉目標的局部形狀信息，且在幾何布局和光線影響下擁有良好的穩定性。然而針對這次研究的對象，HOG存在一定的局限性。一方面，在遮擋環境下，目標的空間形狀分布無法被捕捉，因此算法無法發揮作用。另一方面，HOG算法對圖像目標的空間方向和空間布局有著嚴格要求，因此它不具備旋轉不變性和尺度不變性。有鑒于此，研究采用局部二值模式(local binary pattern,LBP)進行針對性優化，該算法計算量較小，且對于光照和形態變換有著較好的魯棒性。

研究在傳統LBP算法基礎上進行了改進嘗試，以圓形模板替代矩形模板，并加入了旋轉擴展，以保證算法的旋轉不變性[7]。圖2為改進LBP算法示意圖。

圖2 具有旋轉不變性的LBP特征示意圖

如圖2所示，以白色的點表示1，以黑色的點表示0。假設原模板的中心像素特征值為225，以順時針方向對LBP特征旋轉7次，每次旋轉45°，則可得到旋轉后的特征向量，{225,240,120,60,30,15,135,195}。改進后的LBP特征值滿足式(8)，其中p表示像素點個數，R表示模板半徑，ROR表示循環位移函數，即改進后的LBP特征值為15。

LBPp,R=min{ROR(LBPp,R,l)|i=0,1,…,p-1}

(8)

同時，傳統LBP算法對紋理特征區分過細，因而存在目標分類困難。有研究表明，當LBP特征值在二進制下只發生小于2次的跳變時，其結果有效性更大。因此改進LBP算法對計算過程進行了優化，令超過2次跳變的LBP特征值為0，這在很大程度上減小了計算難度。式(9)為其公式表達。

(9)

在式(9)中，U表示跳變次數；Si表示二進制特征值第i位的數值。

另一方面，顏色特征直方圖算法以滑動窗口進行特征提取，以目標的顏色分布為模板，通過滑動窗口查找區域相似度的累加值，累加值越高，則目標在這一區域的可能性越大。為了提高算法效率，研究采用積分圖像代替滑動窗口，它可以一次性計算出區域顏色的相似度累加和，圖3為積分圖像示意圖。

圖3 積分圖像示意圖

以SAT表示積分圖像，以w和h表示目標的寬和高，區域的相似度計算公式如式(10)所示。

(10)

2 改進STAPLE目標跟蹤算法的SVM優化

在長期目標跟蹤的情況下，視頻序列中的目標會受到各種因素的影響，例如不同程度或不同時間的遮擋影響。在遮擋環境下，跟蹤器無法捕捉目標位置，這時繼續保持跟蹤狀態并更新參數會造成目標模板被污染。STAPLE跟蹤算法雖然擁有較好的跟蹤能力，但它不具備在丟失目標時的自我糾正能力，在長期目標跟蹤時，容易受到遮擋環境的影響，進而導致跟蹤失敗。有研究顯示，當目標跟蹤效果較好時，圖像的置信度最大響應值與平均值相差較大；在目標處于遮擋狀態時，置信度的最大響應值與平均值相差較小[8]。因此這次研究將以此判斷目標是否處于遮擋狀態，并利用SVM對跟蹤器進行優化。當目標在遮擋或其他因素影響下跟蹤失效時，則跟蹤器將激活SVM檢測器，并重新搜索定位目標。

支持向量機(support vector machine,SVM)是具有高泛化性能的分類器，它在核函數的基礎上，將非線性不可分問題從低維空間映射到高維空間中，從而簡化線性可分問題。設分類超平面的函數表達式如式(11)所示。

φ(x)T·ω+b=0

(11)

則原非線性問題的拉格朗日函數可以用式(12)表示。

(12)

在式(12)中，k(xi,xj)=φ(xi)Tφ(xj)表示核函數[9]。

將SVM檢測算法與STAPLE跟蹤算法相結合，可以在有限范圍內預測目標的位置和尺度，從而提高算法效率。在視頻序列第一幀需要手動確定跟蹤目標，利用SVM算法對目標周圍區域進行隨機采樣，并根據目標框占采樣框的面積比例iou確定正負樣本[10]。

(13)

在式(13)中，當iou≥0.8時，采樣區域為正樣本；當iou≤0.5時，采樣區域為負樣本；當0.5

將SVM目標檢測算法融合到跟蹤算法匯總，置信度的函數表達式如式(14)所示。

f(x)=φ(x)T·ω+b

(14)

在式(14)中，ω和b可以通過lable值構建目標模型獲取。

圖4為融合SVM檢測后的目標跟蹤算法流程圖。首先，在第一幀圖像中確定跟蹤目標，并對目標周圍圖像進行大量隨機采樣；根據跟蹤目標在采樣圖像中的占比區分正負樣本，用以訓練SVM檢測器。以兩倍尺寸提取目標和特征信息，建立平移濾波器、尺度濾波器和顏色直方圖模型。其次，根據置信度得分判斷是否激活SVM檢測器。若不滿足激活條件，則根據當前幀目標特征更新模型，并訓練正負樣本；若滿足激活條件，則根據定位時間選擇搜索范圍，并進行全局搜索。若檢測器無法定位目標，則不更新位置，在下一幀繼續搜索，直到定位成功；若檢測器定位到目標，則將其位置信息反饋至跟蹤器，由跟蹤器接管剩余定位工作。當訓練樣本量為100的整數倍時，更新SVM參數。

圖4 融合SVM檢測的STAPLE目標跟蹤算法流程圖

3 遮擋環境下的目標軌跡跟蹤性能測試分析

為了測試這次研究所優化的目標跟蹤算法性能，采用VOT2016國際標準序列集中的Road視頻序列進行實驗。VOT數據集是彩色序列，其分辨率普遍較高。作為競賽數據集，它為視覺跟蹤領域的評估和進展提供平臺，且基本上每年都會更新；2016年雖然未有更新圖像數據，但它更新了標注方法。在對視頻序列進行目標跟蹤控制的過程中，目標未存在形變或明顯光照影響，但由于跟蹤器的拍攝角度限制，目標在較長時間處于嚴重遮擋狀態中。這次研究分別采用L林克-卡特樹算法(link cut tree,LCT)、DSST算法、STAPLE算法和改進STAPLE這4種算法進行性能對比，圖5為不同算法在視頻序列的跟蹤效果圖。LCT算法是在相關濾波框架算法上加入了在線分類器，當跟蹤目標丟失時，可以采用分類檢測器重新搜索定位。DSST算法則是在利用平移濾波器進行目標定位跟蹤，并以尺度濾波器確定目標尺度。在圖5中，左邊圖片為視頻序列第一幀圖片，手動選擇跟蹤目標，令其處于黃色目標框內；右邊圖片為目標退出遮擋狀態后算法的跟蹤效果。

圖5 不同算法在視頻序列的跟蹤效果圖

從圖5可以看出，在目標退出遮擋后，LCT算法和改進STAPLE算法可以重新搜索目標并進行跟蹤，DSST算法和STAPLE算法則無法再次捕捉到目標位置。這是因為LCT和改進STAPLE算法均有分類檢測器進行輔助，在目標退出遮擋狀態后，可以重新搜索定位；而DSST和STAPLE算法則無法在丟失目標后重新捕捉目標位置。這說明基于SVM分類檢測器優化的目標跟蹤算法更適合遮擋環境下的目標長時跟蹤。由于這次研究是以置信度與平均值之間的差距作為判定目標遮擋狀態的依據，因此接下來將對視頻序列幀數與置信度之間的關系進行分析。圖6為不同算法最大置信度跟蹤效果。

圖6 不同算法最大置信度跟蹤效果

從圖6中可看出，隨著視頻序列的幀數增加，4種算法下的最大置信度逐漸減小，這說明置信度與平均值之間的差距減小，目標逐漸進入遮擋狀態。此外，4種算法在幀數增加前期的變化趨勢大致相同；LCT算法在150幀后置信度開始增加；改進STAPLE算法在約110幀后置信度開始增加；STAPLE算法和DSST算法的置信度沒有增加的趨勢。這一結果印證了對圖5的分析，且改進STAPLE算法在后期置信度上升更為明顯，說明它的目標重定位效果更好。為了更為準確地判斷算法的跟蹤精度，接下來將對不同算法進行定量分析及結果對比。圖7為中心誤差閾值，它通過跟蹤框中心與目標中心之間的位置誤差反映跟蹤精度。

圖7 中心誤差閾值

從圖7可以看出，改進STAPLE算法對目標中心的跟蹤精度最高，達到了0.81；LCT算法對目標中心的跟蹤精度達到了0.78，STAPLE算法和DSST算法的跟蹤精度分別為0.72和0.61；另一方面，從跟蹤精度的曲線變化斜率可以看出，改進STAPLE算法的目標跟蹤效率最好。為了驗證算法在遮擋過程中跟蹤精度的變化情況，這里將通過目標框被遮擋的面積比例，即目標覆蓋率，與跟蹤精度之間的關系反映跟蹤算法的有效性。圖8為覆蓋率閾值的算法結果對比圖，接下來將對圖中曲線進行分析。

圖8 覆蓋率閾值

從圖8可以看出，在覆蓋率閾值為0時，目標尚未進入遮擋狀態，改進STAPLE算法的跟蹤精度為0.89，LCT算法的跟蹤精度為0.83，STAPLE算法的精度為0.78，DSST算法的精度為0.69。隨著覆蓋率閾值的增加，目標進入遮擋狀態，4種算法的跟蹤精度逐漸下降；在覆蓋率閾值小于0.5時，4種算法的跟蹤精度下降趨勢較為平緩；當覆蓋率閾值超過0.5時，4種算法的跟蹤精度下降速度開始增加，并在0.8左右達到最大下降速度。當覆蓋率閾值為1時，目標進入完全遮擋狀態，4種算法的跟蹤精度均為0。除此之外，在同一覆蓋率閾值下，改進STAPLE算法的跟蹤精度最高，其次是LCT算法的跟蹤精度，DSST算法的跟蹤精度最低。

4 結束語

為了解決目標長時跟蹤所面臨的遮擋問題，這次研究對STAPLE跟蹤算法進行改進。一方面對目標特征提取技術進行了優化；另一方面在跟蹤算法的基礎上加入了SVM分類檢測器，以重新鎖定退出遮擋狀態的目標。最后通過國際標準視頻序列驗證了改進STAPLE算法的跟蹤精度和有效性。這次的研究是在前人的基礎上，對目標跟蹤算法進行融合優化，例如將通過顏色特征模型、HOG算法和LBP算法將目標特征提取技術進行盡可能全面的優化，以及將SVM算法與STAPLE算法相結合，以便保持長時跟蹤狀態。雖然改進后的算法取得了較好的跟蹤效果，但這次研究仍舊存在沒能解決的技術性問題。這次研究主要是針對目標跟蹤過程中的遮擋問題，實際應用中的遮擋情況更為復雜。一方面，這次研究并未對目標進入遮擋狀態或退出遮擋狀態過程的特征提取及定位跟蹤進行深入分析，這就導致算法僅能就遮擋前后進行目標跟蹤，無法在遮擋情況下進行預測跟蹤。另一方面，由于篇幅所限，這次研究沒有提出目標遮擋狀態的判斷函數，這需要在今后作出詳細討論。遮擋環境是目標跟蹤控制和定位技術所面臨的常見性問題，因此這次研究所提出的算法在車輛導航、交通檢測識別等領域都具有較高的應用價值。對于這次研究沒能解決的問題，將在今后的工作中繼續深入，并將算法向實際應用方向進行優化。