基于多模態模板的抗遮擋Staple跟蹤算法

黃育明 ,戴奕婧,李麗惠,何 博,嚴嘉怡,陳振雕,陳穎頻,3

(1.閩南師范大學物理與信息工程學院,福建 漳州 363000;2.漳州職業技術學院電子信息學院,福建 漳州 363000;3.電子科技大學數學科學學院,四川 成都 611731)

0 引言

目標跟蹤技術已廣泛應用于相機跟蹤聚焦、無人機的目標跟蹤、人臉識別跟蹤、人物整體跟蹤、運行車輛跟蹤和交互系統中的動作跟蹤等場景,是計算機視覺領域的熱點之一。

目標跟蹤有基于生成式和判別式模型的方法。生成式模型中,跟蹤算法以上一幀目標框的幾何狀態為參考產生大量隨機樣本,與目標模板最相似的樣本被當作跟蹤結果[1-2];而判別式模型則通過訓練分類器來區分目標和背景,響應最高的候選樣本被選作預測結果[3]。自Bolme等人首次提出最小輸出平方和[4](MOSSE)濾波器算法以來,判別類相關濾波目標跟蹤算法取得了廣泛的發展。文獻[5]利用核檢測技術與核方法提出一種基于循環跟蹤結構的跟蹤算法,這是由基于自適應相關濾波器的視覺跟蹤[4]方法改進而來的。此后,文獻[6]又提出基于方向梯度直方圖[7](HOG)特征的核相關濾波器高速跟蹤(KCF)方法,跟蹤效果顯著提升。為充分挖掘背景信息,文獻[8]提出上下文感知跟蹤濾波器(CACF),首次提出上下文感知的概念,將背景負樣本引入相關濾波能量泛函并將其回歸為0,有效提高相關濾波判別背景與目標的能力。除了對樣本進行處理,有學者將樣本的手工特征和深度特征進行視覺融合以精確地描述目標及背景的外觀表示[9-10]。雖然上述工作實現了很好的跟蹤效果,但由于相關濾波的樣本采樣以周期性邊界為假設前提,導致出現邊界上不連續的情況,即邊界效應。針對這一問題,文獻[11]提出空間正則化判別相關濾波器(SRDCF),通過對空間濾波器加權,提高目標區域濾波器系數的幅度,以此解決周期性邊界引起的邊界效應。在此基礎上,文獻[10]提出時空正則化相關濾波器(STRCF),增加了時間一致性,有效應對形變挑戰。文獻[12]提出Staple算法,將顏色信息和HOG特征融合,一定程度上緩解了邊界效應。文獻[13]提出背景感知相關濾波器(BACF),提出樣本裁剪的思路,全域搜索樣本,提高正負樣本置信度,并將高置信度正負樣本一起引入到相關濾波器的學習與檢測中,進一步提高濾波器判別背景與目標的能力。尺度估計是目標跟蹤框架中一個重要組成部分,文獻[14]提出多特征尺度自適應跟蹤器(SAMF),對輸入樣本做多尺度變換,形成尺度樣本池,再用相關濾波器對尺度樣本池的樣本逐一濾波,取最大響應對應的尺度作為最優尺度,解決KCF尺度不變的缺陷。文獻[15]提出空間多尺度一維濾波器(DSST),避免SAMF中的二維圖像相關操作,進一步提高了尺度搜索效率。文獻[16]提出馬爾可夫隨機場(MRF)模型,通過局部分塊的相對位置與初始幀局部分塊的相對位置的比例來估計尺度。文獻[17]提出局部-全局相關濾波器(LGCF),利用局部分塊中心點的距離自適應地估計對象的比例,同時解決局部遮擋問題。針對遮擋問題,文獻[18]提出異常抑制相關濾波器(ARCF),在BACF的基礎上增加了相鄰濾波器響應的移位峰值能量正則約束,有效應對遮擋、變形等場景的挑戰。目標跟蹤中,對目標及背景的外觀變化進行實時更新濾波器至關重要。目標被遮擋時采集到的樣本會污染濾波器導致跟蹤偏移[19],應對方法是設計一些標準來評估跟蹤結果的可靠性,去除不可靠樣本或不更新濾波器。這些標準包括置信度得分[20]、最大響應[21]、峰值旁瓣比[21]、平均峰值能量[22]。

綜上所述,基于相關濾波框架的目標跟蹤算法發展十分迅速,也解決了一些特定的問題,但是,大多跟蹤算法在應對目標受遮擋場景下的跟蹤效果較為一般。例如:Staple算法由于缺少上下文樣本信息,未能有效區分遮擋物與目標,使得目標在遮擋場景下目標模板與濾波器被遮擋物污染,最終導致跟蹤失敗;此外,Staple算法在尺度變化和抗遮擋場景下的魯棒性不足,性能還存在提升空間。針對上述問題,本文提出一種基于多模態模板的抗遮擋Staple跟蹤算法。

1 Staple算法基本原理

1.1 相關濾波跟蹤算法

1.1.1單通道相關濾波

首先介紹第一種形式,相關形式為

(1)

式(1)中,x∈HW×1表示目標樣本加權余弦窗后的列向量形式,H和W分別表示目標的長和寬所占像素的大小,h∈HW×1表示復數域的濾波器,y∈HW×1表示相關響應值,其矩陣形式mat(y)為二維高斯窗函數,★表示相關算子,mat表示向量矩陣化算子,vec表示矩陣向量化算子,λ表示平衡參數,用于平衡保真項與嶺回歸正則項。本文為從頻域上直接計算相關濾波器,將式(1)寫成卷積形式為

(2)

根據卷積定理,將式(2)寫成頻域形式:

式(4)中,除號表示點對點相除算子。

(5)

對應的空域響應為

式(6)中,F-1表示傅里葉逆變換,real表示取實部算子。

1.1.2多通道相關濾波

若抽取HOG[7]特征、CN[23]特征、灰度特征、CNN[24]特征等多通道特征(假定通道數為L)時,濾波器空域多通道回歸目標函數則應改為

(7)

其頻域表達式為

(8)

(9)

(10)

1.2 Staple算法簡介

Staple算法提出了一個基于相關濾波與顏色直方圖的特征互補響應計算方法,如式(11)所示:

r(z)=γcfrcf(z)+γhistrhist(z)。

(11)

模板得分rcf(z)是基于HOG特征的相關濾波器的跟蹤響應圖,直方圖得分rhist(z)是基于顏色特征的直方圖,定義為

(12)

式(12)中,ψ[u]=ek(u)∈J×1是一個獨熱編碼的向量(該向量在位置k(u)的數值為1,其他位置數值為0),表示對樣本z中的像素點u∈H所提取的顏色特征,H表示樣本z所在區域,β∈J×1表示顏色直方圖的回歸濾波器。與相關濾波響應不同,顏色直方圖對目標圖像的空間排列不敏感。

最后將兩個得分加權求和,設置γcf=1-α和γhist=α,其中α是人為選取的參數。

1.2.1相關濾波器求解

相關濾波的目標函數與1.1.2節一致,濾波器更新可采取在線更新方式,將式(9)改寫為

(13)

1.2.2顏色直方圖的濾波器求解

Staple算法在對象O和背景區域B上對每個像素的顏色特征進行線性回歸,其目標函數為

(14)

式(14)中,Nj[A]=|{u∈A:k(u)=j}|為區域A中顏色特征為j的像素數。式(14)的解為

ρj(A)=Nj(A)/|A|是特征為j的像素占目標區域像素的比例,其中顏色特征j=1,…,J。

在線版本中,通過式(16)更新模型參數:

2 基于多模態模板的Staple跟蹤算法

Staple算法用余弦窗加權信號,導致相關濾波器學習到的背景信息較少,當目標發生形變或者背景干擾的時候容易產生跟蹤漂移,同時影響外觀模型的更新,進而導致其尺度自適應跟蹤功能受到影響;此外,Staple算法在大面積遮擋的情況下無法持續穩定地跟蹤目標。因此,本文提出一種基于多模態模板池的抗遮擋策略。

2.1 上下文感知相關濾波跟蹤

圖1 引入上下文局部塊示意圖Fig.1 The schematic diagram for the context block

基于此,本文提出模型擬學習一個濾波器h,提高它對含目標斑塊的響應值。不含目標上下文斑塊的響應值則置零。通過向標準公式添加上下文補丁作為正則項來實現這一點,由參數λ2控制,最終目標塊回歸到y,上下文感知模型如下:

(17)

式(17)中,K值為4,xCk表示樣本x左、右、上、下毗鄰的與原樣本大小一致的上下文感知樣本,λ1,λ2是模型正則化參數。

將式(17)改寫為頻域表達式,即

(18)

(19)

對于L個多通道特征,則濾波器應修正為

(20)

式(20)中,xl表示樣本的第l個特征,xCk,l表示xCk的第l個特征。

對于新樣本z,其頻域相關濾波響應為

(21)

接著進行反傅里葉變換即可獲得空域上樣本的響應值,即

2.2 尺度自適應濾波器設計

式 （5）～（7） 中，m代表 “一帶一路” 沿線各國，j代表出口國， t代表年份， β1，…，β6是待估參數，εt為隨機誤差項。被解釋變量 EMm，t、Qm，t和 Pm，t分別代表出口擴展邊際、 數量邊際和價格邊際，通過上文介紹的三元邊際分解公式 （1）～（4） 計算得到。

圖2 尺度自適應濾波器示意圖Fig.2 Schematic diagram of scale adaptive filter

尺度自適應濾波器的目標函數設計為

(23)

式(23)中,ys∈1×N表示尺度訓練標簽,其元素定義為表示期望響應高斯函數的標準差;表示第d個通道尺度濾波器的反折信號。

將式(23)改寫為頻域表達式,即

(24)

(25)

對于新樣本z,為確定其最優尺度,也需對樣本進行金字塔式采樣,獲取N個尺度的面片,然后獲取多尺度特征矩陣Fz∈D×N,類似地,將該矩陣按行做分塊處理,得則其尺度響應為

(26)

對式(26)進行反傅里葉變換即可獲得尺度相關響應:

(27)

然后選取尺度響應最大的位置所對應的尺度作為目標最終尺度。

2.3 基于多模態模板池的抗遮擋策略

在目標跟蹤過程中,模板更新策略至關重要,若不更新模板則無法及時感知目標的表觀變化。當遇到遮擋或運動模糊等情況仍無原則地更新模板則會引入無效的表觀變化。由于Staple算法采用的是每一幀均更新的策略,導致其在遇到強烈遮擋的情況下容易產生漂移。

為解決遮擋問題,本文建立目標的歷史多模態目標池,存取目標在歷史上的不同外觀面片。當新的一幀目標圖像出現時,首先利用相關濾波器獲取響應最大的樣本,對該候選樣本提取HOG特征,將其與歷史多模態資源池樣本進行比對。如與歷史上某個時間的硬陽性樣本相似度超過設定的閾值,則認為此候選樣本可靠,并將對應的面片放入多模態目標池;反之,若該候選樣本與歷史上各硬陽性樣本相似度都很低,則判定此樣本為不可靠樣本,此時應避免引入該候選樣本對濾波器進行更新。

下面簡要介紹利用多模態目標池相似性的抗遮擋方法。

首先構建多模態目標池,對于第一幀而言,因為沒有歷史數據,所以將第一幀的面片填滿多模態目標池,即tn=x(1)(n=1,2,…,N),其中x(1)表示第一幀面片,tn表示多模態目標池T的第n個列向量。從第二幀開始,假定相關響應獲取的最優樣本的面片為b,提取T(:,n)與b的HOG特征,如式(28)—式(29)所示:

式(28)中,HOG表示方向梯度直方圖提取算子。

根據下式可判斷目標是否被遮擋:

max(cos(htn,hb))>τ,

(30)

式(30)中,τ是一個取值范圍為[0,1]的閾值。當max(cos(htn,hb))大于所設閾值時,表明目標未被遮擋,此時可將b更新到目標模板池中,并淘汰模板池中第2到第N個模板中與b相似度最低的面片;當式(30)不成立時,則認為該樣本被遮擋,不將b更新到歷史多模態模板池,且不更新前景、背景顏色直方圖以及濾波器。

3 實驗驗證

本文采用OTB100[25]數據集測試提出的算法。首先進行三個消融實驗:有無背景感知模型、有無抗遮擋功能和有無尺度自適應功能對比實驗,以便直觀地了解改進算法的性能;然后進行跟蹤速度對比實驗,直觀了解各改進策略對跟蹤速度的影響;最后將提出方法與其他先進跟蹤器做定量對比實驗,進一步驗證本文算法的優越性。

3.1 消融實驗

3.1.1有無背景感知模型對比實驗

為了驗證加入背景感知模型是否會對跟蹤結果產生影響,本節通過對有背景感知的Staple-CA算法和無背景感知的Staple算法進行實驗,如圖3所示。BlurCar1視頻序列的第272幀目標背景未發生變化時,代表有背景感知模型的Staple-CA算法的實線跟蹤框和代表無背景感知模型的Staple算法的虛線跟蹤框都可以對目標實現較好的跟蹤。

第764幀時,目標背景發生變化,虛線跟蹤框產生輕微漂移,實線跟蹤框依然能夠很好地跟蹤。第770幀時,鏡頭晃動劇烈,虛線跟蹤框漂移量變大,實線跟蹤框對目標跟蹤精準。第817幀,目標在經歷了背景劇烈變化及快速運動后,虛線跟蹤框已無法跟蹤目標,實線跟蹤框對目標跟蹤依然準確。

圖3 有無背景感知模型對比實驗Fig.3 Comparison experiment with and without background perception model

如表1所示,有背景感知的Staple-CA算法的平均中心點誤差為4.92像素,平均跟蹤重疊率為0.78,較沒有背景感知的Staple算法平均中心點誤差降低了51.41像素,平均跟蹤重疊率提升了0.25。這說明有背景感知功能的Staple-CA算法能夠在背景變化及目標快速運動的場景下實現跟蹤。

表1 有無背景感知模型性能指標對比Tab.1 Comparison of data with and without background perception models

3.1.2有無抗遮擋功能對比實驗

為了驗證抗遮擋功能的有效性,對比有抗遮擋功能的Staple-CA-AO算法與沒有抗遮擋功能的Staple-CA算法,如圖4所示。

Jogging-1視頻序列的第25幀目標沒有受到遮擋時,代表無抗遮擋功能的Staple-CA算法的虛線跟蹤框和代表有抗遮擋功能的Staple-CA-AO算法的實線跟蹤框都可以很好地對目標進行跟蹤。第75到80幀間,目標受到強烈遮擋后重新出現在視頻畫面中,虛線跟蹤框無法捕捉到目標,而實線跟蹤框依然可以準確地跟蹤目標。第138幀,受之前遮擋的影響,虛線跟蹤框仍無法跟蹤到目標,而實線跟蹤框依然準確地跟蹤目標。

圖4 有無抗遮擋功能對比實驗Fig.4 Comparison experiment with or without anti-occlusion function

如表2所示,有抗遮擋功能的Staple-CA-AO算法的平均中心點誤差為6.41像素,平均跟蹤重疊率為0.76,較無抗遮擋功能的Staple-CA算法平均中心點誤差降低了84.68像素,平均跟蹤重疊率提升了0.59。這說明有抗遮擋功能的Staple-CA-AO算法能夠在目標受到強烈遮擋后重新出現的場景下實現跟蹤。

表2 有無抗遮擋功能性能指標對比Tab.2 Comparison of data with and without anti-occlusion function

3.1.3有無尺度自適應功能對比實驗

為了驗證尺度自適應功能的有效性,對是否有尺度自適應功能的Staple-CA算法進行實驗,如圖5所示。

Car4視頻序列的第28幀目標尺度沒有變化時,代表無尺度自適應功能的Staple-CA算法的虛線跟蹤框和代表有尺度自適應功能的Staple-CA算法的實線跟蹤框的尺寸沒有區別。第131、312和578幀中,目標尺度經歷了先變小后變大的過程,虛線跟蹤框對目標進行跟蹤時尺寸始終為同一大小,而實線跟蹤框則隨著目標尺度的變化自適應地調整跟蹤框大小。

圖5 有無尺度自適應模塊對比實驗Fig.5 Comparison experiment of a scale module

如表3所示,有尺度自適應功能的Staple-CA算法的平均中心點誤差為2.13像素,平均跟蹤重疊率為0.88,較無尺度自適應功能的Staple-CA算法平均中心點誤差降低了3.49個像素點,平均跟蹤重疊率提高0.39,這說明尺度自適應功能可對目標實現更精準的跟蹤。

表3 有無尺度自適應模塊性能指標對比Tab.3 Comparison of data with and without the scale adaptive module (SAM)

3.2 跟蹤速度比較與分析

跟蹤速度是目標跟蹤中的一個重要因素,因此,為了直觀展示幾種改進策略的時間復雜度,對比了有無尺度自適應功能、有無背景感知功能及有無抗遮擋功能在部分視頻中的幀率。速度測試是在Intel Core i7-4720HQ 筆記本CPU上進行的。

如表4所示,沒有尺度自適應功能的Staple算法運行速度最快,在測試的視頻中平均幀率達到了76.37 幀/s,較有尺度自適應功能的Staple算法平均幀率高26.51 幀/s。有背景感知功能的Staple-CA算法的平均幀率為33.54 幀/s,較沒有背景感知功能的Staple算法的平均幀率低16.32 幀/s。有抗遮擋功能的Staple-CA-AO算法比沒有抗遮擋功能的Staple-CA算法平均幀率低12.33 幀/s。

表4 所提出的改進策略在一些視頻中的幀率Tab.4 Frame rates of the proposed improvement strategyin some videos

3.3 定量分析

通過與其他9種先進算法CSR-DCF[26]、SRDCF[11]、LCT2[27]、DCF-CA[8]、KCF[6]、DSST[15]、STRUCK[28]、Staple[12]和Staple-CA[8]在OTB數據集上進行不同場景跟蹤性能的對比。

圖6展示了在OTB100數據集中排名前8的算法精確度和成功率圖,圖中右上角顯示算法排名情況。Staple-CA-AO的精確度和成功率均排名第一,達到了83.4%和75.1%。

圖6 算法的精確度和成功率綜合比對圖Fig.6 A comprehensive comparison chart of the accuracy and success rate of the algorithm

表5給出了各跟蹤算法在不同視頻序列中取得的平均跟蹤重疊率,其中數值越大表明跟蹤性能越好。本文算法Staple-CA-AO在Bird2、David3、Girl2、KiteSurf、Skiing、Subway、Tiger1序列中的平均跟蹤重疊率分別為0.83、0.78、0.74、0.71、0.41、0.76、0.74,均高于其他9個主流算法,總平均值也達到0.75,在10個算法中排名第一。

表6給出了各跟蹤算法在不同視頻序列中取得的平均中心點誤差,其數值越小表明與目標真實位置的誤差越小。本文算法Staple-CA-AO在Bird2、Deer、Girl2、KiteSurf、Skiing、Subway、Tiger1視頻序列的中心點誤差分別為6.08、3.97、7.96、2.85、3.83、2.56、8.44像素,高于其他9個主流算法,總平均值像素誤差為5.05像素,在10個算法中排名第一。其中Girl2序列在存在尺度變化、遮擋、形變、運動模糊、平面外旋轉等多因素的影響下依然可以對目標很好地跟蹤,而且在比對算法中也是跟蹤效果最好的。

表5 各跟蹤算法在一些視頻中的平均跟蹤重疊率Tab.5 Average tracking overlap rates for each tracking algorithm in some videos

續表

表6 各跟蹤算法在一些視頻中的平均中心點誤差Tab.6 Average center point error of each tracking algorithm in some videos

4 結論

為解決Staple算法缺少上下文信息,對遮擋場景敏感的問題, 本文提出基于多模態模板池的抗遮擋Staple跟蹤算法,該算法主要包括以下幾個方面優勢:

1) 引入背景感知模型,顯式地學習目標周圍的背景信息,將該模型與Staple框架進行結合,有效應對快速運動、背景散亂等挑戰下跟蹤效果不佳的問題。

2) 使用多通道方向梯度直方圖特征訓練用于定位的位置相關濾波器和用于尺度自適應調整的尺度相關濾波器,同時引入顏色直方圖特征,達到多視覺、多幾何尺寸特征融合的目的,以應對尺度變化、快速運動、目標形變等場景。

3) 采用多模態更新模板的策略,通過設置閾值改變原本算法中每一幀均更新模板的方式,篩選出與第一幀中基礎模型相似度更高的樣本,增加跟蹤樣本的可靠度。