自適應(yīng)模型的視覺(jué)跟蹤算法*

朱洪波

（廈門弘搏科技有限公司 廈門 362000）

1 引言

視覺(jué)跟蹤在視頻監(jiān)控、自動(dòng)駕駛、車輛導(dǎo)航和人機(jī)交互等領(lǐng)域有著廣泛的應(yīng)用。但由于固有因素（如規(guī)模變化和變形）和外部因素（如光照變化、遮擋）。目標(biāo)跟蹤方法可分為判別［5～9］或生成法［1～4］。其中生成方法學(xué)習(xí)可以通過(guò)提取的特征表示的外觀模型，然后制定跟蹤任務(wù)，如搜索與定義為目標(biāo)的模型最相關(guān)的目標(biāo)圖像區(qū)域。常見生成模型包括增量跟蹤器（IVT）［1］、跟蹤器［2］、多任務(wù)跟蹤器（MTT）［3］、稀疏表示［4］等。判別方法可以看作是二進(jìn)制分類問(wèn)題，通?？梢苑Q為逐導(dǎo)檢測(cè)方法，其中一種是目標(biāo)對(duì)象，另一個(gè)是周圍的背景。這些方法的主要任務(wù)是通過(guò)學(xué)習(xí)分類器來(lái)確定當(dāng)前幀位置上的目標(biāo)，從而區(qū)分目標(biāo)和不斷變化的背景。一般判別模型已被提出包括多實(shí)例學(xué)習(xí)（MIL）［5］、支持向量跟蹤［6］、P-N學(xué)習(xí)［7］、壓縮傳感［8］，所有相關(guān)過(guò)濾器為基礎(chǔ)跟蹤器。生成模型具有更全面的能力來(lái)描述目標(biāo)對(duì)象的特征，但缺點(diǎn)是沒(méi)有考慮到目標(biāo)對(duì)象周圍的背景信息?？紤]到目標(biāo)和背景信息的判別模型具有很高的判別能力，可以區(qū)分目標(biāo)和復(fù)雜的背景，很容易導(dǎo)致過(guò)度擬合現(xiàn)象［10］。

目前，傳統(tǒng)的視覺(jué)跟蹤算法可以簡(jiǎn)單地分為兩種方法，包括基于相關(guān)濾波器（CF）［13～20，27～29］和基于深度學(xué)習(xí)的［21～23，33～37］方法。這兩種方法都可以從不同的方面提高算法的性能?；谏疃葘W(xué)習(xí)的跟蹤方法通常采用從卷積神經(jīng)網(wǎng)絡(luò)（CNN）中提取的預(yù)先訓(xùn)練的深高維特征來(lái)表示特征。雖然實(shí)現(xiàn)了理想的跟蹤結(jié)果，但在特征提取過(guò)程中增加了大量的計(jì)算復(fù)雜性，將嚴(yán)重影響實(shí)時(shí)性能。在跟蹤過(guò)程中，跟蹤模型的更新過(guò)程對(duì)于確定跟蹤是否準(zhǔn)確至關(guān)重要。目前大多對(duì)跟蹤模型進(jìn)行了從一個(gè)幀到下一個(gè)幀更新。這種更新方法存在缺點(diǎn)。當(dāng)目標(biāo)遇到顯著的外觀變化，如照明變化、遮擋、超出視圖，將產(chǎn)生錯(cuò)誤的跟蹤信息。這些信息將被傳遞到下一幀，積累很長(zhǎng)時(shí)間后，將增加跟蹤漂流的風(fēng)險(xiǎn)，最終會(huì)導(dǎo)致跟蹤失敗。

本文針對(duì)上述問(wèn)題研究如何設(shè)計(jì)一個(gè)穩(wěn)健的策略來(lái)更新模型，以進(jìn)一步提高模型的質(zhì)量。以前幀中的正確跟蹤信息可以及時(shí)傳遞到下一個(gè)幀，并且當(dāng)目標(biāo)對(duì)象經(jīng)歷復(fù)雜的情況（如遮擋和照明變化）時(shí)，可以正確地更新模型，從而使模型保持隨后的視頻序列在一定程度上被惡化。

2 基于相關(guān)濾波器的跟蹤算法

2.1 基于判別相關(guān)濾波器的框架

首先介紹了關(guān)于本文算法中使用的上下文感知相關(guān)濾波器框架的先驗(yàn)知識(shí)，然后介紹了有關(guān)尺度相關(guān)濾波器如何集成到本文的算法。最常見的基于識(shí)別性相關(guān)的跟蹤器總是傾向于忽略周圍的上下文信息。然而，目標(biāo)位置周圍的上下文區(qū)域在跟蹤性能方面發(fā)揮著重要作用。文獻(xiàn)［18］提出了基于判別相關(guān)濾波器的上下文感知框架，將全局上下文信息集成到學(xué)習(xí)濾波器中。目標(biāo)是訓(xùn)練一個(gè)對(duì)目標(biāo)圖像補(bǔ)丁有較高響應(yīng)和對(duì)上下文區(qū)域的響應(yīng)接近于零的濾波器。在CACF框架中，主要目標(biāo)是訓(xùn)練最佳相關(guān)濾波器w，對(duì)于所有訓(xùn)練樣本DO（DO包含由循環(huán)移位運(yùn)算符和理想的回歸目標(biāo)y生成的矢量化圖像補(bǔ)丁dO的所有循環(huán)轉(zhuǎn)換）（y是二維高斯的矢量化圖像），如式（1）：

根據(jù)傅里葉域中循環(huán)矩陣性質(zhì)，本文將訓(xùn)練一個(gè)濾波器w，它對(duì)目標(biāo)圖像補(bǔ)丁具有較高的置信度響應(yīng)，對(duì)上下文補(bǔ)丁具有接近零的置信度響應(yīng)。通過(guò)在標(biāo)準(zhǔn)配方中添加上下文補(bǔ)丁作為正則化術(shù)語(yǔ)如式（2）：

由于目標(biāo)圖像補(bǔ)丁包含許多上下文圖像信息，并形成了一個(gè)新的數(shù)據(jù)矩陣B∈R（k+1）n×n，主目標(biāo)函數(shù)（2）可以重寫如下：

其中B=and=，yˉ∈R（k+1）n∈R（k+1）n表示

新的理想回歸目標(biāo)。由于目標(biāo)函數(shù)是凸函數(shù)，可以通過(guò)派生操作將其最小化，如下所示：

2.2 尺度判別相關(guān)濾波器

在跟蹤過(guò)程中，參考文獻(xiàn)［15］提出了一種基于判別相關(guān)濾波器的精確尺度估計(jì)方法。通過(guò)訓(xùn)練一個(gè)尺度判別相關(guān)濾波器的規(guī)模金字塔表示，然后估計(jì)規(guī)模從最好的置信度框架。以用于比例估計(jì)的目標(biāo)為中心的圖像補(bǔ)丁大小為

其中P和R分別表示當(dāng)前幀中的寬度和高度，表示比例因子，s表示比例濾波器的大小。目標(biāo)是通過(guò)最小化以下目標(biāo)函數(shù)來(lái)獲得最佳的尺度相關(guān)濾波器h：

其中g(shù)表示理想的相關(guān)輸出，l表示特征的維度，是一個(gè)正則系數(shù)。上述頻域中的解決方案是通過(guò)以下方式給出的：

為了獲得準(zhǔn)確的結(jié)果，H1中的分母分別更新如下：

η是一個(gè)學(xué)習(xí)速率參數(shù)。在下一幀中通過(guò)以下公式求解比例濾波器的響應(yīng)：

3 本文提出跟蹤模型

3.1 多特征自適應(yīng)融合策略

視覺(jué)特征表示是視覺(jué)跟蹤框架的重要組成部分。本文主要集中在手工制作的功能。常見的手工制作功能包括HOG功能和CN功能，兩個(gè)都有自己的優(yōu)點(diǎn)和缺點(diǎn)。HOG功能被廣泛用于大多數(shù)現(xiàn)有的跟蹤器和對(duì)象檢測(cè)。通過(guò)計(jì)算和完成圖像貼片單元空間網(wǎng)格中梯度方向的統(tǒng)計(jì)直方圖來(lái)生成特征，使其與幾何變形和光學(xué)變形保持了優(yōu)越的不變性。CN特征［27］描述符利用PCA技術(shù)進(jìn)行降維。局部強(qiáng)度（HOI）［17］的直方圖是HOG特征的補(bǔ)充，通過(guò)計(jì)算局部強(qiáng)度的直方圖，使其對(duì)遮擋和運(yùn)動(dòng)模糊等劇烈的外觀變化更加穩(wěn)健。為了實(shí)現(xiàn)卓越的特征表示，并補(bǔ)充了各自的優(yōu)勢(shì)。本文考慮將上述分析的HOG、CN和HOI的兩個(gè)特征結(jié)合起來(lái)。本文首先在CACF框架的基礎(chǔ)上，分別計(jì)算HOG和CN分別與HOI集成所產(chǎn)生的相應(yīng)的最大響應(yīng)分?jǐn)?shù)。每個(gè)要素的權(quán)重根據(jù)相應(yīng)響應(yīng)分?jǐn)?shù)的比例進(jìn)行分配。因此，下一幀中的視頻序列將被優(yōu)先用于選擇權(quán)重較高的要素。在t-th框架中分別與HOI集成的HOG和CN特征的歸一化權(quán)重為

HOI表示像素強(qiáng)度直方圖特征，fHOG+HOI表示與像素強(qiáng)度直方圖特征集成的HOG特征的相應(yīng)輸出響應(yīng)分?jǐn)?shù)，，fHOG+HOI表示CN特征與像素強(qiáng)度直方圖特征集成的相應(yīng)輸出響應(yīng)分?jǐn)?shù)。t+1-th框架中的權(quán)重wt+1用于更新以前的要素權(quán)重wˉt：

本文根據(jù)響應(yīng)分?jǐn)?shù)的比例為所有要素分配權(quán)重。最終響應(yīng)是由HOG和CN功能分別與HOI集成而生成的，響應(yīng)分?jǐn)?shù)Rt如下所示：

3.2 本文算法的自適應(yīng)模型更新方法

本文將響應(yīng)圖的PSR及其響應(yīng)圖作為跟蹤質(zhì)量評(píng)估的高峰。表達(dá)式方程是通過(guò)以下方式給出的：

該模型可以根據(jù)每個(gè)不同視頻序列的最大響應(yīng)分?jǐn)?shù)自適應(yīng)地判斷結(jié)果。只有當(dāng)滿足特定條件時(shí)，PSR大于其最大響應(yīng)峰值分?jǐn)?shù)Rmax（x），轉(zhuǎn)換濾波器模型。在當(dāng)前幀中，跟蹤結(jié)果是準(zhǔn)確的。它有效地防止了不正確的更新信息被傳輸?shù)胶罄m(xù)幀，從而導(dǎo)致跟蹤漂移，從而創(chuàng)建了一種自適應(yīng)的方式來(lái)更新比例模型和翻譯模型。該算法的總體流程如下所示。

初始化：確定第一幀要跟蹤目標(biāo)狀態(tài)，設(shè)定更新閾值T為0.43

fort=1 toT（T為視頻總幀數(shù)）

ift>1

1）位置估計(jì)：

Step1：根據(jù)目標(biāo)的狀態(tài)，采樣圖像塊，分別采用HOG和CN特征表達(dá)；

Step2：(H O G+H O I)W t、(CN+HOI)W t分別對(duì)HOG、CN特征表達(dá)的圖像塊進(jìn)行相關(guān)濾波，求出響應(yīng)圖

Step3：根據(jù)式（15）計(jì)算融合響應(yīng)圖，估計(jì)當(dāng)前幀的位置；

2）尺度估計(jì)：

Step4：根據(jù)式（16）求得最大尺度相關(guān)濾波得分，估計(jì)當(dāng)前幀的尺度，并使用式（13）、（14）更新；

end

3）if max（Rt）>T

Step5：根據(jù)目標(biāo)狀態(tài)，訓(xùn)練和更新HOG和CN特征的濾波器模型（w t，x t）、尺度濾波模型（At，Bt）；

Step6：根據(jù)式（13）（14）更新HOG和CN特征的融合權(quán)重；

end

end

4 實(shí)驗(yàn)結(jié)果

本文采用OTB基準(zhǔn)數(shù)據(jù)集評(píng)估，并與目前主流的跟蹤方法包括SRDCF［16］，LMCF［19］，C-COT_HOG［39］，LCT［17］，KCF［14］，CSK［13］，SAMF［28］，DSST［15］，STAPLE_CA［18］，DCF［18］，SAMF_CA［18］，MOSSE_CA［18］、CNSVM［41］，數(shù)據(jù)集中的所有這些視頻都由包含不同挑戰(zhàn)性場(chǎng)景的11個(gè)屬性進(jìn)行注釋：照明變化（IV）、比例變化（SV）、遮擋（OCC）、變形（DEF）、運(yùn)動(dòng)模糊（MB）、快速運(yùn)動(dòng)（FM）、平面旋轉(zhuǎn)（IPR）、超視點(diǎn)（OV）、背景離合器（BC）和低分辨率（LR）。圖1表明本文算法在幾個(gè)屬性挑戰(zhàn)中具有較好的距離精度和重疊成功率，并表明該方法在光照變化屬性（80.7、55.5）方面達(dá)到了優(yōu)越的DP和OS，平面內(nèi)旋轉(zhuǎn)（82.4，54.4%）、平面外旋轉(zhuǎn)（82.4，54.7%）、刻度變化（82%，50.3%）。結(jié)果表明本文更新方法和多重特征的融合策略大幅度提高跟蹤精度。

圖1 部分不同狀態(tài)的跟蹤結(jié)果（平面旋轉(zhuǎn)，平面外旋轉(zhuǎn)，規(guī)模變化）

5 結(jié)語(yǔ)

本文提出了一種基于判別相關(guān)濾波器的精確模型自適應(yīng)更新方法。利用判別相關(guān)濾波器生成的響應(yīng)峰值分?jǐn)?shù)作為動(dòng)態(tài)閾值，并與各幀響應(yīng)圖的峰值側(cè)瓣比進(jìn)行了比較，然后將比較結(jié)果作為實(shí)現(xiàn)平移濾波模型和尺度濾波器模型更新的差異化條件，實(shí)現(xiàn)自適應(yīng)更新方法。為了實(shí)現(xiàn)較好的特征表示，提出了響應(yīng)層中的HOG、CN和HOI等多種手工制作特征的自適應(yīng)融合策略。實(shí)驗(yàn)結(jié)果表明，該跟蹤器與最先進(jìn)的基于濾波器的判別相關(guān)跟蹤器相比效果良好，在遮擋、尺度變化、變形、快速等復(fù)雜情況下表現(xiàn)良好的跟蹤效果。