注意力機制的多尺度單目標(biāo)跟蹤算法

宋建鋒，苗啟廣，王崇曉，徐 浩，楊 瑾

(西安電子科技大學(xué) 計算機科學(xué)與技術(shù)學(xué)院，陜西 西安 710071)

單目標(biāo)跟蹤是計算機視覺領(lǐng)域重要的研究課題之一。其概念被定義為在給定視頻的初始時刻，給出感興趣的目標(biāo)，在后續(xù)視頻序列中以矩形框的形式將跟蹤結(jié)果進行展示[1]。單目標(biāo)跟蹤技術(shù)廣泛應(yīng)用于智能視頻監(jiān)控、現(xiàn)代化軍事、智能視覺導(dǎo)航等國防及民用領(lǐng)域[2]。

近年來，隨著深度學(xué)習(xí)的發(fā)展，基于深度學(xué)習(xí)的單目標(biāo)跟蹤算法取得顯著進展。文獻(xiàn)[3]提出的利用多層卷積特征的跟蹤器，結(jié)合深度特征與相關(guān)濾波算法，摒棄傳統(tǒng)的手工特征提取，取得了很好效果。文獻(xiàn)[4]提出基于全卷積網(wǎng)絡(luò)的跟蹤算法(Fully-Convolutional Siamese networks for object tracking，SiameseFC)，該算法是基于孿生網(wǎng)絡(luò)結(jié)構(gòu)的單目標(biāo)跟蹤算法，核心是基于模板匹配思想，通過互相關(guān)運算，將得分圖上個的最大響應(yīng)點作為目標(biāo)。文獻(xiàn)[5]提出多域網(wǎng)絡(luò)跟蹤算法(Multi-Domain Network，MDNet)，用于解決網(wǎng)絡(luò)離線訓(xùn)練時可能不包含目標(biāo)的問題。該算法使用圖像分類任務(wù)的預(yù)訓(xùn)練模型VGG-M作為特征提取網(wǎng)絡(luò)，在特征提取網(wǎng)絡(luò)后加入2個全連接層作為分類器，取得良好跟蹤效果。文獻(xiàn)[6]提出的基于重疊面積最大化的跟蹤算法(Accurate Tracking by Overlap Maximization，ATOM)是表現(xiàn)最好的實時跟蹤算法之一。該算法將跟蹤過程分為檢測分支和目標(biāo)粗定位分支。其中，檢測分支離線訓(xùn)練好，目標(biāo)粗定位結(jié)果是目標(biāo)分類網(wǎng)絡(luò)的輸出，目標(biāo)分類網(wǎng)絡(luò)使用共軛梯度法在線微調(diào)，其取得卓越的效果。文獻(xiàn)[7]提出有一種圖注意力機制的局部匹配模型，增強特征提取魯棒性以提升跟蹤效果。

目前，已有算法對目標(biāo)尺度變化等挑戰(zhàn)具有良好的魯棒性，但在單目標(biāo)跟蹤過程中面對相似目標(biāo)干擾、目標(biāo)遮擋、目標(biāo)消失挑戰(zhàn)時，已有算法由于利用的目標(biāo)特征單一，無法有效結(jié)合局部特征和全局特征，導(dǎo)致相似目標(biāo)干擾、背景和跟蹤目標(biāo)的判別能力不強，產(chǎn)生錯誤跟蹤結(jié)果；在面對目標(biāo)消失時，由于網(wǎng)絡(luò)的在線更新無法對目標(biāo)消失的視頻幀進行篩選，導(dǎo)致不可靠的視頻幀參與到網(wǎng)絡(luò)在線更新過程，產(chǎn)生模型漂移，進一步產(chǎn)生錯誤跟蹤結(jié)果。針對這些問題，筆者結(jié)合ATOM算法特點，提出新的跟蹤算法，使其在實際應(yīng)用過程中有更魯棒的跟蹤效果。

1 理論基礎(chǔ)

現(xiàn)有工作表明，ATOM跟蹤算法在實際應(yīng)用中有不錯效果，但面對目標(biāo)遮擋、目標(biāo)消失、相似目標(biāo)干擾時容易出現(xiàn)跟蹤錯誤情況。筆者以ATOM算法為基礎(chǔ)，通過引入基于Inception[8]的多尺度網(wǎng)絡(luò)來結(jié)合局部特征和全局特征，增強對背景和跟蹤目標(biāo)的判別能力。通過使用基于注意力機制的網(wǎng)絡(luò)在線更新過程對視頻幀進行篩選，增強網(wǎng)絡(luò)在跟蹤過程中的魯棒性，提升跟蹤效果。

1.1 ATOM跟蹤算法

ATOM算法是2019年IEEE CVPR會議中提出的實時跟蹤算法。該算法分為目標(biāo)分類網(wǎng)絡(luò)、目標(biāo)評價網(wǎng)絡(luò)以及網(wǎng)絡(luò)在線更新三部分。

ATOM跟蹤算法如圖1所示。圖1中目標(biāo)分類網(wǎng)絡(luò)由不同尺度的卷積核組成，主要用來判斷某個位置是否有跟蹤目標(biāo)的存在，對目標(biāo)和背景進行區(qū)分，完成對目標(biāo)的粗定位，但其對目標(biāo)的尺度并不敏感。

圖1 ATOM跟蹤算法示意圖

目標(biāo)尺度在目標(biāo)跟蹤中的具體意義為目標(biāo)所在位置和目標(biāo)的長寬，是目標(biāo)評價網(wǎng)絡(luò)中需要求解的。將跟蹤框架分成目標(biāo)分類網(wǎng)絡(luò)和目標(biāo)評價網(wǎng)絡(luò)兩個模塊有助于提高整體的跟蹤性能。網(wǎng)絡(luò)在線更新[9]是在跟蹤過程中，使用已經(jīng)完成跟蹤的視頻幀對目標(biāo)分類網(wǎng)絡(luò)進行優(yōu)化，使目標(biāo)分類網(wǎng)絡(luò)在當(dāng)前的跟蹤任務(wù)中對目標(biāo)和背景有更好的區(qū)分能力，提高跟蹤的魯棒性。

1.2 Inception網(wǎng)絡(luò)架構(gòu)

Inception網(wǎng)絡(luò)架構(gòu)使用了不同尺度的卷積核，在Inception V1 網(wǎng)絡(luò)中的結(jié)構(gòu)，如圖2所示。這些卷積核尺度分別為3×3，5×5和1×1，這些不同尺度的卷積核能夠提取不同尺度特征，增加特征多樣性。

圖2 Inception V1網(wǎng)絡(luò)結(jié)構(gòu)

為減少網(wǎng)絡(luò)參數(shù)過多帶來的網(wǎng)絡(luò)難以訓(xùn)練的問題，在Inception V3網(wǎng)絡(luò)中使用非對稱卷積網(wǎng)絡(luò)，設(shè)計出如圖3所示的Inception V3網(wǎng)絡(luò)。

圖3 Inception V3網(wǎng)絡(luò)結(jié)構(gòu)

Inception V3[10]網(wǎng)絡(luò)利用7×1和1×7的2個卷積層卷積代替原始的7×7卷積層，利用5×1卷積層和1×5卷積層代替原始的5×5卷積層。該思想總結(jié)為使用尺度為1×n和n×1的2個小卷積核取代原始n×n的卷積核，相比把5×5用2個3×3代替能更有效減少參數(shù)量，并通過減少計算量提升推理速度，同時利用這種非對稱的卷積結(jié)構(gòu)能夠產(chǎn)生更豐富的特征，增加特征多樣性。

1.3 目標(biāo)跟蹤中的注意力機制

在計算機視覺領(lǐng)域，注意力機制常用于強化網(wǎng)絡(luò)對目標(biāo)部分的學(xué)習(xí)，弱化背景對網(wǎng)絡(luò)的影響。在深度卷積網(wǎng)絡(luò)中，注意力機制可以實現(xiàn)自動選擇圖像中感興趣部分區(qū)域，或?qū)斎雸D像的不同位置賦予不同的權(quán)重。文獻(xiàn)[11]將注意力機制與殘差網(wǎng)絡(luò)相結(jié)合，提升了目標(biāo)跟蹤的準(zhǔn)確度和魯棒性。筆者通過利用網(wǎng)絡(luò)的輸出，計算網(wǎng)絡(luò)關(guān)于輸入圖像的偏導(dǎo)數(shù)作為注意力圖。而偏導(dǎo)數(shù)作為注意力圖的原因是在深度神經(jīng)網(wǎng)絡(luò)的前向傳播的過程中，可以利用一階泰勒公式進行展開描述：

fc(I)≈AcTI+B，

(1)

其中，I表示輸入圖像，c表示圖像屬于某一特定類別，fc表示深度神經(jīng)網(wǎng)絡(luò)的輸出，該公式表示的意義是輸入圖像屬于類別c的可能性，AcT表示網(wǎng)絡(luò)相對于輸入I的梯度，B表示偏置。對于AcT，可以表示為

(2)

從式(2)中可以看出，輸入圖像I的類別受到Ac值的影響。Ac內(nèi)部的元素值表示輸入圖像I0的對應(yīng)像素對最終類別得分的貢獻(xiàn)度，其中，輸入圖像目標(biāo)區(qū)域的貢獻(xiàn)度高，背景區(qū)域的貢獻(xiàn)度較低。因此，可將Ac看做是當(dāng)前圖像的注意力圖，對輸入的圖像，可以利用前向傳播得到預(yù)測值，然后利用鏈?zhǔn)角髮?dǎo)法則進行反向傳播，得到的偏導(dǎo)數(shù)Ac作為注意力圖[12]。需要注意的是，在求解偏導(dǎo)數(shù)的過程中不會進行網(wǎng)絡(luò)更新，也不改變網(wǎng)絡(luò)參數(shù)。

2 基于注意力機制的多尺度單目標(biāo)跟蹤算法

2.1 基于Inception的多尺度目標(biāo)分類網(wǎng)絡(luò)

為強化ATOM的目標(biāo)分類網(wǎng)絡(luò)對相似目標(biāo)干擾、目標(biāo)遮擋的判別能力，筆者結(jié)合Inception網(wǎng)絡(luò)架構(gòu)，利用Inception架構(gòu)的多感受野思想，讓網(wǎng)絡(luò)學(xué)習(xí)到目標(biāo)局部特征和全局特征，通過不同層次的特征融合，增強網(wǎng)絡(luò)對目標(biāo)遮擋或者相似目標(biāo)干擾的區(qū)分能力。其原始目標(biāo)分類網(wǎng)絡(luò)與改進后的基于Inception的多尺度目標(biāo)分類網(wǎng)絡(luò)對比如圖4所示。

圖4 目標(biāo)分類網(wǎng)絡(luò)改進示意圖

虛線范圍內(nèi)為基于Inception結(jié)構(gòu)的目標(biāo)分類網(wǎng)絡(luò)。在輸入視頻幀后經(jīng)過ResNet-18提取block4卷積特征，并輸入到基于Inception結(jié)構(gòu)的目標(biāo)分類網(wǎng)絡(luò)。首先經(jīng)過卷積降低通道維度至64維度，以減少之后計算響應(yīng)圖所用卷積的參數(shù)量。將該特征圖輸入到第二層Inception網(wǎng)絡(luò)結(jié)構(gòu)中，經(jīng)過非對稱卷積操作，分別得到3個響應(yīng)圖，將這3個響應(yīng)圖融合為最終響應(yīng)圖。需注意虛線內(nèi)第一層用于降維的卷積參數(shù)在網(wǎng)絡(luò)更新階段不參與更新，該參數(shù)在第一幀初始化后進行優(yōu)化，在后續(xù)跟蹤中不需要進行更新。通過這種網(wǎng)絡(luò)結(jié)構(gòu)能夠捕捉被跟蹤目標(biāo)的細(xì)節(jié)和整體特征，同時融合不同尺度下的響應(yīng)，能更準(zhǔn)確地對目標(biāo)進行粗定位。

2.2 基于注意力機制的網(wǎng)絡(luò)在線更新過程

筆者提出基于注意力機制的網(wǎng)絡(luò)在線更新過程，將注意力圖與網(wǎng)絡(luò)在線損失函數(shù)進行結(jié)合，提出基于注意力機制的損失函數(shù)。

當(dāng)輸入的圖像為I0，通過網(wǎng)絡(luò)的前向傳播可以得到在目標(biāo)分類網(wǎng)絡(luò)的輸出S。對輸出S利用鏈?zhǔn)角髮?dǎo)法來計算其對I0的偏導(dǎo)數(shù)，得到注意力圖Mattention。在這里引入一個權(quán)重矩陣W。該權(quán)重矩陣代表在注意力圖中各個點的重要程度，在此處的權(quán)重矩陣值定義如下：

(3)

其中，y表示對應(yīng)的高斯標(biāo)簽中的像素值。當(dāng)標(biāo)簽值大于等于給定閾值ε時，判斷為前景[8]，將權(quán)重矩陣值設(shè)置為標(biāo)簽對應(yīng)位置的y+1；當(dāng)標(biāo)簽中的像素值小于給定閾值ε時，判斷為背景，將權(quán)重矩陣值設(shè)置為-1。

計算得到權(quán)重矩陣W及利用偏導(dǎo)數(shù)求取Mattention：

M=WMattention。

(4)

根據(jù)式(4)得到結(jié)果M，該矩陣代表對目標(biāo)區(qū)域進行加權(quán)，提高對目標(biāo)區(qū)域的關(guān)注，并強化目標(biāo)和背景區(qū)域的差異。獲得M后，在矩陣中計算目標(biāo)區(qū)域元素的均值μp和方差σp，計算背景區(qū)域元素絕對值的均值μn和方差σn。在計算最終損失中，加入注意力圖的正則項后，用于在線更新的損失函數(shù)如下所示：

(5)

式中，最后一項為上述對注意力圖的正則約束，前半部分是原始的ATOM損失。其中，xj表示第j個樣本的特征圖；w表示目標(biāo)分類網(wǎng)絡(luò)的權(quán)重參數(shù)；yj表示第j個樣本的標(biāo)簽，該標(biāo)簽是以目標(biāo)為中心的高斯形狀標(biāo)簽；f(xj；w)表示目標(biāo)分類網(wǎng)絡(luò)的輸出；γj為超參數(shù)，用于調(diào)節(jié)損失函數(shù)；λk為對權(quán)重wk的正則系數(shù)；λj表示對注意力圖的正則系數(shù)。在線更新階段使用此損失函數(shù)，可對目標(biāo)分類網(wǎng)絡(luò)部分進行更新。

為將不存在目標(biāo)的視頻幀從網(wǎng)絡(luò)在線更新的樣本中剔除，筆者提出采用結(jié)合響應(yīng)圖得分響應(yīng)比和注意力圖響應(yīng)比的方法[13]，其中，注意力圖Ma結(jié)合目標(biāo)分類網(wǎng)絡(luò)輸出得到響應(yīng)圖Ms。

(6)

依據(jù)式(6)得到注意力圖響應(yīng)比Pa和響應(yīng)圖響應(yīng)比Ps。公式中，分子用(x1，y1)至(x2，y2)表示最大響應(yīng)范圍，分母表示整個矩陣的元素值之和。

將響應(yīng)圖得分響應(yīng)比和注意力圖響應(yīng)比依據(jù)式(7)進行加權(quán)求和，得到置信度P，用于判斷當(dāng)前跟蹤視頻幀是否為可靠視頻幀。此處，Pa和Ps分別為注意力圖響應(yīng)比和目標(biāo)分類響應(yīng)圖響應(yīng)比，η1和η2分別取值為0.5。

P=η1Pa+η2Ps。

(7)

選取閾值為0.35。當(dāng)置信度高于該閾值時，認(rèn)為是可靠的跟蹤結(jié)果，將該視頻幀加入后續(xù)的網(wǎng)絡(luò)在線更新過程；當(dāng)置信度小于該閾值時，則認(rèn)為當(dāng)前跟蹤結(jié)果不可靠，丟棄該跟蹤視頻幀，不讓其參與后續(xù)的網(wǎng)絡(luò)在線更新過程，避免產(chǎn)生模型漂移，學(xué)習(xí)到干擾或背景特征。

2.3 基于注意力機制的多尺度單目標(biāo)跟蹤算法

筆者結(jié)合基于Inception的多尺度目標(biāo)分類網(wǎng)絡(luò)和基于注意力機制的網(wǎng)絡(luò)在線更新過程，設(shè)計基于注意力機制的多尺度單目標(biāo)跟蹤算法(IA-ATOM)，如圖5所示。

圖5 基于注意力機制的多尺度單目標(biāo)跟蹤算法

算法的輸入是要跟蹤的視頻幀，經(jīng)過ResNet-18[14]提取block 3和block 4的特征，將block 4的特征圖輸入到基于Inception的目標(biāo)分類網(wǎng)絡(luò)，結(jié)合局部和全局特征，得到目標(biāo)的響應(yīng)圖，實現(xiàn)對目標(biāo)的粗定位。把響應(yīng)圖中最大響應(yīng)點坐標(biāo)還原到輸入圖像中，得到目標(biāo)所在位置，結(jié)合上一幀跟蹤結(jié)果中目標(biāo)尺度信息得到最終結(jié)果。樣本幀選擇器的輸入為注意力圖和得分圖，利用樣本選擇策略，將不可靠樣本幀刪除。在跟蹤過程中，每經(jīng)過10幀進行網(wǎng)絡(luò)在線更新，在線更新的損失函數(shù)為式(5)的基于注意機制的損失函數(shù)，循環(huán)該過程完成目標(biāo)跟蹤。

3 實驗與結(jié)果分析

在測試數(shù)據(jù)集OTB-100[15]上測試算法效果，結(jié)果對比如圖6所示。該測試數(shù)據(jù)集包含灰度圖像和彩色圖像，涉及到目標(biāo)跟蹤過程中出現(xiàn)的11種挑戰(zhàn)。其中，每個測試序列都對應(yīng)著2個或多個屬性，每個序列都有人工標(biāo)注的真實框文件；該手動標(biāo)注的真實框文件中記錄有人工標(biāo)注的目標(biāo)中心位置和目標(biāo)大小。

(a)準(zhǔn)確率

IA-ATOM算法在準(zhǔn)確率上較ATOM算法有0.9%的提升，在成功率上有0.8%的提升，能有效改進ATOM算法。對比其他跟蹤算法，筆者提出的方法也在準(zhǔn)確率和成功率上存在較大優(yōu)勢。

IA-ATOM、ATOM、CREST[16]、SiamFC[17]算法在不同視頻序列的跟蹤結(jié)果如圖7所示。其中第1行為Bird 1視頻序列，第2行為Board視頻序列，第3行為Soccer視頻序列。Bird 1視頻序列存在目標(biāo)遮擋和相似目標(biāo)干擾情況，在視頻第150幀左右目標(biāo)徹底消失，當(dāng)目標(biāo)重新出現(xiàn)后，存在多個相似目標(biāo)干擾。ATOM算法和SiamFC算法由于目標(biāo)分類網(wǎng)絡(luò)的分類能力不強，導(dǎo)致錯誤跟蹤目標(biāo)。CREST網(wǎng)絡(luò)由于在線更新過程沒有剔除目標(biāo)消失幀的影響，導(dǎo)致模型學(xué)習(xí)到背景信息，產(chǎn)生模型漂移，在目標(biāo)出現(xiàn)后繼續(xù)跟蹤到背景上。而筆者提出的IA-ATOM算法能剔除目標(biāo)消失不可靠的樣本幀，并能保持目標(biāo)和背景的良好分類能力，持續(xù)跟蹤正確目標(biāo)。

圖7 跟蹤結(jié)果對比圖

在Board視頻序列中，SiamFC算法和ATOM算法由于無法正確區(qū)分背景與目標(biāo)，造成跟蹤失敗。筆者提出的算法能有效地關(guān)注目標(biāo)局部和整體特征，對目標(biāo)和背景有良好的區(qū)分能力，能正確跟蹤目標(biāo)。Soccer視頻序列中存在目標(biāo)消失、目標(biāo)遮擋、相似目標(biāo)干擾困難，ATOM、CREST以及SiamFC算法在面對目標(biāo)遮擋、相似目標(biāo)干擾情況時，由于其無法結(jié)合目標(biāo)的局部與整體特征，容易產(chǎn)生錯誤跟蹤結(jié)果；同時，由于ATOM和CREST的網(wǎng)絡(luò)在線更新過程使用了不可靠視頻幀，導(dǎo)致模型學(xué)習(xí)到背景信息，在目標(biāo)跟丟后無法再次找回目標(biāo)。筆者提出的算法通過結(jié)合局部和全局特征更好地對目標(biāo)和背景進行區(qū)分，網(wǎng)絡(luò)在線更新過程剔除了存在遮擋物或目標(biāo)消失的不可靠視頻幀，不讓其加入更新過程，避免模型學(xué)到背景信息；同時基于注意力機制的損失函數(shù)強化網(wǎng)絡(luò)學(xué)習(xí)到目標(biāo)特征，有效地提高了跟蹤效果。

4 結(jié)束語

基于深度學(xué)習(xí)模型，筆者研究了單目標(biāo)跟蹤過程中存在的目標(biāo)遮擋、目標(biāo)消失和相似目標(biāo)干擾問題。為提高對這3類問題的魯棒性，對ATOM跟蹤算法進行改進，通過借鑒Inception網(wǎng)絡(luò)結(jié)構(gòu)對局部和全局特征進行結(jié)合，改進了目標(biāo)分類網(wǎng)絡(luò)，使其對相似目標(biāo)干擾和目標(biāo)遮擋有更好魯棒性。通過研究目標(biāo)跟蹤過程中的注意力機制，提出基于注意力機制的損失函數(shù)，并加入樣本篩選步驟，設(shè)計新的網(wǎng)絡(luò)在線更新過程，使其對目標(biāo)消失、目標(biāo)遮擋、相似目標(biāo)干擾有更好的適應(yīng)性。最后結(jié)合兩部分改進，設(shè)計出基于注意力機制的多尺度單目標(biāo)跟蹤算法，并在OTB-100數(shù)據(jù)集進行測試。該算法相較ATOM算法在準(zhǔn)確率上有0.9%的提升，在成功率上有0.8%的提升，驗證了算法的有效性。