結合多注意力機制的自監督目標跟蹤

張志遠，楊 帆

(中國民航大學 計算機科學與技術學院，天津 300300)

0 引 言

目標跟蹤旨在給定跟蹤目標第一幀初始注釋框的情況下，在連續的視頻序列中建立所要跟蹤物體的位置關系，得到目標完整的運動軌跡[1]。由于沒有任何先驗的外觀、形狀模型，僅有跟蹤目標第一幀的標注信息用于模型理解跟蹤目標，且存在光照變化、運動模糊、背景干擾等情況，使得目標跟蹤仍然是計算機視覺領域中的難點問題。

現有的主流跟蹤器大多采用監督學習的訓練方式，在處理數據集時需要使用視頻的目標標注信息，對圖像進行以跟蹤目標為中心的裁剪切割處理。隨著互聯網和信息技術的快速發展以及高速移動設備的普及，網絡上的信息量呈現幾何級爆炸式增長，如何在無標注信息的情況下利用好互聯網帶來的海量視頻數據是值得研究的問題。受文獻[2]提出的循環一致性損失啟發，文獻[3]提出了一種自監督的學習方法，學習視頻之間的目標對應關系，其主要思想是將時間的循環一致性用作免費的監督信號，挖掘出視頻在時間上的連貫性。文獻[4]提出了首個無監督跟蹤器，作者認為一個魯棒的跟蹤器可以在連續幀中定位目標對象且可回溯到第一幀的初始位置。不同于現有跟蹤器讀取視頻標注信息進行有監督的學習，文獻[4]提出的跟蹤器以無監督的訓練方式在大規模未標記視頻上重復執行前向跟蹤和后向跟蹤來學習定位目標，揭示了無監督學習在視覺跟蹤中的潛力。

本文基于大量互聯網視頻數據具有潛在學習價值的假設，提出一種改進的利用未標注的原始視頻圖像進行端到端訓練的自監督跟蹤模型。模型基于孿生網絡的相關濾波框架，通過前向跟蹤和后向跟蹤兩個跟蹤過程，使用初始標簽和預測響應構建循環一致性損失作為監督信號，同時使用子空間注意力機制以及通道注意力機制根據不同的跟蹤目標對特征進行自適應調整。子空間注意力機制突出了目標特征子空間內部的重要信息，通道注意力機制在通道維度上對干擾信息進行了抑制，并加強了有效的目標特征。在基準測試集上的實驗結果表明，提出的自監督跟蹤模型達到了監督跟蹤器的跟蹤基準，并相比于文獻[4]的無監督跟蹤器在跟蹤性能上得到了進一步提升。

1 算法描述

1.1 判別式相關濾波

相關濾波(correlation filter，CF)在信號處理中用來進行兩個信號的相關性計算，信號f和g的相關性計算為

(1)

式中：f*是f的復共軛，兩個信號越相似，則相關性響應越高。在圖像處理中，問題則表述為目標越相似，則相關性響應越高。

判別式相關濾波(discriminative correlation filter，DCF)使用濾波器w將從目標模板提取的特征φ(X)∈RM×N×D回歸到目標模板的高斯標簽Y∈RM×N上進行判別式回歸。濾波器w可以通過解決嶺回歸問題[5]進行求解

(2)

式中：*表示循環卷積，λ≥0為正則化參數。可以通過式(3)在頻域中有效地計算式(2)

(3)

(4)

為了使用神經網絡學習出更好的目標特征，并且保留相關濾波在傅里葉頻域的高效計算過程，在近期的工作[6]中，判別式相關濾波被嵌入了孿生網絡[7]結構中，神經網絡通過端到端的學習方式，得到了與目標跟蹤任務更加緊密耦合的特征。

1.2 網絡框架

本文將嵌入判別式相關濾波的孿生網絡作為網絡模型的一個跟蹤分支，模型由前向跟蹤和后向跟蹤兩個跟蹤過程構成。不同于無監督跟蹤器UDT[4]僅使用卷積網絡提取特征，本文提出使用卷積網絡及多注意力機制構建特征提取器ψ。針對不同的跟蹤目標，特征提取器ψ使用多注意力機制對卷積網絡提取的特征進行自適應的調整，通過提升目標特征的判別性進一步提升了跟蹤精度。網絡模型架構如圖1所示。

圖1 網絡模型架構

網絡使用連續的兩幀圖像#1和#2構成訓練對進行訓練，設定#1的中心區域塊作為跟蹤目標。在前向跟蹤過程中，將#1作為目標模板T，#2作為搜索區域S。使用特征提取器ψ對目標模板T和搜索區域S提取特征，分別得到特征ψ(T)與ψ(S)。將#1響應峰值位于中心的初始標簽Y1作為初始模板標簽YT，使用式(5)計算得到濾波器wT

(5)

目標模板T的濾波器wT與搜索區域S的特征ψ(S)使用式(6)得到目標響應圖RS

(6)

由此得到#2的目標響應圖R2。在前向跟蹤過程中，R2的響應峰值即為以#2為搜索區域的預測目標位置。

在后向跟蹤過程中，則將#2作為目標模板T，#1作為搜索區域S。使用在前向跟蹤中得到的R2響應圖作為偽標簽RT。重復上述式(5)和式(6)的計算過程，計算得到以#1為搜索區域的預測目標位置R1。

最后，使用#1的初始標簽Y1與#1的預測目標響應結果R1利用式(7)構建循環一致性損失進行網絡訓練

(7)

在訓練過程中，存在如圖2所示的前向跟蹤過程中目標定位錯誤，卻能夠在后向跟蹤過程中成功回溯到初始位置的情況。為了解決上述問題，訓練中添加了第三幀圖像#3，使用#1、#2、#3組成的訓練組進行訓練。由#1到#2的一次前向跟蹤過程，增加為由#1到#2，再由#2到#3的兩次前向跟蹤過程。通過增加跟蹤過程來累積定位錯誤，來減少上述的錯誤現象。新的訓練過程如圖3所示。

圖2 原始跟蹤過程

圖3 增加前向跟蹤過程

(8)

1.3 特征提取器

不同于傳統跟蹤器使用手工特征，本文以端到端的訓練方式使用神經網絡學習出與跟蹤任務更加緊密耦合的特征，將特征的學習融入到網絡的反向傳播過程中。

如圖4所示，本文的特征提取器ψ由卷積網絡、子空間注意力模塊和通道注意力模塊構成。其中卷積結構提取圖像特征，子空間注意力捕獲特征在不同子空間內的特征交互模式，通道注意力針對不同的輸入對通道特征賦予不同的重要性系數，抑制冗余特征的學習。針對不同的輸入對象，通過在子空間和通道兩方面對卷積特征進行了自適應調整，有效地提升了目標特征的判別力。

圖4 特征提取器ψ網絡結構

1.3.1 子空間注意力

在圖像任務和自然語言任務中，都需要捕獲特征長范圍的依賴關系。在圖像處理問題中，如果要捕獲長距離的特征關系通常需要堆疊多層卷積模塊來擴大輸入圖像的感受野。本文借鑒文獻[8]用于自然語言處理的多頭自注意力結構,提出了子空間注意力機制，將其用于捕獲子空間內的非局部特征依賴關系，對子空間內部的重要特征信息進行了增強。子空間注意力模塊網絡結構如圖5所示。

圖5 子空間注意力模塊網絡結構

卷積網絡得到的特征X∈Rn×121×121×32，其中n是批尺寸大小。首先將X保留其批尺寸的維度，其余向量展開成一維結構，將X重塑成X∈Rn×m。接下來將X重塑為X∈Rn×h×s×v的形狀，其中h是多頭注意力(multi-headed attention)中的頭，在本文中代表在h個子空間內進行自注意力的計算。自注意力機制在每個子空間內部進行特征的交互計算，最終得到的結果定義了每一個像素特征在當前位置的表現力。子空間注意力使用式(9)進行計算，可以更好地對圖像不同區域的關系進行建模

(9)

經過以上計算過程，在h個子空間內衡量了卷積特征的相關性，最后將相關性進行匯總得到總相關性關 系。通過這種方式無視像素特征之間的距離直接計算依賴關系，更好地捕獲了子空間內部特征的關聯關系，對卷積提取的特征進行了優化，并且實現了通道信息的交互。

1.3.2 通道注意力

由于訓練集采用中心區域裁剪的圖像塊，并非使用完整的目標對象，使得學習的特征混雜著一些干擾信息。這些干擾特征與目標特征在特征通道上混雜，不利于對于目標的準確定位。針對這個問題，本文使用通道注意力網絡(squeeze-and-excitation networks，SENet)[9]對各通道的重要性進行建模，通過自適應的權重分配對特征進行逐通道的調整。在跟蹤過程中，對有效的目標特征進行增強，對干擾特征進行削弱，進一步提升了跟蹤精度。通道注意力模塊如圖6所示。

圖6 通道注意力模塊網絡結構

首先將每個通道的特征進行壓縮，壓縮得到的實數整合了每個通道的空間信息，具有全局的感受野。采用全局平均池化進行計算

(10)

z∈R1×1×c表示壓縮后的特征向量，H和W表示特征X的特征圖大小。對全局信息進行編碼后，使用式(11)通過學習參數w對特征通道間的相關性進行建模。參數w通過兩個全連接層FC1和FC2進行學習，FC1和FC2之間的隱層激活尺寸大小為c/r×1×1，其中r為放縮參數，通過減少通道個數從而降低計算量

s=Fex(z,w)=σ(g(z,w))=σ(w2δ(w1z))

(11)

式中：s∈R1×1×c表示求得的各通道自適應權重，w1∈Rc/r×c，w2∈Rc×c/r。δ表示激活函數ReLU。σ表示激活函數Sigmoid。最后將通道的自適應權重s與原特征X進行結合，為每個通道分配新的自適應權重，得到重標定特征Xc

Xc=Fscale(X,s)=X·s

(12)

1.4 損失函數

(13)

將每個樣本組的wdrop和wmove由下式進行歸一化得到wnorm

(14)

式中：n是批尺寸大小。最后的損失函數計算如下

(15)

1.5 在線跟蹤

本文提出的網絡在離線階段訓練神經網絡以提取具有區分性的目標特征，在線跟蹤過程中不進行在線微調，以保證跟蹤的高效性。采用式(16)使用學習率η來線性更新濾波器w，以在跟蹤過程中適應目標的外觀變化

wt=(1-η)wt-1+ηwt

(16)

由響應圖進行目標的定位后，需要進行對目標進行尺度估計。以具有比例因子{as|a=1.0265,s={-1.5,-0.5,0.5}}的目標尺度金字塔來在目標中心位置進行多尺度采樣。使用尺度懲罰因子{ps|p=0.9925,s={1.5,0.5,0.5}}根據尺度的變化相應限制其響應值。

2 實驗結果及分析

2.1 實驗細節

(1)網絡參數及實驗環境

本文提出的特征提取器包括兩大部分，進行圖像特征提取的卷積部分以及進行特征自適應調整的多注意力機制部分。卷積網絡結構選取VGG16的部分網絡結構，由兩層3×3的卷積網絡組成。在每層卷積結構后使用ReLU激活函數，第二層卷積后進行批標準化(batch normalization)，并刪除了原有網絡的池化部分，設定卷積輸出特征通道維度為32。在多注意力機制部分，子空間注意力機制中h取4，即在4個子空間內分別進行自注意力計算，通道注意力機制部分隱藏層的放縮參數r設為16。特征提取網絡結構的最后使用局部響應歸一化(local response normalization，LRN)層。建立局部神經元的競爭機制，從而增強了模型的泛化能力。

網絡訓練使用隨機梯度下降(stochastic gradient descent，SGD)，批尺寸大小設為32，在線跟蹤過程的濾波器學習率η設為0.009。實驗配置在Ubuntu16.04操作系統的實驗環境下，在2.50 GHz Intel Xeon E5-2640的處理器和NVIDIA GTX 1080Ti的GPU上進行訓練和測試。

(2)訓練集處理

目前基于深度學習的目標跟蹤模型一般使用目標分類的預訓練模型或者使用目標檢測的數據集進行訓練。本實驗選擇用于目標檢測任務的數據集ILSVRC 2015作為訓練集，每個訓練組由在單個視頻連續10幀內隨機選擇的3幀構成。圖像組中隨機一幀設為目標模板，另外兩幀設為搜索區域。

圖7 生成訓練樣本

2.2 定量分析

2.2.1 評估標準

為驗證提出模型的有效性，本文采用兩個基準跟蹤數據集OTB50和OTB100(online object tracking benchmark，OTB)作為測試集進行驗證。其中OTB50包含50個視頻序列，OTB100是OTB50的擴展，共包含100個視頻序列。與OTB50相比，OTB100另外包含的50個視頻序列更具挑戰性。兩個測試集分別在光照變化、比例變化、運動模糊、背景雜波等方面對跟蹤器進行了綜合性的評估。主要的3種評估標準指標為：平均像素誤差(average pixel error，APE)、平均重疊率(average overlap rate，AOR)和平均跟蹤速度(average tracking speed)。

(1)像素誤差(ECLE)以預測的目標中心坐標與真實的目標中心坐標的偏差作為誤差值，定義式如下

(17)

式中：(xT,yT)表示跟蹤器預測的目標中心坐標，(xG,yG)表示標注的真實中心坐標。精度圖中的平均精度由ECLE值小于給定閾值的比例計算得到，本文中閾值設定為20個像素值。

(2)重疊率(Soverlap)用來進行跟蹤準確度的評估，使用IoU(intersection-over-union)的交并比概念，定義式如下

(18)

(3)平均跟蹤速度(v)表示了跟蹤器1 s內可以進行多少幀(frame per second，FPS)視頻圖像的處理，計算方式如下式

(19)

Nframe表示一個視頻圖像中的總圖像幀數，T表示對該視頻跟蹤處理的總時長。

2.2.2 整體性能分析

使用2.2.1節中定義的3個評價指標，將本文提出的跟蹤器與其它5個跟蹤器在平均像素誤差(APE)、平均重疊率(AOR)和平均跟蹤速度3方面進行了整體的性能分析，其中平均重疊率(AOR)為主要評價指標。這些用于對比的跟蹤器涵蓋了兩種主流方法，即使用深度學習特征的跟蹤器(TADT[10]、SiamFC[7]、CFNet[11])和使用傳統手工特征的跟蹤器(KCF[5])。在基準測試集OTB50和OTB100上的對比結果如圖8和圖9所示。

圖8 數據集OTB50的距離精度曲線和成功率曲線

圖9 數據集OTB100的距離精度曲線和成功率曲線

在對比的跟蹤算法中，TADT[10]使用用于圖像分類的預訓練大型網絡，根據跟蹤問題的損失函數指導通道的選擇，去除不必要的冗余特征；SiamFC[7]是第一個將孿生網絡用于目標跟蹤的經典模型，使用深層卷積網絡特征進行跟蹤，跟蹤過程中不進行目標模板的更新；CFNet[11]和UDT[4]是結合孿生網絡和相關濾波的跟蹤算法，使用淺層卷積網絡提取目標特征，在線跟蹤過程中使用線性插值函數在線更新目標模板，其中UDT[4]是首個提出無監督訓練方式的目標跟蹤算法；KCF[5]無需進行離線訓練，使用傳統手工特征構建相關濾波器進行跟蹤。

在上圖的對比結果中，可以清楚的看到本文提出的跟蹤算法雖然使用未標注的原始視頻圖像進行訓練，但已達到了采用有監督學習方式的跟蹤器基準。其中，本文提出的算法在結果上優于同樣使用未標注視頻數據進行訓練的UDT[4]算法，驗證了兩個注意力機制模塊通過加強卷積特征的判別性，得到了更加魯棒的跟蹤器。

表1中列出了不同跟蹤算法在OTB100數據集上的平均跟蹤速度及成功率的曲線下面積得分(AUC score)。本文提出的算法采用端到端的輕量級網絡，通過構建相關濾波器用于目標的跟蹤，推導過程仍然保留在傅里葉域內進行，所以保留了判別式相關濾波的高效性。由于引入了兩個注意力機制模塊，雖然速度稍有下降，但仍然超過公認的實時跟蹤速度25 FPS，仍能達到實時的標準。

表1 本文算法與主流算法的性能評估對比

2.3 定性分析

定性分析過程在OTB100數據集中選擇了6個具有挑戰性的視頻，將提出跟蹤器的跟蹤結果以矩形標注框的方式進行了直觀的展示，跟蹤結果如圖10所示。

圖10 跟蹤結果定性分析

在前3個視頻圖10(a)Surfer、圖10(b)BlurBody、圖10(c)Skating2-2中可以觀察到，在目標發生運動模糊、快速形變等現象時，本文提出的跟蹤器通過使用兩種注意力機制，對原本的目標特征進行了自適應調整，在一定程度上抑制了干擾信息，對目標特征進行了增強，可以對跟蹤目標進行準確的跟蹤定位；在后3個視頻圖10(d)Shaking、圖10(e)Diving、圖10(f)Matrix中均發生了跟蹤失敗的情況，是因為自監督學習本質上仍屬于無監督，訓練時缺少有監督的目標信息，導致提取的特征仍然缺乏處理復雜場景的客觀信息。

3 結束語

近年來基于深度學習的目標跟蹤模型取得了巨大成功，但存在神經網絡學習能力受到訓練集數量大小限制的問題。本文通過構建循環一致性損失，提出了一個采用自監督學習的跟蹤模型。通過添加子空間注意力模塊和通道注意力模塊，提高了原有卷積特征的判別性，增強了跟蹤器對不同跟蹤目標的適應能力。在公共數據集上的實驗結果表明了提出自監督跟蹤器的實時性和有效性，并且可以達到有監督訓練跟蹤器的基線水平。