混合目標與搜索區域令牌的視覺目標跟蹤

薛萬利 張智彬 裴生雷 張開華 陳勝勇

1 （天津理工大學計算機科學與工程學院 天津 300384）

2 （青海民族大學物理與電子信息工程學院 西寧 810007）

3 （南京信息工程大學計算機學院 南京 130012）

（xuewanli@email.tjut.edu.cn）

視覺目標跟蹤是計算機視覺的重要研究方向[1].其研究任務是在視頻序列首幀中給定任意目標，并在后續視頻序列中持續預測目標位置. 目標跟蹤被廣泛應用于無人駕駛、智能視頻監控、人機交互等領域[2]. 如何設計簡單、高效的通用視覺目標跟蹤方法是一個亟需解決的難題. 尤其在真實復雜場景中，目標表觀受光照影響、尺寸變化、嚴重遮擋等挑戰，會產生持續的劇烈變化，從而影響跟蹤結果.

近些年，基于卷積神經網絡（convolutional neural network, CNN）的目標跟蹤獲得廣泛關注. 然而受限于感受野規模，CNN 更多用于處理目標在時間域或空間域的局部特征，未能有效捕獲目標特征之間的長期依賴關系[3]. 當前基于CNN 的主流跟蹤框架主要包括：基于孿生網絡（siamese network）[4-7]的目標跟蹤和基于在線學習判別式模型[8-10]的目標跟蹤. 這些方法在獲取圖像局部特征時表現優異，但在復雜場景中，如目標被頻繁遮擋或出現劇烈形變時，則不能很好地建模特征的全局上下文關系.

此外，基于Transformer 的跟蹤方案通過引入全局自注意力（self-attention）機制獲取特征間長期依賴關系[11-13]. 在此類方案中，多數跟蹤方法采用CNN 作為主干網絡對圖像進行特征提取，隨后利用Transformer 設計編碼器和解碼器. 文獻[14?15]專注簡化跟蹤步驟，將Transformer 作為特征提取器并直接輸出預測位置. 然而，此類跟蹤方案中起核心作用的自注意力機制，由于其計算復雜度為，使得其隨圖像大小增加導致計算量陡增，并直接影響目標跟蹤效率.

為了降低計算量，一些研究采用視覺多層感知器（multi-layer perceptron，MLP）來構建主干網絡[16-17].這些研究使用MLP 層代替Transformer 中的自注意力層，并在時域進行令牌（token）間信息交互，所謂令牌即目標和搜索區域對應的樣本被切分成若干個不重疊的圖像塊. 令牌間的信息交互進一步簡化時域信息的融合操作. MLP 的引入降低了計算復雜度，但是在訓練和測試中隨著令牌數量增加，會顯著加大MLP 計算量，同樣會影響目標跟蹤效率.

受全局濾波網絡設計啟發[3]，本文提出利用快速傅里葉變換（fast Fourier transform, FFT）對令牌進行高效融合，以降低視覺MLP 模型在令牌數量增加時產生的計算開銷. 首先，利用FFT 將令牌時域特征轉變為頻域特征. 隨后，在頻域空間中捕獲目標當前信息及其歷史信息與搜索區域信息間的長程依賴關系.最后，利用快速傅里葉逆變換（inverse FFT, IFFT）將頻域特征轉換回時域特征. 上述FFT，IFFT 運算步驟使得所提跟蹤方法，能夠以較低的對數復雜度在頻域空間快速學習目標在時空維度上的交互關系. 此外，為了更好地自適應目標在跟蹤過程中的表觀變化，提出一種基于質量評估的目標模板記憶存儲機制. 該機制根據當前跟蹤狀態動態更新記憶存儲器中穩定的歷史目標信息，用于學習適應目標變化的外觀模型，有助于在搜索區域內準確匹配目標.

本文的主要貢獻有3 點：

1） 提出一種快速獲取令牌間長程依賴關系的跟蹤算法. 特征提取與融合以端到端的形式進行學習，同時在頻域空間以更小的計算復雜度建模目標令牌與搜索區域令牌間的交互關系.

2） 提出一種基于質量評估的目標模板記憶存儲機制，動態自適應地捕捉目標在視頻序列中的穩定變化過程，提供高質量的長期歷史目標信息.

3） 所提跟蹤方法在3 個公共跟蹤數據集LaSOT[18]，OTB100[19]，UAV123[20]上獲得優秀評價.

1 相關工作

1.1 基于CNN 的目標跟蹤

目標跟蹤框架通常可以被劃分為3 部分：1）提取圖像特征的主干網絡；2）目標與搜索區域特征融合模塊；3）生成預測位置模塊. 多數跟蹤方法[5-9]將CNN 作為主干網絡. 其中，基于孿生網絡的跟蹤框架以端到端方式進行訓練.SiamFC[7]采用全卷積孿生網絡提取目標特征，跟蹤過程中不進行目標模板更新.DSiam[21]基于孿生網絡以正則化線性回歸模型動態更新目標模板.SiamRPN[6]利用孿生網絡提取目標與搜索區域特征，同時結合目標檢測研究中的區域推薦網絡對目標位置進行精準定位.SiamRPN++[5]在訓練過程中輔以位置均衡策略緩解CNN 在訓練過程中存在的位置偏見問題. 此外，一些基于在線學習的判別式目標跟蹤模型也取得優異性能.DiMP[8]采用端到端網絡模型離線學習目標與背景間的差異，同時在線更新目標模板.PrDiMP[9]基于DiMP[8]將概率回歸用于端到端訓練，在測試階段對搜索區域生成關于目標狀態的條件概率密度來捕獲目標. 基于CNN的目標跟蹤在訓練時容易造成歸納偏置.

1.2 基于Transformer 的目標跟蹤

當前Transformer 網絡被廣泛用于各項視覺任務中，如目標分類及檢測[22-24]. Transformer 中的自注意力機制將每個輸入元素與其他元素進行相關性計算.在視覺跟蹤研究中，TrDiMP[13]使用Transformer 增強目標上下文信息，在編碼器中通過自注意力機制增強目標模板特征，利用解碼器融合上下文模板進行目標定位. TransT[12]提出一種基于多頭注意力機制的特征融合網絡，融合后特征分別輸入目標分類器及邊界回歸器. Stark[11]則利用ResNet[25]作為主干網絡提取目標特征，以Transformer 編碼器和解碼器進行端到端訓練. SwinTrack[14]借鑒Swin Transformer[22]，采用完全基于注意力機制的Transformer 進行特征提取及融合. ToMP[26]同樣是一種完全基于Transformer 的跟蹤算法，使用一個并行的2 階段跟蹤器來回歸目標邊界. Mixformer[15]提出一種同時混合注意力模塊用于特征提取及融合. 基于Transformer 的目標跟蹤方法雖然取得出色性能，但是隨著搜索區域增大，其計算復雜度也將呈2 次方增加，從而影響目標跟蹤效率.

1.3 基于MLP 的混合令牌相關工作

MLP-mixer[16]采用MLP 代替Transformer 中的自注意力機制進行令牌混合.ResMLP[17]基于MLP-mixer，利用仿射變換代替歸一化進行加速處理.gMLP[27]使用空間門控單元在空間維度上給令牌重新加權. 上述MLP 混合令牌的研究同樣存在計算量增加問題，即隨著輸入令牌數量增多其時間復雜度會以2 次方增加，并且MLP 通常存在固定空間權重很難擴展到高分辨率圖像的情形.

2 方法介紹

圖1 展示了基于FFT 的目標與搜索區域間令牌高效混合的目標跟蹤框架，該框架為端到端方式. 首先，初始目標模板大小設置為Ht×Wt×3，記憶存儲器中存儲的歷史目標模板的幀數設置為T，搜索目標區域的大小為Hs×Ws×3. 之后，將記憶存儲器內所有目標樣本和搜索區域對應圖像樣本，切分成不重疊的、規格為τ×τ×3的圖像塊，這些圖像塊稱為令牌. 將這些令牌拼接起來，組成1 維令牌序列. 該序列包含目標信息與搜索區域信息. 下面分2 步進行模型的離線訓練.

1） 針對預測目標框分支進行訓練. 為了高效學習目標與搜索區域令牌間的長程依賴關系，采用3階段網絡設計進行令牌間混合. 在階段1 中，使用線性嵌入層將原始令牌投影為維度為C的令牌特征，再將這些令牌特征輸入至線性嵌入層和包含2 個FFT的令牌混合網絡層. 在階段2 中，為了擴大模型的感受野，通過線性合并層來減少令牌數量，并將其輸出特征維度設置為 2C，這一過程由線性合并層和3 個FFT 的令牌混合網絡層組成. 在階段3 中，繼續進行線性合并，同時經過6 個FFT 令牌混合網絡層，此時輸出的特征維度設置為 4C. 將在頻域空間中獲得的融合令牌信息進行IFFT 運算，將頻域特征重新轉換為時域特征，并輸入由3 個Conv-BN-ReLU 網絡組成的預測頭網絡估計目標位置.

2） 對跟蹤質量評估分支進行離線訓練，受Stark[11]啟發，跟蹤質量評估分支由一個3 層MLP 網絡組成，用于評價當前跟蹤質量，以決定是否將當前跟蹤結果更新到記憶存儲器中.

下面將詳細介紹基于FFT 的令牌混合網絡和基于跟蹤質量評估的目標模板動態記憶存儲機制.

2.1 基于FFT 的令牌混合網絡

如圖1 所示，提出的基于FFT 令牌混合網絡層將特征提取與融合進行集成. 具體地，先利用圖像分塊操作將原始的2 維目標模板和搜索區域樣本轉化為N個不重疊的τ×τ×3大小的令牌. 經過裁剪等預處理后，得到一組特征矩陣P=(p0,p1,…,pN?1)，pi∈R3τ2，i∈[0,N?1]. 之后，將P輸入至FFT 令牌混合網絡，在頻域空間快速獲得目標特征的多尺度交互及搜索區域與目標之間的有效交互. 其中，FFT 令牌融合網絡層的結構如圖2 所示，對于第i個令牌先將其映射成C維向量：

Fig. 2 Structure diagram of FFT tokens fusion network圖2 FFT 令牌融合網絡結構圖

其中ω0∈R3τ2×C為每個令牌首層可學習權重，b0為首層權重位移參數向量，N為輸入令牌個數.

FFT 令牌融合網絡層的輸入特征為X=(x0,x1,…,xN?1)∈RC×N，其中C為輸出通道數. 然后采用式（2）將輸入的時域特征轉換為頻域特征X′：

其中，FFT 函數為F(·)用于獲得輸入特征的頻域表達，W為輸入圖像的寬，H為輸入圖像的高.

FFT 令牌混合網絡層利用可學習的濾波器K∈CH×W×N學習X′的頻域特征X′′：

其中 ⊙為K中每一個元素與X′對應位置元素間相乘[3].

最后，根據式（4）將頻域特征X′′轉換為時域特征X?，并更新令牌進入下一層特征融合模塊.

其中F?1(·)為IFFT，用于將頻域特征轉化為時域特征.

參照Stark[11]，本文采用一個3 層Conv-BN-ReLU預測頭網絡來估計目標位置. 具體地，估計過程被建模為預測邊界框的左上角和右下角坐標的概率值圖，并回歸概率值圖分布獲得預測目標的最終坐標. 不同于Stark 的預測頭網絡高度依賴編碼器和解碼器，本文所提預測頭網絡由3 個簡單的全卷積網絡組成.離線訓練預測頭位置分支的損失Lloc由L1損失和Lgiou損失組成，具體定義為：

其中 α為L1損失的權重系數，設置α=5； β為Lgiou的權重系數，設置β=2 .Bi為第i幀搜索區域的真實標簽，Bpred為預測頭網絡輸入預測的目標位置.

2.2 基于跟蹤質量評估的目標模板記憶存儲機制

為了提升跟蹤速度的同時規避跟蹤過程中引入的累計誤差，多數跟蹤算法僅采用第1 幀目標模板進行匹配. 然而在跟蹤過程中目標表觀通常會出現劇烈變化，此時固定目標模板的跟蹤方法容易產生漂移. 部分算法采用跟蹤響應圖的統計特性來預測當前跟蹤質量，如使用峰旁比[28]、平均峰值相關能量[29]等. 然而基于上述統計數值判斷跟蹤質量的做法在經歷長期不穩定的跟蹤后，容易導致不準確的評分結果.

如果跟蹤算法可以及時預先獲取當前跟蹤質量，并將高質量跟蹤結果放入記憶存儲器中，則能夠有效捕獲目標在時序上的穩定表觀信息變化，為目標與搜索區域的令牌混合提供有效依據.

因此，在預測頭網絡中添加了一個用于預測當前跟蹤質量的分支. 該分支的輸入為令牌融合網絡層最終輸出的令牌時域特征，輸出為2 個經過softmax 函數處理過后的數值Si0與Si1. 其中Si0代表第i幀輸出的預測目標位置不是目標，Si1表示當前預測結果是目標.當Si1＞Si0時，表示當前跟蹤質量良好，可以將當前跟蹤結果更新到記憶存儲器中，此時設置?i=1；當Si1≤Si0時，表示當前跟蹤質量較弱，不適宜將跟蹤結果更新至記憶存儲器，同時設置?i=0 .?i表示預測當前跟蹤質量評估結果. 離線訓練跟蹤質量評價分支使用二值交叉熵損失評估，具體定義為：

其中li為第i幀樣本真實的標簽，當li=1時表示當前搜索區域包含真實目標，當li=0時表示當前搜索區域不包含搜索目標.

記憶存儲器M定義為長度T的隊列，更新間隔設為TINR. 對應的更新策略如算法1 所示，當第i幀的質量評估為跟蹤狀態良好時，即?i=1且符合提取間隔，則將當前跟蹤結果加入記憶存儲隊列M. 若記憶存儲隊列M的長度超過T，則選擇刪除M隊列中首個元素M0. 當跟蹤失敗或者跟蹤質量較低時，所提基于跟蹤質量評估的目標記憶存儲機制，能夠有效緩解目標模板產生誤差帶來的消極影響.

該機制的可視化展示如圖3 所示. 第1 幀給定初始目標，并將其存入記憶存儲器中. 記憶存儲器的長度T設置為5，根據跟蹤質量評價結果，動態地將可靠的目標模板存入M中. 第200 幀時，目標被完全遮擋，此時質量評估較差，不進行更新存儲操作. 至此，M中的目標模板分別來自第90 幀、第100 幀、第110 幀、第120 幀、第130 幀的跟蹤結果. 在第260 幀時目標重新出現，此時質量評估良好，所以當前M存儲的目標模板調整為第120 幀、第130 幀、第240幀、第250 幀、第260 幀的跟蹤結果.

Fig. 3 Visualization of template memory storage algorithm based on quality assessment圖3 基于質量評估的模板記憶存儲算法的可視化

算法1.基于跟蹤質量評估的目標模板記憶存儲.

3 實驗結果分析

3.1 模型訓練設置

目標模板大小為Ht×Wt×3，搜索區域的大小為Hs×Ws×3. 設置Ht，Wt兩者值均為128；Hs，Ws兩者值均為384.記憶存儲器長度T=5. 記憶器更新模板的間隔TINR=10. 圖像分塊操作中塊大小τ=4. 訓練數據集為LaSOT[18]，GOT-10k[30]，TrackingNet[31].

考慮到定位和分類的聯合學習可能導致2 個任務存在次優解[11]. 因此，借鑒Stark[11]和Mixformer[15]的訓練方式，分2 步訓練特征融合模型. 首先，進行300 批次的預測目標位置分支訓練，采用Adam[32]損失優化器將學習率設置為1E?4；其次，進行100 批次的預測當前跟蹤質量的分支訓練，學習率設置為1E?5. 軟件環境為Ubuntu20.04，Python3.6，Torch1.10.3，Cuda11.3.硬件環境為NVIDIA RTX3090 24 GB.

3.2 定量分析

在LaSOT[18]，OTB100[19]，UAV123[20]數據集上驗證本文方法的有效性. 評價指標為成功率（success ratio）和精度圖（precision plot），其中成功率使用成功率曲線下面積（area under curve, AUC）作為排序依據.

LaSOT[18]數據集包含1 400 個視頻序列，共計70類目標. 其中1 120 個視頻用于訓練，280 個視頻用于測試. 視頻序列平均長度2 400 幀. 數據集包含視野外等14 種挑戰.圖4 顯示本文算法與TrDiMP[13]，TransT[12]，Alpha-Refine[33]，SiamR-CNN[34]，PrDiMP[9]，DiMP[8]，SiamGAT[35]，SiamBAN[36]8 種優秀算法比較結果. 結果表明本文算法在成功率和精度圖中均處于領先水平. 精度圖方面比TransT 高3.3%，成功率比Alpha-Refine 高0.8%.圖5 展示本文算法與5 種先進算法在不同挑戰下的實驗結果，可以看出本文算法在多數挑戰中均表現優異.

Fig. 4 Comparison of success ratio and precision plot in our algorithm and other state-of-the-art algorithms on LaSOT dataset圖4 本文算法與其他最先進算法在LaSOT 數據集上的成功率指標與精度圖比較

Fig. 5 Score comparison of the indictors in success ratio and precision plot for different challenges on LaSOT dataset圖5 LaSOT 數據集上不同挑戰的成功率指標和精度圖指標得分比較

OTB100[19]數據集包含100 個視頻序列，涉及快速運動等11 種挑戰.圖6 展示本文算法與TransT[12]，SiamRPN++[5]，SiamBAN[36]，PrDiMP[9]，DiMP[8]，ECO[37]，MDNet[38]，ATOM[10]的比較結果. 本文方法取得最高的成功率值和精度圖值，分別比SiamRPN++ 提升0.2%和0.5%.

Fig. 6 Comparison of the success ratio and precision plot in our algorithm and other state-of-the-art algorithms on OTB100 dataset圖6 本文算法與其他最先進算法在OTB100 數據集上的成功率與精度圖比較

UAV123[20]數據集由123 個無人機低空拍攝的視頻序列構成. 小目標和頻繁遮擋是該數據集的獨特挑戰. 表1 顯示本文算法與TrDiMP[13]，TransT[12]，SiamR-CNN[34]，SiamGAT[35]，SiamBAN[36]，PrDiMP[9]，DiMP[8]，SiamRPN++[5]的比較結果. 本文算法在成功率和精度圖評價指標上均排名第一.

Table 1 Comparison of Our Algorithm and Other State-ofthe-art Algorithms on UAV123 Dataset表1 本文算法與其他先進算法在UAV123 數據集上的比較

3.3 定性分析

本節用可視化展示本文算法與6 種優秀算法在旋轉、快速移動、尺寸變換及遮擋等挑戰下的表現.

圖7 展示LaSOT[18]數據集中bird-17 視頻序列的跟蹤結果. 該視頻序列具備快速移動、視野外等挑戰. 目標在148～156 幀快速向左移動至視野外，導致Alpha-Refine[33]和TrDiMP[13]發生跟蹤漂移. 在第184幀中目標再次回歸視野內，只有本文算法可以準確跟蹤目標. 由于目標同時發生快速移動、運動模糊、旋轉等挑戰，其他算法均跟蹤失敗. 而本文算法擁有記憶存儲器中的穩定目標模板，可以增強跟蹤器對目標表觀的自適應能力，并且在搜索目標時可快速計算目標模板和搜索區域之間的匹配關系，因此可以高效、穩健地跟蹤目標.

Fig. 7 Tracking results of bird-17 video sequence in LaSOT dataset圖7 LaSOT 數據集中bird-17 視頻序列中的跟蹤結果

圖8 展示LaSOT[18]數據集中bicycle-18 視頻序列的跟蹤結果. 在此視頻中目標受遮擋、旋轉等挑戰影響. 第344～400 幀目標被巖石遮擋，導致TransT[12]和SiamGAT[35]丟失目標. 第437～517 幀目標發生劇烈旋轉，SiamGAT，TransT，PrDiMP[9]均無法快速應對劇烈旋轉引起的外觀突變而發生漂移. 本文算法則依托令牌混合方案快速對目標與搜索區域特征進行交互，有效地獲取更加穩健的時空特征，最終成功跟蹤目標.

Fig. 8 Tracking results of bicycle-18 video sequence in LaSOT dataset圖8 LaSOT 數據集中bicycle-18 視頻序列中的跟蹤結果

3.4 消融實驗

本節驗證本文算法中基于FFT 的令牌混合網絡和基于跟蹤質量評估的目標模板動態記憶存儲機制的有效性. 表2 展示不同變體在LaSOT[18]測試集上的成功率和精度圖得分.

Table 2 Results of the Ablation Experiments of Our Proposed algorithm on LaSOT Dataset表2 在LaSOT 數據集上本文算法的消融實驗結果

首先，探討基于FFT 的令牌混合網絡的有效性.表2 中變體1 采用基于CNN 融合目標與搜索區域令牌的方法，并且僅利用第1 幀初始目標區域作為目標模板. 變體2 采用FFT 融合方法，同樣僅采用第1幀初始目標區域作為目標模板進行匹配. 結果顯示，基于FFT 的融合方法比基于CNN 的融合方法的成功率和精度圖分別高1.3%和2.5%. 基于傳統CNN 的融合方式在訓練時只能學習特征間的局部依賴關系，無法獲取全局長程依賴，且利用CNN 訓練模型存在較大的歸納偏置. 為了更加充分融合目標與搜索區域間的信息同時建立兩者間的長程依賴關系，本文提出利用FFT 進行令牌間的高效融合. 可以觀察到在平均跟蹤速度上變體2 比變體1 提升近1 倍，結果證實基于FFT 令牌混合網絡的有效性.

其次，變體3 在變體2 的基礎上增加了基于質量評估的目標模板動態記憶存儲機制，用于獲得更新穩定的目標模板信息，從而自適應目標表觀變化. 由于記憶存儲機制增加了目標模板數量，所以對平均跟蹤速度上有一定影響. 變體3 在測試時的平均跟蹤速度比變體2 降低了7 fps，但變體3 在成功率和精度圖上，分別比變體2 高出0.6% 和1.4%. 結果顯示基于跟蹤質量評估的目標模板動態記憶存儲機制有效.

此外，為了進一步驗證本文方法具備高效的特征提取與融合能力. 在LaSOT 數據集上將本文方法與基于1 階段訓練的Mixformer[15]和基于2 階段訓練的TrDiMP[13]進行對比，結果如表3 所示. 與采用2 階段訓練的TrDiMP[13]相比，本文方法的成功率和精度圖分別提升2.7%和5.7%，同時平均跟蹤速度比TrDiMP[13]快8 fps.與基于1 階段訓練的Mixformer[15]相比，雖然成功率和精度圖降低2.5%和2.4%，但是推理速度比Mixformer[15]高9 fps.實驗結果表明本文方法在準確率和推理速度間的平衡能力更好，同時34 fps 的平均跟蹤速度達到跟蹤實時性[11]要求（＞30 fps）.

Table 3 Comparative Experimental Results of Reasoning Speed on LaSOT Dataset表3 LaSOT 數據集上推理速度的對比實驗結果

4 總 結

本文提出了一種端到端的基于傅里葉變換的高效混合目標與搜索區域令牌的視覺目標跟蹤方法.該方法將特征提取與融合相結合，利用傅里葉變換將令牌的時域特征轉換為頻域特征，以便快速學習搜索區域與目標模板之間的長程依賴關系. 為了捕獲目標在時序上的外觀變化，提出了一種基于跟蹤質量評估的目標模板動態記憶存儲機制，確保更新目標外觀模板的合理性. 廣泛的實驗結果驗證了所提方法的有效性.

作者貢獻聲明：薛萬利提出論文整體思路并負責撰寫與修改論文；張智彬負責算法設計與實驗并撰寫論文；裴生雷負責算法設計及論文審核；張開華負責論文修改；陳勝勇參與了論文思路的討論及審核.