基于Siamese 網絡的精準目標跟蹤?

秦廣乾

（中國石油大學（華東）計算機與科學技術學院 青島 266580）

1 引言

視覺目標跟蹤與分類、語義分割和目標檢測等是計算機視覺的基礎任務。在第一幀中標定目標的位置和大小，跟蹤的目的是找到目標在一段連續幀中的軌跡。近年來，大多數的跟蹤器使用的是經過預訓練的網絡，這些網絡都是針對Imagenet數據集上的圖像分類任務進行訓練的。

2016 年孿生網絡（Siamese Network）引入到目標跟蹤領域，其網絡結構簡單高效。Bertinetto 等［1］提出了SiamFC 方法，網絡為去除補零操作和FC 層的AlexNet，將通過模板分支和搜索分支提取的特征計算相關性得到響應圖，采用5 種大小不同尺度解決尺度問題，然而該算法沒有模板更新，導致在跟蹤過程中不能很好地捕捉到外觀發生變化的目標；Guo 等［2］針對SiamFC 模板不更新的問題，引入更新因子和變換因子模擬更新模板，根據上一幀目標外觀計算更新因子；針對Siamese 系列跟蹤算法多尺度產生候選區域效率太低的問題，Bo Li等［3］引入RPN 網絡來產生候選區域，并且回歸分支可以微調目標框，但是也帶來了新的問題：分類分支和回歸分支不匹配。

Bo Li 等［4］提出的DaSiamRPN 算法引入了困難負樣本和新的數據增強方法提升算法的泛化和判別能力，提出干擾物感知模塊抑制相似目標的干擾，此外針對長時間跟蹤當目標丟失時擴大搜索區域；Bo Li 等［5］提出的SiamRPN++和Zhang 等［6］的Si?amDW 解決了孿生網絡無法使用深層網絡的問題，抑制補齊操作對跟蹤算法的影響，保持了深層網絡的不變性，前者通過對數據增加隨機偏移抑制填充操作對絕對平移不變性的破壞；后者提出殘差裁剪模塊抑制填充操作導致的偏移問題；Wang 等［7］結合了SharpMask 算法［8］，在SiamRPN 的基礎上增加了Mask分支，該算法適用于跟蹤和分割多種任務，候選框由Mask 分支產生，使得產生的目標框不像以往平行于坐標軸；同時使用可分離卷積減少計算量；除此之外還有使用兩階段RPN 的SPM 算法和C-RPN 算法，前者粗糙匹配階段（CM）先篩選同類別候選框作為正樣本，微調階段（FM）主要用于區分前景或背景。后者是消除一階段RPN 模塊產生的簡單負樣本，將其輸出到二階段RPN 模塊，進一步優化前面RPN產生的候選框。

現有的目標跟蹤算法主要存在以下問題：難以應對跟蹤過程中目標物體的快速形變；遮擋、相似物體、背景冗雜的影響難以處理。針對遮擋問題和RPN 網絡導致的分類分支和回歸分支不匹配的問題（NMS 部分需要用到分類分支的得分，分類得分高并不代表回歸位置好），本文提出ASiamRPN 跟蹤算法，采用正負樣本均衡提高了算法的辨別能力；其次加了數據增強手段，提高了算法的魯棒性，針對目標遮擋問題：模板分支獲取目標模板時使用Cutout 增加了大量困難負樣本；使用調整的ResNet50 網絡［9］，使用深層網絡雖然有更好的語義信息，但對于目標位置不敏感，本文使用空間感知模塊和可變形卷積多層特征融合模塊來權衡位置信息和語義信息，可變形卷積特征融合模塊融合resnet50 的第3 到第5 等3 個卷積模塊的特征，充分利用淺層位置信息和深層語義信息來緩解RPN 網絡分類和回歸分支的不匹配問題。在Siamese框架［10］的模板分支和搜索分支都增加權值共享的自適應模塊，提取更具代表性的特征進行互相關操作。

2 Siamese網絡跟蹤算法

孿生神經網絡最早用于圖像檢索和人臉識別等計算機視覺任務，兩個分支共享權重參數，通過損失函數計算兩個分支的相似度。SiamFC 算法并不是第一個使用Siamese 網絡的跟蹤算法，但是后續的基于Siamese網絡的跟蹤算法多數是在該算法上做的改進。對于SiamFC 網絡兩個輸入，其中模板分支為Z，其輸入是視頻序列第一幀給定目標模板；待檢測區域分支輸入跟蹤過程中當前幀的待檢測區域X。SiamFC 方法使用全卷積網絡的方式計算響應圖，其每幀響應圖計算方式如式（1）所示：

f()表示卷積操作，?表示互相關，Siamese 網絡的模板分支與搜索分支的特征進行互相關操作得到響應特征圖，響應圖最大值的位置即是目標所在位置。

3 更精確的深層Siamese 目標跟蹤算法

SiamRPN++和SiamDW 等工作分析并解決目標跟蹤無法使用ResNet50 等深層網絡的問題，但深層網絡雖然有較好的語義信息，但對位置信息不敏感，本文算法為ResNet50 為骨干網絡的Siam?RPN 為基準算法（框架如圖3 所示），將第3 到5 層卷積模塊輸出的特征用可變形卷積實現多層特征融合并增加空間感知模塊，結合淺層位置信息和深層語義信息；在互相關操作之前增加權值共享的自適應模塊。

圖3 網絡結構圖

3.1 數據增強的分析

本文針對目標跟蹤算法難以處理遮擋問題，引入了Cutout。先從圖像序列的第一幀裁剪模板圖像Z，然后對其進行翻轉、模糊等數據增強后，再對模板圖像進行Cutout 處理即C（Z），然后在與搜索分支的特征圖做相關。對搜索圖像分支X進行Cutout 處理更加符合實際情況，但實驗效果并不好。從圖2（a）可以看出Cutout操作模擬實現遮擋，極大增加了遮擋樣本數量，提高算法針對該問題的魯棒性。

圖2 本文算法的輸入圖像對

Cutout 主要有兩個參數，分別是遮擋圖像塊的個數和長度L，遮擋圖像塊個數設置為1。主要在SiamMask-base 和SiamRPN（RN）算 法 上 進 行 測試。分析結果如表1所示。

表1 Cutout數據增強的分析（VOT2018）

在模板Z的隨機位置分別產生長度L為8、16、32、64 的遮擋圖像塊，訓練后在VOT2018 數據集［11］測試驗證。魯棒性反映跟蹤算法在跟蹤過程中的跟丟情況，可以得出cutout 確實對Robustness 有顯著抑制效果，跟丟的次數有所減少；當L參數為16、32 時效果較為明顯，由于L為64 時效果不穩定，在下面的實驗中，設置遮擋塊長度L為32。

3.2 空間感知模塊和可變形多層特征融合模塊

如圖1 所示，本文算法基于修改過的ResNet50網絡，保留了絕對平移不變性。ResNet50的原有總步長為32，現在設置為8，在第4 和第5 層conv 分別使 用dilation 為2 和4 的 空 洞 卷 積［12］來 增 加 感 受野。具體結構如圖1所示。

圖1 修改的ResNet50網絡

目標跟蹤的主要任務是分清物體在何處、是否是目標物體，而淺層特征包含更多的位置信息，深層特征含有更多的語義信息，即分類更需要深層特征，而回歸分支更需要淺層特征。而RPN 網絡使用深層特征用于分類和回歸，這就導致了兩個分支不匹配的問題。本文引入可變形卷積多層特征融合模塊緩解該問題，將第3個卷積模塊的特征圖F3下采樣、第5 個卷積模塊的特征圖F5通過雙線性插值上采樣為第4 個卷積模塊特征圖F4同一大小再用cat 操作融合，用f1*1卷積將特征圖通道數降維成1024 維，通過可變形卷積提取特征。最后將特征圖輸入到空間感知模塊。

本文在ResNet50 的第5 層conv 模塊后增加了空間感知模塊。該模塊由SENet 網絡［13］的通道注意力層和CBAM 網絡［14］的空間注意力層構成。通道注意力模塊讓模型關注更重要的通道特征，此處下采樣率r=16。W0、W1 分別表示2 層全連接層操作，表示全局平均池化后的1 維通道特征，Finput為輸入特征圖，Wc表示通道注意力訓練得到權重參數，Wc與輸入特征通道數相同，是1×1×C維的向量，每一維的數表示該通道的權重（即該通道是否重要）。

在空間注意力層對輸入特征在特征通道上分別做Avg 和Max 池化得到兩個通道數為1 的特征和，拼接后使用f3*3卷積壓縮為通道數為1 的特征圖，最后再經過sig?moid激活函數得到權重Ws。

σ表示sigmoid 激活函數，f3*3表示卷積核為3的卷積操作。空間感知模塊后緊跟著一個1*1 的卷積層把特征圖降維成256通道。

3.3 自適應模塊

圖4 表示自適應模塊，該模塊權重共享，在Sia?mese 網絡的兩個分支均設有該模塊，由通道注意力模塊和漏斗模塊構成。輸入到注意力模塊的特征圖通道數為256，該模塊其他設置和上一小節相同。漏斗模塊這里類似于Encoder-Decoder，目的是提取數據的內部隱含關聯特征，該模塊由3 層卷積層和3 層反卷積層構成，經過漏斗模塊得到權重β。β與 前 面 得 到 的 特 征Fout相 乘 得 到

圖4 自適應模塊圖

3.4 實驗細節

網絡框架：對ResNet50 做了一些改變，相對于王強等的工作，在ResNet50 的第5 個block 后增加了可變形卷積多層特征融合和空間感知模塊來提高ResNet50對位置信息的表現。

訓練：訓練數據集為VID、DET數據集和COCO數據集、YouTuBe-VOS 數據集。選擇圖像的過程中，對于模板分支的圖像單獨進行cutout 處理，然后再對兩個分支的圖像分別進行模糊等數據增強。本文算法是端到端訓練的，ResNet50 網絡在ImageNet-1K 分類任務上先進行預訓練，而且ResNet 網絡訓練時學習率是自適應模塊和RPN 網絡的學習率的10 倍。RPN 網絡中錨點設置5 種不同的長寬比［0.33，0.5，1，2，3］，尺度設置為8。使用帶有warmup 參數的SGD 優化器，在前5 個周期學習率從10^（-3）到5×10^（-3），之后的15 個周期就降低為5×10^（-4）。

4 實驗與分析

4.1 實驗配置

實驗時用了4 塊Tesla P100 顯卡，64G 顯存，使用pytorch 工具平臺。在VOT2016［15］和VOT2018 兩種基準數據集進行測試，兩個數據集均有60 個短視頻序列，對序列進行了相機移動、光照變化、移動變化、閉塞、尺度變化、目標出視野六種視覺標注，當跟蹤過程中目標丟失的時候將會在接下來的5幀重新初始化。

圖5 各算法在VOT2016數據集的平均重疊率

4.2 定量分析

如表2 所示，在VOT2016 數據集上將本文算法與SiamFC［1］、SiamRPN［3］、DaSiamRPN［4］、SA-Siam［16］、SPM［17］等 基 于siamese 網 絡 的 算 法 和ECO［18］、C-COT［19］、ATOM［20］等相關濾波跟蹤算法等進行比較。DaSiamRPN 等諸多siamese-based 算法均使用AlexNet 網絡作為backbone，本文使用改進的ResNet50網絡，融合淺層位置信息和深層語義信息緩解RPN 網絡的不匹配問題，使得回歸的目標框更加精準，同DaSiamRPN 算法相比EAO 和Accura?cy 分別提升3.1%和2.4%，優于2019 年的SPM［17］和ATOM［20］算法。同時本文算法也具有不錯的魯棒性。

表2 各算法在VOT2016上的性能比較

表3 將本文算法同SiamMask［7］、SiamMask-2B、SiamRPN++［5］、SiamRPN［3］、SiamRPN（RN）等9 種算法在VOT2018 數據集進行測試，SiamRPN（RN）和SiamMask-2B算法都是出自文獻［7］，SiamMask、Si?amRPN++、SiamRPN（RN）以及本文算法的基準框架都是ResNet50。SiamRPN++算法是2019CVPR性能最優的目標跟蹤算法，本文算法在Accuracy指標取得最好的性能，略高于SiamRPN++，EAO 排第二。同基準算法SiamRPN（RN）相比A 提升了1.8%、EAO提升了3.6%，R降低了1.4%。圖6（b）和（c）的效果對比證明自適應模塊能提取更符合跟蹤任務的特征，空間感知與多層特征融合模塊使算法更加關注目標位置。

圖6 DaSiamRPN和本文算法的比較（視頻（a）來自VOT2018，大框、中間框和斜框分別是DaSiamRPN，本文算法和真值；（b）和（c）分別為SiamMask和本算法的跟蹤結果）

表3 各算法在VOT2018上的性能比較

4.3 消融實驗

SiamRPN 的骨干網絡為AlexNet，而本文基準算法為SiamRPN（RN），即以ResNet50 為骨干網絡的SiamRPN算法。為了評判算法各模塊的作用，以在VOT2018 數據集的實驗結果為準。從表4 可以看到該基準算法同原始SiamRPN 算法相比有很大提升。基準算法增加了自適應模塊后，Robustness明顯降低，EAO相較基準算法提升了約1%，證明自適應模塊的重要性，提高了網絡模型的辨別能力；使用cutout 數據增強的基準算法三種指標都有一定的改善。而增加Cutout和自適應模塊后，Accura?cy 增加了1.8%，EAO 較基準算法提升了2%；在ResNet50 網絡增加了空間感知模塊和可變形卷積多層特征融合模塊后EAO 再次增加了1.6%。多層特征融合結合淺層信息和深層信息，而空間感知模塊使得算法更加關注目標位置，明顯提高了平均重疊率，減輕了RPN網絡帶來的不匹配問題。

表4 消融實驗分析

5 結語

本文在SiamRPN（RN）的基礎上做的改進，由于Resnet50 遠深于AlexNet，我們認為要充分利用好網絡的淺層信息和深層信息，在ResNet50 網絡的第5 層卷積模塊后先做可變形卷積多層特征融合并增加空間感知模塊，緩解RPN 導致的不匹配問題，使用權值共享的自適應模塊，上述模塊可直接應用于其他目標跟蹤算法。本文算法在VOT 數據集上的表現證明了方法的有效性。但仍然具有Siamese-based 跟蹤算法的弊端，魯棒性相較相關濾波類算法差一些；近期不少工作均通過多階段微調目標框，并緩解了RPN 分類和回歸的不匹配問題，接下來會嘗試通過可變形卷積融合多幀信息使算法能夠利用幀間信息提升跟蹤效果。