用于目標跟蹤的特征融合孿生網絡算法研究

范東嘉，林名強，戴厚德，仲訓杲*，趙 晶

(1.廈門理工學院電氣工程與自動化學院，福建 廈門 361024；2.中國科學院福建物質結構研究所泉州裝備制造研究所，福建 晉江 362216)

目標跟蹤技術在計算機視覺領域得到廣泛應用與長足發(fā)展.然而目標運動變化、背景雜亂、運動模糊等動態(tài)不確定性的問題，對現有目標跟蹤方法提出了新的挑戰(zhàn).因此，改進目標跟蹤方法提升算法性能已成為當前研究的熱點.

目標跟蹤方法通常可分為兩大類，一類是傳統相關濾波跟蹤法，另一類是基于機器學習的跟蹤法.前者是以目標相似度為跟蹤衡量指標，如Bolme等[1]提出的MOSSE(minimum output sum of squared error filter)方法將相關濾波首次應用于目標跟蹤任務，其基本思想是通過提取目標特征訓練相關濾波器，并利用快速傅里葉變換加速計算效率.Henriques等[2]提出的KCF(kernelized correlation filters)方法針對CSK[3](circulant structure kernel)算法使用灰度特征的不足，通過引入多通道特征，利用目標周圍區(qū)域循環(huán)矩陣獲取正負樣本，有效提高算法的魯棒性.成悅等[4]提出加權特征融合與置信度模型及尺度更新機制相結合的方法，加強算法的魯棒性.然而上述相關濾波方法存在固有缺點，當目標與背景非常相似時，算法無法實現相似度評價，從而導致目標跟蹤失敗.

當前，作為機器學習應用最廣泛的深度學習方法，在目標跟蹤領域表現優(yōu)異，特別是孿生網絡利用深層網絡結合多樣本，其特征豐富程度遠超傳統學習方法，因此，孿生網絡已成為目標跟蹤問題的主流研究方法.Berinetto等[5]提出SiamFC(fully-convolutional siamese networks)算法，奠定了孿生網絡算法的基本思想，該算法使用兩個完全相同的網絡結構分別對模板和搜索圖像進行特征提取，進而對特征圖進行互相關性操作，得到目標在搜索圖中的跟蹤位置.然而SiamFC跟蹤算法使用淺層AlexNet[6]網絡，目標特征提取不充分，同時也難以應對目標尺度變化情況.因此Li等[7]將RPN(region proposal network)網絡加入到孿生網絡框架中，在多個檢測區(qū)域設置多個錨框，并對這些錨框進行分類和回歸，使回歸錨框更接近真實框，有效解決目標尺度變化跟蹤問題.為了充分提取目標特征，SiamRPN++[8]算法采用深層ResNet-50作為特征提取主干網絡，但是隨著網絡的加深會帶來空間和通道信息冗余的問題.為了更好擬合目標真實框，Wang等[9]提出SiamMask算法，將網絡訓練得到的掩膜外接矩形作為目標跟蹤框.Siam R-CNN[10]方法結合分割網絡，對目標進行二次分割處理實現目標跟蹤.SiamBan[11]方法使用無錨框策略克服跟蹤錨框的限制，使跟蹤框擁有更大的自由度.

考慮到，一方面深度學習方法提取目標特征信息時會產生多維特征空間和通道，僅少部分信息對目標跟蹤任務起正向作用，大部分是冗余信息，不可避免增加方法的運算負擔；另一方面，孿生網絡通過主干網絡末端輸出層提取目標特征，再進行相似度計算，由于深層特征只包含稀疏語義信息，分辨率較低，不利于目標精確定位.為此，針對目標特征相似度計算跟蹤問題，本文將淺層特征和深層特征相融合，提升網絡對目標特征的辨識能力，同時引入注意力機制，降低冗余信息，加強網絡對正樣本的聚焦，提高目標跟蹤的魯棒特性.

1 SiamMask 三分支目標跟蹤網絡結構

SiamMask網絡框架如圖1所示，該跟蹤方法主干網fθ采用深層ResNet-50網絡，結合膨脹卷積進行特征提取.SiamMask框架對模板圖片和搜索圖片使用兩個結構相同的網絡構成孿生網架構，并使用深度互相關操作計算模板圖片和搜索圖片的相似度，圖中用d表示，網絡末端包含3個網絡參數相互獨立的分支結構，分別為分割掩碼(mask)分支、邊框回歸(box)分支、前景/背景分類(score)分支，各分支卷積操作分別為hφ、bσ和Sφ.該方法在邊框回歸和前景/背景分支中使用錨框機制，前景/背景分支輸出特征圖的每一個圖像包含2K個數值，其中每兩個數值為一組，表示該圖像的K個候選框屬于前景和背景的概率；而邊框回歸分支輸出特征圖每個位置對應4K個數值，其中每4個數值為一組，表示該位置K個候選框的偏移量.分割掩碼分支生成17×17×(63×63)形狀特征圖，其中每個位置包括一個63×63維度向量，最后將目標所在位置映射為二值分割掩碼圖，實現目標和背景的像素級分類.SiamMask算法在目標跟蹤任務中表現優(yōu)異，但其網絡結構依然存在不足：1) 使用加深的特征提取網絡雖然能獲得更加豐富的信息，但所提取特征過于稀疏抽象，不利于目標精確定位；2) 大量的空間和通道信息只有部分對跟蹤任務起正向作用，其余冗余信息不免帶來負面影響.

2 方法提出

針對SiamMask網絡存在的上述問題，本文提出如圖2所示的網絡框架.使用改進的ResNet-50作為特征提取網絡，為防止特征過于抽象去掉res3之后的殘差塊，然后使用卷積將通道數下采樣至256得到模板和搜索分支的深層特征Fht和Fhs；同時將res1輸出的模板和搜索分支淺層特征經過卷積得到和深層特征相同維度的特征Flt和Fls，然后對各分支特征進行相加融合，使模型充分利用淺層特征信息.除此之外，在淺層特征提取和深層特征融合后分別結合CSAM(channel and spatial attention models)注意力機制，從空間和通道維度對目標信息進行加強，抑制特征提取過程中冗余信息的干擾.最后將所提取的搜索圖特征和模板圖特征經過深度互相關處理，再由3分支任務學習實現目標的魯棒跟蹤.

3 雙重注意力模型設計

特征提取普遍采用不同卷積核提取不同通道和空間信息，此過程產生大量冗余信息，對網絡學習具有負影響，進而影響跟蹤結果.為了篩選有用跟蹤信息，同時降低冗余信息的干擾，本文設計雙重注意力模型CSAM，在網絡學習中融入注意力算法，使特征提取過程聚焦目標跟蹤的有用信息.

借鑒ECANet[12]和CBAM[13]思路,本文設計的CSAM模型如圖3所示.具體地，對于輸入特征圖F∈RW×H×C,其中W,H,C分別表示特征圖寬、高和通道數，首先經過通道注意力網絡，對特征圖各通道進行全局平均池化得到各通道目標響應值，如下：

圖3 CSAM注意力模型Fig.3 CSAM attentional model

(1)

其中：Fc(i，j)為第c個通道第(i，j)個像素點的特征值(c=1，2，…，C)；bc為每個通道的全局平均池化值.

經過全局平均池化輸出1×1×C的特征圖B=(bc),進一步將每個通道與其k個近鄰通道進行交互學習捕捉通道間的依賴關系，并通過sigmoid激活函數將通道特征值轉化為通道間的權重：

(2)

F′c=b′cFc,

(3)

其中，Fc為輸入特征圖第c個通道，F′=(F′c)∈RW×H×C為輸出通道注意力特征圖.因為計算通道權重時引入了sigmiod激活函數，對表征目標的通道信息賦予較大權重進行加強，對背景信息賦予較小權重進行抑制，所以F′能更關注目標信息.

同上，使用空間注意力模型作用于特征圖，加強目標的空間信息.首先，對輸入大小為W×H×C的通道注意力特征圖做基于通道的全局最大池化和全局平均池化；其次，將全局最大池化值和全局平均池化值拼接并使用卷積學習得到W×H×1特征圖；最后，通過sigmoid激活函數獲得空間位置權重并賦予輸入特征圖，得到空間注意力特征圖F″∈RW×H×C為：

F″=(σ(f7×7([AvgPool(F′);

MaxPool(F′)])))F′,

(4)

其中，σ為sigmoid激活函數，f7×7表示卷積核大小為7×7的卷積操作.

4 特征融合網

卷積神經網絡通過前向傳播對目標特征進行逐層提取，使特征信息變得高級抽象，同時目標的紋理、輪廓和顏色等淺層結構化特征信息被丟失.SiamMask算法因只使用高級抽象特征，導致目標特征表達不全，不能對目標進行精確定位.為此，本文將淺層結構化特征與高級抽象特征進行融合以表征目標，如圖2所示，對res3輸出的1 024通道深層特征通過下采樣縮減至256以減少信息復雜度，同時對res1輸出的256通道淺層特征使用卷積運算，使其和下采樣輸出特征具有相同維度，并經過注意力模型對其通道和空間信息進行篩選，輸出表征目標輪廓、紋理等的淺層特征.將具有相同大小的淺層特征Flow和深層特征Fhigh進行相加融合，使融合特征Ffusion同時具有目標的深層語義和淺層結構表征，提高目標在運動模糊，形變等場景下的特征表達，特征融合計算過程為：

Flow=CSAM(conv(res1(p))),

(5)

Fhigh=(conv(res3(p))),

(6)

Ffusion=(Flow⊕Fhigh),

(7)

其中，p表示輸入網絡的圖片；conv表示卷積；CSAM表示注意力網絡；res1和res3表示特征提取網絡res1層和res3層，⊕表示特征圖相加融合.

5 損失函數

本文損失函數為3個任務損失函數之和，其中分割掩碼分支損失函數為：

(8)

邊框回歸分支損失函數Lreg使用交叉熵損失，前景/背景分支使用光滑L1函數計算損失Lcls,網絡損失函數為三分支損失加權和：

Ltotal=α1Lmask+α2Lcls+α3Lreg,

(9)

式中，α1、α2、α3分別是mask分支、box分支和score分支損失函數的權重，本文中分別設為32，1，1.

6 實驗結果與分析

實驗平臺采用Ubuntu16.04和pytorch深度學習框架，選用NVIDIA GeForce RTX 2080顯卡和CUDA11.0對數據集進行訓練，訓練過程設定15個epoch，其中前5個epoch是預訓練階段，學習率從1×10-3增加到5×10-3,后10個epoch學習率逐漸降低.每批次訓練圖片數量(batch size)為16張圖像對，訓練時使用隨機梯度下降法對參數進行優(yōu)化.為了更好地應對目標尺度變化，錨框設置了5種尺度.

本文使用COCO[14]、ImageNet-DET 2015[15]、ImageNet-VID 2015[15]和YouTube-VOS[16]4個數據集對網絡進行訓練，使用VOT2016[17]、VOT2018[18]數據集作為測試集，每個測試數據集各有60個視頻序列，包含多個目標跟蹤的挑戰(zhàn)因素，如相機運動、運動模糊、運動變化等.

VOT數據集使用跟蹤準確率A、魯棒性R和期望平均覆蓋率EAO作為評價指標.

跟蹤準確率由真實框與預測框的IOU來定義，第t幀的準確率定義為：

(10)

(11)

其中，Φt為第t幀的準確率，Nvalid為有效視頻幀數.

R是衡量跟蹤器目標跟蹤的穩(wěn)定性的量，定義為：

R=(F/NF)×100%,

(12)

其中，F為跟丟幀數,NF為數據集中的總幀數.

EAO用于同時評估跟蹤器的準確性和魯棒性，首先計算第s段長度為Ns的視頻序列的平均準確率：

(13)

式中，Φs,t為第s個長度為Ns的視頻序列第t幀的準確率.最后在長度范圍[Nlo，Nhi]上對所有長度序列的準確率進行平均，得到期望平均覆蓋率：

(14)

為了充分驗證本文方法的性能，對比本文算法和DaSiamRPN[19]，ECO[20]，SRDCF[21]，MDNet[22]，Staple[23]，DSST[24]，ASMS[25]，CCOT[26]，DAT[27]等算法在VOT2016數據集上的測試結果(表1).由表1可知，本文算法跟蹤準確率為63.2%，在所列算法中最高；而魯棒性能和期望平均覆蓋率分別為29.4%和37.8%，與所列算法具有可比性.具體分析：1) 與基準SiamMask算法比較，本文算法準確率略有提升，魯棒性優(yōu)化了1.8個百分點，期望平均覆蓋率提高了1.4個百分點.2) 與SiamFC相比，本文算法使用錨框機制，能夠更好擬合目標位置，在3個指標上都得到較好改進.3) 與KCF、ECO等傳統相關濾波算法相比，本文方法使用深度學習結合注意力機制，有效提升動態(tài)目標運動變化、背景雜亂等場景的跟蹤能力.

表1 VOT2016數據集上不同方法跟蹤結果

圖4為各算法在VOT2016數據集上相機運動、光照變化、運動變化、無標注場景、尺度變化場景的A-R圖(此處的R是根據VOT數據集官方定義的魯棒性，與上文的R并不一樣，文中僅圖5與此處R的定義一致)，其中，S表示預期可連續(xù)跟蹤的視頻幀.可以看出：本文算法由于使用通道和空間注意力機制，并充分考慮融合淺層特征，在相機運動、目標運動變化場景下的A-R圖中相較于基準算法明顯更靠近坐標系的右上角，表示性能更好；在其他場景下，本文算法在準確率上也具有一定優(yōu)勢，與其他算法各場景下的對比結果也具有一定可比性.

圖4 不同算法在VOT2016數據集不同場景下的A-R圖(S=30)Fig.4 The A-R graphs of different algorithms in different scenarios of VOT2016 dataset(S=30)

本文算法在VOT2018數據集上與UPDT[28]，SA_Siam_R[29]，DensSiam[30]等11種算法的對比結果如表2所示，其中本文算法準確率為60.1%，較基準算法SiamMask提升了1.2個百分點，在所有比較算法中結果最優(yōu)；魯棒性為37.5%，較基準算法優(yōu)化了3.7個百分點；平均期望覆蓋率為31.0%，較基準算法提升了1.4個百分點，在所有對比算法中具有可比性，可看出本文提出的特征融合與注意力機制有利于應對目標跟蹤存在的動態(tài)不確定性因素.圖5為不同算法在VOT2018數據集不同場景下的A-R圖,可看出在面對相機運動、運動變化和無標注場景時本文算法相較于基準算法得到較好改善.本文算法從通道和空間維度加強對目標和背景的辨別能力，另外結合輪廓、紋理等淺層特征進一步提升目標跟蹤性能，因此與其他跟蹤算法相比，本文算法在圖5挑戰(zhàn)場景下也具有一定可比性.

表2 VOT2018數據集上不同方法跟蹤結果

圖5 不同算法在VOT2018數據集不同場景下的A-R圖(S=30)Fig.5 The A-R graphs of different algorithms in different scenarios of VOT2018 dataset(S=30)

為了更清晰對比本文和其他算法，圖6可視化了跟蹤器在VOT2016數據集上的跟蹤結果，分析如下：

1) 圖6(a)視頻序列第26幀，目標與周圍環(huán)境差異明顯，3種算法均能很好跟蹤目標；當后續(xù)視頻序列出現相似目標時，如第77幀，基準算法跟蹤框漂移到相似物上，本文算法由于添加空間注意力機制，通過全局信息辨別相似目標的干擾，實現正確定位；而第67幀和第78幀，SiamFC算法對目標框的擬合不如本文算法和基準算法.

2) 圖6(b)視頻序列中，目標在人手中被不斷旋轉，并且背景雜亂，第18幀本文算法最接近真實框；第79幀SiamFC算法由于目標發(fā)生較大變化，同時背景出現相似物體導致目標框發(fā)生漂移，跟蹤失?。坏?16幀由于目標旋轉和尺度變化導致基準算法產生漂移，而本文算法可以較好的跟蹤目標.

3) 在圖6(c)視頻序列中，SiamFC算法的預測目標框包含較多背景信息，不能很好的擬合真實框；在第54幀和第88幀目標發(fā)生形變，由于本文算法有效結合淺層紋理信息，相比基準算法能更好的跟蹤目標.

圖6 VOT2016數據集不同場景下不同跟蹤算法結果Fig.6 The results of different tracking algorithms under different scenarios in VOT2016 dataset

4) 圖6(d)視頻序列第2幀中，3種算法均能很好實現目標跟蹤；由于目標運動產生模糊并且背景雜亂，基準和SiamFC算法在第75幀均發(fā)生漂移，而本文算法通過加入注意力機制并結合淺層特征，對目標有著更充分的學習能力，可以更好的對背景和目標進行區(qū)分.

5) 在圖6(e)視頻序列中，由于相機不斷運動，同時伴隨目標運動變化、尺度變化和背景光照變化，基準算法和SiamFC算法只識別出目標的一部分，而本文算法能夠結合全局信息和多層次特征，實現目標的魯棒識別.

為了進一步驗證注意力機制對目標的辨別能力和對背景信息的抑制作用，圖7使用熱度圖可視化了注意力機制對目標信息提取的作用.在圖7(a)和(b)中，面對相似物體干擾和運動變化，注意力機制能對相似背景信息進行有效抑制，聚焦于興趣目標.在圖7(c)序列中，面對目標運動變化、運動模糊、背景雜亂的挑戰(zhàn)因素，非注意力對背景區(qū)域產生大量響應，而采用注意力機制后模型響應更收斂于興趣目標區(qū)域.

7 結 論

基于SiamMask算法，本文提出一種融合注意力機制的孿生網絡目標跟蹤方法，通過改進ResNet-50作為主干網絡，有效結合紋理、輪廓等淺層信息，彌補網絡結構加深導致深層特征過于稀疏抽象的缺陷，實現了目標特征的充分表達.為了降低冗余特征影響，融合通道和空間雙重注意力機制，提高網絡對興趣目標的辨別能力，使算法有效應對目標運動變化、背景雜亂等挑戰(zhàn)性問題.通過在VOT數據集上實驗測試，本文算法比SiamFC算法表現更優(yōu)異，同時相較于基準算法，本文算法性能在VOT評價指標上均得到提升.本文算法只使用初始幀作為模板，同時受錨框數量的限制，因此后續(xù)在模板更新和無錨框方面將進一步研究.