基于孿生網絡的目標跟蹤研究綜述

韓明 王景芹 王敬濤 孟軍英 劉教民

摘 要：近年來，基于孿生網絡的目標跟蹤算法由于在跟蹤精度和跟蹤效率之間能夠實現良好的平衡而備受關注。通過對基于孿生網絡的目標跟蹤算法的文獻進行歸納，對現有孿生網絡目標跟蹤算法進行了全面總結，對孿生網絡的2個分支結構進行了討論。首先，介紹了基于孿生網絡目標跟蹤的基本架構，重點分析了孿生網絡中主干網絡的優化，以及主干網絡的目標特征提取問題。其次，對目標跟蹤過程中的分類和回歸2個任務展開討論，將其分為有錨框和無錨框2大類來進行分析研究，通過實驗對比，分析了算法的優缺點及其目標跟蹤性能。最后，提出未來的研究重點：1）探索背景信息訓練，實現場景中背景信息傳播，充分利用背景信息實現目標定位。2）目標跟蹤過程中，目標特征信息的更加豐富化和目標跟蹤框的自適應變化。3）從幀與幀之間全局信息傳播，到目標局部信息傳播的研究，為準確定位跟蹤目標提供支撐。

關鍵詞：計算機圖象處理;目標跟蹤;孿生網絡;深度學習;特征提取

中圖分類號：TN520?? 文獻標識碼：A

DOI：10.7535/hbkd.2022yx01004

收稿日期：2021-08-04;修回日期：2021-12-20;責任編輯：王淑霞

基金項目：河北省高等學?？茖W技術研究重點項目（ZD2020405）;河北省“三三三人才工程”資助項目（A202101102）;石家莊市科學技術研究與發展計劃項目（201130181A）

第一作者簡介：韓 明（1984—），男，河北行唐人，副教授，博士，主要從事計算機視覺、圖像處理方面的研究。

通訊作者：王景芹教授。E-mail：jqwang@hebut.edu.cn

Comprehensive survey on target tracking based on Siamese network

HAN Ming1，2，WANG Jingqin2，WANG Jingtao1，MENG Junying1，LIU Jiaomin2

（1.School of Computer Science and Engineering，Shijiazhuang University，Shijiazhuang，Hebei 050035，China;2.State Key Laboratory of Reliability and Intelligence of Electrical Equipment，Hebei University of Technology，Tianjin 300130，China）

Abstract：In recent years，the target tracking algorithm based on Siamese network has attracted much attention because it can achieve a good balance between tracking accuracy and tracking efficiency.Through the intensive study of the literature of target tracking algorithm based on Siamese network，the existing target tracking algorithm based on Siamese network was comprehensively summarized.Firstly，the basic framework of target tracking was introduced based on Siamese network，and the optimized backbone network in Siamese network and its target feature extraction were analyzed.Secondly，the classification and regression tasks in the process of target tracking were discussed，which were divided into two categories of anchor frame and anchor-free frame.The advantages and disadvantages of the algorithm as well as the target tracking performance were analyzed through experimental comparison.Finally，the focus of future research is proposed as following：1） Explore the training of background information，realize the dissemination of background information in the scene，and make full use of background information to achieve target positioning.2） In the process of target tracking，the target feature information is enriched and the target tracking frame is changed adaptively.3） Research from the global information transmission between frames to the target local information transmission provides support for the accurate target positioning and tracking.

Keywords：

computer image processing;target tracking;Siamese network;deep learning;feature extraction

視覺目標跟蹤是人機交互、視覺分析和輔助驅動系統應用中最基本的問題，也是計算機視覺中一項基本又具挑戰性的任務。近年來，目標跟蹤取得了一定的研究成果，尤其是隨著深度學習的研究，利用大量已知數據集進行網絡模型訓練，捕捉目標深度語義特征，實現對目標外觀表征的同時，增加對語義特征的表征，從而助力目標跟蹤[1-2]。結合深度學習目標跟蹤算法吸引了大量學者進行不斷的研究和探索。但是在目標跟蹤過程中，隨著目標運動和背景變化，跟蹤過程中出現的目標被遮擋、劇烈變形、光照變化、背景相似物干擾等復雜情況，導致目標跟蹤精度和實時性面臨巨大挑戰。

卷積神經網絡（CNN）在處理各種各樣的視覺問題中具有非常優秀的表現，尤其是在特征提取方面[3-5]。因此一些目標跟蹤算法將其嵌入到跟蹤框架中，其中SiamFC[6]就是典型代表。SiamFC[6]通過計算響應圖的最大值位置推斷目標的位置，將基于孿生網絡的目標跟蹤問題轉化成一個相似度匹配問題，在超大規模數據集上離線學習目標特征，并將初始幀作為目標跟蹤模板，通過輸入模板圖像和搜索圖像，提取搜索圖像特征，之后與模板特征作相似度匹配，得到得分響應圖，然后根據得分值最大的原則確定目標跟蹤的位置。

近年來，基于孿生網絡架構的目標跟蹤器因目標跟蹤性能高，以及在跟蹤精度和跟蹤效率之間能夠實現良好的平衡而受到高度關注。基于孿生網絡的目標跟蹤器一般分為2個分支：第1個分支[7-9]通過細化Siamese網絡的模板子網和實例子網，增強了Siamese網絡的表示能力，這些算法努力實現對目標對象的定位，但忽略了對對象大小的估計;第2個分支[10-12]將視覺跟蹤問題視為分類任務和回歸任務的結合，分類任務將響應圖上的特征點分類為目標和背景，回歸任務是通過回歸估計目標的準確狀態。第2個分支的典型代表是SiamRPN[13]，它借鑒了經典目標檢測算法Faster R-CNN[14]的區域提議網絡，將跟蹤問題轉化到區域提議網絡中，該網絡用于估計新幀內目標的位置和形狀，從而避免了多尺度測試，大大提高了目標的跟蹤速度。TAO等[15]提出了SINT（siamese instance search tracker）來訓練一個孿生網絡識別與初始對象匹配的候選區域的圖像位置;SiamFC[6]采用互相關操作融合輸入特征;VALMADRE等[16]首先將相關濾波器解釋為全卷積連體網絡中的可微層;CAO等[17]提出了一個動態加權模塊，使離線訓練的Siamese網絡具有更強的適應性;SiamRPN++[18]在SiamRPN[13]的基礎上通過引入更深層次的神經網絡進一步提高其性能;ZHU等[19]提出了一種有效的采樣策略來控制訓練數據的分布，學習到一個更有區別性的模型。HE等[20]提出了一個雙卷積Siamese網絡，一個分支用于學習外觀特征;另一個分支用于學習語義特征;SiamMask[21]擴展了SiamRPN[13]，增加了一個分支和損失函數，用于二值分割任務，統一了視覺目標跟蹤和分割。

基于深度學習的目標跟蹤算法的綜述研究主要集中在相關性濾波和神經網絡的分類綜述研究中，文獻[22]基于孿生網絡的研究進行綜述，內容包括相關濾波算法的和孿生網絡相關的目標跟蹤2大部分，主要對基于孿生網絡的目標跟蹤中的典型算法進行了綜述。本文基于孿生網絡目標跟蹤算法的發展，根據孿生網絡的2個分支結構進行綜述討論，一方面是Siamese主干網絡的優化及目標特征的提取，另一方面是孿生網絡目標跟蹤中的分類任務和回歸任務，總結為有錨框和無錨框2大類，根據討論與分析，對未來孿生網絡目標跟蹤的研究方向進行思考。

1 孿生網絡目標跟蹤算法的基本結構

以SiamFC[6]為代表的孿生網絡目標跟蹤算法通過端到端的網絡學習，計算對比第一幀模板圖像與后續幀搜索圖像的特征相似度，從而得到相似度得分，得分越高說明2個圖像的相似度越大，孿生網絡結構如圖1所示，孿生網絡由模板和搜索2個分支組成，模板分支將第一幀圖像作為輸入，用于學習目的特征表示;搜索分支將當前幀作為圖像輸入，2個分支共享網絡參數。

由圖1可知，孿生網絡對模板圖像和搜索圖像分別經過各自分支進行訓練，并且這2個分支使用的主干網絡完全一致?；ハ嚓P函數fX，Z作為相似度計算函數，計算經過φ之后，進行特征提取得到特征圖相似性，公式如下：

fX，Z=φX*φZ+b，（1）

式中：φX、φZ分別表示模板圖像Z和搜索圖像X經過特征提取網絡之后得到的特征圖;*為卷積運算;b表示偏移量。

該算法中使用了最簡單的AlexNet[23]作為主干網絡，前5層為卷積層，后3層為全連接層，最后將數據輸出到Softmax。

2 Siamese主干網絡優化及圖像特征提取

2.1 Siamese主干網絡優化及應用

近幾年，基于AlexNet[23]作為主干網絡的孿生網絡跟蹤器[6-7，13，15，24-26]在運行速度和跟蹤準確性上都備受關注。但是輕量級的卷積神經網絡Alexnet對于復雜環境下的目標跟蹤效果較差，尤其是在處理復雜環境問題（旋轉、光照變化、變形、背景相似等）時，容易出現跟蹤漂移和跟蹤丟失的問題。隨著對深度神經網絡特征嵌入更廣、更深層、更有效的研究，一些學者用更深更寬的網絡取代前景網絡，如VGG[27]，Inception[28]和ResNet[29]。通過對比發現，用更深更寬的網絡取代淺層主干網絡，并沒有得到預期效果，而是出現了因為網絡深度和寬度的增加導致性能下降的情況。因此近幾年出現了多種主干網絡優化算法。

更深更寬網絡未能取得更好的跟蹤效果，主要原因是網絡的架構主要是為圖像分類的任務而設計的，而不是主要面向目標跟蹤，因此在跟蹤任務中對目標的定位精確度不高。通過對Siamese網絡結構進行分析，發現神經元感受野的大小、網絡步幅和特征填充是影響跟蹤精度的3個重要因素。其中感受野決定了用于計算機特征的圖像區域，較大的感受野能夠提供較大的圖像上下文，而較小的感受野可能導致無法捕捉目標物體的結構。網絡的步幅會影響定位精度，尤其是對于小尺寸的跟蹤目標。同時，網絡的步幅控制輸出特征映射的大小，從而影響特征的可辨別度和檢測精度。此外，對于完全卷積的結構，卷積的特征填充在模型訓練中產生了潛在的位置偏差，當目標移動到搜索范圍邊界附近時，很難做出準確的預測。ZHANG等[30]為了實現對更廣更深網絡的應用，首先，基于“瓶頸”殘差塊，提出了一組內部裁剪殘差（CIR）單元。CIR單元裁剪出塊內受填充影響的特征，從而避免卷積濾波器學習位置偏差。然后，通過CIR單元的堆疊，設計了更深網絡和更寬網絡2種網絡架構。通過實驗對比發現，基于“殘差塊”的主干網絡跟蹤器在跟蹤性能上有較大提升。

為了提升特征提取能力，才華等[31]通過分析殘差網絡的特點，將深層網絡ResNet50[32]作為主干網絡，但是在使用時對ResNet50進行修改優化處理，使其擺脫由于網絡深度或寬度增加造成性能大幅下降的問題。首先，為了實現更多特征的保留減少步長;然后，通過應用擴張卷積增加其感受野。網絡設計中對淺層特征和深層特征進行了融合處理，為了增加感受野，將Conv4中的步長設置為1，擴張率設置為2，Conv5的步長設置為1，擴張率設置為4。該算法將修改后的ResNet50作為主干網絡充分利用了殘差網絡的優勢，使其除能夠獲取顏色、形狀等底層特征外，還能夠利用后邊的層獲取特征豐富的語義信息，通過深度互相關，實現更有效的信息關聯，使其具有更少的參數，從而減少超參數優化。

為了使提取特征更加豐富，SiamRPN++[18]將MobileNet作為主干網絡，其處理速度相對較高，速度高于70幀/s。楊梅等[33]將一種參數較少、復雜度較小輕量級網絡MobileNetV3作為主干網絡對目標進行特征提取，并進行了3方面的改進：1）為了保留深層特征圖中足夠多的信息，刪除了2個步長為2的卷積層，將網絡的總步長由32改為8;2）為了減少padding造成的最大響應點的偏移影響，用3×3的卷積核替換原來5×5的卷積核，并利用剪裁操作去除最外層特征;3）為了得到更多的特征信息，將網絡中bneck的3×3卷積步長改為1，并使用1×1的卷積核調節網絡通道數。在該算法中FPS達到了67幀/s，FPS降低的主要原因是由于增加了注意力模塊，在OTB50數據集實驗中，精度達到了0.773，成功率達到了0.566，相對于SiamFC分別提升了7.5%和5.3%。該方法針對目標變形、尺度變化、快速運動、背景干擾、低分辨率等問題，在精確度和成功率上都相對提高，但是網絡訓練好之后一直依賴于第一幀的目標模板，當出現目標遮擋、背景與目標相似時容易跟蹤丟失，使得算法整體性能下降。

淺層網絡的典型代表SiamFC算法和深層網絡典型代表算法SiamRPN，SiamRPN++等的工作原理以及優缺點的對比如表1所示。

隨著對主干網絡的不同優化，孿生網絡架構更加合理，在運行速度、成功率和重疊率上均有不同程度的提升。深層次主干網絡的應用使得網絡在提取更深層次目標特征信息上更加完善，提取的特征信息更加全面，在進行目標跟蹤時充分利用目標淺層特征和深層特征，不僅充分利用了目標的外觀信息，同時結合目標的語義信息，使得目標跟蹤過程更加準確。

2.2 Siamese網絡的圖像特征提取

對主干網絡進行不同的優化操作，無論是淺層網絡還是深層網絡的優化，目的是更加準確、高效地提取目標特征，使特征表達更加全面，信息更加豐富。傳統的基于孿生網絡的目標跟蹤算法采用卷積神經網絡提取目標圖像的特征，在提取圖像特征時對于每個通道內的圖像特征平等對待，從而導致圖像不同通道內的不同信息表達不準確，對目標跟蹤有利的特征得不到增強，冗余特征得不到抑制。同時，對于目標跟蹤過程而言，每一幀圖像中都包含有目標信息和背景信息，而傳統算法中則沒有考慮二者在目標跟蹤中的不同作用。

目標跟蹤過程中總會面臨長程跟蹤和目標遮擋導致消失問題，當目標出現遮擋或者是需要長程跟蹤時，對整體跟蹤網絡架構的要求更加嚴格和高效。為了解決這一問題，SiamRPN[13]，SiamRPN++[18]和DaSiamRPN[19]都做了相關工作，將搜索策略從局部擴展到全局來檢測目標是否跟蹤丟失。QIN等[34]設計的模板更新方法旨在解決跟蹤過程中由于遮擋造成的目標丟失問題。目前解決目標遮擋問題大致可分為2種解決辦法：其一，在進行網絡離線訓練時增加遮擋情況下的訓練，提高跟蹤時的準確性，但是訓練數據的情況覆蓋不全，使得訓練結果不一定適合于所有的場合;其二，通過匹配樣本與目標模板的特征，尤其是深度語義特征，通過對比整體深度特征與目標模板的相似性進行判斷，但是在這個過程中由于需要匹配整個圖像，導致準確性降低，時間復雜度增加，實時性降低。針對這些問題，注意力機制在時空2個領域都表現出了優勢。

2.2.1 基于注意力機制的圖像特征提取

注意力機制（attention mechanism，AM）[35]在計算機視覺領域內的目標檢測、圖像分類等任務中都得到了不同程度的應用，通過注意力機制實現對圖像中有效信息的聚焦關注。為了使目標跟蹤算法更多地關注空間位置和通道位置上對目標跟蹤有利的特征，WANG等[36]提出了殘差注意力機制網絡，在編碼解碼模式下使用注意力模塊，重新定義特征圖，網絡不僅性能更好，而且對噪聲更魯棒。該算法充分利用殘差注意力機制強化圖像的關鍵特征，對于目標遮擋、目標與背景相似、光照變化等復雜環境下的目標跟蹤具有較強的適應能力，但是隨著網絡注意力模塊的應用，算法的實時性還有待提升。HU等[37]引入了一個緊湊的模塊來發展通道之間的關系，利用平均池化層的特征來計算通道之間的注意力。

不少研究者將注意力機制引入到孿生網絡目標跟蹤中。首先，對于通道注意力模塊，通過對圖像的不同通道賦予不同的權重，讓圖像特征的外觀語義更加立體化，在目標跟蹤中更加關注前景目標的通道內特征;其次，對于空間注意力模塊而言，通過對特征圖上不同空間位置分配不同的權重，增加前景目標的空間位置權重，進而突出前景目標。文獻[38—39]均以殘差網絡作為主干網絡，都是在主干網絡之后增加了高效通道注意力模塊，增大對首幀信息的利用率，通道注意力模塊對輸入的特征在每個通道中都進行全局平均池化和最大池化運算，文獻[38]在不減少通道數的前提下，進行跨通道交互學習，進而豐富目標特征信息，進一步削弱其他干擾特征，有效解決目標跟蹤過程中劇烈形變和旋轉等情況。但是文獻[39]為了提升模型對通道的建模速度，將通道依賴關系限定在相鄰的K（K<9）個通道內。

以上研究在通道注意力使用過程中，關注了每個通道的特征表達，但卻忽略了每個特征點對于整體特征的重要性。宋鵬等[40]提出了整體特征通道識別的自適應孿生網絡跟蹤算法，以ResNet22作為主干網絡，在Conv3階段的第4個卷積層加入高效通道注意力機制，在提取特征之后利用整體特征識別功能計算全局信息，獲取整體特征中各個通道之間的依賴關系。整體特征通道識別網絡結構如圖2所示。

由圖2可知，通過整體感知模塊和特征轉換模塊之后逐像素相加，實現了將整體特征與通道特征的聚合，從而提取出更為豐富的語義特征，提高跟蹤精度。

在相同的測試環境下，從實驗效果來看文獻[38-39]在OTB50測試集上的跟蹤精度高于文獻[40]，在VOT2016和VOT2018測試集上的EAO（expected average overlap），文獻[38-39]相對于文獻[40]的0.348 2和0.261 0都要高，其中文獻[38]達到了0.448和0.405。造成文獻[40]測試數據低的原因，主要是使用了簡化的自注意力機制，造成了部分精度的損失。

為了提高模型對于關鍵特征的關注度，增大前景貢獻，抑制背景特征，充分利用空間信息，不少學者將通道注意力與空間注意力相結合，提出時空注意力網絡或聯合注意力網絡，從而增強卷積網絡對正樣本的辨別能力。文獻[41-43]設計全局聯合注意力機制，對提取的特征作進一步操作，增強網絡的辨別能力。其網絡結構如圖3所示，該網絡基于空間和通道聯合注意力機制提高特征的判別能力。通過實驗對比可知，該算法在OTB實驗數據集上取得了較好的效果，尤其是當背景中出現相似物干擾和目標快速運動時具有較好的魯棒性，但是當目標出現長時間遮擋時，這類算法需要再次長時間適應，性能下降，那么就需要在后續的研究中對長時間遮擋時的時空序列的圖像連續性進行研究。

其中通道聯合注意力機制與文獻[38—39]相似，在此基礎上增加了空間注意力模塊，空間注意力模塊通過建立不同特征圖之間的空間信息關系來增強網絡的特征表達能力。其中空間注意力模塊首先通過1×1×256的卷積核對圖像特征進行降維處理，然后將降維處理之后的特征圖經過Sigmoid函數進行歸一化處理，從而得到特征圖中每一個空間位置的權重，最后通過每個位置的權重與特征圖φ（z）相乘得到響應圖，響應圖中最大值的位置即為目標跟蹤位置?？臻g注意力模塊工作原理如圖4所示。

為了使圖像特征更好地進入網絡，文獻[44]利用Mish函數代替了ReLU激活函數，提高準確性和模型的泛化能力。

2.2.2 不同對比算法試驗驗證

為了驗證不同算法的性能優劣，本文進行了對比試驗，主要從跟蹤精確度、魯棒性和EAO 3個方面進行評價，實驗環境為Intel（R） Xeon（R） CPU E5-2660 V2 @3.50G Hz×40，2個顯卡NVIDIA GTX 1080Ti GPUs共計內存16 GB。在上述實驗環境下，將文獻[38-43]在VOT2016和VOT2018數據集上進行試驗對比，結果如表2所示。

由表2可知，在VOT2016數據集的測試上，文獻[43]的跟蹤精度結果優于其他算法，文獻[38]魯棒性效果最好，文獻[43]次之。從VOT2018上的跟蹤效果來看，文獻[43]的跟蹤精度依然較高，魯棒性與文獻[39]持平，從EAO的表達效果來看2個數據集中文獻[43]均最優。

雖然研究者將目標特征通過主干網絡進行了多信息化的提取，使得圖像特征表達更加清晰。通過通道特征的表達使得圖像特征的外觀語義更加立體化，通過空間特征的表達使得圖像的空間位置更加準確。將二者進行聯合可使目標的深度特征提取信息更加豐富，從而進一步增強網絡的判別能力。但是隨著網絡深度的增加，算法的復雜度越來越大，這對前期網絡訓練和后期實時跟蹤都將產生負面影響，因此需要在前期增加更多、更詳細、更有效的圖像標簽，利用這些先驗信息提高訓練的精度，同時在特征提取時還應研究更加輕型的網絡結構和算法，進一步降低算法的時間復雜度，在實現目標特征豐富化表示的同時，實現目標的高效跟蹤。

2.3 孿生網絡的最新優化應用

近幾年孿生網絡的發展取得了長足進步，網絡結構越來越優化，尤其是特征提取越來越側重于突出前景目標，以有利于目標的準確定位跟蹤。但是當出現復雜環境變化，例如光照變化、背景相似物干擾、目標形變、目標遮擋等情況時，如何設計出高精度、高魯棒性和實時性的目標跟蹤算法仍然具有很大的困難。如何提高復雜場景下的目標跟蹤，實現端到端的跟蹤效果還需要進行不斷優化。一些學者對孿生網絡的結構作優化處理，使跟蹤過程精確度更高，魯棒性更強，主要表現在從時空信息、上下文信息等多個角度綜述孿生網絡的最新優化應用，同時對目標跟蹤過程的模板動態更新問題進行了研究。

2.3.1 多角度孿生網絡最新目標跟蹤應用

多角度孿生網絡目標跟蹤研究，不再集中于目標特征提取的某些或者某幾個方面，而是針對時空性和上下文信息，針對基于孿生網絡目標跟蹤過程中目標遮擋，或者是光照劇烈變化等情況下出現目標時空連貫信息缺失，最終導致目標跟蹤失敗的問題，而目前大多數研究沒有考慮時空信息和上下文信息。GCT（graph convolutional tracking）[45-46]采用圖卷積跟蹤方法，該方法綜合考慮了歷史目標樣本的時空結構及其對應的上下文信息，圖卷積跟蹤（GCT）主要利用時空圖卷積網絡（GCN）實現歷史目標結構化表示，并設計了一個上下文的GCN，利用當前框架的上下文學習自適應特征進行目標定位。首先，該算法通過圖結構把前T幀視頻的時空信息連接為一個整體，通過將每一幀中的候選區域分為M個部分，然后將M個部分組成一個團，其中每一個團代表一個空間信息，然后將不同幀的團連接在一起構成時空信息。其次，通過圖卷積計算每個節點的結果，并再次經過上下文的圖卷積將輸出結果做一次softmax操作，然后輸出模板特征。最終圖卷積網絡在統一框架下，實現目標的時空外觀建模以及上下文感知的自適應學習，最終實現目標的準確定位。

YU等[47]在2020年的CVPR會議上提出了可變形孿生注意力網絡SiamAttn，該可變形注意力機制可提高網絡對目標特征的表達能力，在目標外觀劇烈變化、相似物干擾等復雜環境下具有更強的魯棒性以及更好的區分前景與背景能力。該網絡與2.2節的注意力機制不同，該注意力機制設計了可變形的自注意力特征和互注意力特征，其中自注意力特征包含空間特征和通道特征，可在空間域學習豐富的上下文信息，在通道域進行有選擇的權重賦值，增強通道特征之間的相互依賴性;互注意力特征則負責聚合搜索區域和模板區域之間的相似特征信息，進一步提高特征的區分能力。

SiamAttn[47]網絡首先經過可變注意力機制提取特征，然后利用SiamRPN[13]提取候選區域，得出候選區域得分最高的區域，然后經過區域修正模塊，對預測結果進行進一步修正，同時生成包含跟蹤目標的目標框和掩膜，實現準確跟蹤，整體網絡架構如圖5所示。

通過對比實驗可以發現，SiamAttn算法在VOT這種帶旋轉跟蹤框的數據集上可以更好地定位目標，相較于其他算法其定位效果有更為明顯的提升。該算法通過自注意力和互注意力相結合，提高模型目標區分能力，與其他跟蹤器的區別在于該方法提供了一種自適應的隱式模型特征更新方法，將卷積層和池化層替換為可變形的卷積層和可變形的池化層，用來增加每個像素點的感受野，從而更加準確、有效地提取目標特征。

基于Siamese網絡的跟蹤器將視覺跟蹤任務定義為相似性匹配問題。幾乎所有流行的Siamese跟蹤器都是通過目標分支和搜索分支之間的卷積特征互相關聯來實現相似性學習的。但是，由于需要預先確定目標特征區域的大小，這些互相關方法要么保留了大量不利的背景信息，要么丟失了大量的前景信息。此外，目標與搜索區域的全局匹配也在很大程度上忽略了目標結構和部分層次信息。GUO等[48]設計了一個部分到部分的信息嵌入網絡，提出了一個目標感知孿生圖注意網絡。通過證明發現模板和搜索區域之間的信息嵌入可以用完全二分圖來建模，該圖通過圖的注意力機制來編碼模板節點和搜索節點之間的關系。通過學習注意力得分，每個搜索節點可以有效地從模板中聚合目標信息。然后，所有搜索節點生成一個響應圖，該響應圖包含豐富的后續解碼任務的信息，在此基礎上，提出了一種圖注意模塊（GAM）來實現部分到部分的信息傳播，而不是在模板和搜索區域之間進行全局信息傳播。這種局部與局部相似度匹配方法可以大大降低目標形狀和姿態變化的影響。此外，該算法沒有使用預先確定的區域裁剪，而是研究了一種目標感知的模板計算機制，以適應不同對象的大小和長徑比變化。該算法通過引入GAM，實現了面向對象的信息嵌入策略，提出了一種新的跟蹤框架，即孿生網絡圖注意跟蹤（SiamGAT）網絡。

2.3.2 跟蹤模板更新

目標跟蹤過程中單純利用第一幀圖像作為模板進行目標跟蹤，容易因目標遮擋、劇烈光照變化和相似背景等問題出現跟蹤漂移。為解決整個跟蹤過程中僅使用第一幀圖像作為模板的單一問題，QIN等[34]采用高置信度的多模板更新機制來確定模板是否需要更新。

為了防止干擾物和背景特征被添加到模板中，將峰值的得分與相關能量相對應，以保證模板的有效性。利用平均峰值相關能量APCE能夠反映遮擋程度，可通過以下計算得到：

Fmax=max（R），（2）

Fmin=min（R），（3）

APCE=|Fmax-Fmin|2mean∑w，hFw，h-Fmin2，（4）

式中：Fmax，Fmin和Fw，h分別表示響應圖最大值、最小值和坐標（w，h）處對應的響應值;R表示響應圖;mean（）表示均值函數。在上述公式中分子代表峰值，分母代表響應圖的波動。峰值和波動可以反映對跟蹤結果的置信程度。當目標不被遮擋時，APCE變大，反映圖上只有一個尖峰;相反，如果目標被遮擋或缺失，APCE顯著降低。

將APCE計算為多個響應映射的和，并判斷是否超過了閾值，如果APCE大于閾值，則表明結果是可靠的，可以進行模板更新：

RT=η×RT+（1-η）×RX，（5）

式中：η表示更新率;RT表示模板圖像特征;RX表示高置信度的搜索圖像特征。

3 分類與邊框回歸任務

SiamRPN算法引入區域推薦網絡，將目標跟蹤過程中的目標相似度匹配問題轉化為分類和回歸問題。RPN網絡分為相似度匹配部分和監督部分，其中監督部分一個分支用于前景和背景的分類，另外一個分支用于邊框回歸。

3.1 基于有錨框的分類與邊框回歸目標跟蹤

SiamRPN[13]采用滑動窗口算法產生大量的錨框，從而生成候選區域，通過對anchor網絡進行訓練，最終計算出分類分支的類別預測結果，計算出每個anchor屬于背景和前景的概率。在訓練過程中，在響應得分圖的每個像素點的位置上都生成5個anchor，5個anchor的寬高比分別為[3，2，1，1/2，1/3]，由于最后網絡的輸出特征圖尺寸為17×17，則共設置1 445（17×17×5）個anchor，但是這些anchor的中心點對應搜索圖像中的位置并不是整個搜索圖像，只是搜索圖像中心128×128的區域。SiamRPN不需要進行尺度估計，而是根據生成的錨框以及網絡特征，直接預測目標的中心位置，分別使用分類任務和回歸任務，可能導致預測目標的中心位置出現不匹配的現象，最終使得跟蹤結果性能降低。

SiamRPN++[18]和DaSiamRPN[19]網絡同SiamRPN[13]相似，基于RPN的孿生網絡目標跟蹤器主要依賴于密集的錨框策略，實現劇烈形變目標的高準確定位，但是多錨框的設置使得分類和回歸任務的復雜程度增加，同時大量的冗余錨框降低了跟蹤器的跟蹤效率，從而影響跟蹤的速度和精度。

為了解決大量錨框冗余造成的跟蹤速度和精度降低的問題，文獻[49]通過思考anchor的生成問題，將導向錨框網絡中關于錨框的解決方法引入目標檢測，通過2個條件概率分布實現anchor的生成，公式如下：

p（x，y，w，hI）=p（x，yI）p（w，hx，y，I），（6）

式中：（x，y，w，h）表示圖像I的中心坐標和寬高;px，yI和pw，hx，y，I分布分別為給定圖像特征之后anchor中心點的概率分布和給定圖像特征和中心點之后的形狀概率分布。

借鑒文獻[49]的導向錨框算法，文獻[50]將導向錨框RPN網絡結合孿生網絡實現目標跟蹤。將SiamRPN中沒有考慮的語義信息增加到網絡中，利用孿生網絡提取的語義特征對模板幀進行錨框預測。孿生導向錨框RPN網絡如圖6所示。

在導向錨框網絡中利用位置預測模塊預測區域的中心點，從而生成錨框，通過設定相應閾值確定前景目標可能出現的位置，從而過濾掉大量的區域;另外，利用形狀預測模塊，通過預測模塊得到錨框中心點學習的最佳高度和寬度，實現對目標的更好捕捉。同時該算法通過特征自適應模塊動態獲取特征，利用特征調整實現錨框大小的自適應調整。

李明杰等[51]將孿生區域提議網絡（RPN）與錨框掩碼相結合，將3D卷積操作與FCN[6]網絡引入到固定卷積操作范圍的錨框掩碼機制。首先，在FCN網絡上利用3D卷積學習連續3幀圖像的IOU熱度圖的時空信息;然后，在FCN網絡進行全卷積操作，預測下一幀圖像的錨框掩碼圖片。相較于SiamRPN[13]中的每個錨點對應生成K個錨框，該算法的錨框掩碼生成原理如圖7所示，先利用先驗知識，將圖像特征圖與生成的錨框掩碼進行點乘運算，得到一個稀疏矩陣。由圖7可知，通過錨框卷積運算之后得分框和回歸框都會出現大量的0，根據0的數量濾掉無效錨框，實現真實目標錨框的預測。

基于anchor的孿生網絡首先需要借助初始人工設定的錨框，在目標跟蹤過程中需要不斷進行多次迭代，使目標跟蹤框越來越接近真實目標。基于錨框的方法通過多次迭代實現了目標跟蹤框的逐漸修正，使得跟蹤更加準確，該方法大多通過滑動窗口的方法實現，導致產生大量錨框，使得算法的整體計算復雜度增加，實時性下降。為了提高算法性能，Siammask[21]采用錨框掩碼進行目標位置的預測，該算法對于高幀率視頻以及沒有出現目標遮擋和目標消失的情況，網絡性能較高，魯棒性高，但是在遮擋等情況時性能變差。因此，為了進一步提高對目標的跟蹤性能和跟蹤效率，一些研究人員提出了anchor-free網絡。

3.2 基于無錨框的分類與邊框回歸目標跟蹤

目前主流的基于孿生網絡的深度學習模型SiamRPN[13]，SiamRPN++[18]，DaSiamRPN[19]，SSD（single shot multibox detector）[52]等依賴于一組預定義的錨框，實現高效的目標跟蹤。但是基于錨框的檢測器具有明顯缺點：一方面，需要預定義一組具有較大參數和固定超參數的錨框，使得檢測性能對與錨框相關的超參數過于敏感;另一方面，為了解決目標跟蹤過程中目標的尺度和劇烈形變問題，需要設置大量錨框，導致正負樣本嚴重不平衡，同時增加了算法的復雜度。為了解決上述問題，有學者提出了anchor-free的目標跟蹤算法。

張睿等[53]采用anchor-free機制，設計了無錨框網絡，包括回歸分支和分類分支。在回歸分支中利用像素點的位置回歸方法直接預測采樣點到目標區域邊界的4個距離值，相對于錨框機制而言，可以有效減少人為設定的超參數的數量，同時增加正樣本數。在分類分支中引入了中心度分支，中心度C（i，j）為

C（i，j）=Tk*（i，j）min（l*，r*）max（l*，r*）×min（t*，b*）max（t*，t*），（7）

式中，定義k*（i，j）=（l*，t*，r*，b*）表示中心度得分圖中任意位置（i，j）所對應的采樣點（x，y）到目標真實邊界區域的4個距離。

其中

Tk*（i，j）=1， k*（i，j）（n）>0， n=0，1，2，3，0， other。（8）

式（8）表示采樣點（x，y）是否在目標區域內，由式（8）可知，如果在目標區域內取值為1，否則為0。

將式（8）代入式（7），當采樣點落在目標區域外部時，式（7）表示的中心度值為0，對于落入目標區域內部的采樣點而言，距離目標中心越近中心度值越高，相反，則越低。最后將相同位置的分類結果與中心度結果進行相乘運算，實現對邊緣點的有效抑制。

FCAF[54]和文獻[55]提出了端到端離線訓練的FCAF模型，采用深度網絡ResNet50提供更深層次的特征表示，同時引入多特征融合模塊，將低級細節信息和高級的語義信息進行有效融合，提高目標的定位性能，用anchor-free 提議網絡代替候選提議網絡（region proposal network），AFPN（anchor-free proposal network）網絡由相關段和監督段組成，其中，相關段通過深度方向互相關實現，監督段由分類分支和回歸分支2個分支組成。另外，為了抑制低質量邊界框的預測，SiamCAR[56]對像素級進行分類。SiamCAR算法由2個簡單的子網絡組成，一個用于特征提取的孿生子網絡，一個用于邊框預測的分類回歸子網絡，主干網絡采用ResNet50。 該算法與現有的基于區域建議的跟蹤器（如SiamRPN[13]，SiamRPN++[18]和SPM[22]）不同，其提出的框架是anchor-free網絡。SiamCAR算法通過anchor-free策略，將網絡的回歸輸出變成了特征圖映射在搜索區域上的點與選定的目標區域邊界（樣本標注gt，ground-truth）4條邊的距離。通過觀察分類得分圖和中心度得分圖，決定最佳目標中心點，然后提取最佳目標中心點與gt框4條邊的距離，得到預測框，從而實現跟蹤。但是，SiamCAR算法將預測的位置映射到原始圖像可能會導致偏差，從而導致跟蹤過程中出現漂移。

為了解決上述問題，在獲得目標區域內多個相鄰像素的預測結果后，對多個相鄰點的預測結果進行加權平均，得到最終目標框，但其帶來的后果是增加了計算過程的復雜度。雖然anchor-free方法可以簡化基于錨的跟蹤器的區域候選模塊，但是基于語義分割的網絡輸出仍然需要后續進行處理。

為了提高無錨框全卷積孿生網絡跟蹤器的跟蹤性能，譚建豪等[57]在訓練過程中引入了相似語義干擾物，同時融合高中低3層特征，提高跟蹤器的魯棒性，在無錨框使用上與FCAF[54]和文獻[55]類似，基于像素直接進行預測回歸，在每個位置僅僅預測一次目標的狀態信息，不再進行錨框相關的編碼過程，減少算法復雜度。為了提高目標跟蹤的準確性，YUAN等[58]提出了多模板更新的無錨孿生網絡目標跟蹤算法，采用一種基于多層特征的雙融合方法將多個預測結果分別進行組合，將低級特征映射與高級特征映射連接起來，充分利用空間信息和語義信息。為了使結果盡可能穩定，將多個預測結果相結合得到最終結果。針對模板更新問題，采用了一種高置信度的多模板更新機制。用平均峰值相關能量來決定模板是否需要更新，采用模板更新機制實現目標跟蹤模板的準確更新，同時算法中使用無錨框網絡實現逐像素目標跟蹤，直接計算對象類別和邊界框。一個完全卷積的單級目標檢測器（FCOS）[59]消除了預先定義的錨框集，同FCAF[54]類似以逐像素預測的方式解決目標檢測，完全避開了與錨框有關的大參數和復雜計算。CenterNet[60]使用三元組檢測每個對象，包括一個中心關鍵點和2個角落。這些無錨框方法可以達到與基于有錨框方法的精確度相似，但是速度更快。

無錨框網絡計算方法[53-57]網絡結構如圖8所示，整個網絡可以分為2個分支：分類分支對每個點進行分類，回歸分支對該點的目標包圍框進行回歸。對于每個響應圖，分類網絡輸出一個分類特征圖和它的2個維度，分別表示對應點的前景和背景分數?；貧w分支輸出一個回歸特征圖，并在對應點上編碼預測邊界框的位置。無錨預測操作完全消除了有錨邊界框相關的復雜計算和復雜的調參問題。

3.3 有錨框與無錨框網絡對比

無論是有錨框還是無錨框的網絡結構都將孿生網絡的跟蹤任務分為了分類和回歸2個部分，分類任務通過對每個像素點進行分類實現前景和背景的分類，回歸任務通過對目標位置的回歸實現跟蹤框的回歸，生成回歸特征圖。通過分類和回歸任務實現對目標中心位置和尺度的預測，實現目標的準確有效跟蹤。但是這些算法在使用分類和回歸任務時是分別進行使用的，二者之間的任務沒有很好地進行聯系使用，導致部分模型在預測目標前景和背景的分類結果與邊框的回歸預測結果不符合，在跟蹤過程中不能得到最優結果。

基于上述分析，如何將分類任務的最高得分與邊框預測的最佳位置相匹配實現最優跟蹤，是目前需要研究的問題。通過分析發現，分類損失函數主要目的是提高正樣本IOU的精度，回歸損失函數主要是提升邊框回歸的定位精度。因此，如何增強分類任務與邊框回歸任務的聯系成為研究重點。從損失函數的角度出發，需要對分類損失函數和回歸損失函數進行改進研究，實現分類損失函數與回歸損失函數的聯合使用，從而實現分類的最高得分即是跟蹤邊框的最佳回歸位置，實現二者的關聯匹配。

有錨框網絡和無錨框網絡的孿生網絡目標跟蹤算法的工作機制以及優缺點對比如表3所示。

4 研究展望

基于孿生網絡的跟蹤算法在發展過程中越來越注重算法的實時性和準確性，尤其是針對復雜環境下目標跟蹤的研究。各類算法都在不斷地對實時性和準確性進行完善和優化，孿生網絡架構的優勢逐漸顯現，未來基于孿生網絡的目標跟蹤算法研究將從以下幾個方面展開。

1）背景信息的訓練。目前大多數基于孿生網絡的跟蹤算法均未考慮背景信息，在目標訓練過程中，只考慮目標的外觀信息，但是當背景中出現相似性物體干擾時，對背景信息的訓練顯得尤為重要。因此，如何實現對背景信息的訓練，并實現有價值的信息在場景中進行傳播，充分利用目標外觀模型和場景信息特征實現對目標的準確定位是值得深入研究的問題。

2）目標富含更多自身語義信息的特征提取。目前大多數算法將目標特征作為一個整體與搜索區域進行相似性計算。但是，在跟蹤目標過程中往往會產生較大的旋轉、位姿變化和嚴重遮擋，對變化目標進行全局匹配的魯棒性不強。因此，在目標跟蹤過程中，實現更多自身語義信息的嵌入，使目標特征更加突出，研究目標跟蹤過程中目標的大小和寬高比的變化，逐步實現跟蹤框的自適應性，是一項重要的研究內容。

3）幀與幀之間的信息傳播。孿生網絡中的模板區域和搜索區域之間的信息嵌入是一個全局信息傳播過程，其中模板向搜索區域傳遞的信息是有限的，信息壓縮過多，最終會導致部分信息出現丟失，因此，需要考慮目標跟蹤過程中幀與幀之間目標部分的信息傳播，因為在跟蹤過程中目標的部分特征相對于形狀和姿態的變化往往是不變的，更具有魯棒性，對于目標的跟蹤定位會更加準確。幀與幀之間目標局部信息的傳播將成為準確跟蹤定位的重要研究內容。

4）跟蹤模型的通用性。在目標跟蹤的多種實際場景中，通過大量數據集進行訓練，或者是通過特定數據集進行離線訓練，實現快速、準確的學習到目標的特征表示，從而實現準確、快速定位跟蹤目標，以及利用跟蹤模型實現通用特征的提取等方面都值得深入研究。

參考文獻/References：

[1] XIAO T，LI H S，OUYANG W L，et al.Learning deep feature representations with domain guided dropout for person re-identification[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）：IEEE，2016：1249-1258.

[2] LIU Q K，CHU Q，LIU B，et al.GSM：Graph similarity model for multi-object tracking[C]//Proceedings of the Twenty-Ninth Interna-tional Joint Conference on Artificial Intelligence.[S.l.]：[s.n.]，2020：530-536.

[3] KRISTAN M，MATAS J，LEONARDIS A，et al.The visual object tracking VOT2015 challenge results[C]//2015 IEEE International Conference on Computer Vision Workshop （ICCVW）.[S.l.]：IEEE，2015：564-586.

[4] TOSHEV A，SZEGEDY C.DeepPose：Human pose estimation via deep neural networks[C]//2014 IEEE Conference on Computer Vision and Pattern Recognition.[S.l.]：IEEE，2014：1653-1660.

[5] LONG J，SHELHAMER E，DARRELL T.Fully convolutional networks for semantic segmentation[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.[S.l.]：IEEE，2015：3431-3440.

[6] BERTINETTO L，VALMADRE J，HENRIQUES J F，et al.Fully-convolutional Siamese networks for object tracking[C]//Computer Vision-ECCV 2016 Workshops.Cham：Springer International Publishing，2016：850-865.

[7] KUAI Y L，WEN G J，LI D D.Masked and dynamic Siamese network for robust visual tracking[J].Information Sciences，2019，503：169-182.

[8] LI Xin，MA Chao，WU Baoyuan，et al.Target-aware deep tracking[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.[S.l.]：IEEE，2019：1369-1378.

[9] LI Peixia，CHEN Boyu，OUYANG Wanli，et al.GradNet：Gradient-guided network for visual object tracking[C]//2019 IEEE/CVF International Conference on Computer Vision （ICCV）.[S.l.]：IEEE，2019：6161-6170.

[10]侯志強，陳立琳，余旺盛，等.基于雙模板Siamese網絡的魯棒視覺跟蹤算法[J].電子與信息學報，2019，41（9）：2247-2255.

HOU Zhiqiang，CHEN Lilin，YU Wangsheng，et al.Robust visual tracking algorithm based on Siamese network with dual templates[J].Journal of Electronics & Information Technology，2019，41（9）：2247-2255.

[11]FAN Heng，LING Haibin.Siamese cascaded region proposal networks for real-time visual tracking[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.[S.l.]：IEEE，2019：7944-7953.

[12]沈雁，王環，戴瑜興.基于改進深度孿生網絡的分類器及其應用[J].計算機工程與應用，2018，54（10）：19-25.

SHEN Yan，WANG Huan，DAI Yuxing.Deep siamese network-based classifier and its application[J].Computer Engineering and Applications，2018，54（10）：19-25.

[13]LI Bo，YAN Junjie，WU Wei，et al.High performance visual tracking with Siamese region proposal network[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.[S.l.]：IEEE，2018：8971-8980.

[14]REN S Q，HE K M，GIRSHICK R，et al.Faster R-CNN：Towards real-time object detection with region proposal networks[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，39（6）：1137-1149.

[15]TAO R，GAVVES E，SMEULDERS A W M.Siamese instance search for tracking[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.[S.l.]：IEEE，2016：1420-1429.

[16]VALMADRE J，BERTINETTO L，HENRIQUESJ，et al.End-to-end representation learning for correlation filter based tracking[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.[S.l.]：IEEE，2017：5000-5008.

[17]CAO Y，JI H B，ZHANG W B，et al.Visual tracking via dynamic weighting with pyramid-redetection based Siamese networks[J].Journal of Visual Communication and Image Representation，2019（65）.DOI：10.1016/j.jvcir.2019.102635.

[18]LI B，WU W，WANG Q，et al.SiamRPN++：Evolution of siamese visual tracking with very deep networks[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.[S.l.]：IEEE，2019：4277-4286.

[19]ZHU Zheng，WANG Qiang，Li Bo，et al.Distractor-aware siamese networks for visual object tracking[C]// European Conference on Computer Vision，Munich.[S.l.]：ECCV，2018：101-117.

[20]HE A F，LUO C，TIAN X M，et al.A twofold Siamese network for real-time object tracking[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.[S.l.]：IEEE，2018：4834-4843.

[21]WANG Q，ZHANG L，BERTINETTO L，et al.Fast online object tracking and segmentation：A unifying approach[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.[S.l.]：IEEE，2019：1328-1338.

[22]陳云芳，吳懿，張偉.基于孿生網絡結構的目標跟蹤算法綜述[J].計算機工程與應用，2020，56（6）：10-18.

CHEN Yunfang，WU Yi，ZHANG Wei.Survey of target tracking algorithm based on siamese network structure[J].Computer Engineering and Applications，2020，56（6）：10-18.

[23]KRIZHEVSKY A，SUTSKEVER I，HINTON G E.ImageNet classification with deep convolutional neural networks[C]//Proceedings of the 25th International Conference on Neural Information Processing Systems.[S.l.]：Curran Associates Inc，2012：1097-1105.

[24]DONG X P，SHEN J B.Triplet loss in Siamese network for object tracking[C]//Computer Vision-ECCV.Cham：Springer International Publishing，2018：472-488.

[25]GUO Q，FENG W，ZHOU C，et al.Learning dynamic Siamese network for visual object tracking[C]//2017 IEEE International Conference on Computer Vision （ICCV）.[S.l.]：IEEE，2017：1781-1789.

[26]ZHANG Yunhua，WANG Lijun，QI Jinqing，et al.Tructured Siamese network for real-time visual tracking[C]// European Conference on Computer Vision.Amsterdam.[S.l.]：ECCV，2018，351-366.

[27]KAREN S ANDREW Z.Very deep convolutional networks for large-scale image recognition[C]// International Conference on Learning Representations.San Diego：ICLR，2015：1-14.

[28]SZEGEDY C，LIU W，JIA YQ，et al.Going deeper with convolutions[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Boston：IEEE，2015：1-9.

[29]HE K M，ZHANG X Y，REN S Q，et al.Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Amsterdam：IEEE，2016：770-778.

[30]ZHANG Z P，PENG H W.Deeper and wider Siamese networks for real-time visual tracking[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.Long Beach：IEEE，2019：4586-4595.

[31]才華，王學偉，朱新麗，等.基于動態模板更新S的孿生網絡目標跟蹤算法[J/OL].吉林大學學報（工學版）.[2021-03-18].DOI：10.13229/j.cnki.jdxbgxb20200962.

CAI Hua，WANG Xuewei，ZHU Xinli，et al.Siamese network target tracking algorithm based on dynamic template updating[J/OL].Journal of Jilin University（Engineering and Technology Edition）.[2021-03-18].DOI：10.13229/j.cnki.jdxbgxb20200962.

[32]馬素剛，趙祥模，侯志強，等.一種基于ResNet網絡特征的視覺目標跟蹤算法[J].北京郵電大學學報，2020，43（2）：129-134.

MA Sugang，ZHAO Xiangmo，HOU Zhiqiang，et al.A visual object tracking algorithm based on features extracted by deep residual network[J].Journal of Beijing University of Posts and Telecommunications，2020，43（2）：129-134.

[33]楊梅，賈旭，殷浩東，等.基于聯合注意力孿生網絡目標跟蹤算法[J].儀器儀表學報，2021，42（1）：127-136.

YANG Mei，JIA Xu，YIN Haodong，et al.Object tracking algorithm based on Siamese network with combined attention[J].Chinese Journal of Scientific Instrument，2021，42（1）：127-136.

[34]QIN X F，ZHANG Y P，CHANG H，et al.ACSiamRPN：Adaptive context sampling for visual object tracking[J].Electronics，2020，9（9）：1528.

[35]WANG Q，TENG Z，XING J L，et al.Learning attentions：Residual attentional Siamese network for high performance online visual tracking[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake City：IEEE，2018：4854-4863.

[36]WANG F，JIANG M Q，QIANC，et al.Residual attention network for image classification[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Hawaii：IEEE，2017：6450-6458.

[37]HU J，SHEN L，SUN G.Squeeze-and-excitation networks[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake City：IEEE，2018：7132-7141.

[38]柏羅，張宏立，王聰.基于高效注意力和上下文感知的目標跟蹤算法[J/OL].北京航空航天大學學報.[2021-03-10].https：//kns.cnki.net/kcms/detail/detail.aspx？FileName=BJHK20210308000&DbName=CAPJ2021.

BAI Luo，ZHANG Hongli，WANG Cong.Target tracking algorithm based on efficient attention and context awareness[J/OL].Journal of Beijing University of Aeronautics and Astronautics.[2021-03-10].https：//kns.cnki.net/kcms/detail/detail.aspx？FileName=BJHK-20210308000&DbName=CAPJ2021.

[39]邵江南，葛洪偉.融合殘差連接與通道注意力機制的Siamese目標跟蹤算法[J].計算機輔助設計與圖形學學報，2021，33（2）：260-269.

SHAO Jiangnan，GE Hongwei.Siamese object tracking algorithm combining residual connection and channel attention mechanism[J].Journal of Computer-Aided Design & Computer Graphics，2021，33（2）：260-269.

[40]宋鵬，楊德東，李暢，等.整體特征通道識別的自適應孿生網絡跟蹤算法[J].浙江大學學報（工學版），2021，55（5）：966-975.

SONG Peng，YANG Dedong，LI CHANG，et al.An adaptive Siamese network tracking algorithm based on global feature channel recognition[J].Journal of Zhejiang University （Engineering Science），2021，55（5）：966-975.

[41]齊天卉，張輝，李嘉鋒，等.基于多注意力圖的孿生網絡視覺目標跟蹤[J].信號處理，2020，36（9）：1557-1566.

QI Tianhui，ZHANG Hui，LI Jiafeng，et al.Siamese network with multi-attention map for visual object tracking[J].Journal of Signal Processing，2020，36（9）：1557-1566.

[42]程旭，崔一平，宋晨，等.基于時空注意力機制的目標跟蹤算法[J].計算機科學，2021，48（4）：123-129.

CHENG Xu，CUI Yiping，SONG Chen，et al.Object tracking algorithm based on temporal-spatial attention mechanism[J].Computer Science，2021，48（4）：123-129.

[43]ZHANG D L，LV J G，CHENG Z，et al.Siamese network combined with attention mechanism for object tracking[C]//The International Archives of the Photogrammetry，Remote Sensing and Spatial Information Sciences.[S.l]：[s.n.]，2020：1315-1322.

[44]ZHANG F B，WANG X F.Object tracking in Siamese network with attention mechanism and mish function[J].Academic Journal of Computing & Information Science，2021，4（1）：75-81.

[45]GAO J Y，ZHANG T Z，XU C S.Graph convolutional tracking[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.Long Beach：IEEE，2019：4644-4654.

[46]YAN S J，XIONG Y J，LIN D H.Spatial temporal graph convolutional networks for skeleton-based action recognition[C].The 32nd AAAI Conference on Artificial Intelligence.USA：Artificial Inteligence，2018：7444-7452.

[47]YU Y C，XIONG Y L，HUANG W L，et al.Deformable Siamese attention networks for visual object tracking[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.[S.l.]：IEEE，2020：6727-6736.

[48]GUO D Y，SHAO Y Y，CUI Y，et al.Graph attention tracking[C]//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.[S.l.]：IEEE，2021：9538-9547.

[49]WANG J Q，CHEN K，YANG S，et al.Region proposal by guided anchoring[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.[S.l.]：IEEE，2019：2960-2969.

[50]尚欣茹，溫堯樂，奚雪峰，等.孿生導向錨框RPN網絡實時目標跟蹤[J].中國圖象圖形學報，2021，26（2）：415-424.

SHANG Xinru，WEN Yaole，XI Xuefeng，et al.Target tracking system based on the Siamese guided anchor region proposal network[J].Journal of Image and Graphics，2021，26（2）：415-424.

[51]李明杰，馮有前，尹忠海，等.一種用于單目標跟蹤的錨框掩碼孿生RPN模型[J].計算機工程，2019，45（9）：216-221.

LI Mingjie，FENG Youqian，YIN Zhonghai，et al.An anchor mask siamese RPN model for single target tracking[J].Computer Engineering，2019，45（9）：216-221.

[52]LIU W，ANGUELOV D，ERHAND，et al.SSD：Single shot multibox detector[C]// Computer Vision-ECCV 2016.Las Vegas：Springer International Publishing，2016：21-37.

[53]張睿，宋荊洲，李思昊.基于無錨點機制與在線更新的目標跟蹤算法[J].計算機工程與應用，2021，57（20）：210-220.

ZHANG Rui，SONG Jingzhou，LI Sihao.Object tracking with anchor-free and online updating[J].Computer Engineering and Applications，2021，57（20）：210-220.

[54]HAN G，DU H，LIU J X，et al.Fully conventional anchor-free Siamese networks for object tracking[J].IEEE Access，2019，7：123934-123943.

[55]杜花.基于全卷積無錨框孿生網絡的目標跟蹤算法研究[D].南京：南京郵電大學，2020.

DU Hua.Research on Object Tracking with Fully Conventional Anchor-free Siamese Network[D].Nanjing：Nanjing University of Posts and Telecommunications，2020.

[56]GUO Dongyan，WANG Jun，CUI Ying，et al.SiamCAR：siamese fully convolutional classification and regression for visual tracking[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.[S.l.]：IEEE，2020：6268-6276.

[57]譚建豪，鄭英帥，王耀南，等.基于中心點搜索的無錨框全卷積孿生跟蹤器[J].自動化學報，2021，47（4）：801-812.

TAN Jianhao，ZHENG Yingshuai，WANG Yaonan，et al.AFST：Anchor-free fully convolutional Siamese tracker with searching center point[J].Acta Automatica Sinica，2021，47（4）：801-812.

[58]YUAN T T，YANG W Z，LI Q，et al.An anchor-free Siamese network with multi-template update for object tracking[J].Electronics，2021，10（9）：1067.

[59]TIAN Z，SHEN C H，CHENH，et al.FCOS：Fully convolutional one-stage object detection[C]//2019 IEEE/CVF International Conference on Computer Vision （ICCV）.Long Beach：IEEE，2019：9626-9635.

[60]ZHOU Xingyi，WANG Dequan，PHILIPP K.Objects as Points[C]// IEEE Conference on Computer Vision and Pattern Recognition.Long Beach：CVPR，2019：1-12.

3475501908271