視覺跟蹤技術(shù)中孿生網(wǎng)絡(luò)的研究進(jìn)展

賀澤民， 曾俊濤， 袁寶璽， 梁德建， 苗宗成

（1.西京學(xué)院 材料與能源科學(xué)技術(shù)研究院， 陜西 西安 710123；2.北京星航機(jī)電裝備有限公司， 北京 100074；3.西北工業(yè)大學(xué) 光電與智能研究院， 陜西 西安 710072）

1 引言

目標(biāo)跟蹤是計算機(jī)視覺領(lǐng)域中熱門的研究領(lǐng)域之一。一般來說，主要的跟蹤過程如下：首先，給出初始視頻幀中的目標(biāo)區(qū)域；其次對跟蹤對象進(jìn)行特征提取；然后進(jìn)行一定的推理，建立起幀的聯(lián)系；最終在后續(xù)的視頻幀中定位到該目標(biāo)，從而實現(xiàn)目標(biāo)追蹤的功能［1］。目前，目標(biāo)跟蹤廣泛應(yīng)用于自動駕駛［2］、人機(jī)互動［3］、視頻監(jiān)控［4］、機(jī)器人視覺［5］等領(lǐng)域。在大多數(shù)情況下，跟蹤器的應(yīng)用場景相當(dāng)復(fù)雜，存在很多干擾，包括遮擋、目標(biāo)變形、相似物體、尺度變換、光照變化、快速運動等［6］。

近年來，深度學(xué)習(xí)發(fā)展迅速，尤其是深度卷積神經(jīng)網(wǎng)絡(luò)，極大地促進(jìn)了目標(biāo)追蹤任務(wù)的進(jìn)展［7］。深度學(xué)習(xí)作為一種強(qiáng)大的表示學(xué)習(xí)，能從原始數(shù)據(jù)中自動獲取具有抽象語義信息的特征表示，大量以深度學(xué)習(xí)為主的跟蹤器紛紛涌現(xiàn)［8］。大多數(shù)跟蹤器都是在離線時進(jìn)行特征提取，需要網(wǎng)絡(luò)在線才能訓(xùn)練，這導(dǎo)致了目標(biāo)追蹤的魯棒性較差，極大地影響了跟蹤的精度和速度［9］。基于孿生網(wǎng)絡(luò)的目標(biāo)跟蹤算法因為其優(yōu)秀的精度和速度逐漸被人們廣泛關(guān)注。孿生神經(jīng)網(wǎng)絡(luò)的概念首先是由LeCun等人提出。孿生網(wǎng)絡(luò)最早用于驗證支票上的簽名是否與銀行里備案的簽名一致，后用于對比兩個輸入的相似度，隨后又逐漸應(yīng)用到目標(biāo)跟蹤領(lǐng)域［10］。最先是由Tao等人提出的SINT算法。SINT算法將模型分成兩個相同的分支，然后將標(biāo)記框和多個候選框分別輸入到兩個分支中，得到每個候選框與邊界框的匹配分?jǐn)?shù)，然后選擇得分最高的候選框。但由于候選框太多，導(dǎo)致訓(xùn)練的時間較長，使跟蹤器實時性較差［11］。鑒于這個問題，Bertinetto等人在基于SINT前提上提出完全卷積孿生網(wǎng)絡(luò)SiamFC，基本思路就是從搜索區(qū)域和目標(biāo)模板中提取特征，通過比較搜索區(qū)域與目標(biāo)模板的相似度，最后得到搜索區(qū)域的分?jǐn)?shù)圖。通過運用最小化損失函數(shù)獲得最優(yōu)模型，實現(xiàn)實時跟蹤［12］。

雖然基于孿生網(wǎng)絡(luò)的追蹤算法比之前的追蹤算法在性能上有所提高，但由于環(huán)境的復(fù)雜性，遮擋、變形等干擾因素都會對其產(chǎn)生較大的影響。為此，國內(nèi)外許多學(xué)者在孿生網(wǎng)絡(luò)的基礎(chǔ)上提出了許多跟蹤算法，本文從3個方面對基于孿生網(wǎng)絡(luò)的目標(biāo)跟蹤進(jìn)行總結(jié)，分別為基于注意力機(jī)制孿生神經(jīng)網(wǎng)絡(luò)的目標(biāo)跟蹤、基于超參數(shù)推理孿生網(wǎng)絡(luò)的目標(biāo)跟蹤、基于模板更新孿生網(wǎng)絡(luò)的目標(biāo)跟蹤。其中注意力機(jī)制是指使神經(jīng)網(wǎng)絡(luò)具備專注于輸入或者特征的能力，即選擇特定的輸入，用來提取圖像中的關(guān)鍵信息，同時忽略無關(guān)信息的難題；超參數(shù)推理是指用超參數(shù)調(diào)優(yōu)使模型性能最大化的超參數(shù)正確組合的過程，用來解決搜索區(qū)域的搜索尺度較大的難題；模板更新是指用后續(xù)幀的信息來更新模板，解決只使用第一幀作為模板的難題。最后，對孿生網(wǎng)絡(luò)進(jìn)行了總結(jié)。

2 基于注意力機(jī)制孿生神經(jīng)網(wǎng)絡(luò)的目標(biāo)追蹤

單目標(biāo)跟蹤的主要目的是通過分析攝像頭捕獲的圖像序列模擬生理視覺系統(tǒng)的運動感知功能，計算運動目標(biāo)在圖像的每一幀中的位置；然后，根據(jù)運動目標(biāo)相關(guān)的特征值，將圖像序列中連續(xù)幀的同一運動目標(biāo)關(guān)聯(lián)起來，獲得每一幀中目標(biāo)的運動參數(shù)以及目標(biāo)在相鄰幀之間的對應(yīng)關(guān)系，從而得到目標(biāo)的完整運動軌跡，圖1為近幾年單目標(biāo)跟蹤算法的經(jīng)典算法發(fā)展歷程。傳統(tǒng)的遞歸神經(jīng)網(wǎng)絡(luò)（RNN）在機(jī)器翻譯中運用廣泛，但存在一些問題，如結(jié)構(gòu)時間復(fù)雜度高、效率很低等。為了解決這些問題，Ashish等人提出了注意力機(jī)制這個概念［13］，從此注意力機(jī)制受到關(guān)注并得到應(yīng)用。Gao等人提出了一種名為TASNet的模板注意孿生網(wǎng)絡(luò)，核心就是結(jié)合第一幀和最新幀兩個模板的檢測結(jié)果，用注意機(jī)制計算模板的權(quán)重，獲得更好的跟蹤性能［14］。Wang等人開發(fā)了一個名為RASNet的跟蹤器，在Siamese框架中重新指定了相關(guān)過濾器，并引入不同類型的注意力機(jī)制來適應(yīng)模型的需要，而不需要在線更新模型。他們利用離線訓(xùn)練的一般注意、目標(biāo)適應(yīng)的剩余注意和選取特征的通道注意，不僅減輕了深度網(wǎng)絡(luò)訓(xùn)練的過擬合問題，并且還增強(qiáng)了網(wǎng)絡(luò)的適應(yīng)能力和辨別能力，提高了魯棒性［15］。He等人建立了用于實時跟蹤對象的一個雙重孿生網(wǎng)絡(luò)SA-Siam。SA-Siam是由語義分支和外觀分支組成，每個分支都是一個相似學(xué)習(xí)的孿生網(wǎng)絡(luò)，其中語義分支引入了一種通道注意機(jī)制，用來增加語義分支的識別能力［16］。

圖1 單目標(biāo)跟蹤的發(fā)展歷程Fig.1 Evolution of single target tracking

Li等人指出，不同的特征通道對跟蹤的貢獻(xiàn)不同。他們提出的HSSNet跟蹤器利用了一個簡單的通道注意網(wǎng)絡(luò)來自適應(yīng)地分配不同的特征通道的權(quán)重，使追蹤器能夠有多級特征融合功能［17］。Yang等人利用不同注意機(jī)制有效地融合不同層的一系列注意特征，提出了分層注意孿生網(wǎng)絡(luò)HASiam。HASiam充分利用了不同層次的特征，在不同層次應(yīng)用空間關(guān)注和通道關(guān)注，更好地捕捉多層次語義上的視覺關(guān)注，有助于增強(qiáng)模型的識別功能。此外，頂層特征圖的分辨率較低。為了解決這個問題，在頂層中采用了非局部注意模塊［18］。Shen等人也提出了分層注意孿生網(wǎng)絡(luò)，但與前者不同的是，他們是將注意機(jī)制引入孿生網(wǎng)絡(luò)，通過計算注意權(quán)重增加匹配辨別能力［19］。SiamDA也在SiamFC的基礎(chǔ)上引用了通道注意模塊和非局部注意模塊，提出了雙重注意機(jī)制，提高了模型的識別能力，網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示［20］。TA-ASiam根據(jù)引入不同的訓(xùn)練模式，可以同時捕獲位置感知和外觀感知兩種類型所需要的特征，然后根據(jù)特征分布規(guī)律，將通道注意網(wǎng)絡(luò)與空間注意網(wǎng)絡(luò)相結(jié)合，構(gòu)建有效的特征選擇模塊，以適應(yīng)物體外觀的快速變化［21］。

圖2 SiamDA的網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 SiamDA network structure of SiamDA

為了使孿生網(wǎng)絡(luò)可以在網(wǎng)絡(luò)中使用注意機(jī)制，許多學(xué)者引用了注意模塊。Yang等人開發(fā)了一個端到端的孿生注意網(wǎng)絡(luò)SiamAtt，在網(wǎng)絡(luò)中引入一個注意分支和分類分支，然后根據(jù)這兩個分支的得分重融合，獲得最后的目標(biāo)位置［22］。SATIN采用了一種新的交叉注意模塊，利用通道級和空間級中間的注意信息，提高了特征圖的識別能力和定位能力，從而進(jìn)一步提高了跟蹤性能［23］。SiamCC也采用了交叉注意特征增強(qiáng)模塊，用來解決前景背景與非語義背景之間的不平衡問題，極大提高了昏暗光影環(huán)境下視頻目標(biāo)跟蹤的精度［24］。SiamTC引入了一種新的目標(biāo)識別注意模塊，計算了模板分支和搜索分支之間的空間交叉注意以便傳遞相關(guān)信息，并且引入了精確跟蹤機(jī)制，進(jìn)一步提高了目標(biāo)識別的能力［25］。

大多數(shù)基于Siamese的跟蹤器都是依賴于一個固定的對象模板來匹配搜索區(qū)域內(nèi)的目標(biāo)，而忽視了特征表示對跟蹤任務(wù)的重要性。為了解決這個問題，Zhao等人提出用圖卷積網(wǎng)絡(luò)改進(jìn)Siamese跟蹤器SAGT，將目標(biāo)對象劃分為幾個子部分，并且設(shè)計了一個注意圖卷積網(wǎng)絡(luò)來建模各部分之間的關(guān)系，以端到端的方式在每一幀用注意方案增量更新圖的注意系數(shù)。而且采用一種基于深度強(qiáng)化學(xué)習(xí)的可學(xué)習(xí)級聯(lián)回歸算法來優(yōu)化預(yù)測的邊界框來進(jìn)一步提高定位精度［26］。Huang等人提出了一個基于注意轉(zhuǎn)移學(xué)習(xí)的孿生網(wǎng)絡(luò)SiamATL，它通過注意的在線更新策略明確地對模板和周圍環(huán)境建模，以避免環(huán)境污染，并且結(jié)合相互補(bǔ)償機(jī)制，充分利用了之前的知識來激勵決策模塊中的當(dāng)前跟蹤器學(xué)習(xí)，實現(xiàn)在線跟蹤［27］。Xiao等人也基于在線更新的思想，提出了在線更新目標(biāo)跟蹤的孿生注意網(wǎng)絡(luò)SBAN，將兩個互補(bǔ)的全局描述符整合在一起，建立信道之間的相互依賴關(guān)系，生成信道權(quán)重和增強(qiáng)關(guān)鍵特征，然后在線更新模塊利用之前的跟蹤信息，集成給定模板、流程模板和最后跟蹤的結(jié)果來更新目標(biāo)模塊，以此來提高目標(biāo)跟蹤能力。網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示［28］。

圖3 SBAN的網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Network structure of SBAN

表1是基于注意力機(jī)制的孿生網(wǎng)絡(luò)目標(biāo)跟蹤算法在數(shù)據(jù)集VOT2017上的具體表現(xiàn)，數(shù)據(jù)集包含視頻序列，通過自動生成邊框?qū)?shù)據(jù)集進(jìn)行重新標(biāo)注，使標(biāo)注更加合理。評價指標(biāo)為準(zhǔn)確性、魯棒性和EAO。其中準(zhǔn)確性是指跟蹤器在單個測試序列下的平均重疊率；魯棒性是指單個測試序列下的跟蹤器失敗次數(shù)，當(dāng)重疊率為0時判定為失敗；EAO是指平均重疊期望，表明跟蹤器在一個短時圖像序列上的非重置重疊的期望值。準(zhǔn)確性和EAO的值都是越大越好，而魯棒性的值越小則代表系統(tǒng)越穩(wěn)定。表1中的SBAN和TA-Siam的準(zhǔn)確性都超過了0.6。這是因為SBAN運用了無全連接層的ResNet50作為骨干網(wǎng)，殘差網(wǎng)絡(luò)能夠為網(wǎng)絡(luò)后續(xù)計算提供深層次的語義特征，避免了梯度消失的問題，并且采用了注意力模塊，提高了跟蹤的準(zhǔn)確性。TA-Siam也采用了ResNet-50殘差網(wǎng)作為骨干網(wǎng)，并且對殘差網(wǎng)絡(luò)進(jìn)行了修改，即去除最后一個殘差模塊，并且減少步幅，引入了擴(kuò)張卷積，提高了準(zhǔn)確性。但SBAN由于采用了在線更新模塊，在線更新能夠?qū)ν饨缒繕?biāo)形變、環(huán)境等因素做出反應(yīng)，導(dǎo)致魯棒性較強(qiáng)和EAO的值較大。SAGT的精確性和魯棒性都較強(qiáng)的原因是采用了注意圖卷積網(wǎng)絡(luò)，圖卷積網(wǎng)絡(luò)能夠從圖數(shù)據(jù)中提取特征，利用這些特征對圖數(shù)據(jù)進(jìn)行分類和邊緣預(yù)測，并且還可學(xué)習(xí)級聯(lián)網(wǎng)絡(luò)提高定位精度，但缺點是FPS較低，只有25。SiamDA雖然準(zhǔn)確性、魯棒性和EAO沒有前幾種算法好，但FPS較高，達(dá)到了80。TASNet、SA-Siam、SiamAtt、SiamATL算法的準(zhǔn)確性基本都大于0.5，EAO的值也都大于0.2，且FPS都大于25，達(dá)到了實時跟蹤的效果，可見基于注意力機(jī)制的目標(biāo)跟蹤算法都有著較好的性能。

表1 基于注意力機(jī)制孿生網(wǎng)絡(luò)的算法對比Tab.1 Comparison of twin network algorithms based on attention mechanism

3 基于超參數(shù)推理孿生神經(jīng)網(wǎng)絡(luò)的目標(biāo)追蹤

單個響應(yīng)圖或者是相似圖不能包含足夠的空間信息［29］。為了處理這個問題，學(xué)者一般采用的方法是在多個尺度上進(jìn)行匹配，以確定對象尺度的變化。SiamFC在5個尺度1.025｛-2，-1，0，1，2｝上進(jìn)行對象搜索，然后以系數(shù)為0.35的線性插值更新比例提供阻尼［12］。作者還提供了一種只需要3個尺度的版本SiamFC-3s，將原來只有58幀/s的速度提升到85幀/s，精度從原來的0.524 0提升到0.533 5［12］。

目前的趨勢似乎偏離了多尺度的搜索。Siam-RPN通過使用區(qū)域建議網(wǎng)絡(luò)避免了多尺度的搜索，并且引入了錨點和許多的超參數(shù)。對于Siam-RPN，超參數(shù)調(diào)優(yōu)是成功追蹤的關(guān)鍵之一，網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示［30］。Siamese CNN結(jié)合了Siam-RPN的區(qū)域建議網(wǎng)絡(luò)和特定領(lǐng)域的更新，使網(wǎng)絡(luò)能夠?qū)μ囟ǖ男蛄懈哂斜鎰e能力，并且區(qū)域建議網(wǎng)絡(luò)與跟蹤網(wǎng)絡(luò)共享權(quán)重，因此不需要花費太多的時間進(jìn)行區(qū)域建議，并且采用了特定領(lǐng)域的微調(diào)和基于短期和長期的在線更新，顯著提高了跟蹤性能［31］。DaSiamRPN引入了干擾感知特征學(xué)習(xí)方案，使模型專注于語義干擾，提高了網(wǎng)絡(luò)的識別能力，進(jìn)而提高了追蹤的魯棒性［32］。Siam-RPN++在SiamRPN的基礎(chǔ)上做了一些改進(jìn)，首先用更深的網(wǎng)絡(luò)ResNet-50引入到孿生網(wǎng)絡(luò)中，加深了骨干網(wǎng)，并且消除了除填充的其他因素的影響，獲得了顯著的追蹤性能提升［33］。FCAF則提出用無錨建議網(wǎng)絡(luò)AFPN來取代區(qū)域建議網(wǎng)絡(luò)RPN，與SiamRPN++一樣，也采用ResNet-50網(wǎng)絡(luò)提供更豐富的特征表示，以代替骨干網(wǎng)比較淺的孿生網(wǎng)絡(luò)，并且引入了特征融合模塊，將底層細(xì)節(jié)信息與高層次語義特征有效結(jié)合，提高定位性能。為了抑制低質(zhì)量的邊界框預(yù)測，增加了中心度分支［34］。Zhang等人提出了一種基于Siam-RPN的移動錨點分布結(jié)構(gòu)，使錨點回歸以目標(biāo)為中心，通過自適應(yīng)可靠性評估和在線模板更新，克服了SiamRPN不能根據(jù)特定目標(biāo)在線更新模型的缺點，模板的判別性能有了很大提升。此外，為了解決誤報誤導(dǎo)的問題，加入了多軌跡跟蹤機(jī)制，不斷提高追蹤器的分類能力［35］。SiamGan則采用導(dǎo)向錨點的方法，獲得更具有代表性的錨點，減少負(fù)樣本帶來的不利影響，提高了跟蹤器的魯棒性，并且結(jié)合了特征適應(yīng)模板，用來適應(yīng)目標(biāo)尺度的變化，學(xué)習(xí)更具有鑒別性和有用性的特征，提高了跟蹤效率［36］。SiamCAR由兩個簡單的子網(wǎng)絡(luò)組成：一個用于特征提取的Siamese子網(wǎng)絡(luò)和一個用于邊界框預(yù)測的分類回歸子網(wǎng)絡(luò)，不僅避免了多尺度搜索、錨點和區(qū)域建議，而且以很少的超參數(shù)提供了最先進(jìn)的性能，網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示［29］。

圖4 SiamRPN的網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 Network structure of SiamRPN

圖5 SiamCAR的網(wǎng)絡(luò)結(jié)構(gòu)Fig.5 Network structure of SiamCAR

多域網(wǎng)絡(luò)（MDNet）將目標(biāo)追蹤看成是一種分類任務(wù)［37］，因此，與SiamCAR非常相似的結(jié)構(gòu)SiamBAN也將視覺跟蹤問題看成同時進(jìn)行的分類任務(wù)和回歸任務(wù)，完全避免了錨框。SiamBAN利用全卷積網(wǎng)絡(luò)的表達(dá)能力，而不需要預(yù)先定義錨框估計目標(biāo)的尺度和縱橫比這種繁瑣的啟發(fā)式配置［38］。Siamese-ORPN則基于SiamRPN結(jié)合特征融合，形成了一種自頂向下的特征融合網(wǎng)絡(luò)。該網(wǎng)絡(luò)可以從視覺語義層次結(jié)構(gòu)的多樣性中獲得顯著收益，并且結(jié)構(gòu)簡單有效，具有相當(dāng)?shù)母櫺剩?9］。它們的設(shè)計易于使用，無需在訓(xùn)練前進(jìn)行過多的超參數(shù)選擇，就像基于SiamRPN的跟蹤器一樣，開發(fā)的盒自適應(yīng)頭由分類、回歸模塊構(gòu)成，每個模塊都融合了屬于搜索分支和模板分支的特征。由于張量形狀的不同，它們在主干的不同層次上進(jìn)行預(yù)測，即對來自搜索分支和模板分支的第i個卷積層進(jìn)行預(yù)測，對第i+1個卷積層進(jìn)行預(yù)測，以此類推，然后這些部分的預(yù)測匯集成最后的響應(yīng)。表2是基于超參數(shù)推理孿生神經(jīng)網(wǎng)絡(luò)的目標(biāo)跟蹤算法在VOT2018數(shù)據(jù)集上的對比，后面的算法在性能上相比于最初的SiamFC有了很大的提升。其中首個使用區(qū)域建議網(wǎng)絡(luò)的SiamRPN在速度和精度上都得到了很大的提升，其速度為160 FPS。DaSiamRPN速度也能達(dá)到160 FPS，且準(zhǔn)確性和EAO與SiamRPN相近，但魯棒性弱于SiamRPN。SiamRPN++的準(zhǔn)確性和EAO高于SiamRPN，并且魯棒性也強(qiáng)于SiamRPN，這是因為SiamRPN++采用了網(wǎng)絡(luò)較深的ResNet-50殘差網(wǎng)絡(luò)代替了原先骨干網(wǎng)比較淺的網(wǎng)絡(luò)，并且消除了中心偏差的影響，提高了性能。但由于網(wǎng)絡(luò)較深，導(dǎo)致FPS遠(yuǎn)低于SiamRPN。SiamGAN和SiamBAN的整體性能相近，SiamBAN采用無錨機(jī)制在某些情況下可以提供靈活的邊界框回歸，SiamGAN則采用導(dǎo)向錨定區(qū)域建議網(wǎng)絡(luò)選擇一個更有代表性的錨框，減少了錨框的計算量。這兩種算法相比于Siam-RPN都提高了魯棒性。Siamese-ORPN不僅在性能上在這些算法中最優(yōu)，并且FPS也達(dá)到了85，展現(xiàn)出強(qiáng)大的性能。

表2 基于超參數(shù)推理孿生網(wǎng)絡(luò)的算法對比Tab.2 Comparison of twin network algorithms based on hyperparametric inference

4 基于模板更新孿生神經(jīng)網(wǎng)絡(luò)的目標(biāo)追蹤

在目前的單目標(biāo)追蹤任務(wù)中，許多基于孿生網(wǎng)絡(luò)的目標(biāo)跟蹤算法只使用第一幀信息作為模板，而沒有很好地利用后續(xù)幀的信息。特別是當(dāng)這些信息中包含重要特征時，在處理復(fù)雜環(huán)境下的目標(biāo)遮擋、非剛性形狀變形、平面外旋轉(zhuǎn)等問題時表現(xiàn)出了魯棒性較差、目標(biāo)漂移等問題，這些問題可能會導(dǎo)致性能下降甚至跟蹤失敗。為了解決這個問題，一些學(xué)者開始采用模板更新的方法。Dsiam通過一個快速轉(zhuǎn)換學(xué)習(xí)的模型，有效地實現(xiàn)了模板更新，并且抑制了背景干擾［40］。UpdateNet的卷積神經(jīng)網(wǎng)絡(luò)通過給定初始模板、累計模板和當(dāng)前幀的模板估計下一幀的最佳模板，達(dá)到模板更新的目的［41］。而GradNet使用梯度指導(dǎo)視覺跟蹤中模板更新，并且為了保證較強(qiáng)的自適應(yīng)能力和避免過擬合，提供了一種模板泛化方法［42］。SiamAttn通過引入一種新的孿生注意機(jī)制，通過通道注意選擇性強(qiáng)調(diào)相互依賴的通道特征，提供了一種自適應(yīng)更新目標(biāo)模板的隱式方式［43］。Fang等人提出了一種自適應(yīng)分層的孿生追蹤算法，引入層次特征的提取，補(bǔ)充了目標(biāo)形態(tài)的深度信息，有效提高了復(fù)雜環(huán)境下相似目標(biāo)的識別能力，并且采用了自適應(yīng)模板機(jī)制，實現(xiàn)了模板更新圖像的動態(tài)更新，解決了從第一幀獲取的信息可能過時的問題，最終實現(xiàn)了在多種自然場景下的實時跟蹤［44］。Xu等人使用輪廓檢測網(wǎng)絡(luò)和全卷積孿生跟蹤網(wǎng)絡(luò)，并結(jié)合形狀自適應(yīng)模板更新，實現(xiàn)實時跟蹤［45］。為了解決目標(biāo)變形導(dǎo)致跟蹤失敗的問題，他們還提出了一種新的模板更新方法，通過利用模板更新模塊對整個跟蹤過程進(jìn)行重構(gòu)，并且使用輪廓模板代替?zhèn)鹘y(tǒng)的邊界框模板進(jìn)行實時跟蹤［46］。

Liang等人提出了一種新的局部語義網(wǎng)絡(luò)LSSiam，通過提取更健壯的特征來解決目標(biāo)飄逸問題，并且提出了一種有效的模板更新策略，即在跟蹤階段，讓網(wǎng)絡(luò)參數(shù)固定而不對網(wǎng)絡(luò)進(jìn)行微調(diào)，只在關(guān)鍵幀處更新模板的特征，以避免過多的計算負(fù)荷［47］。Zhang等人提出了一種魯棒自適應(yīng)學(xué)習(xí)視覺跟蹤算法SiamRAL，分別從模板幀和搜索區(qū)域中提取HOG特征、CN特征和深度卷積特征，分析每個特征的優(yōu)點，進(jìn)行特征自適應(yīng)融合，提高特征表示的有效性。引入了一種模板更新策略，在跟蹤失敗、變形或者背景模糊等情況下，利用平均峰值相關(guān)能量（APCE）來確定是否更新學(xué)習(xí)變化因子，以提高跟蹤模型的精度，減少跟蹤漂移［48］。SiamRTU基于強(qiáng)化學(xué)習(xí)和actorcritic框架進(jìn)行目標(biāo)追蹤。在該框架中，網(wǎng)絡(luò)根據(jù)每一幀的跟蹤結(jié)果有效更新模板。這種更新模板策略提高了跟蹤精度，表現(xiàn)出優(yōu)秀的跟蹤性能［49］。Zhang等人提出一個集成了輕量級孿生網(wǎng)絡(luò)和模板引導(dǎo)學(xué)習(xí)的跟蹤框架，引入一種兩步修剪方法來壓縮孿生網(wǎng)絡(luò)，構(gòu)建模板引導(dǎo)學(xué)習(xí)模型，通過補(bǔ)償不同模板的獨立優(yōu)點和抑制學(xué)習(xí)過程中的干擾，對模板進(jìn)行在線更新，以增強(qiáng)模型對外觀變化的適應(yīng)性，從而緩解模型退化問題［50］。

雖然模板更新的方法增加了跟蹤的準(zhǔn)確性，但模板更新往往會伴隨一個困境，如果遇到漂移到背景或者相似外觀對象時會增加跟蹤失敗的風(fēng)險。為了解決這個問題，SiamFT首先對可見光用可見光網(wǎng)絡(luò)與紅外圖像用紅外網(wǎng)絡(luò)進(jìn)行處理，將兩個網(wǎng)絡(luò)中提取的可見光和紅外模板圖像的卷積特征進(jìn)行拼接，形成融合模板圖像，然后對融合的模板特征和融合的搜索特征進(jìn)行交叉關(guān)系，得到最終的響應(yīng)圖并得到跟蹤結(jié)果［51］。DIMP［52］和PrDIMP50［53］則通過結(jié)合連體結(jié)構(gòu)和在線更新，對目標(biāo)特征和背景外觀信息充分利用進(jìn)行目標(biāo)模板更新，獲得了顯著的性能。此外，SiamEM則通過增強(qiáng)模板的方式，構(gòu)建一個額外的模板框架作為推理階段魯棒預(yù)測的替代模板，無需額外的訓(xùn)練成本，解決了實例空間的欠擬合問題［54］。SiamET也通過增強(qiáng)模板模塊，采用Resnet-50作為骨干網(wǎng)，通過離線訓(xùn)練提高了追蹤的魯棒性，展現(xiàn)出優(yōu)秀的追蹤性能，網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示［55］。

圖6 SiamET的網(wǎng)絡(luò)結(jié)構(gòu)Fig.6 Network structure of SiamET

基于模板更新孿生網(wǎng)絡(luò)的目標(biāo)跟蹤算法解決了大部分算法使用第一幀的信息作為模板的缺點，使其可以很好地利用后續(xù)幀的信息，而不用再依賴于第一幀的模板，在一定程度上改變了孿生網(wǎng)絡(luò)目標(biāo)跟蹤的格局。表3為模板更新目標(biāo)跟蹤算法在VOT2016數(shù)據(jù)集測試下的性能對比。從表3可以看出，性能最好的是采用了新的可變形注意模塊和自適應(yīng)模板更新模塊的SiamAttn，其準(zhǔn)確性為0.680，魯棒性為0.140，EAO為0.537，F(xiàn)PS為33，達(dá)到了實時跟蹤的效果；其次是UpdateNet，其EAO為0.481，準(zhǔn)確性為0.610，魯棒性為0.206，也能保持實時跟蹤效果。雖然SiamRTU的性能也很好，其準(zhǔn)確性和EAO分別達(dá)到了0.603和0.423，但其FPS只有20。因為該網(wǎng)絡(luò)要對每對模板生成響應(yīng)映射，并且要計算響應(yīng)值，采用最高的響應(yīng)映射來預(yù)測當(dāng)前幀中的目標(biāo)位置，大幅提高了計算量，導(dǎo)致FPS較低。使用模板泛化的GradNet雖然性能不如之前的幾種算法，但是FPS達(dá)到了80，速度遠(yuǎn)超于前面幾種。DSiam、SiamET和SiamRAL算法的準(zhǔn)確性都大于0.5，EAO大于0.2，基本都達(dá)到了實時跟蹤的FPS。

表3 基于模板更新孿生網(wǎng)絡(luò)的算法對比Tab.3 Comparison of template-based update twin network algorithms

5 實驗結(jié)果與分析

本文通過對基于注意力機(jī)制孿生神經(jīng)網(wǎng)絡(luò)的目標(biāo)追蹤、基于多尺度推理孿生神經(jīng)網(wǎng)絡(luò)的目標(biāo)追蹤和基于模板更新孿生神經(jīng)網(wǎng)絡(luò)的目標(biāo)追蹤3種方法中選擇代表性的幾種算法和其他幾種追蹤算法進(jìn)行測試。算法包括BiDiMP，Siam-RPN++、BiSiamDA、DaSiamRPN、SiamDA、GradNet、MDNet、PrDiMP50、CCOT、ATOM、TADT和GCT，基于注意力機(jī)制的算法有Siam-DA和BiSiamDA，基于超參數(shù)推理的算法有Siam-RPN++和DaSiamRPN，基于模板更新的算法有BiDiMP、GreadNet和PrDiMP50。測試工具的數(shù)據(jù)集為最受歡迎的基準(zhǔn)目標(biāo)跟蹤數(shù)據(jù)集之一OTB-2015。它由100個具有挑戰(zhàn)性的視頻組成，帶有遮擋、形變、快速運動、模糊等11個視頻屬性，便于分析跟蹤器應(yīng)對不同場景的能力。

圖7為12種算法在數(shù)據(jù)集OTB-2015的結(jié)果，包含精確度圖和成功率圖。精確度圖的橫坐標(biāo)代表位置誤差閾值，縱坐標(biāo)代表精確度，曲線代表跟蹤算法估計的目標(biāo)位置的中心點與地面實況之間的距離小于給定閾值的百分比。成功率圖的橫坐標(biāo)代表重合度閾值，縱坐標(biāo)代表成功率AUC，曲線代表擴(kuò)展到給定閾值的重疊分?jǐn)?shù)。當(dāng)某一幀重合率大于設(shè)定的閾值，則該幀被視為成功。圖中不同顏色代表不同的算法，方框的值代表該算法的指標(biāo)，指標(biāo)越大則性能越好。從圖7可以看出，通過雙線性特征增強(qiáng)的模板更新DiMP取得了最優(yōu)的性能，精確度達(dá)到了0.919，AUC達(dá)到了0.703，均高于SiamRPN++、SiamDA和DaSiamRPN等孿生跟蹤器；基于超參數(shù)推理的SiamRPN++以AUC0.696取得了第二的跟蹤結(jié)果，以0.052的差距領(lǐng)先于基于注意力機(jī)制的SiamDA；排名第三的是結(jié)合連體結(jié)構(gòu)和在線模板更新的PrDiMP50，AUC為0.693；基于注意力機(jī)制的SiamDA的AUC為0.644。雖然基于注意力機(jī)制和超參數(shù)推理的方法二者都表現(xiàn)出不錯的性能，但模板更新方法在性能上表現(xiàn)得更加優(yōu)秀，表明未來孿生網(wǎng)絡(luò)單目標(biāo)跟蹤算法將是以模板更新相結(jié)合。基于注意力機(jī)制和超參數(shù)推理的目標(biāo)跟蹤算法都可以對特征進(jìn)行提取，且不需要對模板進(jìn)行更新，可以用于環(huán)境穩(wěn)定持久的跟蹤。基于模板更新的目標(biāo)跟蹤算法能夠?qū)ν饨绛h(huán)境變化做出反應(yīng)，提高了追蹤器的性能。表4分別對3種基于孿生網(wǎng)絡(luò)目標(biāo)跟蹤算法進(jìn)行了總結(jié)和歸納。可以看出，孿生網(wǎng)絡(luò)目標(biāo)跟蹤算法在與時俱進(jìn)，性能也在不斷提高。

表4 3種孿生網(wǎng)絡(luò)方法代表的算法對比Tab.4 Comparisons of the represent algorithms of three twin network methods

圖7 3種方法中代表算法在OTB-2015數(shù)據(jù)集上的比較。（a）成功率圖；（b）精度圖。Fig.7 Comparison of the representative algorithms in the three methods done on the OTB-2015 dataset. （a） Success rate plot； （b） Accuracy plot.

6 結(jié)論

隨著孿生網(wǎng)絡(luò)的出現(xiàn)，目標(biāo)跟蹤得到了突破性的提升。本文介紹了基于孿生網(wǎng)絡(luò)目標(biāo)跟蹤算法的進(jìn)程，根據(jù)孿生網(wǎng)絡(luò)的特點分為3個方面，即基于注意力機(jī)制、基于超參數(shù)推理和基于模板更新孿生網(wǎng)絡(luò)的目標(biāo)跟蹤，這些特點都使孿生網(wǎng)絡(luò)擁有優(yōu)異的追蹤性能。將這3個方面的代表算法在OTB-2015數(shù)據(jù)集上進(jìn)行了評估，孿生跟蹤器表現(xiàn)出優(yōu)越的性能。雖然孿生網(wǎng)絡(luò)的方法比其他傳統(tǒng)方法具有一定的優(yōu)勢，但在實際應(yīng)用中，孿生跟蹤算法仍然在速度和性能上難以滿足任務(wù)的需求。結(jié)合文獻(xiàn)算法分析和總結(jié)，我們對未來的孿生目標(biāo)跟蹤算法提出以下方面考慮：

（1）提高性能。隨著研究人員繼續(xù)探索孿生網(wǎng)絡(luò)的不同變化并優(yōu)化其架構(gòu)，我們可以期待在廣泛的任務(wù)上看到其性能的提高。這可能涉及調(diào)整孿生網(wǎng)絡(luò)之間共享信息的方式，或以更復(fù)雜的方式整合兩個子網(wǎng)絡(luò)的輸出。

（2）提高模型泛化能力。目前孿生網(wǎng)絡(luò)的跟蹤算法進(jìn)行特征提取時，網(wǎng)絡(luò)的層數(shù)一般較多，需要在ImageNet的數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練，訓(xùn)練周期相對較長，未來可以通過無監(jiān)督訓(xùn)練或者小樣本訓(xùn)練來提高算法的泛化能力。

（3）與其他架構(gòu)的結(jié)合。孿生網(wǎng)絡(luò)可以與其他神經(jīng)網(wǎng)絡(luò)架構(gòu)相結(jié)合，以創(chuàng)建更復(fù)雜的模型。例如，研究人員已經(jīng)探索了將孿生網(wǎng)絡(luò)與注意力機(jī)制或強(qiáng)化學(xué)習(xí)技術(shù)相結(jié)合。比如Transformer結(jié)構(gòu)能夠關(guān)注相關(guān)的信息而忽略不相關(guān)的信息，克服了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的一些局限性。雖然近兩年孿生結(jié)構(gòu)結(jié)合Transformer的跟蹤算法還處于基礎(chǔ)階段，與孿生網(wǎng)絡(luò)結(jié)合展現(xiàn)出強(qiáng)大的性能，未來具有巨大的發(fā)展空間。這些混合模型可以在某些任務(wù)上提供更好的性能。

（4）優(yōu)化主干網(wǎng)絡(luò)。可以通過對跟蹤模型進(jìn)行輕量化處理，比如使用剪枝、量化等技術(shù)來減少多余的網(wǎng)絡(luò)計算，進(jìn)而提高跟蹤算法的速度，并且還可以用神經(jīng)結(jié)構(gòu)搜索的方法，根據(jù)任務(wù)特點自動搜索專門用于目標(biāo)跟蹤的骨干網(wǎng)絡(luò)。