抗遮擋目標跟蹤的模型學習綜述

謝郭蓉，曲 毅，蔣镕圻

1.武警工程大學 研究生大隊，西安 710086

2.武警工程大學 信息工程學院，西安 710086

目標跟蹤作為計算機視覺領域研究的一個熱點方向，在智能人機交互、視覺導航等領域中應用廣泛，它是利用圖像序列上下文信息，對目標外觀與運動狀態構建模型，并對目標軌跡位置進行預測與標定的任務[1]。由于跟蹤場景干擾和目標運動狀態具有不確定性，跟蹤面臨目標形變、尺度變化、平面內外旋轉、光源變化、背景雜亂、相似干擾、遮擋等挑戰因素，隨著跟蹤算法不斷發展，目前目標形變、光源變化等問題已有解決方案，但緩解因遮擋導致的跟蹤漂移問題仍未有明顯起色，因此遮擋問題仍是目標跟蹤的熱點與難點問題。如表1為最近VOT跟蹤算法競賽最具挑戰性的前三項屬性場景的平均性能，包括遮擋（occlusion，OC）、尺度變化（size change，SC）、運動變化（motion change，MC）、光照變化（illumination change，IC）、相機抖動（camera motion，CM）。可見，遮擋作為實際場景中頻繁出現的因素，最具有挑戰性。

表1 VOT前三項最具挑戰屬性的平均性能Table 1 Average performance of top three most challenging attributes of VOT

跟蹤遮擋目標極易漂移的原因主要有：（1）因遮擋物覆蓋導致目標部分特征消失，此時易因模型難匹配而跟蹤失敗的問題。（2）遮擋物位置鄰近目標，可能會在候選框內引入背景干擾信息，隨著誤差積累，模型易漂移至干擾物上。（3）當目標被完全遮擋時，為及時檢測目標需擴大搜索范圍，但因引入大量干擾物導致模型誤判崩潰。

為實現模型在復雜場景下的穩健跟蹤，應特別注意模型學習更新過程中擬合的有效性。一方面，模型需要及時擬合外觀變化的目標并更新，以防跟丟目標對象；另一方面，要避免模型過擬合被遮擋受損樣本及相似遮擋干擾物。實際上，學習提取有效信息以構建強判別力的跟蹤模型，能緩解過擬合問題；結合恰當模型更新機制，有助于提高模型跟蹤可靠性，這些對適應遮擋等復雜場景具有關鍵意義。

為提高跟蹤算法在遮擋等實際場景下的性能，本文首先剖析了遮擋屬性不利于跟蹤的原因，指出了提高模型抗遮擋性能的根本思路，而后基于模型構建與學習的角度，分析了遮擋場景下跟蹤效果更優算法的有效抗遮擋方案及各策略對長期遮擋的適應性，包括：（1）基于高質訓練樣本的跟蹤算法。引入挖掘易誤檢負樣本，提高模型抵抗遮擋等語義或非語義干擾能力；生成與管理多樣高質正樣本，提高模型泛化性能；生成類遮擋硬陽性樣本，針對遮擋場景屬性特點，使模型學習對遮擋不敏感的魯棒特征。（2）基于有效學習策略的跟蹤算法，通過基于時間一致性學習、空間自適應學習的穩定模型訓練，避免遮擋等突變樣本幀的受損信息影響模型性能；通過針對實例跟蹤任務設計有效學習策略，學習可判別形變目標與類間類內干擾的長期魯棒特征信息，避免跟蹤期間模型漂移。（3）基于可靠更新策略的跟蹤算法，通過手工設計準確置信度、自適應決策更新時機及時檢測到遮擋等不可靠狀態后調整方案，建立時序記憶庫、自適應估計模板更新策略校正錯誤更新，提高長期跟蹤等場景下模型跟蹤穩健性；而后對各策略代表跟蹤算法在數據集上遮擋、出視野等屬性及所有序列的性能進行比較分析，剖析了策略提升各屬性場景性能的本質原因，最后總結抗遮擋策略并提出了骨干網替換及遷移學習場景理解、運動軌跡先驗信息的研究方向。

1 基于高質訓練樣本集的跟蹤算法

目前主流跟蹤算法主要有兩類：基于深度學習跟蹤算法和基于相關濾波跟蹤算法，后者常通過結合深度特征提高模型判別力，因此這兩類算法均基于數據驅動，提升訓練樣本質量可獲得顯著跟蹤效果提升。實際上，許多跟蹤算法擴充樣本集方式為目標周圍密集采樣，這存在正樣本缺乏多樣性、正負樣本類別不均兩大問題，造成訓練所得模型抗干擾能力、泛化性能差，易漏判被遮掩目標視覺特征、誤判相似干擾物為正樣本。針對這些問題，構造高質訓練樣本集的策略，使模型學習到可區分被遮擋目標與干擾物判別性信息，提高跟蹤算法的抗遮擋性能。

1.1 易誤檢負樣本引入與挖掘

跟蹤場景總存在背景環境、遮擋物和相似物等干擾信息，這使模型容易在部分遮擋時漂移至遮擋物上，在嚴重遮擋、出視野后因漂移至語義干擾物上而難以恢復跟蹤。實際上，限制模型抗干擾性能的原因之一，是跟蹤任務存在訓練樣本分布不均衡的問題：（1）跟蹤視頻圖像中，跟蹤對象實例往往占比很小，存在大量非語義背景干擾信息，而這些大量簡單負樣本易主導模型訓練過程，這讓跟蹤器傾向于學習非語義背景與語義樣本差異，缺乏類間、類內判別信息而易漂移至語義干擾上。（2）用于跟蹤模型離線訓練的大規模數據集常用于分類檢測任務，雖其提供了一定類間判別信息，但類內判別信息不足，因其不完全適用跟蹤特定對象的實例級任務。

因此，提高跟蹤模型抗干擾能力的思路之一，為引入或挖掘充足的易誤檢負訓練樣本，避免大量冗余簡單負樣本主導學習，從而引導模型注意判別正負語義樣本的特征，主要方案有：（1）改進損失函數降低無效負樣本的影響，這類算法有文獻[2-4]；（2）挖掘少數易誤判負樣本，這類算法有文獻[5-8]；（3）引入真實場景高質負樣本，語義越相似越能使模型專注細粒度特征，此類算法有文獻[9-10]。這些少量高質的有效硬陰性樣本對提高模型判別力具有顯著效果，有助于在目標遭遇嚴重遮擋、完全遮擋、出視野后，緩解跟蹤器漂移至相似干擾物上的問題，為遮擋等復雜場景下的長時穩定跟蹤發揮重要作用。如表2為高質負訓練樣本代表跟蹤算法及其策略特點。

表2 高質負訓練樣本代表跟蹤算法及其策略特點Table 2 Representative tracking algorithm for high quality negative training samples and strategies characteristics

應當指出，著眼負訓練樣本處理的策略，目的均為學習能區分背景干擾或語義相似干擾的判別性特征。其中，基于設計損失函數降低大量簡單負樣本主導影響的方式，能改善跟蹤效果的同時加快訓練收斂速度，但若無高質負樣本引入，其性能提升將效果有限；在線硬負樣本挖掘策略，其手動設置的閾值有應用場景局限性；引入高質量負樣本能促使模型學習判別信息，一般數據增強操作，能應對光線、尺度、平移等簡單挑戰屬性，但最有效方案是引入類間、類內語義負樣本，通過緩解非語義背景與語義干擾樣本不均衡問題，引導模型學習細粒度特征，更貼合跟蹤任務模型學習實例對象信息的需求。

另一方面，上述策略通過使模型專注學習語義正負樣本間的差異，增強跟蹤器抗干擾能力。但跟蹤器性能仍依賴于觀測模型的質量，尤其在長期遮擋場景下，會放大誤差積累作用，模型更易崩潰。實際上，硬陰性樣本引入滿足數據驅動要求，在長期部分遮擋時利于緩解判別目標與遮擋物，在長期完全遮擋下有助于緩解重檢測的漂移問題。因此，有效的負訓練樣本處理策略，是解決短時和長時遮擋問題的一種有效途徑。

1.2 多樣高質正樣本生成與管理

在遮擋等復雜場景下跟蹤，一方面目標會因自身狀態與外界干擾而發生表觀變化，另一方面遮擋物會污染原正樣本，滿足多樣性、高質量的正訓練樣本集，能使得模型充分學習到對遮擋、形變等不敏感特征，準確判別因遮擋而表觀變化的對象。

跟蹤觀測模型魯棒性與正訓練樣本質量息息相關，但由于采樣框內常包含正樣本周圍的背景干擾，樣本易被遮擋、形變場景污染，因此正訓練樣本質量往往不佳。為降低受損樣本及干擾物不利影響，文獻[9-12]通過類裁剪操作去除采樣框內背景干擾，文獻[13-15]以二值決策丟棄崩潰樣本。雖其緩和了擬合錯誤信息問題，但其固定二值掩模及決策手段，忽略了樣本間多樣性與冗余性而丟失了許多有效信息。與其相比，算法SRDCFdecon[16]首次設計了聯合學習目標外觀模型、訓練樣本權重的學習函數，以連續權重捕捉中度遮擋等仍含價值信息的樣本，結合對樣本重要性權重的每幀優化更新，可重新確定樣本權重進行錯誤校正，其聯合學習函數如下所示：

其中，nk代表每幀平均采樣數，ρk為k幀的先驗權重，為k幀中提取的樣本，L(θ;xk,yk)為樣本損失函數，R(θ)為濾波器fθ的空間正則化項，等號右邊第二項為樣本權重正則項，樣本權重αk以指數衰減最小化聯合損失，其自適應性由參數μ控制。雖其訓練樣本凈化策略有效提升了高質樣本的重要性，在尺度變化，背景雜亂、遮擋等多種復雜場景下具有更優的跟蹤性能，但該方法丟棄歷史幀的方式仍有可能導致過擬合問題，其算法迭代過程也耗時較大。

維護樣本多樣性可提升模型泛化性能。但由于跟蹤任務中僅第一幀被標記，模型常需要本身在線采集來擴充樣本，但由于以下問題導致采集正樣本缺乏有效性：空間上，密集采樣和循環移位采樣方式所得訓練正樣本高度重合；時序上，一段相鄰幀中目標外觀差異不大。簡單暴力采樣方式一味增加了無效正訓練樣本，損害模型泛化性，使其難判別因遮擋、平面內外旋轉而形變的對象。有效維護樣本多樣性，學習魯棒目標信息的方案主要分為：（1）基于組間差異最大準則的樣本集建模，降低無效冗余樣本和少量突變受損樣本的負面影響，這類算法有文獻[17-18]；（2）通過數據增強，生成位移旋轉、形變等多類運動狀態的目標樣本，學習對遮擋等形變不敏感的魯棒特征，此類算法有文獻[10，12，17]；（3）自適應生成有效正樣本，相比于人工設計的樣本增量方案，能提供更適用于計算機視覺判別任務的樣本信息，此類算法有文獻[19-20]。如表3為基于有效處理正樣本集的代表跟蹤算法及策略特點和場景適用性。

表3 基于有效正樣本集的代表跟蹤算法及特點Table 3 Representative tracking algorithm based on effective positive sample set and its characteristics

應當指出，高質樣本有利于模型學判別特征，增強抵抗遮擋物、背景干擾的能力；多樣化樣本能增強模型泛化性能，促使模型在遮擋等場景下魯棒跟蹤形變對象。然而，著眼于提高樣本質量的方案中，正負信息難完全區分，即使是利用了更充分信息的重賦值樣本方案，也無法避免過擬合問題，由于該方案未考慮跟蹤時序信息，增強其復雜性可能也不能帶來較大性能提升；相比前者，維持訓練正樣本多樣性方案更貼近跟蹤任務，樣本組建模方案能去冗余信息，數據增強能補充類似運動狀態樣本、自適應生成方案能彌補訓練數據集類別不足的問題，然而這種方案并未針對跟蹤屬性設計，因此無法判斷補充和生成的樣本是否可靠，并且還存在耗時大的風險。

另一方面，長時遮擋場景會為樣本在線引入長期干擾信息，在線樣本組建模、凈化去污等提高樣本多樣性與質量的策略，在較長一段時間內模型依舊會擬合這些受損樣本，通過二值掩模裁剪去除大部分背景干擾信息等操作，會因缺乏空間學習自適應性而過擬合。離線數據增強、自適應生成樣本等策略，能改善長時遮擋場景跟蹤性能，但其依舊依賴于目標模型的穩健性。

1.3 類遮擋硬陽性樣本生成

訓練數據集中，具有遮擋、形變等屬性樣本符合長尾分布，可供模型學習的對遮擋不敏感信息較少。生成類遮擋樣本的策略，能通過遮掩、交換特征通道等方法模擬目標被遮擋效果，是提高遮擋目標跟蹤穩健性的針對性方案，其可分為三類：降噪處理特征向量、對抗生成學習創建掩模、強化學習自適應決策。

算法TRACA[17]基于兩種外部降噪準則處理特征向量，捕獲輸入特征分布的不同結構：一是通過隨機移除固定數量通道的特征信息，讓自動編碼器學習如何恢復受損信息；二是隨機交換空間卷積特征向量，其背景與目標區域的特征向量交換可模擬遮擋目標，兩種處理方式能促進模型學習對遮擋、形變等不敏感特征，但其未考慮上下文聚類與特征壓縮之間相關性，性能可能還有提升空間。

文獻[20-21]通過對抗生成網絡隨機創建特征遮擋掩模，自適應丟失特征通道生成類遮擋樣本。算法AFNT[21]設計對抗融合網絡（AFN），其由對抗空間丟失網絡（ASDN）與對抗空間變換網絡（ASTN）組成，前者學習形變參數旋轉目標；后者作用于原始特征生成連續熱圖，結合樣本隨機性與多樣性進行重要性采樣，生成對部分特征作置零處理的二值掩膜，提升了模型對形變、遮擋對象跟蹤的穩健性，然而其生成的類遮擋、形變樣本仍然與實際遮擋情況有一定差距，性能提升不明顯。

相比上述方法，利用強化學習產生的硬性正樣本更貼近實際場景中目標被遮擋的情況。算法SINT++[19]設計硬陽性樣本變換網絡（HPTN），依據MDP馬爾科夫思路，對遮擋目標的背景區域和遮擋目標區域，利用強化學習自適應決策最優定位。其基于自適應決策生成類遮擋樣本的方案具有啟發性，然而與先進跟蹤器相比，基本跟蹤器設計較簡單，導致跟蹤效果與時效性均存在差距。如表4所示為不同生成類遮擋樣本策略的性能比較。

表4 生成類遮擋樣本策略的性能比較Table 4 Performance comparison of occlusion-like samples generation strategies

由表4可知，模擬遮擋策略生成的類遮擋訓練樣本對模型性能提升效果不同：隨機去除特征通道效果不大，甚至還會降低性能；降噪處理特征通道、對抗生成學習創建掩模、強化學習最優生成遮擋區域的三種策略，相比未經處理的算法性能有明顯提升；但對抗生成學習創建掩模方案生成的類遮擋樣本，還不能證明其在跟蹤任務中的可靠性；相比較而言，以降噪準則將背景與目標特征進行交換、強化學習尋找最優遮擋與被遮擋區域的兩種策略，因同時考慮了背景遮擋物干擾信息引入和因遮擋目標表觀特征變化的情況，更貼近于跟蹤對象被遮擋的實際情況，性能提升略優于前者；除此之外，基于生成硬陽性樣本方案的算法性能仍依賴于跟蹤器的其他模塊。

應當指出，生成硬陽性樣本是針對遮擋問題的有效策略，但對其他跟蹤挑戰屬性場景的性能改善不明顯，而長期遮擋場景往往更加復雜，目前生成的類遮擋樣本與實際場景存在一定差距，因此該策略可能對長期遮擋場景跟蹤改善有限。

2 基于有效學習策略的跟蹤算法

由于跟蹤任務真實標注樣本有限，算法常通過在線訓練和預先在大規模數據集上訓練模型或提取特征，這存在以下問題：一是部分數據集和網絡框架訓練有類間語義判別信息匱乏的局限，容易導致遮擋、背景雜亂的漂移問題；二是在線訓練容易引入背景、遮擋物等污染信息，誤差積累導致模型崩潰。設計有效且穩定的學習策略，是學習魯棒特征與提高抗語義干擾性能，實現模型在遮擋等復雜場景下穩定跟蹤的有效方案。

2.1 構建穩定模型的被動學習策略

算法在跟蹤采集樣本期間，可能會無意識引入目標旋轉、形變等錯位受損樣本，遮擋、相似干擾等錯誤干擾樣本，判別性能下降。在跟蹤時期，訓練學習的穩定性深度影響了模型抗干擾性能與判別力強弱，維持模型訓練優化過程平穩性的方案主要有：（1）基于時間一致性的學習策略，訓練期間約束模板，使模型傾向歷史幀，緩解因錯誤學習短期形變、遮擋等鄰近突變幀造成模型退化的問題，此類算法有文獻[22-26]；（2）基于自適應外觀學習策略，自適應判斷學習未被遮擋的可靠區域特征信息，此類算法有文獻[26-27]；（3）基于多模態專家的學習策略，能在遮擋時漂移或跟蹤失敗時校正模型，捕獲長時序上的魯棒特征信息。此類算法有文獻[13，28-30]。

基于時間一致性的學習，能避免模型過度依賴鄰近幀，緩解過擬合短期集中出現的遮擋等受損信息的問題，提高了跟蹤變化外觀較大對象的時序穩定性，對遮擋、平面內外旋轉等屬性應對較好。如表5為基于時間一致性學習的代表跟蹤算法及其目標函數、特點和局限。其中，D、L分別為總特征通道數和每通道特征向量元素數，分別代表t幀訓練樣本、對應d通道特征向量的濾波器權重向量、對應第d通道特征向量的第i個元素的濾波器系數。向量y代表高斯分布期待響應，*代表空間相關操作，λ、η、λ1、λ2代表正則化參數。算法STRCF中，w?代表高斯狀空間權重矩陣，目的是使目標中心有較高響應。算法TRBACF中，P為對角二元矩陣，使相關運算符直接應用于真實前景與背景樣本上。應當指出，基于時間一致性學習算法，雖彌補了模型易被遮擋等劇烈形變幀污染而崩潰的問題，但忽略了視頻前后幀間物體的時序關聯信息，且改善程度受特征質量的局限，對外觀突變屬性可能比較敏感，在較長時間遮擋或形變場景下仍無法避免模型退化問題。

相比上述方案保持時序穩定，空間自適應學習策略能在部分遮擋、背景雜亂等場景，使模型學習可靠目標區域而降低擬合干擾風險。預先定義空間正則化的相關濾波跟蹤器會優先關注模板框中心，由于缺乏自適應性而無法抵抗目標受損區域信息[9，31]。文獻[26-27]引入自適應空間正則化項抵抗部分遮擋，對被遮擋不可靠區域給予更大懲罰，鼓勵過濾器將注意力集中在未被遮擋的可靠區域上，學習可靠目標空間信息。算法ASRCF自適應空間正則化的目標函數如下所示，其中，wr為參考權重矩陣，空間權重矩陣w具有自適應性，其余符號釋義與表5中符號相同。

表5 基于時間一致性學習的代表跟蹤算法及特點Table 5 Representative tracking algorithm based on time consistent learning and its characteristics

得益于自適應學習可靠空間信息，在雜亂、變形、遮擋等場景下，該類算法性能甚至優于不少時空正則化算法，但因忽略了時序魯棒信息，性能還能進一步提升。

上述策略以設計函數增強訓練穩定性，基于多模態專家的算法則通過維護外觀模型集合，在遮擋、平面內外旋轉等挑戰場景下，選擇可靠模型校正錯誤跟蹤狀態。算法TCNN[28]以樹形結構卷積神經網絡協作管理多個外觀模型、估計目標狀態，隔離局部分支中因嚴重遮擋等造成目標外觀劇變的視頻幀，保持可靠路徑避免模型漂移，但其候選框生成依賴前幀位置，因此應對目標出視野問題不佳。算法MEEM[13]提出將跟蹤器與其歷史快照構成專家集合的多專家跟蹤框架，引入頻繁遮擋、外觀變化等錯誤圖像樣本時，檢測到專家間出現分歧后，以最小熵準則選擇最佳專家，無需先驗知識就可恢復并校正當前跟蹤模型。算法MCCT[29]提出維護管理不同外觀的多線索跟蹤器框架，各專家融合不同特征，每幀均挑選最佳專家輸出跟蹤結果，由于多線索框架挑選各場景最適應的目標表征，因此改善了遮擋場景的性能，然而由于基本專家跟蹤器簡單，不易抵抗相似語義干擾。

應當指出，上述三種策略既能保持外觀多樣性，又可緩解遮擋形變物污染模型的問題。其中，時間一致性學習策略通過約束模板突變，減輕濾波器退化問題；與其相比，空間自適應學習策略能更靈活處理目標區域形變、部分遮擋，其抗遮擋性能效果更優；然而，上述兩種依賴模板函數優化提升模型訓練穩健性的策略，未利用跟蹤大跨度時間的時序信息，且大多適用更新模式具有風險。多模態專家策略以保留維護多模態、專家，因能校正遮擋等形變劇烈樣本幀的跟蹤而更可靠，但其性能對模態、專家成分質量有較高要求，相應而來的是特征信息存儲內存消耗的問題。

另一方面，在長期遮擋場景下，自適應空間學習策略能學習判斷目標可靠區域，能緩解遮擋時長影響，捕獲可靠外觀變化，改善跟蹤器效果。然而，基于多模態專家的短期跟蹤器內存有限，其與基于時間一致性的跟蹤器類似，防模型過擬合的范圍限于近期突變幀，而這些算法往往配合較簡單更新方式，因此極易長期學習錯誤信息，誤差積累導致模型崩潰。

2.2 適于跟蹤的主動學習策略

目標跟蹤算法在線、離線訓練特點不同：（1）在線訓練可較好適應目標外觀模型變化，但由于真實標注樣本少，跟蹤目標狀態多變，判別力不足的模型在遮擋等復雜場景下易過擬合受損、錯誤樣本，有耗時問題。（2）離線訓練能以不變的目標通用表達，避免對錯誤幀的不當學習導致污染模型，對遮擋、平面內外旋轉屬性友好。但實際跟蹤場景會同時出現多種挑戰屬性，僅靠離線訓練集的固定外觀模型往往難以抵抗，且難建模任意目標。

實際上，跟蹤算法離線訓練或預訓練的數據集常用于檢測分類任務，但檢測與實例跟蹤存在本質不同：一是檢測任務需區分目標類別，比只需區分前背景差異的跟蹤任務，有信息冗余；二是檢測分類任務提供類間判別信息不足，而特定對象跟蹤要求抵抗類間干擾，尤其在背景雜亂、遮擋、出視野等場景劣勢明顯。

因此，離線學習構建本質魯棒目標模型，使其對遮擋、相似干擾等因素不敏感；在線學習防擬合錯誤受損信息，增強模型訓練過程穩健性，是實現遮擋等場景穩定跟蹤的本質方案，其思路可分為：（1）特征融合策略，合理考慮融合多層、多類型特征信息應對各類挑戰屬性，此類算法有文獻[7，12，33-35]；（2）多域學習策略，以跟蹤序列數據作為訓練樣本，多分支結構捕獲對跟蹤各域不敏感的魯棒適用特征，此類算法有文獻[6，36]；（3）對抗生成學習策略，學習識別長期魯棒性而非判別性特征信息，此類算法有VITAL[2]；（4）干擾感知學習策略，增大對相似干擾物懲罰來優化學習樣本質量，此類算法有文獻[8，10]；（5）目標感知學習策略，專注構造特定跟蹤對象模型，更貼近實例跟蹤任務，此類算法有文獻[35，37]，如表6為利用有效學習策略的代表跟蹤算法及特點。

表6 基于主動學習策略的代表跟蹤算法及特點Table 6 Representation methods based on aggressive learning strategies and its characteristics

應當指出，融合特征、多域學習等策略均著眼于構建魯棒目標模型，學習對遮擋等屬性不敏感信息，提高所有復雜場景下跟蹤穩健性；干擾感知、目標感知策略則側重增強抵抗干擾能力，彌補CNN網絡提供類內判別信息不足的缺陷，在部分遮擋時防誤判遮擋干擾物，全遮擋時防漂移到相似物上。然而，特征融合策略的簡單融合方式易引入冗余信息掩蓋特征的層次關聯信息，大量參數也會增加過擬合風險；多域學習策略無法避免學習到遮擋樣本對應的強判別性特征，導致模型退化；對抗生成學習捕獲特征相對其他策略更具有長期魯棒性，但其不適用低分辨率視頻幀；干擾感知策略需配合負樣本數據增廣等手段，否則提升不明顯；目標感知策略專注對象模型，能結合深度特征分離相同語義標簽的不同對象，但其仍未利用跟蹤上下文等有效信息，選取特定通道的表征方式仍不能避免語義相似干擾問題。

通過有效離線學習策略提升模型魯棒性，是抵御長期遮擋問題的途徑，但更關鍵的是固定相關模型要始終適應表觀變化的目標對象，其中多屬性學習、對抗生成學習因學習到對跟蹤場景不敏感信息，因此有較好效果；而采用特征融合、干擾感知、目標感知等方案的相關算法能否長期避免擬合相似語義干擾，仍取決于其模型穩定性。

3 基于可靠更新策略的跟蹤算法

由于遮擋、形變、尺度變化等屬性往往同時出現在一段跟蹤場景序列中，跟蹤模型既要學習目標外觀變化信息以防跟丟對象，也要避免擬合遮擋受損樣本和干擾信息以防漂移。除訓練策略之外，更新策略的有效性、穩定性同樣關鍵，尤其在長期跟蹤場景下更新策略質量的影響更為明顯。因此，提高遮擋目標跟蹤穩定性的方案思路為：通過有效決策機制為模型提供恰當更新時機，防遮擋等受損情況下的不當更新；穩健更新模型方案，適應對象變化外觀的同時，校準漂移至遮擋等干擾的錯誤狀態。

3.1 有效更新決策機制

復雜場景跟蹤期間，當檢測跟蹤結果可靠時，以恰當學習率更新目標模型適應變化表觀；不可靠時，則認為遭遇遮擋、出視野等情況，此時應避免模型錯誤更新。由此可見，能否準確判別跟蹤狀態非常關鍵，其主要包括手工設計置信度及自適應決策兩種方式。

大多數算法使用手工設計置信度指標，決策更新時機。顯然，對于依據置信度評估跟蹤狀態的更新方式，判斷跟蹤狀態越準確，越有利于模型抵抗遮擋、相似干擾等樣本污染，提高更新有效性。因生成式模型與判別式模型跟蹤思路相異，其檢測置信度也不同。如表7為生成式模型與判別式模型的基本思想、代表算法與置信度指標比較。

表7 生成式模型與判別式模型及其置信度比較Table 7 Comparison of generative model and discriminant model and their confidence

為提高對遮擋等干擾、漂移幀判斷的準確性，更具針對性的置信度度量被不斷提出，主要有在其基礎上關聯時序信息，可檢測對應響應圖波動的遮擋情況；增加質量評估可靠性，緩解模型誤判遮擋物等語義樣本；結合多類型置信度判斷，通過更多關鍵信息提高多類型復雜場景的評估可靠性。如表8所示為代表性置信度指標及適應場景特點。為提高模型抗遮擋能力，應選用可反映目標是否處于遮擋狀態的置信度指標。其中，最大響應值中s、y、w分別為候選圖像、模板特征向量及濾波器權重。峰值旁瓣比（peak to sidelobe ratio，PSR）中gmax為峰值響應值，μs1、σs1分別是旁瓣的均值與標準方差。平均峰相關能量（average peak to correlation energy，APCE），Rmax、Rmin、Rw,h分別代表最大、最小、相應像素的響應峰值。置信圖清晰平滑度指標與PSR與置信度平滑性（smoothness of confidence maps，SCCM）相關，其公式中代表第t幀的第i部分的響應圖，代表置信度圖的移位操作，Δ代表相鄰幀置信度最大值移位，參數η權衡置信度圖的清晰度與平滑度。定位不確定性估計指標中PSR(rt),max(rt)分別代表相關響應的峰值旁瓣比及峰值絕對值，為近Nq個跟蹤幀的平均定位質量。

表8 代表置信度指標及特點Table 8 Representative confidence indexes and characteristics

雖然手工設計的置信度指標能在一定程度上改善跟蹤穩定性，但缺乏自適應性，判別復雜場景跟蹤狀態往往存在誤差。而基于自適應學習更新決策，通過訓練網絡學習最佳更新控制條件，在跟蹤時根據當前幀更新需求判斷更新節點，在更復雜的跟蹤場景能獲得更好收益，此類算法有文獻[19，45-46]。算法LTMU[46]采用元學習方式學習何時更新，融合了幾何、判別、外觀，結合級聯LTSM模塊挖掘時序信息，學習有效控制更新條件和決策是否繼續微調或全局搜索，在長時跟蹤上得到了較大性能提升，但框架仍存在冗余和優化空間；算法PTrack[45]將跟蹤視為部分可觀察的順序決策過程，基于數據驅動，基于強化學習方案學習何時更新外觀、重初始化，以跟蹤器決策動作為研究對象，通過強化學習學習最佳決策策略，雖然該算法在遮擋等場景下有較優性能，然而存在數據驅動的固有限制和較大耗時問題。

檢測跟蹤質量狀態策略中，人工設計的置信度指標能有效檢測到在遮擋、平面內外旋轉等形變幀的不可靠跟蹤狀態，顯著改善跟蹤器的魯棒性，但仍有較大的場景局限性，且因觀測模型的質量與置信度設計相關，因此有時置信度指標高低也不能完全反映跟蹤狀態；自適應決策更新策略相比人工設計置信度，因讓模型學會判斷何時更新而可應對長時不確定性狀態，在更復雜的長期跟蹤場景，能決策模型初始化時機來處理全遮擋、長時遮擋、出視野等屬性，但其網絡結構復雜，存在時耗問題。

然而，依據時序信息判斷的置信度指標不適用長期遮擋場景，因為很可能因為置信度變化不大而給予模型跟蹤結果可靠的錯誤判斷；而自適應決策更新或非時序置信度評估的方案，若能有效判斷遮擋等不可靠情況，此時跟蹤器能否保持長期遮擋場景的穩健性，取決于模型更新方案是否能繼續學習可靠區域信息，因為簡單降低學習率等更新方案很可能跟不上目標對象的變化外觀。

3.2 穩定可靠更新方案

在遮擋、目標出視野等復雜場景下，跟蹤模型不僅需要更新時機的準確判斷，還需要防止不當更新方案累計誤差。簡單的線性更新策略，不僅導致對象信息隨時間不斷衰減，跟不上實際場景中對象表觀的變化速度，還容易錯誤更新，在長期跟蹤場景其劣勢尤為明顯。而基于時序記憶模型、自適應估計的更新策略具備從錯誤更新中校正恢復跟蹤狀態的優勢，改善在遮擋等困難場景下的跟蹤穩健性。

對于簡單經典的更新時機條件，恰當的更新方案也能提高跟蹤器的穩健性：低頻更新算法，能更好抵抗環境語義干擾不利因素，更新方案需要專注擬合變化目標模型，以防損失大量在線外觀信息而跟丟目標；高頻更新算法，能及時擬合對象變化表觀，更新方案需要注重的是如何從錯誤更新中恢復校正狀態，以防錯誤累積導致模型崩潰。如表9為經典更新策略的優缺點分析及代表算法。

表9 經典更新策略優缺點分析及代表算法Table 9 Analysis of advantages and disadvantages and representative algorithm of typical update strategies

為保證跟蹤器在遮擋等場景下的整體較優性能，那些更新決策方式簡單的算法，往往會采取針對跟蹤任務設計的更新方案或觀測模型，不僅利用簡單時機判別能較好適應變化表觀的優勢，也彌補其易致模型錯誤更新的缺陷。不更新模板的算法DaSiamRPN[10]，其得益于相似語義樣本增廣及干擾感知學習策略；使用逐幀更新算法VITAL[2]以對抗生成學習等策略學習長期魯棒特征，更新時聯合更新生成、分類網絡；ECO[18]雖使用固定幀更新方式，但其基于外觀差異建模的樣本組與因式分解卷積操作，緩解了過擬合問題，且其樣本組每幀更新，可捕捉間隔幀內的樣本變化信息。依據簡單置信度更新的跟蹤算法，如算法MDNet[6]結合常規間隔長期更新與置信度短期更新，算法TCNN[28]依據各節點可靠度沿期望路徑進行平滑更新，它們都只更新全連接層分支參數，避免過擬合問題。

文獻[41，58-59]通過時序模型的建立維護及有效更新管理方案，存儲各時序關鍵信息，在遭遇遮擋等外觀突變或跟蹤失敗時激活調用，能發揮長時跟蹤中校正錯誤更新，避免模型退化的作用。算法MUSTer[58]首次引入了ASMM記憶模型，基于時空一致性集成短時跟蹤器，以關鍵點匹配與RANSAC估計作為長期跟蹤組件，并以內點、遮擋點與匹配關鍵點的比例大小檢測有無遮擋，雖然其關鍵點匹配模型能適用于平面內外旋轉、部分遮擋等屬性，但其僅對紋理特征足夠明顯的大目標友好，對于背景雜亂、快速運動等場景有局限性；算法短期記憶庫存儲孿生特征，采用先進先出的管理方式，跟蹤不可靠時清空，長期記憶庫存儲孿生特征及語義特征，設置嚴格的長短期記憶庫信息轉移條件，以基于遺忘曲線的更新管理策略，保證其存儲的特征具有長期魯棒性；算法FuCoLoT[41]首次引入可有效作用于整幅圖像的相關重檢測器，通過維護管理在多時間尺度上訓練的相關濾波檢測器組，應對不同持續時間遮擋、目標消失等問題，并保留不被更新的初始過濾器，可從任何潛在污染模型中恢復，僅當檢測可靠時，對短時跟蹤器與檢測器組進行線性更新。

實際上，對于離線性能較好的復雜跟蹤器，簡單在線更新方案反而可能會損害其性能。相比簡單更新方案，自適應估計的更新策略對復雜場景具有更強靈活性與適應性，可分為：（1）自適應選擇方案，以模型或特征池的最優選取為研究對象，能較好適應目標形態變化避免擬合漂移幀，此類算法有文獻[30，35，53，60]；（2）自適應生成模板的更新方案，在部分遮擋等形變時可局部更新可靠區域，此類算法有文獻[61-62]。如表10為基于自適應估計更新策略的代表算法及其特點。

表10 基于自適應估計更新策略的代表跟蹤算法Table 10 Representative tracking algorithms based on adaptive estimation update strategy

應當指出，那些更新方式簡單仍性能較優算法的關鍵，在于通過有效訓練使觀測模型有較好魯棒性，從根本上避免錯誤更新的問題。但應對長時跟蹤場景中嚴重遮擋、完全遮擋、出視野等屬性，必須依賴于有效可靠的更新方案。相比簡單線性更新方案，基于時序記憶模型、自適應估計的更新策略對遮擋等復雜場景下的跟蹤性能提升顯著，具備從錯誤更新中校正恢復跟蹤狀態的優勢，改善在遮擋等困難場景下的跟蹤穩健性。但基于時序記憶模型的更新策略仍有線性更新方案的局限性。在長期跟蹤場景下，基于時序記憶模型及自適應選擇的更新策略通過維護不受污模板或特征，初始化校正模型，而自適應生成模板的更新策略雖更靈活，但可能因需復雜網絡設計而不如前兩者有效。

另一方面，基于時序記憶模型的策略以長短期記憶庫保留目標魯棒信息，在長期遮擋后能調用關鍵信息重檢測；而自適應估計模板方案雖對歷史幀模板存在一定依賴性，但能夠局部更新可靠區域，兩者都能捕獲長期目標外觀，同時防止模型錯誤更新問題。

4 抗遮擋模型學習方案的有效性分析

為進一步分析遮擋等場景下，跟蹤模型不同策略對提升算法性能的有效性，尤其對于遮擋、背景雜亂、出視野、平面內外旋轉、形變等挑戰場景屬性的效果，選擇了如下算法在挑戰場景上性能比較：基于訓練樣本提質方面，選擇了硬正樣本生成SINT++、TRACA等，樣本集管理ECO、SRDCFdecon等，高質負樣本引入BACF、DaSiamRPN等算法；學習策略方面，選擇了基于主動學習策略的VITAL、MDNet、ANT、DaSiamRPN、TADT等，基于被動穩定學習策略的LADCF、MEEM、TCNN等算法；更新策略方面，選擇人工置信度評估LCT、CSRDCF等，維護記憶模型庫更新的MUSTer等，自適應更新RDT、MemTrack等算法。如表11為各策略代表算法抗遮擋策略及相應數據集序列上性能及遮擋等六種挑戰屬性序列上跟蹤成功率比較，其中OCC、BC、OV、IPR、OPR、DEF分別代表遮擋、背景雜亂、出視野、平面內旋轉、平面外旋轉、形變的場景屬性，SM、SQ、SP、SN分別代表基于多樣化樣本、高質量樣本、硬正樣本生成、高質負樣本引入的樣本處理策略，LAT、LAD、LAM、LA分別代表目標感知、干擾感知、多域學習及其他主動學習策略，LPT、LPS、LP分別代表時間一致、空間自適應及其他被動學習策略，LF代表語義特征學習；UC、UM、UA分別代表人工置信度評估、基于記憶模板庫、自適應更新策略。為比較策略有效性，引入基線算法，以S-N、LAD-N、LP-N、LF-N、U-N分別代表未采取樣本處理、未干擾感知、未被動學習和僅用手工特征表示、簡單經典更新方法作區分。

表11 各模型學習策略代表跟蹤算法的性能比較Table 11 Performance comparison of representative methods with various model learning strategy

由表可知，對遮擋屬性而言，數據處理、學習策略方面改進的性能提升效果明顯超過更新策略改進方案。具體地，在訓練數據處理方面，維護訓練樣本多樣性的策略，對提升復雜場景下跟蹤穩定性有顯著作用，與其相比，生成硬正樣本策略對遮擋目標跟蹤效果的提升幅度差異不大，甚至其效果有時不如基于多樣性樣本管理策略的算法，負樣本挖掘為輔助手段；在學習策略方面，設計網絡提取長期魯棒、判別力強特征策略以及多域學習場景屬性的策略，能極大提升跟蹤準確率與魯棒性，遮擋場景下該類算法性能相較其他也具有明顯優勢，相比之下基于干擾感知、目標感知學習策略對性能提升稍顯遜色，但在遮擋場景下可較好提升跟蹤穩定性，基于時間一致性學習策略方案在遮擋等復雜場景下的增強效果，與其學習策略設計有效性相關較大；在更新策略方面，基于手工置信度評估效果不如自適應更新策略，基于長短期記憶庫的更新策略的跟蹤效果優于簡單更新策略。

在背景雜亂、目標消失、平面內外旋轉、形變等其他挑戰場景屬性下，各策略有不同改善程度：（1）著眼于訓練樣本提質的訓練集凈化、高質負樣本引入策略，在背景雜亂屬性下的性能改善相較其他具有明顯優勢，在出視野屬性上提升并不顯著；（2）維持樣本多樣性的樣本集建模等策略，在背景雜亂、平面內外旋轉、形變等屬性上都能明顯提升性能，在遮擋屬性提升相對較少；（3）硬陽性樣本生成策略雖能改善遮擋問題，但對整體跟蹤序列上的性能提升并不明顯，但硬陽性樣本具有形變、旋轉等屬性時，對應場景跟蹤性能可改善；（4）基于時間一致性學習策略在所有場景都能獲得較明顯改善，尤其是出視野屬性，并且在各屬性上提升程度優于訓練樣本去污等策略，但仍舊不如多域、多屬性等主動學習策略；（5）除了背景雜亂屬性，適用跟蹤的主動學習策略在遮擋、平面內外旋轉等屬性上的性能均優于其他方案，與其相當的還有空間自適應學習策略，但目標感知學習策略的改善程度有時不如時間一致性學習策略；（6）依據人工置信度評估更新方案的跟蹤器在背景雜亂屬性上表現得比其他策略更優秀，但在遮擋、平面內外旋轉屬性上表現一般，在目標出視野、形變等屬性表現不佳；（7）自適應更新策略更適用平面內外旋轉等場景，在背景雜亂、遮擋等屬性上表現不如其他策略優秀。

策略方案改善性能思路不同，因此對場景適應性不同：（1）時間一致性訓練、多模態專家、空間自適應學習、置信度及自適應更新策略為捕獲外觀同時避免擬合突變錯誤信息，適應遮擋、平面內外旋轉等外觀變化重復的場景；（2）高質正負樣本引入、干擾感知為提高模型抗干擾能力，適應背景干擾、出視野后重檢測、遮擋等需要防止模型漂移的場景；（3）樣本多樣性管理為提高模型泛化性，適用形變、尺度變化等需捕獲對象動態外觀場景；（4）多域學習、多屬性等策略構建對適用各跟蹤屬性場景的模型，力圖適用各類場景。

實際上，應對背景雜亂、出視野、平面內外旋轉、形變、長短時遮擋等問題各有側重：（1）應對背景雜亂、出視野問題，要求有強抗干擾能力，背景雜亂屬性中主要區分紋理等特征相似的干擾，一般手工置信度就能較好判斷是否存在干擾物，訓練樣本集凈化、高質負樣本引入策略則從源頭提高了模型抗干擾能力；（2）出視野后恢復跟蹤，則要求模型具備判別語義干擾和判別可能表觀已變目標的能力，對此時間一致性等學習策略能穩定捕獲外觀，因此能加以改善；（3）應對平面內外旋轉、形變等屬性，要求目標模型泛化性好，可擬合學習對象外觀信息，可通過樣本集多樣性管理提高泛化性，記憶庫保存重復外觀模型的方式加以改善；（4）由于遮擋樣本均為模型不應擬合的受損對象，要求模型魯棒性好，避免擬合突變受損信息，以及抗語義和非語義干擾能力強，不漂移到遮擋或背景干擾物上；（5）長時遮擋會引入較長時間的遮擋物干擾及形變對象信息，此時僅能緩解對鄰近突變幀擬合問題、關聯時序指標判斷狀態的策略失效；（6）適應所有屬性場景的最關鍵本質的方案為，構造魯棒性、判別性好的目標模型，此時以高質多樣訓練樣本處理來解決數據驅動局限，以長期魯棒特征融合表征提高模型判別力，多屬性、自適應、長短期記憶庫等策略學習適用各場景屬性下可靠信息等方案比較有效。

5 總結與展望

本文從基于高質訓練樣本集、有效學習策略、可靠更新策略的角度，對代表性跟蹤算法的抗遮擋模型學習策略進行了分析，并對各方案應對背景雜亂、出視野、長短期遮擋等屬性場景的改善程度進行了比較分析，指出提高算法在遮擋等場景下跟蹤性能的本質方案為構造判別力強的魯棒目標模型，其中主動學習對干擾不敏感信息的多屬性學習、對抗學習、自適應空間學習等策略在多數復雜場景下優于其他，基于時間一致性學習等策略有場景局限性，先進數據處理與更新策略往往與學習策略配合，分別有助于提升目標模型質量和跟蹤穩定性。目前，由于存在遮擋、目標消失等因素，即使是先進跟蹤算法也無法完全適用實際復雜場景。著眼構建魯棒目標模型的特征融合模塊，雖其對跟蹤性能影響最大，但因骨干網的固有局限，其性能提升也遭遇瓶頸。因此，通過設計適于跟蹤的骨干網并替換，可能會帶來較大提升。再者，相比計算機視覺，人類視覺依據對場景理解與目標運動規律的先驗知識，可自發忽視場景不利干擾，在遮擋等復雜場景預測目標軌跡狀態。隨著對抗生成學習、元學習方法不斷成熟，其有望捕獲場景及運動信息，遷移到長期復雜跟蹤任務中為其提供充足的先驗多維信息。