基于自適應模板更新的改進孿生卷積網絡目標跟蹤算法

柳 赟 孫淑艷

(華北電力大學電氣與電子工程學院 北京 102206)

0 引 言

機載光電平臺是由伺服控制系統、測距機、紅外熱像儀、電視、跟蹤器等單體組成，可實現對地目標檢測、跟蹤與識別[1]。目標跟蹤技術是機載光電平臺實現對地目標穩定跟蹤的主要技術，其跟蹤的性能直接關系到對地目標感知的精度。

目標跟蹤是計算機視覺領域非常重要的研究課題之一，廣泛應用于運動分析[2]、機器人導航[3]、人機交互[4]、視頻監控[5]等領域。現有的目標跟蹤算法主要從模型泛化與特征表征兩個方面提高目標定位精度與跟蹤魯棒性[6]。然而，復雜的跟蹤算法或特征表征方法雖然改善了目標跟蹤性能，但同時也增加了計算復雜性。因此，如何平衡跟蹤算法的精度與速度是跟蹤算法工程化應用亟需考慮的核心問題。

基于低層次特征的跟蹤算法，如LAKCF[2]和TMFT[4]，大都融合了多尺度、多分辨率、多特征信息來提高跟蹤指標與跟蹤速度，而基于深度模型的跟蹤網絡，如Siamese跟蹤網絡[7]，則是平衡了速度和精度之間矛盾而逐漸成為單目標跟蹤研究中最優模型。一般來說，基于深度模型的跟蹤算法將傳統的跟蹤任務從目標搜索和回歸過程轉換為相似性比較問題，并在固定時間內完成目標跟蹤。DSiam網絡采用在線學習目標的外觀變化和背景抑制，在排除背景干擾的同時適應目標變化，提高跟蹤性能[8]。

盡管改進Siamese跟蹤方法能夠平衡跟蹤的速度和準確性，但仍有三個問題需要解決：(1) 大多數Siamese網絡跟蹤器無法更新模板，主要是由于簡單的固定模板確保了較高跟蹤速度，但犧牲了更好地適應目標外觀形變的能力；(2) 由于復雜背景的干擾，大多數Siamese跟蹤網絡的性能無法得到保證，這是由于傳統的跟蹤邊界框不能分離背景干擾，最終由于目標跟蹤點漂移而導致跟蹤失敗；(3)由于大多數Siamese跟蹤網絡采用的是本地搜索策略，對視場外目標和全遮擋目標仍然具有很大的挑戰。因此，為了解決這些問題，本文提出一種自適應模板更新策略的全連接Siamese跟蹤模型，該模型利用了輪廓模板代替傳統的邊界框模板，減少語義背景的干擾；設計了基于目標檢測網絡和輪廓檢測網絡的模板更新網絡，能夠根據不同的條件自適應地更新模板。多種數據集的仿真實驗結果表明本文提出的改進模型能夠實現無人機空地跟蹤性能，具有較高的工程應用價值。

1 相關工作

1.1 模板更新

近年來，許多跟蹤算法在無人機空對地跟蹤應用中取得了巨大的成功，這些算法能夠解決因姿態變化、部分遮擋和光照變化等干擾造成的跟蹤失敗問題。但是，對于無人機機動轉向導致目標圖像大角度旋轉，大多數跟蹤算法可能無法穩定跟蹤目標。圖1展示了由車輛快速轉向引起的跟蹤失敗的例子，其中黑色為基準結果，白色則是跟蹤結果。第15幀跟蹤結果與基準結果存在漂移；隨著目標機動變化，目標外觀劇烈變化，導致跟結果出現較大的差異。第37幀時跟蹤框逐漸偏離目標，最后在第69幀完全跟蹤到錯誤的目標上。

為了跟蹤出現劇烈外觀變化的目標，一些方法會按固定幀率或自適應幀率更新目標模板，以提高跟蹤精度。這些模板更新策略假定當前更新的模板比先前幀中的任何其他模板更好地描述目標[9]。然而，這種假設有時可能面臨以下問題。(1) 模板通常是根據當前幀的跟蹤結果進行更新。由于跟蹤器無法精確跟蹤目標，這就使得跟蹤結果包含錯誤信息，導致模板更新不準確。因此，更新后的模板無法準確描述當前目標，最終導致跟蹤器失效。顯然，上述簡單的模板更新方法無法滿足空對地跟蹤需求。(2) 當跟蹤目標被背景信息部分遮擋時，例如被樹遮擋的坦克，傳統的方形邊界框模板更新會將坦克周圍的部分背景作為跟蹤目標的一部分而引入背景干擾。為了避免復雜背景雜波對目標模板的影響，需要兩種模板更新策略。第一種策略是引入自適應策略讓跟蹤器計算更新模板最佳時機，而不是簡單地按照固定幀更新，該策略不僅可以降低模板被干擾的頻率，而且可以降低無用模板頻繁更新的計算復雜度；第二種策略是保留備份模板，一旦當前模板遇到不匹配的問題，備份模板可能會發揮重要作用，該策略可以有效地提高跟蹤算法的魯棒性[10-11]。

1.2 形狀自適應模板

目標檢測和跟蹤是計算機視覺中兩個基本而又具有挑戰性的研究課題。它們在大多數任務中高度相關，目標檢測提供的輸入可以指導跟蹤并提高其跟蹤性能[12]。同時，精確跟蹤為目標檢測提供了可靠的觀測結果。目前，已經有多種邊界框輸出的目標跟蹤方法，這類基于判別模型的目標跟蹤算法都是利用邊界框模板在搜索區域進行相似性檢測。由于邊界框只是指明了目標所在區域，受背景噪聲的干擾無法精確定位目標[13]。相比之下，物體邊緣輪廓清楚地顯示了目標的形狀和精確位置。利用目標輪廓代替邊界框進行檢測或跟蹤，不僅有助于提高精度，而且可以根據目標的形狀識別目標。

圖2顯示了邊界框標記方法和對象輪廓標記方法的結果。利用邊界框標記目標位置，得到的是一個粗糙的波門，而利用輪廓標記目標位置得到的結果是目標的輪廓邊界。顯然，與邊界框標記相比，目標輪廓模板結果包含了大部分的目標信息和最少的背景信息。

(a) 邊界框模板 (b) 輪廓模板圖2 跟蹤模板

在無人機空對地跟蹤系統中，初始鎖定目標在大多數情況下非常小。此外，目前實時跟蹤系統都是利用邊界框鎖定目標，不可能在圖像上描繪目標邊界區域進行鎖定。這就需要使跟蹤器更智能，能夠區分目標和背景。因此，提出一種自適應模板更新策略的全連接Siamese跟蹤模型，該模型從目標中提取形狀自適應模板，并使用完全卷積Siamese網絡進行跟蹤。與大多數在跟蹤中使用初始邊界框標注目標位置不同，本文模型通過單擊監視器屏幕上的目標來選擇實時視頻中的目標。一旦有操作員點擊目標的任何部分，系統將自動獲取目標輪廓信息，并利用深度學習實現穩定跟蹤。特別是本文模型將在語義級別自動檢測和分割所選目標的輪廓，然后從沒有背景信息的輪廓模型中提取目標特征。也就是說，跟蹤器是在跟蹤目標，而不是跟蹤邊界框區域。

2 自適應模板更新策略的全卷積Siamese跟蹤模型

大多數現有的跟蹤方法都是利用公共數據集中準確的基準參數初始化模板，而本文的目的是基于實時視頻中人工選擇目標來設計目標跟蹤網絡。該模型不需要目標邊界框進行目標鎖定，而是自動獲取目標輪廓信息，并利用深度學習實現穩定跟蹤。

2.1 系統流程設計

本文提出的跟蹤模型主要應用在無人機光電跟蹤系統上，通過操作手對地面目標進行鎖定，實現復雜地面目標的穩定跟蹤，其系統流程如圖3所示。首先，紅外熱像儀獲取的數字視頻在屏幕顯示，并由操作手通過單擊選擇待跟蹤的目標；然后，系統將根據初始點的位置通過檢測輪廓和抽象語義信息自動學習要跟蹤的目標的特征信息。提取目標特征后，系統開始逐幀跟蹤目標，并保存具有高可信度的模板作為待跟蹤目標。如果由于目標形變或遮擋導致模板和跟蹤目標之間相似而小于閾值，這表明初始模板不能在當前幀中精確匹配對目標特征，系統將使用一些策略更新模板。

圖3 系統流程

2.2 自適應模板更新策略

本文提出的模板更新網絡包含兩個獨立網絡：輪廓檢測網絡和目標檢測網絡，其跟蹤主框架如圖4所示。第一幀選擇獲取目標的輪廓，所對應的算法就是輪廓檢測網絡。在輪廓檢測網絡的輸出端，采用人工選擇點開始的填充算法建立模板。一旦系統需要根據模板更新網絡的結果更新后續幀中的模板，輪廓檢測網絡的輸出可以重新用于進一步處理。具體來說，填充算法以當前幀中跟蹤結果的中心點為起點，搜尋輪廓并生成新的模板。

圖4 輪廓跟蹤模型主框架

1) 輪廓檢測網絡。VGG-16網絡具有很高的深度和密度，由于訓練簡單、收斂速度快，在分類任務中得到了廣泛的應用[14]。因此，本文也采用VGG-16網絡結構來提取輪廓特征。為了檢測邊緣，輪廓檢測網絡做了一些修改。首先，移除所有完全連接的層，然后將最后一個最大池化層刪除，最后將輸出端與精化模塊連接。VGG-16網絡中最大池化的Conv1、Conv2、Conv3、Conv4和Conv5作為前端來提取目標的特征，然后對后端進行修改，使網絡能夠提取輪廓信息。這種思想源于整體嵌套邊緣檢測網絡(Holistically-Nested Edge Detection，HED)的五個多尺度匯集層[15]：較低層捕獲更多的空間細節，但缺乏足夠的語義信息；相反，較深層編碼更多的語義信息，但缺少空間細節信息。在本文任務中，無用的背景信息和抽象的目標輪廓干擾需要被減少。因此，本文使用更深層的特性來構建模板。然而，特別是在較深的層次上，HED網絡中的邊緣輸出更容易受到密集邊問題的影響。需要對輸出邊界進行細化，以生成清晰和準確的目標輪廓。此外，最終的輸出需要通過上采樣最大池化和反卷積調整到原始大小[16]。為了在卷積過程中獲得最佳的性能，本文選擇了最小的卷積濾波器(3×3)，其步幅為一個像素，可以捕獲左/右、上/下和中心運動；最大的池化是在2×2像素的窗口上以步幅2操作。因此，本文采用的輪廓檢測網絡中每個卷積層和最大池化層的參數配置如表1所示，其中RF、C和P分別是感受野、卷積與池化的縮寫。

表1 輪廓檢測網絡中每層參數設置

本文采用的輪廓檢測網絡輸出是具有邊緣信息的二值圖。 首先，本文使用泛洪填充方法來生成連通區域，以表示從等高線圖中選擇的目標的位置；然后在二值圖基礎上進一步生成目標掩模，該掩模將背景信息設置為零，并且從原始圖像中分割所選目標；最后，提取目標特征，表征為沒有背景信息的目標模板。可以看出，該策略成功地解決了復雜背景下邊界框的漂移問題。

2) 目標檢測網絡。目標檢測是計算機視覺中的熱點問題之一。對于無人機平臺光電實時搜跟系統，本文只關注高速目標檢測算法。目前，基于深度網絡的目標檢測模型已經具有較高的檢測性能。例如，作為最先進的目標檢測方法之一，YOLOv3可以高精度地檢測不同尺度的目標[17-18]。輕量級YOLOv3通過通道裁剪犧牲了檢測精度，以提高檢測速度，對于小目標不能有效檢測。但是，在空對地光電系統中大多數目標都是小尺寸的。為了避免上下文信息的丟失，本文在空洞卷積(dilated convolution)[19]啟發下引入了擴張模塊層來擴展感受野。表2給出了卷積網絡與擴張卷積網絡之間參數的比較。

表2 不同網絡間的參數對比

為了融合較低層中的目標位置信息和較高層中的語義信息，網絡結構中引入轉移層(passthrough layer)。 具體而言，較低層的特征包含更細粒度的信息，這有助于定位小目標。 因此，本文設計一個帶有步幅2的轉移層，它將特征圖從2M×2N×C轉換為M×N×4C，其中M、N與C分別表示特征圖的分辨率與特征通道。功能圖如圖5所示，可以看出不同灰度點分別擴張到四個通道。最后得到了與YOLOv3類似的精度和速度。轉移層通過將相鄰特征堆疊到不同的通道，利用下采樣時同一位置像素分解成四幅子圖，然后將較高分辨率特征與低分辨率特征的信息融合。變換后通道數變為4倍，分辨率降為原來2倍。例如26×26×512的特征圖轉換為與原始特征相連接的13×13×2 048的特征圖。

圖5 轉移層示意圖

3) 基于模板更新策略的改進Siamese跟蹤網絡。對于大多數改進的Siamese跟蹤網絡，例如Tian等[20]提出的ISCCT，在沒有目標特征信息的情況下首先通過縮放和裁剪輸入目標圖像。在此過程中，當目標移出邊界框時，為上下文添加邊緣信息是非常有用的，但同時，它可能會導致目標尺度降低，并且引入更多背景信息。ISCCT優于SiamFC有三個原因：(1) SiamFC的全卷積網絡結構使得離線訓練數據具有高度可辨識性；(2) SiamFC使用嚴格有監督約束的響應圖而不是回歸分析；(3) 利用相關層作為融合張量，提高了融合張量的準確性。可以看出，ISCCT使用前一幀中的回歸結果并更新每個幀中的模板，SiamFC[7]根據第一幀中的基準區域生成模板，而本文模型則是操作員在系統中手動選擇，利用輪廓檢測網絡獲取目標的輪廓模板。通過相關運算計算模板與搜索區域之間的特征相似度，并生成相似性響應圖，然后通過更新閾值判斷實現模板的更新。響應圖中的最高響應值表示目標中心在下一幀中的位置。因此，系統實現了逐幀跟蹤功能。

圖6展示了本文改進的Siamese跟蹤網絡的架構：首先，全卷積網絡分別將輪廓模板和搜索區域作為輸入，并輸出模板和搜索區域的深度特征。然后，通過模板特征與搜索區域特征之間的相似性進行相關來生成響應圖。最后根據響應圖上的最高響應點作為在搜索區域中跟蹤目標。 Siamese網絡中卷積層的內核大小和步幅的參數設置如表3所示。

圖6 本文改進的Siamese跟蹤網絡的架構

表3 Siamese網絡中的參數設置

3 實 驗

3.1 實驗設置及其性能評價指標

為了驗證本文提出的深度跟蹤模型的有效性，采用標準數據集DARPA VIVID[21]、ILSVRC2015、VOT-TIR2016,以及掛飛收集的自建數據集進行訓練與測試。所有數據都逐幀標注了目標位置與尺寸，基本覆蓋了尺度變化、形變、透視變換、運動模糊、遮擋、灰度變換、背景干擾等干擾因素。本文采用的定量評價為一次評估OPE(One-Pass Evaluation)，主要采用了兩個評價指標:精確度圖(Precision plot)和成功率圖(Success plot)，其中精確度圖能夠顯示出估計位置在給定的準確值的閾值距離之內的幀數占總幀數的百分比；成功率圖給出了閾值從0到1變化時成功幀所占的比例[21]。

本文提出的模板更新網絡和Siamese跟蹤網絡是基于Python TensorFlow框架實現，所有實驗是在一個具有40核雙路Intel Xeon，最高頻率為2.4 GHz的CPU以及4張GeForce GTX 1080Ti GPU顯卡的工作站上進行。

3.2 定性定量分析

為了定性定量分析本文提出的無人機空對地光電平臺下改進Siamese深度模型的目標跟蹤算法的應用性能，選用目前最優的五種跟蹤進行對比分析，分別是SiamFC[7]、DCFNet[23]、SINT[24]、KCF[25]和DKCF[26],其中SiamFC、DCFNet與SINT是基于Siamese深度模型的改進算法，KCF是基于判別模型的核相關算法；DKCF是結合深度特征的KCF算法。

由于本文的初始跟蹤目標波門大小是由算法自適應計算，不再需要操作人員指定跟蹤區域，本文首先為這些目標創建了一個組中心點標簽，并修改了用于測試的Siamese跟蹤網絡的初始化模塊。根據視覺跟蹤基準(Visual Tracker Benchmark)評價要求，本文只測試OPE指標。圖7為基于OPE的精確度圖和成功率圖。

(a) 精確度圖

可以看出，本文提出的形狀自適應模板方法在6種對比跟蹤算法中具有最佳跟蹤性能。在光電跟蹤系統中，中心位置精度決定了伺服響應的速度與跟蹤精度，并且空對地場景中的大多數目標尺寸約為20到40像素。為了便于定量分析，本文比較了中心位置誤差在20像素閾值以內幀百分比，如表4所示，其中：位置誤差為20；重疊率為0.5。可以看出，本文算法在20個像素閾值的中心誤差精度是0.91，獲得最優的跟蹤性能。本文算法在重疊率閾值0.5下的跟蹤成功率是0.872，比原始SiamFC模型還高4個百分點。定量分析結果表明，本文提出的輪廓模板更新算法具有較高的性能，通過輪廓的檢測識別，提高了跟蹤的準確性。尤其是形變視頻下，本文算法能夠準確地定位模板，減少了跟蹤點漂移現象。

表4 跟蹤結果定量對比 %

由于紅外目標在遠距離時，僅僅是一個點目標，沒有太多的形狀特征。本文算法是通過對比度分割獲取目標形心中心與尺寸大小，然后再由Siamese 網絡進行跟蹤，但不進行刷新；若目標輪廓特征明顯，由輪廓檢測網絡提取輪廓，跟蹤過程中通過自適應輪廓模板進行刷新。圖8(a)是沒有模板更新的Siamese 跟蹤網絡的結果；圖8(b)是在相同幀上使用自適應模板更新策略進行Siamese跟蹤的結果。其中：灰色波門是輪廓模板刷新效果；黑色波門是普通模板效果。可以看出，具有自適應輪廓模板更新的網絡更能適應目標形變、透視變換等干擾的影響，其波門中心更接近目標中心。

(a) 沒有模板 (b) 自適應模板圖8 自適應輪廓模板效果對比

(a) VOT-TIR2016數據

4 結 語

本文結合了輪廓檢測網絡和全卷積Siamese 跟蹤網絡的特點，提出一種機載平臺下基于自適應輪廓模板更新的Siamese 跟蹤網絡模型。該模型利用了輪廓模板代替傳統的邊界框模板，與搜索區域一起作為Siamese網絡的輸入，并輸出模板和搜索區域的深度特征。然后通過模板特征與搜索區域特征之間的相似性生成響應圖。最后將響應圖極值點作為在搜索區域中跟蹤目標。多種數據集的仿真實驗結果表明，本文提出的改進模型能夠實現無人機空地跟蹤性能，具有較高的工程應用價值。