基于SSC-SiamMask的動態目標跟蹤系統

鄒 斌，蒲東兵，陳智強，孫英娟

(1.東北師范大學信息科學與技術學院，吉林 長春 130117；2.長春師范大學計算機科學與技術學院，吉林 長春 130032)

0 引言

動態目標跟蹤技術廣泛應用于智能駕駛、體育競技以及軍事武器等眾多領域，其關鍵問題是如何快速、準確檢測并定位到被跟蹤目標。基于相關濾波的方法檢測速度快，但魯棒性不足，而滑動窗口或特征點匹配方法對圖像平移、尺度變換的支持較弱[1-2]。SIFT[3](Scale Invariant Feature Transform)特征提取方法具有圖像平移、旋轉和尺度不變性，適合于目標快速匹配。融合深度學習技術的Faster R-CNN(Faster Region-based Proposal Convolutional Neural Networks)[4]、SSD(Single Shot MultiBox Detector)[5]、YOLO(You Only Look Once)[6]等網絡模型在檢測速度和精度上都有很好的表現，而Siamese FC(Fully-Convolutional Siamese Networks)[7]和SiamRPN(Siamese Region Proposal Networks)[8]通過融合RPN結構實現了對特定目標的檢測。盡管Siamese系列算法能夠實時檢測定位目標，但當遇到目標被遮擋、相似物干擾、目標產生形變甚至丟失等情形時，該類算法的效率就會大打折扣，本文提出的融合SIFT特征和相似度比較的SiamMask(Siamese Mask)[9]改進算法SSC-SiamMask(SiamMask-based of SIFT Features and Similarity Comparison for Single Object Detection and Localization)可有效解決上述問題。

1 基于SSC-Mask的目標檢測定位算法

孿生網絡Siamese由兩個完全相同的模塊組成，以實現對跟蹤目標與后續圖像的特征提取。孿生掩碼網絡SiamMask通過RPN實現分類、定位與對目標輪廓的預測，同時保留了跟蹤目標和當前幀的空間信息，但缺少對算法輸出錯誤結果的解決方案。本文提出的SSC-SiamMask算法在SiamMask算法的基礎上增加了SSC模塊(圖1)，SSC模塊由正確性驗證與目標尋回兩部分構成，正確性驗證實現對SiamMask算法受到干擾時輸出的錯誤結果進行過濾，目標尋回實現對SiamMask的輸出結果進行矯正，確保在跟蹤目標丟失后重新找回目標。

圖1 SSC-SiamMask網絡

1.1 正確性驗證

正確性驗證包括歷史記錄隊列保留和相似度對比兩個部分(圖1)，歷史記錄隊列作為目標歷史狀態保留的緩沖區，為后續檢測提供參考，相似度對比則計算當前SiamMask的輸出與真實目標的相似度，以判斷本次SiamMask輸出結果正確與否。

歷史隊列中的記錄項由定位信息和目標圖像兩部分組成。SiamMask所輸出的坐標信息由[tx,ty,w,h]表示，其中，tx,ty,w,h分別表示目標中心點的坐標(x,y)和預測邊界框的寬度與高度。

歷史記錄隊列為雙端隊列，以提高數據檢索的效率，由近N次SiamMask的正確輸出和系統初始化時選定的跟蹤目標坐標及其區域組成，共N+1條歷史記錄項。盡管初始化目標在當前運動狀態下已發生較大變化，但諸如顏色、紋理、邊界形狀等低層特征改變較小，可為正確性驗證提供更多參考。當SiamMask實現正確輸出后，使用此歷史記錄項對隊列尾部元素進行替換，確保隊列為最新的定位結果，以保證目標實時變化的狀態可以被完整保留。當后續需要重新初始化SiamMask或進行相似度對比時，可以從該隊列中提取出目標的最新狀態特征作為參考。

相似度對比則計算當前SiamMask的輸出與真實目標的相似度，以判斷是否輸出結果。在進行相似度對比時，首先使用SIFT算法提取目標的SIFT特征Ts，然后從歷史記錄隊列中逐一將N條歷史記錄項取出，提取歷史記錄項中保存圖像的SIFT特征Hsi，i=1,2,…,N，計算Ts與Hsi的歐氏距離，取最大值并記為Sn。然后將原始記錄圖像從隊列中取出，提取其SIFT特征Os，計算Ts與Os的特征相似度So, 將兩次結果進行加權求和計算相似度：

S=λ1×Sn+λ2×So,

(1)

其中，λ1和λ2為權重，本文中λ1取值0.7，λ2取值0.3時，SSC模塊驗證效果達到最好。

1.2 目標尋回

當SiamMask輸出大量錯誤結果時，說明跟蹤器已丟失跟蹤目標，本文采用目標尋回方法對SiamMask的輸出進行矯正。目標尋回時，首先對歷史記錄項進行循環讀取，同時在線替換SiamMask中所保留的跟蹤目標特征參數，使網絡可以充分利用目標近期不同狀態的特征，將其作為識別目標的參考。在后續圖像幀中進行目標檢測定位時，使用正確性驗證模塊對SiamMask的每次輸出進行驗證，若驗證結果表明已找回目標，則使用本次SiamMask的輸出結果對歷史記錄隊列進行一次更新，其流程如圖2所示。

圖2 目標尋回流程

2 基于SSC-SiamMask的目標跟蹤系統

本文設計的跟蹤系統架構如圖3所示，包括上位機和下位機兩部分。系統中的下位機(具有網絡傳輸功能的小車)即為本文的跟蹤器，上位機為服務器，上位機與下位機通過無線Wi-Fi進行通信。其中，下位機主要對移動目標進行跟蹤，包含網絡傳輸、圖像采集、避障、測距、硬件驅動等任務；上位機實現SSC-SiamMask算法與數據處理，主要包含目標檢測定位、網絡傳輸以及GUI等。

圖3 系統架構

當上位機通過SSC-SiamMask計算來自下位機的圖像數據，輸出檢測目標的二維像素坐標后，下位機基于雙目測距算法計算其與目標之間的距離，將相關數據傳回到上位機。雙目視覺一般用于空間三維建圖，通過構建像素坐標系，將視差值作為參數，使用相似三角形定理計算跟蹤器至觀測目標的距離，其具體過程如圖4所示。正常跟蹤時，本文設定跟蹤器與目標之間的參考距離為2 m。

圖4 雙目測距流程

為了實現跟蹤過程中下位機自主避障，系統采用紅外傳感器和超聲波傳感器協同避障的方式，多傳感器協同避障邏輯如圖5所示。跟蹤器在跟蹤過程中，其超聲波傳感器不斷檢測跟蹤器正前方障礙物，若存在障礙物，則將該信號反饋至紅外傳感器，紅外傳感器將對跟蹤器兩側障礙物存在情況進行檢測。

圖5 多傳感器協同避障

在跟蹤過程中，上位機根據SSC-SiamMask發出指令，驅動跟蹤器運動。跟蹤器在尋找目標過程中，不斷接收來自上位機的指令，當上位機發現目標后，以發送定位坐標的方式，通知跟蹤器目標已被找到，跟蹤器收到指令后退出目標尋回模式，同時利用接收到的定位信息，調整舵機姿態并驅動電機移動至目標所在方向。

3 系統測試

跟蹤系統上位機與跟蹤器采用Ubuntu操作系統，通過Python編程，實現系統的集成測試。圖6為跟蹤系統的綜合控制GUI，用于設定初始目標區域，顯示實時采集的圖像、目標區域、測距距離、目標中心點坐標、時間戳等信息。

圖6 上位機綜合控制GUI

3.1 SSC-SiamMask跟蹤效果

圖7和圖8分別表示SSC-SiamMask正常跟蹤時的網絡初始化過程和實際檢測定位效果對比。

圖7 網絡初始化

圖8 目標檢測定位

3.2 正確性驗證模塊的錯誤判定及過濾效果

本文拍攝兩組視頻，每組視頻中目標正常存在的圖像和目標消失的圖像各500幀。通過統計錯誤輸出率進行過濾效果的驗證，利用系統單位時間內處理圖像的速率(幀/s)作為指標，驗證該模塊對系統實時性產生的影響，結果如圖9和表1所示。

圖9(a)表示SiamMask檢測正確目標的情形；圖9(b)表示當目標消失后，系統在未進行正確性驗證的情況下檢測到錯誤目標，說明SiamMask算法的局限性；圖9(c)表示當目標消失后，使用SSC正確性驗證模塊對SiamMask輸出進行過濾，未在圖中進行任何錯誤標識，說明正確性驗證模塊的有效性。

(a)目標正常結果輸出

(b)目標消失錯誤結果輸出

(c)目標消失正確結果輸出

表1 正確性驗證算法過濾效果

表1說明引入正確性驗證模塊后，SSC-SiamMask的錯誤輸出率顯著低于SiamMask，盡管犧牲了少部分檢測速度，但獲得了更高的準確率。

3.3 目標尋回模塊的有效性

圖10表示目標丟失時信息記錄與處理結果，圖10(a)中保留了目標消失時的最后圖像信息，時間戳表明目標于16點04分50秒時消失。由于系統使用正確性驗證模塊對網絡的錯誤輸出進行了過濾，所以圖10(b)未輸出任何錯誤定位信息，說明正確性驗證模塊起到了過濾錯誤的效果。

(a)丟失時間戳

(b)定位結果

圖11(a)表示目標再現，圖11(b)顯示的時間戳為16點05分01秒說明目標消失了11 s，此時檢測定位算法盡管還未檢測到待跟蹤目標，但也沒有任何錯誤的檢測結果輸出。

(a)目標再現

(b)目標再現時間戳

圖12(a)表示當目標消失一段時間再現后，系統能夠找回丟失的目標，并輸出其坐標信息，同時將跟蹤目標的位置實時地通過矩形框標注在圖中。圖12(b)的時間戳為16時05分03秒，進一步驗證了通過保留歷史記錄的方式，使用目標尋回模塊找回目標的有效性。

(a)目標尋回

(b)目標尋回時間戳

3.4 SSC-SiamMask抗干擾性

圖13(a)表明當遇到相似顏色特征的干擾物(橢圓形包)，網絡仍然正確識別并定位出目標。圖13(b)顯示檢測到的目標，目標的距離為40.29 cm。

(a)“顏色相似物”干擾

(b)“顏色相似物”干擾時間戳

3.5 SSC-SiamMask的抗遮擋性

為了解決目標被遮擋時無法識別或錯誤定位的問題，本文采用了擴大搜索域策略。圖14(a)表示目標部分區域被遮擋，SSC-SiamMask使用相似度比較算法對網絡輸出進行正確性驗證，并對錯誤輸出結果進行過濾，只輸出了正確的定位結果，如圖14(b)所示。

(a)“遮擋”干擾

(b)“遮擋”干擾時間戳

3.6 跟蹤效果測試

圖15(a)(b)(c)分別表示第三視角(從跟蹤器和跟蹤目標以外的視角)下跟蹤測試的結果。

(a)跟蹤開始

(b)跟蹤進行

(c)跟蹤轉彎

圖16(a)(b)(c)分別表示上位機實時顯示跟蹤狀態的視角效果，該視角對應第一視角(從跟蹤器角度觀察的視角)。

(a)跟蹤開始

(b)跟蹤進行

(c)跟蹤轉彎

4 結語

本文將計算機視覺技術與深度學習算法相結合，設計并實現了一個基于SSC-SiamMask的目標跟蹤系統。該系統通過SSC-SiamMask算法對目標進行檢測定位，跟蹤器收到定位信息后跟蹤目標。經測試，SSC-SiamMask算法能夠過濾環境中96%以上的視覺干擾，跟蹤器在保持與目標間距2 m的同時，有效規避障礙物，實時跟蹤動態目標。