基于深度學習的尺度自適應海面目標跟蹤算法

吳 翔, 鐘雨軒, 岳琪琪, 李小毛

基于深度學習的尺度自適應海面目標跟蹤算法

吳 翔1, 鐘雨軒2, 岳琪琪1, 李小毛1

(1. 上海大學 機電工程與自動化學院, 上海, 200444; 2. 上海大學 計算機工程與科學學院, 上海, 200444)

相比于普通場景的目標跟蹤, 無人艇海面目標跟蹤具有目標尺度變化大、目標抖動劇烈和視角變化大等獨特挑戰。針對此, 文中提出了基于深度學習的尺度自適應海面目標跟蹤算法, 以樣本中心點是否落在真實目標框內對樣本進行分類, 直接回歸中心點到目標框上下左右的距離預測目標框的位置和尺度。同時, 建立了海面目標跟蹤算法評估平臺, 以驗證所提算法的有效性。試驗結果表明, 文中算法相比基于錨框的算法跟蹤位置精度提升了4.8%, 成功率提升了11.49%, 有效解決了目標尺度自適應問題。

無人艇; 尺度自適應; 深度學習; 目標跟蹤

0 引言

無人艇是一種能夠自主航行的水面運動平臺, 在軍用和民用等領域都發揮著巨大作用。視覺感知是無人艇環境感知的重要組成部分, 能為無人艇提供豐富的海面目標外觀信息。海面目標跟蹤作為視覺感知的重要研究任務, 對于海面目標行為分析等方面有著重要意義[1]。海面目標跟蹤任務的定義為: 根據海面圖像序列第1幀中海面目標的信息, 該任務負責在之后的每一幀圖像中定位出該目標[2-3]。不同于普通場景的目標跟蹤任務, 海面目標跟蹤雖背景較為簡單, 但具有目標尺度變化大(見圖1)等特點。

圖1 目標尺度變化

目前較流行的目標跟蹤算法有基于相關濾波器跟蹤算法和基于孿生網絡跟蹤算法。基于相關濾波器跟蹤算法通過循環樣本集訓練一個二維濾波器來尋找圖像中目標的位置, 并根據循環矩陣在傅里葉域對角化的性質, 將復雜的時域運算轉化到傅里葉域元素間的點乘運算, 大大減少了運算量, 提高了跟蹤算法效率[4]。在基于相關濾波器的跟蹤算法中, 解決目標尺度問題的算法包括判別式尺度空間跟蹤(discriminative scale space tracking, DSST)算法[5]、多特征尺度自適應(scale adaptive multiple feature, SAMF)算法[6]、核相關濾波器與檢測建議(kernelized correlation filter with detection proposal, KCFDP)算法[7]、可伸縮核相關濾波器(scalable kernel correlation filter, SKCF)算法[8]、積分邊界中心相關濾波器(integrating boun- dary and center correlation filter, IBCCF)算法[9]等, 該類目標跟蹤算法大部分使用手工特征, 或使用應用于分類任務的預訓練網絡提取特征, 無法形成端到端的訓練。

2016年, Bertinetto等[10]首次將孿生網絡用于視覺目標跟蹤領域, 提出SiamFC跟蹤器, 該跟蹤器采用第1幀作為模板, 在后續幀中通過相似性匹配尋找目標位置, 通過采樣3種不同尺度樣本分別與模板幀作相似性匹配以獲得最佳尺度。Li等[11]將目標檢測領域的區域建議網絡(region proposal network, RPN)[12]引入到跟蹤器中, 提出SiamRPN跟蹤器, 該跟蹤器對每一個候選區域設置尺度以及長寬比不同的框, 將其稱為錨框(anchor), 對錨框進行分類和回歸, 更好地預測了目標尺度, 提高了跟蹤器的速度和定位精度。基于錨框的目標跟蹤算法雖然獲得了很好的效果, 但是其對尺度的預測效果受錨框的限制, 需要仔細調節與之相關的超參數, 對于已經訓練好的網絡, 錨框的尺寸和長寬比是固定的, 因此不適用于尺度變化較大的場景。

文中使用基于深度學習的算法, 能夠提取到特征表達能力更強且更適用于目標跟蹤任務的深度特征。同時, 文中提出的尺度自適應目標跟蹤算法是不依賴于錨框的, 由候選區域的中心點是否在真實目標框(groundtruth, GT)內判斷正負樣本, 然后直接回歸點到GT上下左右的距離, 更適用于海面目標尺度變化大的場景。同時, 為了驗證文中算法的有效性, 搭建了海面目標跟蹤算法評估平臺, 選取尺度變化大的視頻序列進行定性和定量分析, 試驗結果表明文中算法能夠更好的應對目標大尺度變化。

1 方法提出

1.1 孿生網絡目標跟蹤算法

圖2 孿生網絡結構圖

1.2 問題分析

將SiamRPN跟蹤器應用于海面目標跟蹤數據集, 發現其表現效果并不好。在分析其原因之前, 首先簡單介紹SiamRPN跟蹤器的目標跟蹤過程。SiamRPN跟蹤器共有17×17個候選區域, 對于每一個候選區域設置尺度以及長寬比不同的錨框, 在訓練過程中根據錨框與GT的交并比(intersection-over-union, IOU)大小對錨框分類, 設置分類標簽, 將與GT的IOU大于0.6的錨框設置為正樣本, 其余設置為負樣本, 最后再將錨框向GT回歸。如上所述, 基于錨框的目標跟蹤算法的訓練過程注定其表現效果對錨框的尺寸、長寬比和數目非常敏感, 與錨框相關的超參數需要針對不同對象大小或長寬比進行仔細的調節。而且目標跟蹤的對象為視頻序列, 由于海面船只目標跟蹤數據集的特點, 即跟蹤的船只目標尺度在整個序列中變化較大, 注定錨框的設置不能很好地適應每一幀目標。圖3是錨框與GT的可視化圖, 圖4表示海面目標數據集中一個尺度變化大的序列SingleShip05視頻中, 錨框與GT最大的交并比幀數的變化曲線圖, 從圖中可以看出, IOU值越大比例越少, 說明對于大多數圖像其錨框的設置并不是很合理, 也表明基于錨框的算法在處理形變較大的候選對象時比較困難, 而且設置的錨框數量越多, 網絡的維度也越大, 增加了計算量。文中提出的目標尺度自適應算法是基于無錨框(anchor-free)的, 對候選區域的分類是基于點的, 可以保證正樣本的中心點一定落于GT內, 然后直接回歸點到目標框上下左右的距離來確定目標的位置和尺度, 更適用于海面目標大尺度變化的場景。

圖3 SingleShip05視頻中錨框與GT可視化圖

圖4 SingleShip05視頻中錨框與GT最大交并比變化曲線

1.3 尺度自適應海面目標跟蹤算法

圖5 標簽設計示意圖

Fig. 5 Diagram of label design

1.3.1 網絡結構

圖6 文中算法網絡結構圖

1.3.2 損失

分類分支采用焦點損失(focal loss)[14], 表示為

回歸分支采用交并比損失(IOU loss), 表示為

總的損失為

1.3.3 網絡訓練

如圖7所示, 上下2行對應為1個訓練圖像對, 每個圖像對都是從同一個視頻序列中隨機獲得。對圖像進行預處理, 第1行圖像大小為127 px×127 px, 第2行圖像大小為255 px×255 px, 若大小超過了原圖像的大小, 則用圖像紅綠藍三通道的平均像素值填充圖像。

圖7 訓練圖像對

Fig. 7 Training image pairs

1.3.4 跟蹤過程

文中算法目標跟蹤過程的輸入與SiamFC相同。模板分支固定為第1幀, 因此只需要計算1次, 將當前幀搜索圖像塊輸入網絡, 網絡前向傳播獲得分類和回歸的結果。將分類輸出和回歸輸出分別表示為

2 試驗與分析

2.1 目標跟蹤算法評估準則

以安裝在水面無人艇上的環境感知攝像機拍攝的真實圖像序列作為文中算法性能評估的測試數據集, 并按照OTB100目標跟蹤數據集[2-3]公開的統一標準進行人工標注。采集的海面數據集包含30個圖像序列, 其中包括目標被遮擋、目標平面外旋轉、目標超出視野、目標尺度變化和背光等情況。

基于上述測試數據定性分析文中算法的有效性, 定量評估文中算法的成功率和精確度。通常利用精確度和成功率曲線圖對跟蹤算法的性能進行排名, 用曲線與橫縱坐標所圍成的面積來量化表示, 其取值范圍為0~1, 越接近1代表算法的跟蹤效果越好。精確度曲線圖的橫坐標為中心距離閾值, 縱坐標為中心距離小于對應橫坐標閾值幀數與視頻總幀數的比值。中心距離定義為跟蹤算法得到的目標框的中心坐標與GT的中心坐標之間的歐式距離, 即

從式(10)可以看出, 精確度評估只考慮了目標框的位置而沒有考慮目標框的尺度, 常用于評估目標尺度固定的跟蹤算法的精度。因此進一步使用成功率曲線圖評估算法性能。成功率曲線圖的橫坐標為重疊率閾值, 縱坐標為重疊率超過對應的橫坐標閾值的幀數與視頻總幀數的比值。重疊率數值越大表示計算結果越理想。

使用一次性通過評估(one-pass evaluation, OPE)和時間魯棒性評估(temporal robustness eva- luation, TRE)來評估文中算法的性能。OPE在視頻的第1幀利用真實的目標位置對跟蹤算法進行初始化, 使用跟蹤算法得到后續幀中目標的位置。TRE評估首先將整個跟蹤序列去除掉目標不存在的圖像幀, 然后將剩下的圖像幀平均分為若干段, 將每個時間段的初始位置設定為跟蹤的初始幀, 跟蹤器被初始化并運行直到序列結束。

2.2 試驗驗證

選擇SiamFC和SiamDW[15]2個跟蹤算法與文中算法進行對比(SiamDW算法在SiamRPN算法的基礎上對基礎特征提取網絡進行了改進, 與文中算法的基礎特征提取網絡相同, 因此選擇該算法進行對比)。圖8為不同目標跟蹤算法和GT的可視化結果, 圖中紅框表示GT; 黃框表示SiamFC算法的跟蹤結果; 綠框表示SiamDW算法的跟蹤結果; 藍框表示文中算法的跟蹤結果。從圖8第1、2行可以看出, 相較于SiamFC算法和SiamDW算法, 文中算法能夠較好地處理目標尺度由小變大和由大變小的情況, 且位置精度能夠得到保障。從第2行可以看出, 文中算法能夠很好地處理超出視野的情況, 而SiamFC這種通過尺度采樣預測目標最佳尺度的算法在超出視野的情況下尺度預測效果很差。

圖9為采用OPE評估的跟蹤算法精確度和成功率曲線, 其中圖9(a)為在30個海面目標跟蹤數據集上的評估結果, 圖9(b)為在挑選的目標尺度變化大的海面目標跟蹤數據集上的評估結果, 圖中SiamR表示文中算法。從圖9(a)中可以看出, 文中算法表現性能較好, 精確度達到87%, 成功率達到59.9%, 分別比SiamDW算法提升4.8%和11.49%。3種算法的精確度差別不大, 但在成功率方面SiamDW算法較低, 主要原因是對于目標大尺度變化情況, 基于錨框的目標跟蹤算法效果較差。從圖9(b)中可以看出, 在目標大尺度變化的數據集上, 文中算法比其他2種算法的效果提升更多, 也進一步證明了文中算法能夠更好地適應海面目標尺度變化大的情況。

圖8 目標跟蹤效果可視化圖

圖10為在30個海面目標跟蹤數據集上通過時間魯棒性評估的跟蹤算法精確度和成功率曲線, 從圖中可以看出, 文中算法的魯棒性較好, 但與SiamFC算法的差距較小, 其主要原因是, 將圖像幀分為若干段后, 處于后面時間段的序列所包含的圖像幀較少, 在圖像幀較少的序列中目標尺度變化很小, 無法凸顯文中算法的優越性。

圖9 OPE評估精確度和成功率曲線

Fig. 9 Precision and success rate curves of OPE

圖10 TPE評估精確度與成功率曲線

Fig. 10 Precision and sucess rate curves of TPE

3 結束語

基于深度學習的尺度自適應海面目標跟蹤算法提出一種新的尺度自適應方法, 該算法采用孿生網絡結構, 直接回歸候選區域中心點獲得最終目標框, 而不再依賴于錨框, 更適用于目標尺度變化較大的海面船只目標跟蹤。為了驗證文中算法的有效性, 在基于真實應用場景建立的無人艇海面目標跟蹤測試序列中進行了定量和定性分析。試驗表明, 相比基于錨框的算法, 文中算法能夠更有效地解決海面目標跟蹤場景中目標尺度自適應問題, 跟蹤精度達到87%, 跟蹤成功率達到59.9%。

[1] 彭艷, 陳加宏, 李小毛, 等. 時空上下文融合的無人艇 海面目標跟蹤[J]. 中國科學: 技術科學, 2018, 48(12): 1357-1372.

Peng Yan, Chen Jia-hong, Li Xiao-mao, et al. Sea Surface Object Tracking for USV with Spatio-Temporal Context

Fusion[J]. Scientia Sinica Technologica, 2018, 48(12): 1357-1372.

[2] Wu Y, Lim J, Yang M H. Online Object Tracking: a Benchmark[C]//IEEE Conference on Computer Vision and Pattern Recognition. Portland, OR, USA: IEEE, 2013: 2411-2418.

[3] Wu Y, Lim J, Yang M H. Object Tracking Benchmark[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(9): 1834-1848.

[4] Henriques J F, Caseiro R, Martins P, et al. High-Speed Tracking with Kernelized Correlation Filters[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(3): 583-596.

[5] Danelljan M, Hager G, Khan F S, et al. Discriminative Scale Space Tracking[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(8): 1561-1575.

[6] Li Y, Zhu J. A Scale Adaptive Kernel Correlation Filter Tracker with Feature Integration[C]//European Conference on Computer Vision. Zurich, Switzerland: ECCV, 2014: 254-265.

[7] Huang D, Luo L, Wen M, et al. Enable Scale and Aspect Ratio Adaptability in Visual Tracking with Detection Proposals[C]//Proceedings of the British Machine Vision Conference. Swansea, UK: BMVC, 2015.

[8] Montero A S, Lang J, Laganiere R. Scalable Kernel Correlation Filter with Sparse Feature Integration[C]//2015 IEEE International Conference on Computer Vision Workshop (ICCVW). Santiago, Chile: IEEE, 2015: 587- 594.

[9] Li F, Yao Y, Li P, et al. Integrating Boundary and Center Correlation Filters for Visual Tracking with Aspect Ratio Variation[C]//IEEE International Conference on Computer Vision. Shenzhen, China: IEEE, 2017: 2001-2009.

[10] Bertinetto L, Valmadre J, Henriques J F, et al. Fully- convolutional Siamese Networks for Object Tracking[C]// European Conference on Computer Vision. Amsterdam, Netherlands: ECCV, 2016: 850-865.

[11] Li B, Yan J, Wu W, et al. High Performance Visual Tracking with Siamese Region Proposal Network[C]// IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City, UT, USA: IEEE, 2018: 8971-8980.

[12] Ren S, He K, Girshick R, et al. Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137-1149.

[13] Tian Z, Shen C, Chen H, et al. FCOS: Fully Convolutional One-Stage Object Detection[C]//2019 IEEE/CVF International Conference on Computer Vision (ICCV). South Korea: IEEE, 2020.

[14] Lin T Y, Goyal P, Girshick R, et al. Focal Loss for Dense Object Detection[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2020, 42(2): 318-327.

[15] Zhang Z, Peng H. Deeper and Wider Siamese Networks for Real-Time Visual Tracking[EB/OL]. [2019-03-28]. https://arxiv.org/abs/1901.01660?context=cs.

1. 楊向鋒, 熊淑貞, 石磊. 聲自導魚雷目標跟蹤誤差仿真與分析[J]. 水下無人系統學報, 2020, 28(5).

2. 王香, 張永林. 基于RBF神經網絡的AUV路徑跟蹤分數階滑模控制[J]. 水下無人系統學報, 2020, 28(3).

3. 霍宇彤, 郭晨, 于浩淼. 欠驅動AUV三維路徑跟蹤RBF神經網絡積分滑模控制[J]. 水下無人系統學報, 2020, 28(2).

4. 程帥, 張秦南, 王立文. 一種機動目標運動要素估計算法[J]. 水下無人系統學報, 2020, 28(1).

5. 王斌, 溫泉, 范世東. 基于Huber M-CKF的UUV目標跟蹤算法[J]. 水下無人系統學報, 2020, 28(1).

6. 李鑫, 黃茹楠, 丁寧. 輸入受限的自主水下航行器自適應反演控制[J]. 水下無人系統學報, 2019, 27(6).

7. 桑宏強, 于佩元, 孫秀軍. 基于航向補償的水下滑翔機路徑跟蹤控制方法[J]. 水下無人系統學報, 2019, 27(5).

8. 杜金香, 許恒博, 祝鵬. 一種角度加權的最小二乘目標定位算法[J]. 水下無人系統學報, 2019, 27(5).

9. 姚金藝, 曾慶軍, 周啟潤, 等. 全驅動AUV系統路徑跟蹤設計與實現[J]. 水下無人系統學報, 2019, 27(4).

10. 李娟, 張建新, 楊莉娟, 等. 未知環境下UUV動態目標跟蹤導引方法[J]. 水下無人系統學報, 2019, 27(3).

11. 張思宇, 何心怡, 張馳, 等. 水下多目標跟蹤技術現狀與展望[J]. 水下無人系統學報, 2018, 26(6).

Scale Adaptive Sea Surface Target Tracking Algorithm Based on Deep Learning

WU Xiang1, ZHONG Yu-xuang2*, YUE Qi-qi1, LI Xiao-mao1

(1. School of Mechatronic Engineering and Automation, Shanghai University, Shanghai 200444, China; 2. School of Computer Engineering and Science, Shanghai University, Shanghai 200444, China)

Compared with target tracking in common scenes, sea surface target tracking presents unique challenges such as changes in the target scale and perspective as well as intense dithering of targets.Accordingly, a scale-adaptive sea surface target tracking algorithm based on deep learning is proposed. The algorithm classifies samples according to whether the central point of the sample falls to the ground truth and then regresses the distances from the target location to the four sides of the bounding box to predict the position and scale of the target.An evaluation platform for the sea surface target tracking algorithm is also establishedto verify the effectiveness of the proposed algorithm. Experimental results show that compared with the anchor-based algorithm, the tracking accuracy of the proposed algorithm is improved by 4.8% and its success rate is improved by 11.49%, thus effectively solving the problem of target scale adaptation.

unmanned surface vessel; scale adaptation; deep learning; target tracking

吳翔, 鐘雨軒, 岳琪琪, 等. 基于深度學習的尺度自適應海面目標跟蹤算法[J]. 水下無人系統學報, 2020, 28(6): 618-625.

U664.82; TP273.2

A

2096-3920(2020)06-0618-08

10.11993/j.issn.2096-3920.2020.06.005

2020-10-15;

2020-12-02.

國家重點研發計劃資助項目(2017YFC0806700); 科技部重點研發計劃項目(No.2018YFF0103400); 上海市科學技術委員會科研計劃項目(No.17DZ1205001)

吳 翔(1991-), 男, 在讀碩士, 初級工程師, 主要研究方向為無人艇自動控制.

(責任編輯: 陳 曦)