基于無錨框的紅外多類別多目標實時跟蹤網絡

宋子壯, 楊嘉偉, 張東方, 王詩強, 張 碩

(北京遙感設備研究所, 北京 100854)

0 引 言

近年來,隨著海洋工程技術的發展,海上目標類型日趨多樣化,如貨船、快艇、無人機等。日趨復雜的海上航行環境使得航行安全變得更加重要,相關海上目標的檢測、識別與跟蹤逐漸成為熱點問題。為了有效應對各種可能的突發情況,利用智能化手段對相關可疑目標進行預先檢測與跟蹤顯得尤為重要,而將紅外探測手段用于海上目標跟蹤,相較于雷達或可見光擁有抗海雜波能力強與全天候探測的優勢。

傳統跟蹤方法通過提取目標表觀特征對目標狀態進行建模,然后利用模板進行后續的匹配跟蹤過程,如粒子濾波、均值漂移、卡爾曼濾波,但存在計算量大、實時性差、模板更新不及時與對目標尺寸或速度變化魯棒性差等問題。相關濾波跟蹤通過提取目標特征模板并與下一幀進行相關匹配,成功跟蹤后利用匹配上的圖像進行模板的更新,并進行后續的跟蹤,但匹配模板存在著漂移的問題,且實時性不高。隨著深度卷積神經網絡的不斷發展,其強大的深層特征提取能力逐漸代替了傳統手工設計特征提取的方法,且GPU加速了相關運算的處理過程并被應用到目標跟蹤領域當中。孿生網絡是其中的典型代表,通過端到端的訓練使得網絡學習到目標模板與待測圖像塊之間的相似程度,使得提取特征更加魯棒的同時提升跟蹤速度,但其始終需要特定的目標模板進行相關跟蹤過程。此外,上述方法多用于單目標跟蹤過程,在多目標跟蹤中應用時,算法往往受到實時性的制約。

檢測后跟蹤是目前主流的深度學習多目標跟蹤方法,現有方法通常由檢測模型與識別模型組成。檢測模型用于對每一幀中的多個目標進行檢測定位,利用定位將識別模型中的特征向量抽取并進行幀間匹配,從而達到多目標跟蹤。SORT使用卡爾曼濾波預測下一幀目標定位框的狀態,并采用交并比(intersection over union,IoU)匹配的方式對當前幀與下一幀的目標利用匈牙利算法進行關聯,從而進行跟蹤。DeepSORT在SORT的基礎上利用深度學習網絡獲取的表觀特征進行級聯匹配,同時加入了軌跡確認的過程確保跟蹤的魯棒性。Wang等將DeepSORT中的檢測模型與識別模型進行了整合(joint learning of detection and embedding, JDE),極大提高整體架構運行速度,且進一步提升了跟蹤精度。FairMOT注意到JDE網絡基于錨框檢測框架中提取的特征與錨框存在錯位的問題,采用了無錨框的CenterNet網絡重新設計了跟蹤網絡,JDE網絡進一步提升了跟蹤整體精度與實時性。李震霄等在DeepSORT的基礎上使用更輕量級的網絡模型,同時利用長短期記憶人工神經網絡解決卡爾曼濾波在非線性系統中產生的預測誤差。趙朵朵等利用改進后的輕量級DeepSORT進行人流統計,能夠適應復雜場景并具有一定實時性。張宏鳴等設計了長短距離語義增強模塊并應用于DeepSORT當中,同時使用輕量級骨干網絡,進一步提升跟蹤的性能。

現有深度學習檢測后跟蹤方法多在單類別多目標跟蹤數據集中進行,如行人跟蹤數據集,少有研究進行多類別多目標跟蹤,且現有方法僅在算力強勁的PC端部署時擁有較好的實時性,而部署在邊緣設備上時無法滿足實時性要求。在相機無規則運動時,現有卡爾曼濾波預測與IoU匹配無法有效關聯目標的幀間運動,跟蹤表現不佳。此外,在優化識別模型的目標特征向量方面依然有很大的研究空間。為解決上述問題,本文提出了一種基于無錨框的紅外多類別多目標實時跟蹤網絡,在確保跟蹤精度的同時,極大提升了網絡在邊緣設備部署的實時性。

1 本文方法

1.1 基于RepVGG的無錨框跟蹤網絡設計

1.1.1 骨干網絡

基于RepVGG的無錨框跟蹤網絡如圖1所示。其中,骨干網絡選用RepVGG-A0,其借鑒ResNet的殘差結構,在傳統VGG模型中引入多分支結構,從而設計了訓練模式(train)的網絡模型,如圖2所示。相較傳統VGG模型,能夠顯著提升精度。同時,多分支融合技術將卷積層與批歸一化層進行融合,將多路不同大小的卷積核等價變形為多路3×3卷積核,并最終融合為單路3×3卷積核,設計了部署模式(deploy)的網絡模型。該模型僅含有3×3卷積與ReLU激活層,因沒有殘差旁路的引入而擁有更小的顯存消耗,且3×3卷積相較其他大小的卷積計算密度更高,更加有效。類VGG的模型結構使得網絡易于拓展到其他任務中。通道系數控制著最后一層輸出特征圖通道數大小,通道系數控制其余每一層的通道數大小。為了更好地權衡骨干網絡的參數量、計算速度與精度,同時借鑒SSD目標檢測網絡通道數的設計思路,本文將通道數系數,均調整為1。

圖1 基于RepVGG的無錨框跟蹤網絡Fig.1 Anchor-free tracking network based on RepVGG

圖2 RepVGG網絡訓練模式與部署模式結構對比Fig.2 Structure comparison between RepVGG network training mode and deployment mode

1.1.2 快速特征金字塔

原有檢測后跟蹤深度學習跟蹤算法采用可變形卷積(deformable convolution,DCN)與逆卷積對特征圖進行上采樣,同時保證網絡整體的實時性與精度,但特征金字塔結構(feature pyramid networks,FPN)是更加有效的精度提升方法。含有DCN的特征金字塔(DCN-FPN,DFPN)推理時間較慢,其層間融合結構如圖3(a)所示，主要包括可變形卷積、逆卷積與線性相加操作。為了獲得更多的精度收益同時確保跟蹤網絡的實時性,本文設計了快速FPN(fast-FPN,FFPN)，其層間融合結構如圖3(b)所示。該結構使用最少卷積操作次數進行搭建,進一步提升速度。同時,舍棄逆卷積操作與DCN操作,改為常規卷積與線性上采樣,僅使用一個3×3大小的卷積核同時進行特征提取與通道數匹配調整,并消除采樣混疊效應。此外,在最終用于預測的最淺層層間特征融合后追加3×3大小的卷積操作,用于消除采樣混疊效應。

圖3 DFPN與FFPN層間融合結構對比Fig.3 Comparison of DFPN and FFPN inter layer fusion structure

1.1.3 檢測與識別分支

設輸入圖像大小為3××(與分別為圖像的高與寬,3為通道數),則經FFPN輸出的特征圖大小為256×4×4。在此基礎上,使用并行的4路卷積分支生成最終用于檢測與識別的特征圖。

(1) 熱力圖預測頭:輸出特征圖大小為num_classes×4×/4,num_classes為跟蹤目標類別數量,用于檢測目標的類型。

(2) 目標中心定位補償預測頭:輸出特征圖大小為2×4×4,用于進一步提升目標定位的精度。

(3) 目標邊框尺寸預測頭:輸出特征圖大小為2×4×4,用于預測目標的寬高大小。

(4) 目標識別預測頭:輸出特征圖大小為128×4×4,用于提取目標的特征向量。

1.2 識別特征向量改進

1.2.1 含有標簽平滑的交叉熵損失

對于輸入圖像,目標識別預測頭輸出當前圖像中所有目標的特征向量,并用輸出尺度為目標種類數量的全連接層(fully connected layer,FC Layer)進行識別任務回歸,原始交叉熵損失(cross entropy loss,CE Loss)計算如下:

(1)

(2)

式中:為輸入目標特征向量;為目標種類總數;為樣本;為實際標簽;為全連接層關于識別真值標簽的預測值。

上述回歸問題可以被認為是標簽分類問題,使用標簽平滑策略有助于減少目標識別預測頭訓練過程中的過擬合問題,即含有標簽平滑的交叉熵損失(label smooth cross entropy loss, LSCE Loss):

(3)

(4)

式中:為一個很小的常數。鼓勵模型減少對訓練集標簽的信任度,從而減少訓練過程中的過擬合問題,提高模型在測試集中的泛化能力。

122 中心損失

對于三元組損失有公式:

=max(-+,0)

(5)

式中:為正樣本對的特征距離;為負樣本對的特征距離;為邊緣閾值。

三元組損失僅對正負樣本對之間的距離-的大小進行了限制,但沒有對正樣本與負樣本類內距離與的大小進行限制。中心損失被用于解決上述問題,針對訓練時批量樣本中的每個樣本的特征,希望甚至類內特征中心的距離越小越好,使類內距離變得更加緊湊,進一步提升識別效果。中心損失表達式如下:

(6)

式中:為第個類別的特征向量中心;表示樣本特征向量;為訓練批量的大小。

123 特征向量歸一化層

特征向量歸一化層(batch normalization neck,BNNeck)結構使得類間特征在超球面附近成高斯分布,使得與更容易收斂,同時保持了屬于同類特征的緊湊分布,其結構如圖4所示。在訓練階段,使用歸一化前的特征向量計算與,使用歸一化后的特征向量計算。在推理階段,僅使用特征向量用于目標識別任務。

圖4 BNNeck結構Fig.4 BNNeck structure

1.3 跟蹤處理改進

跟蹤處理主要含3個部分:特征向量匹配、卡爾曼濾波目標運動預測、IoU匹配。與公開數據集不同,所采集的紅外跟蹤數據集存在相機無規則運動,導致目標幀間位置變化較大。當目標在視場中無規則運動時,卡爾曼濾波無法對目標的下一幀位置準確估計,如圖5(a)所示,其中矩形框內為目標當前幀所在位置,圓點為目標下一幀運動位置。結合圓點位置,卡爾曼濾波預估目標運動位置如圖中菱形所示,明顯與圖中三角形所示的真實位置存在較大偏差。當目標在圖中成像大小較小時,如圖5(b)所示,箭頭代表目標幀間運動軌跡,相機的無規則運動導致目標幀間運動位置變化較大,目標框無法有效交疊,IoU無法準確匹配。上述問題致使原有卡爾曼濾波目標運動預測與IoU匹配過程無法達到預期效果,故舍棄上述過程換取速度。

圖5 卡爾曼濾波目標運動預測與IoU匹配過程失效Fig.5 Kalman filter target motion prediction and IoU matching process failure

為引入卡爾曼濾波與IoU匹配過程相似的位置關聯效果,在原有計算特征向量間余弦距離的基礎上,加入目標幀間運動距離的懲罰項,對特征向量賦予幀間運動距離信息,進一步提升跟蹤處理的效果。

(7)

1.4 邊緣設備部署

141 融合卷積層與批歸一化層

為了進一步提高網絡在邊緣設備部署時的推理速度,對網絡中卷積層與批歸一化層進行融合。卷積層可表示為

=·+

(8)

式中:為卷積層權重;為卷積層偏置。

融合卷積層后的批歸一化層可表示為

(9)

式中:E[·]為計算訓練批量樣本均值;Var[·]為計算訓練批量樣本方差;與為可學習參數。

令

(10)

(11)

則融合后的卷積層與批歸一化層可表示為

(12)

1.4.2 GPU與CPU的選取

為解決跟蹤網絡在邊緣設備中部署實時性較差的問題,對訓練后的網絡在NVIDIA Jetson Xavier NX中的處理時間進行了分析,主要過程有三部分:GPU中運行的前向傳播(forward propagation，FP)時間，GPU與CPU中運行的結果解碼(result decoding，RD)時間與CPU中運行的跟蹤時間(tracking time,TT)。其中,RD部分耗時最多,其次為跟蹤處理,最快為FP,總時間消耗為116.74 ms,無法滿足實時性需求。為進一步提高整體運行速度,將所有CPU中執行的運算全部移植到GPU中運行,對比結果如表1所示。

表1 邊緣設備運算耗時統計

全部移植到GPU運行發現解碼部分速度有所提升,但跟蹤處理部分卻比原先慢很多,總耗時略微下降。分析認為,RD涉及到大型矩陣運算,如:特征熱力圖的解碼、目標定位解碼等,更適宜在GPU中運行,而跟蹤處理中多涉及邏輯運算與小型矩陣運算,如:特征向量間距離計算、卡爾曼濾波、軌跡判定等,在GPU中運行速度反而嚴重降低,且Python的字典拖慢了處理跟蹤目標隊列的運行效率。鑒于此,使用TensorRT對GPU運算部分的FP進行加速。考慮到TensorRT輸出的結果在CPU中且為特征圖拉伸后的一維向量,為了減少不必要的矩陣維度變換與GPU與CPU間的交互,采用C++完成RD與跟蹤處理過程,進一步提速。

1.5 損失函數

對于檢測任務包括熱力圖損失,目標中心定位補償損失以及目標邊框尺寸預測損失。熱力圖損失使用含有焦點損失的像素邏輯回歸,其表達式如下:

(13)

目標中心定位補償損失使用一維歐式距離損失,具體公式為

(14)

目標邊框尺寸預測損失公式同樣使用一維歐式距離損失,具體公式為

(15)

綜上,檢測任務損失函數可表示為

=++

(16)

式中:,,分別為不同部分的損失權重。

對于識別任務損失函數包括帶有標簽平滑的交叉熵損失、三元組損失、中心損失,如式(3)～式(6)所示,則識別任務損失函數可表示為

=++

(17)

式中:,,分別為不同部分的損失權重。

使用文獻[31]中的多任務聯合學習損失函數對檢測和識別任務進行訓練,總損失函數可表示為

(18)

式中:與為可學習常參數,用于平衡分類任務與檢測任務的權重。

2 數據集與評估準則

深度學習作為一種數據驅動的方法,需要大量數據進行訓練,以達到預期效果。對此,建立低空海面背景下的無人機與船只數據集來驗證算法的有效性。所有圖像均來源于放置于岸邊的紅外圖像采集設備,共78段視頻(136 846張圖像),包含順光與逆光拍攝的早中晚各個時段的212種類的船只與3種類的無人機。相機架設在轉臺之上,隨轉臺轉動存在著無規則運動,相關訓練數據集圖像如圖6所示。

圖6 紅外海上目標跟蹤數據集展示Fig.6 Display of infrared sea target tracking dataset

使用TXT文本文檔對每一段視頻進行標注,每行標注內容為當前幀號、當前幀圖像內總目標個數以及每個目標的種類編號、中心點坐標、寬高與類別。進一步對數據集進行劃分,得到訓練集共55段視頻(103 101張圖片),測試集23段視頻(共33 745張圖片)。

在評估準則方面,共有MOTA,IDF1,MT,ML 4個指標。MOTA為多目標跟蹤的準確度,體現在跟蹤確定目標的個數,以及有關目標的相關屬性方面的準確度,用于統計在跟蹤中的誤差累計情況。

(19)

式中:為視頻中的第幀;FP為假陽目標數量;FN為假陰目標數量;IDs為目標編號切換次數;GT為目標真值個數。

IDF1為目標識別準確率和召回率的調和平均數,用于衡量識別的精確程度。

(20)

式中:IDP為目標識別準確率;IDR為目標識別召回率。

MT為預測的目標軌跡占真值總軌跡比例大于80%的個數,ML為預測的目標軌跡占真值總軌跡比例小于20%的個數。

本文使用MOTA、IDF1、MT、ML 4個指標得到的分數對算法性能進行綜合評估,評分(Score)計算公式為

(21)

其中,上述指標均為百分比大小,MT與ML為利用總軌跡個數歸一化后的百分比大小,評分的取值范圍為負無窮到100。

3 實驗分析

3.1 實驗設置

對于訓練過程使用PC機完成訓練,CPU為Intel core i9-10900K,GPU為Quadro RTX 8000(48 GB),CUDA 11.0,CUDNN 8.0,操作系統為Ubuntu 20.04LTS,采用Pytorch1.6深度學習架構。使用隨機梯度下降優化算法(stochastic gradient descent, SGD),初始學習率為10,總訓練為30個epoch,每訓練10個epoch學習率調整為原來的十分之一。訓練批量大小為16,輸入圖像分辨率為640×512,損失函數權重設置分別為=1,=1,=01,=1,=1,=01。

對于實時性驗證過程使用NVIDIA Jetson Xavier NX邊緣計算設備進行,CPU為6-core NVIDIA Carmel ARMv8.2 64-bit,GPU為NVIDIA Volta架構,搭載384 NVIDIA CUDA cores和48 Tensor cores(8 GB),CUDA 10.2,CUDNN 8.0,操作系統為Ubuntu 18.04LTS,采用Pytorch1.6深度學習架構。

3.2 消融試驗

3.2.1 基于RepVGG的跟蹤網絡與其他輕量級網絡對比

本文基于RepVGG骨干網絡設計了無錨框跟蹤網絡結構,從評分、推理時間、模型計算復雜度3個方面與其他輕量級網絡進行對比,并對DCN、DFPN、與本文設計的FFPN的跟蹤性能進行了對比,結果如表2和表3所示。

表2 基于RepVGG的跟蹤網絡與其他輕量級網絡跟蹤精度對比

表3 基于RepVGG的跟蹤網絡與其他輕量級網絡推理速度對比

從表2與表3中的結果可以看出基于RepVGG的FFPN更好地融合了網絡的深層語義信息與淺層細節信息,相較于DCN能夠帶來更多的精度收益,評分增長2.78,網絡推理時間快4.36 ms。此外,FFPN較含有DFPN省去了卷積采樣點變形的計算過程,并使用次數最少的卷積運算操作完成特征金字塔搭建,網絡推理時間快10.76 ms。Deploy模式能夠在評分不變的情況下對模型有效提速,網絡推理時間減少19.06 ms。相較于ResNet18、HRNet18、DLA34輕量級網絡,所設計的網絡擁有較小的參數量與最小的模型計算復雜度,以及最低的推理延遲,評分略低于DLA34等高推理延遲網絡。

3.2.2 識別特征向量改進

本文引入重識別領域相關改進對目標識別預測頭生成的目標特征向量進行改進,結果如表4所示。從表中可以看出,含有標簽平滑的交叉熵損失有效減少了目標識別預測頭訓練中的過擬合問題,提高特征向量在測試集中的泛化能力。中心損失在三元組損失的基礎上學習每類特征的中心并懲罰類內樣本關于中心的距離,對類內距離進行限制,進一步提高識別過程的精確度。BNNeck的加入使得目標編號切換次數進一步降低,同時擁有最高識別精確度與評分。

表4 識別特征向量改進效果對比

3.2.3 跟蹤處理的精簡與改進

為證明所提跟蹤處理的精簡與改進的有效性,從評分與跟蹤耗時兩方面進行對比,結果如表5所示。從結果中可以看出,在相機無規則運動的情況下,卡爾曼濾波目標運動預測不具有可行性,各項跟蹤指標嚴重降低,而處理錯誤跟蹤軌跡引入了大量額外計算,導致TT明顯提升,達到25.65 ms。在去除卡爾曼濾波目標運動預測后,消除了其對跟蹤過程帶來的負面影響,跟蹤各項指標極大提升,跟蹤處理時間為7.09 ms。當目標較小且視場運動較為劇烈時,目標幀間運動的像素距離較大,IoU往往不能進行準確匹配,將IoU匹配過程去除可以緩解上述問題,MT、ML指標有所提升。同時,僅靠特征向量匹配導致跟蹤編號不穩定,編號切換次數增多,IDF1指標降低。對此,采用含有目標幀間運動距離信息的特征向量彌補IoU匹配缺失帶來的影響,MT指標進一步提升,同時改善了IDF1與IDs指標。改進后的跟蹤處理省去了卡爾曼濾波與IoU匹配的計算過程,引入目標幀間運動信息對原有目標特征向量進行改進。同時,使用C++改善了使用Python字典處理跟蹤目標隊列運行效率低下的問題,跟蹤處理時間為1.29 ms。

表5 跟蹤過程的精簡與改進

3.2.4 邊緣設備部署

使用本文所設計的基于RepVGG的無錨框跟蹤網絡與改進后的跟蹤方法,在NVIDIA Jetson Xavier NX邊緣設備上進行實驗。通過對Deploy網絡中的快速特征金字塔結構的批歸一化層與卷積層進行合并,最終Deploy網絡僅含有卷積層與激活層,不含有批歸一化層。所統計的時間包含圖像載入(load image,LI)、圖像預處理(image preprocessing,IP)、FP、RD、TT。在FP方面,從表6中可以看出TensorRT有效地加速了網絡FP的運算速度,速度提升2.65倍。同時,通過簡化與改進后的跟蹤部分時間降低4.52倍。在實驗中發現,使用Pytorch進行RD時間最慢,為83.29 ms,而使用Numpy進行RD速度有所提升,為32.26 ms,使用C++進行解碼速度最快,為2.73 ms。本文所提出的算法整體跟蹤處理幀率為52.37,滿足邊緣設備部署實時運行需求。跟蹤精度方面,從表7中可以看出,Deploy模式并沒有影響跟蹤精度,TensorRT(FP16)的使用使得計算結果出現一定舍入誤差,出現精度損失,尤其體現在MOTA與IDF1指標上。通過改進跟蹤處理算法,使得本文方法評分最高,IDF1與IDs指標有所下降,但與所換取的速度提升相比是可以接受的,相關海上多類別多目標跟蹤結果如圖7所示。

表6 不同部署方法的跟蹤速度對比

表7 不同部署方法的跟蹤精度對比

圖7 海上多類別多目標跟蹤結果Fig.7 Display of multi-category and multi-target tracking results on the sea

4 結 論

本文結合RepVGG骨干網絡設計快速特征金字塔結構,提出了一種基于無錨框的紅外多類別多目標實時跟蹤網絡。通過引入重識別領域相關改進方法,對目標識別預測頭的特征向量進一步優化,提升識別的精確程度。針對轉臺造成的相機無規則運動所建立的數據集,簡化了跟蹤處理流程,對目標特征向量賦予幀間運動距離信息,有效改善了相機無規則運動對跟蹤帶來的影響。同時,細化并分析了多目標跟蹤網絡在邊緣設備中的整體時間消耗,選用GPU與CPU分別執行最優運算,進一步提升整體跟蹤速度。最后,將深度學習單類別多目標跟蹤網絡擴展至多類別多目標跟蹤任務當中,對海上多類別目標進行多目標跟蹤。結果表明,本文所提相關方法在NVIDIA Jetson Xavier NX邊緣設備中運行幀率達到52.37 FPS,滿足邊緣端實時運行需求。在本文所提的綜合評價指標下,所設計的網絡相較其他輕量級網絡評分提高1.78,能夠更好地權衡跟蹤精度與推理速度,在邊緣端擁有更好的性能。未來,在保證實時性的基礎上,我們將注重改進現有方法跟蹤處理中IDF1與IDs指標不佳的問題。