摘 要: 針對多目標運動軌跡預測過程中由于檢測精度和實時性不足造成部分目標位置信息丟失和預測準確度不高問題,提出基于改進卡爾曼濾波的多目標軌跡運動軌跡預測(MMTP)算法。MMTP算法在目標檢測階段使用YOLOv4檢測器提升目標檢測的準確率和速度;在目標匹配階段采用KM匹配算法將當前檢測框的檢測目標與上一時刻預測的預測框的目標進行數據關聯,從而增強目標關聯的準確性,避免目標遮擋、目標交錯和漂移造成的目標丟失;在目標坐標預測階段,提出改進卡爾曼濾波算法為每個運動目標預測下一幀位置坐標并畫出預測框,提高非線性場景中目標坐標的預測精度,降低預測坐標的誤差。使用MOT16與實際交通系統拍攝的視頻序列數據集驗證算法整體性能,仿真結果表明,MMTP在目標檢測階段具有較好的檢測精度和速度,有效提升了算法整體的運行速度;在目標匹配階段,MMTP算法能增強目標關聯的準確性,減少目標丟失,比RMOT、POI、SORT、Deep-SORT和YVTP算法更優。
關鍵詞: 多目標運動; 軌跡預測; 改進卡爾曼濾波; KM匹配; 預測誤差
中圖分類號: TP391.41"" 文獻標志碼: A
文章編號: 1001-3695(2022)01-053-0296-07
doi:10.19734/j.issn.1001-3695.2021.05.0203
Multi-target motion trajectory prediction algorithm based on deep learning
Ren Tiaojuan1,2, Chen Peng2, Chen Yourong1,2, Liu Banteng1, Sun Ping1
(1.School of Information Science amp; Technology, Zhejiang Shuren University, Hangzhou 310015, China; 2.School of Computer amp; Artificial Intelligence, Changzhou University, Changzhou Jiangshu 213164, China)
Abstract: In the process of multi-target motion trajectory prediction,due to insufficient detection accuracy and real-time performance,some target position information is lost and prediction accuracy is not high.This paper proposed a multi-target trajectory prediction (MMTP) algorithm based on improved Kalman filter.MMTP algorithm used the YOLOv4 detector in the target detection stage to improve the accuracy and speed of target detection.In the target matching stage,MMTP algorithm used the KM matching algorithm to associate the detection target of the current detection frame with the target of the prediction frame predicted at the previous moment,thereby enhancing the accuracy of target association and avoiding target loss caused by target occlusion,target interleaving and drift.In the target coordinate prediction stage,this paper proposed an improved Kalman filter algorithm to predict the position coordinates of the next frame for each moving target and draw a prediction frame,so as to improve the prediction accuracy of target coordinates in non-linear scenes and reduce the error of predicted coordinates.Then it used the video sequence data set taken by MOT16 and the actual traffic system to verify the overall performance of the algorithm.The simulation results show that MMTP algorithm has better detection accuracy and speed in the target detection stage,which effectively improves the overall operating speed of the algorithm.In the target matching stage,MMTP algorithm can enhance the accuracy of target association and reduce target loss,which is better than RMOT,POI,SORT,Deep-SORT and YVTP.
Key words: multi-target motion; trajectory prediction; improved Kalman filter; KM matching; prediction error
0 引言
近年來,由于駕駛員的駕駛行為而引發交通事故數量迅速增加,加強駕駛員對路況的分析能力、輔助駕駛員判斷交通環境是解決這一問題的重要途徑[1]。運動目標軌跡預測可為智能交通系統(intelligent transportation system,ITS)中自主協作駕駛、碰撞預警、防碰撞等相關安全技術應用提供實用基礎。如在運動目標路徑預測的過程中,可對運動目標進行檢測和跟蹤,并在此基礎上對運動目標軌跡進行預測,獲得運動目標的運動趨勢,從而及時提醒駕駛員并發出警告或采取主動控制車輛制動、轉向等措施以避免交通事故的發生。在運動目標軌跡預測的研究中,對于運動目標的檢測和軌跡預測是加速智能交通系統應用的關鍵因素[2]。
目前運動目標軌跡預測是智能交通系統應用的重要部分。現今部分學者側重于構建運動學和動力學模型[3~5]進行運動目標軌跡預測。文獻[6,7]提出基于三自由度運動目標動力學和恒定橫擺角速度和加速度運動模型,通過建立動力學模型實現運動目標軌跡預測;文獻[8,9]通過改進粒子濾波并結合顏色序列和約束貝葉斯狀態估計實現目標的運動軌跡預測;文獻[10]提出了一種使用最大似然多重模型(maximum likelihood multiple model,MLMM)濾波的方法,通過一個極大似然規則組合獨立的四種運動學模型相關估計值,獲得總體估計值預測目標軌跡;文獻[6~11]通過建立運動學和動力學模型預測目標軌跡,在預測中即使有很大一部分數據丟失也不會影響預測準確性,但是部分目標運動軌跡是非線性的,易出現很多曲線的軌跡,使得基于模型的軌跡預測算法在應對此類問題時會出現精度不高的問題。
近年來部分學者側重于研究基于數據驅動的軌跡預測算法[12,13],采用分類算法與回歸算法兩種思路處理軌跡預測問題。文獻[14]提出了一種基于長短期記憶網絡(LSTM)的目標軌跡預測算法構建軌跡輸出模塊,同時對軌跡輸出模塊采用編碼器—解碼器結構生成任意長度的軌跡序列從而預測軌跡;文獻[15]提出了一種基于聚類分區域的隱馬爾可夫模型,通過大量GPS數據的訓練,得出最佳模型參數,最后通過隱狀態之間的轉移矩陣預測移動對象軌跡最終位置;文獻[16]提出了一種利用 Haar-like 特征訓練的AdaBoost級聯分類器,識別前方運動目標并通過卡爾曼濾波算法對檢測的目標進行軌跡預測;文獻[17~20]分別使用深度神經網絡(deep neural network,DNN)、Faster R-CNN和YOLO網絡檢測目標并通過預測算法預測目標軌跡。文獻[13~18]都使用了數據驅動的軌跡預測算法,但以上算法存在目標檢測網絡在目標檢測時出現實時性和精度上的不足,導致目標丟失和數據丟失,且軌跡預測時需要大量連續數據且計算量大等問題。
綜上所述,目前基于模型的軌跡預測算法側重于構建動力學和運動學模型,且模型多為線性模型,在非線性場景使用時精度不高;數據驅動的軌跡預測算法在檢測目標時由于檢測精度和實時性存在不足,容易丟失部分視頻幀之間目標位置信息,導致在軌跡預測時需要考慮目標在交通環境中由于快速移動、光照變化、環境干擾等問題造成的目標丟失,需要補償相應的位置信息,從而增加了整體算法的復雜度和計算量。因此在上述文獻的基礎上,提出基于深度學習的多目標運動軌跡預測算法(multi-target motion trajectory prediction algorithm based on deep learning,MMTP)。MMTP 算法采用圖像均衡化歸一化等預處理消除運動模糊、背景干擾、光照變化等環境因素造成的干擾,同時引入YOLOv4網絡實時檢測圖像中目標位置;使用目標檢測框和目標預測框的重合交并比(intersection over union,IoU)的KM匹配算法判斷當前目標與預測位置目標是否相同,避免目標丟失。結合擴展卡爾曼濾波算法(extended Kalman filter,EKF)預測目標位置信息,該算法可解決傳統網絡在檢測目標實時性不足導致目標丟失的問題,從而提高了軌跡預測的準確性,加強檢測目標與預測目標數據的關聯性,有效避免了目標丟失。
1 多目標運動軌跡預測算法原理
圖1為多目標運動軌跡預測算法原理流程。如圖1所示,在目標軌跡預測前,先對圖像進行均衡化、歸一化等預處理以獲得適合網絡輸入的目標圖像;將圖像輸入YOLO網絡,訓練該網絡模型,當網絡訓練結束后固定網絡的權重參數并保存。加載網絡參數檢測數據集中測試集圖像計算測試集圖像目標檢測框與真實框的重合度來評估該網絡參數是否滿足檢測。在目標檢測時,通過攝像頭采集目標視頻信息并對采集的視頻圖像進行均衡化、歸一化預處理,調用訓練好的網絡模型檢測目標,用檢測框框出目標同時分配目標ID,將檢測框中心點坐標作為該目標在圖像中的位置,圖像中出現新目標時為該目標創建目標ID。將當前檢測框的檢測目標與上一時刻預測的預測框的目標使用KM匹配算法進行數據關聯。若預測框內的目標未匹配成功則與后續幀檢測目標進行匹配,連續N幀未成功匹配則刪除該預測目標且目標丟失。使用擴展卡爾曼濾波算法為每個運動目標預測下一幀位置坐標并畫出預測框。為匹配成功的目標更新目標位置并輸出目標位置信息,但是仍需解決以下兩個問題:a)如何使用KM匹配算法匹配當前檢測目標與上一幀預測目標;b)如何使用擴展卡爾曼濾波算法預測運動目標軌跡,解決目標在非線性場景下的預測軌跡問題。
3.2 多目標軌跡預測效果分析
3.2.1 多目標軌跡預測效果
選擇表1中實驗參數計算和預測在公路環島、街道路面、校園道路交叉口三個場景中MMTP算法的車輛和行人運動軌跡,獲得多目標軌跡預測效果圖。如圖5所示,圖中藍色框為當前時刻目標的檢測框,紅色框為上一時刻預測目標位置的預測框(見電子版)。圖5(a)(b)為交通環島場景的車輛目標運動軌跡預測效果圖,其中目標1為轉彎、目標2為直行,在目標運動過程中,由于兩個運動目標運動方式不同,其在x軸和y軸上的變化規律各不相同,但是MMTP算法使用改進卡爾曼濾波算法,其預測目標軌跡接近真實軌跡。圖5(c)(d)為街道行人運動場景的預測效果圖,其中目標3在運動過程中對目標4進行遮擋,為了降低目標遮擋造成的目標漏檢,在對目標進行匹配的過程中會對消失目標的空間特征信息和表觀特征信息進行保留。在后續的檢測目標中迅速查找遮擋目標避免目標丟失,因此目標4在遮擋結束后仍然能夠對目標4進行預測,且由于目標4遮擋時間較短,MMTP算法不會將目標4檢測誤認為新目標進行軌跡預測。圖5(e)(f)為校園道路十字路口場景的預測效果圖,其中包含車輛和行人多個運動目標。由于車輛和行人目標的表觀特征和運動速度不同,MMTP算法通過目標的表觀特征和目標的交疊率作為KM匹配的權重,增強了目標匹配的準確性,從而提高了算法的魯棒性。
3.2.2 直線運動的預測軌跡誤差分析
選擇表1中實驗參數和校園道路場景視頻中目標5(圖5(e)(f)),計算目標5直線運動的定位坐標和軌跡誤差。如圖6所示,起始點為坐標(932,505),經過16 s直線運動達到圖像邊緣終點(49,864)。從目標的檢測軌跡和預測軌跡中可以發現目標朝一個方向直線行走,其預測坐標符合真實運動坐標,較接近真實路徑。
選擇表1的實驗參數,選擇歸一化尺度為416×416和檢測閾值socre為0.7,計算目標在直線運動中,分析RMOT[11]、POI[17]、SORT[18]、Deep-SORT[19]、YVTP和MMTP算法在x軸和y軸的平均誤差。其中,ROMT對目標運動過程和目標外觀進行建模,通過運動學建模的方式進行預測;POI算法使用Faster R-CNN作為目標檢測的檢測器,使用KM匹配算法作為預測目標與檢測關聯的匹配算法,使用卡爾曼濾波預測目標下一時刻的坐標;SORT算法使用YOLOv3作為目標檢測的檢測器,使用匈牙利匹配算法關聯預測目標與檢測目標,使用卡爾曼濾波算法預測目標下一時刻坐標;Deep-SORT算法是在SORT算法的基礎上增加了表觀特征的關聯;YVTP算法使用YOLOv3作為目標檢測的檢測器,使用KM匹配算法關聯預測目標與檢測目標,使用擴展卡爾曼濾波算法預測目標下一時刻坐標。如表2所示,在類似線性的場景中,六種算法的誤差較小,但由于使用檢測器檢測精度,運動學模型和目標關聯度不同。其中MMTP使用了YOLOv4作為檢測目標和KM匹配算法加強目標關聯,軌跡預測時待預測數據準確度更高,因此在預測目標軌跡時降低了誤差。
3.2.3 轉彎運動的預測軌跡誤差分析
選擇表1中實驗參數和校園道路場景視頻中目標6(圖5(e)(f)),計算目標6轉彎運動的定位坐標和軌跡誤差。如圖7所示,起始點為(1582,257),目標在向前運動的過程中經過一個轉彎口,目標沿轉彎口轉彎后直行一段后到達圖像的邊緣點(12,293)。從目標到達轉彎口轉彎時,x軸的目標坐標變化較大, y軸的目標坐標變化較小,預測軌跡形態符合轉彎規律。同時目標轉彎結束后,在x軸方向上目標坐標減少,而y軸幾乎沒有變化,符合直行運動的規律。從圖7中可以發現,對于轉彎目標,其軌跡預測符合實際目標運動軌跡,預測軌跡接近真實路徑。
選擇表1的實驗參數,選擇歸一化尺度為416×416和檢測閾值socre為0.7,計算目標在轉彎運動中, RMOT、POI、SORT、Deep-SORT、YVTP和MMTP算法在x軸和y軸的平均誤差,結果如表3所示。在非線性運動中,MMTP使用擴展卡爾曼預測目標坐標,其預測使用泰勒級數展開近似于非線性函數在非線性環境中有較好的預測效果,而POI、Deep-SORT和SORT使用線性預測預測函數。RMOT使用運動學模型有較好的預測效果,但其模型較為復雜且預測效果并沒有達到最優。因此,MMTP算法在非線性場景中預測誤差最小。
3.3 算法性能分析
為了計算算法在數據集中視頻序列的預測目標準確率,采用mAP(mean average precision)和MOTA[22](multiple object tracking accuracy)指標比較其在不同視頻序列中的效果。其中,mAP表示目標檢測的平均精度;MOTA表示多目標預測精度,其定義為
MOTA=1-(∑tmt∑tgt+∑tpt∑tgt+∑tmet∑tgt)(19)
其中:mt表示t時刻漏報目標數;pt表示t時刻虛報目標數;met表示t時刻目標跳變數;gt表示t時刻真正目標數;∑tmt∑tgt表示漏報率;∑tpt∑tgt表示虛報率;∑tmet∑tgt表示目標跳變率。
首先,分析歸一化尺度對檢測精度和圖像處理速度的影響。選擇表1中實驗參數,改變圖像的歸一化尺度大小,計算不同歸一化尺度下的目標檢測精度(mAP)。如表4所示,歸一化尺度為416×416時檢測精度最高且目標的檢測精度隨著歸一化尺度的降低而下降。
為綜合驗證在不同場景的視頻序列中歸一化尺度的大小對目標檢測速度的影響,選取數據集中不同場景的視頻序列進行測試,計算廣場(MOT16-02)、移動的街面(MOT16-05)、步行街道(MOT16-09)、移動的商場(MOT16-11)、繁忙十字路口(MOT16-13)場景圖像的處理速度。如圖8所示,隨著YOLO尺度的降低,目標檢測速度提升。YOLO檢測器在歸一化尺度416×416時檢測速度最慢,288×288時速度最快。同時,MMTP算法的速度和預測目標的數量呈負相關,即目標數量越多,預測算法運行越慢。同時當視頻序列中目標數量較多且密度較大時,預測效果較差且運行速度較慢,但即使是圖像處理速度最慢的視頻序列,其速度也大于25 fps,滿足實時預測的需要。因此在選擇歸一化尺度大小時綜合考慮目標的檢測精度和算法運行速度等因素。MMTP算法選取歸一化尺度為416×416作為輸入圖像的歸一化尺度。
表1中實驗參數在目標檢測時選擇檢測閾值score為0.4、0.5、0.6、0.7、0.8計算廣場場景(MOT16-02)、移動的街面(MOT16-05)、步行街道(MOT16-09)、移動的商場(MOT16-11)、環島(環島)場景下的MOTA。如圖9所示,當score為0.4和0.5時,score值較小,會使目標檢測的置信度變低,導致誤檢率變高,從而MOTA變小;當score為0.8時,socre設置較大,導致檢測目標置信度變高,漏檢率變高,從而MOTA變小。因此,MMTP算法選擇檢測閾值score為0.7作為MMTP算法的檢測閾值score。
為了驗證算法性能,按照表1的實驗參數選擇歸一化尺度為416×416和檢測閾值socre為0.7,比較廣場(MOT16-02)、移動的街面(MOT16-05)、步行街道(MOT16-09)、移動的步行街(MOT16-10)、移動的商場(MOT16-11)、環島(環島)場景下的MOTA。如表5所示,廣場場景、商場場景和移動的街面場景下目標數較少或目標密度較低,在檢測目標時不易發生漏檢、目標堆疊和遮擋等現象,MOTA在81%以上;步行街道、步行街和環島場景下,因為目標數較多或目標密度較高,在目標檢測時出現漏檢或虛報,在密度較大時目標間的相似度較高,目標識別和匹配錯誤造成目標ID的跳變從而影響預測的準確率,MOTA略低。
3.4 算法比較
按照表1的實驗參數選擇歸一化尺度為416×416和檢測閾值socre為0.7,計算16個場景下RMOT、POI、SORT、Deep-SORT算法的檢測精度、誤差和MOTA,結果如表6所示。MMTP算法使用YOLOv4作為目標檢測的檢測器,該檢測器比Faster R-CNN和YOLOv3具有更優的檢測精度,采用KM匹配算法加強檢測目標與預測的關聯性,降低了目標丟失的可能性,同時采用擴展卡爾曼濾波算法預測目標下一時刻坐標,因此在非線性場景中其預測目標坐標與實際目標坐標的誤差較小,算法誤差最低,目標檢測精度最高,且其MOTA僅低于POI和Deep-SORT算法。而ROMT算法在目標檢測和預測過程中需要較多時間進行計算且會出現多次目標丟失,因此其目標檢測精度和MOTA最低,但是采用運動學建模的方式進行預測,其誤差略高于MMTP的誤差。POI算法在目標檢測時采用Faster R-CNN,雖然提升了MOTA,但是在目標匹配時使用多種匹配特征增加算法復雜度,其目標檢測精度較差和誤差較高(約為MMTP的4倍)。SORT算法采用匈牙利匹配算法,其目標關聯性不足,容易出現目標丟失和目標漂移,從而降低了MOTA且其誤差最大(約為MMTP的3倍)。Deep-SORT算法在SORT算法的基礎上增強目標表觀特征的匹配以避免目標丟失,從而提高了MOTA,但其檢測精度和非線性場景中的預測誤差比MMTP算法差。YVTP算法雖然和MMTP算法在匹配和預測算法上一致,但其在目標檢測時使用YOLOv3作為目標檢測的檢測,在目標檢測時該檢測器檢測精度與速度不如YOLOv4,因此YVTP算法的MOTA、目標檢測精度和誤差效果都比MMTP算法差。綜上,MMTP算法整體性能優于RMOT、POI、SORT、Deep-SORT和YVTP算法。
4 結束語
本文針對傳統算法在多目標軌跡預測中目標丟失、目標關聯性性不足、在坐標預測領域非線性場景預測目標精度不足等問題,采用基于擴展卡爾曼率波的多目標軌跡預測算法和高效的KM匹配算法提出一種多目標軌跡預測算法(MMTP)。在目標檢測階段使用YOLOv4檢測器,提升目標檢測的準確率和速度。在目標匹配階段使用KM匹配算法增強目標關聯的準確性,減少目標遮擋、目標交錯和漂移造成的目標丟失。在目標坐標預測階段,使用擴展卡爾曼濾波算法在非線性場景預測目標坐標擁有較好的精度,降低預測坐標的誤差。由于MMTP的整體性能受視頻內目標數和目標密度影響,下一步工作是研究在目標數量較多和密度較大的場景中提升算法性能,同時改進目標匹配算法提升算法的運行速度。
參考文獻:
[1]Sakhare K,Tewari T,Vyas V.Review of vehicle detection systems in advanced driver assistant systems[J].Archives of Computational Methods in Engineering,2020,27(4):591-610.
[2]Wu Minye,Ling Haibin,Bi Ning,et al.Visual tracking with multiview trajectory prediction[J].IEEE Trans on Image Processing,2020,29:8355-8367.
[3]Berntorp K,Quirynen R,Uno T,et al.Trajectory tracking for autonomous vehicles on varying road surfaces by friction-adaptive nonlinear model predictive control[J].Vehicle System Dynamics,2020,58(5):705-725.
[4]Abbas M T,Jibran M A,Afaq M,et al.An adaptive approach to vehicle trajectory prediction using multimodel Kalman filter[J].Trans on Emerging Telecommunications Technologies,2020,31(5):e3734.
[5]Shang Junna,Liu Can,Shi Huli,et al.A new algorithm for navigation trajectory prediction of land vehicles based on a generalised extended extrapolation model[J].Journal of Navigation,2019,72(5):1217-1232.
[6]Hu Jianjun,Xiong Songsong,Zha Junlin,et al.Lane detection and tra-jectory tracking control of autonomous vehicle based on model predictive control[J].International Journal of Automotive Technology,2020,21(4):285-295.
[7]Houenou A,Bonnifait P,Cherfaoui V,et al.Vehicle trajectory prediction based on motion model and maneuver recognition[C]//Proc of IEEE/RSJ International Conference on Intelligent Robots and System.Piscataway,NJ:IEEE Press,2013:4363-4369.
[8]Czyz J,Ristic B,Macq B.A particle filter for joint detection and trac-king of color objects[J].Image and Vision Computing,2007,25(8):1271-1281.
[9]Shao Xinguang,Huang Biao,Lee J M.Constrained Bayesian state estimation:a comparative study and a new particle filter based approach[J].Journal of Process Control,2010,20(2):143-157.
[10]Vashishtha D,Panda M.Maximum likelihood multiple model filtering for path prediction in intelligent transportation systems[J].Procedia Computer Science,2018,143(1):635-644.
[11]Kapania S,Saini D,Goyal S,et al.Multi object tracking with UAVs using deep SORT and YOLOv3 RetinaNet detection framework[C]//Proc of the 1st ACM Workshop on Autonomous and Intelligent Mobile Systems.New York:ACM Press,2020:article No.1.
[12]黃玲,郭亨聰,張榮輝,等.人機混駕環境下基于LSTM的無人駕駛車輛換道行為模型[J].中國公路學報,2020,33(7):156-166. (Huang Ling,Guo Hengcong,Zhang Ronhui,et al.LSTM-based lane-changing behavior model for unmanned vehicle under environment of heterogeneous human-driven and autonomous vehicles[J].China Journal of Highway and Transport,2020,33(7):156-166.)
[13]Choi D,Yim J,Baek M,et al.Machine learning-based vehicle trajec-tory prediction using V2V communications and on-board sensors[J].Electronics,2021,10(4):article No.420.
[14]季學武,費聰,何祥坤,等.基于LSTM網絡的駕駛意圖識別及車輛軌跡預測[J].中國公路學報,2019,32(6):34-42. (Ji Xuewu,Fei Cong,He Xiangkun,et al.Intention recognition and trajectory prediction for vehicles using LSTM network[J].China Journal of Highway and Transport,2019,32(6):34-42.)
[15]孫紅,陳鎖.一種聚類隱馬爾可夫模型的時空軌跡預測算法[J].小型微型計算機系統,2019,40(3):472-476. (Sun Hong,Chen Suo.Spatio-temporal trajectory prediction algorithm based on clustering based hidden Markov model[J].Journal of Chinese Computer Systems,2019,40(3):472-476.)
[16]劉軍,高雪婷,王利明,等.基于OpenCV的前方車輛檢測和前撞預警算法研究[J].汽車技術,2017(6):11-16. (Liu Jun,Gao Xueting,Wang Liming,et al.Research on preceding vehicle detection and collision warning method based on OpenCV[J].Automotive Technology,2017(6):11-16.)
[17]Shirazi M S,Morris B T.Trajectory prediction of vehicles turning at intersections using deep neural networks[J].Machine Vision and Applications,2019,30(9):1097-1109.
[18]Zhou Hui,Ouyang Wanli,Cheng Jian,et al.Deep continuous conditional random fields with asymmetric inter-object constraints for online multi-object tracking[J].IEEE Trans on Circuits and Systems for Video Technology,2019,29(4):1011-1022.
[19]Yoon Y C,Kim D Y,Song Y M,et al.Online multiple pedestrians tracking using deep temporal appearance matching association[J].Information Sciences,2021,561(6):326-351.
[20]Li Junming,Chen C W,Cheng Tenghu.Motion prediction and robust tracking of a dynamic and temporarily-occluded target by an unmanned aerial vehicle[J].IEEE Trans on Control Systems Technology,2021,29(4):1623-1635.
[21]Kim S,Park S,Na B,et al.Spiking-YOLO:spiking neural network for energy-efficient object detection[C]//Proc of the 34th AAAI Confe-rence on Artificial Intelligence.Palo Alto,CA:AAAI Press,2020:11270-11277.
[22]Peng Jinlong,Wang Tao,Lin Weiyao,et al.TPM:multiple object tracking with tracklet-plane matching[J].Pattern Recognition,2020,107(11):107480.