基于SORT算法的圖像軌跡跟蹤混合控制方法

摘" 要： 當目標物體被其他物體部分或完全遮擋時，目標的有效特征點數量會逐漸減少，跟蹤器無法繼續準確地鎖定目標，導致目標軌跡中斷。為此，文中研究基于SORT算法的圖像軌跡跟蹤混合控制方法。選取FCOS算法，利用特征金字塔結構，依據檢測頭層輸出的目標分類得分、位置回歸結果以及中心度檢測圖像目標。將目標檢測結果作為卡爾曼濾波器的輸入，利用離散控制過程系統描述視頻圖像中的目標運動狀態，預測目標軌跡。利用SORT算法控制圖像目標檢測結果與目標軌跡預測結果進行級聯匹配與IoU匹配，輸出匹配成功的目標，即圖像目標軌跡跟蹤結果。實驗結果表明，該方法可有效地跟蹤視頻圖像目標軌跡，未出現ID變更情況，軌跡中斷占比低于0.2%。

關鍵詞： SORT算法； 圖像軌跡跟蹤； 混合控制方法； FCOS算法； 卡爾曼濾波器； 級聯匹配

中圖分類號： TN911.73?34； TP311" " " " " " " " "文獻標識碼： A" " " " " " " " " " 文章編號： 1004?373X（2024）13?0032?04

Image trajectory tracking hybrid control method based on SORT algorithm

DU Lei

（Taiyuan University of Science and Technology， Taiyuan 030024， China）

Abstract： When the object is partly or completely occluded by other objects， the number of effective feature points of the object will decrease gradually， and the tracker will not be able to target the object accurately， resulting in the interruption of the object trajectory. Therefore， an image trajectory tracking hybrid control method based on SORT （simple online and realtime tracking） algorithm is studied. The FCOS （fully convolutional one?stage object detection） algorithm is used to detect the image object based on feature pyramid structure according to the object classification score， the result of position regression and the center degree output by the layer of the detector. The object detection result is taken as the input of the Kalman filter. The discrete control process system is used to describe the object motion state in the video image and predict the object trajectory. The SORT algorithm is used to control the cascade matching and IoU matching between the image object detection result and the object trajectory prediction result， and output the successfully matched targets， that is， the image object trajectory tracking results. The experimental results show that the method can track the image object trajectory effectively without ID change， and its percentage of track interruption is below 0.2%.

Keywords： SORT algorithm; image trajectory tracking; hybrid control method; FCOS algorithm; Kalman filter; cascade matching

0" 引" 言

圖像軌跡跟蹤是通過分析連續的視頻圖像序列，精確地跟蹤并確定目標物體的位置、速度和運動軌跡，應用領域廣泛，如體育訓練、自動駕駛等[1?2]。復雜多變的背景環境下，目標物體的識別和跟蹤過程受到干擾，當目標物體被其他物體遮擋時[3]，可能會丟失目標或產生錯誤的跟蹤結果，且目標物體的運動狀態也隨時發生變化，如速度變化、方向改變等，需要實時地適應并調整跟蹤策略[4]。因此，有必要研究能夠在復雜的場景中保持穩定的跟蹤方法。

文獻[5]將深度學習算法應用于多目標運動軌跡預測中。利用深度學習模型捕捉復雜的非線性關系，解決具有時空依賴性的多目標運動軌跡跟蹤問題。利用深度學習模型處理高維的多目標運動軌跡數據，對于不同場景和任務，只需調整模型參數或結構即可適應。但是深度學習模型的訓練需要大量的標注數據，對于多目標運動軌跡預測任務，獲取足夠的、高質量的標注數據可能是一個挑戰，且多目標運動軌跡預測問題中，目標數量、類型、運動模式等都可能變化，容易導致目標跟蹤出現中斷。文獻[6]將Mobile Net方法應用于多目標跟蹤中，Mobile Net采用輕量級網絡結構，模型體積更小、運行速度更快，保持較好的跟蹤效果。但是由于Mobile Net的結構相對簡單，難以在某些復雜任務上進行深度優化。對于特定跟蹤場景和目標類型，需要針對Mobile Net進行專門的調整和改進。該方法處理遮擋和復雜場景的目標跟蹤任務時，容易出現跟蹤效果下降或丟失目標的問題。文獻[7]將改進的ByteTrack算法應用于地面多目標跟蹤中，提高了目標跟蹤的穩定性。但是該方法對目標特征的依賴性較高，對于細節和紋理過于匱乏的目標，其跟蹤性能受到嚴重影響。文獻[8]結合高速圖像處理技術和多相機系統，實現無縫的多目標跟蹤。通過多個相機的重疊視圖，解決單一相機視野受限問題，提高跟蹤連續性。但是該方法應用時需要確保各相機之間的精確同步和校準，多個目標相互遮擋或交叉移動時，由于不同相機視角的限制，可能導致目標的視圖切換出現問題，以及目標丟失或跟蹤軌跡斷裂等情況的發生。

為提升圖像目標軌跡跟蹤效果，本文研究基于在線實時多目標跟蹤（Simple Online and Realtime Tracking， SORT）算法的圖像軌跡跟蹤混合控制方法，實現更精確、更穩定的軌跡跟蹤效果。

1" 圖像軌跡跟蹤混合控制方法

1.1" 基于FCOS的圖像目標檢測

利用全卷積網絡的單階段目標檢測（Fully Convolutional One?stage Object Detection， FCOS）算法檢測圖像中的目標[9]，結構如圖1所示。

FCOS算法采用三層的Backbone卷積網絡結構。將圖像利用特征金字塔層生成特征圖，每個檢測頭對應一個金字塔[10]。檢測頭層分別輸出目標的分類得分、位置回歸結果以及中心度。

每個檢測頭的輸出分別對應分類損失函數[L1]、中心度損失函數[L2]以及回歸損失函數[L3]。依據檢測頭的輸出結果進行圖像目標檢測[11]。利用多次二分類器，在特征圖分類結果后，利用損失函數[L1]計算目標分類時全部樣本的損失[12]。FCOS算法的目標檢測訓練時，設置[L2]作為位置回歸的損失函數；FCOS算法檢測目標的中心度時，設置[L3]作為損失函數。

圖像目標檢測的損失函數設置如公式（1）所示：

[Lpi，ti，si=1NiL1pic+iδL2tit?i+iL3ziz?i] （1）

式中：[N]與[pi]分別表示視頻圖像樣本數量以及圖像特征點[i]的類別分數；[c]與[δ]分別表示特征點[i]的真實類別標簽以及判定系數；[ti]與[t?i]分別表示[i]處的圖像目標邊界框預測結果與真實結果；[zi]與[z?i]分別表示圖像目標中心度預測結果與真實結果。

通過以上過程，利用FCOS算法檢測視頻圖像中的目標，作為卡爾曼濾波器的輸入，預測視頻圖像中的目標運動軌跡。

1.2" 基于卡爾曼濾波器的目標軌跡預測

對于通過FCOS算法成功檢測的目標，利用卡爾曼濾波器進行視頻圖像中目標軌跡的估計。視頻圖像的目標軌跡估計如下：

[x=u，v，s，r，u，v，sT] （2）

式中：[u]與[v]分別表示目標的水平與垂直像素坐標；[s]與[r]分別表示目標框占比及其長寬比；[u]、[v]與[s]表示[u]、[v]、[s]在時間上的差分[13]。

利用卡爾曼濾波器進行圖像目標軌跡跟蹤的迭代更新，實現目標軌跡的實時預測。利用離散控制過程系統描述視頻圖像中目標的運動狀態。離散控制過程系統根據隨機線性微分方程利用時間為[k-1]時的目標最優估計結果預測時間為[k]時的目標運動狀態。用[ωk]與[rk]分別表示圖像目標軌跡跟蹤的過程噪聲以及測量噪聲，構建離散控制過程系統的表達式如下：

[xk=Axk-1+Buk-1+ωk-1Lpi，ti，si] （3）

離散控制過程系統中，圖像目標測量值的表達式如下：

[gk=Hxk+rk] （4）

式中：[xk]與[uk]分別表示時間為[k]時的圖像目標狀態向量以及控制向量；[A]與[B]分別表示狀態轉移矩陣以及控制矩陣；[gk]與[H]分別表示時間為[k]時的[m]維測量向量以及大小為[m×n]的觀測矩陣。

先驗狀態估計[xk]與后驗狀態估計[x′k]的關系表達式如下：

[xk=x′k+Kgk-Hx′k] （5）

式中：[gk-Hx′k]表示圖像目標實際軌跡與預測軌跡的殘差；[K]表示殘余增益。

更新后驗協方差[Pk]的表達式如下：

[Pk=Ixk-KHP′k] （6）

式中[I]表示單位矩陣。

將利用公式（6）獲取的后驗協方差作為圖像目標軌跡預測的先驗估計協方差。通過卡爾曼濾波器的遞推過程，將下一步的目標軌跡數據與當前目標軌跡數據關聯。通過卡爾曼濾波器迭代次數的更新，實現圖像目標軌跡預測的更新。

1.3" 基于SORT的目標軌跡跟蹤混合控制

傳統的SORT算法采用匈牙利算法關聯視頻圖像的目標框，視頻圖像中存在目標形變或遮擋情況時，無法準確地關聯目標框。引入級聯匹配算法，通過舊目標框與新目標框的關聯，構建代價矩陣，控制圖像目標軌跡跟蹤時的匹配精度。設1.2節卡爾曼濾波器[i]得到的圖像目標軌跡預測結果為[yi]。圖像目標檢測結果與預測結果馬氏距離的表達式如下：

[d1i，j=dj-yiTΦidj-yi] （7）

圖像目標檢測結果與預測結果余弦距離的表達式為：

[d2i，j=min1-qTjqik] （8）

式中：[dj]表示FCOS算法獲取的目標框[j]的檢測值；[qTj]與[qik]分別表示目標檢測框[j]的特征向量以及跟蹤器[i]在歷史[k]幀中跟蹤結果的特征向量；[Φi]表示目標檢測結果與目標預測結果誤差的協方差矩陣。

分別對比目標檢測框與目標預測框的馬氏距離以及余弦距離。距離計算結果小于等于所設置的距離閾值時，表示目標被成功匹配。

目標成功匹配時的馬氏距離以及余弦距離的表達式為：

[b1ij=d1i，j≤ξ] （9）

[b2ij=d2i，j≤ξ2] （10）

構建SORT算法的代價矩陣表達式如下：

[ci，j=βd1i，j+1-βd2i，j] （11）

式中[β]表示用于調節余弦距離與馬氏距離的調節因子。

當式（11）代價矩陣內的元素同時滿足式（9）與式（10）條件時，表示圖像軌跡跟蹤混合控制的目標匹配成功。

利用SORT算法進行圖像軌跡跟蹤混合控制的流程圖如圖2所示。

2" 實例分析

將所研究方法應用于某體育院校學生的跑步訓練中。利用視頻采集傳感器采集運動員的訓練視頻作為原始數據集，視頻幀640×480像素，視頻幀率30 f/s，共獲得1 357張圖像，隨機選取一幅原始圖像如圖3所示。

實驗環境設置參數：FCOS算法學習率為0.01，批處理大小為8，訓練周期為50個epoch，動量為0.9，權重衰減為0.000 5；卡爾曼濾波器狀態轉移矩陣為6×6單位，觀測矩陣為4×6單位，殘差閾值為0.5；SORT算法馬氏距離閾值為0.7，余弦距離閾值為0.2，最大丟失幀數為3幀，IoU閾值為0.5。

采用本文方法從圖3的運動員訓練原始圖像中檢測目標，目標檢測結果如圖4所示。

分析圖3、圖4可知，本文方法可有效檢測視頻中的運動目標，目標檢測結果與實際目標相符，具有有效性。這是因為SORT算法利用FCOS算法具有的特征提取能力，可以滿足目標精準檢測的要求。

圖像目標運動軌跡跟蹤結果通常表現為一個或多個目標的連續位置序列，這些位置序列描述了目標在視頻或圖像序列中的運動路徑。依據本文方法對體育運動訓練視頻中的目標檢測結果，利用目標檢測框跟蹤視頻圖像中的目標運動軌跡。隨機選取圖像中的某目標進行跟蹤，該目標的運動軌跡跟蹤結果如圖5所示。

分析圖5可知，本文方法能夠有效跟蹤體育訓練視頻圖像中的目標運動軌跡。采用可視化的方式呈現了目標運動軌跡跟蹤結果。本文方法的軌跡跟蹤結果緊密地跟隨目標運動，準確地體現了體育訓練視頻中目標的位移和方向變化。本文方法能夠有效控制目標軌跡跟蹤結果，具有較強的應用性。

當目標被遮擋或由于光照、噪聲等干擾因素導致跟蹤不穩定時，軌跡可能會出現斷裂或偏移的情況。因此，評估跟蹤結果的好壞通常需要考慮軌跡的連續性、平滑性和準確性等方面。統計采用本文方法對圖像目標運動軌跡跟蹤混合控制的ID變更次數以及軌跡中斷占比，統計結果如表1所示。

分析表1可知，采用本文方法跟蹤視頻運動目標軌跡的中斷占比低于0.2%。本文方法跟蹤視頻中的運動目標軌跡時，并未出現ID變更情況，且僅出現極少量的跟蹤中斷情況，驗證了本文方法具有極高的跟蹤穩定性，這是因為該方法結合了級聯匹配與交并比（IoU）匹配方法，在目標受到遮擋時，仍具有較強的圖像軌跡跟蹤控制性能，有效抑制了圖像軌跡跟蹤時的軌跡中斷以及ID變更等情況。

3" 結" 論

將SORT算法應用于圖像軌跡跟蹤混合控制中，為圖像軌跡跟蹤提供了有效的解決方案。通過精確的目標檢測、穩定的軌跡預測和高效的數據關聯，SORT算法能夠在復雜場景中實現目標的實時跟蹤。通過實驗驗證，該方法能夠實現對圖像目標軌跡的精確控制，不僅能夠提高跟蹤的準確性和穩定性，還能夠適應不同場景變化，使得目標軌跡跟蹤更加靈活和可靠。

參考文獻

[1] 韓錕，彭晶瑩.基于改進YOLOX與多級數據關聯的行人多目標跟蹤算法研究[J].鐵道科學與工程學報，2024，21（1）：94?105.

[2] 高新聞，沈卓，許國耀，等.基于多目標跟蹤的交通異常事件檢測[J].計算機應用研究，2021，38（6）：1879?1883.

[3] 馬永杰，馬蕓婷，程時升，等.基于改進YOLO v3模型與Deep?SORT算法的道路車輛檢測方法[J].交通運輸工程學報，2021，21（2）：222?231.

[4] 曹婷婷，侯進，鄧小豪，等.在線多行人圖像目標跟蹤算法設計與仿真[J].計算機仿真，2022，39（5）：172?175.

[5] 任條娟，陳鵬，陳友榮，等.基于深度學習的多目標運動軌跡預測算法[J].計算機應用研究，2022，39（1）：296?302.

[6] 薛俊韜，馬若寒，胡超芳.基于MobileNet的多目標跟蹤深度學習算法[J].控制與決策，2021，36（8）：1991?1996.

[7] 王雒，李飚，傅瑞罡.基于改進ByteTrack算法的紅外地面多目標跟蹤方法[J].計算機科學，2023，50（9）：176?183.

[8] KIM H， YAMAKAWA Y， ISHIKAWA M. Seamless multiple?target tracking method across overlapped multiple camera views using high?speed image capture [J]. Journal of robotics and mechatronics， 2022， 34（5）： 1043?1052.

[9] 葛雯，姜添元.改進YOLO與Deepsort檢測跟蹤算法的研究[J].計算機仿真，2022，39（5）：186?190.

[10] 趙安新，楊金橋，楊浩波，等.基于改進DeepSORT和FastReID的室內多目標人員跨鏡識別與跟蹤[J].西安科技大學學報，2023，43（3）：622?630.

[11] 曹玉東，陳冬昊，曹睿，等.融合Mask R?CNN的在線多目標行人跟蹤方法[J].計算機工程與科學，2023，45（7）：1216?1225.

[12] 朱軍，張天奕，謝亞坤，等.顧及小目標特征的視頻人流量智能統計方法[J].西南交通大學學報，2022，57（4）：705?712.

[13] 趙元龍，單玉剛，袁杰.改進YOLOv7與DeepSORT的佩戴口罩行人跟蹤[J].計算機工程與應用，2023，59（6）：221?230.