短道速滑運動中的軌跡建模

李 琪，楊文浩，侯亞麗，王向東，李 華

?

短道速滑運動中的軌跡建模

李 琪1,2，楊文浩3，侯亞麗4，王向東4，李 華1,2

(1. 中國科學院計算技術研究所，北京 100190；2.中國科學院大學，北京 100049； 3. 吉林大學，吉林 長春 130012；4. 國家體育總局體育科學研究所，北京 100061)

為探究在短道速滑比賽視頻中檢測、跟蹤多個運動員目標并重建運動軌跡的問題，針對目前的技術難以保證在遮擋頻繁和位置交錯的復雜運動視頻中完整地跟蹤各個目標并恢復其運動軌跡，提出了一套完整的算法流程，能夠快速并準確地檢測、跟蹤運動員目標并對其運動軌跡進行建模。進一步地，提出了一種基于三次B-樣條曲線的軌跡重建算法，利用B-樣條曲線的非均勻性和連續性，可以在缺失部分跟蹤結果的情況下完整地擬合各個目標的光滑運動軌跡。實驗表明，該算法可以檢測、跟蹤多個運動員目標并重建其運動軌跡，所得結果可進一步用于實際的技戰術分析中。

短道速滑；檢測與跟蹤；B-樣條曲線；軌跡建模

1 背景簡介

本文探究短道速滑運動中對多名運動員進行目標檢測、跟蹤與對運動軌跡進行建模的問題。在短道速滑比賽中，從一個高處的邊界線視角設置攝像機，即可獲得整個冰場的全景視頻，如圖1所示。基于該視頻本文實現一套算法，在運動員之間出現頻繁地遮擋及位置交錯的情況下，能自動檢測并跟蹤多名運動員位置，擬合其運動軌跡，為教練員做進一步的分析提供依據。

圖1 從全景視角跟蹤運動員目標

本文的算法與計算機視覺領域經典的多目標跟蹤問題[1]的方法流程是一致的，即首先在視頻的每一幀中進行目標檢測，然后將幀與幀之間的目標檢測結果關聯起來，并連接成完整的軌跡。相比多目標跟蹤問題，本文研究的短道速滑運動的軌跡建模問題有其自身的特殊性。軌跡建模問題，①需將運動員目標視為冰面上的一個質點，并希望通過其獲取冰面上的運動情況。相比于實際獲取的波動頻繁的跟蹤軌跡，一條具有一定連續性的光滑曲線更能反映運動員的運動趨勢與狀況。因此，本文算法在目標檢測及跟蹤之后增加了軌跡重建部分，以獲取運動員的光滑軌跡。②在比賽的視頻圖像中，運動員的位置呈現明顯的集群性，且會有遮擋頻繁與位置交錯的情況，因此遮擋嚴重的目標位置在局部視頻序列中會難以檢測與跟蹤，易造成軌跡碎片的問題。③在短道速滑比賽中需要跟蹤的目標數量是一定的，在一般情況下無需在視頻中段考慮初始化跟蹤或者停止跟蹤的問題。④出于應用需求，本文算法對于計算速度有一定的要求。

為了滿足軌跡的光滑要求，并有效地解決軌跡碎片問題，估計運動員在遮擋時段的運動信息，本文提出了一種基于三次B-樣條曲線的軌跡重建方法，利用三次B-樣條曲線的參數非均勻性和曲線連續性，可以擬合目標在遮擋嚴重的局部視頻序列中的位置信息。總而言之，本文工作的創新之處包括：

(1) 利用深度學習在目標檢測領域的最新方法，有效提高了檢測的準確性與魯棒性。

(2) 實現了一套完整的算法流程，能夠快速并準確地檢測、跟蹤運動員目標并對其運動軌跡進行建模。

(3) 提出了一種基于三次B-樣條曲線的軌跡重建方法，利用三次B-樣條曲線的參數非均勻性和曲線連續性，可以完整擬合運動員的光滑運動軌跡。

2 相關工作

近年來，深度學習方法在目標檢測領域的研究逐漸深入。REN等[2]將目標檢測的4個基本步驟(候選區域生成、特征提取、分類、位置精修)統一到一個深度網絡框架之內，大大提高了目標檢測的精度與速度。LIN等[3]將多尺度特征的預測結果進行融合，進一步提高了目標檢測的準確率。HE等[4]將以上2種神經網絡進行了結合，提出了Mask R-CNN網絡，使一個神經網絡框架同時具有目標檢測與實例分割的功能，是現階段效果最好的目標檢測方法。

現有的多目標跟蹤算法以提取目標的外觀特征與運動特征為主，利用其完成數據關聯。GEIGER等[5]將跟蹤算法分為2步：①在相鄰幀之間進行數據關聯；②將斷裂的軌跡進行軌跡匹配，2個步驟均是基于目標的外觀特征和運動特征。BEWLEY等[6]為了提高計算速度，僅考慮幀與幀之間的運動特征，并利用傳統的卡爾曼濾波[7]和匈牙利算法[8]解決下一幀的目標狀態預測問題和跟蹤軌跡與檢測目標之間的二分匹配問題。該算法速度快、精度高，但存在無法恢復被遮擋目標跟蹤軌跡的問題。在本研究中，由于檢測目標很小，且運動員姿態變化劇烈，外觀特征難以區分多個跟蹤目標，因此僅考慮運動特征。受文獻[6]算法的啟發，本文算法同樣采用卡爾曼濾波和匈牙利算法解決幀與幀之間的數據關聯問題，利用其跟蹤目標的數量確定性和集群性，快速跟蹤運動目標，并將對被遮擋目標的斷裂軌跡進行匹配。

B-樣條曲線算法[9-12]，最初是為了生成滿足工業設計需求的平滑曲線。其具有多種性質，如參數可非均勻分布，基函數可以控制多項式次數從而控制曲線的連續性等。本文算法使用三次非均勻B-樣條曲線重建運動員的運動軌跡，非均勻性可以保證即使中間缺少了部分跟蹤結果也可以完整重建運動軌跡，三次曲線確保了二次連續性，在物理上的含義即軌跡、速度和加速度的變化均是連續的。在利用B-樣條曲線進行軌跡重建時需要考慮2點：①擬合結果與跟蹤結果應盡可能地相近；②軌跡曲線應滿足一定的光滑性要求。文獻[10-11]對于B-樣條曲線的光順算法做了深入的研究；劉鼎元等[12]構造了一個B-樣條曲線光順的能量優化方程。

3 本文方法

3.1 目標檢測

HE等[4]提出的Mask R-CNN目標檢測方法，是目前效果最好的目標檢測和實例分割框架，本文算法利用了該框架目標檢測的功能。在實現中，本文使用Resnet101[13]作為卷積神經網絡的骨架，并使用在MS COCO[14]數據集預訓練模型的權重初始化網絡。在訓練過程中，對Mask R-CNN中的各輸出層訓練6 k次迭代即可在驗證集上獲得較好的檢測結果(表1)。

表1 目標檢測與跟蹤評估結果(%)

3.2 目標跟蹤

本文用圈定跟蹤目標方框表示物體的位置、大小、速度和加速度的跟蹤狀態，可表示為

其中，和為方框中心在圖像中的坐標；和為方框的面積與寬高比；和為水平與垂直方向上的速度；和為水平與垂直方向上的加速度。為了實現逐幀跟蹤，需要根據當前幀各目標的跟蹤狀態預測下一幀各目標的狀態，并與檢測結果進行匹配。在預測新一幀目標的跟蹤狀態時，可假定短時間內目標的加速度不變，即

其中，為兩幀之間的時間差，在實現中可將其設為1，表示單位時間。

若將預測的跟蹤狀態與檢測結果進行匹配時，需考慮多個跟蹤目標之間的位置關系。根據預測狀態與檢測結果方框中心的歐氏距離，以其位置盡可能相近作為匹配條件，并對預測狀態與檢測結果進行二分匹配。當為跟蹤目標匹配到合適的檢測結果時，利用卡爾曼濾波方法對預測狀態作進一步的更新。

由于需要跟蹤的運動員數目是確定的，在視頻開始時會初始化跟蹤目標的數目，并且不會在過程中修改其數目。然而在逐幀跟蹤時，本文算法并不總是可以檢測到所有目標，檢測結果也不總是正確的運動員目標，由于目標之間會出現嚴重遮擋，可導致部分目標無法被檢測，這些問題均為上述匹配方法帶來了困難與挑戰。為此，本文算法進一步設計了一系列策略，以提高匹配算法的準確性與魯棒性。首先，為二分匹配算法中的歐氏距離度量設置了上限dismax，當預測狀態和檢測結果的距離大于該上限時，可不進行匹配。其次，考慮到受遮擋影響或者受檢測算法性能限制而丟失的跟蹤目標，特為這種跟蹤目標設計了“休眠態”。當無法對檢測結果與目標的預測狀態進行匹配時，可判定該目標跟蹤丟失并進入“休眠態”，即停止對該目標跟蹤狀態的預測與更新，直到有新的符合要求的檢測結果的出現，再恢復對該目標的跟蹤。最后，根據跟蹤目標的集群特點，可以恢復“休眠態”中跟蹤目標的檢測結果，其應具有離其他跟蹤目標距離近的特點。因此，本文算法首先計算已有匹配的檢測結果的中心位置，并計算新的目標檢測與該中心的距離，如果該距離小于一個閾值，則認為該目標為之前跟蹤丟失的目標，并從“休眠態”中恢復對目標的更新。當“休眠態”中有多個跟蹤目標時，本文算法遵循“先進先出”的原則。該距離閾值同樣設置為dismax，其上限設置為200個像素距離。

3.3 軌跡重建

當完成跟蹤時，應有符合運動員人數的數條跟蹤軌跡，但軌跡存在斷裂和波動的情況。本文算法可在已有軌跡的基礎上使用非均勻三次B-樣條曲線依次擬合各運動員完整的運動軌跡。

在重建軌跡之前，需要將圖像平面上的跟蹤目標映射至冰面上。為了計算目標在冰面上的位置，首先基于像平面與冰面上不同四點坐標之間的對應關系計算其單應矩陣，再將跟蹤目標方框下方橫邊的中點作為運動員在冰面上的對應像素，計算目標在冰面上的位置。

非均勻三次B-樣條曲線是一個分段連續的參數曲線，其由三次B-樣條基函數組成

其中，為控制點；為控制點對應的索引，亦表示位置點和時間參數的索引。M,3()是三次B-樣條基函數，可由遞歸公式進行定義

本文算法使用視頻幀對應的時間作為節點參數，因為B-樣條曲線可以在參數非均勻的情況下完成重建，即使在跟蹤時缺失了部分跟蹤結果，也依舊可以重建完整的運動軌跡。選用三次B-樣條曲線擬合運動員軌跡的原因是因為其具有二階連續性，其物理意義為運動員軌跡、速度和加速度均是連續的，符合實際的運動情況。

假定對于某一個跟蹤目標而言，其位置點表示為{1,2, ···,–1}，相應的節點參數表示為{1,2, ···,t–1}。由于節點參數已知，三次B-樣條基函數可使用式(4)和式(5)進行計算，因此求解B-樣條曲線即為求解控制點坐標。本文算法對曲線有以下2個約束：

(1) 為了確保擬合的曲線形狀盡可能貼近已經獲取的實際位置點，并對曲線對應參數的位置點進行約束，插值項為

(2) 曲線需要在二階連續性的基礎上，對連續性再進行約束，以確保仿真運動的穩定性。用參數左右兩側三階導數值的差異程度進行約束，優化項為

其中，上角(3)為三次B-樣條曲線的三階導數。類似于劉鼎元等[12]構造的能量優化方程，本文的優化方程為

其中，+= 1且> 0，> 0，稱為插值權重，為優化權重。

將式(8)以矩陣方程的形式表示，可通過最小二乘法求解極值點，獲取擬合曲線的控制點的坐標。具體的優化過程可參考文獻[12]。

4 實驗結果與分析

4.1 數據集及評價標準

為驗證本文算法的有效性，采集了2段短道速滑比賽視頻，每隔5幀采集一張圖像，并手動標注各目標的具體位置。將2個視頻序列分別命名為500F和500M，其中500F有437張圖像，共1 311個運動員標注框；500M有409張圖像，共1 223個運動員標注框。每組圖像中有4名運動員，標注的是實際比賽中獲取前3名的運動員，其中500M中均為男性，500F中均為女性。視頻圖像的分辨率為1920×1080，標注框的大小在90×90~30×30的范圍內波動。

在目標檢測階段，本文使用類平均精度(mean average precision，mAP)對檢測性能進行評估，其計算方式為

其中，()為單張圖像檢測類目標P-R曲線下的面積；Ave()為平均值；為待檢測目標的種類數目。在本文實驗中為1，表示僅有運動員目標。本文使用的檢測結果為真的判斷標準是檢測框與標注框之間的交叉比(intersection-over-union，IoU)，即2個方框交的面積比上2個方框比的面積。在本實驗中，將交叉比的閾值設置為0.2，即高于0.2的檢測與跟蹤結果被判別為真值。

在目標跟蹤階段，本文使用MOTChallenge 2015公開測試標準中多目標跟蹤準確率(multiple object tracking accuracy，MOTA)和多目標跟蹤精確度(multiple object tracking precision，MOTP)進行評估。其中，MOTA是描述跟蹤結果錯誤程度的指標，即

其中，為幀索引；為標注目標的數目；為跟蹤丟失的目標數目；為跟蹤錯誤的目標數目(即跟蹤框與標注框交叉比小于閾值的目標數量)；為軌跡ID發生改變的目標數目。

MOTP是描述跟蹤正確程度的指標，即

其中，c為第幀中匹配的跟蹤數目；d,i為第幀中第個目標對應的交叉比。

在軌跡重建階段，本文對重建的運動員軌跡進行定性比較，并重現被遮擋時間段目標位置的效果。本文對不同的擬合度下重建的軌跡形狀進行了對比實驗。

4.2 實驗分析

本文所用實驗平臺為Python3.5，所有實驗均在配置為主頻3.6 GHz的8核CPU、8 G內存與GTX Geforce 1080Ti的計算機上進行。

在目標檢測階段，使用500M序列圖像作為訓練集，500F序列圖像作為驗證集，對Mask R-CNN中的各輸出層進行6 k次迭代的訓練，即可在訓練集上獲得77.76%的mAP，在驗證集上獲得68.13%的mAP。

在目標跟蹤階段，分別在2組序列圖像上進行實驗。由于每一幀圖像的標注數據僅含有實際比賽中獲得前3名的運動員目標，而在跟蹤階段無法明確4個運動員中哪3個目標對應標注數據。因此，采取的方法是先完整跟蹤4個運動員目標，再根據其與標注數據的相似性(本文選取的是交并比)選取最相似的3個目標，并計算各項評估指標。

由表1的目標檢測與目標跟蹤階段的定量計算可知，檢測與跟蹤結果仍有部分缺失，一般是源于跟蹤目標之間的遮擋與目標檢測、跟蹤算法的失誤。相比于BEWLEY等[6]的跟蹤算法，本文算法在跟蹤準確率方面有顯著地提升，主要是由于本文算法大大減少了漏檢和軌跡ID發生改變的情況；因為減少漏檢會隱性地增加不夠精確的檢測結果，在跟蹤精確度方面有少量的降低。圖2為一個視頻片段中的跟蹤效果。本文將每個視頻序列中對應于標注數據的3名運動員目標的軌跡進行了重建，其結果如圖3所示。圖中實線軌跡表示基于跟蹤結果重建的光滑運動軌跡，虛線表示在該段時間內目標并沒有實際的跟蹤位置。在大多數情況下，本文算法可以光滑地恢復遮擋或跟蹤失敗時段目標的位置信息。

圖2 本文算法跟蹤效果圖示

圖3 運動員冰面軌跡圖示(單位：m)

在圖3(a)、(d)中，目標出現長時間的丟失情況，三次B-樣條曲線對目標位置的擬合出現了較大的偏離，可能由以下原因造成：①目標檢測時由于遮擋或檢測器性能導致特定目標長時間內無法被準確檢測；②跟蹤算法沒有有效關聯同一運動目標；③三次B-樣條曲線的假設不符合實際的運動情況。因此，本文算法對長時間丟失的跟蹤目標位置的擬合效果還有待提高。

本文進一步對式(11)中的優化情況做了對比實驗。以500M中的第2個跟蹤目標的軌跡為例，可為插值權重設置了3個不同的值：0.01，0.50和0.99，其結果如圖4所示。當插值權重越小時，曲線的光滑性越好，也越趨近于圓，但同時也丟失了更多的目標原始位置特征。當插值權重為0.99時，曲線的光滑性已足夠好，并能較好地反映目標的運動情況，因此本文在實驗中均取0.99。

圖4 不同插值權重下重建軌跡圖示(單位：m)

最后對本文算法的速度做簡單的分析。在500M視頻序列的409張圖像上，目標檢測用時110.793 s，目標跟蹤用時0.626 s，軌跡重建花費20.633 s，共計132.052 s，平均3.10幀每秒，說明本文算法可以快速地處理完一段視頻序列，并提供給教練員做進一步分析。

5 結束語

本文針對短道速滑運動中的軌跡建模問題，提出了一套算法流程，能夠快速并準確地檢測、跟蹤運動員目標并對其運動軌跡進行建模。進一步提出的基于三次B-樣條曲線的軌跡重建算法，利用B-樣條曲線的非均勻性和連續性，可以在缺失部分跟蹤結果的情況下完整地擬合各個目標的運動軌跡。由于受檢測與跟蹤失敗的影響，當目標出現長時間的丟失時，本文提出的三次B-樣條曲線擬合算法對目標位置的擬合會出現較大的偏離。接下來，除了提高目標檢測與跟蹤的精度，還將進一步地對樣條曲線的擬合方法進行研究，以目標的運動模型為基礎，嘗試擬合恢復長時間丟失的跟蹤目標位置。

[1] LEAL-TAIXé L, MILAN A, REID I, et al. Motchallenge 2015: Towards a benchmark for multi-target tracking [J/OL]. [2018-12-09]. https://arxiv.org/abs/1504.01942.

[2] REN S, HE K, GIRSHICK R, et al. Faster r-cnn: Towards real-time object detection with region proposal networks [C]//Advances in Neural Information Processing Systems. Cambridge: MIT Press, 2015: 91-99.

[3] LIN T Y, DOLLáR P, GIRSHICK R B, et al. Feature pyramid networks for object detection [C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2017, 1(2): 4.

[4] HE K, GKIOXARI G, DOLLáR P, et al. Mask r-cnn [C]//IEEE International Conference on Computer Vision (ICCV). New York: IEEE Press, 2017: 2980-2988.

[5] GEIGER A, LAUER M, WOJEK C, et al. 3D traffic scene understanding from movable platforms [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014, 36(5): 1012-1025.

[6] BEWLEY A, GE Z, OTT L, et al. Simple online and realtime tracking [C]//IEEE International Conference on Image Processing (ICIP). New York: IEEE Press, 2016: 3464-3468.

[7] KALMAN R E. A new approach to linear filtering and prediction problems [J]. Journal of Basic Engineering, 1960, 82(1): 35-45.

[8] KUHN H W. The Hungarian method for the assignment problem [J]. Naval Research Logistics Quarterly, 1955, 2(1-2): 83-97.

[9] DE BOOR C. On calculating with B-splines [J]. Journal of Approximation Theory, 1972, 6(1): 50-62.

[10] 董光昌, 吳明華, 洪安祥. 樣條曲線光順的數學模型分析[J]. 高校應用數學學報：A輯, 2003, 18(4): 377-382.

[11] 王士瑋, 劉利剛, 張舉勇, 等. 基于稀疏模型的曲線光順算法[J]. 計算機輔助設計與圖形學學報, 2016, 28(12): 2043-2051.

[12] 劉鼎元, 趙玉琦, 詹廷雄, 等. Bézier曲線和B樣條曲線光順擬合法[J]. 計算數學, 1984(4): 360-365.

[13] HE K, ZHANG X, REN S, et al. Deep residual learning for image recognition [C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2016: 770-778.

[14] LIN T Y, MAIRE M, BELONGIE S, et al. Microsoft coco: Common objects in context [C]//European Conference on Computer Vision. Cham: Springer International Publising, 2014: 740-755.

Trajectory Modeling in Short Track Speed Skating

LI Qi1,2, YANG Wen-hao3, HOU Ya-li4, WANG Xiang-dong4, LI Hua1,2

(1. Institute of Computing Technology, The Chinese Academy of Sciences, Beijing 100190, China; 2. University of Chinese Academy of Sciences, Beijing 100049, China; 3. Jilin University, Changchun Jilin 130012, China; 4. China Institute of Sport Science, General Administration of Sport, Beijing 100061, China)

This paper explores the question of detecting and tracking multiple athletes in a short track speed skating video and reconstructing their trajectories. The current technology is difficult to ensure that each target is completely tracked and its trajectory is recovered in a complex motion video with frequent blocking and interlaced positions. We propose a complete algorithm flow to quickly and accurately detect and track athletes. Further, a trajectory reconstruction algorithm based on cubic B-spline curve is proposed. Using the nonuniformity and continuity of the B-spline curve, this algorithm can completely match the smooth motion trajectory of each target in the absence of partial tracking results. Experiments show that this algorithm can detect and track multiple athletes and rebuild their trajectories, and the results obtained can be further used in the actual technical and tactical analysis.

short track speed skating; detecting and tracking; B-spline curve; trajectory reconstruction

TP 391

10.11996/JG.j.2095-302X.2019010008

A

2095-302X(2019)01-0008-07

2018-06-30；

2018-09-20

國家重點研發計劃項目(2017YFB1002700)；國家體育總局體育科學研究所基本科研業務費(基本17-28，基本18-19)；國家自然科學基金項目(61227802，61379082)

李 琪(1992-)，男，安徽蚌埠人，博士研究生。主要研究方向為計算機圖形學、三維視覺與深度學習。E-mail：liqi@ict.ac.cn

王向東(1973-)，男，山西太原人，教授，博士，博士生導師。主要研究方向為運動生物力學。E-mail：908583913@qq.com