基于質心的籃球運動員跟蹤與檢測

邵靜雯，孟朝暉

（河海大學 江蘇 南京 211100）

基于質心的籃球運動員跟蹤與檢測

邵靜雯，孟朝暉

（河海大學 江蘇 南京 211100）

在現代職業籃球比賽中，視頻注釋、裁判規則驗證和自動跟蹤統計是熱門話題。本文在攝像頭靜止的基礎上，提出了一種基于質心的籃球運動員跟蹤與檢測。這篇文章分為3個部分:首先利用最大后驗概率（MAP）檢測器來分割場地和檢測球員；然后利用球員的質心來進行跟蹤；最后用單應性變換將球員的位置自上而下地映射到球場中。該算法用MATLAB搭建實驗平臺，采用C語言進行編程。在一個125幀的視頻樣本中，在不出現場上球員重疊的情況下，該算法能夠準確的檢測和跟蹤每個球員。

球員跟蹤與檢測；MAP檢測器；質心；單應性矩陣；MATLAB

在體育視頻中檢測和跟蹤運動員具有非常重要的意義，它有助于實現體育視頻的自動分析，從而為體育訓練提供先進的工具和手段。運動員的運動是不規則的，他們在運動過程中姿態會發生各種變化，運動員與場景的顏色可能會比較相似。運動員之間還經常存在相互遮擋，體育視頻的特殊性給運動員的檢測與跟蹤過程帶來了許多挑戰。在當代體育世界中，籃球運動占了很重要的比重。籃球運動員的自動跟蹤與檢測，對職業和高校體育有很大好處。通過自動統計數據，可以了解對方球員的組成、策略等團隊信息。實時圖像分析也可以加強對裁判判斷的驗證，減少對比賽的人為誤判。為了有效實現體育視頻中運動員的檢測和跟蹤功能，并驗證算法的正確性。本文提出一種基于質心的跟蹤算法來實現該功能。

1　算法介紹

1.1場地分割

本文利用最大后驗概率（MAP）檢測器來進行場地分割。

假設給定兩幀fk（當前幀）和fk-1（搜索幀），根據我們定義的運動場（V），顏色場（G），以及它們與最后的分割標記場（L）之間的關聯性，在一定的運動矢量場和顏色均值場的條件下求取計算分割標記場的最大后驗概率密度。利用貝葉斯公式，其后驗概率密度函數可表示為

上式中，分母p（V，G/fk-1）相對于其他標記場來說是不變的常數，因此其最大后驗概率的標記場可表示為

上式右邊第1個p為條件概率密度函數提供了在第k-1幀情況下，當前位移和分割估計與第k幀相一致的程度。

在描述圖像條件概率密度函數中，馬爾可夫隨機場（MarkovRandomField，MRF）模型提供了一種有力的工具。在MRF中，隨機場中某個點的局部條件概率密度僅僅依賴于該點領域內的隨機場分布，而且MRF可以將局部相關性加以傳播，MRF模型還可有效地描述圖像的許多屬性。但是MRF一般都是通過條件分布或聯合分布來表達的，這帶來了計算上的不便。根據Gibbs分布與MFR之間等價性的理論，可以用Gibbs分布來描述MRF。因此上式中的條件概率可以用Gbibs分布模型可表示成

其中Q1是分割函數（常量），且

稱為Gibbs勢能。式（2）中第2個p是在給定運動分割和搜索幀的條件下，運動場的條件概率密度函數，忽略其對搜索幀的依賴性，用Gibbs分布作為模型，可表示為

其中Q2是常量，U2（·）由下式給出：

式中Nm，n是像素點（m，n）的鄰域。δ（·）是沖激函數。

式（2）中第3個p是分割場的先驗概率模型，忽略其對當前幀和搜索幀的依賴性，為了鼓勵形成連續的區域，用Gibbs分布模型可表示為

Q3是常量，U3由下式給出：

γ是能量控制項。上式中二階鄰域勢能能量為

基于以上分析，其后驗概率密度函數可重新表示為

本文首先在視頻前十幀使用訓練掩碼訓練MAP檢測器，通過在這些幀中分割已知場地像素，我們利用MAP檢測器來確定場地像素的平均RGB值。經過測定RGB的平均值后，MAP檢測器對每個像素的二值閾值的平均值在10%以內，產生一個嘈雜但是輪廓清晰的場地。如圖1為原始樣本視頻的第一幀。我們通過形態學運算來填充黑洞和光滑邊緣，產生一個清晰的二值掩碼圖（如圖2）。這里存在兩個干擾：第一個是有球員多次出現在球場邊緣，因此他的身體在球場邊界外，正如右上方的紅隊球員（如圖1）。為了保留這些在球場邊緣的球員，要擴大整個場地的二值圖的范圍。第二個是每個籃筐上的記分板，由于計分的顏色和球員球衣的顏色類似，這會導致錯誤的檢測。但是，由于記分牌在每個視頻幀處于靜態位置，可以利用二值掩碼［3］過濾掉。

1.2球員檢測

這一步是檢測每一個球員個體以及區分他是哪支球隊的。類似于場地分割，通過使用二值掩碼，訓練MAP檢測器來確定每個球隊球衣的平均YCbCr值。

圖1　原始樣本視頻的第一幀Fig．1　The original first frame of the sample video

圖2　第一幀中球場的二值掩碼圖Fig．2　The final binary court mask of the first frame

訓練MAP檢測器之后，球員檢測的每一幀都要用到圖像處理。首先，圖像乘以一個二值掩碼來消除干擾噪（如圖3），然后在每個球隊的預期YCbCr值的基礎上確定圖像的二值閾值（如圖4）。接著，形態學相似運算通過使用一個25*20的矩形結構化元素來增加最大檢查的規模（圖4）。使用25*20的矩形結構化元素是考慮到它與運動員的相似之處，因為球員相較于體寬，身高總是更長。最后，10個最大的相連白點被用來檢測其中一隊球員們在球隊中的位置。用10個最大的點代替5個是因為最大的點不一定總是正確的球員。通過檢測更多的對象，才能在跟蹤函數上實現過濾（圖5）。

圖3　增加了球場二值掩碼的一幀視頻Fig．3　A video frame multipliedby the binary court mask

圖4　用紅隊訓練過的YCbCr值來界定閾值之后的球場二值掩碼圖Fig．4　The binary court masked video frame after beingthresholded based on Ohio St．'s trained YCbCrvalues

圖5　經過形態學閉運算之后的二值閾值圖Fig．5　The binary thresholded image after a morphologicalclose operation

圖6　標記后的圖Fig．6　A video frame marked

1.3球員跟蹤

在其中一個球隊中可能的球員檢測出來之后，系統建立新的跟蹤，并且自動關聯到另外一個球隊的軌跡上。在第一幀中，最大的5個相連區域是球員的正確位置。球員的像素坐標（X，Y）就是這些相連區域的幾何中心位置，在Y方向額外增加30個像素，這個偏移使得重心下降，這樣能使像素點位置接近球員的腳，而不是他們的腰。

第一幀中的五個球員檢測出來之后，系統通過后續幀循環進行軌跡關聯。對于檢測到的10個可能球員，它檢測了10個可能的（X，Y）位置，與文獻［1］，［2］，［5］中提到的球員跟蹤類似，它與10個已經建立的軌跡比較坐標位置（X，Y）。如果（X，Y）間的歐氏距離是在50個像素內，且檢測到是同一球隊的，那么跟蹤函數與軌跡相關，將跟新當前的像素位置。如果在已經建立的跟蹤軌跡的50像素內沒有檢測到球員，那么重復之前（X，Y）位置的軌跡構建。

1.4視頻幀的單應性變換

最后一步是將每幀中球員的位置映射到球場自上而下視圖的實際位置。一個關鍵的假設是，視頻有一個靜態攝像機角度，不需要單應性矩陣的動態計算。通過這樣的假設，要使用仿射變換，需要預先計算一個3*3的單應矩陣。每個球員的（X，Y）像素的位置乘以單應矩陣，就對應到他們在自上而下視圖球場中的真正位置（圖7）。

圖7　經過仿射變換后紅隊和藍隊球員的位置Fig．7　The detected player positions for red and blue after projection using an affine transformation

2　實驗結果

如圖6顯示，基于質心的球員檢測是相當清晰明了和可靠的。在一個125幀的視頻樣本中，球員檢測捕獲了兩支球隊中95．6%的球員。如圖8所示，黃色路徑跟丟了一個球員，是由于同一個球隊中的球員有交叉路徑，降低了系統的整體精度。

水平質心方差近似達到了30像素，垂直質心方差達到了15像素。投影到2D的場地中，大約有1米的未經過濾的跟蹤誤差（圖8和圖9）。

圖8　視頻樣例中紅隊球員的運動軌跡（①和②代表球員開始和結束的位置）Fig．8　Player in the red detections and tracking for a frame of the samplevideo（Large①and②dots represent the players starting and endingpositions，respectively）

圖9　視頻樣例中藍隊球員的運動軌跡（①和②代表球員開始和結束的位置）Fig．9　Player in the blue detections and tracking for a frame of the samplevideo（Large①and②dots represent the players starting and endingpositions，respectively）

3　結　論

對于固定攝像機跟蹤，球員的位置跟蹤精度控制在一米，這個值的偏差達到了項目的既定目標。細化和過濾球員檢測和跟蹤，精度可以作為有效的標準。說明基于質心的球員跟蹤有很大的應用前景。該方法不考慮改變相機的角度，因此它不支持移動攝像的觀點。目前的算法下，當兩個球員完全重疊，將跟丟一個球員，或者使得兩個球員的跟蹤被交換。目前缺少的關鍵功能是自動球場單應性測定。有幾種方法可以實現，包括SIFT關鍵點的球場以及球場掩碼邊緣及角點檢測的匹配。這兩種方法都有自身的復雜性以及與之相關的問題。

球員的位置過濾可以大大提高系統的保真度。球員的貝葉斯過濾將大大減少基于質心檢測的抖動。在同一隊中，在屏幕或攝像機角度切換的時候，為了消除球員交叉軌跡歧義，確定替換和恢復球員的時候，必須區分使用SIFT檢測或其他類似的識別技術。

［1］WL L，JA T，JJ L，et al．Learning to track and identify players from broadcast sports videos［J］．IEEE Transactions on Pattern Analysis and Machine Intelligence，2013，35（7）: 1704-1716．

［2］Ekin，A．；Tekalp，A．M．；Robust dominant color region detectionand color-based applications for sports video［C］//Image Processing，International Conference，2003．

［3］Hu M，Chang M，Ja-Ling Wu，et al．Robust camera calibration and player tracking in broadcast basketball video［J］．Multimedia，IEEE Transactions on，2011，13（2）:266-279．

［4］J X，H A，L L，et al．Multiple player tracking in sports video: a dual-mode two-way bayesian inference approach with progressive observation modeling［J］．IEEE Trans Image Process，2011，20（6）:1652-1667．

［5］Nebehay G，Pflugfelder R．Consensus-based matching and tracking of keypoints for object tracking［C］//Applications of Computer Vision（WACV），IEEE Conference，2014．

［6］Nebehay G，Pflugfelder R．TLM:Tracking-learning-matching of keypoints［C］//Distributed Smart Cameras（ICDSC），Seventh International Conference，2013

［7］Kuan C，Huang M，Chen D．Capturing and Tracking Performance of patent portfolio using complement area centroid［J］．NgnrngManagmnRanaon on，2013，60（3）:496-505．

［8］林輝．基于MATLAB/Simulink的感應電機控制系統仿真［J］．工業儀表與自動化裝置，2015（1）:89-93．

［9］高靜，楊楠，賀元康．基于Matlab/Simulink的直流輸電系統異常引起的發電機組失步保護動作仿真分析［J］．陜西電力，2014（2）：70-73．

［10］康海龍，姜秀杰．基于MATLAB的探空火箭測控系統仿真［J］．電子設計工程，2014（10）:1-3．

Basketball player tracking and detecting based on centroids

SHAO Jing-wen，MENG Zhao-hui
（HoHai University，Nanjing 211100，China）

In themodern game of professional and collegiate basketball，automated stat tracking，referee rule verification，and video annotation are popular topics．This paperpresents techniques for players’tracking and detecting based on players’centroid when the camera is still．This article is divided into three parts:First，using themaximum posteriorprobability（MAP）detector to cut the field and detect players；Then extracting the player's centroid for tracking；Finally，usinghomography to project each player’sframe position to their actual position on a top-down view ofthe court．Thisalgrithmbuild the experimental platformon MATLAB by C language．In a video sample of 125 frames，until morecomplex situations arose，such as players overlapping on thecourt．In ideal situations，these techniques provided reliabledetection and tracking．

player tracking and detection；the MAP detector；the centroid；homography；MATLAB

TN99

A

1674－6236（2016）02-0176-04

2015-03-26稿件編號：201503368

邵靜雯（1991—），女，江蘇蘇州人，碩士研究生。研究方向：計算機視覺，圖像處理。