基于神經網絡嵌入學習的籃球群體行為識別

汪振華

（安徽國際商務職業學院 文化旅游學院，合肥 230000）

隨著傳感技術的不斷進步，大量的軌跡跟蹤數據可用于智能體育分析，如網球中的鷹眼、足球中的各種跟蹤系統等。籃球中的一些單人行為（例如投籃），可以通過專家編程的規則來進行識別，而群體行為往往涉及多個參與者，他們的動作隨著時間推移極具復雜性，很難通過手寫規則來進行描述[1-2]。以籃球運動中一種常見的“擋拆”戰術為例，2 名進攻球員共同努力阻擋防守球員的最佳防守路徑，如圖1 所示。而另一種常見的戰術稱為“手遞手傳球”，即2 名進攻球員交叉路徑，通過短傳來轉移控球權。要將這2 種行為區分開來十分困難，因為擋拆和手遞手傳球的行為看起來非常相似。

圖1 經典的擋拆行為示意圖

基于深度學習模型的群體行為識別模型依賴大量的標注序列。然而，手動標注比賽序列是十分耗時的，因為它需要在觀看比賽時全程保持注意力集中，同時關注多個球員的實時狀況。現有的手動標記的擋拆數據集只包含了大約1 000 個序列[3-4]，這遠不足以訓練強大的神經網絡模型。產生更多標注數據的一種方法是基于規則來識別行為，并作為弱標簽。在深度學習模型的訓練過程中可以利用這些弱標簽，并進行自監督的預訓練和軌跡預測任務。通過這種方式預訓練的神經網絡可以在少量標注數據上進行微調，用于群體行為識別。在網絡結構方面，可使用變換器架構[5]，為每個球員創建上下文的感知嵌入信息，這些嵌入通過團隊池化層進行聚集。本研究提出基于神經嵌入的團隊運動識別模型，使用長短期記憶（Long Short Term Memory，LSTM）[6]來編碼時間序列，以允許對數據的時序信息進行建模，并通過團隊級別的池化層對團隊中的球員創建輸入順序無關的特征嵌入。

1 神經嵌入變換器（Neural Embedding Transformer，NETS）方法介紹

1.1 任務定義及符號說明

該任務的目標是訓練神經網絡識別籃球比賽中的團體行為。自2013 年以來，每個NBA 競技場都有一個攝像系統，用于跟蹤籃球比賽中的球員（每支球隊5 名）和球。該系統通過11 個被跟蹤物體在x-y 平面中的位置來觀察它們，其中x 軸穿過球場的長度，y 軸從邊線到邊線。首先對數據進行預處理，使進攻隊沿著y 軸進攻。將目標o 在時間t 的位置定義為，其中，其中o 表示被跟蹤目標的集合，即球B、5 個進攻方和5 個防守方，被跟蹤目標o 的軌跡可以表示為，時間步長為?t。

1.2 整體框架與技術路線

為群體行為識別任務訓練神經網絡模型的一種標準做法是在真實標注數據上進行監督學習。然而，如前所述，手動標注既耗時又昂貴。可以通過對軌跡預測任務進行自監督預訓練來有效地對神經網絡進行初始化，并使用大量基于規則生成的弱標簽對其進行微調，最后使用少量高質量的手動標注進行微調。為了實現預訓練和微調過程，使用了模塊化的神經網絡架構，如圖2 所示。對于軌跡預測任務，軌跡被輸入到基礎變換器。然后將變換器的輸出作為軌跡預測頭的輸入，用作預訓練。而對于群體行為識別任務，則使用相同的基礎變換器，但使用一個分類頭網絡來進行行為分類。這種模塊化的方法允許在軌跡預測預訓練之后再對分類任務的變換器權重進行微調。

圖2 基于神經嵌入的群體行為識別網絡（NETS）結構示意圖

1.3 神經網絡結構

網絡結構主要包含3 個部分，分別是基礎變換器、軌跡預測頭網絡和行為分類頭網絡。

基礎變換器的輸入數據由給定的所有11 個目標組成的運動序列。由于這些輸入向量表示每個被跟蹤目標o 的時間序列，使用LSTM 層將這些軌跡嵌入到向量中，如圖3 所示，以充分利用輸入數據的時序信息[6]。

圖3 基礎變換器網絡結構示意圖

因為球的行為與攻擊者不同，這11 個物體具有不同的性質。如圖3 所示，首先對這個角色信息進行編碼，并選擇1 個熱點位置編碼來區分每個目標類別（即球、進攻球員和防守球員）。將這些三維向量拼接到LSTM 層的輸出，并創建第一個注意力層的輸入。盡管可以分別為每個球員創建嵌入信息，但之前的工作表明，添加球員嵌入信息后的提升效果微乎其微，同時需要大量的特征工程[7]。

為了生成上下文感知的球員嵌入信息，在給定輸入嵌入的情況下，使用具有多頭自注意機制的變換器來進行特征編碼[5]。變換器的編碼部分由多個注意力層組成，每一層都學習如何調整目標相對于其他目標的表征。具體來說，變換器將第l 層的輸入處理為輸出嵌入，輸入和輸出的維度為dv。其次，輸入被進一步轉換為三個矩陣，分別是查詢Q、關鍵字K 和值V，其中每個矩陣表示堆疊的輸入嵌入。然后用可訓練矩陣，，對上述3 個矩陣進行變換，其中dg是模型超參數，h 是自注意頭的數量。多頭自注意函數包括殘差連接，計算如下：

其中LN 代表層歸一化，FF 是全連接的前饋網絡。根據常規做法設置來簡化超參數。變換器包含一系列N 個相同的注意力層。通過這種注意力機制，神經網絡考慮了所有其他球員和球的信息后，為每個被跟蹤的目標o 生成嵌入。

軌跡預測頭在為每個被跟蹤目標生成嵌入后，通過使用前饋神經網絡（FF）為每個被追蹤目標生成輸出向量來預測未來的軌跡（圖4）。由于球的運動物理特性與人類非常不同，而且進攻球員的行為與防守球員的行為不同，因此為每個角色使用單獨的FF 來生成對應的軌跡。

圖4 軌跡預測頭網絡

分類頭網絡為了預測群體行為的標簽，考慮了球員和來自最后一個轉換層的球的上下文感知轉換嵌入。對于群體行為識別任務來說，團隊中球員的輸入順序不應影響被指定的行為標案，并且本文的模型對于每個團隊的球員輸入順序都應是無關的。使用了一個團隊級的池化層，它分別聚集了屬于進攻方和防守方所有球員的嵌入信息（圖5）。可以將輸出值計為：

圖5 分類頭網絡

其中，ak是用來平衡不平等類別分布的權重因子，yk是代表真實標注的1 個獨熱編碼（One-hot）表示，是該動作屬于類別k 的預測概率。

2 實驗設置

2.1 數據集

使用了從2015-2016 年賽季632 場NBA 比賽中收集的公開運動數據進行實驗。這相當于110萬s 的比賽數據，每0.04 s 捕捉1 次球員和球的位置。將數據下采樣3 倍，以降低計算成本，并獲得?t=0.12 s 的采樣率。對于所有模型，使用L=10 個時間步長作為輸入，即1.2 s。通過將數據分割成1.2 s 長的非重疊片段來構建數據集，得到869 905 個有效序列。對于每一個序列，還包含了下一個H 時間步長的未來范圍，在實驗中分別嘗試了不同值（H=10、H=20 和H=40）。

2.2 標注籃球團體運動的行為

分別生成了擋拆和手遞手傳球2 個標簽，不屬于這2 類的動作序列被標記為“其他”，因此K=3。為了減少人工標注的數量和成本，首先采用一些既定的規則來進行自動的標注，即弱標簽生成。

對于擋拆動作的弱標簽生成，基于規則的方法將每個防守球員與1 名進攻球員進行匹配，然后判斷當擋拆球員與持球手的防守球員非常接近的情況。對于手遞手傳球的弱標簽生成，基于規則的方法是試圖識別2 名球員之間位置的變化。球員之間的距離很小，球的轉換時間很短。

弱標注過程產生了45 802 個“擋拆”行為、15 251 個“手遞手傳球”行為和808 852 個“其他”行為序列。此外，還為1 800 個片段進行了手動標注。該標注工具通過加載輸入的視頻序列，人為地對每個運動員的行為進行打標簽。由于數據集是高度不平衡的，符合弱標簽分布，從所有3個弱標簽子群中平均采樣行為序列。為了分配標簽，為每個片段生成了長度為1.2 s 的視頻表示。然后從3 個弱標簽中的每一個中采樣并標記一個視頻，直到為每個類別找到600 個手動標記的樣本。最終，使用了50%的手動標簽進行測試，50%用于微調本研究提出的模型。

3 團隊行為識別

對比了提出的群體行為識別方法的性能。首先評估了這些模型對大型弱標記數據集進行分類的能力。主要研究軌跡預測的自監督任務是否可以幫助提高群體行為識別的準確性。然后，在手動標記的數據上評估了本方法（NETS），以確定深度學習方法是否可以優于基于規則的標記方法。

3.1 實驗設計

由于模塊化的架構設計，除了最后一個預測層之外，神經網絡架構與軌跡預測任務相同。對所有這些行為序列按80%、10%、10%分別進行訓練、驗證和測試，并在50 個迭代周期后應用提前停止操作。為了平衡45 802 個“擋拆”、15 251 個“手遞手傳球”和808 852 個“其他”行為序列的分布，將其他行為事件向下采樣到45802 個（與“擋拆”相同），分別對“擋拆”、“手遞手傳球”和“其他”使用0.77、2.34 和0.77的加權因子ak。

由于群體行為標簽主要是標記為“其他”的行為序列，該分類器在預測該類時可以獲得93.0%的準確性。因此，在實驗中主要統計多類的F1 分數來比較模型的性能。并計算了混淆矩陣M，其中Mij表示真實標簽i 分類為j 的序列次數。通過將3 分類問題轉換為3 個二元分類問題來計算F1 分數：

3.2 基線方法

將NETS 架構與具有相同設置下基于LSTM的神經網絡進行了比較。為了進行公平的比較，使用了相同的訓練順序，即使用軌跡預測任務對模型進行預訓練，然后改變預測頭以實現群體行為分類。

對于群體行為分類任務來說，由于缺乏使用深度學習的基線方法，使用了若干標準的機器學習方法作為基線，包括邏輯回歸LReg、隨機森林分類器RForest 和梯度增強分類器GBoost。為了建立基線結果來進行對比，使用流行的sklearn 實現訓練了3 個淺層模型。這些淺層模型的輸入是由220 個特征組成的序列，并通過網格搜索找到了最優的參數設置。

3.3 弱標簽上的驗證結果

表1 顯示了使用弱標簽數據的F1 分數。NET模型在很大程度上優于淺層方法。結果表明，群體行為的分類對于LReg、RForest 和GBoost 等淺層模型來說是一個難題，這些傳統機器學習算法的F1 分數相對較低就表明了這一點。

表1 與基線方法的分類效果（F1 得分）對比

接著對NETS 模型進行了消融研究，以評估本研究的網絡結構設計。通過去除LSTM 嵌入創建了模型消融，按照經驗對輸入嵌入了2 層前饋神經網絡進行替換，還檢查了團隊池化層的影響，替換了求和操作，直接拼接了所有的表示。

表2 中的所有模型都是NETS 的消融實驗結果，并且都是基于變換器架構。可以看到，所有這些模型的性能都優于表1 中給出的淺層模型或基于LSTM 的模型。與未進行預訓練的相同模型相比，所有經過預訓練的模型都顯示出明顯的改進。同時，當在基礎變換器的輸入端使用LSTM嵌入而不是密集的嵌入層時，有了顯著的改進。此外，還觀察到在輸出中使用團隊池化層時有了進一步提升。根據經驗，在沒有預訓練的情況下，從頭訓練一個群體行為識別模型需要大約500 個迭代周期，但當從預訓練的模型開始時，只需要 大約200 個迭代周期。

表2 不同網絡結構在分類測試效果（F1 得分）上的消融實驗

3.4 手動標簽上的驗證結果

為了深入了解基于規則的弱標簽方法的性能，在表3 中展示了弱標簽的混淆表。雖然弱標簽規則傾向于提取許多正確標記的序列，但“擋拆”和“手遞手傳球”的規則都包括24 個和21個行為序列，它們通過手動標簽被標記為“其他”序列。此外，將“手遞手傳球”誤分類為“擋拆”操作的情況也相對頻繁。

表3 弱標簽在手動標注測試集上分類結果的混淆矩陣

接著評估了手動標簽的性能。在測試這些手動標簽時，還檢查了弱標簽和手動標簽的有用性。主要評估了以下方法：（1）使用基于規則的弱標記方法對群體活動進行分類，這需要人類專業知識來定義規則，而不是一種深度學習方法。（2）在軌跡預測任務上預訓練NETS模型，并使用大量弱標簽對模型進行微調。（3）在軌跡預測任務上預訓練NETS 模型，并僅使用900 個手動標簽對模型進行微調。（4）在軌跡預測任務上預訓練NETS 模型，使用訓練集中的弱標簽和驗證集中的手動標簽進行提前停止操作。（5）在軌跡預測任務上預訓練NETS模型，首先在弱標簽上進行微調，然后在手動標簽上再次進行微調。

表4 中的結果顯示了根據混淆矩陣計算的基于規則的弱標簽方法F1 分數。與弱標簽本身相比，觀察到在弱標簽上訓練NETS 時略有改善，假設這源于神經網絡比單獨的規則具有更好的泛化的能力。相比之下，只對手動標簽進行微調比基于規則的標簽更差，這表明沒有足夠的手動標簽來訓練大型神經網絡。在驗證集中使用手動標簽則進一步提高了準確性，這意味著NETS 在沒有手動標簽的情況下過度填充弱標簽。使用順序微調方法可以獲得最高的精度（第5 行）。當將第5 行與第1 行中的弱標簽F1 分數進行比較時，可以觀察到，“擋拆”的準確度從0.869 增加到0.951，“手遞手傳球”的準確度則從0.874 增加到0.938，“其他”的準確度也從0.893 增加到0.902。

表4 四種不同網絡變體的F1 得分對比

4 結語

提出的基于神經嵌入的群體行為識別模型具有專門設計的變換器架構，以解決體育分析中的常見問題，可以高精度地對籃球群體行為進行分類。實驗結果表明，在自監督軌跡預測任務上預訓練模型顯著提高了模型在下游任務上的性能。