基于計算機視覺技術的乒乓球技術動作AI評分系統研究與設計

劉曉林 胡建華 李貞晶 石曉莉

摘 要：鑒于目前乒乓球教學中存在學生揮拍動作不規范、個性化施教不足及教學效率相對較低的三大問題，基于AI（人工智能）計算機視覺技術設計乒乓球技術動作AI評分系統。該系統結合廣東科學技術職業學院乒乓球精品課程建設，以乒乓球八個基本技術動作構建AI模型，使用目標檢測、姿態估計、動作識別算法對學生的實際動作進行AI評分。實驗結果表明，使用乒乓球技術動作AI評分系統有利于開展個性化教學，提高了教學效率，還能支持遠程教學，可以在乒乓球教學中推廣應用。

關鍵詞：乒乓球;技術動作教學;動作AI評分;計算機視覺;人工智能

中圖分類號：TP27.4 文獻標志碼：A

0 引言（Introduction）

在我國，乒乓球運動是群眾基礎非常好并且競技水平非常高的一項運動，并且近50年來，我國乒乓球隊取得了100多個世界冠軍，并且囊括了4屆世乒賽、2次奧運會的全部金牌。隨著乒乓球運動在全國日益普及，乒乓球運動也成為學生進行鍛煉的有力工具，乒乓球教學也迅速地走進了大學校園，成為大學公共體育教育不可缺少的一部分。大多數學校的乒乓球教學都是采用大班集中上課模式[1]，這種模式存在以下問題：一是學生學練揮拍動作與標準動作存在差異，不規范;二是個性化施教不足;三是乒乓球技術動作教學效率比較低。針對這三個主要問題，契合學校教育信息化時代發展背景，本文設計了乒乓球技術動作AI識別評分系統，利用人工智能技術代替傳統的感官經驗，動態捕捉揮拍動作軌跡，精準分析學生學練揮拍動作與標準動作的差異，幫助學生精準練習，規范其揮拍動作;智能評價，實時反饋個體學練情況，及時查找不足，滿足針對性練習需求，實現個性化教學。本系統的應用對體育課程“互聯網+數字化”改革建設具有引領示范作用和一定的應用推廣價值。

1 傳統乒乓球技術動作訓練（Traditional tabletennis technical movement training）

很多學校采用的乒乓球教學模式主要是大班集中上課。一位體育教師要同時給50名學生上課，這種上課模式存在以下問題：一是學生學練揮拍動作不規范。97%以上的授課對象從未經過系統、專業的乒乓球運動技術學習，多數學生的乒乓球運動技術基礎較為薄弱，揮拍動作不規范問題凸顯。二是個性化施教不足。學習個體差異較大，學練多元化需求急迫。目前，該課程教學中，通常采用教師集體指導與逐一指導相結合的方式組織教學[2]。乒乓球課程中，通常一半的時間由教師集中指導，剩余一半時間由教師對班級的學生逐一指導，教師指導學生的人均時間為1 min左右，這種傳統的講練方式導致全面實施個性化教學效果不足。三是教學效率低下。運動技能的形成規律是由泛化、分化、固化再到自動化逐步發展。傳統教學方式對學練反饋不及時，致使多數學生運動技能長時間停留在泛化階段，技術技能掌握欠佳，教學效率相對較低。

2 乒乓球技術動作AI評分系統設計（Design ofAI scoring system for table tennis technicalmovements）

乒乓球技術動作AI評分系統的核心功能包括用手機拍攝學生的實時訓練視頻，通過目標檢測算法獲得學生的有效姿態識別區域，再使用姿勢估計算法為每個檢測到的人預測出姿勢，通過動作識別算法對學生的乒乓球動作進行比較評分，評分完成后反饋識別動作序列及評分分數[3]。乒乓球技術動作AI評分系統的核心評分功能結構圖如圖1所示。

2.1 數據采集

首先，利用手機拍攝訓練中學生的乒乓球技術動作視頻。使用手機拍攝的好處是對教學設備的要求大大降低，不需要專門安裝拍攝設備，在不同的乒乓球場地可以隨時開展乒乓球技術動作的教學;其次，對拍攝的原始視頻進行視角校正、去反光及壓縮等預處理，使用視頻能快速完成上傳，為AI評分提供高質量的輸入，從而提高AI評分的準確率與效率;最后，將乒乓球技術動作視頻上傳到平臺進行AI評分，上傳處理使用了本地緩存與失敗重傳機制，從而保證視頻可靠地完成上傳，不會丟失。

2.2 目標檢測

目標檢測方面，系統使用了YOLOv7神經網絡算法將圖像中學練的學生檢測出來[4]。首先找到學生的有效姿態識別區域，然后對有效姿態識別區域進行處理，這種方式提高了系統對學生的乒乓球技術動作AI評分的準確率。

YOLO算法（You Only Look Once）作為目前最先進的目標檢測算法，它已經經過了7次迭代（YOLOv1、YOLOv2和YOLOv7）。YOLOv1作為YOLO算法的基石，主要實現思想為輸入某張待檢測圖片，將圖片分解成S×S 個網格，當某個目標中心落在此網格中時，網格就會預測該目標，其核心是使用損失函數（loss function）進行目標預測，該函數主要由三個部分組成，分別為坐標預測、置信度（confidence）預測和類別預測。整個乒乓球技術動作目標檢測過程如圖2所示。

2.3 姿態估計

使用目標檢測算法對人進行定位，根據定位的區域進行深度學習姿態估計，這樣能夠精確地實現對目標物體的關鍵點檢測，得到骨骼關節點動作序列數據[5]。由于普通的模型只能取一張裁剪過的圖像，所以很難估計每個關鍵點的絕對相機中心坐標。為了解決此問題，許多姿態估計方法都是使用人體的某一個關節點，如中心關節點（即骨盆）做參考，但是在實際測試中，姿態估計效果一般。

在人體的姿態估計方面，本系統使用了DetectNet、RootNet以及PoseNet三種算法[6]。第一步，使用DetectNet人體檢測網絡檢測圖像中學生的所在區域;第二步，使用RootNet算法檢測人體骨盆所在的位置;第三步，使用PoseNet3D單人姿勢估計網絡根據人體骨盆位置預測每個檢測到的學生的乒乓球動作姿態。使用此算法進行乒乓球技術動作姿態識別效果如圖3所示。

2.4 動作比較評分

目前，雖然動作識別領域的相關研究已經較為成熟，但是對于一個動作的打分還僅建立在該動作的數據集上，數據集決定了識別出的動作準確度，而數據集的獲取與制作是一大難點，使想任意比較兩個不同動作變得很困難。為了解決這個問題，可以先使用卡爾曼濾波算法修正關節點，再使用基于動態時間規整（Dynamic Time Warping，DTW）的動作比較算法，具體過程如下。

使用卡爾曼濾波算法對關節點進行修正[7]。卡爾曼濾波算法被普遍應用于狀態最優估計問題，其基本思想是最小方差無偏估計，即根據系統的歷史觀測值，建立系統狀態模型，使模型的后驗概率達到最大。卡爾曼濾波采用遞歸方法解決線性濾波問題，包括預測階段和校正階段兩個階段。預測階段即建立合適的運動模型，通過歷史觀測值預測目標下一時刻的位置;校正階段即每獲得一個新的觀測值，都將其與預測值進行對比，從而繼續修正模型，對新的觀測值進行校正，使其接近真實值。卡爾曼濾波算法每一步的計算量較小且計算步驟清晰，非常適合計算機處理。

利用卡爾曼濾波對預測的關節點位置進行重新修正的過程如圖4所示。

利用卡爾曼濾波方法對比標準動作與被測試者的動作，如圖5所示，由于動作表現為一個時間序列，在時間序列中，需要比較相似性的兩段時間序列的長度可能并不相等，這是因為被測試者完成乒乓動作所需要的時間不同，所以會出現圖5中所示的兩個動作序列出現一定的飄移，最簡單的相似度計算方法是計算兩個時間序列的歐氏距離。歐氏距離屬于鎖步度量，如果直接用歐氏距離計算相似度，有可能存在時間步不對齊、序列長短不一等問題，因此本文使用DTW 算法比較動作。

DTW 算法主要是針對序列匹配提出的，尤其是當序列出現一定的飄移時，歐氏距離度量就會失效[8]。如果有兩個序列X 和Y，假設標準動作序列X=[2，3，4，7，9，2，1，2，1]，被測試者動作序列Y=[1，1，1，1，2，3，3，4，7，8，9，1，1，1，1]，繪制在圖6的坐標軸上。由于兩個序列存在橫軸上的飄移，所以兩個序列的歐氏距離很長。使用DTW 算法將兩個序列在某些時點上進行壓縮，實現兩個序列之間的歐氏距離最短。DTW 算法的本質是尋找一條從X[0]、Y[0]到X[N]、Y[M ]的最短路徑。對于序列X 和Y，找到的壓縮路徑是[（0，0），（0，1），（0，2），（0，3），（0，4），（1，5），（1，6），（2，7），（3，8），（3，9），（4，10），（5，11），（6，11），（6，12），（6，13），（6，14），（7，14），（8，14）]。對應的壓縮關系如圖6所示。

由于兩個序列存在橫軸上的飄移，所以兩個序列的歐氏距離很長。使用DTW 算法將兩個序列在某些時點上進行壓縮，實現兩個序列之間的歐氏距離最短。DTW 算法本質是尋找一條從X[0]、Y[0]到X[N]、Y[M ]的最短路徑。要做到全局最小，這個全局要通過一條路徑累積得到。整個累積是通過不同階段逐步累積得到的。所以，在不同階段（時間t）中，要保存所有的可能性事件的累積距離。從當前的時間t 到下一個階段t+1，通過之前的累積狀態，計算出當前各種不同事件的累積距離。逐步將這個累積距離往前推，得到最后時間t;在各個不同時間的累積距離中，選出距離最小值。通過累積距離最小，反推出它的路徑，對于序列X 和Y，找到的壓縮路徑是[（0，0），（0，1），（0，2），（0，3），（0，4），（1，5），（1，6），（2，7），（3，8），（3，9），（4，10），（5，11），（6，11），（6，12），（6，13），（6，14），（7，14），（8，14）]。對應的序列距離最短路徑如圖7所示。

本文分別采用目標檢測、姿態識別對標準動作以及被測試者動作進行人體定位、骨骼關鍵點檢測，得到兩個乒乓球動作數據序列，采用動態時間規整算法比較兩個動作的相似度，并得出評分，最后將姿態識別效果、評分等信息進行數據可視化。打分流程如圖8所示[9]。

流程處理步驟如下：①在智能手機上運行系統的手機端，拍攝學生的乒乓球技術動作視頻;②上傳拍攝的動作視頻，如果不成功，則再次嘗試上傳，如果成功，則進入下一步;③對收到的動作視頻采用YOLOv7神經網絡算法進行目標檢測，有效地檢測出畫面中人的信息;④使用基于PoseNet3D姿態估計算法進行動作姿態估計;⑤使用卡爾曼濾波算法進行關節點修正;⑥使用基于動態時間規整算法進行動作比較，得到評分;⑦反饋AI評分結果，包括動作序列數據與分數;⑧展示評分結果;⑨如果繼續拍攝下一個動作，就回到步驟①繼續拍攝，否則流程結束。

4 數據分析與展示（Data analysis and display）

本研究將大數據可視化分析創新性地運用到乒乓球運動訓練中。在運動練習中，通過對學生的運動數據包括動作序列與得分的分析得出學生動作訓練的薄弱點，幫助學生明確自身不足，針對性地練習弱項。學生的動作評分詳情如圖10所示。

對學生不同時間段的數據進行分析，得出學生的進步率，方便教師實施個性化教學;學習訓練前后效果對比如圖11所示。

系統可以對班級訓練情況統計分析，輔助教師進行班級教學情況診斷，進而優化教學內容和方式，提升教學質量。以學生學練正手平擊發球技術動作前后為例，統計全班得分情況，如圖12所示[10]。

5 結論（Conclusion）

乒乓球技術動作AI識別評分系統利用手機攝像頭采集學生的乒乓球技術動作訓練視頻，經過目標檢測算法、姿態估計算法及動作比較算法完成學生的乒乓球技術動作AI評分，并且提供可視化數據分析與展示[11]。這套系統現已應用于廣東科學技術職業學院計算機工程技術學院的教學中，效果顯著，學院開設的乒乓球課程榮獲“省職業院校教學能力比賽一等獎”。本系統應用前景廣闊，可以在乒乓球技術動作教學中推廣。此外，其他場景的肢體動作教學也有類似的需求，例如空乘禮儀姿勢教學、羽毛球教學、太極拳教學等，都可利用本系統的相關技術原理并結合特定場景需求開發相應的教學AI評分系統。

參考文獻（References）

[1] 李慶，黃嘉君. 乒乓球發球技術的訓練研究[J]. 當代體育科技，2019，9（32）：28，30.

[2] MERCHANT Z，OETZ E T，CIFUENTES L，et al. Effectivenessof virtual reality-based instruction on students' learningoutcomes in K-12 and higher education： a meta-analysis[J].Computers & Education，2014，70：29-40.

[3] 管練武，叢曉丹，張慶，等. 基于微慣性與Unity3D的室內滑雪教學與訓練可視化系統設計[J]. 實驗技術與管理，2021，38（10）：152-156.

[4] 趙瓊，李寶清，李唐薇. 基于改進YOLO v3 的目標檢測算法[J]. 激光與光電子學進展，2020，57（12）：313-321.

[5] WU S Z，RUPPRECHT C，VEDALDI A. Unsupervisedlearning of probably symmetric deformable 3D objects fromimages in the wild [C]∥Conference on Computer Visionand Pattern Recognition （CVPR）. 2020 IEEE/CVF Conferenceon Computer Vision and Pattern Recognition. Seattle，WA：IEEE，2020：1-10.

[6] LIU R C，WANG Z L，SHI X，et al. Table tennis stroke recognitionbased on body sensor network[C]∥MONTELLA R，CIARAMELLA A，FORTINO G，et al. International Conferenceon Internet and Distributed Computing Systems.Cham：Springer，2019：1-10.

[7] 婁泰山，王曉乾，趙良玉，等. 自適應快速弱敏無跡Kalman濾波算法[J]. 控制與決策，2022，37（2）：506-512.

[8] 周馳，李智，徐燦. 基于DTW 算法的空間目標結構識別研究[J]. 計算機仿真，2019，36（9）：98-102.

[9] 朱航標，吉龍龍，張瑛秋. 信息技術與乒乓球發球判罰教學深度融合的理論與實踐[J]. 北京體育大學學報，2021，44（11）：99-109.

[10] 張學鋒，陳雪瑞. 乒乓球揮拍動作識別方法研究[J]. 重慶工商大學學報（自然科學版），2021，38（1）：62-69.

[11] 張毅，趙杰煜，王翀，等. 時域注意力Dense-TCNs在多模手勢識別中的應用[J]. 計算機工程，2020，46（9）：101-109.

作者簡介：

劉曉林（1978-），男，碩士，高級工程師。研究領域：軟件工程，移動應用開發。

胡建華（1984-），男，碩士，高級工程師。研究領域：圖像視頻處理，視頻編解碼，深度學習。本文通信作者。

李貞晶（1982-），女，碩士，副教授。研究領域：乒乓球運動教學與訓練，體育人文社會學。

石曉莉（1993-），女，碩士。研究領域：體育教學方法，乒乓球運動訓練。