體育視頻分析中姿態(tài)估計進展的綜述

宗立波，宋一凡，王熠明，馬 波，王東洋，李英杰，張 鵬

(寧夏大學(xué) 信息工程學(xué)院，銀川 750021)E-mail:pengzhang123@nxu.edu.cn

1 引 言

體育視頻分析技術(shù)在體育比賽中有著廣泛的應(yīng)用，是當(dāng)前計算機視覺研究的一個熱點.它是體育賽事中分析和建模的過程.通過分析可以給運動員、教練員或是體育愛好者提供一定的參考，對運動員個體和團隊的表現(xiàn)進行系統(tǒng)評價.隨著近年計算機視覺技術(shù)的發(fā)展，計算機視覺和圖像分析在體育應(yīng)用中扮演越來越重要的角色.

對體育比賽視頻進行智能分析主要集中在技術(shù)分析和戰(zhàn)術(shù)分析兩方面.技術(shù)分析主要針對個人能力、動作規(guī)范性和體能等方面；戰(zhàn)術(shù)分析是針對指導(dǎo)和進行比賽的方法.利用視頻對體育運動的技戰(zhàn)術(shù)進行分析，是一種有效的提高運動員的競技水平的技術(shù)手段.基于體育視頻的內(nèi)容分析的主要問題可分為：面向場景的分析、針對視頻結(jié)構(gòu)的分析、對目標(biāo)進行檢測與跟蹤、檢測感興趣的事件、分析和理解高級語義、戰(zhàn)術(shù)策略[1]、動作分析等方面.近年來，隨著深度神經(jīng)網(wǎng)絡(luò)在姿態(tài)估計和動作識別領(lǐng)域的應(yīng)用，姿態(tài)估計在人體動作識別和推理方面取得了不錯的效果，基于姿態(tài)估計的體育視頻分析快速發(fā)展.對運動員的比賽視頻進行高分辨率的錄制，將錄制的動作經(jīng)過多維度的分解，得到運動員真實的動作數(shù)據(jù)，運用分析視頻的算法，科學(xué)的分解微小的動作，對其進行對比和綜合，進而對比賽的表現(xiàn)進行評估；可以將同一動作的不同運動員的圖像進行對比，輔助運動員找到與標(biāo)準(zhǔn)動作的差距，從而加速相應(yīng)動作的改進和提升，降低訓(xùn)練的重復(fù)率，提高教學(xué)的直觀性和反饋的快速性；另外，還減少了不規(guī)范的動作造成的運動損害.這樣可以促進訓(xùn)練和比賽的水平提高.

姿態(tài)估計的研究進展發(fā)展迅速，算法由原來的基于傳統(tǒng)方法的研究，逐步轉(zhuǎn)化為基于深度學(xué)習(xí)的方法.傳統(tǒng)方法在分析時耗費的時間較少，但是提取的特征不充分，在人體姿態(tài)有較大變化時，估計的誤差較大.而深度學(xué)習(xí)的方法可以利用神經(jīng)網(wǎng)絡(luò)提取出圖像的深層次特征，在復(fù)雜的條件下，對姿態(tài)的預(yù)測更為準(zhǔn)確，這也促進了基于深度學(xué)習(xí)方法的進一步研究.

2 體育視頻分析系統(tǒng)與關(guān)鍵技術(shù)進展

國外專業(yè)運動組織和國家運動隊使用視頻對運動進行分析，并將其作為科學(xué)訓(xùn)練的必備手段.在個人項目中，視頻分析可以在運動員的軌跡和運動力學(xué)方面提供直觀的分析，在運動成績的提升方面效果突出；在團隊項目中，視頻分析系統(tǒng)可以對本隊和比賽對手的運用戰(zhàn)術(shù)進行分析，輔助教練選擇合適的戰(zhàn)術(shù)，最大程度上提高本隊的比賽成績.體育視頻分析系統(tǒng)應(yīng)運而生，不同的分析系統(tǒng)使用的技術(shù)差異較大，因此首先介紹一下國內(nèi)外的商用系統(tǒng).

2.1 體育視頻分析系統(tǒng)應(yīng)用現(xiàn)狀

基于體育視頻分析的訓(xùn)練、比賽輔助系統(tǒng)應(yīng)用于職業(yè)體育的各個方面.TechSmith Corporation公司開發(fā)的Coach′s Eye(1)https：//www.coachseye.com/應(yīng)用，使用移動設(shè)備或相機記錄運動員的狀態(tài)，以慢動作播放視頻并逐幀分析，并排分析對比動作，使用秒表等高級分析工具標(biāo)注時間，高亮顯示動作細節(jié)，通過角度測量，為運動員提供個性化的反饋，系統(tǒng)由于采用慢動作分析動作，在分析效率上需要提高；美國STATS的SportVU(2)https：//www.stats.com/sportvu-football/(球員追蹤分析系統(tǒng))是最早將視頻分析技術(shù)應(yīng)用于體育比賽的系統(tǒng)之一，現(xiàn)在發(fā)展到2.0版本.它利用4K攝像頭采集比賽圖像，基于先進的光學(xué)跟蹤技術(shù)和主動學(xué)習(xí)框架，使用統(tǒng)計算法提取球員和球的坐標(biāo)，利用AI分析跟蹤數(shù)據(jù)和事件數(shù)據(jù)，以整體的視角制定比賽策略，將比賽的數(shù)據(jù)和場外訓(xùn)練數(shù)據(jù)結(jié)合，減少錯誤動作對運動員造成的傷害.系統(tǒng)適用于團隊項目，在追蹤多名球員的時候，需要較長的時間進行分析.相較于國外的體育視頻分析系統(tǒng)，國內(nèi)的系統(tǒng)大多關(guān)注于對球員的數(shù)據(jù)分析和比賽數(shù)據(jù)的統(tǒng)計.國內(nèi)的體育視頻分析系統(tǒng)中，創(chuàng)冰DATA(3)http：//data.champdas.com/將每場比賽進行秒級數(shù)據(jù)切片，并采用分布式計算平臺對云端的數(shù)據(jù)進行多維度統(tǒng)計，在比賽數(shù)據(jù)統(tǒng)計方面比較準(zhǔn)確，但是缺乏球員的動作分析；靈信體育賽事數(shù)據(jù)采集與分析系統(tǒng)(4)http：//www.listensport.com/采用高速攝像機提供的足球和球員軌跡數(shù)據(jù)，采集球員運動信息，運用基于靈信體育系統(tǒng)模板匹配方法，對球員進行跟蹤，實現(xiàn)球員運動數(shù)據(jù)的統(tǒng)計，系統(tǒng)記錄了球員運動相關(guān)數(shù)據(jù)，通過數(shù)據(jù)分析球員的表現(xiàn)，在足球比賽中，對單個球員動作分析準(zhǔn)確性有待提高.目前主流商用系統(tǒng)中主要是對運動員的數(shù)據(jù)進行統(tǒng)計和運動員個人表現(xiàn)的分析上，自動化程度需進一步提高，操作效率和分析的準(zhǔn)確度有待提高.

2.2 體育視頻分析技術(shù)研究進展

隨著體育視頻應(yīng)用需求日益旺盛，對分析技術(shù)的精度要求越來越高，促進了體育視頻分析技術(shù)的發(fā)展，研究的對象也由低層次的特征轉(zhuǎn)向高層次的特征.Hanna等[2]研究了視頻內(nèi)容的自動分類，使用視頻中的顏色特征，通過隱馬爾可夫模型(HMM)分類視頻序列.Ouyang等[3]在跳水視頻語義分析中采用本體推理的方法，利用高級語義挖掘體育視頻信息.Hua等[4]對棒球進行了分析，驗證了識別投球速度對事件檢測和視頻內(nèi)容檢索的作用，它可以提取感興趣的視頻，在檢測事件方面具有良好的效果.Wang等[5]針對足球視頻中的注釋采用高級語義粗時間限制語義匹配，利用圖像處理將視頻和文本事件同步，結(jié)合高級特征分析視頻.Stein等[6]提出可視化系統(tǒng)，使用軌跡和運動分析技術(shù)對足球視頻中的區(qū)域、事件和球員進行相關(guān)分析，增加了分析的準(zhǔn)確性.Yoon等[7]對籃球比賽的視頻剪輯進行自動分類，同時跟蹤籃球的運動，利用上下文信息跟蹤球員，設(shè)計球隊的戰(zhàn)術(shù)策略，結(jié)合多模特征強化了視頻中球員的跟蹤分析和比賽分析.表1展示了當(dāng)前研究的進展.

表1 體育視頻關(guān)鍵技術(shù)對比

近年來，在團隊運動中對戰(zhàn)術(shù)水平的研究逐步發(fā)展.Suzuki等[8]利用深度極限學(xué)習(xí)機(DELM)，在足球比賽視頻中對球隊?wèi)?zhàn)術(shù)進行分析，引入球隊雙方戰(zhàn)術(shù)相關(guān)性，提高了戰(zhàn)術(shù)估計的準(zhǔn)確性；Decroos等[9]探討了足球中戰(zhàn)術(shù)分析的不足，使用專業(yè)足球比賽收集的事件流的數(shù)據(jù)，利用空間和時間信息，實現(xiàn)了自動戰(zhàn)術(shù)識別；Andrienko等人[10]通過將多種信息綜合分析足球比賽中的戰(zhàn)術(shù)，利用動態(tài)聚合方法，結(jié)合靈活的查詢技術(shù)，取得了不錯的效果.

在單人運動中，對運動員的分析主要集中在動作分析上.Chen等[11]提出了一個瑜伽訓(xùn)練系統(tǒng)，通過集成計算機視覺技術(shù)，系統(tǒng)通過提取身體輪廓，骨架，主導(dǎo)軸和特征點，從前視圖和側(cè)視圖分析訓(xùn)練者的姿勢.然后，根據(jù)瑜伽訓(xùn)練的領(lǐng)域知識，提出了可視化的姿勢矯正指令，在糾正訓(xùn)練者的姿勢方面具有較高的準(zhǔn)確性.Meng等[12]為了監(jiān)督和分析職業(yè)運動中的運動員訓(xùn)練的運動姿勢，使用一種深度關(guān)鍵幀提取方法，用于分析舉重運動訓(xùn)練視頻，并且所提出的DKFE在關(guān)鍵姿態(tài)概率估計和關(guān)鍵姿態(tài)提取方面優(yōu)于對比方法.姿態(tài)估計已成為體育視頻分析中的研究熱點，下一節(jié)將介紹人體姿態(tài)的研究進展.

3 體育視頻分析中的人體姿態(tài)估計

在體育視頻分析中，通過慢動作播放視頻并逐幀分析，在分析效率上需要提高.近幾年，人體姿態(tài)估計的研究不斷發(fā)展，在評估人體動作準(zhǔn)確性方面有了優(yōu)秀的表現(xiàn).現(xiàn)在從基于整體部件、基于特征模型和基于單目/多目/多傳感器等方面，回顧現(xiàn)在的人體姿態(tài)估計算法研究現(xiàn)狀.

3.1 基于整體的方法

基于整體/部件的人體姿態(tài)估計方法可以分為基于整體的方法和基于部件的方法.其中主要使用深度學(xué)習(xí)方法對圖像中的人體姿態(tài)進行映射關(guān)系的處理.

在基于整體的方法中，Alexander等[13]提出了一種基于深度神經(jīng)網(wǎng)絡(luò)(DNN)的人體姿態(tài)估計方法，作者將姿態(tài)估計表示為針對身體關(guān)節(jié)的基于DNN的回歸問題，通過一系列的DNN回歸量，得到了高精度的姿態(tài)估計值.與其他方法相比，該方法具有以整體方式推理姿態(tài)的優(yōu)點，網(wǎng)絡(luò)架構(gòu)如圖1所示；Fan等[14]使用雙源深度卷積神經(jīng)網(wǎng)絡(luò)(DS-CNN)從單張圖像中估計2D人體姿態(tài)，整合局部部分外觀和每個局部部分的整體視圖，通過聯(lián)合檢測確定圖像塊是否包含身體關(guān)節(jié)，借助聯(lián)合定位，找到在圖像塊中關(guān)節(jié)的確切位置，該方法利用整體視角進行學(xué)習(xí)，如圖2所示；Yang等[15]將領(lǐng)域先驗知識納入框架，并且結(jié)合DCNN和可變形混合部分實現(xiàn)了端到端的人體姿態(tài)估計，可以應(yīng)用于循環(huán)模型或樹形結(jié)構(gòu)模型.基于整體的方法在關(guān)節(jié)點定位上，受歸一化的距離影響較大，需要選擇合適的歸一化距離，強化定位關(guān)節(jié)點的準(zhǔn)確性.

圖1 基于DNN的姿態(tài)回歸的示意圖[13]

圖2 DS-CNN架構(gòu)[14]

3.2 基于部件的方法

由于基于整體的方法需要領(lǐng)域先驗知識的支持，具有一定的局限性，而基于部件的方法可以不需要先驗知識，通過將部件整合連接成人體姿態(tài)，增加姿態(tài)估計的準(zhǔn)確度.最先進的基于部件的方法在它們的關(guān)聯(lián)方法上是不同的.cao等人[16]將關(guān)節(jié)與部分親和力場和貪婪算法聯(lián)系起來，該方法使用非參數(shù)表示(部分親和字段(PAF))來學(xué)習(xí)將身體部位與圖像中的個體相關(guān)聯(lián).該體系結(jié)構(gòu)對全局上下文進行編碼，允許貪婪的自下而上解析步驟，無論圖像中的人數(shù)如何，都能保持高精度，同時實現(xiàn)實時性能，見圖3；Papandreou等人[17]檢測個別關(guān)節(jié)并預(yù)測關(guān)聯(lián)的相對位移，生成一種基于單鏡頭模型的無框自底向上的多人圖像姿態(tài)估計和實例分割方，方法中的PersonLab模型使用基于部件的建模處理語義級推理和對象-部件關(guān)聯(lián)，基于全卷積架構(gòu)，并允許有效的推理，對出現(xiàn)在場景中多人姿態(tài)估計具有較好的效果；kocabas等人[18]將多任務(wù)和MultiPoseNet結(jié)合可以聯(lián)合處理人員檢測、關(guān)鍵點檢測、人員分割和提出的估計問題，并且通過姿勢殘差網(wǎng)絡(luò)為檢測到的人分配關(guān)節(jié)，形成自底向上的多個體姿態(tài)估計體系結(jié)構(gòu)，在多人場景中效果超過MPII MultiPerson基準(zhǔn)的方法.基于部件的方法中，容易丟失跟蹤的人體信息，并且自底向上方法會誤檢關(guān)節(jié)點，采用將視頻幀間的時間順序與部件模型結(jié)合方法，可以有效提高檢測的準(zhǔn)確率，進而提高人體姿態(tài)估計的精度.

圖3 雙分支多級CNN的體系結(jié)構(gòu)[16]

3.3 基于特征的方法

在基于特征/模型中，傳統(tǒng)的方法分為基于人體特征和基于模型的方法.基于人體特征的方法不需要明確的身體模型，也不需要標(biāo)記身體部位，可以通過圖像輪廓恢復(fù)人體姿勢.

在基于人體特征的方法中，Taylor等[19]采用一種基于鄰域分量分析(NCA)框架學(xué)習(xí)非線性嵌入的方法，每張圖片是由兩個卷積、子采樣層和一個全連接層處理，見圖4，通過卷積擴展到真實大小的圖像，解決了視覺上匹配相似姿勢但具有不同衣服，背景和其他外觀變化的人的復(fù)雜問題；Arjun等[20]提出了一個兩階段的過濾方法，改進低層次特征檢測器，結(jié)合全局定位改善了不受約束的人體姿態(tài)估計效果；Rodrigo等[21]在RGB圖像上使用2D多層次的外觀特征表示，利用基于CNN的身體部位檢測器可以檢測不同層次的部位，提高了自下而上部位檢測器的性能.基于人體特征的方法，需要選擇合適的人體特征，同時需要大量的人體關(guān)節(jié)點的標(biāo)注，在網(wǎng)絡(luò)訓(xùn)練的時間上花費較大，采用弱監(jiān)督的訓(xùn)練方式可以提升訓(xùn)練效率，減少訓(xùn)練時間.

圖4 卷積NCA回歸(C-NCAR)[19]

3.4 基于模型的方法

由于人體是非剛性的，運動比較靈活、復(fù)雜，具有不規(guī)則性，基于模型的方法被提出，解決基于特征的不穩(wěn)定性.Yang等[22]采用基于零件模型表示的靜態(tài)圖像中的人體姿態(tài)估計方法，使用每個部分的模板混合捕獲零件之間的上下文共現(xiàn)關(guān)系，增強了編碼空間關(guān)系的標(biāo)準(zhǔn)彈簧模型，提高了姿態(tài)估計的準(zhǔn)確率和速度；Chen等[23]將深度卷積神經(jīng)網(wǎng)絡(luò)(DCNN)和圖形模型結(jié)合，由于局部圖像測量既可用于檢測部分(或關(guān)節(jié))以及預(yù)測它們之間的空間關(guān)系(圖像依賴成對關(guān)系)，采用DCNN來學(xué)習(xí)圖像塊內(nèi)部件的存在及其空間關(guān)系的條件概率，提升了在LSP和FLIC數(shù)據(jù)集上的準(zhǔn)確度；chu等[24]等使用雙向樹結(jié)構(gòu)模型判斷人體各關(guān)節(jié)在特征層面的關(guān)系.基于模型的方法可以對人體關(guān)節(jié)出現(xiàn)的位置進行限制，減少將背景檢測出關(guān)節(jié)點的幾率，提升關(guān)節(jié)位置檢測的準(zhǔn)確性.然而卻解決不了關(guān)節(jié)間的遮擋問題，可以引入先驗知識和關(guān)節(jié)點的統(tǒng)計信息，提高遮擋的關(guān)節(jié)點檢測率.

3.5 基于單目/多目/多傳感器融合的方法

根據(jù)采集視頻的方式可以分為單目、多目、多傳感器融合的方法，單目采集的視頻是彩色圖像；多目采集的視頻是3D圖像；多傳感器融合采集的視頻包含彩色圖像和深度圖像.不同的輸入圖像采用了不同的姿態(tài)估計算法.

3.5.1 基于單目的方法

在基于單目的方法中，將單目視頻作為輸入進行人體姿態(tài)估計.代欽等[25]使用單目靜態(tài)圖像作為輸入，對相鄰像素中類似的圖像進行整合，在人體部位搜索時通過超像素完成，利用可變形部位模型實現(xiàn)部位識別，有效降低了在部位識別中背景的干擾，在姿態(tài)估計中獲得了較好的結(jié)果；肖澳文等[26]采用的實驗?zāi)Ｐ褪褂脝文恳曨l輸入源，通過改進的順序化卷積神經(jīng)網(wǎng)絡(luò)提取人體空間信息和紋理特征，確定頭部和四肢關(guān)節(jié)點的位置，將節(jié)點投影到三維空間，降低了人體姿態(tài)估計的誤差；Pavlakos等[27]使用人體關(guān)節(jié)提供的序數(shù)深度提供的監(jiān)督訓(xùn)練卷積網(wǎng)絡(luò)，利用單幅圖像的輸入，有效的提高了準(zhǔn)確度.基于單目的視頻輸入的方法，雖然取得了較好的效果，但是在光照、顏色、紋理的變化中，單目視頻缺少足夠的信息解決問題，尤其是在體育運動中，運動員之間由于劇烈運動，造成的遮擋比較嚴(yán)重，對多人之間的姿態(tài)估計產(chǎn)生影響，而基于多目的方法可以較好的解決問題.

3.5.2 基于多目的方法

在基于多目的方法中，Steven等[28]提出了一個用于多個人的多視圖3D姿態(tài)估計的管道，其結(jié)合了最先進的2D姿勢檢測器和利用信任傳播優(yōu)化的3D肢體約束的因子圖.該系統(tǒng)明顯優(yōu)于先前的最新技術(shù)，具有更簡單的肢體依賴模型，增加了人體姿態(tài)估計的魯棒性；Fang等[29]使用多個攝像機的2D姿勢利用姿勢語法解決3D姿態(tài)估計的泛化問題.Dong等[30]使用多路匹配算法在所有視圖中聚類檢測到的2D姿勢，將得到的聚類在不同視圖上編碼同一人的2D姿勢及關(guān)鍵點的一致對應(yīng)，進而推斷出每個人的3D姿勢，通過實驗驗證了所提出的方法的有效性；Wei等[31]給定一組不同視角的2D關(guān)節(jié)位置，利用視圖一致性的約束提高3D人體姿態(tài)估計性能；Qiu等[32]結(jié)合多視圖幾何先驗的跨視圖融合方案，從多視圖中高性能的恢復(fù)3D人體姿態(tài).基于多目的視頻輸入方法，可以解決輕微遮擋、形變、人體尺度和采集角度等干擾問題，提供較為準(zhǔn)確的3D信息.但是，在體育運動中，存在的嚴(yán)重遮擋和球員衣服的干擾，使基于多目的人體姿態(tài)估計效果變差.可以引入如紅外傳感器等的多種傳感器，減少遮擋和干擾，提高體育運動中的人體姿態(tài)估計精度.

3.5.3 基于多傳感器的方法

近年來，隨著多傳感器的技術(shù)發(fā)展，提供更加精確的人體姿態(tài)信息的多傳感器技術(shù)應(yīng)用于人體姿態(tài)估計領(lǐng)域.韓麗等[33]使用運動捕捉系統(tǒng)通過基于特征平面相似性匹配的方法計算模型各關(guān)節(jié)的運動數(shù)據(jù)參數(shù)，在人體姿態(tài)分析中具有較高的準(zhǔn)確性和魯棒性；Yang等[34]使用圖像、集合描述符、彩色圖和深度圖等多個輸入源通過對抗性學(xué)習(xí)框架預(yù)測的3D的人體姿態(tài)估計，提高僅具有2D姿勢注釋的野外圖像的姿態(tài)估計；Tang等[35]使用基于稀疏特征點校準(zhǔn)彩色圖和深度圖，得到三維關(guān)節(jié)點的信息恢復(fù)人體姿態(tài).在基于多傳感器方法中，受室外環(huán)境的影響較大，對環(huán)境的要求較高，可以應(yīng)用于室內(nèi)體育運動，減少光照條件的干擾.

4 姿態(tài)估計數(shù)據(jù)集及算法性能對比分析

在本節(jié)中，首先介紹用于姿態(tài)估計的數(shù)據(jù)集和評價指標(biāo).然后將近年比較主流的方法的性能結(jié)果進行了對比分析.

4.1 姿態(tài)估計相關(guān)的數(shù)據(jù)集

目前研究所用的主流人體姿態(tài)數(shù)據(jù)集包括2D和3D兩類.其中2D人體姿態(tài)數(shù)據(jù)集如表2所示[36].常見數(shù)據(jù)集包括MSCOCO[37]，MPII[38]，LSP[39]，F(xiàn)LIC[40]，PoseTrack[41]和AI Challenger[42].

表2 2D人體姿態(tài)數(shù)據(jù)集[36]

現(xiàn)有的3D人體姿態(tài)數(shù)據(jù)集大多來自于室內(nèi)采集，一般對拍攝環(huán)境有較高的要求，包括 Human3.6 M[43]和MPI-INF-3DHP[44]等，如表3所示.

表3 3D人體姿態(tài)數(shù)據(jù)集

4.2 評價指標(biāo)

在2D姿態(tài)估計中，使用的評價指標(biāo)是正確估計的身體部位百分比(PCP)和mAP.

PCP選擇肢體長度作為基準(zhǔn)，評估頭部，軀干，上臂，下臂，大腿和小腿的檢測精度.PCK選擇歸一化距離作為基準(zhǔn)，評估七個關(guān)節(jié)的檢測精度，包括頭部，肩部，肘部，腕部，髖部，膝部和踝部.PCKh@0.5意味著在頭部尺寸的0.5的閾值內(nèi)認為關(guān)節(jié)的檢測是成功的.mAP反映了所有關(guān)節(jié)的平均PCKh檢出率.

與2D姿態(tài)估計的評價指標(biāo)不同，3D姿態(tài)估計的評價指標(biāo)采用MPJPE(關(guān)節(jié)平均誤差)，它以毫米為單位測量預(yù)測和真實關(guān)節(jié)位置之間的平均距離.MPJPE的值越小，3D姿態(tài)估計越準(zhǔn)確.

4.3 性能比較分析

從2D和3D方面分別比較了各個方法的性能.表4中列出的方法顯示了在MPII和LSP數(shù)據(jù)集上通過PCP和mAP評估的所有關(guān)節(jié)的平均準(zhǔn)確度.

基于表4，在PCP評價指標(biāo)下，基于整體的方法，F(xiàn)an等[14]提出的DS-CNN方法取得了最高的準(zhǔn)確度；在基于模型的方法中，Chen等[23]提出的方法利用圖像依賴成對關(guān)系，提升了在LSP上的準(zhǔn)確率；在mAP的評價指標(biāo)下，Cao等[16]采用多分支的CNN取得了優(yōu)秀的準(zhǔn)確度.在2D姿態(tài)估計中，使用多分支的CNN可以提升檢測的準(zhǔn)確度.

表4 2D人體姿態(tài)估計方法的比較

雖然基于2D的姿態(tài)估計算法取得了不錯的效果，但是在體育運動中，由于人體的身高、衣服和背景遮擋的影響，降低了姿態(tài)估計的準(zhǔn)確性.基于3D的姿態(tài)估計可以有效減少上述問題的影響.

3D姿態(tài)估計的算法性能對比如表5所示.在基于單目的方法中，Pavlakos等[27]提出的方法在數(shù)據(jù)集上實現(xiàn)56.2%的MPJPE，由于大多數(shù)的3D數(shù)據(jù)集是在室內(nèi)環(huán)境下采集，不能實現(xiàn)2D人體數(shù)據(jù)集的可變性，而在體育運動中，人體的形變更加劇烈，作者使用2D人體姿勢數(shù)據(jù)集上的序數(shù)深度的附加注釋，減少了對精確3D真實值的需求；在基于多目的方法中，Wei等[31]使用視圖不變的3D人體姿態(tài)估計的方案實現(xiàn)了56.6%的MPJPE，在體育運動中，捕捉視角的多樣性和人體姿態(tài)的靈活性對于姿態(tài)估計來說是一些挑戰(zhàn)，作者通過視圖不變判別網(wǎng)絡(luò)強化對身體關(guān)節(jié)的約束，顯著提高3D人體姿態(tài)估計的性能；在基于多傳感器的方法中，Yang等[34]實現(xiàn)了58.6%的MPJPE，雖然深度卷積神經(jīng)網(wǎng)絡(luò)(DCNN)在受約束的實驗室環(huán)境中的數(shù)據(jù)集上取得了顯著進步，但是在體育運動中很難獲得3D姿勢注釋，作者使用對抗性學(xué)習(xí)框架，它將完全注釋的室內(nèi)數(shù)據(jù)集中學(xué)習(xí)的3D人體姿勢結(jié)構(gòu)提煉為2D姿勢注釋的室外圖像，可以有效提高室外體育運動中的姿態(tài)估計性能.特別值得一提的是Qiu等[32]提出的跨視圖融合方法大幅度改進了MPJPE，實現(xiàn)了26.21%的MPJPE，在室內(nèi)數(shù)據(jù)集上利用可見視圖的特征融合和RPSM，改進獨立計算的2D姿態(tài)，雖然在室外的體育運動中環(huán)境影響較大，仍然可以將多視圖融合改進2D姿態(tài)估計的思路運用在體育運動中的3D姿態(tài)估計.

表5 3D人體姿態(tài)估計方法的比較

5 結(jié)束語

本文對最近幾年的體育視頻分析系統(tǒng)和人體姿態(tài)估計算法進行了較全面的綜述.最后給出了未來的研究方向.由于體育運動的連續(xù)性，姿態(tài)分析與時間的關(guān)系越來越密切，引入時序可以有效解決遮擋；體育姿態(tài)數(shù)據(jù)集需求明顯增加，準(zhǔn)確注釋的數(shù)據(jù)集將會是提升人體姿態(tài)估計準(zhǔn)確性的重要基礎(chǔ)；基于多模態(tài)信息和將幾何先驗知識加入到網(wǎng)絡(luò)特征融合中，促進網(wǎng)絡(luò)結(jié)構(gòu)的改進，提升3D姿態(tài)估計的準(zhǔn)確率，這是未來體育運動中3D姿態(tài)估計的重要方向，為以后體育視頻分析性能的提升提供了新的方法.