基于單-多視圖優(yōu)化的足球球員三維姿態(tài)和體型估計(jì)

謝歡，劉純平，季怡

（蘇州大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，江蘇 蘇州 215006）

0 引言

足球是全世界最受歡迎的運(yùn)動(dòng)之一，三維（3D）轉(zhuǎn)播給觀眾提供了更好的觀賽體驗(yàn)。2010 年，天空電視臺(tái)使用三維專業(yè)攝像機(jī)拍攝并進(jìn)行轉(zhuǎn)播，但觀眾需要戴上特殊的三維眼鏡來(lái)觀看比賽，而且利用當(dāng)時(shí)的技術(shù)僅能生成一個(gè)固定視角的小范圍的三維立體效果。若要帶給觀眾更好的觀賽體驗(yàn)，則需要對(duì)整個(gè)場(chǎng)景進(jìn)行三維重建，從而使觀眾能任意切換視角，不遺漏每一個(gè)精彩瞬間。因此，隨著計(jì)算機(jī)視覺(jué)三維重建技術(shù)的發(fā)展，實(shí)現(xiàn)足球比賽的三維重建是一個(gè)具有重要意義的研究方向。在足球比賽場(chǎng)景中球員是非常重要的目標(biāo)，足球球員的三維姿態(tài)和體型估計(jì)是關(guān)鍵環(huán)節(jié)。

人體三維姿態(tài)和體型估計(jì)在增強(qiáng)現(xiàn)實(shí)和計(jì)算機(jī)游戲中有著廣泛的應(yīng)用。人體三維姿態(tài)和體型估計(jì)根據(jù)是否使用參數(shù)化人體模型可劃分為兩類，即非參數(shù)化人體模型和參數(shù)化人體模型，其中，非參數(shù)化人體模型使用體素占用柵格［1-2］或者三維網(wǎng)格［3-4］來(lái)表示人體，參數(shù)化人體模型是近年來(lái)的研究熱點(diǎn)。ANGUELOV等［5］提出數(shù)據(jù)驅(qū)動(dòng)方法（SCAPE）用于人體體型建模，SCAPE 學(xué)習(xí)了兩個(gè)單獨(dú)的模型，一個(gè)對(duì)人體表面的非剛性形變建模，另一個(gè)對(duì)體型的變化建模。隨后，許多在SCAPE 的基礎(chǔ)上的改進(jìn)方法被提 出，例 如S-SCAPE［6］和Breath-SCAPE［7］。LOPER等［8］提出一個(gè)蒙皮多人線性（SMPL）模型，SMPL 模型使用一個(gè)函數(shù)來(lái)表示人體的各種體型和姿態(tài)，其中表示體型的參數(shù)和表示姿態(tài)的參數(shù)是可以分離的。PAVLAKOS等［9］將SMPL 擴(kuò)展到SMPL-X，通過(guò)增加手部、腳部和臉部的特征點(diǎn)來(lái)細(xì)化手腳和臉部的表示。在SMPL 模型的基礎(chǔ)上，大量基于學(xué)習(xí)的方法［10-12］被提出。基于學(xué)習(xí)的方法具有以下特點(diǎn)：具有較好的性能，推理速度較快，但是依賴于大型的三維人體數(shù)據(jù)集；精度受數(shù)據(jù)集的影響較大，在數(shù)據(jù)集中的姿態(tài)和體型的多樣性直接影響模型所產(chǎn)生結(jié)果的精度；使用深度神經(jīng)網(wǎng)絡(luò)來(lái)預(yù)測(cè)參數(shù)化人體模型的相關(guān)參數(shù)。在基于學(xué)習(xí)的方法中的一些方法使用整個(gè)彩色圖像作為輸入［13-15］，另一些方法使用從圖像中生成的中間表示作為輸入，例如人體關(guān)節(jié)點(diǎn)［16］、稠密相關(guān)關(guān)系［17-18］、剪影［19-20］、人體部件［21-22］和紋理坐標(biāo)［23］。此外，還有一些研究人員提出了基于優(yōu)化的方法，將人體模型投影到二維（2D）平面，并與所觀測(cè)到的二維特征進(jìn)行擬合，其中的二維特征主要包括人體關(guān)節(jié)點(diǎn)［24-25］、剪影［26］和身體部位［21］。上述基于優(yōu)化的方法可以在不需要三維標(biāo)注的情況下生成可信的結(jié)果，但其中有一些方法在多視圖圖像［27］或者視頻［28］中進(jìn)行優(yōu)化，利用人物姿態(tài)在時(shí)間域上的連續(xù)性以及體型的一致性實(shí)現(xiàn)三維重建。

人體數(shù)據(jù)集也是三維重建的關(guān)鍵，目前主要有UP-3D［26］和Human3.6M［29］。由于建立這樣的數(shù)據(jù)集需要使用數(shù)量眾多的硬件設(shè)備，因此這兩個(gè)數(shù)據(jù)集的規(guī)模較小。例如，Human3.6M 只有11 個(gè)演員，而全世界大約有13 萬(wàn)名專業(yè)足球球員。同時(shí)，足球球員的一些專業(yè)動(dòng)作，例如帶球、頭球和守門(mén)，在這些數(shù)據(jù)集中往往比較少出現(xiàn)。因此，基于學(xué)習(xí)的方法很難精確預(yù)測(cè)足球球員的三維姿態(tài)和體型。足球比賽通常以單視角視頻的形式呈現(xiàn)，IPL Azadi Soccer數(shù)據(jù)集［30］是一個(gè)多視圖的足球比賽數(shù)據(jù)集，但是圖像分辨率較低并且不提供公開(kāi)的訪問(wèn)和下載。同時(shí)，由于足球場(chǎng)地相對(duì)較大，使得足球球員在轉(zhuǎn)播視圖中的相對(duì)尺寸很小，而攝像機(jī)和球員之間的相對(duì)運(yùn)動(dòng)產(chǎn)生了大量的運(yùn)動(dòng)模糊，從而影響了對(duì)球員三維姿態(tài)和體型的精確估計(jì)。

針對(duì)上述問(wèn)題，本文提出基于單-多視圖優(yōu)化的三維姿態(tài)和體型估計(jì)方法。對(duì)采集到的多視圖圖像使用目標(biāo)檢測(cè)網(wǎng)絡(luò)（Faster R-CNN）［31］裁剪出球員圖像，并且使用二維關(guān)節(jié)點(diǎn)檢測(cè)方法（Detectron2）［32］檢測(cè)球員的二維關(guān)節(jié)點(diǎn)，同時(shí)通過(guò)人工標(biāo)注方式對(duì)被遮擋和低分辨率圖像的二維關(guān)節(jié)點(diǎn)進(jìn)行修正。在此基礎(chǔ)上，利用SMPL 模型將球員的三維姿態(tài)和體型參數(shù)映射成對(duì)應(yīng)的二維關(guān)節(jié)點(diǎn)，使二維關(guān)節(jié)點(diǎn)與標(biāo)注值的差異最小化。本文主要貢獻(xiàn)如下：1）構(gòu)建了一個(gè)足球球員多視圖數(shù)據(jù)集；2）為增強(qiáng)立體感知，提出基于單視角和多視角聯(lián)合優(yōu)化的足球球員三維姿態(tài)和體型評(píng)估方法，利用單視角優(yōu)化縮小了三維模型與二維圖像之間的差異，采用多視角優(yōu)化統(tǒng)一了同一個(gè)球員的三維姿態(tài)和體型；3）通過(guò)實(shí)驗(yàn)證明了單-多視圖優(yōu)化方法生成的足球球員三維姿態(tài)和體型結(jié)果優(yōu)于對(duì)比方法。

1 相關(guān)工作

1.1 SMPL 模型

SMPL 模型［8］是一個(gè)參數(shù)化人體模型，提供的人體各部分參數(shù)的平均值是從大量的人體三維模型中學(xué)習(xí)而來(lái)的，這些人體模型具有不同的姿態(tài)并進(jìn)行了對(duì)齊操作。該模型使用的三維網(wǎng)格具有6 890 個(gè)頂點(diǎn)，并且可以通過(guò)一個(gè)可微的函數(shù)M(θ,β,γ)來(lái)表示，其中，姿態(tài)參數(shù)θ?R69表示23 個(gè)人體關(guān)節(jié)的旋轉(zhuǎn)角度，γ?R3表示人體在根節(jié)點(diǎn)上的整體旋轉(zhuǎn)角度，體型參數(shù)β?R10表示人體的主成分分析系數(shù)。同時(shí)，人體關(guān)節(jié)點(diǎn)的三維坐標(biāo)可以用一個(gè)線性函數(shù)來(lái)表示，其中的參數(shù)就是人體的姿態(tài)參數(shù)和體型參數(shù)。關(guān)節(jié)點(diǎn)的三維坐標(biāo)又可以通過(guò)正交投影變換為二維坐標(biāo)，從而使整個(gè)過(guò)程是可微的。因此，SMPL模型既可以用于基于優(yōu)化的方法，又可以用于基于學(xué)習(xí)的方法。

1.2 從游戲中生成的標(biāo)注

游戲行業(yè)發(fā)展非常迅速，目前游戲中提供的場(chǎng)景細(xì)節(jié)非常真實(shí)，被計(jì)算機(jī)視覺(jué)相關(guān)研究所應(yīng)用。RICHTER等［33］從《俠盜飛車(chē)5》中為25 000 張圖像生成了像素級(jí)別的語(yǔ)義分割標(biāo)注。同時(shí)，足球游戲也引起了研究人員的關(guān)注［34-35］，他們使用DirectX 工具從游戲中提取場(chǎng)景圖像對(duì)應(yīng)的深度圖。REMATAS等［35］提出一個(gè)對(duì)足球場(chǎng)景進(jìn)行三維重建的方法，但其中對(duì)于球員的重建僅由深度圖實(shí)現(xiàn)。然而，由低分辨率的深度圖轉(zhuǎn)換成點(diǎn)云后再增加三維表面而生成的人體三維模型通常會(huì)缺失人體被遮擋部件。

1.3 優(yōu)化技術(shù)

優(yōu)化技術(shù)是指尋找一種解決方案，使某些特定的參數(shù)最大化或者最小化。優(yōu)化技術(shù)可以應(yīng)用在很多領(lǐng)域，例如使生產(chǎn)產(chǎn)品的成本最小化而利潤(rùn)最大化、使研發(fā)新產(chǎn)品時(shí)所使用的原材料最小化或者使產(chǎn)能最大化。在深度神經(jīng)網(wǎng)絡(luò)中，優(yōu)化器是指可以更新神經(jīng)網(wǎng)絡(luò)的參數(shù)的算法，用于減少損失和提升精度。Adam 優(yōu)化器［36］對(duì)每個(gè)參數(shù)使用同一個(gè)學(xué)習(xí)率，這個(gè)學(xué)習(xí)率會(huì)隨著學(xué)習(xí)的進(jìn)行而產(chǎn)生自適應(yīng)的變化，同時(shí)利用動(dòng)量算法來(lái)融合梯度的歷史信息。Adam 優(yōu)化器可用于解決很多問(wèn)題，包括帶噪聲梯度的模型，并且其易于精調(diào)。

2 基于單-多視圖優(yōu)化的足球球員三維姿態(tài)和體型估計(jì)

在足球場(chǎng)景中足球運(yùn)動(dòng)員和足球本身都是小目標(biāo)，遮擋和不同角度下的姿態(tài)是普遍存在的，本文提出一種單視圖與多視圖聯(lián)合優(yōu)化的足球球員三維姿態(tài)和體型估計(jì)方法，總體框架如圖1 所示（彩色效果見(jiàn)《計(jì)算機(jī)工程》官網(wǎng)HTML 版，下同）。該方法包括5 個(gè)步驟：1）對(duì)球員的多視圖圖像使用Faster RCNN［31］裁剪出單 個(gè)球員；2）使用Detectron2［32］提取球員的二維關(guān)節(jié)點(diǎn)并對(duì)結(jié)果進(jìn)行人工標(biāo)注，得到標(biāo)注后的二維關(guān)節(jié)點(diǎn)；3）使用訓(xùn)練好的部分注意力回歸的三維人體估計(jì)模型（PARE）模型［22］產(chǎn)生初始的三維姿態(tài)和體型估計(jì)結(jié)果；4）使用SMPL 模型和標(biāo)注的二維關(guān)節(jié)點(diǎn)進(jìn)行單視圖優(yōu)化；5）使用多視圖優(yōu)化方法融合單視圖優(yōu)化結(jié)果，使融合后的結(jié)果投影生成的二維關(guān)節(jié)點(diǎn)與標(biāo)注的二維關(guān)節(jié)點(diǎn)在多個(gè)視圖上的差異最小化。

圖1 足球球員三維姿態(tài)和體型估計(jì)總體框架Fig.1 Overall framework of 3D pose and body shape estimation of soccer players

2.1 二維關(guān)節(jié)點(diǎn)提取

在獲取圖像的基礎(chǔ)上，選擇估計(jì)的三維人體模型在二維平面上投影的關(guān)節(jié)點(diǎn)與從圖像上標(biāo)注的人體二維關(guān)節(jié)點(diǎn)之間的差異作為優(yōu)化目標(biāo)。相對(duì)于稠密相關(guān)關(guān)系、剪影、人體部件和紋理坐標(biāo)，二維關(guān)節(jié)點(diǎn)相對(duì)容易標(biāo)注。二維關(guān)節(jié)點(diǎn)只需要確定16 個(gè)坐標(biāo)，而其他二維觀測(cè)值則要進(jìn)行像素級(jí)別的標(biāo)注。使用Detectron2［32］中的人體關(guān)節(jié)點(diǎn)循環(huán)神經(jīng)網(wǎng)絡(luò)提取球員的二維關(guān)節(jié)點(diǎn)，其中關(guān)節(jié)點(diǎn)的分布如圖2 所示。在關(guān)節(jié)點(diǎn)清晰可見(jiàn)的情況下，該方法能夠取得較好的效果，如果關(guān)節(jié)點(diǎn)被遮擋或者圖像較模糊，生成的結(jié)果則不一定準(zhǔn)確，例如圖像上只能看到球員的背面，球員面部的關(guān)節(jié)點(diǎn)有可能錯(cuò)位，圖像模糊時(shí)會(huì)把左腳和右腳上的關(guān)節(jié)點(diǎn)搞混。人工標(biāo)注方法可以利用經(jīng)驗(yàn)和多視圖融合來(lái)判斷關(guān)節(jié)點(diǎn)的位置，例如可以通過(guò)頭部的形狀確定鼻子和眼睛的位置，通過(guò)手臂的延伸確定手腕的位置，同時(shí)可以參考多視圖圖像來(lái)確定被遮擋關(guān)節(jié)點(diǎn)的正確位置，但是人工標(biāo)注方法需要大量的人力物力，且標(biāo)注速度慢，無(wú)法滿足大規(guī)模標(biāo)注的需求。

圖2 人體二維關(guān)節(jié)點(diǎn)示例Fig.2 Example of human body 2D joint points

2.2 單-多視圖優(yōu)化

首先，使用訓(xùn)練好的PARE 模型［22］生成SMPL 參數(shù)的初始估計(jì)，輸入為球員圖像，輸出為SMPL 參數(shù)和相機(jī)位姿參數(shù)。由于圖像裁剪時(shí)沒(méi)有使用固定的比例，因此需要對(duì)結(jié)果中的相機(jī)參數(shù)進(jìn)行優(yōu)化。因?yàn)槿梭w姿態(tài)參數(shù)的旋轉(zhuǎn)向量在歐幾里得空間上是不連續(xù)的，所以將其轉(zhuǎn)換成連續(xù)的六維旋轉(zhuǎn)表示［37］，以適應(yīng)接下來(lái)的優(yōu)化操作。假設(shè)攝像機(jī)始終對(duì)準(zhǔn)球員，攝像機(jī)的旋轉(zhuǎn)矩陣可以定義為單位矩陣，只需要考慮球員自身的旋轉(zhuǎn)。相機(jī)的位置參數(shù)P由一個(gè)3×1的向量（s，tx，ty）表示，其中，s代表縮放參數(shù)，tx和ty分別表示相機(jī)在x和y方向上的位移。初始估計(jì)的結(jié)果在圖像上的投影與實(shí)際的二維圖像會(huì)有差異，因此需要對(duì)初始估計(jì)的參數(shù)進(jìn)行優(yōu)化。

然后，利用單視圖優(yōu)化操作使人體三維模型關(guān)節(jié)點(diǎn)的二維投影與實(shí)際的二維關(guān)節(jié)點(diǎn)差異最小。在休息姿態(tài)下，人體模型的頂點(diǎn)可以定義如下：

其中：β表 示SMPL 的體型參數(shù)；|β|表示參 數(shù)的數(shù)量，這里取10；S表示人體模型頂點(diǎn)位移的正交主分量。

將休息姿態(tài)下的三維關(guān)節(jié)點(diǎn)定義如下：

將休息姿態(tài)下的三維關(guān)節(jié)點(diǎn)轉(zhuǎn)換為實(shí)際姿態(tài)下的三維關(guān)節(jié)點(diǎn)的函數(shù)定義如下：

其中：G表示剛性變換，根據(jù)姿態(tài)參數(shù)中的旋轉(zhuǎn)角度對(duì)每個(gè)關(guān)節(jié)點(diǎn)執(zhí)行相應(yīng)的旋轉(zhuǎn)操作。

最后，通過(guò)正交投影將三維關(guān)節(jié)點(diǎn)投影到圖像平面上生成預(yù)測(cè)的二維關(guān)節(jié)點(diǎn)J2pDre。優(yōu)化的目標(biāo)函數(shù)可以定義如下：

單視圖優(yōu)化使預(yù)測(cè)的二維關(guān)節(jié)點(diǎn)擬合實(shí)際觀測(cè)到的二維關(guān)節(jié)點(diǎn)，但是同一個(gè)球員在不同視圖上得到的姿態(tài)和體型參數(shù)是不一致的，這與同一名球員在不同視圖上具有相同的姿態(tài)和體型的事實(shí)相違背，因此需要多視圖優(yōu)化來(lái)融合多個(gè)視圖之間的信息。

受到三維模型投影到二維平面所產(chǎn)生的信息損失的影響，單視圖優(yōu)化的結(jié)果往往會(huì)過(guò)度擬合二維信息以取得更優(yōu)的得分，而多視圖優(yōu)化可以從多個(gè)視圖上恢復(fù)損失的三維信息，避免上述問(wèn)題。多視圖優(yōu)化的基礎(chǔ)是同一名球員在不同視圖上具有相同的姿態(tài)和體型。多視圖優(yōu)化將同一名球員在5 個(gè)視圖上的單視圖優(yōu)化結(jié)果的姿態(tài)和體型參數(shù)的平均值作為輸入，同時(shí)在多個(gè)視圖上擬合二維關(guān)節(jié)點(diǎn)，從而得到最優(yōu)的姿態(tài)和體型參數(shù)。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)集構(gòu)建

足球游戲《FIFA 21》在回放中可以調(diào)整到不同的視圖，其中電視視圖是游戲中經(jīng)常使用的視圖，攝像機(jī)沿足球場(chǎng)的邊界跟隨足球平行移動(dòng)。在現(xiàn)實(shí)中足球轉(zhuǎn)播的主要視圖是轉(zhuǎn)播視圖，攝像機(jī)位于足球場(chǎng)看臺(tái)中部，隨著足球的移動(dòng)而產(chǎn)生左右和上下的旋轉(zhuǎn)。《FIFA 21》中同時(shí)提供了環(huán)繞視圖，可以定位到單個(gè)目標(biāo)上，并且可以進(jìn)行放大、縮小和旋轉(zhuǎn)操作。在不同視圖下采集到的圖像如圖3 所示。

圖3 足球游戲《FIFA 21》中的不同視圖Fig.3 Different views in the soccer game FIFA 21

本文主要采集轉(zhuǎn)播視圖和環(huán)繞視圖的圖像。首先，從轉(zhuǎn)播視圖上采集球員圖像，從環(huán)繞視圖上對(duì)每名球員采集4 幅圖像，這4 幅圖像所選擇的角度是通過(guò)人工觀察來(lái)確定的，確保盡可能地觀測(cè)到手、腳和頭部，這樣場(chǎng)上的22 名球員共有88 幅圖像。然后，使用Faster R-CNN 方法［31］檢測(cè)圖像中的球員并標(biāo)注包圍框。最后，對(duì)轉(zhuǎn)播視圖和環(huán)繞視圖上的球員進(jìn)行配對(duì)，只保留在轉(zhuǎn)播視圖中出現(xiàn)的球員。

自建的足球球員多視圖數(shù)據(jù)集包含《FIFA 21》中的50 場(chǎng)歐洲冠軍聯(lián)賽，每場(chǎng)比賽截取5 個(gè)場(chǎng)景，共250 個(gè)場(chǎng)景，3 300 名球員。為了增加球員的多樣性，其中，30 場(chǎng)比賽使用的是原歐洲冠軍聯(lián)賽球隊(duì)，另外20 場(chǎng)比賽使用隨機(jī)的球隊(duì)。

在單視圖上對(duì)二維關(guān)節(jié)點(diǎn)使用均方根誤差（RMSE）作為評(píng)價(jià)指標(biāo)（該指標(biāo)越低，估計(jì)方法的性能越好），對(duì)剪影使用交并比（IoU）作為評(píng)價(jià)指標(biāo)（該指標(biāo)越高，估計(jì)方法的性能越好）。對(duì)于三維重建精度的度量，將單視圖姿態(tài)和體型估計(jì)結(jié)果應(yīng)用到其他視圖上進(jìn)行交叉驗(yàn)證。

3.2 二維關(guān)節(jié)點(diǎn)人工標(biāo)注

二維關(guān)節(jié)點(diǎn)檢測(cè)結(jié)果和人工標(biāo)注結(jié)果如圖4 所示，其中紅色方框標(biāo)注了檢測(cè)結(jié)果中的錯(cuò)誤。在圖4（a）中，從左到右分別為面部關(guān)節(jié)點(diǎn)錯(cuò)位、左右腳踝錯(cuò)位和手腕關(guān)節(jié)點(diǎn)錯(cuò)位，產(chǎn)生的原因分別為人臉正面不可見(jiàn)、圖像模糊和手腕被身體遮擋。在圖4（b）中，人工標(biāo)注根據(jù)經(jīng)驗(yàn)和多視圖圖像來(lái)判斷關(guān)節(jié)點(diǎn)的正確位置。

圖4 二維關(guān)節(jié)點(diǎn)檢測(cè)結(jié)果Fig.4 2D joint point detection results

3.3 三維姿態(tài)和體型初始估計(jì)

使用訓(xùn)練好的PARE 模型獲得球員的三維姿態(tài)和體型的初始估計(jì)，球員圖像和人體模型的差異如圖5所示。由圖5 可以看出，從二維圖像上通過(guò)基于學(xué)習(xí)的方法生成的人體模型在圖像平面上的投影與實(shí)際圖像存在明顯的偏移。這是由于數(shù)據(jù)集中球員圖像不但有人側(cè)身行走時(shí)的腿部姿態(tài)，而且還有將身體扭轉(zhuǎn)了一定的角度以便更好地觀察球場(chǎng)內(nèi)情況的姿態(tài)，而PARE模型僅考慮了腿部的姿態(tài)，忽略了手的位置。

圖5 三維姿態(tài)和體型的初始估計(jì)誤差Fig.5 Initial estimation error of 3D pose and body shape

3.4 單視圖優(yōu)化結(jié)果

單視圖優(yōu)化能較好地?cái)M合二維關(guān)節(jié)點(diǎn)，但是造成了三維信息的損失，而且單視圖優(yōu)化沒(méi)有考慮視圖之間的關(guān)系，使得一個(gè)視圖上的三維姿態(tài)和體型投影到其他視圖上時(shí)與實(shí)際圖像有很大的差異。圖6 展示了將其中一個(gè)視圖的結(jié)果應(yīng)用到其他視圖上的可視化差異，其中，第1 行為球員圖像，第2～5 行分別將單視圖的三維姿態(tài)和體型優(yōu)化結(jié)果應(yīng)用到所有其他視圖上。可以看出，生成的人體模型渲染圖像在本視圖（紅框）上幾乎與圖像完全重疊，而在其他視圖上則會(huì)有較大的差異。

圖6 單視圖優(yōu)化結(jié)果應(yīng)用到其他視圖上的差異比較Fig.6 Comparison of differences by applying single-view optimization results to other views

3.5 多視圖優(yōu)化結(jié)果

在進(jìn)行多視圖優(yōu)化時(shí)使用3 種不同的方法：1）使用初始估計(jì)結(jié)果在4 個(gè)視圖上進(jìn)行多視圖優(yōu)化；2）使用初始估計(jì)結(jié)果在5 個(gè)視圖上進(jìn)行多視圖優(yōu)化；3）使用單視圖優(yōu)化結(jié)果在5 個(gè)視圖上進(jìn)行多視圖優(yōu)化。實(shí)驗(yàn)先進(jìn)行單視圖優(yōu)化，再在所有視圖上進(jìn)行多視圖優(yōu)化取得最優(yōu)的效果，結(jié)果如表1 所示，其中最優(yōu)指標(biāo)值用加粗字體標(biāo)示。

表1 多視圖優(yōu)化結(jié)果Table 1 Results of multi-view optimization

3.6 與其他方法的比較

將所提方法與人體網(wǎng)格恢復(fù)（HMR）［13］、在循環(huán)中優(yōu)化SMPL（SPIN）［14］、PARE［22］和真實(shí)精確姿態(tài)和形狀的合成訓(xùn)練（STRAPS）［24］方法進(jìn)行比較，在單視圖上的比較結(jié)果如表2 所示，在多視圖上的比較結(jié)果如表3 所示，其中，STRAPS 方法［24］使用人體二維關(guān)節(jié)點(diǎn)和剪影作為輸入，其他方法使用彩色圖像作為輸入。由于統(tǒng)一了多個(gè)視圖上的姿態(tài)和體型，因此在單視圖和多視圖上的結(jié)果是一致的。

表2 所提方法與其他方法在單視圖上的比較Table 2 Comparison of the proposed method with other methods on single-view

表3 所提方法與其他方法在多視圖上的比較Table 3 Comparison of the proposed method with other methods on multi-views

圖7 展示了球員的三維姿態(tài)和體型的可視化結(jié)果，其中，第1～3 行為環(huán)繞視圖圖像，第4～6 為轉(zhuǎn)播視圖圖像。實(shí)驗(yàn)結(jié)果表明，多視圖優(yōu)化方法不僅提升了二維關(guān)節(jié)點(diǎn)和剪影的擬合度，同時(shí)將多個(gè)視圖中球員的三維姿態(tài)和體型進(jìn)行了統(tǒng)一，提高了三維重建精度。

圖7 所提方法與其他方法的可視化結(jié)果比較Fig.7 Comparison of visualization results of the proposed method with other methods

4 結(jié)束語(yǔ)

本文提出基于單-多視圖優(yōu)化的足球球員三維姿態(tài)和體型估計(jì)方法，利用參數(shù)化人體模型的可微性分別在單視圖和多視圖上融合了球員的二維關(guān)節(jié)點(diǎn)信息，使同一球員的三維姿態(tài)和體型在多個(gè)視圖上得到統(tǒng)一，同時(shí)從游戲中構(gòu)建一個(gè)足球球員多視圖數(shù)據(jù)集。在自建的足球球員多視圖數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，所提方法能從多視圖圖像中有效地估計(jì)球員的三維姿態(tài)和體型，相比于其他方法更能擬合圖像上的二維信息，提高了二維關(guān)節(jié)點(diǎn)的預(yù)測(cè)精度。但由于基于單-多視圖優(yōu)化的三維姿態(tài)和體型估計(jì)方法比較耗時(shí)，后續(xù)將在該方法的數(shù)據(jù)基礎(chǔ)上使用基于學(xué)習(xí)的方法來(lái)學(xué)習(xí)并建立足球球員三維姿態(tài)和體型估計(jì)模型，并將其應(yīng)用到真實(shí)的足球比賽場(chǎng)景中。