基于改進(jìn)GoogLeNet網(wǎng)絡(luò)的時(shí)空雙流乒乓球動(dòng)作識(shí)別

張傲 于洪霞

摘要：針對(duì)乒乓球運(yùn)動(dòng)視頻中人體動(dòng)作具有連續(xù)性，需要有效地提取時(shí)間維度上的運(yùn)動(dòng)信息，提出了基于改進(jìn)的GoogLeNet作為基礎(chǔ)網(wǎng)絡(luò)框架，搭建了時(shí)空雙流卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行乒乓球動(dòng)作識(shí)別。對(duì)GoogLeNet網(wǎng)絡(luò)進(jìn)行內(nèi)部參數(shù)優(yōu)化和網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)。該方法以RGB圖像作為空間網(wǎng)絡(luò)的輸入，光流圖作為時(shí)間網(wǎng)絡(luò)輸入，選擇加權(quán)的特征融合方式在分類層進(jìn)行時(shí)空特征融合。在UCF101中的乒乓球動(dòng)作視頻以及自制數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，通過實(shí)驗(yàn)表明，本文提出的乒乓球動(dòng)作識(shí)別方法最終識(shí)別準(zhǔn)確率可以達(dá)到98.88%，該方法提高模型的訓(xùn)練速度同時(shí)提高了模型的識(shí)別能力的。

關(guān)鍵詞：人體動(dòng)作識(shí)別;GoogleNet網(wǎng)絡(luò);雙流網(wǎng)絡(luò)

中圖分類號(hào)：TP311? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2021）33-0078-03

開放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

1 引言

隨著深度學(xué)習(xí)技術(shù)的日益成熟，基于深度學(xué)習(xí)的人體動(dòng)作識(shí)別廣泛受到國(guó)內(nèi)外研究學(xué)者的關(guān)注。運(yùn)動(dòng)類視頻中的技術(shù)動(dòng)作檢測(cè)是計(jì)算機(jī)視覺領(lǐng)域在體育方面的重要應(yīng)用，其中乒乓球運(yùn)動(dòng)其技術(shù)特點(diǎn)鮮明，對(duì)于單個(gè)人體動(dòng)作技術(shù)識(shí)別分類具有顯著優(yōu)勢(shì)。通過運(yùn)動(dòng)視頻中對(duì)雙方運(yùn)動(dòng)員動(dòng)作技術(shù)的識(shí)別分類，對(duì)運(yùn)動(dòng)員技術(shù)分析和戰(zhàn)術(shù)安排有著重要作用。因此基于深度學(xué)習(xí)的乒乓球人體動(dòng)作識(shí)別有著重要研究意義和應(yīng)用價(jià)值。

乒乓球運(yùn)動(dòng)的動(dòng)作識(shí)別其本質(zhì)屬于人體動(dòng)作識(shí)別分類范疇。卷積神經(jīng)網(wǎng)絡(luò)被引入到視頻領(lǐng)域進(jìn)行動(dòng)作識(shí)別。2014年，Karenx[1]等人首次提出了基于雙流神經(jīng)網(wǎng)絡(luò)的人體動(dòng)作識(shí)別方法，在ImageNet來進(jìn)行預(yù)訓(xùn)練，利用RGB單幀和光流圖訓(xùn)練雙流網(wǎng)絡(luò)，最后融合進(jìn)行動(dòng)作識(shí)別。2016年Wang等人[2]在經(jīng)典雙流網(wǎng)絡(luò)的基礎(chǔ)上，提出了時(shí)間段網(wǎng)絡(luò)（TSN），結(jié)合稀疏時(shí)間采樣策略與視頻監(jiān)督方法。2014年ILSVRC挑戰(zhàn)賽冠軍GoogLeNet網(wǎng)絡(luò)被提出，其在傳統(tǒng)深度卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上加入多個(gè)inception網(wǎng)絡(luò)模型的結(jié)構(gòu)。

對(duì)視頻中的人體動(dòng)作進(jìn)行識(shí)別一直是計(jì)算機(jī)視覺領(lǐng)域中具有挑戰(zhàn)性的研究，人體動(dòng)作識(shí)別除了需要提取圖像中外觀場(chǎng)景等空間信息外，有效地提取時(shí)間維度上的運(yùn)動(dòng)信息也很重要。因此本文結(jié)合雙流思想，構(gòu)建了基于雙流New GoogLeNet卷積神經(jīng)網(wǎng)絡(luò)的乒乓球動(dòng)作識(shí)別算法，并采用加權(quán)融合的策略將空間流提取的場(chǎng)景特征和時(shí)間流提取的運(yùn)動(dòng)特征進(jìn)行特征融合[3]，從而提高了模型的泛化能力和乒乓球動(dòng)作識(shí)別的準(zhǔn)確率。

2 時(shí)空雙流卷積網(wǎng)絡(luò)模型構(gòu)建

雙流New GoogleNet網(wǎng)絡(luò)的結(jié)構(gòu)可以分為空間流和時(shí)間流這兩種通道。雙流卷積神經(jīng)網(wǎng)絡(luò)比傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)優(yōu)勢(shì)在于，其對(duì)視頻數(shù)據(jù)中時(shí)間信息特征的捕捉更加清晰且高效。對(duì)于單幀RGB的空間信息一般主要表達(dá)出的特征為事物的坐標(biāo)位置以及固定場(chǎng)景，而對(duì)于時(shí)間信息中，在多個(gè)光流幀的連續(xù)運(yùn)動(dòng)形式下可以傳遞出更多的目標(biāo)連續(xù)動(dòng)作信息。空間流和時(shí)間流兩個(gè)通道都應(yīng)用同一網(wǎng)絡(luò)對(duì)特征圖像進(jìn)行訓(xùn)練，隨后通過時(shí)空特征融合實(shí)現(xiàn)動(dòng)作識(shí)別。

2.1 GqoogLeNet網(wǎng)絡(luò)

GoogLeNet是由Christian Szegedy于2014年提出的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)。GoogleNet不同于之前的網(wǎng)絡(luò)AlexNet[4]、VGG16[5]（通過增大網(wǎng)絡(luò)的深度來獲得更好的訓(xùn)練效果），而GoogLeNet不但加深網(wǎng)絡(luò)深度同時(shí)還拓寬了網(wǎng)絡(luò)的寬度。Inception作為GoogLeNet網(wǎng)絡(luò)中最核心的結(jié)構(gòu)，在Inception中將單一卷積核改變?yōu)榫矸e核配合池化層并用的模式，其中的卷積核為三組并行卷積核（1*1，3*3，5*5），池化層為單個(gè)池化層。且每路在卷積操作之前或者池化操作之后都緊跟著一個(gè)1*1的卷積操作。可以在相同的尺寸的感受視野中疊加更多的卷積，能夠提取更豐富的特征，1*1的卷積還能達(dá)到降維的效果，降低了計(jì)算的復(fù)雜度，提升了網(wǎng)絡(luò)的性能。因此本文針對(duì)乒乓球動(dòng)作識(shí)別選取GoogLeNet網(wǎng)絡(luò)作為基礎(chǔ)網(wǎng)絡(luò)進(jìn)行改進(jìn)。

2.2 GoogLeNet網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)

本文對(duì)GoogLeNet網(wǎng)絡(luò)從Inception模塊內(nèi)部?jī)?yōu)化、批量歸一化算法選擇、激活函數(shù)的選擇、引入Dropout以及在分類層中選擇改進(jìn)后的AM-softmax分類器等方面進(jìn)行內(nèi)部參數(shù)優(yōu)化和網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)。其中對(duì)于網(wǎng)絡(luò)中Inception模塊的結(jié)構(gòu)改進(jìn)最為重要。

GoogLeNet網(wǎng)絡(luò)結(jié)構(gòu)分別在淺層中加入Inception3模塊，中層Inception4模塊，以及深層Inception5模塊，其中原始網(wǎng)絡(luò)結(jié)構(gòu)中對(duì)于該模塊結(jié)構(gòu)進(jìn)行統(tǒng)一設(shè)定相同結(jié)構(gòu)。由于加入的Inception模塊擁有著較大的卷積核，導(dǎo)致參數(shù)過大。因此本文將原有傳統(tǒng)的淺層的Inception3模塊進(jìn)行了適當(dāng)?shù)慕Y(jié)構(gòu)優(yōu)化。將淺層的Inception3刪除5*5的卷積核，增加3*3卷積核的通道數(shù)，同時(shí)將3*3改成3*1和1*3，使計(jì)算速度更快速。

在改進(jìn)了淺層的Inception3模塊之后，中層的Inception4模塊進(jìn)行更大的結(jié)構(gòu)改進(jìn)，由于中層模塊對(duì)于特征提取相對(duì)于淺層更加重要，因此要保留完整的卷積操作使特征提取更加顯著的同時(shí)加快計(jì)算速度。先將原有傳統(tǒng)的中層Inception4模塊結(jié)構(gòu)中5*5大小的卷積核進(jìn)行改進(jìn)。將兩個(gè)3*3大小的卷積核依次連接所組成的新的卷積層小網(wǎng)絡(luò)取代原有的大卷積核結(jié)構(gòu)。同樣對(duì)中層Inception 4模塊結(jié)構(gòu)中兩個(gè)離輸出圖形更近的3*3大小的卷積核使用3*1和1*3兩種卷積核串行來代替。隨后將模塊中的濾波器組進(jìn)行擴(kuò)展，使得網(wǎng)絡(luò)結(jié)構(gòu)更寬而不是更深，這樣減少維度，使神經(jīng)網(wǎng)絡(luò)的性能會(huì)更好，較適合于乒乓球運(yùn)動(dòng)人體細(xì)微動(dòng)作幅度這樣的高維特征。因此在計(jì)算速度更快的同時(shí)，調(diào)整以后模型的準(zhǔn)確率相比之前更高。

對(duì)于深層的Inception5結(jié)構(gòu)，本文保留該模型的原來結(jié)構(gòu)，因?yàn)樵诰W(wǎng)絡(luò)的深層中卷積核的空間集中性會(huì)下降，相對(duì)較大的卷積核提取的特征較為抽象，因此適合應(yīng)用于網(wǎng)絡(luò)的深層。

2.3參數(shù)選擇及優(yōu)化

（1）選擇CN批歸一化。改進(jìn)后的Inception網(wǎng)絡(luò)結(jié)構(gòu)在每個(gè)卷積操作之后將統(tǒng)一進(jìn)行CN批歸一化，CN歸一化方法可以更好的避免梯度消失等問題。相對(duì)于原有的BN歸一化的泛化性會(huì)更加的強(qiáng)。

（2）選擇激活函數(shù)。在淺層網(wǎng)絡(luò)中選擇Leaky-Relu激活函數(shù)，中層后選擇ELU激活函數(shù)，從而以結(jié)合優(yōu)秀的激活函數(shù)來達(dá)到更高準(zhǔn)確率的目的。

（3）引入Dropout層并選擇最優(yōu)比例。通過最大值池化操作后依次進(jìn)入改進(jìn)的兩個(gè)淺層Inception3模塊，結(jié)構(gòu)優(yōu)化后的5個(gè)中層Inception4模塊，以及兩個(gè)擁有較大卷積核的高層Inception5模塊，隨后進(jìn)行了全局的平均池化，在全連接層引入Dropout層選擇最優(yōu)的Dropout比例為0.5。

（4）通過AM-Softmax分類器對(duì)特征圖像進(jìn)行分類輸出。由于該分類器對(duì)于不同動(dòng)作特征的類間距更大，類內(nèi)距更小，因此選擇基于Softmax進(jìn)行算法改進(jìn)的AM-Softmax分類器運(yùn)用于乒乓球動(dòng)作識(shí)別，使局部動(dòng)作分類效果更佳顯著顯。

以上對(duì)于GoogLeNet網(wǎng)絡(luò)進(jìn)行改進(jìn)后的New GoogLeNet網(wǎng)絡(luò)相對(duì)于原有的基礎(chǔ)網(wǎng)絡(luò)的性能更加優(yōu)化。

2.4時(shí)空特征融合設(shè)計(jì)

本文對(duì)于視頻中乒乓球運(yùn)動(dòng)的動(dòng)作識(shí)別所選擇的時(shí)空融合策略進(jìn)行設(shè)計(jì)，選取在分類層的融合方式進(jìn)行特征融合。雙流網(wǎng)絡(luò)分類層的融合方式是在經(jīng)過全連接層之后在后期的分類層中進(jìn)行特征融合。前期過程應(yīng)用改進(jìn)NewGoogLeNet神經(jīng)網(wǎng)絡(luò)對(duì)單幀RGB圖像和堆疊的光流圖像進(jìn)行處理，雙流網(wǎng)絡(luò)分別提取運(yùn)動(dòng)視頻中的空間特征和時(shí)間特征，并且兩個(gè)網(wǎng)絡(luò)間進(jìn)行權(quán)值共享，在NewGoogLeNet網(wǎng)絡(luò)中經(jīng)過卷積、池化、全連接層等操作后，在分類層將兩流的特征進(jìn)行融合。該方法在兩個(gè)網(wǎng)絡(luò)間加入權(quán)值參數(shù)共享的方式可以增強(qiáng)兩種不同特征在參數(shù)學(xué)習(xí)時(shí)的相互聯(lián)系，同時(shí)也降低訓(xùn)練成本。在網(wǎng)絡(luò)的后期進(jìn)行融合主要原因是考慮RGB圖像和光流圖像間的獨(dú)立性，對(duì)于時(shí)空雙流的各自特點(diǎn)分別進(jìn)行更明確的提取。

本文采用加權(quán)融合法在分類層進(jìn)行特征融合。對(duì)于加權(quán)融合方法，可以表示為將空間特征和時(shí)間特征定義不同權(quán)重分配后進(jìn)行相加和。對(duì)于特征融合使用加權(quán)融合方法將時(shí)間流網(wǎng)絡(luò)和空間流網(wǎng)絡(luò)進(jìn)行融合，加權(quán)融合權(quán)重比例為時(shí)間：空間=6：4，融合時(shí)機(jī)選擇在分類層進(jìn)行融合。

3實(shí)驗(yàn)設(shè)計(jì)與結(jié)果對(duì)比分析

3.1乒乓球數(shù)據(jù)集建立

本文的實(shí)驗(yàn)數(shù)據(jù)集為UCF101公開數(shù)據(jù)集以及自制乒乓球數(shù)據(jù)集。UCF101數(shù)據(jù)集中乒乓球運(yùn)動(dòng)類視頻有143個(gè)，自制數(shù)據(jù)集為109個(gè)，所有視頻內(nèi)容包括大量的乒乓球持拍對(duì)打，視頻中角度多樣，光照信息場(chǎng)景信息變化多樣，視頻的像素較低，且視頻長(zhǎng)度較短。根據(jù)本文對(duì)于乒乓球技術(shù)特點(diǎn)的分析要求，將短視頻劃分為四個(gè)類別：（1）正手攻球（2）反手攻球（3）正手搓球（4）反手搓球。本文所用的UCF101數(shù)據(jù)集以及自制乒乓球數(shù)據(jù)集分別將視頻數(shù)據(jù)格式通過分幀處理成RGB格式，以及通過Lucas-Kanade算法進(jìn)行光流圖像處理。

3.2實(shí)驗(yàn)步驟

本文實(shí)驗(yàn)仿真部分在tensoflow平臺(tái)上進(jìn)行實(shí)驗(yàn)驗(yàn)證，網(wǎng)絡(luò)的訓(xùn)練實(shí)驗(yàn)在UCF101數(shù)據(jù)集及自制數(shù)據(jù)集上進(jìn)行，空間流網(wǎng)絡(luò)的輸入為T=5幀的RGB圖像。時(shí)間流網(wǎng)絡(luò)的輸入為連續(xù)疊加L=10的光流圖像。在網(wǎng)絡(luò)訓(xùn)練中迭代批量大小每次為100個(gè)，動(dòng)量設(shè)置0.9。本次實(shí)驗(yàn)總共進(jìn)行了60輪epoch，網(wǎng)絡(luò)迭代到18000次時(shí)，網(wǎng)絡(luò)停止訓(xùn)練。

3.3實(shí)驗(yàn)結(jié)果對(duì)比

綜上所述，使用加權(quán)融合方法按權(quán)重比例時(shí)間：空間=6：4將時(shí)間流網(wǎng)絡(luò)的運(yùn)動(dòng)特征和空間流網(wǎng)絡(luò)的場(chǎng)景特征在后期AM-Softmax分類層時(shí)進(jìn)行融合后，此時(shí)特征融合雙流New GoogLeNet卷積神經(jīng)網(wǎng)絡(luò)的乒乓球動(dòng)作識(shí)別的平均準(zhǔn)確率達(dá)到了98.88%，損失函數(shù)值為0.4523。識(shí)別率高于其他網(wǎng)絡(luò)模型。

4 結(jié)論

本文提出的時(shí)空特征融合的雙流New Googlenet卷積神經(jīng)網(wǎng)絡(luò)的乒乓球人體技術(shù)動(dòng)作識(shí)別有效地加快了模型的訓(xùn)練速度，提高了模型的識(shí)別能力以及泛化能力。

參考文獻(xiàn)：

[1] Simonyan K， Zisserman A. Two-stream convolutional networks for action recognition in videos[C]//Advances in neural information processing systems，2014：568-576.

[2] Wang L， Xiong Y， Wang Z， et al. Temporal segment networks： Towards good practices for deep action recognition[C]//European Conference on Computer Vision，2016：20-36.

[3] 王嬋娟.利用特征融合的行為識(shí)別方法研究[D].贛州：江西理工大學(xué)，2018.

[4] You Y，Zhang Z，Hsieh C J et al.100-epoch ImageNet Training with AlexNet in 24 Minutes[J].Journal of Jinggangshan University，2016，33（6）：1020-1026.

[5] Simonyan K，Zisserman A.Very Deep Convolutional Networks for Large-Scale Image Recognition[J]. Computer Science，2014，36（1）：231-235.

【通聯(lián)編輯：梁書】

＼