基于感知器網(wǎng)絡(luò)的太極拳關(guān)鍵動(dòng)作識(shí)別算法

孫瑞陽 孫玉濱 段煉 趙藍(lán)飛

【摘要】? ? 本文提出一種基于感知器網(wǎng)絡(luò)的太極拳關(guān)鍵動(dòng)作識(shí)別算法。首先通過背景差分法對(duì)于太極拳運(yùn)動(dòng)員目標(biāo)進(jìn)行檢測(cè)。其次設(shè)計(jì)一個(gè)多層感知器網(wǎng)絡(luò)用于識(shí)別太極拳關(guān)鍵動(dòng)作。最后構(gòu)建一個(gè)太極拳關(guān)鍵動(dòng)作數(shù)據(jù)集，根據(jù)梯度下降法得到感知器網(wǎng)絡(luò)的最優(yōu)權(quán)重估計(jì)。

【關(guān)鍵詞】? ? 太極拳關(guān)鍵動(dòng)作識(shí)別? ? 感知器網(wǎng)絡(luò)? ? 背景差分法

Abstract：? This paper proposes a Taijiquan key action recognition algorithm based on perceptron network. Firstly， background subtraction is employed to detect Taijiquan player. Secondly， a multilayer perceptron network is designed to recognize Taijiquan key action. Finally， a data set of Taijiquan key action is established and the optimal weight is estimated by gradient descent method.

Keywords： Taijiquan key action recognition; perceptron network; background subtraction

引言

雖然太極拳運(yùn)動(dòng)在中國具有非常重要的地位，但是具有主觀性質(zhì)的打分評(píng)分機(jī)制制約了太極拳運(yùn)動(dòng)無法躋身為世界主流體育競(jìng)技項(xiàng)目之列。為了實(shí)現(xiàn)通過計(jì)算機(jī)對(duì)于太極拳運(yùn)動(dòng)進(jìn)行自動(dòng)評(píng)分，首要問題是設(shè)計(jì)一種太極拳關(guān)鍵動(dòng)作的自動(dòng)識(shí)別算法，這種太極拳關(guān)鍵動(dòng)作識(shí)別算法可以根據(jù)太極拳比賽視頻自動(dòng)識(shí)別運(yùn)動(dòng)員所做的關(guān)鍵動(dòng)作。為了完成太極拳關(guān)鍵動(dòng)作識(shí)別這一目的，本文提出一種基于感知器網(wǎng)絡(luò)的太極拳關(guān)鍵動(dòng)作識(shí)別算法。該算法由三部分構(gòu)成：首先通過背景差分法檢測(cè)出運(yùn)動(dòng)員所在位置。其次設(shè)計(jì)一個(gè)感知器網(wǎng)絡(luò)，該感知器網(wǎng)絡(luò)根據(jù)運(yùn)動(dòng)員目標(biāo)區(qū)域的亮度、對(duì)比度、色彩信息這三類特征識(shí)別太極拳關(guān)鍵動(dòng)作名稱。最后本文構(gòu)建一個(gè)已知標(biāo)簽的太極拳關(guān)鍵動(dòng)作圖像數(shù)據(jù)集，通過梯度下降法得到感知器網(wǎng)絡(luò)最優(yōu)參數(shù)估計(jì)。實(shí)驗(yàn)結(jié)果驗(yàn)證本文算法可以有效地識(shí)別太極拳關(guān)鍵動(dòng)作。

一、本文算法

1.1? 基于幀間差分法的運(yùn)動(dòng)員目標(biāo)檢測(cè)算法

為了檢測(cè)運(yùn)動(dòng)員出現(xiàn)的位置，本文對(duì)太極拳比賽視頻逐幀進(jìn)行基于背景差分[1]的目標(biāo)檢測(cè)算法，進(jìn)而完成運(yùn)動(dòng)員定位與檢測(cè)任務(wù)。運(yùn)動(dòng)目標(biāo)檢測(cè)算法的原理框圖如圖1所示：

本文選取太極拳競(jìng)賽視頻中的相鄰10幀圖像的亮度平均值作為背景圖像，再利用當(dāng)前幀和背景圖像相減。若所得到的像素?cái)?shù)大于閾值，則判定被監(jiān)視場(chǎng)景中具有運(yùn)動(dòng)員目標(biāo)，再利用目標(biāo)二值化方法并得到運(yùn)動(dòng)員目標(biāo)。其中背景減除法如式（1）所示：

其中自變量t表示當(dāng)前時(shí)刻視頻幀數(shù)，自變量u表示與當(dāng)前幀數(shù)相距10幀之內(nèi)的某一個(gè)幀數(shù)。C（t）表示背景減除結(jié)果。對(duì)當(dāng)前幀進(jìn)行背景減除后，還需對(duì)背景模型進(jìn)行更新，其更新方法為在計(jì)算t+1幀的背景減除運(yùn)算時(shí)，應(yīng)從t-9幀開始累加直至第t幀結(jié)束。t+1的背景減除法如式（2）所示：

1.2? 基于多層感知器網(wǎng)絡(luò)的太極拳關(guān)鍵動(dòng)作識(shí)別算法

太極拳關(guān)鍵動(dòng)作識(shí)別算法共包含兩個(gè)步驟：首先根據(jù)前述運(yùn)動(dòng)員目標(biāo)檢測(cè)結(jié)果識(shí)別出運(yùn)動(dòng)員身體的關(guān)鍵部位，例如頭部、頸關(guān)節(jié)、肩關(guān)節(jié)、肘關(guān)節(jié)、手腕、髖關(guān)節(jié)、膝關(guān)節(jié)、腳腕等。其次，根據(jù)已識(shí)別身體關(guān)鍵部位的相對(duì)位置判別遠(yuǎn)動(dòng)員所做動(dòng)作名稱。根據(jù)這一思路，本文設(shè)計(jì)一個(gè)具有輸入層、輸出層、一個(gè)隱藏層的多層感知器網(wǎng)絡(luò)，用于識(shí)別太極拳關(guān)鍵動(dòng)作。可以識(shí)別三種太極拳動(dòng)的作多層感知器網(wǎng)絡(luò)[2～4]結(jié)構(gòu)圖如圖2所示。

輸入層是網(wǎng)絡(luò)的入口，輸入層根據(jù)空間位置將單幀圖像分割為多個(gè)圓形區(qū)域，并將這些區(qū)域的數(shù)字特征，即亮度、對(duì)比度、色彩按照像素的空間坐標(biāo)關(guān)系整合為一個(gè)特征矩陣，分別輸入到神經(jīng)網(wǎng)絡(luò)中。隱藏層對(duì)于各數(shù)字特征量進(jìn)行加權(quán)求和，根據(jù)結(jié)果判定某一圓形區(qū)域是否為人體關(guān)鍵部位。隱藏層的輸出傳遞到輸出層，輸出層對(duì)全部接收到的數(shù)字特征進(jìn)行加權(quán)求和，根據(jù)結(jié)果識(shí)別當(dāng)前幀對(duì)應(yīng)的太極拳關(guān)鍵動(dòng)作。

1.3? 構(gòu)建太極拳關(guān)鍵動(dòng)作圖像數(shù)據(jù)集

構(gòu)建多層感知器神經(jīng)網(wǎng)絡(luò)的一個(gè)主要問題是對(duì)每個(gè)神經(jīng)元上的加權(quán)求和的權(quán)重進(jìn)行最優(yōu)估計(jì)。針對(duì)這一問題，本文構(gòu)建了一個(gè)太極拳關(guān)鍵動(dòng)作圖像數(shù)據(jù)集，并通過人工標(biāo)注的方式為每個(gè)樣本標(biāo)注相應(yīng)的太極拳關(guān)鍵動(dòng)作名稱。該圖像數(shù)據(jù)集的部分樣本如圖3所示：

根據(jù)這一已知?jiǎng)幼髅Q的圖像數(shù)據(jù)集對(duì)于多層感知器神經(jīng)網(wǎng)絡(luò)進(jìn)行迭代式訓(xùn)練，并結(jié)合梯度下降法[5]即可得到每個(gè)神經(jīng)元上的權(quán)重最優(yōu)估計(jì)。

二、實(shí)驗(yàn)結(jié)果與分析

本文通過Matlab進(jìn)行算法仿真驗(yàn)證。實(shí)驗(yàn)采用的硬件平臺(tái)處理器是i5-10210U，內(nèi)存8G，顯卡GTX-1050。實(shí)驗(yàn)部分通過如圖3所示的數(shù)據(jù)集分別對(duì)Cao算法[6]，Georgakopoulos算法[7]以及本文算法所提出的網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，再利用已訓(xùn)練好的模型分別對(duì)太極拳比賽視頻進(jìn)行關(guān)鍵動(dòng)作識(shí)別。以上三種算法的識(shí)別結(jié)果評(píng)價(jià)指標(biāo)[8]如表1所示：

由表1可以本文算法可以有效地識(shí)別出太極拳關(guān)鍵動(dòng)作，且識(shí)別動(dòng)作的準(zhǔn)確率、召回率、精確率均高于同類算法。

三、結(jié)論

本文提出一種基于感知器網(wǎng)絡(luò)的太極拳關(guān)鍵動(dòng)作識(shí)別算法，用于識(shí)別太極拳比賽中運(yùn)動(dòng)員所做的關(guān)鍵動(dòng)作，并為未來的太極拳自動(dòng)評(píng)分系統(tǒng)提供數(shù)據(jù)基礎(chǔ)。本文算法由三部分構(gòu)成：首先，通過背景差分法對(duì)太極拳競(jìng)賽視頻中運(yùn)動(dòng)員位置進(jìn)行檢測(cè)和定位;其次，構(gòu)建一個(gè)多層感知器網(wǎng)絡(luò)，該網(wǎng)絡(luò)以前述背景差分法檢測(cè)出的運(yùn)動(dòng)員區(qū)域的亮度、對(duì)比度、色彩信息作為傳感器網(wǎng)絡(luò)的輸入特征，輸出該時(shí)刻運(yùn)動(dòng)員所做出的太極拳動(dòng)作名稱。最后，本文構(gòu)建了一個(gè)已知標(biāo)簽的太極拳動(dòng)作圖像數(shù)據(jù)集，通過該圖像數(shù)據(jù)集并結(jié)合梯度下降法從而對(duì)于感知器網(wǎng)絡(luò)中的權(quán)重進(jìn)行最優(yōu)估計(jì)，進(jìn)而完成感知器訓(xùn)練的工作。實(shí)驗(yàn)結(jié)果表明，本文算法識(shí)別太極拳關(guān)鍵動(dòng)作的準(zhǔn)確率、召回率、精確率高于現(xiàn)有算法，因此本文算法可以有效地識(shí)別太極拳關(guān)鍵動(dòng)作。

參? 考? 文? 獻(xiàn)

[1]茍娟迎. 基于背景差分法的運(yùn)動(dòng)目標(biāo)分割[J]. 工業(yè)控制計(jì)算機(jī)， 2013， 26（008）：36-37.

[2]莊鎮(zhèn)泉， 王熙法. 神經(jīng)網(wǎng)絡(luò)與神經(jīng)計(jì)算機(jī)：第一講 神經(jīng)網(wǎng)絡(luò)模型[J]. 電子技術(shù)應(yīng)用， 1990， 000（004）：39-43.

[3]許可. 卷積神經(jīng)網(wǎng)絡(luò)在圖像識(shí)別上的應(yīng)用的研究[D]. 浙江大學(xué)， 2012： 28.

[4]徐碩， 王洲. 基于紋理特征和神經(jīng)網(wǎng)絡(luò)的圖像識(shí)別[J]. 中國農(nóng)學(xué)通報(bào)， 2007， 023（009）： 590-594.

[5] Gonzalez R C， Woods R E. Digital image processing [M]. 3nd ed. Beijing： Publishing House of Electronics Industry， 2017： 497-502.

[6] Cao Z C， Zhang L. Key Pose Recognition toward Sports Scene using Deeply-Learned Model[J]. Journal of Visual Communication and Image Representation， 2019， 63：102571

[7] Georgakopoulos S V， Delibasis K K. Pose recognition using convolutional neural networks on omni-directional images[J]. Neurocomputing， 2018， 280（Mar.6）：23-31.

[8] Ullah H ， Bhuiyan M A S . Performance Evaluation of Feed Forward Neural Network for Image Classification[J]. Journal of ence and Technology， 2018， 10（1）： 141-147.