深度視頻下的人體動(dòng)作識(shí)別研究

邢蒙蒙，楊鋒，辛在海，魏國輝

1.中國康復(fù)研究中心 設(shè)備處，北京 100071；2.山東中醫(yī)藥大學(xué)附屬醫(yī)院 資產(chǎn)設(shè)備處，山東 濟(jì)南 250011；3.山東第一醫(yī)科大學(xué)第一附屬醫(yī)院 醫(yī)學(xué)工程部，山東 濟(jì)南 250000；4.山東中醫(yī)藥大學(xué) 智能與信息工程學(xué)院，山東 濟(jì)南 250300

引言

人體動(dòng)作識(shí)別（Human Action Recognition，HAR）的目的是確定人體動(dòng)作類別，以獲取人體行為信息，被廣泛應(yīng)用于視頻監(jiān)控[1]、生活輔助[2]、遠(yuǎn)程醫(yī)療[3]、機(jī)器人技術(shù)[4]等領(lǐng)域。HAR的研究一直是通過基于RGB視頻形式進(jìn)行動(dòng)作識(shí)別和分類，并建立了相關(guān)的動(dòng)作類別數(shù)據(jù)庫[5]。但攝像機(jī)在捕捉人體動(dòng)作數(shù)據(jù)的同時(shí)不可避免的會(huì)受到背景環(huán)境和外部光線的干擾，因此研究人員在基于RGB視頻實(shí)現(xiàn)動(dòng)作識(shí)別時(shí)首先要將人體與復(fù)雜的背景空間進(jìn)行分割或?qū)D像進(jìn)行預(yù)處理。RGB視頻數(shù)據(jù)僅能從單視圖和多視圖的角度實(shí)現(xiàn)人機(jī)交互，但單視圖的RGB視頻無法解決人體自身遮擋問題[6]。

隨著深度傳感器的發(fā)展，深度相機(jī)的出現(xiàn)解決了基于RGB視頻進(jìn)行人體動(dòng)作識(shí)別的弊端，同時(shí)深度數(shù)據(jù)具有以下特點(diǎn)：① 對(duì)光照強(qiáng)度不敏感，能夠不受活動(dòng)空間光線的干擾；② 僅記錄距離數(shù)據(jù)，因此在運(yùn)動(dòng)數(shù)據(jù)捕捉時(shí)不記錄人體的面部特征，能夠保護(hù)隱私；③ 深度數(shù)據(jù)可以后續(xù)處理為骨骼框架數(shù)據(jù)，方便進(jìn)一步的研究。此外，深度相機(jī)還有成本低、易操作等特點(diǎn)，所以基于深度視頻的人體動(dòng)作識(shí)別要優(yōu)于基于RGB視頻的人體動(dòng)作識(shí)別。研究人員基于深度視頻進(jìn)行人體動(dòng)作識(shí)別已進(jìn)行了大量的研究[7-10]。基于深度動(dòng)作的特征提取也做了大量的研究，如時(shí)空興趣點(diǎn)[11]、聯(lián)合軌跡圖（Joint trajectory map，JTM）[12]、3D點(diǎn)云[13]、骨骼關(guān)節(jié)[14]等方式。Ji等[15]提出將骨骼點(diǎn)信息嵌入到深度圖中，將人體劃分為不同的運(yùn)動(dòng)部分，通過局部時(shí)空縮放金字塔的方式來獲取人體不同運(yùn)動(dòng)部分的特征，同時(shí)引入了簡化的Fisher向量編碼方法，將粗糙特征聚合為具有統(tǒng)一形式的判別特征。Wang等[16]提出了對(duì)骨骼關(guān)節(jié)軌跡進(jìn)行編碼的方法，其將從深度相機(jī)中獲得3D骨架序列數(shù)據(jù)表示為3個(gè)2D圖像，并將動(dòng)態(tài)信息轉(zhuǎn)換JTM，采用了CNN學(xué)習(xí)識(shí)別人類動(dòng)作的區(qū)別性特征。Mutabazi等[17]將視頻轉(zhuǎn)換為幀圖像，利用物體的顏色和運(yùn)動(dòng)信息的組合來獲得區(qū)域物體，使用背景扣除方法提取前景對(duì)象，以及提取直方圖定向漸變特征，最后使用多類支持向量機(jī)作為分類的分類器，在Weizmann dataset數(shù)據(jù)集上獲得了96.88%的準(zhǔn)確率。

深度學(xué)習(xí)在分類識(shí)別領(lǐng)域具有強(qiáng)大的分類識(shí)別性能，大量研究者開始應(yīng)用深度學(xué)習(xí)來實(shí)現(xiàn)HAR，如Jalal等[18]通過顏色和強(qiáng)度變化來分割人體輪廓，從顏色關(guān)節(jié)和深度輪廓信息中獲得時(shí)空特征，并處理分化特征，在MSE Action3D dataset和IM-Daily Depth Activity dataset上分別達(dá)到了88.9%和66.7%的準(zhǔn)確率。Kamel等[19]提出了一種使用CNN從深度圖像和姿勢數(shù)據(jù)中識(shí)別人類動(dòng)作的方法，使用不同的數(shù)據(jù)集分別訓(xùn)練3個(gè)CNN頻道，第1通道使用深度運(yùn)動(dòng)圖像訓(xùn)練，第2通道使用深度運(yùn)動(dòng)圖像和運(yùn)動(dòng)關(guān)節(jié)描述符一起訓(xùn)練，第3通道使用移動(dòng)關(guān)節(jié)描述符進(jìn)行訓(xùn)練，最后實(shí)現(xiàn)3個(gè)CNN通道融合得到最終的動(dòng)作分類結(jié)果。Arif等[20]提出了一個(gè)3D-CNN和長短期記憶網(wǎng)絡(luò)（Long Short-Term Memory Network，LSTM）結(jié)合的新框架，通過使用深度3D-CNN將視頻中信息整合到運(yùn)動(dòng)圖中，生成整個(gè)視頻的運(yùn)動(dòng)圖，使用線性加權(quán)融合方案將網(wǎng)絡(luò)特征圖融合為時(shí)空特征，在UCF101和HDMB51 benchmark datasets數(shù)據(jù)集上分別達(dá)到了92.9%和70.1%的準(zhǔn)確率。雖然深度動(dòng)作序列的特征提取方法很多，但是不同類別的動(dòng)作持續(xù)時(shí)間不同，且不同的個(gè)體展示不同的動(dòng)作持續(xù)時(shí)間也不同。所以在進(jìn)行動(dòng)作識(shí)別時(shí)，計(jì)算機(jī)的計(jì)算效率也會(huì)降低，并要求強(qiáng)大的分類模型來應(yīng)對(duì)不同長度的輸入數(shù)據(jù)。基于此，本研究對(duì)深度視頻數(shù)據(jù)進(jìn)行數(shù)據(jù)處理，提出借助CNN網(wǎng)絡(luò)作為特征提取器來提取其深度特征，使用分類器模型進(jìn)行動(dòng)作識(shí)別，以期為臨床醫(yī)生提供標(biāo)準(zhǔn)化的數(shù)據(jù)。

1 材料與方法

1.1 數(shù)據(jù)集介紹

在動(dòng)作識(shí)別中，德州大學(xué)達(dá)拉斯分校多模態(tài)人類動(dòng)作數(shù)據(jù)集UTD-MHAD數(shù)據(jù)集[21]被廣泛用于檢驗(yàn)識(shí)別算法，UTD-MHAD數(shù)據(jù)集同時(shí)采用Microsoft Kinect傳感器和可穿戴式慣性傳感器在室內(nèi)環(huán)境中進(jìn)行人體動(dòng)作捕捉。數(shù)據(jù)集內(nèi)包括RGB視頻序列、深度視頻序列、骨骼關(guān)節(jié)位置序列和慣性傳感器信號(hào)序列4個(gè)模態(tài)的數(shù)據(jù)。采集了包含8名受試者（女性4名、男性4名）執(zhí)行的27個(gè)動(dòng)作，動(dòng)作類型包括運(yùn)動(dòng)動(dòng)作、手勢、日常動(dòng)作和訓(xùn)練練習(xí)4種類型。每名受試者重復(fù)每個(gè)動(dòng)作4次。除去3個(gè)損壞的樣本后，數(shù)據(jù)集包含861個(gè)數(shù)據(jù)序列，數(shù)據(jù)集的27種動(dòng)作類別如表1所示。圖1中給出了深度視頻序列和RGB視頻序列的關(guān)鍵幀圖像對(duì)比，由圖1可知，深度視頻能夠同RGB視頻一樣記錄數(shù)據(jù)同時(shí)能夠模糊人體紋理信息。

圖1 RGB視頻序列（a）與深度視頻序列（b）對(duì)比

表1 UTD-MHAD數(shù)據(jù)集中的27種動(dòng)作

1.2 深度視頻序列處理

1.2.1 深度運(yùn)動(dòng)歷史圖

深度視頻序列記錄的時(shí)間跨度較大，且不可避免地會(huì)有冗余信息，因此直接對(duì)深度視頻序列進(jìn)行分類識(shí)別不僅計(jì)算量大，準(zhǔn)確率也不高。而將深度視頻序列處理成MHI的形式，不僅能夠有效提高運(yùn)算效率而且能夠提高準(zhǔn)確率。MHI是在運(yùn)動(dòng)能量圖（Motion Energy Image，MEI）[22]基礎(chǔ)上的改進(jìn)，都是一種基于視覺的灰度圖像。MHI能夠?qū)z測目標(biāo)的運(yùn)動(dòng)變化情況以不同的亮度展示在圖像中，MHI是利用幀間差分法實(shí)現(xiàn)將運(yùn)動(dòng)目標(biāo)與復(fù)雜背景的分離，與基于光流的分隔算法相比，具有較強(qiáng)的穩(wěn)定性。

假設(shè)H為MHI中的強(qiáng)度值，Hτ(x,y,z)可以由更新函數(shù)（1）計(jì)算得出。

式中，(x,y)和t代表當(dāng)前像素點(diǎn)的位置和時(shí)間數(shù)據(jù)；τ為持續(xù)時(shí)間，決定了MHI中運(yùn)動(dòng)的持續(xù)時(shí)間；δ為衰退參數(shù)，若MHI中的像素值沒有發(fā)生變化則該點(diǎn)的灰度值減少δ；取值一般設(shè)為1。Ψ(x,y,t)為更新函數(shù)，在本文中應(yīng)用基于幀間差法的定義方式，計(jì)算方式如公式（2）所示。

式中，I(x,y,t)為視頻序列第t幀坐標(biāo)(x,y)像素點(diǎn)的強(qiáng)度值；Δ為兩幀圖像間的距離；ξ為差異閾值，可以根據(jù)不同的視頻場景而人為調(diào)整大小。

圖2給出了不同參數(shù)的MHI效果，從圖2中可以看出，差異閾值ξ，取值為0.05時(shí)，得到的MHI則會(huì)出現(xiàn)雜亂的噪點(diǎn)，則獲得的圖像無法區(qū)分前景和背景；取值為0.4時(shí)，MHI中的像素強(qiáng)度值較小的部分則會(huì)消失，圖像中損失部分動(dòng)作信息。當(dāng)τ值取20時(shí)，則無法獲得完整的目標(biāo)人體的動(dòng)作軌跡，τ值取60時(shí)，動(dòng)作軌跡的強(qiáng)度變化一致，進(jìn)而無法從圖中獲得動(dòng)作軌跡的先后順序，圖像中損失了動(dòng)作的時(shí)序信息。本文經(jīng)過實(shí)驗(yàn)選取了最佳的參數(shù)為δ=1，ξ=0.2，τ=40，此時(shí)可獲得有價(jià)值的動(dòng)作軌跡信息，如圖3所示，動(dòng)作發(fā)生時(shí)間越早灰度值越高越接近于黑色背景，人體發(fā)生動(dòng)作部位的運(yùn)動(dòng)軌跡的輪廓都被保留了下來，說明本文選取的參數(shù)使MHI中動(dòng)作軌跡信息和人體輪廓信息很好的保留。

圖2 不同參數(shù)設(shè)置MHI對(duì)比

圖3 部分動(dòng)作樣本MHI展示

1.2.2 偽彩色編碼

偽彩色編碼主要是將灰度圖像轉(zhuǎn)換成彩色圖像。目前應(yīng)用最廣泛的偽彩色編碼方法有密度分割法、濾波法以及灰度級(jí)的彩色變換。本文中應(yīng)用的偽彩色編碼是基于灰度級(jí)的彩色變換，首先設(shè)定RGB三色通道的變換函數(shù)，見公式（3）～（5）。

式中，R(x,y)、G(x,y)、B(x,y)分別表示紅、綠、藍(lán)3種色的亮度值，f(x,y)表示對(duì)應(yīng)灰度圖像上像素點(diǎn)(x,y)處的灰度值，TR、TG、TB為映射函數(shù)。偽彩色編碼如公式（6）所示。

圖4給出了對(duì)深度歷史圖進(jìn)行彩虹編碼前后效果對(duì)比圖，由圖4可見，經(jīng)過偽彩色處理之后的圖像對(duì)動(dòng)作軌跡細(xì)節(jié)表現(xiàn)力更強(qiáng)。

圖4 偽彩色編碼前（a）和偽彩色處理后（b）效果圖

2 實(shí)驗(yàn)分析

2.1 深度特征向量提取及選擇

2012年 AlexNet[23]在 ILSVRC（ImageNet Large-Scale Visual Recognition Challenge）比賽中以80.2%的top-5識(shí)別率取得了冠軍，證明了卷積神經(jīng)網(wǎng)絡(luò)在圖像分類中的有效性，CNN開始廣泛應(yīng)用于計(jì)算機(jī)視覺領(lǐng)域的分類識(shí)別中。CNN并不適用于小數(shù)據(jù)集的圖像分類中，但是可以借助CNN作為黑匣子提取圖像的深度特征向量。

本文利用AlexNet網(wǎng)絡(luò)提取深度運(yùn)動(dòng)歷史圖的深度特征向量，AlexNet是一個(gè)8層的CNN網(wǎng)絡(luò)，包括5個(gè)卷積層和3個(gè)全連接層，每個(gè)卷積層引進(jìn)了線性整流函數(shù)（Rectified Linear Unit，ReLU）代替Sigmoid作為激活函數(shù)，采用最大池化層（Max-Pooling）處理。輸入層輸入224×224×3的RGB圖像，最后全連接層輸出圖像的類別，AlexNet的卷積層利用固定維度的卷積核來提取圖像的局部感知信息，包括圖像的方向、梯度、顏色、頻率等特征向量，并通過多次卷積運(yùn)算最后形成有判別能力的深度特征向量。本文使用經(jīng)過預(yù)訓(xùn)練AlexNet網(wǎng)絡(luò)結(jié)構(gòu)作為MHI的特征提取器來提取深度特征向量。

本研究選取AlexNet網(wǎng)絡(luò)通過ImageNet數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練，最后AlexNet訓(xùn)練次數(shù)設(shè)置為1000，每批數(shù)據(jù)量大小設(shè)置為100，學(xué)習(xí)率設(shè)為0.00005，衰減率為0.1，優(yōu)化算法選擇Adam，最后提取AlexNet的fc6和fc7層特征作為深度特征向量。fc6和fc7層的深度特征向量的維度為4096維，特征提取過程如圖5所示。

圖5 AlexNet提取深度特征

2.2 分類模型構(gòu)建

本文使用UTD-MHAD數(shù)據(jù)集中的深度視頻序列作為動(dòng)作識(shí)別的樣本，本文將深度視頻序列生成MHI，并對(duì)其進(jìn)行偽彩色編碼，處理之后的圖像樣本70%作為訓(xùn)練集，用30%的樣本作為測試集。訓(xùn)練集用于訓(xùn)練分類器模型，測試集用于驗(yàn)證分類效果，分類器模型分類流程如圖6所示。本文所用的分類器模型包括支持向量機(jī)（Support Vector Machines，SVM）、k近鄰（k Nearest Neighbors，kNN）、隨機(jī)森林（Random Forest，RF）、極限學(xué)習(xí)機(jī)（Extreme Learning Machine，ELM）。SVM本質(zhì)上是將分類數(shù)據(jù)映射到一個(gè)更高維的向量空間，尋找一個(gè)最優(yōu)分類面進(jìn)行分類。kNN主要是通過判斷k個(gè)樣本中何種類別的樣本數(shù)最多，則該樣本便屬于此類。RF是將多個(gè)決策樹集成的一種算法。ELM本質(zhì)上是一個(gè)單隱層的神經(jīng)網(wǎng)絡(luò)。分類器分類的流程圖如圖6所示。

圖6 分類器分類流程圖

本實(shí)驗(yàn)在DELL Precision 5820，Inter(R) Core(TM)i9-9820X CPU，NVIDIA GeForce RTX 2080 Ti GPU，Windows 10，MATLAB R2019a環(huán)境下完成。

2.3 度量標(biāo)準(zhǔn)

本文為了評(píng)價(jià)分類算法的有效性采用準(zhǔn)確率（Precision，P）、召回率（Recall，R）和 F 值（F-measure，F(xiàn)）來進(jìn)行衡量，具體如公式（8）～（10）所示。

式中，TP代表被分類器正確分類的正樣本數(shù)；FP代表被分類器錯(cuò)誤分類為正樣本的負(fù)樣本數(shù)；FN為被分類器錯(cuò)誤分類為負(fù)樣本的正樣本數(shù)。此類評(píng)價(jià)標(biāo)準(zhǔn)最初應(yīng)用于樣本二分類中，但目前可以應(yīng)用到多分類器的評(píng)估中。

2.4 實(shí)驗(yàn)結(jié)果分析

為使分類器模型達(dá)到最好的分類結(jié)果，還需對(duì)上述診斷模型的參數(shù)進(jìn)行設(shè)置。其中，SVM分類器模型通過10倍交叉驗(yàn)證得到泛化誤差是0.1256。kNN分類器中最優(yōu)k值為5，ELM隱含層的節(jié)點(diǎn)個(gè)數(shù)為3500。RF參數(shù)選擇105層。最終SVM、kNN、RF、ELM以及AlexNet網(wǎng)絡(luò)等實(shí)驗(yàn)結(jié)果如表2所示，分類器使用fc6層的特征分類效果普遍要優(yōu)于fc7層，SVM、kNN、ELM使用fc6層的特征進(jìn)行分類準(zhǔn)確率均在80%以上，不同分類器分類結(jié)果對(duì)比顯示在ELM上分類效果最好，fc6分類準(zhǔn)確率達(dá)到了90.02%，每個(gè)動(dòng)作的統(tǒng)計(jì)度量結(jié)果如表3所示，由表3可以看出，本文方法在UTDMHAD數(shù)據(jù)集上獲得了較高的準(zhǔn)確率，僅有少數(shù)動(dòng)作由于類間相似性類別分錯(cuò)，度量結(jié)果顯示本文提出的方法分類性能良好，具有一定的魯棒性。

表2 不同分類器分類準(zhǔn)確率對(duì)比（±s）

表2 不同分類器分類準(zhǔn)確率對(duì)比（±s）

分類器 特征層 準(zhǔn)確率/%kNN fc6 82.78±2.75 fc7 79.33±2.79 RF fc6 76.16±1.91 fc7 77.52±2.37 SVM fc6 89.67±2.46 fc7 83.42±2.83 ELM fc6 90.02±1.8 fc7 84.52±2.86

表3 ELM分類器統(tǒng)計(jì)度量結(jié)果

2.5 對(duì)比分析

為了進(jìn)一步驗(yàn)證本文所提方法的有效性，選擇應(yīng)用同一數(shù)據(jù)集UTD-MHAD進(jìn)行人體動(dòng)作識(shí)別的文獻(xiàn)進(jìn)行對(duì)比，三種分類方法準(zhǔn)確率對(duì)比如表4所示。通過分類結(jié)果對(duì)比，本文所提方法比3DHOT-MBC識(shí)別方法的準(zhǔn)確率高5.61%，并遠(yuǎn)高于數(shù)據(jù)集提出者的Kinect識(shí)別方法，表明本文的方法分類準(zhǔn)確率較高，具有一定的可行性。

表4 不同方法的對(duì)比結(jié)果

3 討論與結(jié)論

HAR一直是計(jì)算機(jī)視覺領(lǐng)域的研究熱點(diǎn)，現(xiàn)在越來越多的應(yīng)用在醫(yī)療康復(fù)鍛煉領(lǐng)域，但基于普通RGB視頻進(jìn)行人體動(dòng)作識(shí)別難以保護(hù)患者的隱私，本文提出了一種基于深度視頻序列的人體動(dòng)作識(shí)別方式，使用UTD-MHAD數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，在預(yù)處理階段，通過將深度視頻序列灰度化處理轉(zhuǎn)化為MHI來表征整個(gè)深度視頻序列的動(dòng)作信息，并對(duì)MHI進(jìn)行偽彩色編碼來增強(qiáng)圖像的細(xì)節(jié)信息，與前人研究中[11-14]采用傳統(tǒng)特征來進(jìn)行特征提取不同，本文選擇借助AlexNet作為特征提取器來提取MHI的特征，將AlexNet的fc6和fc7層特征作為深度特征向量，并使用RF、KNN、ELM、SVM作為分類器模型進(jìn)行動(dòng)作識(shí)別。結(jié)果表明，本文提出的方法能夠在ELM分類器上取得了90.02%的準(zhǔn)確率，對(duì)比Kinect[21]和3DHOT-MBC[24]方法分別高出了23.91%和5.61%的準(zhǔn)確率，說明本文利用CNN網(wǎng)絡(luò)提取的深度特征更具代表性，能夠更大程度保留動(dòng)作類別的特征信息，提高動(dòng)作識(shí)別的準(zhǔn)確率。本實(shí)驗(yàn)基于深度視頻進(jìn)行人體動(dòng)作識(shí)別取得了較高的準(zhǔn)確率，而且借助深度視頻在識(shí)別過程中保護(hù)了被識(shí)別動(dòng)作人的面部紋理信息，最大程度上保護(hù)了人的隱私，能夠應(yīng)用在醫(yī)療康復(fù)鍛煉領(lǐng)域?qū)崿F(xiàn)無監(jiān)督鍛煉及健康監(jiān)護(hù)。

但本研究仍存在一定的局限性，深度相機(jī)的監(jiān)控范圍有一定的限制，同時(shí)人體活動(dòng)空間范圍較廣，無法實(shí)現(xiàn)全方位的健康監(jiān)護(hù)。基于單一模態(tài)人體動(dòng)作識(shí)別一直無法取得較高的準(zhǔn)確率，僅用單一模態(tài)的動(dòng)作捕捉方式并不適用于所有的人體活動(dòng)范圍，所以利用多模態(tài)信息融合進(jìn)行動(dòng)作識(shí)別將是未來的研究方向。同時(shí)在未來的研究中，將探索識(shí)別更復(fù)雜以及不同運(yùn)動(dòng)程度的人體動(dòng)作，并進(jìn)行臨床康復(fù)跟蹤實(shí)驗(yàn)，以期將本文提出的方法應(yīng)用于健康監(jiān)護(hù)、無監(jiān)督鍛煉中。