基于關(guān)節(jié)空時(shí)特征融合的人體行為識(shí)別

呂 潔，李洪奇，趙艷紅，Sikandar Ali，劉艷芳

(1.中國(guó)石油大學(xué)(北京) 石油數(shù)據(jù)挖掘北京市重點(diǎn)實(shí)驗(yàn)室，北京 102249；2.中國(guó)石油大學(xué)(北京) 信息科學(xué)與工程學(xué)院，北京 102249)

0 引 言

人體行為識(shí)別屬于智能監(jiān)控中難度最大的核心模塊，因此人體行為的分析識(shí)別研究已成為當(dāng)務(wù)之急，對(duì)提升社區(qū)居民的生活質(zhì)量起著積極作用。基于計(jì)算機(jī)視覺(jué)的人體行為識(shí)別是將包含人體行為動(dòng)作的視頻按照所屬的類(lèi)型加上相應(yīng)的標(biāo)簽。如何獲取有效的興趣點(diǎn)或者興趣區(qū)域來(lái)表征行為是基于機(jī)器視覺(jué)的人體行為識(shí)別的關(guān)鍵點(diǎn)；如何在存在遮擋等環(huán)境干擾的情況下進(jìn)行有效的行為分類(lèi)是基于機(jī)器視覺(jué)的人體行為識(shí)別的難點(diǎn)。根據(jù)行為表征的方式不同，人體行為識(shí)別研究可以分為兩類(lèi)：基于全局信息表征的人體行為識(shí)別[1,2]和基于特定信息表征的人體行為識(shí)別[3-6]。但是，智能監(jiān)控系統(tǒng)中，通過(guò)監(jiān)控視頻獲取人體的全局信息存在相當(dāng)大的難度，基于特定信息表征的方法更適用。

1 相關(guān)研究

基于全局信息表征的人體行為識(shí)別方法通常采用全局特征來(lái)表征描述圖像中的人體區(qū)域。Clawson等[1]將光流特征與一組人體運(yùn)動(dòng)特征相結(jié)合用于行為識(shí)別，Vishwakarma等[2]通過(guò)使用梯度的邊緣空間分布以及像素的方向變化計(jì)算平均能量圖像來(lái)表示人類(lèi)行為活動(dòng)，在低噪聲環(huán)境下的效果較好，否則識(shí)別準(zhǔn)確率就會(huì)明顯下降。

基于特定信息表征的行為識(shí)別方法則是不需要提取人體全局特征，直接對(duì)局部興趣特征進(jìn)行分析。Mckenna等[3]提出使用空間時(shí)間興趣點(diǎn)和定向梯度特征的直方圖之間的融合識(shí)別一種攻擊性的人類(lèi)行為，分類(lèi)精度值達(dá)到82.26%。Kim等[4]的方法創(chuàng)建一個(gè)行為模板集，其中包含具有縮放和旋轉(zhuǎn)不變屬性的加權(quán)人體關(guān)節(jié)數(shù)據(jù)，Mei等[5]根據(jù)空間的不變性，計(jì)算各個(gè)結(jié)構(gòu)向量之間的關(guān)節(jié)角度的角速度,再通過(guò)支持向量機(jī)對(duì)關(guān)鍵幀進(jìn)行分類(lèi)，特征計(jì)算都較為復(fù)雜。Song等[6]提出了一個(gè)端到端的空間和時(shí)間關(guān)注模型，用于從骨架數(shù)據(jù)中識(shí)別人類(lèi)行為。這種基于人體骨架信息的人體行為識(shí)別方法能夠有效進(jìn)行動(dòng)作識(shí)別，但沒(méi)有充分提取人體骨架運(yùn)動(dòng)信息。

綜上所述，為了能更有效描述人體行為，同時(shí)解決實(shí)際場(chǎng)景中難以獲取人體全局信息的問(wèn)題，本文提出一種魯棒的、將空域信息與時(shí)域信息相融合的人體行為描述方法，并使用KPCA-XGBoost分類(lèi)器在公開(kāi)的且具有挑戰(zhàn)性的數(shù)據(jù)集上進(jìn)行評(píng)估，算法流程如圖1所示。

圖1 算法流程

2 基于關(guān)節(jié)空時(shí)融合特征的人體行為表示

人體行為表征是人體行為識(shí)別的第一步也是至關(guān)重要的一步，有效的行為特征表示可以提升行為分類(lèi)的準(zhǔn)確性。常用的人體行為識(shí)別特征可分為兩類(lèi)：全局特征和局部特征。全局特征包括人體的邊緣特征，剪影輪廓，光流信息等。全局特征信息含量豐富，但對(duì)環(huán)境噪聲、視角變化以及遮擋非常敏感。局部特征則是提取人體相對(duì)獨(dú)立的單元或者感興趣部位的圖像塊(例如，人體關(guān)節(jié))進(jìn)行分析。局部特征不依賴(lài)底層的人體定位和分割，對(duì)噪聲和遮擋都不敏感，但計(jì)算復(fù)雜度較高。考慮本研究是針對(duì)具有時(shí)序性的視頻數(shù)據(jù)進(jìn)行分析，在選擇關(guān)節(jié)空域信息這種局部特征的同時(shí)，融合時(shí)域特征以獲得更具區(qū)別度的特征向量，用于人體行為識(shí)別。

2.1 人體行為建模

人體骨架可由18個(gè)關(guān)鍵點(diǎn)表征，因此本文利用人體骨架信息對(duì)動(dòng)作行為進(jìn)行建模。圖2(a)為18個(gè)關(guān)鍵點(diǎn)的分布圖，自底向上依次為踝關(guān)節(jié)(節(jié)點(diǎn)10和13)、膝關(guān)節(jié)(節(jié)點(diǎn)9和12)、髖關(guān)節(jié)(節(jié)點(diǎn)8和11)、腕關(guān)節(jié)(節(jié)點(diǎn)4和7)、肘關(guān)節(jié)(節(jié)點(diǎn)3和6)、肩關(guān)節(jié)(節(jié)點(diǎn)2和5)，節(jié)點(diǎn)0為鼻子所在位置，剩下的4個(gè)節(jié)點(diǎn)則表示眼睛和耳朵所在位置。

圖2 人體主要關(guān)節(jié)及關(guān)鍵點(diǎn)

考慮到實(shí)際場(chǎng)景中眼睛和耳朵目標(biāo)過(guò)小容易誤檢，同時(shí)降低特征的冗余度，本文選擇前14個(gè)關(guān)節(jié)點(diǎn)作為人體行為的底層特征數(shù)據(jù)，對(duì)已切割的行為的動(dòng)態(tài)過(guò)程建模，實(shí)現(xiàn)不同類(lèi)別的行為識(shí)別。圖2(b)為本文所觀測(cè)的人體主要關(guān)節(jié)點(diǎn)的位置分布圖。

2.2 空時(shí)融合特征

對(duì)于不同的行為動(dòng)作，人體的各個(gè)關(guān)節(jié)位置以及相應(yīng)的運(yùn)動(dòng)狀態(tài)都各不相同，任何一種行為動(dòng)作都是一個(gè)包含空間信息和時(shí)間信息的序列。在基于關(guān)節(jié)空域信息的人體行為識(shí)別過(guò)程中，每個(gè)行為均可表示為一個(gè)包含若干個(gè)人體關(guān)節(jié)點(diǎn)位置信息的序列，不同的行為具有不同的時(shí)域長(zhǎng)度，故序列長(zhǎng)度不盡相同。眾所周知，人體的每一種行為都需要經(jīng)歷起承轉(zhuǎn)合的不同階段，每個(gè)階段人體的關(guān)節(jié)點(diǎn)相對(duì)位置均不同，對(duì)于行為判別的重要程度也不同。據(jù)此本文使用固定長(zhǎng)度為L(zhǎng)的時(shí)間窗將所有的行為序列分成N個(gè)階段，從中篩選出起始階段、關(guān)鍵階段、結(jié)束階段。每個(gè)階段稱(chēng)為一個(gè)狀態(tài)(Stage)，表示特定時(shí)間內(nèi)的行為特征，則每個(gè)行為包含3個(gè)狀態(tài)。每個(gè)關(guān)節(jié)點(diǎn)位置數(shù)據(jù)包含水平和豎直兩個(gè)方向上的坐標(biāo)信息(x,y)，本文使用Pk代表第k個(gè)關(guān)節(jié)點(diǎn)的位置信息

Pk=[xk,yk]T

(1)

其中，k∈{0,1,2,…,13}。 對(duì)于任意階段中的第i幀圖像，人體行為的二維空域特征可表示為

Fi=[P0,P1,…,P13]T

(2)

其中，i∈{0,1,…,L}。 每個(gè)動(dòng)作狀態(tài)包含L幀圖像，定義如下所示的狀態(tài)矩陣表征在狀態(tài)j下的行為空域特征

Sj=[F0,F1,…,FL]T

(3)

人體行為不僅可在時(shí)域上進(jìn)行重要性劃分，在空域上同樣存在關(guān)鍵關(guān)節(jié)點(diǎn)集合。顯然，一些行為只與人體的部分關(guān)節(jié)點(diǎn)組成的集合相關(guān)，這些特定關(guān)節(jié)點(diǎn)集合在行為動(dòng)作發(fā)生期間的運(yùn)動(dòng)狀態(tài)變化明顯。圖3是扔垃圾的行為分解圖示。由圖觀察發(fā)現(xiàn)，扔垃圾的行為主要跟肩膀，手肘和手腕這些關(guān)節(jié)點(diǎn)組成的集合密切相關(guān)，這幾處重要關(guān)節(jié)點(diǎn)在行為發(fā)生的不同階段表現(xiàn)出不同的運(yùn)動(dòng)狀態(tài)。因此，本文將人體關(guān)節(jié)的空域信息與時(shí)域信息相融合構(gòu)建人體行為的空時(shí)融合特征用于人體行為識(shí)別，提高識(shí)別算法的準(zhǔn)確率。

圖3 扔垃圾行為分解

為了尋找出每個(gè)行為動(dòng)作中最重要的關(guān)節(jié)點(diǎn)集合，在將行為分解為3個(gè)主要階段的基礎(chǔ)上，本文對(duì)每種狀態(tài)下的連續(xù)L幀圖像中的人體關(guān)節(jié)點(diǎn)求運(yùn)動(dòng)速度，將連續(xù)L幀的速度均值作為該狀態(tài)下的各個(gè)關(guān)節(jié)點(diǎn)運(yùn)動(dòng)狀態(tài)。因此，任意狀態(tài)下的人體關(guān)節(jié)點(diǎn)運(yùn)動(dòng)狀態(tài)可表示為

Vj=[v0,v1,v2,…,v13]T

(4)

將式(4)中的速度向量與式(3)中的行為空域特征進(jìn)行融合，生成用于人體行為識(shí)別的空時(shí)融合特征。對(duì)于任意一種行為的任意一個(gè)狀態(tài)，其空時(shí)融合特征Aj可表示為

Aj=[ST,VT]T

(5)

該融合特征亦可表示為

Aj=[F0,F1,…,FL,Vj]T

(6)

3 基于KPCA-XGBoost的人體行為分類(lèi)

本文利用OpenPose[7]獲取二維骨架信息作為人體行為識(shí)別的底層數(shù)據(jù)，通過(guò)上述的特征提取方法對(duì)該數(shù)據(jù)進(jìn)行處理生成空時(shí)融合特征向量用于行為識(shí)別。顯然，基于空時(shí)融合特征向量的人體行為識(shí)別問(wèn)題對(duì)應(yīng)于模式識(shí)別中最常見(jiàn)的多分類(lèi)問(wèn)題。考慮到本文提取的空時(shí)融合特征向量已經(jīng)丟失掉成千上萬(wàn)的像素信息，因此使用機(jī)器學(xué)習(xí)的多分類(lèi)算法即可解決，無(wú)需再使用端到端的復(fù)雜網(wǎng)絡(luò)模型[8]。

3.1 特征分析

人體行為是一個(gè)包含若干個(gè)人體關(guān)節(jié)點(diǎn)位置信息的序列，兼具空間特征屬性和時(shí)間特征屬性。利用OpenPose[9]提取的關(guān)節(jié)點(diǎn)數(shù)據(jù)僅僅代表了每一幀圖像中人體各個(gè)關(guān)節(jié)點(diǎn)在圖像中所處的位置信息，缺乏時(shí)間屬性，并且關(guān)節(jié)點(diǎn)數(shù)據(jù)存在稀疏問(wèn)題，并不能直接表征人體行為。本文提出的空時(shí)融合特征向量是一個(gè)336維的高維向量，對(duì)高維數(shù)據(jù)進(jìn)行迭代計(jì)算會(huì)增大距離計(jì)算難度，耗費(fèi)大量的內(nèi)存空間和時(shí)間開(kāi)銷(xiāo)，最終導(dǎo)致識(shí)別系統(tǒng)的實(shí)時(shí)性能降低，因此需要對(duì)數(shù)據(jù)做進(jìn)一步的處理。圖4中的圖(a)和圖(b)分別為數(shù)據(jù)樣本點(diǎn)在二維空間和三維空間的分布圖。本文通過(guò)對(duì)稀疏輸入進(jìn)行縮放操作來(lái)緩解樣本數(shù)據(jù)的稀疏性問(wèn)題、對(duì)縮放后的數(shù)據(jù)進(jìn)行降維操作來(lái)緩解維數(shù)危機(jī)。

針對(duì)本文出現(xiàn)的特征數(shù)據(jù)維度過(guò)高的問(wèn)題，我們嘗試在實(shí)驗(yàn)過(guò)程中使用主成分分析(principal component analysis，PCA)對(duì)其進(jìn)行維度縮減，圖4(c)為進(jìn)行PCA處理后的樣本點(diǎn)分布圖。

顯然，對(duì)于表征人體行為特征的高維稀疏矩陣，PCA這樣的線性數(shù)據(jù)處理方式找不到一個(gè)恰當(dāng)?shù)牡途S嵌入，需要進(jìn)行非線性映射。圖4(d)給出了經(jīng)過(guò)核主成分分析(kernel principal component analysis，KPCA)處理后的樣本點(diǎn)分布圖。對(duì)于一個(gè)新樣本x，利用核主成分分析將其投影到超平面W上，則其第j維坐標(biāo)可表示為

(7)

3.2 XGBoost算法分類(lèi)特征數(shù)據(jù)

在實(shí)踐中使用的機(jī)器學(xué)習(xí)算法中，梯度樹(shù)提升[10](gradient tree boosting，GTB)是一種在眾多應(yīng)用場(chǎng)景中都很流行的算法。XGBoost算法[11,12]是GTB算法的一種變體，它在GTB算法目標(biāo)函數(shù)的基礎(chǔ)上增加了對(duì)回歸樹(shù)復(fù)雜度進(jìn)行懲罰的正則項(xiàng)，使得學(xué)習(xí)生成的模型更加不容易過(guò)擬合。對(duì)于稀疏數(shù)據(jù)的處理，XGBoost算法使用稀疏感知這種全新的樹(shù)節(jié)點(diǎn)分裂方法較快地學(xué)習(xí)出默認(rèn)的節(jié)點(diǎn)分裂方向。

結(jié)合本研究的實(shí)際情況，本文采用XGBoost算法作為人體行為識(shí)別系統(tǒng)中的分類(lèi)算法，對(duì)坐下、扔垃圾、拿起這3種日常行為動(dòng)作進(jìn)行分類(lèi)。根據(jù)此算法的分類(lèi)結(jié)果，可以對(duì)上述3種行為動(dòng)作進(jìn)行有效識(shí)別。在利用KPCA算法對(duì)空時(shí)融合特征進(jìn)行降維處理后，使用XGBoost算法對(duì)特征數(shù)據(jù)進(jìn)行訓(xùn)練，生成分類(lèi)模型對(duì)3種日常行為動(dòng)作進(jìn)行分類(lèi)。

對(duì)于一個(gè)具有M個(gè)樣本、N種屬性、H個(gè)類(lèi)別的數(shù)據(jù)集D={(X0,y0),(X1,y1),…,(XM,yM)}(Xj∈RN,yj∈{0,1,2,…,H})，XGBoost算法首先利用具有I棵樹(shù)的集成樹(shù)模型對(duì)該數(shù)據(jù)集建模，則模型的輸出可表示為

(8)

圖4 樣本點(diǎn)空間分布

其中，G={g(X)=ωq(X)}(q∶RN→T,ω∈RT) 為回歸樹(shù)空間，q表示每棵樹(shù)的結(jié)構(gòu)，T表示樹(shù)中葉子的數(shù)量。每個(gè)gi對(duì)應(yīng)一個(gè)葉子權(quán)重為ω，樹(shù)結(jié)構(gòu)為q的獨(dú)立分類(lèi)樹(shù)。為了學(xué)習(xí)得到模型中使用的函數(shù)集合，需最小化目標(biāo)損失函數(shù)L

(9)

(10)

使用二階泰勒展開(kāi)式進(jìn)行近似逼近

(11)

將式(11)中的常數(shù)項(xiàng)消除，對(duì)目標(biāo)損失函數(shù)進(jìn)行化簡(jiǎn)

(12)

令集合Sk={j|q(Xj)=k} 表示葉子節(jié)點(diǎn)k的實(shí)例集合，將目標(biāo)函數(shù)中的正則化項(xiàng)展開(kāi)，則目標(biāo)函數(shù)可表示為

(13)

將樹(shù)的結(jié)構(gòu)q(x) 固定，可計(jì)算出權(quán)重更新值和損失函數(shù)值

(14)

4 實(shí)驗(yàn)結(jié)果分析與比較

4.1 數(shù)據(jù)集和實(shí)驗(yàn)設(shè)置

本文在以下兩個(gè)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)：Multiview Action 3D[13]數(shù)據(jù)集以及NTU RGB+D[14]數(shù)據(jù)集。

Multiview Action 3D數(shù)據(jù)集(MA-3D)：Multiview Action 3D數(shù)據(jù)集是用3臺(tái)Kinect相機(jī)從不同角度拍攝的多視角三維事件數(shù)據(jù)集。該數(shù)據(jù)集包含拿起，丟棄垃圾，坐下，站起來(lái)等10種單人行為動(dòng)作。每個(gè)動(dòng)作分別由10位不同的人執(zhí)行。圖5(a)～圖5(d)給出了幾類(lèi)行為的圖像樣本。

NTU RGB+D數(shù)據(jù)集(NTU)：NTU RGB+D數(shù)據(jù)集是目前最大的行為識(shí)別數(shù)據(jù)集，共56 880個(gè)視頻序列，包含60個(gè)類(lèi)別的行為數(shù)據(jù)，例如舉手、合掌等。該數(shù)據(jù)集可以分為Cross-Subject和Cross-View兩部分,本文使用NTU Cross-View(NTU-CV)這部分。圖5(e)～圖5(h)給出了幾類(lèi)行為的圖像樣本。

圖5 數(shù)據(jù)集中幾種行為樣圖

實(shí)現(xiàn)細(xì)節(jié)：實(shí)驗(yàn)過(guò)程中，通過(guò)對(duì)數(shù)據(jù)集中的行為視頻長(zhǎng)度進(jìn)行分析，本文采用時(shí)間長(zhǎng)度為3的時(shí)間窗將行為動(dòng)作過(guò)程分為3個(gè)階段。因此，對(duì)于一個(gè)完整的人體行為視頻，通過(guò)上述的特征提取方式可生成一個(gè)336維的特征向量，此向量同時(shí)包含了空域特征和時(shí)域特征。通過(guò)對(duì)比實(shí)驗(yàn)發(fā)現(xiàn)，對(duì)336維的原始特征數(shù)據(jù)進(jìn)行L2范數(shù)正則化，可以突出部分特征，提高特征向量的辨識(shí)度，改善了實(shí)驗(yàn)結(jié)果。因此，實(shí)驗(yàn)中本文對(duì)提取的空時(shí)融合特征向量均進(jìn)行L2范數(shù)正則化處理。

4.2 可視化空時(shí)融合特征

為了驗(yàn)證本文提出的空時(shí)融合特征的有效性和魯棒性，我們分別在MA-3D和NTU-CV數(shù)據(jù)集上將其與利用OpenPose提取的原始數(shù)據(jù)進(jìn)行對(duì)比，如圖6和圖7所示。根據(jù)特征可視化結(jié)果可以看出原始數(shù)據(jù)具有很大的相似性，區(qū)分力比較小。本文在MA-3D數(shù)據(jù)集上分別采用兩種特征數(shù)據(jù)進(jìn)行對(duì)比實(shí)驗(yàn)，發(fā)現(xiàn)基于空時(shí)融合特征的人體行為識(shí)別準(zhǔn)確率更高，見(jiàn)表1。這是因?yàn)樵紨?shù)據(jù)是由人體18個(gè)關(guān)鍵點(diǎn)位置信息組成的集合，而實(shí)際上在行為分類(lèi)過(guò)程中使用的監(jiān)督信息僅是一些核心關(guān)節(jié)點(diǎn)組成的子集，引入被不同行為所共有的特征數(shù)據(jù)會(huì)對(duì)實(shí)驗(yàn)造成干擾，降低行為間的區(qū)分度。與原始數(shù)據(jù)相比，空時(shí)融合特征數(shù)據(jù)突出了一個(gè)完整行為序列中的關(guān)鍵序列以及核心關(guān)節(jié)點(diǎn)集合，降低了數(shù)據(jù)冗余度的同時(shí)，提高了特征數(shù)據(jù)在不同類(lèi)別間的辨識(shí)度。

圖6 MA-3D數(shù)據(jù)集原始行為數(shù)據(jù)與空時(shí)融合特征數(shù)據(jù)可視化結(jié)果

圖7 NTU數(shù)據(jù)集原始行為數(shù)據(jù)與空時(shí)融合特征數(shù)據(jù)可視化結(jié)果

表1 各種方法在MA-3D數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果比較

4.3 實(shí)驗(yàn)結(jié)果分析

為了驗(yàn)證KPCA-XGBoost識(shí)別算法的有效性，我們將本文所述的方法與其它基于人體骨架信息的行為識(shí)別算法相比較，表1和表2分別給出了在兩種數(shù)據(jù)集上不同方法的表現(xiàn)。實(shí)驗(yàn)結(jié)果表明：在MA-3D數(shù)據(jù)集上，采用KPCA-XGBoost算法進(jìn)行人體行為特征分類(lèi)，準(zhǔn)確率達(dá)到94.52%，優(yōu)于Nguyen等[15]提出的PCA-SVM算法。在NTU-CV數(shù)據(jù)集上，與幾種先進(jìn)的行為識(shí)別算法相比，本文提出的行為特征分類(lèi)算法亦表現(xiàn)更佳。

圖8為在MA-3D數(shù)據(jù)集上采用KPCA-XGBoost算法對(duì)空時(shí)融合特征進(jìn)行分類(lèi)生成的混淆矩陣。從混淆矩陣可以發(fā)現(xiàn)，對(duì)于實(shí)驗(yàn)的3個(gè)行為類(lèi)別，坐下的行為識(shí)別率最高，扔和撿兩個(gè)行為的識(shí)別率稍差，二者容易混淆。實(shí)際上，“扔”和“撿”這兩類(lèi)動(dòng)作的核心關(guān)節(jié)點(diǎn)組成的集合存在交集，3個(gè)主要行為階段中的部分關(guān)節(jié)點(diǎn)運(yùn)動(dòng)狀態(tài)非常相似，容易導(dǎo)致分類(lèi)錯(cuò)誤。

表2 各種方法在NTU-CV數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果比較

圖8 本文方法在Multiview Action 3D數(shù)據(jù)庫(kù)上的混淆矩陣

5 結(jié)束語(yǔ)

全面考慮實(shí)際場(chǎng)景中的行為識(shí)別問(wèn)題，本文給出了基于人體骨架的空時(shí)特征融合方法，利用KPCA-XGBoost分類(lèi)算法進(jìn)行人體行為特征的分類(lèi)。該方法與前人的算法對(duì)比表明，空時(shí)融合特征能更有效表征不同的行為序列，使用KPCA-XGBoost算法對(duì)該特征進(jìn)行分類(lèi)，在MA-3D數(shù)據(jù)集上準(zhǔn)確率達(dá)到94.52%。該算法具有較低的時(shí)間復(fù)雜度以及較高的準(zhǔn)確率，適用于實(shí)際場(chǎng)景中的單人行為識(shí)別。未來(lái)工作的方向是將嘗試將此方法用于人體交互行為(例如，打架)識(shí)別上，使得該模型對(duì)于不同類(lèi)別的人體行為泛化能力更強(qiáng)。