基于雙層分類模型的人體動作識別方法

趙雪章，席運江，黃雄波

(1.佛山職業技術學院 電子信息系，廣東 佛山 528137; 2.華南理工大學 工商管理學院，廣東 廣州 510000)

0 引 言

在過去的幾年中，學者們嘗試克服靜態圖像的限制性，以獲得可靠的動作識別結果[1,2]。目前用以識別圖像中人體動作的方法主要有以下幾種[3]：基于特征模型的方法、基于實例學習的方法以及基于圖像-結構的方法。為了提高動作識別的性能，一些方法融入了額外的信息，例如目標交互和上下文信息。還有一些組合算法，如文獻[4]提出的結合特征袋(bag-of-features，BoF)和支持向量機(support vector machine，SVM)分類器的方法；文獻[5]提出的結合姿態激活向量(posture activation vector，PAV)和SVM分類器的方法。然而，這些方法對于靜態圖像的識別率仍然較低。這是因為測試圖像中許多圖像的人體范圍為上半身，而上半身經常呈現非特定動作且容易與其它動作相似。文獻[6]提出的Fusion+BoF方法使用了顏色和形狀描述符，所以在動作分類中獲得了較優性能，但其需要大量的處理時間。

為此，提出一種基于姿態庫和AdaBoost雙層分類模型的人體動作識別方法，該方法的主要創新點如下：

(1)構建一種兩層AdaBoost分類模型，利用第一層分類器找到目標邊框的合適位置，以此訓練由特征向量和空間信息組成的姿態庫，并通過第二層分類器模型來識別動作。

(2)構造了空間姿態激活向量(spatial PAV，SPAV)，該向量利用姿態庫的空間位置為分類模型提供了與人體動作相關的可判別信息。

1 提出方法的框架

本文方法主要分為4個部分，即創建姿態庫、訓練姿態庫、構建空間姿態激活向量(SPAV)和動作識別。其基本流程如圖1所示，各步驟分別描述如下。

圖1 提出方法的流程

首先，基于Hausdorff距離來估計圖像塊之間的空間關系，以此構建特定動作的初始姿態庫。

然后，構建一種雙層AdaBoost分類模型，基于動作姿態庫來訓練第一層分類器，并獲得最終姿態庫。這里采用與文獻[5]相似的方法創建姿態庫。利用第一層分類器找到圖像中人像邊框的合適位置，以此訓練由特征向量和空間信息組成的姿態庫。

接著，根據第一層分類器生成姿態激活向量(PAV)，為了考慮姿態庫的空間位置，構造了空間PAV(SPAV)。

最后，將SPAV作為第二層分類器的輸入，對動作進行最終判別。其中對于每張圖像，將動作類的SPAV進行聚合，構成一個級聯SPAV(CSPAV)，并利用這些CSPAV來訓練第二層分類模型。

在測試階段，應用已訓練的第一層分類器從輸入圖像中估計CSPAV，然后將CSPAV應用到第二層分類器上。當計算完所有c-動作類的分數之后，將具有最大分數的類作為最終判決。

2 姿態庫的構建

本文通過將圖像分解為一組部位來構造姿態庫，每個姿態庫為從給定視角處捕獲人體動作突出的部分。姿態庫中的每個實例來自人圖像的給定位置、方向和范圍處的一個對應矩形區域。

為了替代傳統的歐氏距離，本文采用了一種Hausdorff距離[7]來估計圖像塊之間的空間關系。Hausdorff距離實現簡單且對目標空間位置的變化不敏感[8]。構造姿態庫的算法步驟如下所示：

(1)利用包括2D關鍵點和動作標簽的訓練圖像生成三維的n個隨機種子窗口。

(2)對于i=1到n執行。

1)選取隨機種子窗口，并利用Hausdorff距離估計配置空間中從種子區域S到目標隨機區域R的直接距離dS(R)

(1)

2)利用直接距離找到k=50個最近的實例，并標記集群標簽為i。

(3)結束。

(4)對于第i個集群，估計其為每類的熵

Ei(ω)=-P(ωi)×logP(ωi)

(2)

式中：P(ωi)為集群i為ω類的條件概率。

(5)選擇含有最低熵值Ei的m集群。接著，移除每個集群中不包括在該類的所有實例，最后將剩下的集群稱為姿態庫。

(6)每個姿態庫儲存了所有用于測試的實例的中心位置。

在該算法中，設置隨機種子窗口的數量為600。對于實時應用，為了減少處理時間，可將所需選擇的m個集群(姿態庫)的數量從300減至30。

(3)

(4)

(5)

(6)

設定k(x)為Epanechnikov核函數，該函數為各向同性內核，其分配更大的權值到實例中心點處的關鍵點，表示如下

(7)

圖2 所提取的姿態庫的實例

3 提出的雙層AdaBoost分類器

在選擇了一個動作姿態庫后，從每個姿態庫中提取視覺特征，同時利用特征向量和模式分類器研究外觀模型。

盡管梯度方向直方圖(histogram of oriented gradients，HOG)特征是人體檢測和動作識別中最常用的特征[9]，但缺點是需要高的計算量。目前，局部二值模式(local binary pattern，LBP)特征[10]和一些改進版本已在人體和目標檢測中采用。其中，中心-對稱LBP(CS-LBP)特征的計算量較低，但其丟失了方向信息[11]。所以，本文采用了新的、更低維度的CS-LBP特征，即方向CS-LBP(OCS-LBP)。

OCS-LBP中，通過求和屬于k的所有梯度幅值，獲取每個方向k的OCS-LBP特征。利用最小-最大歸一化方法對k的最終集合，即OCS-LBP特征進行歸一化。為了設計對部分遮擋和扭曲魯棒的特征描述符，將姿態庫細分為16×16像素。也就是說，64×64的姿態庫可以分為4×4個子塊，64×96的姿態庫可以分為4×6個子塊，64×128的姿態庫可以分為4×8個子塊，128×64的姿態庫可以分為8×4個子塊。然后對于每個子塊，分別計算每個OCS-LBP特征，并利用積分直方圖保存局部變化，以降低計算時間。最后，級聯局部OCS-LBP描述符，從而產生含有128個維度(16×8)、192個維度(24×8)和兩個256個維度(32×8,32×8)的OCS-LBP描述符。

對于利用外觀模型的動作檢測，這里應用了一種雙層分類模型，該模型比單個分類器具有更好的分類性能和對噪音的抑制能力。第一層分類器為基于姿態庫訓練的二進制分類器。第二層分類器為一個多級分類器，將第一層分類器的輸出作為輸入。這里的兩級分類器都采用AdaBoost分類器。

3.1 訓練第一層AdaBoost分類器

隨機森林分類器能夠很好地解決高維度問題，例如人體檢測、目標跟蹤、煙霧探測和目標檢測等。與隨機森林方法基本類似，當采用基于單個分類器對樣本進行分類的效果不理想時，通常希望能夠通過整合多個分類器來提高最終的分類性能，并稱這種不太理想的單個分類器為“弱分類器”[12]。與隨機森林方法不同，AdaBoost方法并不是簡單地對多個分類器的輸出進行決策投票，而是通過一個迭代過程對分類器的輸人和輸出進行加權處理[13]。在不同應用中可以采用不同類型的弱分類器，并在每一次迭代過程中，根據分類器的情況對各個樣本進行加權，而不僅僅是簡單的重采樣。

對于姿態庫的第一層分類，其AdaBoost分類器訓練過程描述如下：

(1)首先，假設已經給定N個訓練樣本x1，…,xN,用fmx∈-1,1m=1,…,M表示M個弱分類器對于樣本x的輸出，通過AdaBoost算法構造這M個分類器并進行決策。

(2)然后，再進行初始化訓練樣本x1,…,xN的權重ωi=1/N,i=1,…,N。

(3)對m=1→M,重復以下過程：

1)首先是利用ωi加權后的訓練樣本來進行構造分類器fmx∈-1,1 ，(注意構造分類器的具體算法可以不同，例如采用線性分類器和決策樹等)。

2)計算樣本采用ωi加權后的分類錯誤率em，并令cm=log1-em/em。

所謂利用加權后的訓練樣本構造分類器，是指對分類器算法目標函數中各個樣本對應的項進行加權，因此需要根據具體采用的分類器類型具體分析。例如，對于最小平方誤差判別，加權后的均方誤差(mean squared error，MSE)準則函數為

(8)

而對于決策樹或一些其它方法，則可以根據每個樣本的權值調整重采樣概率，按照這個概率對樣本進行重采樣，用重采樣得到的樣本集構造新的弱分類器。

根據以上算法流程，利用第一層分類器學習完姿態庫后，再利用第一層分類器生成姿態激活向量(PAV)。

3.2 生成姿態激活向量

利用第一層分類器學習完姿態檢測器之后，在測試圖像的人體范圍上檢測動作，從而生成PAV。如果人體范圍內利用SVM分類器，以掃描窗口方式檢測一個動作，則PAV的第i項會通過投票方式決定。然而，所構建的典型PAV的主要缺點是其沒有考慮動作的空間位置，且需要大量的計算時間進行動作檢測[14,15]。例如，打電話動作中的大部分實例是從人體的右上方提取的，如果動作檢測器僅僅比較沒有位置信息的視覺外觀，則會在沒有空間信息的一些區域中檢測到多個動作。

為了考慮動作的空間位置和減少總計算時間，不從所有人體區域提取重疊的測試實例，取而代之的是，僅僅從動作實例的中心位置提取測試實例。提取踢足球實例的一個例子如圖3所示，由于踢足球主要是腿部動作，為此提取的實例為人體的中下區域。

圖3 從動作中心位置提取實例

掃描窗口是從給定的候選位置處提取的，檢測每個窗口，并將其作為初始位置附近的第i個動作類。然后對每個檢測的動作進行投票，決定作為空間PAV(SPAV)的第i個項。SPAV的最后第i個項為所有動作類型i的檢測分數總和。對于一種動作類型，本文使用動作的5種不同尺寸。對于一種尺寸動作，本文訓練30個動作。然后將動作的5種尺寸連接到一個維數為150(5×30)的SPAV描述符。

3.3 訓練第二層AdaBoost分類器

第二層分類器將第一層分類器產生的SPAV作為輸入，并產生最終的多級動作分類器。

從所有數據動作圖像中提取完CSPAV(CSC)集合之后，和第一層分類器的方法一樣，利用CSPAV訓練所有9個類別的第二層分類器。

在學習了第一和第二層分類器之后，將含有人體區域的輸入窗口應用到第一層分類器和CSPAV。同時，將第一層分類器的聚合輸出應用到第二層分類器。在計算完所有c-動作類別的分類分數之后，利用最大分數操作來給出最終類別，即

μ(c)=Max[score(1), …，score(C)]

(9)

如果動作類別c的最高分數μ(c)超過了閾值T，則將該輸入窗口動作類別判定為c，表示為

(10)

4 實驗及分析

4.1 實驗設置

在PASCAL2010和KTH動作數據姿態庫上進行實驗。PASCAL2010數據姿態庫包含9種不同人體動作，例如打電話、演奏樂器、讀書、騎自行車、騎馬、跑步、拍照、用電腦和走路。KTH數據集由6種自然動作組成，包括走路、慢跑、快跑、拳擊、揮手和拍手，每個動作由25個人完成。圖4給出了PASCAL2010數據姿態庫中每個動作的樣本圖像。

圖4 PASCAL2010數據集中的9種動作實例

為了進行測試，從PASCAL2010數據姿態庫中選用454張9類動作圖像，每類大約包含50張圖像。對于KTH動作數據姿態庫，本文采用968張6類動作圖像，且每個動作類別至少有108張圖像。

利用C++語言編譯實現提出的人體動作識別系統。在測試中，首先對檢測圖像進行裁剪，使人體周圍留有足夠背景區域。然后縮放人體范圍，以致臀部和肩膀之間的距離為200個像素。接著，在人體范圍內利用掃描方法和雙層分類器進行動作檢測，從而獲得不同位置和尺寸的動作。

4.2 訓練實例數量的選擇

對于訓練分類器，每種動作的訓練實例圖像數量直接影響訓練精度和時間消耗。實例圖像數量的增加可以改善識別性能，但同時也增加了運行時間。

為了確定最佳訓練圖像數量，進行了相關實驗。在PASCAL2010數據集上，通過改變動作實例數量進行實驗，用來選擇最優數量，結果見表1。其中，采用平均精度(average accuracy，AP)作為度量來定量評估動作識別性能，采用每幅圖像的平均識別時間來評估方法的計算復雜度。可以看出，當用于動作識別的每類動作實例數量為30時，提出方法具有良好的識別性能，且其處理時間相對較短。在KTH數據集上執行相同實驗，結果與PASCAL2010數據集相近。為此，來后續實驗中，每類動作選取30張圖像作為訓練圖像，其它作為測試圖像。

表1 不同訓練實例圖像數量下的識別性能

4.3 性能驗證

首先，在KTH和PASCAL2010數據集上執行本文方法，統計各類動作的識別結果。兩個數據集上，各類動作的識別混淆矩陣如圖5和圖6所示。

圖5 在KTH數據集上分類的混淆矩陣

圖6 在PASCAL2010數據集上分類的混淆矩陣

可以看出，對于KTH數據集，本文方法的整體識別率較高。只在快跑和慢跑、拍手和拳擊之間有較高的錯誤分類。這是因為KTH數據集的動作較為簡單，且背景不復雜，所以獲得了較高的識別率。

對于PASCAL2010數據集，由于其動作和背景復雜，其整體識別率不如KTH數據集。其中，本文方法對演奏樂器、騎自行車、跑步和走路的識別率較高，而對打電話、拍照和用電腦的識別率較低。這是因為這些動作的相似度較高，例如很多打電話圖像被分類到演奏樂器類別上。

4.4 性能比較

為了進一步評估提出算法的性能，將其與幾種相關方法進行比較，分別為文獻[4]提出的結合BoF和SVM的方法(BoF+SVM)；文獻[5]提出的PAV+SVM方法；文獻[6]提出的基于BoF和SVM，且融合了顏色和形狀描述符的方法(Fusion+BoF)。在KTH和PASCAL2010數據集上的實驗結果分別見表2和表3。

表2 KTH數據集上識別準確率/%

這些結果證實，PAV+SVM比BoF+SVM方法的識別率高，這表明PAV的有效性。但由于基礎PAV沒有考慮動作的空間位置，所以比本文方法差。這就表明了PAV的空間位置和雙層分類器對辨別人體動作非常有效。另外，Fusion+BoF方法與本文方法的性能相近，這是因為其使用顏色和形狀描述符，增加了輸入特征，所以獲得了較好的性能。但其計算量較大，需要消耗大量的時間。

我們還可以觀察到，所有測試方法對于一些人體的特定動作類，例如演奏樂器和讀書等，具有較高的識別性能。而對于另一些類，例如打電話和拍照，具有較低的分類性能。這是因為測試圖像中的許多人體范圍包含上半身，而上半身經常會擁有非特定動作和與其它動作相似的動作。

表3 PASCAL數據集上識別準確率/%

對各種方法在PASCAL2010數據集上識別每個圖像所需的時間進行統計，結果見表4。可以看出，本文方法的平均速度為1.34 s，比PAV+SVM的平均速度快了約0.8 s。這就說明了結合空間位置的PAV比基礎PAV在時間效率方法有明顯提高。這是因為其不從所有人體區域提取測試實例，僅僅從動作實例的中心位置提取測試實例。另外，Fusion+BoF的處理時間最長，這是因為其使用了顏色和形狀描述符，在提取特征和分類過程中需要更多的計算量。

表4 各種方法的平均識別時間/s

5 結束語

基于姿態庫和AdaBoost雙層分類模型提出了一種人體動作識別算法。為了考慮姿態庫的空間位置，基于第一層分類器來訓練姿態庫，獲得圖像的SPAV。級聯每張圖像的SPAV，將其作為第二層分類器的輸入。將提出的方法應用到兩個動作圖像數據集上，都獲得了良好的識別性能。

在今后研究中，將考慮融入上下文、背景等一些附加特征描述符到識別系統中，以此提高本文算法對一些相似動作的識別性能。