應用在線隨機森林投票的動作識別

王世剛，魯奉軍，趙文婷，趙曉琳，盧　洋

(吉林大學 通信工程學院，吉林 長春 130012)

?

應用在線隨機森林投票的動作識別

王世剛，魯奉軍*，趙文婷，趙曉琳，盧洋

(吉林大學 通信工程學院，吉林 長春 130012)

提出了基于在線隨機森林投票識別人物動作類別的方法。建立了在線隨機森林投票模型。通過在線訓練和在線檢測兩部分進行了算法研究, 提高了檢測人物動作類別的準確率。基于人物動作在時間和空間上有重要信息，該方法首先通過提取圖像立體塊的lab色彩空間值、一階差分、二階差分以及大位移光流特征值在線訓練隨機森林；訓練結束后，形成強分類器，利用分類器對檢測圖像進行投票，生成動作空間圖；最后，在動作空間圖中尋求最大值，判斷檢測圖像的動作類別。驗證結果表明在低分辨的視頻圖像中，本方法能夠確定人物的動作類別，對Weizmann數據庫和KTH數據庫的識別率分別為97.3%和89.5%，對UCF sports數據庫的識別率為79.2%，動作識別準確率有所提高。該方法增加了光流能量場特征表述，將原始投票理論拓展至三維空間，并且采用向下采樣的方式更新結點信息，能夠判斷人物動作類別，為智能視頻技術提供了有效的補充信息。

動作識別；隨機森林投票；大位移光流；動作空間圖；智能視頻

*Correspondingauthor,E-mail:lufengjun2012@sina.com

1　引　言

人物的動作識別是計算機視覺的重要組成部分，通過分析視頻圖像中的人物特征判斷動作類別，建立起特征數據與高層語義行為之間的關系人物動作通常利用攝像機拍攝獲得。動作識別系統在智能視頻、人機交互技術，體育競技場景分析等方面有著廣泛的應用。

動作識別系統將人物動作視為帶有標記的特定視頻圖像序列，其主要包括視頻圖像預處理、人物特征提取、動作類別建模和分類器訓練等多方面技術。其主要可分為時空特征方法和視頻序列方法。早期的人物動作識別方法主要是針對單一靜態背景視頻序列的方法[1]，其主要將視頻圖像作為連續的觀察序列，計算人物產生某種動作的特征似然度，并判斷檢測序列的后驗概率，從而確定人物動作行為。

最近時空特征方法已成為主流研究方法[2]，其主要將興趣點檢測器和BOW(bag-of-words)的方法相結合，以增強人物動作的時空信息整合。視頻圖像在時間和空間方向上變化劇烈的特征點通常稱為時空興趣點，然后，通過聚類方法將特征向量形成時空單詞集合，其經過訓練得到時空單詞模型，檢測序列通過模型判斷人物動作類別[3-5]。但是對于低分辨率、運動模糊和鏡頭移動的視頻序列，這些方法識別人物動作比較困難。而且，系統還需要克服低分辨率視頻圖像的影響，適應人物動作的突變性和復雜性，提高抗干擾能力的特點。

隨機森林分類器由于在訓練和檢測階段中分類效率比較高，處理速度快，在行為識別領域受到了高度關注[6]。其分類方式主要在特征空間進行劃分，在特定條件下對每個節點進行特征劃分，這種方法的分類準確率取決于葉結點中數據類別的純凈度。

傳統方法大多是基于人物的形態輪廓進行識別[7]，對于復雜人體運動的分析描述并不準確。針對這問題，本文提出一種新穎的在線隨機森林投票方法來確定人物的動作類別。本文引入了大位移光流能量場[8]特征信息，從而可以明顯地區分人物動作的外在客觀條件及內在姿態復雜性。

光流算法是通過計算區域像素的變化來捕獲物體運動信息的[9]，故可降低高層行為理解的復雜度，單像素的光流值計算較為困難，本文通過選取區域光流能量場作為特征提取的有用信息，以降低計算量。本文特征量值的優點如下：特征提取算法難度不高，可利用像素的底層信息作為特征的直接表述，與傳統的基于輪廓外形特征的方法有明顯區別，克服了傳統特征表述信息表述不全面的缺點。隨機森林能處理大量的高維數據，而且不會帶來過度擬合問題，目前已經被廣泛地應用到圖像領域中[10-11]。其在目標檢測中[12-13]已經成為一種重要的方法[14]，但是在人物動作識別中的應用較少，這主要因為其難以提取能夠表述人物運動的特征信息。在目標檢測領域，隨機森林將目標色彩信息、區域像素點一階差分及二階差分和目標方向梯度直方圖作為訓練特征信息。本文通過增加了光流能量場特征表述，將原始投票理論拓展至三維空間，并且采用向下采樣的方式更新結點信息。最后，通過實驗驗證了算法性能。

2　算法結構

動作識別過程主要分為在線訓練部分和在線檢測部分。在線訓練部分主要通過提取圖像立體塊的lab色彩空間信息、差分以及大位移光流特征值訓練隨機森林，訓練結束后，形成強分類器；在線檢測部分首先遍歷測試樣本圖立體塊，再利用隨機森林分類器對測試樣本圖立體塊進行分類，葉子結點為所在立體塊進行投票，在動作空間圖中尋找最大值，判斷人物動作類別。算法流程圖如圖1所示。

圖1　基于隨機森林投票的動作識別算法流程圖Fig.1　Flowchart of action recognition based on random forest voting algorithm

2.1在線訓練過程

2.1.1圖像處理

訓練樣本可分為正樣本和負樣本，正樣本為已經標記邊界框的人物的動作類別，如圖2所示，圖2(a)被標記為滑板動作，圖2(b)被標記為跳水動作；負樣本為無目標圖像，如圖3所示，圖3(a)和圖3(b)分別表示街道1和街道2。

(a)滑板動作　　　　　　　(b)跳水動作　(a)Skateboard　　　　　　　　(b)Diving　　圖2　正樣本Fig.2　Positive samples

(a)街道1　　　　　　　　(b)街道2(a)Street 1　　　　　　　(b)Street 2圖3　負樣本Fig.3　Negative samples

圖4　立體塊特征信息Fig.4　Feature information of cuboids

人物動作在時間和空間中均含有信息，將圖像中的連續動作采用時空立體塊表示，立體塊的大小為16×16×5，它們分別表示立體塊長和寬的像素長度以及圖像幀數。如圖4所示。

2.1.2目標區域大位移光流特征值

光流法能夠描述運動物體的特征信息，以圖像像素點的變化表述物體的運動信息，在目標運動圖像表達中有著重要的作用[15]。大位移光流[8]是由Thomas Brox等首先提出的，其主要用于描述圖像像素點實時變化。文中提出了基于亮度、空間梯度和平滑區域能量變化最小的光流模型，而且又增加了平移不變的特征變換(Scale Invariant Feature Transform,SIFT)和顏色描述子匹配的內容，其能量模型公式如下：

E=Ecolor+γEgradient+αEsmooth+βEmatch+Edesc.

(1)

模型的最終目標是尋找式(1)中兩幀圖像最小能量值變化值，其中，Ecolor表示相鄰兩幀圖像亮度變化值，受光照影響，Ecolor表達的信息有限，因此，增加了空間梯度能量最小值Egradient。然而，Ecolor和Egradient較少表達描述性特征，單一估算這兩部分的能量值并不能完善地表述光流場的特性，故又增加了平滑區域能量值Esmooth來避免光流場誤算的問題。為了增加描述子特征的信息，將SIFT和色彩描述子作為匹配對象，能量的表達形式為Ematch和Edesc，可變參數α,β和γ用以適應不同幀圖像的運動劇烈程度。圖5表示光流場強度，5(a)和5(b)為兩幀相鄰圖像，由圖可知，兩幀圖像的人物運動變化較大，5(c)和5(d)分別表示在x、y方向的光流場強度值，由圖5可知大位移光流特征值對于運動物體的信息表述更為準確。

2.1.3訓練

(a) 當前圖像　　　　　　　(b) 相鄰幀圖像(a) 　　　Current image　　(b) 　　　Adjacent frame of (a)

(c) x方向上的光流　　　(d) y方向上的光流(c) 　　　Optical flow in x direction　(d) 　　　Optical flow in y direction圖5　光流場強度Fig.5　Magnitude of optical flow field

其次，對提取的特征值進行分類，本文主要通過二值測試實現，具體過程如下：比較位置p∈R3和q∈R3中通道f上特征值的大小。在結點B的二值測試定義如下：

(2)

If(p)表示在特征通道f中位置p的特征值；tB,f,p,q,τ(Γ)表示在立體塊中位置p和q特征值的比較值，τ為設定閾值。在同一特征通道f下，比較不同位置處的特征值將立體塊分為兩大類，每一類繼續通過二值測試進行二分類，構成了二值測試集合{tk}，其中k表示集合的數量。

對二值測試集合中的立體塊需要進行最佳分類，通過隨機森林分類器進行分類，隨機森林F由決策樹{T1,T2,…,TN}構成，N表示決策樹的數目，每一棵決策樹的函數形式為f(x;Θ):X→Y,Θ表示在樹的分裂結點中定義參數，x∈X?Rd表示特征值。

在訓練過程中，訓練樣本集合表示為{xi,yi}∈{X,Y}，其中yk∈{1,2,…,K}，K表示動作類別的數目。隨機森林的構建是一個遞歸過程，對于樹中的每個結點，通過計算信息增益ΔH或者立體塊中心偏移值ΔD尋求最佳分裂函數ζ(·)，其中ΔH表示為：

(3)

立體塊中心偏移值用ΔD表示，其數學表達式為：

(4)

圖6　向下取樣流程圖Fig.6　Flowchart of subsamples

2.2在線檢測過程

2.2.1隨機森林投票理論

在目標檢測方面，隨機森林投票方法應用較為廣泛，其主要思想是，通過有監督學習方法，將二維圖像塊特征信息和隨機森林投票建立映射聯系，利用葉子結點判斷目標類別。本文通過對其進行擴展，將隨機森林的投票表決方法與三維圖像立體塊信息相結合進行描述。

以位置x∈R3為中心的立體塊表示為p(x)=(I(x),c(x),d(c(x),x))。其中：I(x)表示立體塊特征，c(x)表示立體塊的未知動作類別，d(c(x),x)表示立體塊中心到未知動作中心矢量。Qc(y)表示圖像中任意一點y∈R3處具有動作類別c的事件。根據貝葉斯公式推導出的條件概率p(Qc(y)|I(x))表示如下：

c,I(x))p(c(x)=c|I(x))=p(d(c,x)|c(x)=c,I(x))p(c(x)=c|I(x)).

(5)

p(Qc(y)|I(x),T)=

(6)

其中G(·)表示三維高斯窗函數。

對整個隨機森林T投票平均處理，得到(7)式：

(7)

2.2.2動作空間圖

圖7　動作空間圖Fig.7　Spatial graph of different actions

圖7(彩圖見期刊電子版)表示UCF sports數據庫的動作空間圖，紅色虛線表示鞍馬運動連續幀圖像的檢測結果，紅色小矩形框表示隨機森林對鞍馬運動其中一幀投票的結果。動作空間圖能夠準確判斷此動作為鞍馬運動。

3　實驗結果及分析

本文實驗的硬件運行環境為Intel Pentium(R) Dual-Core CPU、物理內存2G的PC機；軟件的運行環境為Ubuntu系統，借助Opencv2.0開源計算機視覺庫訓練隨機森林分類器。

實驗中從國際標準人物動作數據庫中選用3組測試樣本，其中包括單人靜態背景下的Weizmann數據庫和KTH數據庫，以及單人動態背景下UCF sports數據庫。

3.1Weizmann數據庫、KTH數據庫和UCF sports數據庫

Weizmann數據庫[17]中含有10種不同的動作類別，其中每組動作由9個不同的表演者分別實現。本實驗將每組動作中的8個視頻序列作為訓練序列，第9個視頻序列作為檢測序列，每次實驗重復9次，保證每個表演者都被檢測，最后將檢測結果取平均值作為最終判斷結果。Weizmann數據庫的檢測結果如圖8所示。

圖8　Weizmann數據庫混淆矩陣Fig.8　Confusion matrices for Weizmann dataset

KTH數據庫[18]中含有6個不同的動作類別，這6個動作由25個表演者在4個不同的場景下拍攝所得。本文將同一人在4個不同場景下的同類動作視為動作完整圖像序列，并將20個表演者的完整圖像序列作為訓練序列，剩下的5個用于檢測，以每5組一輪換的方式進行訓練和檢測，最后將檢測結果取平均值作為最終判斷結果。KTH數據庫的檢測結果如圖9所示。

圖9　KTH數據庫混淆矩陣Fig.9　Confusion matrices for KTH dataset

UCF sports數據庫[19]含有10組不同的動作類別，每組動作由15個不同的視頻序列組成。本文在每類動作中依次選取5大組，大組輪換次數為15；每大組中又包括5個小組，其中4個小組作為訓練序列，剩下1組作為檢測序列，小組輪換次數為5，最后計算檢測結果的平均值。UCF sports數據庫的檢測結果如圖10所示。

圖10　UCF sports數據庫混淆矩陣Fig.10　Confusion matrices for UCF sports dataset

3.2動作分類比較結果

BOW算法把已提取的人體局部輪廓作為特征信息，通過K均值聚類算法將特征分為K類；則在視頻中的每幀圖像形成長度為K的特征向量。本文主要與隨機森林在詞袋模型BOW中應用的方法進行對比。詞袋中的特征向量通過隨機森林(Random Forest，RF)和支持向量機(Support Vector Machine，SVM)進行分類識別，文中將這兩種方法分別稱為BOW+RF和BOW+SVM。根據詞袋外數據誤差進行分析，又可形成RF-1方法[7]。考慮到提取輪廓特征信息的維數比較大，RF-1算法應用PCA(Principal Component Analysis)算法對特征信息進行降維，其在隨機森林中使用決策樹的數目為500。另外，還選用文獻[5]基于時空興趣點的人體動作識別方法進行對比。

表1　各方法在Weizmann、KTH和UCF sports 數據庫的比較結果

本文不需要對特征維數進行降維，構造的決策樹數目為15棵，將本文算法與其他算法的實驗結果進行比較，如表1所示。由表1可知，本文方法在Weizmann數據庫的識別率達97.3%，KTH數據庫識別率達89.5%，較為復雜的UCF sports數據庫識別率達72%。結果表明，本文算法識別效果高于其他算法。

4　結　論

針對人物動作識別的問題，本文提出了一種應用在線隨機森林的動作識別方法，重點介紹了大位移光流特征的提取方法，并構建了隨機森林和在線檢測方法。實驗結果表明：在低分辨率的視頻圖像中，本文方法對簡單動作數據庫Weizmann和KTH的識別率分別為97.3%和89.5%，對復雜動作數據庫UCF sports的識別率為79.2%。該方法能夠判斷人物動作類別，將為智能視頻技術提供了有效的補充信息。

[1]SCHULDT C, APTEV I, CAPUTO B. Recognizing human actions: a local SVM approach[C].IEEE,Proceedingsofthe17thInternationalConferenceonPatternRecognition,Cambridge,theUnitedKingdom,2004:32-36.

[2]DOLLAR P, ABAUD V R, COTTRELL G,etal.. Behavior recognition via sparse spatio-temporal features [C].VisualSurveillanceandPerformanceEvaluationofTrackingandSurveillance,Beijing,P.R.China. 2005:65-72.

[3]付朝霞，王黎明. 基于時空興趣點的人體行為識別[J]. 微電子學與計算機, 2013，30(8): 28-35.

FU ZH X, WANG L M. Human action recognition based on space-time interest point [J].Microelectronics&Computer, 2013,30(8):28-35. (in Chinese)

[4]王博，李燕. 視頻序列中的時空興趣點檢測及其自適應分析[J]. 計算機技術與發展, 2014，24(4): 49-56.

WANG B, LI Y. Space-time interest points detection in video sequence and its adaptive analysis [J].ComputerTechnologyandDevelopment, 2014, 24(4):49-56. (in Chinese)

[5]王世剛，孫愛朦，趙文婷，等. 基于時空興趣點的單人行為及交互行為識別[J].吉林大學學報(工學版),2015，45(1): 304-308.

WANG SH G, SUN A M, ZHAO W T,etal.. Single and interactive human behavior recognition algorithm based on spatio-temporal interest point [J].JournalofJilinUniversity(EngineeringandTechnologyEdition), 2015, 45(1): 304-308. (in Chinese)

[6]鮑一丹，陳納，何勇，等. 近紅外高光譜成像技術快速鑒別國產咖啡豆品種[J].光學 精密工程, 2015, 23(2): 349-355.

BO Y D, CHEN N, HE Y,etal.. Rapid identification of coffee bean variety by near infrared hyperspectral imaging technology [J].Opt.PrecisionEng., 2015, 23(2): 349-355. (in Chinese)

[7]蔡加欣，馮國燦，湯 鑫，等. 基于局部輪廓和隨機森林的人體行為識別[J]. 光學學報, 2014, 34(10): 1015006(1-10).

CAI J X, TANG G C, TANG X,etal.. Human action recognition based on local image contour and random forest[J].ActaOptocaSinica, 2014, 34(10): 1015006(1-10).(in Chinese)

[8]BROX T,MALIK J. Large displacement optical flow: descriptor matching in variational motion estimation [J].IEEE,TransactonsonPatternAnalysisandMachineIntelligence, 2011, 33(3): 500-513.

[9]徐富元, 顧國華, 陳錢, 等. 轉動紅外探測器下地面遠距離運動目標檢測方法[J]. 紅外與激光工程, 2014, 43(4): 1080-1086.

XU F Y, GU G H, CHEN Q,etal.. Ground target detection method on rotating infrared detector[J].InfraredandLaserEngineering, 2014, 43(4): 1080-1086. (in Chinese)

[10]向濤, 李濤，李旭東，等. 基于隨機森林的層次行人檢測算法[J]. 計算機應用研究，2015，32(7): 2196-2199.

XIANG T, LI T, LI X D,etal.. Random forests for hierarchical pedestrian detection [J].ApplicationResearchofComputers, 2015, 32(7): 2196-2199. (in Chinese)

[11]屠大維，江濟良. 改進的光流運動圖像分析方法及其應用 [J].光學 精密工程, 2011，19(5):1159-1164.

TU D W, JIANG J L. Improved algorithm for motion image analysis based on optical flow and its application [J].Opt.PrecisionEng, 2011,19(5):1159-1164. (in Chinese)

[12]劉翔, 楊鑫, 王蕾. 改進的基于碼本模型目標檢測算法[J]. 液晶與顯示, 2014，29(6): 999-1002.

LI X, YANG X, WANG L. Object detection algorithm based on improved codebook model [J].ChineseJournalofLiquidCrystalsandDisplays, 2014，29(6): 999-1002. (in Chinese)

[13]林培杰, 鄭柏春, 陳志聰, 等. 面向多區域視頻監控的運動目標檢測系統[J]. 液晶與顯示, 2015，30(3): 484-491.

LI P J, ZHENG B CH, CHEN ZH C,etal.. System of multi-regions moving object detection in video surveillance [J].ChineseJournalofLiquidCrystalsandDisplays, 2015，30(3): 484-491. (in Chinese)

[14]胡夢婕，魏振忠，張廣軍. 基于對象性測度估計和霍夫森林的目標檢測方法[J]. 紅外與激光工程, 2015, 44(6): 1936-1941.

HU M J, WEI ZH ZH, ZHANG G J. Object detection method based on objectness estimation and Hough forest[J].InfraredandLaserEngineering, 2015, 44(6): 1936-1941. (in Chinese)

[15]趙海，陳星池，王家亮，等. 基于四軸飛行器的單目視覺避障算法[J].光學 精密工程, 2014，22(8): 2232-2241.

ZHAO H, CHEN X CH, WANG J L,etal.. Obstacle avoidance algorithm based on monocular vision for quad-rotor helicopter [J].Opt.PrecisionEng., 2014 22(8): 2232-2241 . (in Chinese)

[16]JUERGEN G, VICTOR L. Class-specific Hough forests for object detection [C].IEEETransactionsonComputerVisionandPatternRecognition,Miami,theUnitedStates2009:1022-1029.

[17]BLANK M, GORELICK L, SHECHTMAN E,etal.. Actions as space-time shapes[C].IEEEInternationalConferenceonComputerVision,Beijing,China, 2005.

[18]SCHULDT C, LAPTEV I, CAPUTO B. Recognizing human actions: a local SVM approach[C].Proceedingsofthe17thInternationalConferenceonPatternRecognition,Cambridge,UK, 2004.

[19]RODRIGUEZ M, AHMED J, SHAH M. Action mach-a spatio-temporal maximum average correlation height filter for action recognition[C]. 2008IEEEConferenceonComputerVisionandPatternRecognition,Anchorage,AK, 2008.

魯奉軍(1991-)，男，吉林德惠人，碩士研究生，2013年于吉林大學獲得學士學位，主要從事數字圖像處理、機器學習等方面的研究。E-mail: lufengjun2012@sina.com

(版權所有未經許可不得轉載)

Action recognition based on on-line random forest voting

WANG Shi-gang, LU Feng-jun*, ZHAO Wen-ting, ZHAO Xiao-lin, LU Yang

(CollegeofCommunicationEngineering,JilinUniversity,Changchun130012,China)

An action recognition method for people is proposed based on on-line random forest voting to judge the action classification. The on-line random forest voting model is established and its algorithms are researched through the two parts consisting of on-line training and on-line detection to improve the precision of the action classfication. As people action shows important information in both space and time, the method firstly trains the random forests in line by extracting 3D image features containing a lab color space , the first order difference, the second order difference and displacement optical flow. After training, a strong classier is formed. Then, the classifier is used to vote for detection images to produce an action space map. Finally, by seeking the maximum in the map, the category of action in the detection images is complemented. Experimental results indicate that the method determines the category of people action in the low resolution video images. The accurate rates of the Weizmann data, the KTH data and the UCF sport data are 97.3%,89.5%,and 79.2%,respectively. These results show that the accuracy of action recognition is improved. Moreover, the model proposed adds the feature representation of light flow energy field, expands the traditional forest voting theory to a 3D space, and uses to update information. It improves the stability and the reliability and will be of potential application in the intelligent video surveillances.

action recognition; random forest voting; large displacement optical flow; action map; intelligent video

2015-11-09；

2015-12-14.

教育部博士學科點專項科研基金資助項目(No.20120061110091);吉林省科技發展計劃資助項目(No.20150204006GX);長春市科技局資助項目( No.14KG007)

1004-924X(2016)08-2010-08

TP391.4

A

10.3788/OPE.20162408.2010

王世剛(1962-)，男，吉林長春人，教授，博士生導師，1983年于東北大學獲得學士學位，1997年于吉林工業大學獲得碩士學位，2001年于吉林大學獲得博士學位，研究方向為數字圖象處理技術及應用。E-mail: wangshigang@vip.sina.com