基于星形距離和LDCRF模型的在線行為識別方法

成 立，梅 雪，張玉燕，馬士林，袁宇浩，施曉東

（1.南京工業大學 自動化與電氣工程學院，江蘇 南京210000；2.哈爾濱工業大學 電氣工程學院，黑龍江 哈爾濱150001）

0 引 言

目前在線人體行為識別技術［1］在一些方面已經取得了很大的進展，如文獻 ［2］利用移動設備的加速度計進行在線動作識別，文獻 ［3］通過人體的運動數據和相關地理位置信息特征進行在線行為識別，文獻 ［4］利用加速度數據和SVM 進行在線行為分類。人體行為識別研究的關鍵問題主要包括：①人體行為特征的選擇。人們對人體運動特征描述提出了很多種方法，如光流法、輪廓法［5］、路徑法和形狀法［6］。②識別模型的構建。人體行為識別模型主要分為兩類：基于產生式模型和基于判別式模型［7］。目前，HMM、CRF、HCRF［8］在人體行為識別中的運用已經很成熟。本文針對視頻監控系統行為智能分析等需要，應用具有不變的特征和潛動態條件隨機模型 （latent－dynamic conditional random，LDCRF），探討了基于判別式模型的在線人體行為識別方法。通過星形距離來描述人體各姿態特征，利用LDCRF模型對行為數據進行建模、識別。

1 人體動作特征數據提取與處理

視頻監控中的人體運動是非剛性的運動，人體運動姿態的空間尺度會隨著時間尺度的變化而變化。因此選擇合適的方法將具體的人體運動信息通過抽象數學參數表示出來，并保留人體動作信息，對接下來的人體行為識別十分重要。本文通過提取視頻中的人體運動輪廓，計算輪廓質心到各輪廓采樣點的星形距離，并對特征數據進行歸一化和小波降維處理，從而得到用于識別的有效特征序列集合。

1.1 人體運動輪廓提取

利用背景減除法提取運動目標。背景減除法是一種有效的運動目標檢測算法，利用背景的參數模型來近似背景圖像的像素值，將當前幀與背景圖像進行差分比較，對得到的前景點和背景點進行像素二值化，分割出運動目標，從而得到如圖1所示的人體運動輪廓。

圖1 人體運動輪廓

1.2 星形距離特征提取

輪廓特征是人體行為特征的一個重要表現，運動人體的特征提取是將視頻序列中具體的人體動作用數學參數表示。對于運動特征的提取主要分為基于模型和基于非模型兩種方法。本文在得到的人體輪廓上求取輪廓質心（xc，yc），并設置輪廓采樣點，在人體輪廓上進行等間隔采樣。從人體輪廓左上角的采樣點順時針計算輪廓采樣點（xi，yi）到質心（xc，yc）的距離dci，從而得到N 維特征向量d ＝［dc1，dc2，…，dcN］，即如圖2所示的星形距離特征。

求取輪廓質心和輪廓質心到輪廓采樣點的距離的公式如下

由于得到的N 維特征向量的空間尺度很大，為了確保其具有不變性，使用式 （3）對其進行數據歸一化處理，以消除空間尺度對不變性的影響

其中，dmax＝max｛dc1，dc2，…dcN｝。

圖2 質心到輪廓采樣點的距離

1.3 特征向量小波變換

小波變換的基本思想是用一組小波函數或者基函數表示一個函數或者信號。對于離散信號f（k），離散小波變換的定義如下

式中：m，n∈Z，Ψm，n（k）為離散小波函數，滿足

式中：Ψ（k）——滿足小波變換約束條件的小波基函數；a0——尺度參數；b0——平移參數。小波變換通過平移變換母小波或者基小波獲得信號的時間信息，通過縮放小波的寬度或者尺度獲得信號的頻率特性。人體運動特征數據的維數很高，高維數據中包含了大量的冗余信息并且隱藏了特征的相關性，特征數據的維數過高也會增加計算的復雜度，并且對識別結果產生負面的影響，因此在進行識別前，需要對高維特征數據進行降維處理。數據降維的基本原理是將樣本點從輸入空間通過線性或非線性變換映射到一個低維空間，從而獲得一個關于原數據集緊致的低維表示。本文通過小波變換對高維特征數據進行降維，小波變換降維的目的是盡可能多的去除數據中的噪聲和冗余，使數據盡可能地簡化，使相關的變量分離開，從而得到數據中最為重要的信息。

2 LDCRF模型建模

2.1 LDCRF模型

圖3中，xj表示第j幀視頻的人體動作觀察序列，hj是xj相對應的隱藏狀態，yj是xj的動作類標簽。視頻的觀察序列是給定的，目標是預測每幀動作的類標簽。通過得到觀察序列X ＝｛x1，x2，…，xm｝和標簽序列Y ＝｛y1，y2，…，ym｝之間的映射關系，從而進行行為識別。根據上述定義，定義條件概率模型為

圖3 3種概率圖模型

式中：θ——模型的參數。

模型建立時，假設每個類標簽相關的隱藏狀態集彼此互不相交，這樣可以降低模型訓練和推理的復雜性。每個hj是類標簽yj的合適的隱藏狀態集Hyj中的一個成員，由于任意hjHyj，根據定義有p（y｜h，x，θ）＝0，則模型可以表示為

其中分布函數Z保障模型具有歸一化的概率，其定義如下

ψk定義如下

其中，fk（hj－1，hj，x，j）是特征函數，表示一個是狀態函數sk（hj，x，j），或者轉移函數tk（hj－1，hj，x，j）。在 型中，狀態函數sk依賴于一個單獨的隱藏變量，而轉移函數tk則依賴一對隱藏變量。其中轉移函數表示為

從式（10）可以得出，如果與θk相關的隱狀態轉移函數作用于相同的隱藏狀態子集中，則可以表示出人體動作的內部動態特征；如果與θk相關的隱狀態轉移函數作用于不同的隱藏狀態子集中，則可以表示出人體動作的外在動態特征，并且與θk相關的轉移函數模型的內部和外部都是動態的。

2.2 LDCRF模型的參數訓練和識別

訓練集由n個標簽序列（xi，yi）組成，其中i＝1……n。通過下面的目標函數學習參數θ＊

使用梯度法計算參數θ＊＝arg maxθL（θ）最佳值。由于通過梯度為零來求解參數θ＊并不一定總是得到一個近似解，因此需要利用一些迭代計算來選擇參數。在下文的實驗中，我們使用BFGS優化技術來執行梯度法，使用動作序列的標簽對模型進行訓練，從而獲得模型的參數。

在人體動作識別過程中，給定一個測試序列x，估計最有可能的標簽序列y＊ 的最大化條件模型為

其中，參數θ＊ 是從訓練集中學習得到的。基于LDCRF的行為識別模型，每幀圖像的人體動作分類概率等于邊緣概率p（yi＝u｜x，θ＊），該概率是相關隱藏狀態子集的邊緣概率總和

實驗中，使用上述最大邊緣概率方法估計每幀動作序列標簽，區分連續序列的人體動作，進行人體行為識別。

3 實驗與結果分析

本實驗所用的動作數據來自Weizmann動作數據庫，用于識別的10 種行為動作如圖4 所示，分別為bend，jack，jump，pjump，run，side，skip，walk，wave1，wave2。實驗中，提取每種行為動作的前60幀有效運動數據，30幀用于訓練，30幀用于測試。因此分別使用30 幀＊10 種動作＝300幀圖片進行訓練和測試，其中每幀圖片的特征向量為32維，模型的隱狀態數為3個，通過BFGS迭代方法迭代確定模型的相關系數。由于以上動作分別由8位測試者完成，分別對10個動作進行了8組實驗，最后取8組實驗數據的平均值用于最終的實驗結果。通過與CRF，HCRF模型進行對比實驗來驗證本文算法的性能。

表1為10種行為的識別結果。從表1 中看出LDCRF模型的識別率比CRF，HCRF 模型的識別率要高，體現了LDCRF模型對人體行為動作的分辨能力更強，同時LDCRF識別結果的波動性也較小，表明LDCRF 模型具有很強的識別穩定性。即使在CRF 和HCRF 對bend的平均識別率最高只有70%時，LDCRF仍然有不錯的表現，體現了LDCRF模型結合行為動作在時間和空間上的信息建模的優勢，說明了LDCRF 模型具有一定的抗干擾能力。在對pjump，run，wave1動作識別時，識別率達到了100%，這表明了LDCRF模型不僅對外在的動態建模，同時也能捕捉到動作的內在子結構，這就使得識別的結果更加準確。

圖4 10種人體行為動作

表1 10種行為識別結果/%

為了更好的測試本文算法，分別讓CRF，HCRF，LDCRF模型在不同窗口下對同一未分段動作序列進行識別，識別結果如圖5所示。從整體上來看LDCRF的識別正確率遠比CRF 和HCRF 高，說明了LDCRF模型要比CRF 和HCRF更加穩定。在相同窗口大小的情況下LDCRF的識別率遠比CRF和HCRF要高，這主要是由于LDCRF模型對動作內部和外部運動特征同時建模，形成了更好的模型識別能力。雖然在某些區域下，LDCRF模型的識別率波動較大，其主要原因是由于模型中的隱狀態屬性和長遠相關性可能帶來了冗余信息，導致了模型性能下降。隨著窗口的增大，LDCRF模型的平均識別率也隨之增加，但同時模型所需的計算時間和占用的資源也隨之增大，并且呈線性增加，所以在進行窗口尺寸選擇時要充分考慮這些問題，不能為了提高識別率而一味的增大窗口尺寸。在窗口尺寸很小的情況下，LDCRF的識別性能也表現的很不錯，而且在日常的視頻監控系統中我們一般都采用低于30幀/s來進行監控，這樣為在線行為識別提供了可能。

圖5 不同窗口下CRF，HCRF，LDCRF的識別率

4 結束語

本文提出一種基于星形距離的LDCRF模型的人體行為識別方法，通過對人體運動圖像進行輪廓提取，使用輪廓質心到輪廓邊緣采樣點的星形距離對人體運動特征進行描述，對人體運動姿態進行LDCRF 建模識別。通過對比CRF、HCRF和LDCRF 對未分段視頻序列的行為識別結果，得出了LDCRF 在行為建模和行為識別能力上都優于CRF和HCRF，并且還具有一定的穩定性和抗干擾性。

［1］Moeslund TB，Hilton A，Kruger V.A survey of advances in vision－based human motion capture and analysis［J］.Computer Vision and Image Understanding，2006，104 （23）：90－126.

［2］Fuentes D，Gonzalez－Abril L，Angulo C，et al.Online motion recognition using an accelerometer in a mobile device［J］.Expert Systems with Applications，2012，39 （3）：2461－2465.

［3］Zhu Chun，Sheng Weihua.Motion and location based online human daily activity recognition ［J］.Pervasive and Mobile Computing，2011，7 （2）：256－269.

［4］Andrea Mannini，Angelo Maria Sabatini.On－line classification of human activity and estimation of walk－run speed from acceleration data using support vector machines［C］//Engineering in Medicine and Biology Society，Annual International Conference of the IEEE，2011：3302－3305.

［5］Morency Louis－Philippe，Ariadna Quattoni，Trevor Darrell.Latent－dynamic discriminative models for continuous gesture recognition ［C］//Computer Vision and Pattern Recognition，2007：1－8.

［6］HUANG Feiyue，XU Guangyou.Viewpoint independent action recognition ［J］.Journal of Software，2008，19 （7）：1623－1634.

［7］HUANG Tianyu，SHI Chongde，LI Fengxia，et al.Discrimi－native random fields for online behavior recognition ［J］.Chinese Journal of Computers，2009，32 （2）：275－281 （in Chinese）.［黃天羽，石崇德，李鳳霞，等.一種基于判別隨機場模型的聯機行為識別方法 ［J］.計算機學報，2009，32 （2）：275－281.］

［8］Zhang Xuetao，Zheng Nanning，Wang Fei，et al.Visual recognition of driver hand－held cell phone use based on hidden CRF［C］//Vehicular Electronics and Safety，2011：248－251.

［9］LI Zheng.Mastering Matlab digital image process and identification ［M］.Beijing：Posts ＆Telecom Press，2013 （in Chinese）.［李錚.精通Matlab數字圖像處理與識別 ［M］.北京：北京人民郵電出版社，2013.］

［10］Zhang Shengjun，He Xiaohai，Teng Qizhi.Fuzzy－based latent－dynamic conditional random fields for continuous gesture recognition ［J］.Optical Engineering，2012，51 （6）：067202－1－067202－8.

［11］Mahmoud Elmezain，Ayoub Al－Hamadi.LDCRFs－based hand gesture recognition ［C］//Systems，Man，and Cybernetics，2012：2670－2675.