基于高層語義詞袋的人體行為識別方法

黃少年 施 游

（1．湖南商學院計算機與信息工程學院，湖南 長沙 410205；2．湖南師范大學，湖南 長沙 410083）

基于高層語義詞袋的人體行為識別方法

黃少年1施 游2

（1．湖南商學院計算機與信息工程學院，湖南 長沙 410205；2．湖南師范大學，湖南 長沙 410083）

人體行為分析為視頻監控系統、視頻檢索系統提供重要的研究基礎。本文提出了一種基于高層語義詞袋模型的人體行為識別方法。該方法根據底層詞袋中詞匯的相關關系，構造出一個基于詞匯交互信息量的底層詞匯圖；然后使用層次聚類的方法對該圖進行分割，得到底層詞匯組模型，最后將該模型表示為高層語義詞袋模型。實驗結果表明，該方法可以高效地識別視頻中的人體行為。

行為識別；語義詞袋；視頻監控

1 引言

人體行為分析是計算機視覺領域的重要分支，其在智能視頻監控、視頻分類和檢索、人機交互等領域具有重要意義。由于視頻場景的復雜性（如：遮擋、多對象交互、光照變化等），人體行為識別仍是計算機視覺領域中最具挑戰性的問題[1]。

一般來說，人體行為分析的方法主要包含兩部分：行為模型的表示和行為分類的方法。行為模型的表示一般可大致分為五類：基于形狀的模型、運動模型、肢體幾何模型、興趣點模型和動態模型。基于形狀模型的人體行為識別方法通常需要精確地估計視頻中運動對象的輪廓，從而提取運動對象。這類方法通常不受運動對象的光照、顏色和紋理變化的影響，但運動對象的精確提取依舊是一個需要深入研究的問題[2]。基于運動模型的方法提取運動對象的各種行為特征，如光流、時空卷、3D局部運動特征等。基于肢體幾何模型的方法通過構造帶參數的集合模型進行人體行為的識別[2]。基于興趣點模型的方法是一種研究得最為廣泛的行為識別方法。該類方法使用興趣點表示人體行為，如：時空興趣點模型、運動立方體模型等。基于動態模型的方法需要定義每個人體行為的靜態姿勢以及其運動過程，是比較早期的行為識別模型。在行為分類的方法中，基于機器學習的方法應用得較為廣泛，如NN分類器、SVM分類器等[2]。

本文首先提取視頻的各種視覺特征，形成低級特征詞袋模型，然后通過圖模型構造一個高層語義的詞袋模型，并以此進行人體行為的識別，實驗結果表明，該詞袋模型能有效地識別各種實驗數據庫中的各種人體行為。

2 底層特征詞袋表示

詞袋模型最早被提出是用于文本檢索的研究[3]。人體行為識別中的詞袋模型通常首先提取訓練視頻或訓練圖像的各種特征，然后通過聚類算法形成詞典。而測試視頻或圖像通常被看成一個由詞典詞匯組成的文檔，通過將視頻或圖像表示成詞典直方圖的形式來進行人體行為的識別。本文首先提取視頻的視覺特征，形成底層特征詞袋模型。本文中使用的底層特征描述子如下：

SIFT：由于SIFT特征的尺度不變性、旋轉不變性和視角無關性，該特征被廣泛用于視頻內容分析的各個領域，如運動對象檢測、視頻概念檢測等。本文使用高斯差分算子提取視頻中的局部特征點，并通過提取特征點梯度信息，得到128維的特征描述子表示特征點。

STIP：運動特征也是視頻序列中的重要信息。時空興趣點(STIP)通過提取圖像序列中在時間和空間上具有明顯變化的特征點來表示視頻的運動信息。本文使用Harris3D角點檢測器定位時空卷，再將該時空卷劃分成18個網格單元。對每個網格單元，本文計算其4維梯度直方圖和5維光流直方圖。通過梯度直方圖和光流直方圖的直接連接，得到162維的運動特征描述子[4]。

為了得到底層特征的詞袋表示模型，我們使用k-mean均值聚類方法對上述特征描述子進行聚類，得到SIFT特征詞典和STIP特征詞典。實驗階段的每個視頻序列，都表示成為詞典直方圖的描述形式，方便后續討論高層語義詞袋模型。

3 高層語義詞袋表示

詞袋表示模型由于采用數據特征的稀疏表示，結構簡潔方便，已經在多種視頻分析應用中展示出了良好的實際效果。但由于在構造特征詞典時，忽略了視頻行為中暗含的時序和結構信息，其在復雜人體行為識別中的實際效果還有待進一步提高。本文針對低級特征詞袋的這一特性，根據低級特征詞袋的相關性，設計了一個基于高層語義的特征詞袋表示，以此進行人體行為識別。

3.1 低級特征詞袋圖表示

根據底層特征的相關性，我們構造了一個底層特征圖來描述底層特征詞袋圖，并通過對圖的分割，得到高層特征詞袋的表示。我們將含有n個視頻的訓練集表示為T= {ti}n

i=1,第i個視頻的SIFT特征直方圖表示為h1i,第i個視頻的STIP特征直方圖表示為h2i,因此，第i個視頻的底層特征可表示為hi={[ h1i,h2i}。通過對所有訓練視頻的底層特征進行均值聚類，我們得到了基于SIFT特征的詞袋表示模型w1= {w1

1,w12,……w1n}和基于STIP特征的詞袋表示模型w2= {w12,w22,……w2m}，其中參數n，m分別表示SIFT單詞和STIP單詞的個數。

我們定義了一個無向圖G={V，E}，其中V和E分別表示頂點和邊的集合。頂點V的集合表示為V=V1?V2，其中v1對應于模型w1中的單詞，而v2對應于模型w2中的單詞。邊集合E中的每條邊分別連接v1中的SIFT單詞和v2中的STIP單詞。為了度量底層特征STIP和SIFT之間的相關關系，我們基于點交互信息量來進行描述。首先我們對所有視頻的特征直方圖表示hi進行歸一化，則圖G中的任意邊k，l之間的權值wkl可表示為：

其中h1k2l表示聯合概率密度。通過以上定義，我們描述了底層特征之間的相關關系圖，圖1示意了底層特征關系圖，根據此圖，我們對圖進行分割，并提取高層語義特征表示。

圖1 低級特征詞袋圖

3.2 詞袋圖分割

為提取高層語義詞袋，我們對3.1節中的特征詞袋圖進分割。根據圖割理論[11]，圖割度量了不同邊集合之間的差異性以及同一邊集合內部的相似性。本文采用基于邊集合內部的最大相似性進行圖割表示[12]，邊集合的最大相似性定義為：

其中w(Vi，Vi)表示頂點集合中的Vi所有邊權值的和，d (Vi)表示頂點集合Vi中所有頂點的度。

本文采用了一種貪婪層次聚類的方法進行圖分割。我們定義了一個邊的變化關聯矩陣?來進行初始分割：

其中,(u，v)表示聚類得到的頂點集合，初始聚類時，(u，v)表示邊集合中的E中的頂點。在每一次聚類過程中，我們選擇矩陣?中的具有最大元素值的頂點形成新的聚類組uv*，將該新的聚類組uv*插入矩陣?，并刪除該矩陣中原有的和頂點(u，v)的行和列。新的聚類組uv*和其余頂點的邊權值關系按以下公式進行更新：

按照上述方法進行層次聚類，最終得到新的特征組表示，即高層語義特征表示。

3.3 人體行為識別

通過3.2節中的圖分割方法，我們得到不同的特征組表示，將不同特征組中的底層特征進行連接，即可表示為新的高層語義詞袋模型w={w1，w2，……wk},其中k表示高層語義詞袋模型中單詞的數目。

為了進行后續的行為識別，我們需要將每個視頻的特征表示池化了高層語義詞袋的形式，本文采用平均池化的方法來進行底層特征的池化，并得到視頻的高層語義詞袋表示的直方圖表示H={H1，…，Hl}。

在行為識別的方法上，由于基于SVM的方法在人體動作識別上表現出的優越性能，本文使用基于x2核的SVM方法進行動作識別：

其中，Hin和Hjn表示高層詞匯的頻率直方圖，l表示高層詞袋模型中詞匯的數目。

4 實驗

圖2 KTH數據庫示例圖

本節中，我們將評價本文方法及其它相關方法在實驗數據庫上的性能比較。我們使用人體行為識別中的常用數據庫KTH數據庫[5]進行性能評價。該數據庫中包含六種人體行為：走、慢跑、跑、拳擊、揮手和鼓掌，如圖2所示。該數據庫中的每種動作由25個不同的主體對象在四種場景下完成。該數據庫中的視頻背景相對靜止、攝像機的運動比較簡單。該數據庫中共包含2391個視頻片段。本文采用與文獻中相同的實驗設置，將數據庫中9個主體對象的運動序列作為測試集（主體：2,3,5，6,7,8,9,10,22），余下主體對象的運動序列作為訓練集。

本文采用文獻中[6]的Harris3D角點檢測器提取的不同時空描述子與本文提出的高層語義詞袋（HC_based）方法分別在KTH數據庫上進行人體行為識別的實驗，并統計了不同方法在各類視頻序列中的識別精度以及其平均精度（MAP），其對比結果如下：

表1 KTH數據庫上基于不同方法的行為檢測精度

從對比實驗的結果中可看出，在基于底層特征詞袋的方法中，基于HOF特征和HOG/HOF特征的檢測方法在KTH數據庫上取得了較好的效果，而本文基于高層語義詞袋的方法在平均檢測精度上則高于上述兩種方法。特別地，在“慢走”和“揮手”這兩類視頻中，本文的方法取得了較好的識別精度，而在傳統方法中，這兩類視頻的識別精度通常不高。由此可見，本文提出的基于高層語義詞袋的視頻行文分析方法有效地改進了現有的詞袋表示方法，在視頻行為識別的應用中有一定的實際意義。

5 結論

視頻行為分析是視頻監控系統中的重要內容，通過對視頻中人體行為的識別，可以為視頻監控系統、視頻檢索系統提供重要的研究基礎，因此，視頻行為分析已經成為機器視覺領域的一個重要研究課題。本文通過對現有的基于語義詞袋方法不足的分析，提出了一種基于高層語義詞袋模型的人體行為識別方法。該方法通過構造底層語義詞袋圖模，提取具有相關關系的底層語義詞袋組，從而構成高層語義詞袋。通過與現有方法的實驗對比結果，可以看出，本文的方法提高了現有方法的檢測精度。在以后的工作中，我們將進一步將本文方法應用到不同的實驗視頻中，提高本文方法的適用性。

[1]滿君豐，李倩倩，溫向兵．視頻監控中可變人體行為的識別[J]．東南大學學報：自然科學版，2011，41(3)：492-497．

[2]邵延華，郭永彩．基于特征融合的人體行為識別[J]．光電子．激光，2014(9)：1818-1823．

[3]秦華標，張亞寧．蔡靜靜．基于復合時空特征的人體行為識別方法[J]．計算機輔助設計與圖形學學報，2014，26(8)：1320-1325．

[4]雷慶，陳鍛生，李紹滋．復雜場景下的人體行為識別研究新進展[J]．計算機科學，2014，41(12)：1-7．

[5]Schuldt C，Laptev I．Recognizing Human Actions：Alocal SVM Approach[C]//Proc．of the 17th International Conference on Pattern Recognition．Cambridge，UK：IEEE Computer Society，2004：32．

[6]Laptev I，Marszalek M，Schmid C，et al．Learning realistic human actions from movies[C]．In CVPR．USA：IEEE，2008：1-8．

HumanActivity Recognition Based on High-level Semantic Codebook

Huang Shaonian1Shi You2
(1.Hunan University of Commerce,Changsha 410205,Hunan;2.Hunan Norma University,Changsha 410084,Hunan）

act】Human activity recognition is the important basis of video surveillance system.In this paper,a new activity recognition method is proposed based on the high-level codebook.We construct a code-word graph based on the mutual information of lowlevel code-words,and then partition the graph into different groups,which discover the high-level code-words patterns.Experimental result shows that the proposed method can effective recognize human activities.

activity recognition;semantic codebook;video surveillance

TP391

A

1008-6609(2015)03-0037-03

黃少年，女，湖南常德人，博士，講師，研究方向:機器視覺、視頻內容分析等。

湖南省教育廳資助科研項目，項目編號：No．13C474。