基于Hu矩和紋理特征結(jié)合的人體異常行為識(shí)別

王向東, 張麗紅

(山西大學(xué) 物理電子工程學(xué)院， 太原 030006)

基于Hu矩和紋理特征結(jié)合的人體異常行為識(shí)別

王向東, 張麗紅

(山西大學(xué) 物理電子工程學(xué)院， 太原 030006)

為了提高人體異常行為識(shí)別的準(zhǔn)確率，采用了一種將多特征結(jié)合的異常行為識(shí)別算法，主要包括對(duì)步行、快跑、慢跑、拳擊、雙手揮舞及鼓掌6種異常行為進(jìn)行識(shí)別;首先從視頻流中提取出人體輪廓，然后從所得的輪廓中提取Hu矩特征與紋理特征;最后通過(guò)模板匹配的方法，采用馬氏距離度量所需識(shí)別的當(dāng)前行為特征向量與標(biāo)準(zhǔn)模板行為的特征向量之間的相似性，并通過(guò)設(shè)置相應(yīng)的閾值判定該行為所屬類別;實(shí)驗(yàn)證明，該方法比提取單一特征的方法識(shí)別率高，且具有一定的實(shí)用價(jià)值。

Hu矩;紋理特征;馬氏距離;模板匹配;行為識(shí)別

0 引言

近年來(lái)，人體異常行為識(shí)別已成為圖像處理、模式識(shí)別中的研究熱點(diǎn)。它在虛擬現(xiàn)實(shí)、圖像檢索、視頻檢索、視頻監(jiān)控等領(lǐng)域具有廣泛的應(yīng)用價(jià)值。但是，由于真實(shí)環(huán)境的復(fù)雜性，行為序列的非剛性等特點(diǎn)使得人體異常行為識(shí)別成為一個(gè)具有挑戰(zhàn)性的研究領(lǐng)域。目前主要有兩種行為識(shí)別的方法[1]:基于模板匹配的方法和狀態(tài)空間法。第一種方法首先將圖像序列轉(zhuǎn)換為一組靜態(tài)模式，然后在識(shí)別過(guò)程中與提前存儲(chǔ)的行為進(jìn)行比較。其優(yōu)點(diǎn)是實(shí)現(xiàn)簡(jiǎn)單，計(jì)算量小，缺點(diǎn)是識(shí)別率低。第二種方法首先定義每個(gè)靜態(tài)姿勢(shì)作為一個(gè)運(yùn)動(dòng)狀態(tài)，所有這些狀態(tài)之間通過(guò)概率聯(lián)系起來(lái)。任何運(yùn)動(dòng)序列都可以看成是這些靜態(tài)姿勢(shì)的不同狀態(tài)之間的一次遍歷過(guò)程，然后在這些遍歷期間計(jì)算它們的聯(lián)合概率，并且將最大值作為分類行為的標(biāo)準(zhǔn)。其優(yōu)點(diǎn)是識(shí)別率高，但計(jì)算量大，在視頻監(jiān)控中異常行為識(shí)別時(shí)實(shí)時(shí)性較差。

模板匹配行為識(shí)別的關(guān)鍵步驟如下：第一步進(jìn)行特征提取；第二步進(jìn)行特征識(shí)別[2]。行為識(shí)別其實(shí)也就是特征的識(shí)別。Hu矩對(duì)形狀的描述比較準(zhǔn)確，但對(duì)細(xì)節(jié)未能很好地描述出來(lái)，導(dǎo)致對(duì)圖像的描述不夠充分，而紋理特征正好可以描述圖像的細(xì)節(jié)成分，將兩種特征結(jié)合起來(lái)，可以更加準(zhǔn)確地描述人體行為。因此本文將圖像的Hu矩[3]和紋理特征結(jié)合起來(lái)度量人體行為，采用馬氏距離計(jì)算當(dāng)前行為與模板行為之間的相似度，進(jìn)行模式識(shí)別[4]。

1 紋理特征和Hu矩的特征提取

1.1 紋理特征

紋理特征[5]是識(shí)別和描述物體的一種極為重要的視覺(jué)特征。圖像的紋理特征反映了圖像中反復(fù)出現(xiàn)的局部模式和排列規(guī)律，紋理特征提取的方法主要有結(jié)構(gòu)方法、統(tǒng)計(jì)方法、模型方法和信號(hào)處理方法。結(jié)構(gòu)方法主要基于“紋理基元”進(jìn)行分析，找出紋理的基元，它認(rèn)為紋理是由無(wú)數(shù)的基元組成，不同種類的基元、數(shù)目、方法決定了紋理的表現(xiàn)形式。統(tǒng)計(jì)的方法是基于像素及其鄰域的灰度特性，研究紋理區(qū)域中的統(tǒng)計(jì)特性。信號(hào)處理的方法是建立在時(shí)、頻分析的基礎(chǔ)之上，首先對(duì)紋理中的特定區(qū)域進(jìn)行某種變化，再在變換后的圖像中提取平穩(wěn)的特征值，將這個(gè)特征值作為特征來(lái)表示圖像區(qū)域間的差異性和區(qū)域內(nèi)部的相似性。模型的方法，假設(shè)紋理是以某種參數(shù)控制的分布模型方式形成的，從紋理圖像的實(shí)現(xiàn)來(lái)估計(jì)計(jì)算模型參數(shù)，將該參數(shù)作為特征。本文采取了統(tǒng)計(jì)方法中的灰度共生矩陣描述紋理特征,該方法提取的紋理特征具有很強(qiáng)的識(shí)別能力。

灰度共生矩陣被定義為從灰度值為i的點(diǎn)離開(kāi)某個(gè)固定位置到達(dá)灰度為j的概率。灰度共生矩陣用Pd(i,j)(i,j=0,1,2...L-1)表示。i、j表示灰度值，d表示兩個(gè)像素的位置關(guān)系,d一般取1。θ表示矩陣的生成方向，一般取135°、45°、90°、0°四個(gè)方向，如圖1所示。

圖1 灰度共生矩陣

共生矩陣的每一個(gè)元素代表了一種灰度組合下的次數(shù)，例如pd(m,n)代表了圖像中灰度值為m和n的兩個(gè)像素相距為d的出現(xiàn)的次數(shù)。然后將共生矩陣的每一個(gè)值除以總和就得到了歸一化共生矩陣。

從歸一化共生矩陣?yán)锟梢蕴崛?4個(gè)特征，研究發(fā)現(xiàn)只有4個(gè)特征是不相關(guān)的，這4個(gè)特征可以實(shí)現(xiàn)較高的識(shí)別率。本文也只提取了這4個(gè)特征，作為識(shí)別行為的特征向量。

1)能量:

(1)

能量是灰度共生矩陣各元素的平方和，反映了圖像紋理的粗細(xì)程度和圖像灰度分布的均勻程度。

2)對(duì)比度:

(2)

對(duì)比度反映了圖像溝紋深淺的程度和圖像的清晰度。

3)熵:

(3)

熵表示圖像的非均勻程度和復(fù)雜程度。它是圖像信息度的測(cè)量。

4)相關(guān):

(4)

式中,4個(gè)參數(shù)的定義為：

相關(guān)反映了灰度共生矩陣各元素的相似程度。

1.2 Hu矩

Hu矩[6]是Hu在1962年提出的，Hu矩可以作為圖像的形狀特征。Hu在文中提出了7個(gè)幾何不變矩，這些變量滿足旋轉(zhuǎn)，平移和伸縮不變性。對(duì)于一幅數(shù)字圖像，假設(shè)x，y為圖像中任意一點(diǎn)的坐標(biāo)，則離散的Hu矩和對(duì)應(yīng)的中心矩為：

(5)

p,q為0,1,2…，并且是整數(shù)。

(6)

(7)

對(duì)應(yīng)的歸一化的中心距被定義為：

(8)

從三階矩和二階矩，我們可以推出7個(gè)不變矩。

φ1=η20+η02

(9)

φ2= (η20-η02)2+ 4η112

(10)

φ3=(η30-3η12)2+(3η21-η03)2

(11)

φ4=(η30+η12)2+(η21+η03)2

(12)

φ5=(η30-3η12)(η30+η12)[(η30+η12)2-3(η21+η03)2]+

(3η21+η03)(η21+η03)[3(η30+η12)2-(η21+η23)2]

(13)

φ6=(η20-η02)[(η30+η12)2-(η21+η03)2]+

4η11(η30+η12)(η21+η03)

(14)

φ7=(3η21+η03)(η30+η12)[(η30+η12)2-

3(η21+η03)2]+(3η12-η30)(η21+η03)

[3(η30+η12)-(η21+η03)2]

(15)

2 特征提取

主要對(duì)跑、慢跑、步行、雙手揮舞、拳擊、鼓掌六種異常行為進(jìn)行識(shí)別研究。對(duì)于每一種行為，提取7個(gè)Hu矩和4個(gè)紋理特征，由此組成一個(gè)11維的特征向量。因此每一種行為的特征可以用一個(gè)特征向量表示：Mj=(M1,M2,M3,M4,M5,M6,M7,M8,M9,M10,M11)。提取6種行為的標(biāo)準(zhǔn)模板的特征向量，如表1所示。

3 相似性度量

為了將不同的模式劃分為不同的類別，需要定義一種相似性來(lái)測(cè)量不同樣本間的相似性。一般的相似性測(cè)量大概有3種類型：相似測(cè)量、距離測(cè)量、匹配測(cè)量[7]。本文使用距離測(cè)量中的馬氏距離進(jìn)行測(cè)量。

本文采用馬氏距離測(cè)量正常行為與異常行為之間的相似度。馬氏距離是一種有效測(cè)量?jī)蓸颖镜南嗨贫鹊姆椒āＥc歐式距離不同的是它考慮了各種特征之間的相互關(guān)系，并且與尺度無(wú)關(guān)。歐式距離將樣本的不同屬性同等看待，這一點(diǎn)有時(shí)不能滿足實(shí)際要求。第i個(gè)樣本與第j個(gè)樣本的馬氏距離用式(16)計(jì)算[8]：

d2(xi,yj)=(xi-yj)TV-1(xi-yj)

(16)

式中,

(17)

(18)

表1 標(biāo)準(zhǔn)行為模板的特征向量值

其中:Xi和yj分別為第i個(gè)和第j個(gè)樣本的m個(gè)特征所組成的特征向量，V為樣本協(xié)方差矩陣。

4 模板匹配

提取出步行、慢跑、快跑、拳擊、雙手揮舞、鼓掌每種標(biāo)準(zhǔn)行為的11個(gè)特征，各自組成一個(gè)特征向量。然后分別提取出每個(gè)測(cè)試樣本的特征向量，進(jìn)行模板匹配。計(jì)算測(cè)試樣本與標(biāo)準(zhǔn)模板的馬氏距離，進(jìn)行判別行為所屬類別，如果測(cè)試圖像與模板圖像的馬氏距離最小，就將它的類別作為已知的行為類別。

5 實(shí)驗(yàn)結(jié)果與分析

在Matlab2012b平臺(tái)下,采用KTH圖像數(shù)據(jù)庫(kù)對(duì)本文的算法進(jìn)行驗(yàn)證，該數(shù)據(jù)庫(kù)包括6類行為：步行、慢跑、跑、拳擊、雙手揮舞和鼓掌，是由25個(gè)不同的人執(zhí)行的，分別在4個(gè)場(chǎng)景下，一共有299段視頻。

分別從6種行為各自的視頻里面，每種行為連續(xù)抽取300幀圖片。然后提取每一幀圖片的一個(gè)特征向量，該特征由本文所提出的Hu矩和紋理特征組成。然后用馬氏距離測(cè)量它們與標(biāo)準(zhǔn)模板之間的距離，進(jìn)行判別行為所屬類別。表2為其6種行為的識(shí)別率。

表2 6種行為的識(shí)別率

為了測(cè)試提取不同的特征值對(duì)算法的識(shí)別率，在相同的圖像庫(kù)中進(jìn)行測(cè)試。步驟和之前相同，只提取它的Hu矩，進(jìn)行6種行為的識(shí)別。圖2給出了兩種算法識(shí)別率的比較情況。

圖2 兩種算法的識(shí)別率比較

本方法對(duì)于簡(jiǎn)單的日常行為具有較高的識(shí)別率，但由于Hu矩主要描述的是形狀特征，對(duì)于跑步與慢跑，步行等形狀相似的圖片識(shí)別率未能達(dá)到理想水平。也就是如果兩種行為的人體姿勢(shì)形狀相似，就容易引起錯(cuò)誤的識(shí)別。

6 結(jié)論

本文基于模板匹配的人體異常行為識(shí)別，將紋理特征與Hu矩結(jié)合起來(lái)，完整地描述了行為的特征，實(shí)驗(yàn)證明比單純提取Hu矩特征的識(shí)別率高很多。最后用馬氏距離測(cè)量當(dāng)前行為與標(biāo)準(zhǔn)行為的相似度，實(shí)驗(yàn)證明比用歐式距離識(shí)別率高，它考慮了行為的各種特征的相關(guān)性。最后在KTH數(shù)據(jù)集上測(cè)試，取得了較高的識(shí)別率，對(duì)于形狀特征明顯的行為，識(shí)別率很高。但對(duì)于跑和慢跑兩種動(dòng)作的識(shí)別率有待于進(jìn)一步提升。

[1] 徐光祐，曹媛媛.動(dòng)作識(shí)別與行為理解綜述[J].中國(guó)圖像圖形學(xué)報(bào)，2009,14(2):189-195.

[2] 李 彤. 基于 HOG 特征提取的騎車人檢測(cè)算法研究[J]. 電子技術(shù)與軟件工程,2015,08:99.

[3] Hu M K．Visual pattern recognition by moment in variant[J]．IEEE Transactions on information theory，2006，8(2)：179-187．

[4] 吳香華,牛生杰,吳誠(chéng)鷗,等. 馬氏距離聚類分析中協(xié)方差矩陣估算的改進(jìn)[J]. 數(shù)理統(tǒng)計(jì)與管理,2011,02:240-245.

[5] Haralick R M, Shanmugam K. Texture features or image classification[J]. IEEE Trans. on Sys, Man, and Cyb, 1993, SMC-3(6):610-621.

[6] 張 偉,何金國(guó). Hu不變矩的構(gòu)造與推廣[J]. 計(jì)算機(jī)應(yīng)用,2010,09:2449-2452.

[7] Hung W L，Yeng M S，Similarity Measures of intuitionistic Fuzzy Sets Based on Lp Metric[J]．Approximate Reasoning，2007，46(i)：120-136.

[8] Qing Q, Zhang X A, Li A H. Research on the application of Mahalanobis distance in catastrophic faults detection of analog circuits [J]. Electronic measurement and Instrument, 2009, 23(7): 41-44.

Recognition of Human Abnormal Action Based on Hu-Moment and Texture Feature

Wang Xiangdong，Zhang Lihong

(College of Physics and Electronic Engineering，Shanxi University，Taiyuan 030006，China)

In order to improve the accuracy of human abnormal behavior recognition, an action recognition algorithm using multiple features is employed in this paper, actions mainly including walking, jogging, running, boxing, hand waving, hand clapping. Firstly, human silhouette is extracted from video flowing. Then, Hu-moment features and texture features are extracted from this silhouette. Finally, the similarity between current behavior feature vectors and feature vectors of standard template is calculated using Mahalanobis distance. Experiment results show that this method has a higher recognition rate than that which extracts unique feature and it is of a great practical value.

Hu-moment; texture feature; Mahalanobis distance; template matching; behavior recognition

2016-11-04；

2016-11-28。

山西省科技攻關(guān)計(jì)劃(工業(yè))資助項(xiàng)目(2015031003-1)。

王向東(1992-)，男，碩士，主要從事圖像處理、模式識(shí)別方向的研究。

1671-4598(2017)04-0179-03

10.16526/j.cnki.11-4762/tp.2017.04.049

TP18

A