FD+HOG融合人體行為識別

史東承, 衡瑤瑤

(長春工業(yè)大學 計算機科學與工程學院， 吉林 長春 130012)

0 引 言

隨著人類社會的穩(wěn)步發(fā)展，計算機視覺領域的蒸蒸日上，人體行為識別技術也慢慢深入到我們生活的方方面面，人類的衣食住行已離不開科技產(chǎn)品的輔助。人體行為識別技術的發(fā)展對社會公共設施提供了便利，例如養(yǎng)老院、醫(yī)院、警察局等處處體現(xiàn)了該技術的重要性。人體行為識別主要研究特征提取和分類識別兩個方面。近年來，研究者們已經(jīng)提取出了解決特征提取識別率低的方法。在特征提取研究中主要是根據(jù)圖像的紋理、梯度、形狀等特征提出了許多特征描述子，主要包括局部二值模式(Local Binary Patterns, LBP)、方向梯度直方圖(Histogram of Oriented Gradient, HOG)、尺度不變特征變換(Scale-Invariant Feature Transform， SIFT)以及傅里葉描述子(Fourier Descriptor, FD)等。

圖像形狀的特征方法：

1)區(qū)域的形狀特征提取，如Hu不變矩[1]分別提取訓練樣本和測試樣本的HOG和加權(quán)Hu矩自適應融合參數(shù)將兩者融合后，進行模板匹配達到識別的效果對噪聲干擾有很好的魯棒性。

2)邊界的形狀特征提取，如HOG[2]是對織物疵點的檢測，通過疵點的灰度和紋理特征用HOG提取的紋理特征，超像素分割提取灰度特征，用低秩分解融合特征來檢測疵點。和傅里葉變換[3]將人體姿勢的二維輪廓進行傅里葉變換生成傅里葉描述子結(jié)合SVM進行姿勢識別,其他方法，如小波[4]使用離散小波紋理特征獲得均勻完整局部二值模式變換特征提取技術產(chǎn)生了最好的分類精度。

在分類識別研究方面主要有K最近鄰(K Nearest Neighbor， KNN)、隱馬爾可夫模型(Hidden Markov Model， HMM)、支持向量機(Support Vector Machine， SVM)等方法。文獻[5]證明了KNN分類器的性能顯著地提高了在給定數(shù)據(jù)集中成對比較特征時基于訓練類組統(tǒng)計的兩個標準的使用。文獻[6]提出了一種交互的嵌入式隱馬爾可夫模型框架的自動檢測和分類人類個體行為和群體互動。文獻[7]提出了一種結(jié)合測地線圖和支持向量機(SVM)的人工關節(jié)估計算法。文獻[8]提出一種基于隱馬爾可夫模型和支持向量機混合模型的音頻分類方法,用于語音、音樂、語音+音樂、靜音四類音頻分類。考慮到提取特征復雜度和識別率，文中提出了基于改進后的HOG特征+FD特征融合的方法表征圖像的特征+SVM完成分類識別。該方法首先分別提取出人體行為數(shù)據(jù)庫中每幀圖像的HOG特征和FD特征，然后用PCA對HOG特征降維，將降維后的HOG特征改進與FD特征融合放入SVM中訓練識別。實驗表明，文中算法在人體行為識別中識別率可達到86%以上。

1 研究方法

文中算法大概流程有三部分：目標檢測、特征融合、分類識別。人體行為數(shù)據(jù)庫為小段視頻，首先用背景差分法將視頻幀中的前景目標提取出來保存成圖片格式，然后對圖片進行預處理獲取人體的輪廓形狀，將人體形狀作為輸入提取圖像的HOG+FD的融合特征，最后進入SVM分類識別。

人體行為識別算法流程如圖1所示。

圖1 人體行為識別算法流程

1.1 背景差分法提取目標前景

背景差分法實際上就是根據(jù)視頻序列的圖像構(gòu)建一個背景模板，后面的圖像與其做減法的方法。文中采用中值背景建模的方法，選視頻幀的前15幀來作為背景建模，然后從16幀開始與背景圖形做差分運算，選擇出合適的閾值對差分圖像作二值化。得到的目標圖像做邊緣檢測得到目標輪廓。

KTH數(shù)據(jù)庫中提取的輪廓圖如圖2所示。

圖2 KTH數(shù)據(jù)庫中提取的輪廓圖

1.2 傅里葉描述子

FD描述全局特征的矩陣，表示圖像輪廓形狀的特征，將處理后的圖像輪廓曲線用坐標點構(gòu)建成一維序列后，對其進行一維的傅里葉變換，從而獲得可以描述輪廓信息的一系列傅里葉系數(shù)。其能量主要集中于少數(shù)幾個低頻傅里葉系數(shù)，因此少數(shù)系數(shù)就可以描繪該序列特征。人體行為輪廓通過上面方法已經(jīng)得到，取輪廓任一點(x0,y0)開始，沿著圖像輪廓逆時針方向前進，輪廓上的點表示為(x0,y0)，(x1,y1)，(x2,y2)，…，(xn,yn)，構(gòu)成一條封閉輪廓曲線，在X-Y坐標平面看成一個復平面，則可以看成一列一維的復數(shù)序列cn，即cn=xn+jyn(n=1,2,…,n-1)。接下來對該離散序列做傅里葉變換。輪廓的傅里葉描述子見下式:

(1)

1.3 HOG特征提取

HOG是描述局部特征的算法。它提取圖像特征的方式是計算圖像局部區(qū)域的梯度和方向，然后進行統(tǒng)計得到。在一幅圖像中，圖形局部的邊緣或梯度的方向密度分布能夠很好地描述圖像的形狀。對圖像進行HOG特征提取的步驟如下：

1)標準化。輸入提取輪廓后的圖像，將像素點灰度值通過伽馬校正歸一化[0,1]范圍。

2)計算每個像素的梯度。采用[-1,0,1]的梯度算子來計算圖像的水平和垂直的梯度。

3)圖像分割為單元格。把整個圖像分割為一個一個的Cell單元格(16*16像素)。

4)單元格構(gòu)建梯度直方圖。將圖像分成若干的Cell單元格(16*16像素)，把0°～360°分成9個bin作為梯度的方向，對cell內(nèi)每個像素用梯度方向在直方圖中進行加權(quán)投影，就可以得到這個cell的梯度方向直方圖了，即對應9維特征向量。

5)Block塊內(nèi)梯度直方圖。把各個細胞單元組合成大的、空間上連通的區(qū)間(blocks)。這樣，一個block內(nèi)所有cell的特征向量串聯(lián)起來便得到該block的HOG特征。

6)收集特征。將圖像中的所有Block特征描述子收集起來就是整張圖像的特征描述子。

KTH人體行為數(shù)據(jù)庫中跑步動作的梯度方向直方圖如圖3所示。

圖3 KTH人體行為數(shù)據(jù)庫中跑步動作的梯度方向直方圖

1.4 對HOG特征降維

主成分分析(Principal Component Analysis， PCA)，通常是用來為高維特征降維。PCA的步驟為：

1)文中將圖像的尺寸歸一化為120*90大小的圖片，用HOG提取圖像特征后得到30*24維的特征描述子;

2)通過協(xié)方差公式[9]可以得到24*24維的HOG的協(xié)方差矩陣，得到特征向量和特征根;

3)根據(jù)貢獻量從大到小排列得到新的矩陣，將每張圖像降維到576維。

1.5 FD+HOG特征融合

FD是一個基于全局提取特征描述子的算法，HOG是一個基于局部提取特征描述子的算法，將兩個算法中的改進部分相融合，可以有效地提高人體行為識別的識別率。傅里葉變換可以將能量集中在極少的幾個低頻系數(shù)上，即用少數(shù)的幾個特征描述子就可以很好地保證序列幀的特征。經(jīng)過多次試驗結(jié)果證明，在KTH數(shù)據(jù)庫中采用6維的FD可以集合SVM，達到80.33%的識別率。HOG特征經(jīng)過PCA降維后得到576維的特征描述子，根據(jù)PCA的原理特征，矩陣的特征值是由大到小排列的，根據(jù)其貢獻量大小排列。文中算法選取其貢獻量的90%來識別效果最好，可以達到83.33%的識別率。文中的算法是將兩個特征級聯(lián)融合生成一個新的特征矩陣。

1.6 SVM分類器分類識別

SVM是可以用在很多領域的判別方法。它是一種監(jiān)督的學習模型，在模式識別、分類和回歸的研究上扮演著重要的角色。SVM方法是通過一個非線性映射，把樣本空間映射到一個高維乃至無窮維的特征空間中，非線性可分問題轉(zhuǎn)換到線性可分問題。其實就是將輸入變量全部映射的一個高維空間，在構(gòu)造出最優(yōu)分類超平面用作分類識別。分類函數(shù)為:

f(x)=wTx+b

(2)

其中，w是與空間維數(shù)有關的，對于樣本點(xi，yi)，樣本點到分類超平面的距離為yi(wTxi+b)，對w和b進行歸一化，用w/‖w‖和b/‖w‖分別代替w和b，即幾何間隔為f(x)/‖w‖,求最大幾何間隔為等價于：

(3)

式(3)為線性分類情況，非線性分類按照式(3)進行分類可能會降低準確率，因此，加入松弛變量和懲罰因子，則非線性的分類如下:

(4)

另

w=a1x1y1+a2x2y2+…+anxnyn

其中，n為總樣本數(shù)，則最優(yōu)分類超平面的求取為:

(5)

即轉(zhuǎn)換成求內(nèi)積[10]。

2 實驗與分析

2.1 實驗數(shù)據(jù)

文中實驗是在Matlab的仿真環(huán)境下完成的，采用KTH和Weizmann人體行為庫來驗證文中算法的有效性。從KTH數(shù)據(jù)庫中選出6個動作類，包括拳擊、鼓掌、畫圈、慢跑、散步、跑步。在Weizmann 庫中也選出6個動作類，包括跳起鼓掌、跳躍、單腿跳、跑步、散步、快速雙腿跳。在數(shù)據(jù)庫的每類動作中隨機抽取60張圖像，其中50張作為訓練集，剩下的10張作為測試集。

2.2 實驗過程及分析

首先，將數(shù)據(jù)庫中選取的圖像目標檢測后得到特征提取算法的輸入圖像，處理過后的示例如圖4所示。

圖4 KTH目標檢測后的示例圖

完成第一步后，把結(jié)果作為輸入分別提取出每張圖像的FD和HOG，HOG特征描述子用PCA降維后按照其貢獻率大小來排列，故選取其90%能量的描述子與FD級聯(lián)，然后將生成的新的描述子放入SVM中進行訓練。訓練時依次把一個動作類別的全部樣本歸為一個動作類，把其他動作類的樣本歸為另外一類，文中兩個庫中選用的6個動作類就可以構(gòu)造出6個不同SVM。有了各自的分類器后，就可以進行最后的分類。將文中算法與提取單個特征的算法相比，識別率占明顯優(yōu)勢。不同算法基于KTH、Weizmann數(shù)據(jù)集的識別率的比較見表1。

表1 不同算法基于KTH、Weizmann數(shù)據(jù)集的識別率的比較

3 結(jié) 語

綜上所述，文中將全局特征與局部特征相融合的算法用在人體行為識別中。通過對提取的HOG特征描述子降維與FD想融合構(gòu)造一個全新的特征矩陣，彌補了單獨采用全局描述子或局部描述子的缺陷，有效地提高了分類器的識別率，在KTH和Weizmann數(shù)據(jù)集的試驗中，文中算法得到了證實，識別率最高，可達到91.66%。

[1] 梁琛華,常青,胡謀法.基于加權(quán)Hu矩和HOG特征的自適應融合人體行為識別新方法[J].現(xiàn)代電子技術,2014(1):14-18.

[2] 劉洲峰,閆磊,李春雷,等.基于特征融合與低秩分解的織物疵點檢測[J].棉紡織技術,2017(10):1-4.

[3] 崔廣才,竇鳳平,王春才,等.基于傅里葉與局部特征結(jié)合的人體姿態(tài)識別方法研究[J].長春理工大學學報:自然科學版,2016(1):82-87.

[4] Yadav A R, Anand R S, Dewal M L, et al. Multiresolution local binary pattern variants based texture feature extraction techniques for efficient classification of microscopic images of hardwood species[J]. Applied Soft Computing,2015,32(C):101-112.

[5] Bhattacharya G, Ghosh K, Chowdhury A S. Granger causality driven AHP for feature weighted kNN[J]. Pattern Recognition,2017,66:425-436.

[6] Liu C D, Chung Y N, Chung P C. Anintteraction-embedded HMM framework for human behavior understanding: with nursing environments as examples[M]. [s.n.]: IEEE Press,2010.

[7] Kim H, Lee S, Kim Y, et al. Weighted joint-based human behavior recognition algorithm using only depth informayion for low-cost intelligent video-surveillance system[J]. Expert Systems WithI Applications an International Journal,2016,45(C):131-141.

[8] 史東承,韓玲艷,于明會.基于HMM/SVM的音頻自動分類[J].長春工業(yè)大學學報:自然科學版,2008,29(2):178-182.

[9] Kim J M, Chung K, Kang M. Continuous gesture recognition using HLAC and low-dimensional space[J]. Wireless Personal Communications,2015,86(1):1-16.

[10] Cervantes J, García Lamont F, López-Chau A, et al. Data selection based on decision tree for SVM classification on large data sets[J]. Applied Soft Computing,2015,37(C):787-798.