基于 HOG和Haar-like特征融合的人體動作識別方法

秦秋雨

(南京郵電大學通信與信息工程學院 江蘇 南京 210003)

引言

面對大量視頻數據，如何利用自動分析視頻中內容已儼然成為當下一個熱門的研究課題，并引起計算機視覺領域學者們的廣泛關注。隨著各種智能設備的生產和發展，人類除了對智能機器設備更加關注外，對人體動作的識別也越來越重視。目前，人體動作識別的研究，逐漸成為了機器視覺領域中非常重要的研究課題。隨著科學技術的發展，人臉、手勢和指紋識別等視覺技術已經廣泛應用于我們生活的方方面面中，這些技術為人體動作識別帶來了巨大的動力。近年來，一些較快的動作特征提取方法被提出來并由一些計算機視覺領域的學者不斷地優化改進，比如方向梯度直方圖(HOG)[9]，局部二值模式(LBP)[10],Haar-like特征[3],卷積神經網絡(CNN)[1]等等。

現為解決單一特征下進行人體動作識別的準確率較低且容易受到外部環境影響的問題，提出一種基于HOG和Haar-like特征融合的人體動作識別方法。為了驗證本文設計方法的有效性，進行了對比測試。將本文中所涉及的方法與一些傳統特征提取方法進行對比，結果表明，本文中的方法具有更高的識別準確率。

一、動作識別算法

多特征融合的方式既能保留各種特征有效的識別信息，又可以在一定的程度上去除各種特征冗余無效的部分。之前融合特征的方法大多是直接將兩組特征向量通過串行方式合并成新的特征向量。但是這種方式存在很多弊端，直接合并后的特征向量為數是未合并之前多種特征向量的維數之和，由此會導致特征向量的維數變多。為了解決這種問題，本文利用離散 K-L 變換的方式，對開始所提取出來的兩種特征進行信息的壓縮，從而實現特征向量的有效融合，同時減少特征向量維數。

(一)方向梯度直方圖

方向梯度直方圖特征用于在機器視覺和圖像識別及處理中用來進行物體檢測。在視頻中截取出圖像后，它計算并統計圖像各個區域的方向梯度直方圖以此來形成特征。為了減少光照因素的影響，首先需要將圖像進行灰度化。灰度化后的圖像，將其進行Gamma校正，并做顏色空間歸一化處理。

I(x,y)=I(x,y)gamma

(1)

其中，gamma值取0.5。進行公式中的計算之后，圖像中像素點(x,y)的梯度為：

Gx(x,y)=H(x+1,y)-H(x-1,y)

(2)

Gy(x,y)=H(x,y+1)-H(x，y-1)

(3)

其中，在圖像的像素點(x,y)處，Gx(x,y)為水平方向梯度函數，Gy(x,y)為垂直方向梯度函數，H(x,y)為像素值函數。然后，將上述圖像劃分為各個部分區域，每一個區域的尺寸現定為8×8像素。將各個區域中的梯度方向按照360度劃分成9個方向，接著計算出每一個方向的九維特征向量值以此得到每個方向的梯度直方圖。接著我們將各個區域組合稱為最終的區間。最后，我們將每個區間中劃分的各個區域中的特征向量采用串聯的方式連接起來就得到了該區間的HOG特征。

(二)Haar-like特征

首先，提取圖像中的所有聚合通道的特征。聚合通道特征是指聚合圖像中10個通道的特征，其中這10個通道為:LUV顏色的3個顏色通道、1個梯度幅度的通道以及6 個方向梯度直方圖的通道。在計算得出這10個通道特征之后，我們分別提取出這10個特征的Haar-Like 特征[10]。Haar-Like 特征的提取方式如下所示：

1.將各個通道中的特征圖分割為若干60×60像素的局部圖像區域塊。

2.使用滑窗方法在Haar-Like 特征的模板基礎上提取上述步驟中每個區域塊中各個位置的Haar-Like 特征。Haar-Like特征圖上位置(x，y)權重矩陣生成方法如下

W(x，y，w)=Fmodel(m)*C(x，y，m)

(4)

上式中m為Haar-Like特征的尺寸，Fmodel(m) 是尺寸為 m 的特征模板，特征模板Fmodel(m)中，權重是1的計算單元為增性算子，權重是-1的計算單元為減性算子，權重是0的計算單元為中性算子。C(x，y，m) 為聚合通道特征.

圖上起始位置為(x，y) 尺寸為 m 的矩形區域。?表示的 是兩個相同尺寸矩陣逐個元素相乘運算，W(x，y，m) 為Fmodel(m) 與C(x，y，m)兩個矩陣內元素逐個相乘的結果，即 為特征圖坐標為(x，y) 處的權重矩陣。

3.根據每一個位置的權重矩陣，計算出整個 Haar-Like 特征圖，特征圖上每一個位置的特征值的大小與該位置上權重矩陣的關系

(5)

式中F(x，y，m) 為 Haar-Like 特征圖上位置為(x，y) 上，尺寸大小為 m 的某一個 Haar-Like 特征值。sum(Wadd(x，y，m))為該 Haar-Like 特征內增性算子在W(x，y，m)對應位置 權重的和。sum(Wdec(x，y，m)) 為該 Haar-Like 特征內減性算子在W(x，y，m)對應位置權重的和。中性算子對應的一階特征值則不做處理。Numadd和Numdec則分別為該Haar-Like 特征內增性算子以及減性算子的個數。

(三)分類器

支持向量機(SVM)[11-13]是解決小樣本模式識別問題的有效方法，其基本原理是通過用核函數將輸入樣本空間非線性變換到一個高維空間，然后在這個高維空間求廣義最優分類超平面SVM 是針對兩類問題提出來的，為實現對多個類別的識別，需要對 SVM 進行相應的改進。目前，已經提出多種方法將SVM 推廣到多類分類問題，如用多個兩類分類器來實現多類分類，或者用層次型兩類分類器實現多類分類等。在行為識別中 SVM 常用核函數用線性核、直方圖交叉核和χ2核，本文中綜合考慮 SVM 分類的精度和計算復雜這兩個因素，并且通過實驗比較，采用直方圖交叉核作為分類器的 核函數，具體表達式如下:

(6)

其中:Xi、Xj為兩個任意的特征向量，an、bn分別為Xi、Xj第 n維的特征值;m 為特征向量的維度。與其他兩個核函數相比，直方圖交叉核具有計算復雜度低、分類效果好的特點。將最終量化得到的特征向量輸入基于直方圖交叉核的SVM 進行訓練，得到分類器，采用同樣的方法獲取測試集特征后用該訓練好的分類器進行預測，最終實現行為識別。

(四)算法步驟

(1)在人體動作數據庫集KTH和YouTube中分別選取一段視頻，然后提取出視頻幀圖像，并對圖像進行灰度化及規范化處理。

(2)將處理過后的圖像分別進行HOG特征及Haar-like特征的提取，得到HOG特征及Haar-like特征集，并使用離散K-L變換的方式進行特征融合，得到最終的特征集。

(3)使用SVM分類器對上面得到的特征集進行人體動作分類識別。

二、實驗分析

本文利用 YouTube數據庫和KTH數據庫進行實驗評估，實驗在Matlab 2019b的環境中進行。Weizmann數據庫一共包括90段視頻，這些視頻分別由 9個人執行10個不同的動作，視頻的背景，視角以及攝像頭都是靜止的。實驗采取留一法交叉驗證，即依次把每個人的10種動作作為測試樣本，剩下的所有動作作為訓練樣本，整個實驗過程重復10次。手、拳擊、慢跑、快跑和走。每種動作由25個人在4 個不同場景中完成，合計將近600段視頻，是一個數據量相對較大的數據庫，數據庫的視頻樣本中包含了尺度變化、光照變化、著裝變化等。本實驗從數據庫中隨機抽取15個人的視頻作為測試樣本，剩余的10 個人作為訓練樣本。分別隨機在上述兩種數據庫的每種人體動作中選取了50張圖像數據，隨機選初40張作為本次實驗的訓練集，剩下的 10 張圖像則作為測試集。

表1 各種人體動作識別方法準確率對比

三、結束語

提出了一種基于HOG和Haar-like特征融合的人體動作識別方法。HOG特征是用來計算局部圖像梯度的方向信息的統計值，Haar特征是一種反映圖像的灰度變化的，像素分模塊求差值的一種特征。單獨特征來看，Haar特征識別準確度較高。實驗結果證明，兩種特征融合的動作識別效果比單一特征識別效果都要好。