一種基于HOG和顏色自相似性特征的行人檢測方法

張金慧+吳斌+邵延華

摘要：行人檢測在計算機視覺領域中越來越廣泛的應用，使其有著重要的研究意義。盡管技術得到了顯著的改進，行人檢測仍然是一個存在挑戰的難題，需要更精確更高效的算法。針對HOG特征的傳統檢測方法中存在的問題，該文提出一種融合顏色自相似性（CSS）特征的方法。利用顏色自相似性特征與描述人體輪廓特征的HOG特征互補，CSS反映圖像內在幾何布局和形狀屬性的特性，為提高檢測效率，使用經主成分分析法（PCA）降維處理HOG和CSS特征。實驗采用INRIA數據集作為訓練樣本訓練SVM。對比單一使用HOG，該文的方法在檢測速度和準確性上得到有效提高。實驗結果也驗證了本算法的有效性。

關鍵詞：行人檢測；梯度方向直方圖；顏色自相似性；融合

中圖分類號：TP391 文獻標識碼：A 文章編號：1009-3044（2018）02-0146-03

Method Human Detection Based on HOG and CSS Characteristics

ZHANG Jin-hui， WU Bin， SHAO Yan-hua

（School of information and engineering， Southwest University of Science and Technology，Mianyang 621010， China）

Abstract： Pedestrian detection is becoming more and more widely used in the field of computer vision， and it has important research significance. Despite the significant improvements in technology， pedestrian detection is still a challenging problem， requiring more accurate and efficient algorithms. For the existing problems in the traditional detection of HOG， this paper proposes a method of fusing color self similarity （CSS） features. CSS is complementary to the HOG that describes the human contour features. CSS reflects the intrinsic geometric and shape attributes of the image. To improve the detection efficiency， we use the principal component analysis （PCA） to reduce the dimension of the HOG and CSS. The INRIA data set is used as training sample to train SVM. Compared with single use of HOG， this method has been effectively improved in detection speed and accuracy. The experimental results also verify the effectiveness of the algorithm.

Key words： pedestrian detection； HOG； CSS； fusion

1 背景

人類只需要幾眼就能分辨事物和人，確認事件性質并發現可能存在的危險。不同視覺刺激的正確解釋是人類能夠完成復雜任務的關鍵，特定的計算機視覺算法旨在以單幀或者一系列幀的形式自動解讀場景的視覺內容，并作出相應的反應[1]。隨著整個社會AI技術的發展和推廣，行人檢測成為多個領域中許多高級應用的關鍵技術。而且，越來越強大的硬件系統的誕生使行人檢測在精度和效率方面得到了顯著的改進。

人與物之間相互遮擋、人體姿勢變化、服飾多樣、光照強弱、背景雜波以及視角等原因使準確快速地檢測行人的難度加大。為提高行人檢測的檢測準確率，提高檢測速度，國內外研究人員經歷了十多年的研究，提出了各種方案，取得了很好的研究成績。根據現有技術的總結分類，可將檢測技術的方法分為基于行人模型、基于特征分類和基于深度學習的方法等，其中大多數都是基于特征分類的，常用到的特征有Haar特征[2]、梯度方向直方圖（HOG）[3]、尺度不變特征（SIFT）[4]、局部二進制模式（LBP）[5]、顏色自相似性特征（CSS）[6]、協方差[7]以及局部自相似性特征（LSS）[8]等。其中，Haar特征適用于有固定結構的目標；SIFT特征具有強烈方向及亮度性，適合檢測圖像幾何和光學變化較弱的目標；最初LBP的特征主要用于識別人臉；HOG特征主要是描述人體的輪廓信息，在圖像的局部單元格上進行操作，能很好地識別出人體動作的細微變化。但由于HOG特征的計算量大，對外界噪聲干擾魯棒性不強，在進行檢測時會出現漏檢和誤檢。由于使用單一特征檢測存在一定的局限性，本文將結合顏色自相似性特征，在視頻幀圖像中提取HOG和CSS特征，融合這兩個特征獲得描述行人的特征算子，結合SVM分類檢測。

2 算法分析

當改變圖像幾何或者光照時，HOG特征能保持良好的不變性。HOG特征對人體的邊緣輪廓有比較強的描述能力，只要行人大體上保持直立狀態，即便是有細微的變化，使用HOG也能有較好的檢測效果。但HOG對背景以及身體軀干特征描述不明顯，并且穩定性差。而CSS特征更容易捕捉人體軀干等信息，所以將這兩種特征聯合起來描述行人，在獲得行人梯度信息的同時，也能獲取身體的顏色信息，一定程度上加多行人的描述特征信息可以提高檢測的準確度。endprint

本文的行人檢測算法步驟如下：

1） 輸入視頻源圖像，高斯降噪處理和歸一化處理。

2） 提取圖像預處理后的HOG和CSS特征，構成[α]、[β]特征集。

3） 分別計算HOG、CSS特征的特征值、特征向量和協方差矩陣。

4） PCA降維處理HOG特征、CSS特征并串行融合構成特征C。

5） 將特征C輸入線性SVM進行判別檢測。

本文中行人檢測的流程圖如下所示：

2.1 HOG特征

2005年，Dalal等提出使用HOG結合SVM的方法，在檢測行人時取得較好的效果，成為經典的行人檢測方法。HOG特征描述了圖像局部區域的梯度強度以及梯度方向分布，能很好地表達行人的外觀和形狀，對光照和小量的偏移具有很好的魯棒性能。但HOG特征的維度比較高，滿足不了實時性檢測的要求。近年來，有不少的研究人員致力于研究行人檢測，提出各種改進基于HOG的檢測方法，有效地改善了檢測效果。HOG特征提取的具體步驟：

①采用伽瑪壓縮進行用全局圖像歸一化。此步驟可有效減少光照和對比度對圖像的影響。

②計算圖像梯度并統計局部圖像梯度信息。把樣本圖像分割成若干8×8像素的單元細胞（cell），計算每個cell的一個1-D的加權梯度方向直方圖；每個單元內將[-π2，π2]的梯度方向平均劃分成9個區間（bin），統計各個方向bin區間的像素梯度幅值，得到一個9維特征向量。

③計算塊中的直方圖。每相鄰4個單元（2×2 cell）為一個塊（block），聯起4個單元的特征向量得到該塊的36維梯度方向直方圖向量。

④特征向量歸一化。采用L2-Norm with Hysteresis threshold方式歸一化特征向量，并將直方圖向量中的bin值限制在0.2以下，歸一化處理后的特征向量對光照、陰影、邊緣對比度等具有更好的不變性。

⑤生成HOG特征。組合起來所有塊中的HOG描述向量，生成最后的特征向量，得到的特征向量描述圖像檢測窗口中的的圖像內容。比如，用塊大小的窗口掃描對樣本圖像，移動步長為一個單元，將最后所有的塊的特征串聯起來生成樣本圖像中行人的特征。本文中采用樣本圖像大小為64×128，最后就獲得3780維的HOG特征向量。

2.2 顏色自相似性

作為圖像的一項重要辨別信息，顏色特征不會受圖像的旋轉、平移以及尺度變化等改變，并且由于計算簡單和其穩定性，顏色在圖像處理中得到廣泛的研究和應用。顏色是人類識別圖像的感知特征之一，基于顏色特征的信息檢索漸漸成為圖像信息搜索中的一項重要的方式。

行人衣著服飾多色，行走的姿勢各樣，在識別行人的過程中，使能準確描述行人的特征的難度加大。但行人的身體具有一定的結構特性，身體本身和服飾在某種程度上具備一定的自相似性，比如人臉的膚色與兩只手臂的皮膚顏色，或者是兩條褲腿、兩只腳的顏色等都有一定的對稱性。利用人體結構部位具有相對穩定的特征，Walk等人提出一種在某顏色通道上的自相似性特征。CSS特征是根據人眼視覺對顏色的認識習慣，描述圖像中不同區域間的顏色的相似性關系。顏色自相似性特征（CSS）提取步驟如下：

①空間轉換。對輸入的彩色樣本圖像進行顏色空間轉換，轉換到HSV空間，分別為在H、S、V的三個顏色通道上的圖像（圖3），并分別在這三個通道圖像上構建和提取特征。

②統計直方圖信息。顏色自相似性特征是基于某個圖像通道R的一個矩形框內數值之和的矩形特征的。對兩個矩形[C1]、[C2]（兩矩形塊的長寬相同，在同一圖像中位置不同）通過下式作差，衡量它們的相似度。

[MRC=u，v∈Cx，y，w，hRu，v]（1），[FRC1，C2=MRC1-MRC2]

（2）

③條件約束。假如矩形塊之間的位置相差比較大，光照等會帶來比較大的影響。因此，需要對矩形塊位置引入領域約束。

[C1x-C2x≤ra-1C1w] （3）

[C1y-C2y≤ra-1C1h] （4）

上式中[x]、[y]、[w]、[h]分別是矩形的左上頂點坐標和寬高，[ra]是領域約束值（一般默認取3）。本文中的兩個矩形塊相似性比較采用的是差值比較，比值結果在約束范圍內，差值在4以內，則認為兩矩形塊相似對稱，檢測為人的可能性較高。

④生成CSS特征。將圖像中所有塊的直方圖信息組合起來形成最終的CSS特征向量。比如，統計一副大小為64×128的HSV直方圖信息，將其分割成8×8的小塊，則共有8×16=128個塊，分別將第1個塊與其后127個塊求直方圖相交的距離，繼續將第2個塊與其后126個塊分別求直方圖相交的距離，以此類推，生成一個描述顏色自相似性的N×（N-1）/2=8128（N=128）維度的特征。

2.3 PCA降維

由上可知，HOG特征和CSS特征的維度都比較高，導致獲得的描述行人的特征中存在大量的冗余信息，會影響檢測速率，對此，本文將在HOG與CSS特征提取后加入PCA降維處理，即對原樣本空間進行空間變化，將其投影到一個新的維度較低、相互正交的空間上，最后生成HOG-PCA，CSS-PCA特征。

一般是通過此公式計算特征主成分：

[y=UTxi-x] （5）

其中y為主成分特征，[x]為訓練樣本的特征均值，[xi]為需降維的特征，[UT]為協方差矩陣，其計算公式有：

[UT=1Nn=1Nxi-xxi-xT] （6）

進一步的，基于HOG的降維步驟：1）計算訓練樣本HOG特征均值[x1]；2）計算HOG的特征值、特征向量以及協方差矩陣[U1]；3）取計算得到的協方差矩陣前p個主成分，分別對每個HOG特征降維，得到降維處理后的HOG特征。endprint

2.4 特征融合

當物體遮擋住行人時，HOG特征檢測效果會受到影響，CSS特征由于其特征的本性可以很好的處理這種情況。而且，單純使用HOG特征在檢測過程中需對圖像進行縮放，在不同的尺度下計算特征，這樣會降低行人檢測的速度，CSS特征能克服此不足。并行融合特征的方式相對復雜，而串行特征融合的方法簡單易行，運算量少。因此，本文中根據HOG與CSS特征提取原理以及特征特點等的不同，采用串行融合方式。合并后的特征為：[γ=αβ，α∈A，β∈B，γ∈C]（7），[α]，[β]和[γ]分別代表HOG-PCA和CSS-PCA。

3 實驗結果及分析

3.1 實驗背景

本文的實驗環境為64位Windows8和 MATLAB2012，計算機的配置為2.8GHz CPU和6GB內存，采用INRIA數據集，訓練集中包含2416張行人圖像的正樣本和2436張負樣本（從數據集中的1218張負樣本圖像中每張隨機截取2張圖像）。INRIA數據庫的圖像背景多樣，行人姿勢多變，更接近模擬復雜的現實場景，實用性較強，檢測結果更為準確。

至于PCA維數為多少時，檢測效果最優，需要經過多次實驗才能確定。基于INRIA行人數據庫，對比多個主成分值的實驗效果，結果如下圖所示：

上表中的結果顯示，PCA維度p取值在大約為300時，HOG檢測效果達到峰值，而PCA維度p取值為2000左右時，CSS檢測識別效果呈現最優。下表將列舉出降維后的融合特征和未進行降維處理的融合特征在訓練時間、檢測時間以及識別率的比較。

3.2 實驗結果

本文采用的檢測方法，相比較于使用單一HOG特征，融合分別降維處理后的兩個特征在識別率和識別效率上得到提高。輸入一段監控視頻，經過本算法的檢測，顯示的檢測結果如下所示：

4 結束語

本文提出一種利用PCA降維的HOG特征與顏色自相似性特征融合的行人檢測方法，對比使用單一一種特征檢測，改善檢測效果，驗證了此方法的有效性。利用PCA將HOG特征的維數從3780維降至300維，串行融合顏色自相似性特征，結合線性SVM分類器判斷檢測，提高行人識別率，也降低了整個過程中的訓練時間和檢測時間。本文提出的方法雖然在檢測速度和準確率上有了一定的提高，但是在情景復雜的環境中實現準確的檢測還存在一定的難度，要達到實時檢測的要求還需要進一步的改進，所以下一步的可以考慮再融合一個LBP紋理特征解決檢測精度的問題，并引入積分圖等方法解決計算復雜度的問題。

參考文獻：

[1] Tome D， Monti F， Baroffio L， et al. Deep Convolutional Neural Networks for pedestrian detection[J]. Signal Processing-image Communication， 2016，47（C）：482-489.

[2] Mohan A， Papageorgiou C， Poggio T. Example-based object detection in images by components[J]. PAMI， 2001， 23（4）：349-361.

[3] Dalal N， Triggs B. Histograms of oriented gradients for human detection[C]. CVPR， 2005： 886-893.

[4] Lowe D G. Distincive image features from scale-invariant keypoints[C]. IJCV， 2004.

[5] Mu Y， Yan S， Liu Y， et al. Discriminative local binary patterns for human detection in personal album[C]. CVPR， 2008： 1-8.

[6] Walk S， Majer N， Schindler K， et al. New features and insights for pedestrian detection[C]. CVPR， 2010： 1030-1037.

[7] Tuzel O， Porikli F， Meer P. Pedestrian detection via classification on Riemannian manifolds[J]. PAMI， 2008， 30（10）：1713-1727.

[8] 顧志航，陳淑榮.一種基于HOG與LSS融合的行人檢測算法[J].微型機與應用，2016，35（8）：37-39，43.endprint