Gabor小波與HOG特征融合的行人識別算法

包曉敏，任文靜，呂文濤

(浙江理工大學 信息學院，浙江 杭州 310018)

Gabor小波與HOG特征融合的行人識別算法

包曉敏，任文靜，呂文濤

(浙江理工大學 信息學院，浙江 杭州 310018)

針對傳統HOG特征行人檢測方法中，當目標存在遮擋以及面對復雜環境條件下，行人識別存在較高漏檢率和誤檢率的問題，提出一種基于Gabor小波與HOG特征融合(G-HOG)的行人識別算法。利用Gabor小波對樣本圖像進行特征變換并在尺度和方向上融合，獲取Gabor特征圖像，利用HOG算子在特征圖像上提取目標特征，進行樣本分類，獲取行人目標的疑似區域；對行人樣本進行HOG特征提取與訓練，實現對疑似區域的目標識別。實驗結果表明，基于G-HOG特征的行人識別算法在INRIA、MIT與Daimler數據庫上性能表現良好，能夠獲取較高的查全率和識別率。

行人識別；Gabor變換；方向梯度直方圖；支持向量機

0 引言

車輛輔助駕駛系統中的行人檢測主要運用模式識別和圖像處理等技術實現車輛前方行人的檢測與識別，有效保護道路上的行人。因為受到姿態、外表、服飾和光照天氣等眾多因素的影響，使得行人檢測成為一個非常具有挑戰性的課題[1]。

當前行人檢測大多采用基于統計分類的方法，行人特征提取和分類器的選擇是這類方法中最為關鍵的2部分。Dalal和Triggs[2]等人首次提出了梯度方向直方圖特征(Histogram of Oriented Gradient,HOG)，應用于行人檢測中；Sun D[3]等人提出一種增強的HOG特征用于檢測靜態圖像中的行人；ARMANFARD N[4]等人把紋理邊緣描述子(Texture Edge Descriptor，TED)特征應用于視頻序列中的行人檢測，此特征包括紋理和垂直方向的邊緣信息；Lee S[5]等人提出使用Gabor濾波器組的行人檢測算法，在預處理階段使用Gabor濾波;另外，行人檢測中常用的一些特征還有：CENTRIST特征[6-7]、Haar-like特征[8-9]、LBP(Local Binary Pattern)特征[10-11]和SIFT(Scale-Invariant Feature Transform)特征[12-13]等。在分類的選擇上，通常選擇支持向量機(Support Vector Machine)分類器[14-15]、Adaboost分類器[16]和神經網絡(Convolutional Nature Networks)[17]等。

在現有的各種行人特征提取方法中，梯度方向直方圖特征表現出了優良的檢測性能，其對光照變化和偏移不敏感，能有效地刻畫人體的邊緣特征。然而，HOG特征維度高，大量的重疊和直方圖統計使得特征的計算速度慢，遮擋處理能力較差[18-21]；在復雜的環境下準確率較低。

在此基礎上，本文提出一種新的采用Gabor特征和HOG特征融合技術的兩階段識別算法，使用Gabor小波對圖像進行特征變換并在尺度和方向上進行融合，所得圖像增強了與人體檢測有關的信息，消除了非相關數據和噪聲，行人整體信息得以維護和豐富，提高了HOG算法的全局性能。

1 G-HOG行人檢測算法

1.1 Gabor特征提取

Gabor小波描述了對應于空間頻率(尺度)、空間位置及方向選擇性的局部結構信息。實際應用中，Gabor濾波器可以在頻域的不同尺度、不同方向上提取相關特征，其函數定義為：

(1)

式中,z=(x,y)；‖·‖表示范數運算;kμ,ν=kvexp(iφμ)；kv=kmax/fv；Φμ=πμ/8；f為核函數在一個限定域中的間隔因子；在介于4～16 像素中，μ和v分別表示 Gabor 濾波器的方向和尺度。用 Gabor小波函數對目標圖像的濾波，可以通過與圖像的卷積來實現[22-24]。

Gμ,ν=I(z)*Φμ,ν(z)，

(2)

式中，I(z)為目標的灰度圖像z=(x,y)；*為卷積運算。

為了在采樣過程中較全面地得到細節紋理，本文采用均勻離散采樣的方法，使每個方向上都有采樣點。暫時根據經驗通過選取5個尺度(v{0,1,2,3,4} )、8個方向(0 ～ 7π/8)進行采樣，μ∈{0,1,2,3,4,5,6,7} 。

行人Gabor特征提取過程如圖 1所示，從圖1中可以看出，使用Gabor濾波器的5個尺度、8個方向對圖像進行濾波，會生成 40 幅Gabor 特征圖像。如果直接提取這40幅圖像的HOG特征，會使之后的訓練和分類過程計算量和內存過大，運行緩慢，因此為了使行人識別系統更有效，訓練過程中又不丟失其特征信息，需要對 Gabor 特征進行融合。

圖1 行人Gabor特征提取與融合

1.1.1 方向融合

方向融合方面，采用全局編碼[25-28]的形式，對同一尺度多個方向上的Gabor 特征進行編碼，這樣既能有效降低 Gabor 特征的維數，又能保證方向特征信息不丟失。

(3)

根據每個像素在5個尺度和8個方向上形成的40個Gabor特征，可以在給定尺度時對不同方向上的 Gabor 特征的實部和虛部分別進行編碼。

(4)

(5)

(6)

(7)

1.1.2 尺度融合

從圖1可以看出，方向融和后，圖像還有5個尺度上的特征，其紋理比較相似，可見這些圖像還存在一定的數據冗余，因此對5個尺度繼續融合，依然采用求均值的方法來實現尺度融合，這樣既可以讓融合后的圖像簡單、有效地展現其Gabor 特征，又能保證其特征信息不丟失。

(8)

(9)

從圖1可以看到，完成尺度融合后，圖像剔除了姿態和陰影等造成的干擾，鑒別出目標的紋理特征，使得行人整體信息得到維護和豐富。

1.2 HOG特征提取

方向梯度直方圖(Histogram of Oriented Gradient,HOG)特征是通過計算和統計圖像局部區域的梯度方向直方圖來進行物體檢測的特征描述子。由于Gabor特征融合圖像既保留了原始圖像的紋理信息和邊緣信息又剔除了大量非相關信息，HOG算子易于提取圖像紋理特征，且檢測率較高，因此利用Gabor特征融合圖像作為輸入圖像，對其進行HOG特征提取。本文所采取的HOG特征提取算法流程如下：

① 圖像灰度化與歸一化處理

I(x,y)?G(x,y),H(x,y)=I(x,y)gamma,

式中，G表示灰度化處理；gamma通常取值為1/2;

② 計算圖像每個像素的梯度大小和方向

Gx(x,y)=H(x+1,y)-H(x-1,y)，
Gy(x,y)=H(x,y+1)-H(x,y-1)；

③ 將圖像歸一化為36×72像素大小，分為4×4像素的單元(cell)，8×8像素的塊(block)，4個像素的塊步長，每個單元9個方向通道；

④ 統計每個單元格內的梯度方向直方圖；

⑤ 統計cell的梯度方向直方圖組成block的HOG描述子，并對block內的描述子采用重疊單元歸一化方法提高結果穩定性；

⑥ 統計所有block的HOG描述子組成的圖像HOG特征描述子。

獲取圖像的G-HOG特征后，首先使用分類器獲取疑似目標區域，確保高查全率，其次對疑似目標利用原始HOG特征分類器在疑似區域進行再次篩選，提高行人識別率。本文提出的算法流程如下：

輸入：圖像Im

輸出：圖像To

① 對輸入圖像Iin進行預處理，即Iinit?P(Iin)，其中，P表示預處理操作，包括灰度化、尺寸歸一化和高斯濾波；

② 對Iinit進行Gabor卷積，獲得Gabor特征圖像：G(Iinit)=Iinit?Φ;

④ 對編碼圖像分別進行尺度與方向的融合，基于式(6)～式(9)獲得Gabor融合圖像GC(z)，其中z=(GCRe,GCIm);

⑤ 對融合后圖像提取HOG特征獲得G-HOG描述子；

⑥ 對圖像的G-HOG描述子進行訓練并獲取分類器1：C1?SVM(GC);

⑦ 對Iinit提取HOG描述子進行訓練并獲得分類器2：C2?SVM(Iinit);

⑧ 對圖像進行識別：首先利用C1獲取行人目標疑似區域：Fc?R(C1)，其中，R表示對圖片上行人進行識別；其次在疑似區域上利用C2進一步識別行人：To?R(Fc);

⑨ 輸出識別圖像To。

2 實驗

2.1 參數設置

本文所討論的算法是面向行人與非行人的二分類識別，分類器使用支持向量機(Support Vector Machine)[19]。在分類器參數設置中，核函數使用線性核函數，松弛因子C=0.01，其他參數由經驗獲取，以保證SVM具有良好的分類性能。

本文采用開源數據庫數據進行實驗，包括MIT數據庫、INRIA數據庫和Daimler數據庫。其中，MIT數據庫包含924張行人圖片，未區分訓練集和測試集；INRIA數據庫是目前使用最多的靜態行人檢測數據庫，提供原始圖片及相應的標注文件；Daimler行人數據庫采用車載攝像機獲取，分為檢測和分類2個數據集，檢測數據集的訓練樣本集中，正樣本大小為1836和4896的圖片各15 560張，分類數據集有3個訓練集和2個測試集；針對本文研究的特殊領域，在算法中，訓練集采用Daimler數據庫中的正負樣本，訓練時統一為36×72像素，測試集采用MIT、INRIA、Daimler三個數據庫，訓練與測試樣本示例如圖2和圖3所示。

圖2 訓練樣本示例

圖3 測試樣本示例

在測試數據集上采用查全率(Recall)和準確率(Precision)來檢測本文提出的方法，查全率是檢測正確目標的數目除以目標的總數目(tp為正陽性數目，檢測到是目標像素的數目;fn為沒有檢測到目標像素的數目)；準確率是檢測到目標像素數目除以檢測目標像素數目(tp真陽性與假陽性fp的和)。

(10)

(11)

2.2 Gabor參數分析

用 Daimler訓練樣本對本文提出的方法進行學習后，在第一節的Gabor特征提取中在方向和尺度上暫時使用了經驗參數5和8，實驗中發現，其中方向和尺度以及Gabor核大小的改變都對查全率和準確率有所影響，結果如圖4、圖5和圖6所示。

圖4中，在同一個方向下，尺度越大，查全率越大，當尺度達到14或者16時已經趨于飽和，在同一個尺度下，隨著方向的增加，查全率增大，當方向在8～10 之間時，查全率變化緩慢；圖5中在同一方向下，隨著尺度的增加，準確率呈現先上升后下降的趨勢，同樣的，在同一個尺度下，隨著方向的增加，準確率也呈現先上升后下降的趨勢；綜合圖4和圖5，在保證查全率和準確率都較優的情況下，決定將尺度取為12，方向取為8；圖6中，隨著Gabor核的增大，查全率逐漸下降，取值38時為臨界點；準確率緩慢增大隨后呈現下降趨勢；綜合圖6，將Gabor核取為38，這樣既保證了查全率又保證了準確率。

圖4 Gabor不同尺度和方向的Recall

圖5 Gabor不同尺度和方向的Precision

圖6 Gabor不同核大小情況下的Recall和Precision

3 結果分析

基于INRIA數據庫，對兩階段訓練得到的分類器性能進行測試，結果如表1所示。

表1 分階段的Recall和Precision比較結果 (%)

由表1可知，在第1階段中的查全率比第2階段高，但是準確率比第2階段低，兩階段融合后可以看出，雖然查全率比第1階段低，但是與兩階段相比變化不大，且準確率均明顯提高，由此進一步證明了本文算法的有效性。

將本文算法與文獻[3]使用的HOG算法和文獻[5]Gabor算法分別在INRIA數據庫、MIT數據庫、Daimler數據庫上對3種算法進行測試，結果如表2和表3所示。

表2 不同數據庫上的Recall比較結果 (%)

表3 不同數據庫上的Precision比較結果 (%)

由表2和表3可知，本文提出的算法基于三大數據庫數據的實驗表明，其性能均優于HOG算法和Gabor算法。其中，通過表2對比，INRIA數據庫上的查全率比其他2個數據庫低，這是因為INRIA數據庫中，行人樣本背景較復雜，遮擋較嚴重，圖像的冗余信息較多，而MIT數據庫與Daimler數據庫中行人樣本背景簡單，目標清晰，易于識別；通過表3對比，在不同數據庫的檢測準確率方面，本文算法較傳統HOG算法與Gabor算法都有較大提高。

本文算法采用Gabor特征和HOG特征融合技術，并通過兩階段策略進行疑似候選目標選取和行人最終檢測結果辨別，可以在保證高查全率條件下，有效提高目標的識別率，基于真實場景的數據庫實驗結果，驗證了算法的魯棒性和可靠性。

4 結束語

本文提出了一種新的基于Gabor小波和HOG特征融合的兩階段行人識別算法，在提高行人識別率上主要解決2個問題：① 在第1階段，通過對圖像進行Gabor變換以及特征融合，能夠較好地去除原始圖像上的一些冗余信息，并有效保留行人的紋理信息邊緣信息，在此基礎上能夠有效改善HOG檢測性能；② 在行人樣本上提取HOG特征，訓練和分類后，在第1階段中得到的行人疑似區域上進一步識別，基于經典開源數據庫的實驗結果表明，與HOG特征識別算法和Gabor特征識別算法相比，基于G-HOG特征的兩階段行人識別算法表現良好，能夠獲取較高的查全率與識別率。

在本文兩階段算法測試中，均使用SVM對樣本進行分類。當然，可以采用其他分類器，如BP神經網絡、Adaboost分類器或其他分類器，對文中所提算法進行進一步驗證。

[1] 曾春,李曉華,周激流.基于感興趣區梯度方向直方圖的行人檢測[J].計算機工程,2009,35(24):182-184.

[2] DALAL N,TRIGGS B.Histograms of Oriented Gradients for Human Detection[C]∥Computer Vision and Pattern Recognition,2005.CVPR 2005.IEEE Computer Society Conference on.IEEE,2005,1:886-893.

[3] SUN D,WATADA J.Detecting Pedestrians and Vehicles in Traffic Scene Based on Boosted HOG Features and SVM[C]∥Intelligent Signal Processing(WISP),2015 IEEE 9th International Symposium on.IEEE,2015:1-4.

[4] ARMANFARD N,KOMEILI M,KABIR E.TED：A Texture-edge Descriptor for Pedestrian Detection in Video Sequences[J]．Pattern Recognition,2012,45(3):983-992．

[5] LEE S,JANG J W,BAEK K R.Pedestrian Detection Algorithm Using a Gabor Filter Bank[J].Journal of Institute of Control,Robotics and Systems,2014,20(9):930-935.

[6] JOSHI K,KAVITHA R,NAIR M S.Real Time Pedestrian Detection Using CENTRIST Feature with Distance Estimation[C]∥Advanced Computing and Communication Technologies.Springer Singapore,2016:223-232.

[7] WU J,REHG J M.CENTRIST:A Visual Descriptor for Scene Categorization[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2011,33(8):1489-1501.

[8] ERRAMI M,RZIZA M.Improving Pedestrian Detection Using Support Vector Regression[C]∥Computer Graphics,Imaging and Visualization(CGiV),2016 13th International Conference on.IEEE,2016:156-160.

[9] ZHANG S,BAUCKHAGE C,CREMERS A B.Informed Haar-Like Features Improve Pedestrian Detection[C]∥IEEE Conference on Computer Vision and Pattern Recognition.IEEE,2014:947-954.

[10] HUANG Z.Vehicle Pedestrian Detection Algorithm Based on AdaBoost[C]∥Intelligent Transportation,Big Data and Smart City(ICITBS),2015 International Conference on.IEEE,2015:973-976.

[11] HALIDOU A,YOU X,HAMIDINE M,et al.Fast Pedestrian Detection Based on Region of Interest and Multi-block Local Binary Pattern Descriptors[J].Computers & Electrical Engineering,2014,40(8):375-389.

[12] LI J,LIAO Y J,ZHANG H M.Pedestrian Detection Based on Bag-of-Visual-Words and SVM Method[C]∥Applied Mechanics and Materials.Trans Tech Publications,2014,678:189-192.

[13] XIAO P，CAI N，TANG B，et a1．Eficient SIFT Descriptor via Color Quantization[C]∥IEEE InternationalConference on Consumer Electronics，Shenzhen,2014:1-3．

[14] BORRAJO M L，ROMERO R，IGLESIAS E L．A Linear-RBF Multikernel SVM to Classify Big Text Corpora[OL]．http：∥dx.doi.org/10.1155/2015/878291,2015.

[15] MEYER D,WIEN F H T.Support Vector Machines[J].The Interface to Libsvm in Package e1071,2015.

[16] WU Shu-qiong,NAGAHASHI H.Parameterized AdaBoost：Introducing a Parameter to Speed up the Training of Real AdaBoost[J]．IEEE Signal Processing Letters,2014,21(6):687-691．

[17] KIM Y.Convolutional Neural Networks for Sentence Classification[J].arXiv Preprint arXiv:1408.5882,2014.

[18] 自德貴,辛晨,張婷,等.顯著性紋理結構特征及車載環境下的行人檢測[J].軟件學報,2014,25(3):675-689.

[19] 程廣濤,陳雪,郭照莊.基于HOG特征的行人視覺檢測方法[J].傳感器與微系統,2011,30(7):68-70.

[20] 劉召,宋立濱,耿美曉,等.基于激光雷達的舞蹈機器人室內行人跟蹤方法[J].計算機工程,2017,43(6):247-252.[21] 劉曙,羅予頻,楊士元.基于多尺度的輪廓匹配方法[J].計算機工程,2008,34(1):201-203.

[22] 羅元,張天,張毅.一種改進的LDP面部表情特征提取方法[J].半導體光電,2016,37(1):122-125.

[23] 鐘劍丹,雷濤,姚光樂,等.基于支持向量約簡的快速目標檢測[J].半導體光電,2017,38(3):153-158.

[24] 羅元,崔葉,王艷,等.基于融合DCT和LBP特征提取的面部表情識別[J].半導體光電,2014,35(2):330-333.[25] 薛茹,常岐海,吳宗勝.基于Gabor小波與HOG特征的目標檢測方法[J].電視技術,2014,38(7):182-185.

[26] 胡麗喬,仇潤鶴.一種自適應加權HOG特征的人臉識別算法[J].計算機工程與應用,2017,53(3):164-168.

[27] 徐淵,許曉亮,李才年,等.結合SVM分類器與HOG特征提取的行人檢測[J].計算機工程,2016,42(1):56-60.

[28] ZHANG B,SHAN S,CHEN X,et al.Histogram of Gabor Phase Patterns(hgpp):A Novel Object Representation Approach for face Recognition[J].IEEE Transactions on Image Processing,2007,16(1):57-68.

ANovelAlgorithmforPedestrianRecognitionBasedonGaborWaveletandHOGFeature

BAO Xiao-min,REN Wen-jing,LU Wen-tao

(SchoolofInformationScienceandTechnology,ZhejiangSci-TechUniversity,HangzhouZhejiang310018,China)

Conventional algorithms for pedestrian detection based on histogram of Oriented Gradient(HOG) feature present weak performance in recognition rate and accuracy when the scenes have complex conditions.In this paper,a novel algorithm is presented for pedestrian recognition based on Gabor wavelet and HOG feature(G-HOG).In the first stage,a Gabor wavelet is first applied to obtain Gabor feature.It involves the feature transform and fusion of Gabor feature in the scale and direction.Then,the G-HOG features are generated from the Gabor image.They are finally fed into a classifier to acquire the candidate sample for pedestrian.In the second stage,the HOG features are extracted from the candidate targets.These are then used to recognize the pedestrian based on a two-category discriminator.Because of applying the fusion of Gabor feature and HOG feature,the presented algorithm enhances the recall rate and precision for pedestrian detection.The test results based on INRIA,MIT and Daimler data demonstrate that the presented algorithm has better performance.

pedestrian recognition;Gabor transform;histogram of oriented gradient;support vector machine

10.3969/j.issn.1003-3106.2017.10.06

包曉敏，任文靜，呂文濤.Gabor小波與HOG特征融合的行人識別算法[J].無線電工程,2017,47(10):25-29,48.[BAO Xiaomin,REN Wenjing,LU Wentao.A Novel Algorithm for Pedestrian Recognition Based on Gabor Wavelet and HOG Feature[J].Radio Engineering,2017,47(10):25-29,48.]

TN911.73

A

1003-3106(2017)10-0025-05

2017-04-26

國家自然科學基金資助項目(61601410);浙江省自然科學基金資助項目(LY16F010018)。

包曉敏女，(1965—)，教授。主要研究方向：模式識別與圖像處理。任文靜女，(1993—)，碩士研究生。主要研究方向：模式識別與圖像處理。