改進型WLD與LBP特征融合的行人檢測

譚飛剛，殷萇茗，周書仁

?

改進型WLD與LBP特征融合的行人檢測

譚飛剛，殷萇茗，周書仁

(長沙理工大學計算機與通信工程學院，長沙 410004)

為提高行人檢測的識別率，提出一種基于改進型韋伯局部描述子(WLD)和局部二元模式(LBP)的特征融合方法進行行人檢測。對圖像進行二維離散Haar小波變換得到4個不同頻率的子圖像，對其中1個低頻部分提取WLD特征，對3個高頻部分提取LBP特征，并將各個子圖像的特征串接為1個向量，得到WLD-LBP特征。在INRIA Person數據集上利用SVM作為分類器進行測試，實驗結果表明，與單獨WLD特征、梯度方向直方圖(HOG)特征、PHOG特征以及HOG-LBP特征融合方法相比，該方法的識別率最高，可達98.1%，并且對光照和噪聲也有較好的魯棒性。

二維離散小波變換；特征融合；行人檢測；WLD特征；LBP特征

1 概述

行人檢測的主要任務是檢測圖像或者圖像序列中是否包含行人，并根據檢測出的行人給出其大小和位置信息。它在車輛輔助駕駛、航拍圖像和受害者營救等領域中具有廣泛的應用需求和經濟價值[1]。由于背景的復雜性、拍攝視角與尺度的變化、行人姿態與衣著的多樣性等因素，使得行人檢測具有極大的挑戰性。近些年，隨著研究不斷深入，研究人員提出了各種行人檢測方法，包括基于梯度方向的HOG檢測子[2]、基于部件的檢測方法[3]、多特征融合的行人檢測方法[4]等，以上方法都是基于圖像的靜態行人檢測方法，雖然取得了不錯的檢測效果，但是在減少誤差、檢測定位準確率以及檢測效率等方面還有待進一步提高。因此，行人檢測問題仍是機器視覺領域的研究難點和熱點。

陳杰等人用韋伯定律來對圖像進行描述，提出了韋伯局部描述子(Weber Local Descriptor, WLD)[5-6]，該特征具有很強的區分性，對噪聲和光照變化魯棒好并在人臉檢測中取得了較好的效果。Ojala T等人提出LBP[7-8]描述子用來刻畫圖像的紋理信息，該特征具有計算速度快的優點，但是LBP算子在圖像比較模糊或者光照變化強烈等成像條件較差時，不能有效地刻畫出圖像的紋理特征。

近年來，小波變換被廣泛應用于圖像處理、計算機分類與識別等領域。本文在對圖像進行二維離散Harr小波變換[9-10]的基礎上，提出一種結合改進型WLD和LBP特征的WLD-LBP特征提取方法。

2 二維離散小波變換

原始圖像經過二維離散小波變換后，可得到低頻部分分解系數(LL)、水平方向分解系數(LH)、垂直方向分解系數(HL)和對角線方向分解系數(HH)4個不同分辨率的子圖像，如圖1所示。從圖中可以看出，經過分解后的每幅子圖都是原圖的1/4大小，并且圖像的大部分信息集中在低頻部分(LL)，而其他3幅子圖像僅保留著一些高頻輪廓信息。二維離散haar分解圖如圖1(b)所示，其中左上為LL子圖，右上為LH子圖、左下為HL子圖、右下為HH子圖。

圖1 二維離散haar小波分解示例，

3 特征提取

3.1 WLD算子

WLD算子由2個分量組成：差異激勵(Differential Excitation, DE)和方向()[5-6]，具體計算公式如下：

(2)

在提取圖像的WLD特征時，將圖像水平方向和垂直方向各分成3個塊，每個塊之間重疊50%，如圖2所示，但該示意圖中只畫出幾個示意塊。

3.2 改進的WLD特征提取方法

傳統的WLD特征提取方法是先求各個塊對應像素的差異激勵和方向，然后形成WLD特征向量。從圖2中可以發現圖像所有像素的差異激勵和方向信息都是在重復計算，特別是中間重疊部分進行了多次重復計算。而WLD特征提取的計算量主要集中在計算像素差異激勵和方向信息。因此，本文對WLD特征提取方法進行了改進，首先求取整幅圖像的差異激勵和方向信息，并將其保存在一個大小與圖像一致的二維矩陣中()，其表現形式如式(3)所示。其次根據圖像劃分塊的起始坐標信息，從中取出第個塊對應的數據，然后統計中具有相同方向的像素點個數，并且根據這些像素的差異激勵統計成一個子直方圖，最后將各個方向的子直方圖串接在一起形成該塊的WLD特征。與傳統的提取方法相比，不難發現，本文改進的WLD特征提取方法只需要對整幅圖像計算一次差異激勵和方向信息，從而避免了對重疊部分像素重復計算差異激勵和方向信息，進而提升了提取圖像WLD特征的速度。

由式(1)可知，當前像素的差異激勵是在該像素點的鄰域中計算，那么圖像的4個邊界處(即圖像的像素矩陣中第1行和最后1行，第1列和最后1列)是無法計算其差異激勵，本文把邊界處的差異激勵設置為1。而圖像的其他像素點的差異激勵通過計算得到，這樣保證了得到的差異激勵矩陣與圖像的像素矩陣一樣大小。

3.3 LBP算子

LBP特征[7-8]是由Ojala T等人提出用來刻畫圖像的紋理信息，最基本的LBP算子的計算公式為：

LBP算子的計算過程如圖3所示，若中間像素點值為8，其余各點值分別為6、4、3、2、7、5、4、9，則LBP算子為1。

4 基于小波變換的WLD-LBP特征融合方法

從圖1中不難發現，圖像經過二維離散Haar小波變換后得到4部分子圖像，其中，LL部分保留著原始圖像的大部分信息，而其他3部分則只保留了高頻輪廓信息。高頻部分子圖可以過濾掉光照和其他一些噪聲的影響。基于此，本文提出了基于小波變換的WLD-LBP特征融合算法。圖像經過Haar變換后的子圖像如圖4所示。

圖4 圖像經過Haar變換后的子圖像

該算法首先對圖像進行二維離散Haar小波變換，然后對LL部分子圖提取WLD特征，對其他3個部分子圖提取LBP特征，各部分對應的特征直方圖如圖5所示。

圖5 各子圖對應的特征直方圖

然后再將這4個特征串接形成WLD-LBP特征，其直方圖如圖6所示。

圖6 WLD-LBP融合特征直方圖

最后的特征如式(5)所示，這樣可以彌補LBP對光照和模糊圖像魯棒性差的缺點，同時利用小波變換對圖像進行降維，加快了提取特征的速度。

行人檢測流程如圖7所示。其中，SVM[11-12]是一種基于分類邊界的方法，在將低維空間中的曲線(曲面)映射為高維空間中的直線或平面時，由于其計算量要比在低維空間中大得多，因此引入核函數。它解決了計算高維空間中數據時，使計算量回歸到低維空間的計算量級。不同的核函數對SVM在分類效果和時間上都有很大的影響。當前常用的SVM核函數有線性核函數、多項式核函數、徑向基核函數和Sigmoid內積函數，本文通過實驗發現使用線性核函數分類效果最好。

5 實驗與結果分析

本文分別設計對特征提取方法和檢測算法進行性能對比。實驗的樣本均采集于INRIA Person行人檢測樣本庫。其中，訓練正樣本2 416幅行人圖像，負樣本3 142幅非行人圖像。測試正樣本1 126幅圖像，負樣本1 059幅圖像。分類器采用的是SVM。INRIA Person行人樣本庫中的部分訓練正樣本如圖8所示。

圖8 INRIA Person檢測樣本庫中的部分訓練正樣本

5.1 特征提取方法對比

為證明本文改進的WLD特征提取方法在提取速度上的改進，設計了與傳統提取方法的對比實驗。利用提取所有的訓練樣本(5 558幅)的時間來計算平均每一幅圖像的提取時間，實驗結果如表1所示。可以看出，在相同的運行環境下提取WLD特征，本文提出的WLD-LBP提取方法比傳統的WLD特征提取方法快4.6倍。

表1 本文方法與傳統方法的對比結果

5.2 檢測性能對比

本文設計了5組實驗，分別是WLD特征、文獻[2]的HOG特征、PHOG特征、文獻[4]的HOG-LBP特征、本文方法。在相同的實驗環境下，將各個特征經過SVM進行訓練識別。實驗結果如表2所示。可以看出，本文提出的WLD-LBP特征融合算法具有較好的識別率，并且其識別率明顯高出其他4組實驗的效果。由這5組實驗得到的識別率可以看出，WLD-LBP融合特征可以有效地描述圖像的紋理用于行人檢測。這也證明了本文算法在提取圖像紋理特征中具有較好的性能。

表2 不同特征算子的實驗對比

為了更好地了解算法的性能，本文以TP(True Positive)、FP(False Positive)、TN(True Negative)、FN(False Negative)為衡量標準，對上述5組實驗進行分析，其實驗結果如圖9所示。TP越大或FN越小，說明其方法識別效果越好。從圖9中可以看出，本文算法的TP最高，FN最低。

圖9 不同方法的實驗性能對比

筆者在Detect Human行人樣本測試庫里進行了行人檢測實驗，其部分效果如圖10所示。

圖10 Detect Human行人樣本測試效果

6 結束語

本文對WLD特征提取方法進行了改進，其提取速度明顯提高，通過WLD與LBP特征進行融合，在SVM線性分類器下得到了較好的分類效果，但是由于受行人的衣著、姿態、拍攝角度等因素的影響，在進行行人檢測時的正確性還有待進一步的研究與改進。

[1] 蘇松志, 李紹滋, 陳淑媛, 等. 行人檢測技術綜述[J].電子學報, 2012, 40(4): 814-820.

[2] Dalal N, Triggs B. Histograms of Oriented Gradients for Human Detection[C]//Proceedings of IEEE International Conference on Computer Vision and Pattern Recognition. [S. l.]: IEEE Computer Society, 2005: 886-893.

[3] Dollar P, Babenko B, Belongie S, et al. Multiple Component Learning for Object Detection[C]//Proceedings of the 10th European Conference on Computer Vision. Marseille, France: [s. n.], 2008: 211-224.

[4] Gan Guolong, Cheng Jian. Pedestrian Detection Based on HOG-LBP Feature[C]//Proceedings of the 7th International Conference on Computational Intelligence and Security. Sanya, China: [s. n.], 2011: 1184-1187.

[5] Chen Jie, Shan Shiguang, He Chu, et al. WLD: A Robust Local Image Descriptor[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32(9): 1705-1720.

[6] 陳 杰. 人臉檢測中的訓練集優化[D]. 哈爾濱: 哈爾濱工業大學, 2007.

[7] Ojala T, Pietikinen M, Harwood D, et al. A Comparative Study of Texture Measures with Classification Based on Feature Distribution[J]. Pattern Recognition, 1996, 29(1): 51-59.

[8] Zhao Guoying, Ahonen T, Matas J. Rotation-Invariant Image and Video Description with Local Binary Pattern Features[J]. IEEE Transactions on Image Processing, 2012, 21(4): 1465- 1477.

[9] Zhang Xinyang, Zhang Renjin. The Technology Research in Decomposition and Reconstruction of Image Based on Two-dimensional Wavelet Transform[C]//Proceedings of International Conference on Fuzzy Systems and Knowledge Discovery. Chongqing, China: [s. n.], 2012: 1998-2000.

[10] 殷 明, 劉 衛. 基于四元數小波變換HMT模型的圖像去噪[J]. 計算機工程, 2012, 38(5): 213-215.

[11] Roncancio H, Hernandes A C, Becker M, et al. Vision-based System for Pedestrian Recognition Using a Tuned SVM Classifier[C]//Proceedings of 2012 Workshop on Engineering Applications. [S. l.]: IEEE Press, 2012: 1-6.

[12] 張學工. 關于統計學習理論與支持向量機[J]. 自動化學報, 2000, 26(1): 32-42.

編輯 金胡考

Pedestrian Detection Fused with Improved WLD and LBP Feature

TAN Fei-gang, YIN Chang-ming, ZHOU Shu-ren

(Computer & Communication Engineering School, Changsha University of Science & Technology, Changsha 410004, China)

This paper presents a feature fusion method(WLD-LBP) based on an improved Weber Local Descriptor(WLD) and Local Binary Pattern(LBP) through a two-dimensional discrete haar wavelet transform. The algorithm starts with a two-dimensional discrete haar wavelet for the image so as to obtain the subimages of four different frequencies. Making full use of the WLD and LBP, we extract the WLD characteristics of the low frequency part, and LBP features of the other three high-frequency portion, and then a vector consisted with the characteristics of the image is produced which we called WLD-LBP characteristics. Five groups of test experiments were conducted on INRIA Person databases using SVM as classifier,comparing with the characristics of WLD, Histogam of Oriented Gradient(HOG), PHOG and feature fusion of HOG-LBP,respectively. The results demonstrate the effectiveness with the highest recofnition rate up to 98.1% and robustness to illumination and noise of the proposed method.

2-D discrete wavelet transform; feature fusion; pedestrian detection; Weber Local Descriptor(WLD); Local Binary Pattern(LBP)

1000-3428(2014)03-0201-04

A

TP391

國家自然科學基金資助項目(60973113)；湖南省自然科學基金資助項目(12JJ6057)；湖南省標準化戰略基金資助項目(2011031)；長沙市科技計劃基金資助項目(K1203015-11)。

譚飛剛(1987－)，男，碩士研究生，主研方向：模式識別，圖像處理；殷萇茗，教授、博士；周書仁，博士。

2012-12-27

2013-03-06 E-mail：suiyuan001@126.com

10.3969/j.issn.1000-3428.2014.03.042