基于感興趣區(qū)域特征融合的行人檢測(cè)方法研究*

彭 寶，孫韶媛，梁炳春，趙海濤（.東華大學(xué) 信息科學(xué)與技術(shù)學(xué)院 數(shù)字化紡織服裝技術(shù)教育部工程研究中心，上海 060；.華東理工大學(xué) 信息科學(xué)與工程學(xué)院，上海 0037）

基于感興趣區(qū)域特征融合的行人檢測(cè)方法研究*

彭 寶1，孫韶媛1，梁炳春1，趙海濤2
（1.東華大學(xué) 信息科學(xué)與技術(shù)學(xué)院 數(shù)字化紡織服裝技術(shù)教育部工程研究中心，上海 201620；2.華東理工大學(xué) 信息科學(xué)與工程學(xué)院，上海 200237）

近年來(lái)，伴隨著智能車(chē)輛的快速發(fā)展，行人檢測(cè)在車(chē)輛輔助駕駛方面越來(lái)越受到重視。提出一種二維顯著性紋理算子（Two-dimensional Significant Local Binary Pattern，TS-LBP），該算子能夠反映圖像的紋理特征、顯著性特征同時(shí)具有較強(qiáng)的抗噪聲性能。首先提取感興趣的目標(biāo)區(qū)域，再提取目標(biāo)區(qū)域顏色與紋理特征的融合特征對(duì)目標(biāo)進(jìn)行特征描述，最后采用Adaboost算法訓(xùn)練得到一個(gè)行人分類(lèi)器對(duì)行人進(jìn)行識(shí)別。實(shí)驗(yàn)結(jié)果表明，該方法檢測(cè)快速準(zhǔn)確，具有較好的檢測(cè)效果。

行人檢測(cè)；感興趣區(qū)域；顏色特征；紋理特征；特征融合

0 引言

行人檢測(cè)在車(chē)輛輔助駕駛系統(tǒng)中具有重要的應(yīng)用價(jià)值。隨著全球機(jī)動(dòng)車(chē)輛的快速增長(zhǎng)，交通事故也逐年上升，而大部分是由于車(chē)輛未及時(shí)采取避讓措施造成車(chē)輛與行人的碰撞。因此，對(duì)行人進(jìn)行檢測(cè)，對(duì)有可能發(fā)生碰撞的行人提前做出預(yù)警將會(huì)很大程度上減少交通事故的發(fā)生。然而，行人檢測(cè)一直是一個(gè)有難度、富有挑戰(zhàn)性的課題［1］。

在過(guò)去的一段時(shí)間內(nèi)，許多學(xué)者提出了多種行人檢測(cè)方法。如基于運(yùn)動(dòng)信息的方法［2］、基于模板匹配的方法［3］等，但是都不能夠取得較好的檢測(cè)效果。VIOLA P等人［4］采用級(jí)聯(lián)AdaBoost學(xué)習(xí)算法對(duì)人臉進(jìn)行檢測(cè)，后來(lái)被應(yīng)用到行人檢測(cè)上，取得了不錯(cuò)的檢測(cè)效果；DALAL N等人［5］提出了梯度方向直方圖（Histogram of Oriented Gradient，HOG）特征能夠高效刻畫(huà)出人體的邊緣特征，是目前廣泛使用的行人特征描述子，但是其維度過(guò)高、計(jì)算速度較慢，因此不能滿足車(chē)載檢測(cè)實(shí)時(shí)性的要求；WALK S等人［6］提出了顏色自相似性（Color Self-Similarity，CSS）特征的行人檢測(cè)方法，因其包含較多冗余信息，不能得到較滿意的效果。

1 本文檢測(cè)方法

本文提出了一種在感興趣行人區(qū)域的基礎(chǔ)上將顏色特征與紋理特征相融合的算法，該算法具有特征維數(shù)少，計(jì)算速度快的優(yōu)點(diǎn)。該算法主要包括訓(xùn)練部分和檢測(cè)部分，算法框架如圖1所示。

圖1 行人檢測(cè)系統(tǒng)框架

在車(chē)載視頻圖像中存在著大量的非行人區(qū)域，可先確定行人可能存在的感興趣區(qū)域，再對(duì)感興趣區(qū)域的目標(biāo)進(jìn)行重點(diǎn)檢測(cè)，避免全局掃描圖像而消耗過(guò)多時(shí)間。行人不管是站立還是行走，其垂直方向都具有很強(qiáng)的對(duì)稱性［7］。可以利用這個(gè)特征，粗提取行人有可能存在的感興趣區(qū)域。采用式（1）來(lái)計(jì)算圖像每列的邊緣對(duì)稱性。其中，wmin、wmax為垂直邊緣點(diǎn)的搜索范圍，Sv（k）為對(duì)應(yīng)第k列的對(duì)稱性測(cè)度，數(shù)值越大表示圖像越以k為對(duì)稱中心。參考文獻(xiàn)［8］通過(guò)統(tǒng)計(jì)得出行人寬高比的平均值為0.4，可適當(dāng)放寬比值，提取出更多的候檢區(qū)域，避免漏檢，同時(shí)可以排除大量的非行人區(qū)域。

2 行人識(shí)別

2.1 顏色特征提取

顏色特征因其具有計(jì)算簡(jiǎn)單、易于提取等優(yōu)點(diǎn)而在圖像處理方面被廣泛使用。HSV（Hue、Saturation、Value）對(duì)光線變化具有較強(qiáng)的適應(yīng)能力。因此，首先按式（2）將輸入的圖像從RGB顏色空間轉(zhuǎn)換到HSV顏色空間中。根據(jù)人體視覺(jué)對(duì)顏色的感知特性對(duì)顏色進(jìn)行非均勻量化，從而將HSV顏色空間量化為72維直方圖特征向量。

2.2 紋理特征提取

局部二值模式 （LocalBinaryPattern，LBP）是由OJALA T等人［9］提出的用于提取圖像局部紋理特征的算子。以 3×3模板為例，按照式（3）即可以求得該窗口中心像素點(diǎn)的LBP值。LBP算子示意圖如圖2所示。

圖2 LBP算子示意圖

在統(tǒng)計(jì)LBP直方圖時(shí)維數(shù)太多且具有較多冗余。CS-LBP（Center-Symmetric Local Binary Pattern）具有中心對(duì)稱特性，同時(shí)能夠?qū)BP起到降維的作用。CS-LBP算子計(jì)算公式如式（4），算子示意圖如圖 3所示。

圖3 CS-LBP算子示意圖

CS-LBP能夠?qū)D像進(jìn)行降維，但對(duì)噪聲的抗干擾性能不足。為了提高算法的魯棒性，本文提出了帶有噪聲門(mén)限T的CS-LBP紋理特征如式（5）所示。

帶有噪聲門(mén)限的CS-LBP的紋理特征具有傳統(tǒng)LBP的灰度不變性、旋轉(zhuǎn)不變性，同時(shí)具有對(duì)稱型、較好的抗噪聲性能。為了能夠較好地反映圖像的顯著性特征，本文提出帶有閾值的顯著性算子（Local Significant Texture operator，LST）使得對(duì)像素灰度值有更好的適應(yīng)性，算子表示如式（6）所示。

將帶有噪聲門(mén)限的CS-LBP特征與帶有閾值的顯著性算子LST相結(jié)合，構(gòu)成本文二維顯著性紋理算子（Two-dimensionalSignificantLocalBinary Pattern，TSLBP）如式（7）所示。用此算子表示圖像的紋理特征既能反映圖形的紋理結(jié)構(gòu)，又能顯示其局部顯著性特征，同時(shí)具有較好的抗噪聲性能。

TS-LBP=（CS-LBPTP，R，LSTtP，R）（7）

2.3 特征融合

首先按式（2）提取圖像感興趣區(qū)域的顏色直方圖，再按式（7）提取感興趣目標(biāo)區(qū)域紋理直方圖，將兩種特征融合在一起形成融合特征直方圖，如圖4所示。融合后的特征能夠反映目標(biāo)區(qū)域的紋理特征、顯著性特征以及顏色特征，同時(shí)具有較好的抗噪聲性能。

圖4 特征融合直方圖

2.4 Adaboost算法介紹

Adaboost算法是一種迭代算法［10］，其核心思想是用同一個(gè)訓(xùn)練集通過(guò)訓(xùn)練得到分類(lèi)性能一般的弱分類(lèi)器，把這些弱分類(lèi)器級(jí)聯(lián)，構(gòu)成一個(gè)分類(lèi)性能更好的強(qiáng)分類(lèi)器，由此利用強(qiáng)分類(lèi)器來(lái)對(duì)行人進(jìn)行分類(lèi)。算法的流程如下：

（1）給定訓(xùn)練集：F=｛（x1，y1），…，（xN，yN）｝，其中 yi∈｛0，1｝；

3 實(shí)驗(yàn)結(jié)果及分析

本文實(shí)驗(yàn)采用的數(shù)據(jù)來(lái)源于INRIA行人數(shù)據(jù)庫(kù)、MIT數(shù)據(jù)庫(kù)和自行拍攝裁剪的照片。其中訓(xùn)練集包含2 416幅行人圖像、4 132幅非行人圖像。測(cè)試集包含1 236幅行人圖像、1 039幅非行人圖像。實(shí)驗(yàn)在MATLABR2008a上實(shí)現(xiàn)，Window XP操作系統(tǒng)，計(jì)算機(jī)環(huán)境配置為2.5GHz CPU和2GB內(nèi)存。在INRIA數(shù)據(jù)庫(kù)提供的行人測(cè)試樣本上進(jìn)行檢測(cè)實(shí)驗(yàn)。為了比較本算法的檢測(cè)性能，在相同環(huán)境下實(shí)現(xiàn)參考文獻(xiàn)［7］的檢測(cè)算法，兩種算法比較結(jié)果如表1所示。本文檢測(cè)算法比參考文獻(xiàn)［7］算法檢測(cè)率更高，并且采取只對(duì)感興趣區(qū)域的行人進(jìn)行檢測(cè)，因而大大減少了檢測(cè)所用時(shí)間。部分檢測(cè)效果如圖5所示。其中圖5（a）表示在相似的環(huán)境背景下對(duì)行人進(jìn)行檢測(cè)識(shí)別，可以看出本文檢測(cè)算法對(duì)行人的區(qū)分能力強(qiáng)，對(duì)行人有較好的識(shí)別能力，但是由于光照和相似背景的干擾會(huì)出現(xiàn)“誤檢”的情況；圖5（b）表示在不同環(huán)境、不同背景下對(duì)行人進(jìn)行檢測(cè)識(shí)別，可以看出本文檢測(cè)算法在復(fù)雜背景下同樣能夠?qū)π腥擞休^好的識(shí)別，但是由于人群密度過(guò)大、人群遮擋等原因會(huì)出現(xiàn)“漏檢”的情況。

表1 兩種算法性能比較

圖5 行人檢測(cè)效果圖

4 結(jié)論

本文提出了一種基于感興趣區(qū)域內(nèi)顏色特征和顯著性紋理特征相融合的行人檢測(cè)算法，并通過(guò)Adaboost分類(lèi)器進(jìn)行行人檢測(cè)實(shí)驗(yàn)。這種檢測(cè)算法避免了對(duì)整幅圖像進(jìn)行全局掃描，運(yùn)行速度快，魯棒性高，且在INRIA行人庫(kù)上取得了比較滿意的結(jié)果。但是，在夜間、雨天以及光照劇烈、行人密度過(guò)大的環(huán)境下檢測(cè)結(jié)果不是很理想，在后續(xù)會(huì)進(jìn)一步改進(jìn)和完善。

［1］張春鳳，宋加濤，王萬(wàn)良.行人檢測(cè)技術(shù)研究綜述［J］.電視技術(shù)，2014，38（3）：157-162.

［2］賀琴，潘建壽，劉繼艷，等.攝像機(jī)運(yùn)動(dòng)下基于背景匹配的運(yùn)動(dòng)目標(biāo)檢測(cè)［J］.計(jì)算機(jī)工程與應(yīng)用，2010，46（24）：179-181.

［3］周晨卉，王生進(jìn)，丁曉青.基于局部特征級(jí)聯(lián)分類(lèi)器和模板匹配的行人檢測(cè)［J］.中國(guó)圖象圖形學(xué)報(bào)，2010，15（5）：824-829.

［4］VIOLA P，JONES M.Robust real-time face detection. IJCV［J］.International Journal of Computer Vision，2004，57（2）：137-154.

［5］DALAL N，TRIGGS B.Histograms of oriented gradients for human detection［C］.IEEE Computer Society Conference on Computer Vision and Pattern Recognition，CVPR 2005，IEEE，2005：886-893.

［6］WALK S，MAJER N，SCHINDLER K，et al.New features and insights for pedestrian detection［J］.IEEE Conference on Computer Vision and Pattern Recognition，2010，119（5）：1030-1037.

［7］岳求生，周書(shū)仁，李峰，等.HSV與 LBP特征融合的行人檢測(cè)方法研究 ［J］.計(jì)算機(jī)工程與科學(xué)，2014，36（10）：1997-2001.

［8］郭烈，王榮本，金立生，等.基于邊緣對(duì)稱性的車(chē)輛前方行人檢測(cè)方法研究［J］.交通信息與安全，2007，25（1）：40-43.

［9］OJALA T，PIETIK?INEN M，MENP T.Gray scale and rotation invarianttexture classification with localbinary patterns［J］.Proceedings of the Sixth European Conference On Computer Vision，2000，24（7）：404-420.

［10］楊英，劉衛(wèi)國(guó)，鐘令，等.基于AdaBoost行人檢測(cè)優(yōu)化算法的研究［J］.機(jī)電工程，2014，31（10）：1347-1350.

Research of pedestrian detection method based on the feature fusion of interested region

Peng Bao1，Sun Shaoyuan1，Liang Bingchun1，Zhao Haitao2
（1.Engineering Research Center of Digitized Textile ＆Fashion Technology，Ministry of Education，
College of Information Science and Technology Donghua University，Shanghai 201620，China；
2.School of Information Science and Engineering，East China University of Science and Technology，Shanghai 200237，China）

In recent years，along with the rapid development of the intelligent vehicle，pedestrian detection in vehicle auxiliary driving is paid more and more attention.This thesis proposes a TS-LBP operator（Two-dimensional Significant Local Binary Pattern）which can reflect the texture characteristics and the significance of the image with strong anti-noise performance.The first step is to extract the interested target area.Then it extracted color and texture feature fusion of the target area for target characteristics described.Finally using Adaboost training algorithm，it got a pedestrian classifier to identify pedestrians.The research shows that the method proposed in this paper is fast and accurate with good detection results.

pedestrian detection；regions of interest；color feature；texture feature；feature fusion

TP391.4

A

1674-7720（2015）18-0036-03

彭寶，孫韶媛，梁炳春，等.基于感興趣區(qū)域特征融合的行人檢測(cè)方法研究［J］.微型機(jī)與應(yīng)用，2015，34（18）：36-38，41.

2015-05-16）

彭寶（1990-），男，碩士研究生，主要研究方向：圖形處理與模式識(shí)別。

孫韶媛（1974-），通信作者，女，博士，講師，主要研究方向：圖形處理與模式識(shí)別。Email：503537041@qq.com。

梁炳春（1990-），男，碩士研究生，主要研究方向：圖形處理與模式識(shí)別。

國(guó)家自然科學(xué)基金（ 61205017 ， 61375007 ， 61072090 ）