基于快速級聯分類器的行人檢測方法研究

基于快速級聯分類器的行人檢測方法研究*

高嵩，杜晴嵐，陳超波

(西安工業大學電子信息工程學院，陜西 西安 710021)

摘要：行人檢測是圖像處理、計算機視覺等方面研究的重要環節，通常用于視頻監控和智能車輛等領域。行人檢測圖像易受到背景的影響，常用的幀差法及單純訓練分類器法在行人檢測中存在著準確率低、分類訓練算法復雜、實時性差等問題。首先采用改進型幀差法獲取行人運動信息，然后利用直方圖坐標對應劃分出運動區域，最后通過訓練雙特征級聯分類器對運動區域進行檢測識別。實驗結果表明，本方法可以有效減少誤檢和漏檢現象，檢測時間平均減少了32.77 ms，檢測準確率平均提高了10%以上，因此本方法有效提高了識別準確率和識別速度。

關鍵詞：改進型幀差法；Haar特征；Shapelet特征；級聯分類器

中圖分類號：TP391.4 文獻標志碼：A

doi:10.3969/j.issn.1007-130X.2015.06.022

收稿日期：*2014-05-23;修回日期：2014-06-30

基金項目：國家自然科學基金資助項目(61271362)；陜西省國際科技合作重點項目(2015KW-024)；西安市技術轉移促進工程項目(CXY1441(3))

作者簡介:

通信地址：710021 陜西省西安市未央區草灘鎮西安工業大學電子信息工程學院

Address:College of Electronic and Information Engineering,Xi’an Technological University,Caotan Town,Weiyang District,Xi’an 710021,Shaanxi,P.R.China

Apedestriandetectionmethodbasedonrapidcascadeclassifier

GAOSong,DUQing-lan,CHENChao-bo

(CollegeofElectronicandInformationEngineering,Xi’anTechnologicalUniversity,Xi’an710021,China)

Abstract:Pedestrian detection is an important part of image processing and computer vision research, and it is usually used in the field of video surveillance and smart vehicles.Pedestrian images are vulnerable to the background,and using common methods such as frame difference and training classifier to detect pedestrian has problems such as low accuracy rate,algorithm complexity and poor real-time pedestrian detection.In this paper we use an improved frame-difference method to obtain the pedestrian movement information.Then we utilize histogram coordinates to divide the movement region correspondingly.Finally,the motion area is detected and recognized by training a double feature cascade classifier. Experimental results show that our method can effectively reduce false and missed phenomenon,the average detection time is reduced by 32.77 ms,and the average detection accuracy is increased by more than 10%.The recognition accuracy and speed are improved effectively.

Keywords:improvedframedifference;Haarfeature;Shapeletfeature;cascadeclassifier

1引言

靜態背景下的行人檢測通常采用背景減除、幀差法以及光流法等方法。研究人員在前人研究的基礎上不斷改進，提出了一些新的方法。AbdelkadirMM等人[1]提出了一種基于子空間的背景建模方法，使背景模型適應更多場景下的行人檢測。YinHong-peng[2]利用直接幀差法結合三幀差法，克服單純使用幀差法的漏檢情況。XiongJing-yi等人[3]通過引入擴展相位相關技術對初始運動進行預測，提高了光流法在大規模運動和強大的噪聲影響的圖像中的檢測率。

對行人的識別通常采用基于模板匹配的方法、基于統計學和特征提取的方法以及近幾年出現的基于神經網絡和支持向量機等方法。國內外研究學者多年來一直致力于研究如何提高行人識別的準確率。JinLi-zuo等人[4]提出了基于分層模型的模板匹配方法，在對象遮擋的情況下進行行人的檢測識別。曲永宇等人[5]提出了HOG特征結合顏色特征的行人檢測算法，提高了檢測精度。李良等人[6]提出了基于LBP層次特征提取的方法，在人臉表情識別的領域有很好的適用性。張彥峰等人[7]提出了M-AsyAdaBoost算法，通過新的樣本權重分配方法，提高訓練器的識別能力。XiaLi-min等人[8]利用立體視覺和神經網絡的方法進行行人識別，克服了傅里葉變換的不足，有良好的重構性和多分辨分析的功能，提高了有效性。

本文基于前期的學習研究，提出了一種基于改進型幀差法的快速級聯分類器算法，利用改進型幀差法獲取行人運動信息，確定行人區域的邊界坐標，獲取行人運動區域，通過訓練雙特征級聯分類器檢測行人運動區域，完成行人的識別與標記。

2方法

2.1改進型幀差法

靜態背景下的行人運動分析通常采用幀間差分法，對相鄰兩幀圖像做差分運算并利用它們之間的相關性獲取運動目標。例如，假設Fk-1(x,y)和Fk(x,y)分別為視頻序列中連續的兩幀，差分后的圖像的表達式為Dk(x,y)，計算過程如下：

(1)

閾值T的選取可以依據經驗指定某一數值，本文采用最大類間方差法即大律法。該方法是由日本學者大律提出的，是一種自適應的閾值確定方法。假設前景像素點占圖像總點數的比例為x，平均灰度為Ux，背景點數占圖像的比例為y，平均灰度為Uy，則圖像總的平均灰度U=xUx+yUy，前景圖像與背景圖像的方差計算公式如下：

(2)

即D=xy(Ux-Uy)(Ux-Uy)，當方差D最大時背景和前景的差異最大，此時的灰度值即為最佳閾值T。將Dk(x,y)與選取的閾值T比較，

當Yk(x,y)為0時，此時圖像為背景圖像，當Yk(x,y)為1時，此時圖像為前景圖像。

實驗選取在校園內拍攝到的一組視頻共378幀進行幀差運算，截取其中相鄰的240、241兩幀(如圖1、圖2所示)，幀差運算后的圖像(如圖3所示)。從圖3可以觀察到行人的大致輪廓，然而此時的行人輪廓不夠清晰完整。因此，要對幀差后的結果進行改進，對其進行對減反轉以及形態學的處理，二值化的圖像進行先腐蝕后膨脹的運算，行人的邊界被填充，高斯濾波去除噪聲，此時可以獲得較為完整的行人信息(如圖4所示)。

Figure 1　Section 240 of video sequence 圖1　視頻序列第240幀

Figure 2　Section 241 of video sequence 圖2　視頻序列第241幀

Figure 3　Computation result of frame difference 圖3　幀差運算結果

Figure 4　Computation result of improved frame difference 圖4　改進后的幀差運算結果

2.2人體運動區域提取

經過幀差運算和形態學處理后的圖像可以看到行人的輪廓，差分圖像的直方圖中可以反映噪聲和運動目標的統計特性，分別對水平方向和垂直方向做投影，獲取水平方向和垂直方向的直方圖，觀察波峰位置。以水平方向為例，記錄水平方向上左右兩個波峰的坐標位置，將坐標對應到原圖中即為行人區域的左右邊界；同理通過垂直方向的直方圖投影，可以確定行人區域的上下邊界坐標。如圖5所示，由圖5a的水平投影可以獲得運動區域的行坐標的左右邊界，圖5b的垂直投影可以獲得運動區域的列坐標的上下邊界。

Figure 5　Horizontal and vertical projection histogram for movement area 圖5　運動區域的水平和垂直投影直方圖

Figure 7　Haar features 圖7　Haar特征

將直方圖獲得的邊界坐標對應到原圖中，分別獲取行人運動區域的左右和上下邊界，從而將行人圖像的范圍縮小至黑色框內(如圖6所示)。分類器只需要在縮小的范圍內進行檢測識別，使得搜索范圍大大縮小，從而提高了運算速度。

Figure 6　Pedestrian movement area 圖6　行人運動區域

2.3特征選取

常用的人體特征描述子主要有Haar特征[9]、HOG特征、Shapelet特征、edgelet特征以及LBP局部特征算子[9]。Haar特征最早由Papa等人研究并且用于人臉識別，Dalal將HOG特征引入了行人識別分析的領域，YaoW等人將Shapelet特征與Haar特征相結合用于行人檢測[9],Deren提出的edgelet特征[9]，可以檢測行人的邊緣特征，Ojala提出了LBP局部算子[9]，通過局部的特征識別行人。Haar特征是一種基于灰度的矩形特征，常用的分為四類：水平特征、線性特征、點特征和對角特征，本文從水平、垂直、45°等幾個不同的方向為劃分的思路，形成11種特征矩形，如圖7所示。

矩形特征的特征值是用來表示行人區域與背景區域的灰度值的對比度，這個數值越大則表明對比度越強烈，邊緣特征越明顯，極有可能存在行人。特征值的計算如公式(3)所示：

(3)

其中，F表示的是整個矩形特征的特征值，u表示的是白色區域與黑色區域的倍數關系，S(x,y)表示的是像素點(x,y)的灰度值，A表示的是黑色區域，B表示的是白色區域。

edgelet特征是一種邊緣特征，如圖8所示，該特征描述子通過計算圖中像素點的法向量和法向量的內積，分析各局部像素點之間的關系來檢測，是一個局部特征而非整體特征。利用edgelet特征計算選取的某個點(x,y)特征值，它的響應特征值P的計算如公式(4)所示：

(4)

Figure 8　edgelet features 圖8　edgelet特征

除了以上兩種特征描述子之外，還有HOG特征描述子以及LBP特征描述子，對比常用的幾種特征描述子，HOG特征維度較高、計算復雜，LBP特征在圖像模糊或者光照強度變化較為明顯的時候不適用。Haar特征在矩形特征明顯的時候有較高的檢測率，edgelet特征對于局部的輪廓方向較為敏感。單獨使用一個特征描述子有時只能在某一個特征較為明顯的時候有高的檢測率。因此，使用混合特征可以從不同方面來刻畫圖像的特征，從而提高行人的檢測識別率，因此本文采用Haar特征結合edgelet特征的雙特征描述子訓練分類器。

2.4級聯分類器

在工程實際中，如果要直接構造一個具有高分類精度的強分類器很難，通常可以采用Boosting算法。它是一種框架算法，首先通過訓練已有的樣本獲得一個弱分類器，要求該分類器要比隨機預測的性能好；然后把得到的弱分類器分別加入Boosting的算法框架中，形成一個強分類器。但是，Boosting算法要預先知道弱分類器的正確率的下限，這些先驗知識的獲取很難，因此又提出了AdaBoost算法。它是一種可以調整投票權重的算法，通過計算每次迭代過程中每一個弱分類器的分類錯誤來調整其在強分類器中的權重。

本文級聯分類器的設計思路如圖9所示。

Figure 9　Constitute of cascade classifier 圖9　級聯分類器構成

算法步驟如下所述：

輸入：訓練樣本集合

A={(x1,y1),(x2,y2),…,(xn,yn)},xi∈X,yi∈Y,

迭代次數N。

初始化：權重分布向量Dt(i)=1/n,i=1,2,…,n，設定訓練誤差的期待值為σ；

執行:Fort=1,2,…,N

(1)按照分布Dt(i)對A進行抽樣，產生At；

(3)計算Wt對A訓練的誤差:

其中，I為布爾函數， 1表示真， 0表示假；

Ifεt<σ，則輸出分類器Wt。

本文通過引入雙特征的弱分類器，計算不同特征所對應的訓練誤差，增加錯誤的分類器權重，減小正確的分類器權重，當訓練誤差降低到足夠小時，可以輸出一個強分類器，這一過程實際上就是每一個弱分類器對結果進行加權投票。然而弱分類器可能會對同一個目標重復檢測，因此需要對結果進行合并，對邊界有相交的檢測結果，取其頂點的最大值和最小值作為新的頂點，從而合并為一個結果。

3實驗結果

實驗選取校園內的多處不同地點進行視頻采集，在OpenCV中編寫程序進行算法檢測，完成行人的檢測識別。選取其中比較有代表性的兩組圖像展示實驗結果，檢測結果由黑色矩形框出，第一組視頻是在圖書館南側拍攝的，視頻總長度為378幀，截取其中的第232幀展示運算結果(圖10～圖12);第二組視頻是在教2樓東側拍攝的，視頻總長度為198幀，截取其中第175幀展示結果(圖13～圖15)。

Figure 10　Section 232 of video sequence 1 圖10　視頻1第232幀原圖

Figure 11　Result of common frame difference method 圖11　普通幀差法結果圖

Figure 12　Result of the proposed algorithm 圖12　本文算法結果圖

Figure 13　Section 175 of video sequence 2 圖13　視頻2第175幀原圖

Figure 14　Result of common frame difference method 圖14　普通幀差法結果圖

Figure 15　Result of the proposed algorithm 圖15　本文算法結果圖

圖11和圖14是采用普通幀差法結合AdaBoost算法進行行人檢測的結果，圖12和圖15為本文采用的方法。通過觀察實驗結果可以發現，第一組實驗中混疊的行人在圖11中沒有被檢測出來，圖12中檢測了出來，圖11中漏檢的遠端的行人在圖12中也被檢測了出來。第二組實驗中發生混疊的行人在圖14中沒有被檢測出來，圖15則檢測了出來，因此改進了的幀差法降低了行人的漏檢率，提高了行人檢測識別的準確率。但是，圖11中位于圖像右側幾乎完全重疊的兩個行人沒有被檢測出來，因此算法今后還要在以上兩個方面做進一步的改進，研究如何在行人幾乎完全重疊的情況下進行檢測識別。分別選取視頻序列中的連續80幀，記錄出現的總行人數，記錄本文方法與單純采用幀差法各自檢測出的行人總數，對比兩種方法的檢測準確率。其中第一組實驗的80幀總人數為561人，第二組實驗的80幀總人數為317人，由表1中數據可以看出，第一組實驗檢測率提高了10.22%，第二組實驗檢測率提高了20.50%。

Table 1　 Comparison of detection accuracy between

對比本文方法與單純采用AdaBoost訓練分類器方法的運算速度，由表2中數據可以發現，第一組實驗的運算速度由120.45ms減少至87.76ms，運算速度提高了32.69ms;第二組實驗的運算速度由105.38ms減少至72.53ms，運算速度提高了32.85ms，運算速度平均提高了32.77ms，因此滿足了實時性的要求。

Table 2　 Comparison of computational speed between

4結束語

(1)本文通過改進型幀差法提取運動區域，減小了分類器需要檢測的區域大小和背景圖像的干擾，從而降低了檢測的錯誤率，檢測速度得以加快。

(2)本文通過訓練雙特征的級聯分類器，提高了分類器識別的準確率。

(3)經過仿真結果驗證，本文提出的方法提高了檢測準確率，運算速度得以加快。

參考文獻:

[1]AbdelkadirMM.Researchondetectingmovingobjectsusingbackgroundsubtractionandframedifference[D].Harbin：HarbinEngineeringUniversity,2012.

[2]YinHong-peng,ChaiYi,YangSX,etal.Fast-movingtargettrackingbasedonmeanshiftandframe-differencemethods[J].JournalofSystemsEngineeringandElectronics, 2011,22(4).587-592.

[3]XiongJing-yi,LuoYu-pin,TangGuang-rong.Animprovedopticalflowmethodforimageregistrationwithlarge-scalemovements[J].ActaAutomaticaSinica, 2008,34(7):760-764.

[4]JinLi-zuo,WuTi-rui,LiuFeng,etal.Hierarchicaltemplatematchingforrobustvisualtrackingwithsevereocclusions[C]//ProcofZTECommunications, 2012:54-59.

[5]QuYong-Yu,LiuQing,GuoJian-ming,etal.PedestriandetectionbaesdonHOGandcolorfeatures[J].JournalofWuhanUniversityofTechnology, 2011,33(4):134-138.(inChinese)

[6]LiLiang,GaoNa.ExpressionrecognitionalgorithmbasedonthecharacteristicsofLBPlevel[J].JournalofHenanPolytechnicUniversity(NaturalScience), 2013,32(6):732-735.(inChinese)

[7]ZhangYan-feng,HePei-kun.Animprovedalgorithm-M-AsyAdaBoost[J].TransactionsofBeijingInstituteofTechnology, 2011,31(1):64-73.(inChinese)

[8]XiaLi-min,WangQian,WuLian-shi.Vision-basedbehaviorpredictionofballcarrierinbasketballmatches[J].JournalofCentralSouthUniversity, 2012,19(2):2142-2151.

[9]GaoYu.HumanmovementdetectionbasedonHaarfeature[D].Changchun:JilinUniversity, 2013.(inChinese)

參考文獻：附中文

[5]曲永宇，劉清，郭建明，等.基于HOG和顏色特征的行人檢測[J].武漢理工大學學報，2011,33(4):134-138.

[6]李良，高娜.基于LBP層次特征的表情識別算法[J].河南理工大學學報(自然科學版)，2013,32(6):732-735.

[7]張彥峰，何佩琨.一種改進的AdaBoost算法-M-AsyAdaBoost[J].北京理工大學學報，2011,31(1):64-73.

[9]高宇.基于Haar特征的運動人體檢測[D].長春：吉林大學，2013.

高嵩(1966-),男,湖北安陸人，博士，教授，研究方向為復雜系統智能控制和自主智能體技術。E-mail:gaosong@xatu.edu.cn

GAOSong,bornin1966,PhD,professor,hisresearchinterestsincludeintelligentcontrolofcomplexsystems，andautonomousagenttechnology.

杜晴嵐(1989-),女,陜西富平人，碩士生，研究方向為行人檢測與識別。E-mail:wo450498056@yeah.net

DUQing-lan,bornin1989,MScandidate,herresearchinterestincludespedestriandetectionandrecognition.

陳超波(1978-),男,浙江寧波人，碩士，副教授，研究方向為控制理論與控制工程。E-mail:choby@xatu.edu.cn

CHENChao-bo,bornin1978,MS,associateprofessor,hisresearchinterestsincludecontroltheory,andcontrolengineering.