一種適應運動前景的快速行人檢測算法

魯 超，滕國偉，鄒雪妹，安 平

(上海大學 通信與信息工程學院，上海 200444)

一種適應運動前景的快速行人檢測算法

魯 超，滕國偉，鄒雪妹，安 平

(上海大學 通信與信息工程學院，上海 200444)

針對智能監控視頻中行人的運動特性和基本HOG加SVM人體檢測算法的特點，將運動目標檢測算法融入基本的HOG加SVM人體檢測算法。首先，利用運動目標檢測算法確定運動區域矩形窗，并擴大調整矩形窗尺寸獲得ROI窗口；然后，根據運動區域尺寸與訓練樣本尺寸的差距調整ROI窗口的首級窗口縮放因子，并對ROI窗口進行人體檢測。實驗結果表明，本文算法優于基本的HOG加SVM人體檢測算法，具有良好的實時性和適應性。

運動目標檢測；ROI窗口；窗口縮放因子；行人檢測

目前，人體檢測技術是智能視頻監控領域的研究熱點，引起了國內外學者的高度關注，在理論和實踐方面均取得了長足進展[1]。2005年N.Dalal和B.Triggs[2]提出了基于梯度方向直方圖(Histograms of Oriented Gradient，HOG)特征和支持向量機(Support Vector Machine，SVM)的人體檢測算法，由HOG特征的定義中可見，計算一幅圖的HOG特征向量的運算量非常大，離實時應用差距很大。因此很多學者在HOG加SVM人體檢測算法基礎上進行改進以提高檢測速度。其中，文獻[3]提出使用積分圖快速計算Haar特征，從而加速人臉檢測算法，受其啟發，F.Porikli[4]提出利用積分圖快速計算HOG特征，一定程度上縮短檢測耗時，但仍未能達到實時應用的效果，尤其針對高清圖片的檢測更是遠遠達不到應用要求。文獻[5]利用Adaboost級聯分類器取代SVM進行訓練和分類，在速度上也有一定的提高，最終實現將320×240尺寸圖片檢測用時從1 s減少為0.2 s，但仍未達到工業應用的要求。2012年，A.Mogelmose等[6]提出一種用于車載攝像頭的兩個階段人體檢測算法，首先利用Haar加Adaboost確定需要檢測的ROI窗口，再利用HOG加SVM人體檢測算法對ROI區域部分進行投票驗證，可有效地檢測出部分遮擋的行人，并提高人體檢測的實時性。文獻[7]在文獻[6]的基礎上，加入目標跟蹤算法，進一步提高檢測正確率和實時性。

上述方法在保證較高檢測率的同時，力求縮短行人檢測所用時間，其中，在檢測之前確定需要進行人體檢測的ROI區域可以極大地減少算法所用時間。本文對此進一步研究，一方面利用幀差法[8]進行前景分割確定需要檢測的ROI區域，排除不需要檢測的背景區域；另一方面，通過比較運動區域尺寸與用于訓練的樣本尺寸(64×128)差異來優化HOG特征提取過程中被檢測圖像的第一級縮放因子。實驗結果表明，在保證較高檢測率的同時，可以極大限度地減少行人檢測過程中的冗余計算量，縮短行人檢測耗時。

1 快速行人檢測算法

本文提出一種基于運動區域尺寸自適應縮放的快速行人檢測算法，主要步驟包括：

1)利用相鄰幀差法進行前景提取得到當前幀的運動區域，然后通過運動區域輪廓確定外接運動區域的矩形窗；

2)調整運動區域矩形窗尺寸，將部分背景包含進新得到的矩形窗，即為需要進行人體檢測的ROI窗口；

3)根據運動區域尺寸與訓練樣本尺寸(64×128)的差距自適應調整HOG特征提取過程中ROI窗口的第一級窗口縮放因子，除第一級縮放因子被調整之外，剩下的窗口縮放因子保持原來的1.05倍不變；

4)利用調整縮放因子后的HOG加SVM算法對ROI窗口進行人體檢測。

1.1 利用幀間差分法確定運動區域矩形窗

利用幀間差分法確定運動區域矩形窗流程圖如圖1所示。

圖1 確定運動區域矩形窗流程圖

1)前景分割

由于前景分割的目的是為了大體確定運動物體所在區域，并不要求得到完整的運動物體，因此，在前景分割算法上采用較簡單的相鄰幀差法，具體過程如圖1虛線框所示。

假設Fm(x,y)和Fm-1(x,y)是圖像序列的第m和m-1幀灰度圖像，Dm(x,y)是Fm(x,y)與Fm-1(x,y)的差分圖像，Bm(x,y)是Dm(x,y)進行閾值化后的二值化圖像，閾值為T。當差分圖像Dm(x,y)中像素點的灰度值大于閾值T時，就認為該像素點屬于運動區域；反之，則認為該像素點屬于背景，見式(1)和式(2)

(1)

(2)

2)確定運動區域矩形窗

從二值圖像Bm(x,y)中檢索出運動區域的外輪廓，根據統計出的輪廓尺寸，篩選出符合要求的輪廓，再遍歷輪廓上所有的點，確定外接運動區域矩形窗的左上角頂點坐標、寬和高，最終確定輸入圖像的運動區域矩形窗的具體位置，并在原圖中將運動區域矩形窗分割出來，效果如圖2所示。

圖2 確定運動區域矩形窗各階段效果

1.2 確定ROI窗

HOG特征本質上描述的是人體的輪廓特征，據此，在制作用于訓練分類器的正樣本時，并不是緊貼著人體截取圖片的，正樣本中人體周圍需要包含一些背景。外接運動區域的矩形窗會比分類器所能檢測到的人體窗口稍小，因此需要適當擴大運動區域矩形窗，使其能完全覆蓋分類器所能檢測到的人體區域。

矩形窗擴大倍數實質上由訓練樣本和分類器性能決定，通過大量實驗，僅引入運動目標檢測的HOG加SVM算法檢測效果與運動區域放大倍數關系，如圖3所示。圖3a中，當放大倍數為1.3時，正檢率最高為93.4%，且平均每幀誤檢數為最小值0.08；圖3b中，隨著放大倍數的增加，檢測耗時逐漸增加，因此，綜合性能與時間確定最佳放大倍數為1.3。

圖3 算法檢測效果與放大倍數關系

針對本文所用分類器和訓練樣本，最終的ROI窗口是以運動區域矩形窗為中心放大1.3倍得到的，同時必須保證經過擴大尺寸得到的ROI窗口不超出視頻邊界范圍，針對大小為640×480的視頻，ROI窗口由式(3)～式(6)組成

(3)

(4)

(5)

(6)

式中：原點(0，0)位于視頻的左上角位置；(Xmv，Ymv)為運動區域矩形窗的左上角頂點坐標；Wmv和Hmv分別對應運動區域矩形窗的寬和高；(XROI，YROI)為ROI窗口左上角頂點坐標；WROI和HROI分別對應ROI窗口的寬和高。

圖4展示了由運動區域矩形窗得到ROI窗的兩種情況和各自效果。其中里層窗口為運動區域窗口，外層窗口為需要進行人體檢測的ROI窗口。第一種情況，運動區域在遠離視頻邊界位置，以運動區域為中心擴大1.3倍后不超出視頻邊界，如圖4a所示；第二種情況，運動區域靠近視頻邊界，運動區域擴大1.3倍后會超出視頻邊界，則在超出邊界那一側令視頻邊界為ROI窗口邊界，如圖4b所示。

圖4 運動區域窗口與ROI窗口的比較

1.3 調整窗口縮放因子并對ROI窗口進行人體檢測

1) 優化窗口縮放因子

基本HOG加SVM算法的步驟為：首先輸入一幅圖像，使用固定大小的窗口(64×128)按步長8對該圖像進行密集掃描，計算掃描到窗口的3 780維HOG特征向量，并使用已訓練好的SVM分類器根據窗口的HOG特征向量判斷該窗口是否為人體；當掃描完當前圖像后，判斷當前圖像是否到達金字塔頂端，若未到達，則將當前圖像按1.05倍縮放因子進行縮放，然后對縮放后的圖像進行同樣的掃描和人體檢測，依次循環，直到圖像縮放到金字塔頂端位置，完成當前圖像人體檢測。由此可見，圖像的縮放尺度決定所要檢測的窗口數目，以及算法復雜度和檢測時間。

由于檢測窗口尺寸固定為64×128，正常情況下，只有當圖像中的人體尺寸縮放到64×128左右才會被判斷為人體，在此之前的圖像縮放和檢測對于人體檢測是冗余計算量，而最初的幾次縮放由于尺寸更大、占用的計算時間更長，通過控制窗口縮放因子，可以避免這部分冗余計算量，極大地節約時間。

如圖5所示，外層框為待檢測的ROI窗口，里層框為最終行人檢測結果，經測量，ROI窗口尺寸為153×315，人體窗口尺寸為120×233，由基本HOG加SVM算法，ROI窗口按照1.05倍等級依次縮放并檢測，當縮放得到的待檢圖像中的人體窗口尺寸為64×128時，才能通過特征提取與分類將其判斷為人體區域，由結果反推可知，ROI窗口按1.05倍等級縮放14次才能使得其內部的人體窗口尺寸縮放為64×128，在此之前縮放形成的14張圖像對于人體檢測是冗余計算量，這14張圖像大小依次為88×182，114×222，109×211，104×201，…，88×182。本文思路是：通過控制第一級ROI窗口縮放因子，使得被檢ROI窗口尺寸直接縮放到88×182左右，跳過這部分冗余計算量，然后仍按1.05倍進行縮放。由于運動區域窗口尺寸略小于人體窗口尺寸，因此，通過計算運動區域窗口尺寸與64×128的比值可以得到第一級窗口縮放因子scale0，見式(7)

scale0=min(Wmv/64,Hmv/128)

(7)

圖5 ROI窗口及最終行人檢測窗口

2)對ROI窗口進行人體檢測

利用上述1)中改進后的HOG加SVM檢測算法只對ROI窗口進行人體檢測，最終檢測效果如圖6所示，矩形框為最終框出的人體。

圖6 行人檢測的結果

2 實驗及分析

為了檢驗本文算法的效果，分別對以下3種算法進行性能比較和評估：算法1，基本的HOG加SVM人體檢測算法；算法2，僅引進幀間差分法的人體檢測算法；算法3，基于運動區域尺寸自適應縮放的快速行人檢測算法。

分別對3段視頻進行測試，視頻為作者對實際場景進行拍攝得到，其中，視頻1尺寸為640×480，內部始終有4個行人(偶爾會有遮擋)；視頻2尺寸為640×480，內部始終只有1個行人；視頻3尺寸為1 920×1 080，內部始終只有1個行人。檢測過程中基本的HOG加SVM算法使用的參數有：檢測窗口尺寸為64×128、窗口縮放倍數為1.05、塊尺寸16×16、單元格尺寸8×8、掃描步長8個像素、梯度方向數9維，HOG特征向量維數為3 780。

3個算法使用完全相同的分類器，本文分類器是利用目前行人檢測領域公認的標準樣本集——INRIAPerson人體樣本集的圖片經過裁剪訓練得到的。統計過程中，當行人身體的至少80%以上被檢為人體才判斷為檢測正確，被檢為人體的背景或者被部分檢出的人體判為誤檢。實驗結果如表1所示。

表1 實驗結果比較

從表中數據可以看到，利用算法3和算法1對視頻2進行行人檢測，在正確率僅降低1.8%的情況下，時間降為原來的1/12；對視頻3進行行人檢測，在正確率僅降低1.2%的情況下，時間降為原來的1/69。均證明本文算法在行人相互遮擋較少情況下，相比基本HOG加SVM算法在保證原有檢測率的同時，可極大減少檢測時間。

此外，通過比較算法1、算法2、算法3檢測同一段視頻2的正確率，由算法1到算法3正確率降低1.5%，由算法2到算法3正確率降低0.3%，其主要原因是：1)利用相鄰幀差法確定運動區域時，當人體運動量較小時，只有一部分被判斷為運動區域，導致之后不能被正確檢測出；2)在根據運動區域尺寸與樣本尺寸差距調整ROI圖像縮放因子時，ROI縮放得過大，以致人體特征不明顯，不能被正確檢測出。

最后比較算法1、算法2、算法3檢測同一段視頻1的正確率，由算法1到算法3正確率降低6.6%，降低幅度較大，其主要原因是：視頻1中包括多人，經常會有遮擋和重疊，遮擋和重疊的多個行人會被判斷為同一個ROI窗口，在調整ROI窗口縮放因子時根據與64×128的差距，導致ROI窗口縮放得太多，以致無法檢出。由此可見本文算法針對人流較少、重疊較少的視頻具有更好的效果，尤其針對高清視頻在保證檢測準確度的同時，可極大縮短檢測時間。針對這個問題，本文后續將對包含多人的情況進行算法改進，對同一個ROI窗口中有多個行人的情況，將進一步判斷出該窗口行人數，根據人數分等級調整圖像縮放因子，以提升準確度。

3 總結

本文提出了一種基于運動區域尺寸進行自適應縮放的快速行人檢測算法，主要在以下方面：1)引入運動目標檢測，利用幀差法確定ROI窗口，縮小人體檢測區域；2)經過大量實驗統計得到縮放倍數最佳值，將原始運動區域放大得到ROI

窗口；3)優化人體檢測時ROI窗口縮放因子，避免冗余計算量。實驗結果表明該算法相對基本HOG加SVM算法在保持較高正確率的同時，極大程度避免冗余計算量，大大縮短檢測時間，尤其針對高清視頻性能更優，可有效解決目前行人檢測實時性差的問題。

[1]DOLLAR P，WOJEK C，SCHIELE B，et al. Pedestrian detection: an evaluation of the state of the art[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2012，34(4)：743-761.

[2]DALAL N，TRIGGS B. Histograms of oriented gradients for human detection[C]//Proc. IEEE Computer Society Conference on Computer Vision and Pattern Recognition，2005. [S.l.]：IEEE Press，2005：886-893.

[3]VIOLA P，JONES M. Rapid object detection using a boosted cascade of simple features[C]//Proc. 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. [S.l.]：IEEE Press，2001：511-518.

[4]PORIKLI F. Integral histogram: a fast way to extract histograms in cartesian spaces[C]//Proc. IEEE Computer Society Conference on Computer Vision and Pattern Recognition，2005. [S.l.]：IEEE Press，2005：829-836.

[5]ZHU Q，YEH M C，CHENG K T，et al. Fast human detection using a cascade of histograms of oriented gradients[C]//Proc. 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. [S.l.]：IEEE Press：1491-1498.

[6]MOGELMOSE A，PRIOLETTI A，TRIVEDI M M，et al. Two-stage part-based pedestrian detection[C]//Proc. 2012 15th International IEEE Conference on Intelligent Transportation Systems. [S.l.]：IEEE Press，2012：73-77.

[7]PRIOLETTI A，MOGELMOSE A，GRISLERI P，et al. Part-based pedestrian detection and feature-based tracking for driver assistance: real-time，robust algorithms，and evaluation[J].IEEE Transactions on Intelligent Transportation Systems，2013，14(3)：1346.

[8]袁國武. 智能視頻監控中的運動目標檢測和跟蹤算法研究[D].昆明：云南大學，2012.

魯 超(1989— )，碩士生，研究方向為智能視頻處理；

滕國偉(1975— )，博士，高級工程師，碩士生導師，研究方向為先進視頻壓縮技術、先進視頻監控技術；

鄒雪妹，女，副教授，碩士生導師，研究方向為視頻圖像信號處理；

安 平，女，教授，博士生導師，研究方向為三維視頻處理技術。

責任編輯：任健男

Rapid Pedestrian Detection Algorithm Based on Foreground

LU Chao, TENG Guowei, ZOU Xuemei, AN Ping

(SchoolofCommunicationandInformationEngineering,ShanghaiUniversity,Shanghai200444,China)

Taking advantage of features of pedestrian in intelligent surveillance video and the characteristics of the fundamental HOG plus SVM human detection algorithm, the moving target detection algorithm is added into the fundamental HOG+SVM human detection algorithm. Firstly, moving target detection algorithm is used to determine the rectangular foreground area windows. Then, the prospects of background are added into the rectangular foreground area windows to gain ROI windows by expanding the size of rectangular windows. Secondly, according to the gap between the size of moving region and that of training samples, the first level of the scaling factor of ROI windows is resized and ROI windows are detected. The experimental results show that this algorithm is superior to the fundamental HOG plus SVM human detection algorithm, with good real-time performance and adaptability.

moving target detection; ROI windows; scaling factor; pedestrian detection

國家自然科學基金項目(61172096；61271212)；新型顯示教育部重點實驗室開放課題資助項目(P201104)；上海市科委重點資助項目(12511502502)

TN911.73

A

10.16280/j.videoe.2015.01.029

2014-07-07

【本文獻信息】魯超，滕國偉，鄒雪妹，等.一種適應運動前景的快速行人檢測算法[J].電視技術,2015，39(1).