基于多尺度協同的人頭檢測方法

彭景維，童基均

(浙江理工大學 信息學院，杭州 310018)

基于多尺度協同的人頭檢測方法

彭景維，童基均

(浙江理工大學 信息學院，杭州 310018)

針對HOG特征本身不具有尺度不變性，在實際應用中僅能檢測出與樣本圖片大小相差不大的目標對象這一弊端，提出多尺度窗口融合的頭部檢測的方法;利用線性支持向量機在分類決策方面的優勢，與提取的HOG特征結合作分類器的離線訓練；在實時的目標檢測階段，采用高斯金字塔式縮放對輸入的視頻序列作多尺度處理，得到對應的不同分辨率下的待檢測幀，在不同的尺度空間作人頭的掃描檢測并存儲結果;之后融合各尺度的檢測結果并在相應位置決策標定;實驗對某監控視頻作檢測分析，結果表明，該方法在檢出率、召回率、準確度等方面均有較大提升。

多尺度；金字塔變換；窗口融合；梯度直方圖

0 引言

計算機智能視頻監控系統成為近年來的熱點研究方向，行人人頭檢測技術在視頻監測領域的應用也越來越普及，比如安防、人流量統計分析、舞臺虛擬編排的走位校正等應用正發揮著越來越大的社會效益和利用價值。人頭檢測的研究發展至今，研究人員已做了大量的探索，Zhou等[1]對于較為擁擠的人群場景，利用多核學習技術并結合梯度直方圖和局部二元模型的特征集訓練一個頭部檢測的分類器，并用該技術建立模型框架，實現頭部的檢測及形狀準確識別。在Guan等[2]的系統中，忽略人體其它部位的形態，將頭部建模為橢圓形，并與基于顏色直方圖的特征融合，用融合后的特征為檢測子，實現人的頭部的驗證和追蹤。Aziz等[3]提出了一種基于骨架圖形的人頭檢測方法，該方法利用一種適應骨架圖形分析技術，在擁擠環境中辨別每個選定斑點的輪廓信息，以達到檢測行人頭部的目的。

方法均可檢測出視頻中的行人，然而實時視頻中的準確度、魯棒性等均有待提高，如文獻[1]方法在場景復雜時漏檢較高，文獻[3]方法在視頻中人數不多的時候較為有效。本文提出一種檢測實時場景中的人頭部的方法，將Dalal等[4]提出的梯度直方圖(Histogram of Gradient, HOG)特征運用到人頭檢測上，針對傳統HOG本身不具有尺度不變性等弊端，提出一種多尺度協同及檢測窗口融合的方法，以提高檢測精度和效率。

1 多尺度協同分析

傳統HOG特征本身不具備尺度不變性，檢測窗口大小固定，對于實時視頻場景中的位置、大小等不斷變化的人頭目標很難及時作出有效響應，本文針對這一弊端作出改進，主要按照以下兩個模塊進行：一是分類器的離線訓練階段，主要表現在正負樣本的采集、HOG特征的提取過程、SVM分類學習并生成頭部分類器等幾個方面；二是實時的在線目標檢測階段，主要是圖像尺度縮放，并對縮放后的圖像提取HOG特征，這樣減少滑動窗口分類時的重復提取，接著做檢測窗口的密集掃描處理，并用離線訓練的分類器作檢測窗口的分類，保存分類結果，高斯金字塔的融合處理及標定最終結果等過程。本文所述的檢測方法基本流程如圖1所示。

圖1 多尺度協同的人頭檢測方法流程圖

1.1 分類器離線訓練

樣本庫的建立：

對于行人的頭部檢測，樣本質與量的好壞對于檢測結果準確與否扮演重要角色。分類器離線訓練過程的第一步是選取樣本，構建訓練分類器模型所需的樣本庫，包括正樣本(頭部樣本)和負樣本(非頭部樣本)的選擇。

1) 頭部樣本選取頭部樣本作為訓練數據集的正樣本，其選取的質與量對于建立的分類器檢測性能的好壞和檢測結果的準確性有直接的影響。由機器學習理論可知，訓練一個性能優良的分類器不僅需要一定數量的樣本，還需要樣本具有代表性，即盡可能使其涵蓋檢測過程中的各種情形。如：應盡量涵蓋一定范圍內的視野場景、光照、背景等多樣性變化條件下的行人頭部樣本采集情況。攝像頭視野下的人體頭部雖近似于圓，但頭部形狀實則因人而異，不同人的頭部形狀差異明顯，在實驗條件允許時，應盡量采集不同攝像頭下行人的不同發型、不同年齡及性別等特征的人體頭部作為正樣本，使得到的分類器在離線訓練階段便具有一定的魯棒性。

2) 非頭部樣本選取實驗前，先對背景及周圍場景過濾，提取運動目標區域。在作非頭部樣本選取時，主要集中于人體各部位及附屬衣飾，如人的肩部，膝蓋、背包等。同時，行人一般活動于較開放的場景，檢測中也難免會出現類似行人的運動目標，依現有提取方式，窮舉所有可能出現的這類對象較為不易，可盡量準備那些可能出現在視頻場景中的類行人頭部樣本，如花叢、樹樁及其它動物等，以完善負樣本集。

此外，人工裁剪的樣本尺寸大小不一，還需對原始正負樣本的尺寸歸一調整。本次實驗采用圖像插值算法[5]，將正負樣本統一調整為64(像素)×64(像素)。經過灰度處理及歸一化之后的部分正負樣本如圖2所示。

圖2 部分正負訓練樣本

行人頭部可視為剛體，但是不同的個體其形狀差異性仍較為明顯。不同的人，發型、頭飾等也有差異，即使同一人處于攝像頭下的位置不同，攝像頭讀取的頭部信息也會有變化。因HOG特征在應對圖像幾何和光學的形變方面能保持很好的不變性，本文以此為特征描述子。

依據支持向量機在做分類決策的優勢[6-7]，實驗以支持向量機為分類器，并與提取的HOG特征結合作分類器的離線訓練和實時的頭部檢測。離線訓練階段，將制作好的正負樣本輸入到SVM模型中，獲取該訓練后的分類器。實驗僅需判斷人頭及非人頭對象，則只需訓練一個二分類器；實時檢測階段，將視頻序列輸入到已訓練好的分類器中，通過設定的各參數，使檢測窗口在經尺度變換后的不同層作掃描檢測，并分類決策。不同的層可能會對同一人頭重復檢測，一個窗口也可能會因檢測到多個人頭對象造成的窗口重疊等問題，本文通過融合技術對此優化處理。

1.2 目標在線檢測

1.2.1 多尺度分析

不同視角觀測到的自然界的對象呈現出不同形態，機器視覺很難分析出未知場景中物體的尺度[8]，因此，有必要考慮圖像同時在多尺度下的分析描述。本文選用高斯金字塔變換處理這一問題。一幅圖像的金字塔是一系列以金字塔形狀排列的分辨率逐步變換的圖像的集合[9]，將圖像與一系列大小不同的高斯核作卷積處理，得到圖像的多尺度表達，使一幅圖像按一定的縮放系數α作出變換，實現圖像的多尺度變換。此模型的建立可分兩步進行：先通過一個低通濾波器的平滑，再對平滑之后的圖像作抽樣和插值操作，得到按比例縮小或放大的圖像，如圖3所示。序列中的第i層圖像Li(x，y)與相鄰的第i-1層圖像Li-1(x，y)之間的關系如下：

(1)

(2)

由此，可以實現由L0，L1，…，LN構成高斯金字塔層級模型。

圖3 圖像金字塔模型及變換

傳統的HOG采用單尺度固定大小的檢測窗口目標的檢測。由于行人通常在運動，很難獲取監控視野中不同時刻行人的大小變化信息。分類器的訓練前，已選定了大小合適的樣本，而檢測窗口的大小取決于訓練樣本的大小，且樣本大小不易改變，這使得檢測窗口的大小也相對固定。檢測前先對視頻序列作高斯金字塔式的變換，這樣，原先同一幀中大小不同的人頭也可能在某一變換的尺度空間中被檢測。本文選定合適的縮放比，對輸入的視頻序列作高斯金字塔式縮放變換，再對變換后共5層不同尺度的圖像作掃描檢測。

1.2.2 窗口融合分析

窗口融合目的是為得到清晰準確的檢測結果，也可減少檢測的計算量。人的頭部形狀的面積趨于相對統一的范圍，因此可通過面積閾值過濾檢測中可能出現的面積過大或過濾等不符合檢測結果的窗口。

實驗檢測的人頭較多，窗口類型較復雜，在SVM作分類決策時，人頭的形狀和大小不一，每幀作高斯金字塔變換后，同一尺度下，當前幀中所有人頭被檢測的可能性不大。作多尺度檢測時，易出現標定多個檢測窗口，即窗口重疊的現象，為有效處理較多的檢測窗口，且需保證檢測結果的準確性，首要原則是降低視頻序列中行人頭部的漏檢率，這可通過調節SVM分類器的閾值，以降低檢測結果為行人頭部的條件來實現；第二，優先處理同層的同類且時空距離較近的窗口；第三，經檢測所標定的人頭是否準確，及標定的人頭位置均以最終檢測和融合的結果為準。具體的融合方式為：

1)經每層的檢測后，若檢測到橫坐標相同且重疊的人頭，則將其取并集后的頭部區域視為一個窗口；

2)經過上述窗口面積閾值處理及同層窗口融合后，取各層人頭的選框大小及其質心坐標位置，并映射到在作尺度變換前的對應幀的相應位置。設P1，P2為任意兩個經檢測之后的人頭標定框，它們是否融合及融合的方式如下：

Pend=

(3)

若二者間的重疊面積小于它們較小面積的λ1倍，則不作處理，反之，需融合處理。其中，min(P1，P2)為取P1，P2中面積較小者的面積，area(P1,P2)表示取檢測窗口融合后整體的總面積，Pc表示經上述處理后得到的新的標定框，其質心坐標可取融合前的兩檢測框整體的質心，其邊長C的計算方法為：

C=L×areaRATE′

(4)

其中：L是融合前的P1，P2兩個檢測框各自邊長組成的向量，areaRATE是這兩個檢測框各自的面積分別占它們疊加后的總面積的百分比向量；

3) 經上述處理后，將融合后得到的最終的檢測框的大小、位置等屬性映射到在作金字塔變換前的對應幀的相應位置，標定出最終的檢測結果。

2 實驗及結果分析

當前實驗環境為Win7 32位系統, Pentium(R) Dual-Core CPU T4300 @ 2.10 GHz 2.10 GHz，Matlab R2014a。正負樣本數量分別為903和1098個。測試視頻是某幢大樓一樓大廳某時段的監控信息，其分辨率為640×480，任截取其中2880幀作為實驗素材。實驗中選取的樣本尺寸大小為64×64像素，每8×8的像素大小組成一個cell單元，每2×2個cell單元組成一個塊，一個block塊的大小為16×16。而每個cell有9個特征，則每個塊內有4×9=36個特征，實驗中設定步幅長度為8個像素，則水平和垂直方向都有7個掃描窗口，易計算得，64×64的圖片共有36×7×7=1 764個特征。

圖4 a值與漏檢率的關系

經多次試驗發現，當高斯金字塔縮放系數α=1.2時，漏檢率最小，僅為2.8%，如圖4所示。窗口融合過程中令閾值λ1=0.45，λ2=0.78時，可達最佳實驗結果。用同一測試視頻對文獻[1]、[3]的方法以及本文方法測試對比，部分實驗畫面如圖5所示。

圖5 三組檢測方法的部分視頻畫面

為了衡量本文方法的性能，檢驗方法也采用Li[10]，Stewart等[11]使用的方式，需計算的參數指標為：檢測率(DetectionRate,DR)，召回率(Recall,RC)，準確率(Accuracy,AC)等，計算方式如下：

(5)

(6)

(7)

其中:TP(True Positive)表示真陽性，FP(False Positive)表示假陽性，TN(True Negative)表示真陰性，FN(False Negative)表示假陰性。經統計分析，得出三組實驗數據如表1所示。

通過上述圖5的比較分析可知，文獻[1]中的方法可檢測到實時視頻中的目標對象，但漏檢較易出現。文獻[3]中，當視頻畫面中出現的人頭對象較多時，誤判率較高，同一可能的目標對象會被多次檢測，使得視頻畫面中出現多次重疊標定現象，同時也有漏檢現象。而本文提出的檢測方法在這些方面顯然有很大改善，檢測結果的標定清晰，在降低漏檢率的同時提高了檢測的準確性。從表1中的數據可知，與前兩種檢測方法相比，本文方法有效提高了檢測率、召回率、準確率等參數指標。實驗表明，該方法對于實時視頻場景中的人頭檢測在精確度、檢測效率方面有較好改善。

3 結論

多尺度的HOG檢測繼承了HOG的優點，高斯金字塔的使用，改善了傳統的HOG特征的尺度不變性。針對傳統的HOG特征的單一性問題，本文對輸入視頻序列先作高斯金字塔式的縮放處理，對縮放后的每層圖像作人頭的掃描檢測。針對傳統滑動窗口技術經檢測所標定的畫面中的重疊現象，本文在有效的檢測出實時視頻中的人頭對象的同時，采用窗口融合方法很好的解決了這一問題，檢測效率也有了較大的提升。后續工作將從樣本庫的完善，檢測速度的提升等方面進行。

[1] Zhou T, Yang J, Loza A, et al. Crowd modeling framework using fast head detection and shape-aware matching[J]. Journal of Electronic Imaging. 2015, 24(2): 19.

[2] Guan Y, Huang Y. Multi-pose human head detection and tracking boosted by efficient human head validation using ellipse detection[J]. Engineering Applications of Artificial Intelligence. 2015, 37: 181-193.

[3] Aziz K, Merad D, Iguernaissi R, et al. Head detection based on skeleton graph method for counting people in crowded environments[J]. Journal of Electronic Imaging. 2016, 25(1): 13012.

[4] Dalal N, Triggs B. Histograms of oriented gradients for human detection[A]. IEEE Computer Society Conference on Computer Version and Pattern Recognition(CVPR’05)[C].2005:886-893.

[5] 郭翰庭. 基于多方向和邊緣保持的圖像插值算法研究[D]. 成都: 西南交通大學, 2015.

[6] Meyer D, Wien F T. Support vector machines[Z]. The Interface to libsvm in package e1071. 2015: 1-8.

[7] Harris T. Credit scoring using the clustered support vector machine[J]. Expert Systems with Applications. 2015, 42(2): 741-750.

[8] 楊 揚. 基于多尺度分析的圖像融合算法研究[D]. 北京：中國科學院大學, 2013.

[9] Yadav A R, Anand R S, Dewal M L, et al. Gaussian image pyramid based texture features for classification of microscopic images of hardwood species[J]. Optik-International Journal for Light and Electron Optics. 2015, 126(24): 5570-5578.

[10] Li B, Zhang J, Zhang Z, et al. A people counting method based on head detection and tracking[A].Smart Computing(SMARTCOMP) International Conference on[C]. 2014:136-141.

[11] Stewart R, Andriluka M. End-to-end people detection in crowded scenes[J]. Computer Scienct.2015, 1506.04878: 25-26.

Head Detection Method Based on Multi-scale Collaboration

Peng Jingwei, Tong Jijun

(School of Information Science and Technology, Zhejiang Sci-Tech University, Hangzhou 310018, China)

The HOG feature was not scale invariance and could only detect the targets which had similar size with sample image in practical application, proposed a method of head detection based on multi-scale windows fusion. The HOG features were extracted and the support vector machinewas used as classifier. In real-time detection of moving targets, the Gaussian Pyramid was used to make multi-scale decomposition for a sequence of input video frames, and got frames of different resolutions, and then run head detection at different scales and storage result. To improve the detection accuracy and efficiency, all detection results of each scale space were fused and got their corresponding locations signs. One monitoring video was tested, and the experiment results showed that the proposed method could improve the detection rate, recall and detection accuracy.

multi-scale; pyramid transform; window fusion; gradient histogram

2016-12-23；

2017-01-05。

浙江省重點研發計劃(2015C03023);浙江理工大學“521人才培養計劃”。

彭景維(1989-)，男，湖北孝感人，碩士研究生，主要從事計算機視覺、圖像處理方向的研究。

1671-4598(2017)05-0076-04DOI：10.16526/j.cnki.11-4762/tp

TP

A