基于圖塊和二階統計特征的行人檢測

欒書鵬

（河海大學 計算機與信息學院，江蘇 南京210000）

基于圖塊和二階統計特征的行人檢測

欒書鵬

（河海大學 計算機與信息學院，江蘇 南京210000）

在行人檢測中，由于外界環境復雜變化和行人自身的不同特點，往往會造成錯誤檢測以及遺漏檢測。針對以上問題，文中提出一種基于圖塊和二階統計特征的方法，提高檢測的準確率。首先利用基于圖塊的幀差法進行前景檢測，接著計算前景區域的灰度共生矩陣，進而提取前景區域的二階統計特征，最后透過基于二階統計量特征的支持向量機分類器進行行人檢測。通過仿真實驗對比表明文中的算法有較好的檢測效果。

行人檢測；圖塊；灰度共生矩陣；二階統計特征；支持向量機

行人檢測與跟蹤在智能監控系統、虛擬現實、智能機器人應用等方面應用廣泛，是計算機應用領域的研究熱點之一。通過結合行人檢測、行為分析和視頻監控等多種技術，能為實時的智能安全監控提供解決方案，以替代或輔助基于人員的監控。通常對于固定攝像頭的情況行人檢測分為兩部分，首先是前景目標檢測，然后對前景區域內容檢測，判斷是否為行人。

前景檢測部分，利用一些典型的前景檢測法來辨識移動的前景物，例如背景減除法、光流法與幀差法。前景檢測算法需要盡量減少運算時間，降低前景物容誤判幾率，以便增強識別分類效果。判斷階段則是從目標中區分行人，通過行人特定的特征匹配方法，或者通過神經網絡、支持向量機、多層感知機等方法來判斷前景區域中是否包含行人。Dalal［1］等人提出梯度方向直方圖（HOG）特征是目前廣泛使用的行人特征描述子，其描述圖像的局部梯度幅值和方向特征，能有效地刻畫出人體的邊緣特征。Ojala［2］等人提出的局部二值模式（LBP）特征因具有維度低、計算速度快、能很好地刻畫圖像的紋理信息而得到廣泛的應用。Xu［3］等人，利用車載紅外攝像機設計出行人檢測算法，提取前景的灰度強度特征并透過支持向量機（SVM）和卡爾曼濾波器進行檢測和跟蹤；但此算法要先進行道路檢測，若圖像里沒有道路則無法檢測，且灰度的強度特征不易區分物體。Dai［4］等人提出基于外觀形狀信息的行人檢測，使用高斯混合模型（GMM）背景建模，然后先利用形狀特征去除非行人，再以外觀找到行人位置；該算法能準確檢測行人與非行人，但依賴背景模型，背景模型的建立和更新較耗時，系統效率低。

文中主要是利用基于二階統計特征的支持向量機［5］（SVM）分類器進行行人檢測，克服因環境變化所造成的錯誤和遺漏檢測。首先運用改進的基于圖塊（block-graphs）的前景檢測找出運動物體，較傳統幀差法取得更完整的前景區域。之后再對提取到的前景區域，利用灰度共生矩陣（GLCM）得到4個方向的4種不同的二階統計特征。經支持向量機分類，找出行人目標，以達到實時檢測目的，大幅增加監控的智能性。

1 前景檢測

一般環境下，背景建模受到許多限制，如光線變化、背景物干擾、或跟蹤物與背景過于相似，造成前景無法被正確檢測，而且背景模型的更新會造成運算量增加。文中將使用改進的幀間差分法取代背景減除法檢測運動物體。

傳統基于像素的幀間差分法在檢測時會產生許多破碎前景區塊，因為在空間上像素之間相鄰的關系是不被考慮的。從而在檢測移動物時，如果使用幀間差分法就必須同時考慮局部與廣域的特性。因此我們提出了改進的基于圖塊［6］的前景檢測方法，使得所檢測前景區域更加完整正確。首先，將每幀圖像的RGB顏色空間轉換成YUV顏色空間，然后將圖像分割成許多非重疊區域，每塊區域的大小可根據物體的大小作調整。其中YUV空間，Y是圖像的灰度值，而U和V則是指色調，描述圖像色彩及飽和度。對前景的檢測需考慮灰度值與色調的同時變化。此前景檢測算法步驟如下：

1）將每幀圖像的RGB顏色空間轉換成YUV顏色空間，分別于Y、U和V通道內檢測移動物。對第k幀及k+1幀圖片的Y、U和V通道分別做差分處理分別得到二值圖像。公式（1）如下：

式中的TY、TU和TV分別為預先設定的Y、U和V通道閾值，可根據經驗選取。

2）將圖像分割為若干小區域，每個區域的大小為N×N（N取值由目標的尺寸決定），每個小區域是一個圖塊。如果圖像大小為M0×N0，則可劃分區域數目為L=M0×N0/N2。

3）融合Y、U和V 3個通道得到更完整的前景區域。在每一圖塊內，若一像素的Y通道的變化超過閾值TY的1.5倍，則直接分為前景；否則采用融合Y、U和V通道的方式，即如果灰度值和顏色一起有明顯的變化，則歸類為前景，規則如下：（Y＞TY）&&（（U＞TU）||（V＞TV））。

4）統計每個N×N圖塊在YUV顏色空間前景像素數量Ni（1≤i≤L），在每一個圖塊中，如果計算到前景的像素數量大于一定的閾值TN（N為圖塊大小），則將此圖塊歸類為前景。

2 二階統計特征分類器

文中利用紋理特征做為行人檢測的驗證，因為紋理特征不易受光照變化的影響，是一種穩定的特征。由于不同目標在特征上的差異，利用灰度共生矩陣（GLCM）所產生的4種（ASM、Contrast、IDF和Entropy）在4個方向 （0°、45°、90°和135）上的二階統計特征，以這16個特征做為前景區域的特征向量，將此特征向量帶入支持向量機（SVM）中，設計出基于二階統計特征的分類器。利用此分類器對前景物進行分類，能降低由圖像特征造成的誤檢。

2.1 灰度共生矩陣（GLCM）

灰度直方圖是對圖像上單個象素具有某個灰度進行統計的結果，直方圖統計是一階統計量，描述像素中灰度分布特征。但是對于不同位置像素之間的差異，直方圖卻無法詳細描述，二階統計特征可以對像素之間位置的相對關系做出詳細描述。這里采用 Haralick等人提出的灰度共生矩陣（GLCM）［7］，灰度共生矩陣是對圖像上保持某距離的兩象素分別具有某灰度的狀況進行統計得到的。灰度共生矩陣產生的方式是統計灰度圖像中，兩相對位置在預設參數條件下（距離、方向）的像素對之間的概率，并將概率值歸納成矩陣形式，用以描述圖像灰度的分布狀況。

對于目標（區域大小為M×N）圖像f（x，y），設其灰度級數為L，可以定義共生矩陣 p（i，j，d，θ），其中，i=f（x1，y1），j= f（x2，y2）且x1+Dx=x2，y1+Dy=y2，參數d和θ分別代表像素對（i，j）相對的距離和像素間相對的方向。其中像素對（i，j）如圖1（a）所示，方向θ分成4個方向：水平、斜向、垂直，角度分別為0°、45°、90°、135°如圖1（b）所示。

圖1 灰度共生矩陣示意圖

對于整個目標區域，統計出每一種（i，j）值出現的次數，然后排列成一個方陣，再用（i，j）出現的總次數將它們歸一化為出現的概率P（i，j），這樣就生成灰度共生矩陣。

矩陣Pd元素Pd（i，j）表示：目標區域中位置關系為d的兩個像素，其灰度分別為i和j情況下出現的概率。距離差分值（Dx，Dy）取不同的數值組合，得到不同情況下的聯合概率矩陣。（Dx，Dy）取值根據紋理周期分布的特性來選擇，對于較細的紋理，選取（1，0）、（1，1）、（-1，0）等小的差分值。當a=1，b=0時，像素對是水平的，即0°掃描；當a=0，b=1時，像素對是垂直的，即90°掃描；當a=1，b=1時，像素對是右對角線的，即45°掃描；當a=-1，b=1時，像素對是左對角線，即135°掃描。灰度共生矩陣反映圖像灰度關于方向、相鄰間隔、變化幅度的綜合信息，是分析圖像的局部模式和它們排列規則的基礎。

2.2 灰度共生矩陣（GLCM）的特征提取

灰度共生矩陣并不能直接作為紋理分析的特征量，必須在共生矩陣的基礎上進行二次統計量的計算，并將其作為紋理特征之后才能實現后續流程的算法。從灰度共生矩陣中提取出來的二階矩特征中有一些對紋理［8］具有直接的物理意義，例如粗糙度、平滑、對比度等。文中選用其中的4種主要特征：能量（二階距）（ASM）、對比度（Contrast）、逆差矩（IDM）和熵（Entropy）。

1）能量（二階距）

能量（ASM）是灰度共生矩陣元素值的平方和，反映了圖像灰度分布均勻程度和紋理粗細程度。公式（3）如下所示：

如果共生矩陣的所有值均相等，則ASM值小；相反，如果其中一些值大而其它值小，則ASM值大。當共生矩陣中元素集中分布時ASM值大，表明是較均勻和規則變化的紋理。

2）對比度

對比度（Contrast）主要是用于計算圖像灰度值的對比強度，也就是目標區域圖像中灰度的變化量，公式（4）如下所示：

對比度度量圖像中的局部變化情況，反應了圖像的清晰度和紋理的溝紋深淺。紋理的溝紋越深，反差越大，效果清晰；反之，對比度小，則溝紋淺，效果模糊。

3）逆差矩

逆差矩（IDF）用來度量圖像紋理局部變化的大小，反映圖像紋理的同質性，度量圖像紋理局部變化的多少。逆差矩與前一個特征對比度剛好相反，在對比度愈低時這項特征會得到愈高的值，公式（5）如下：

其值大說明不同紋理區域間缺少變化，局部非常均勻，因此連續灰度的圖像IDF值較大。

4）熵

熵（Entropy）主要用于測量圖像的混亂度，在越平滑的圖像中熵度值會越低，公式（6）如下：

熵表示了圖像中紋理的非均勻程度或復雜程度，熵值越大，圖像越復雜。紋理信息也屬于圖像的信息，是一個隨機性的度量，當共生矩陣中元素分散分布時，熵較大。

2.3 支持向量機（SVM）

支持向量機（Support Vector Machine，SVM）［9］是 Cortes和Vapnik首先提出的，它在解決小樣本、非線性及高維模式識別中表現出許多特有優勢。SVM是指一些在n維空間的數據，希望可以在此空間找出一個超平面（Hyperplan）將資料分成兩群，并且超平面到離他最近的訓練樣本的距離要最大。以二維的例子來說，如圖2所示，希望能找出一條直線能夠將圓形和三角形分開，而且希望這條虛線距離這兩個資料的邊界越大越好，這樣才能夠正確的分辨這是屬于哪一類的資料。

圖2 SVM分類示意圖

對于非線性分類情況，可通過核函數的非線性映射，把數據映射到高維特征空間中，將問題變成線性可分的。文中中的SVM主要是用RBF（radial basis function）核，選取前景物件的二階統計量特征能量（ASM）、對比度（Contrast）、逆差矩（IDF）和熵（Entropy）4個距離為1各不同角度的特征，將特征量化成1×16的特征向量如下所示：

將各前景的特征向量用SVM分類器進行分類，以達到行人檢測的目的。

3 實驗結果與分析

文中運用VS2010配置Opencv2.4.8和MATLABR2012進行實驗平臺的搭建。首先運用改進的基于圖塊前景檢測技術找出移動物體，之后再對提取到的前景區域，利用二階統計的灰度共生矩陣得到4個方向（0°、45°、90°和145°）的4種不同特征分別為能量（ASM）、對比度（Contrast）、逆差矩（IDF）和熵度（Entropy）。經支持向量機（SVM）進行分類，找出行人目標。我們分別對3段不同的場景視頻序列進行測試。

第1部分主要進行前景檢測，經實驗觀察發現基于圖塊的檢測法會使得前景區域更完整。在圖3中分別表示基于像素與基于圖塊的前景檢測方法。由圖3（b）（c）（d）可看出基于圖塊會比基于像素（圖3（a））所形成的前景更佳的完整。

圖3 基于像素與基于圖塊的前景區域

第2部分進行行人檢測的分類驗證，實驗中我們分別對3段不同的場景視頻序進行測試，對文中方法與基于高斯混合模型建背景的和基于對比度特征的方法來做比較。利用前景區域得到灰度共生矩陣，提取相對應的紋理特征，這里將圖像的灰度級定為16級，主要是為了減少灰度共生矩陣（GLCM）的大小，提高運算的速度。在接下來利用行人與非行人在GLCM上的概率分布差異，選取前景的二階統計特征能量（ASM）、對比度（Contrast）、逆差矩（IDF）和熵（Entropy）4個距離為1各不同角度的特征，并將將特征量化成1×16的特征向量FV。

文中使用MATLAB-LIBSVM工具箱進行分類，參數設置：SVM型態為C-SVC，核心函數為徑向基函數RBF，cost（損失函數）-c和核函數-g的最優值采用遍歷g和c的網格法確定。將行人作為正樣本，非行人作為負樣本。實驗從測試的3段視頻中取600張圖像當作訓練樣本樣本，其中中正樣本300個、負樣本300個。再將訓練好的的分類器對視頻中的進行分類測試，以3段不同場景、不同情境的視頻來驗證本算法。實驗顯示，這3段視頻都能達到實時檢測，效果如圖4所示。

圖4 通過二階統計特征分類器后結果

接下來將會與基于混合高斯模型背景建模（GMM）以及基于對比度特征［10］的方法做比較。驗證基于二階統計量特征分類器的檢測結果對比另外兩個算法，是否可以有效的提升檢測正確率，降低誤檢以及漏檢，這項實驗中我們將以Jaccard系數［11］來計算，J的定義為：

TP是移動的物正確檢測，FP是錯誤檢測和FN是遺漏檢測。表1反映了不同算法的檢測結果。

表1 不同算法的檢測結果對比

由實驗結果可以看出在3段視頻中，文中算法的正確率高于其他兩個方法。混合高斯模型背景建模以及基于對比度特征的對背景環境依賴性比較大，產生錯檢和漏檢幾率增大，造成對檢測的不穩定，實驗證明文中方法是有效的。

4 結束語

文中算法運用加入圖塊的前景檢測法和基于二階統計特征的分類器，對不同環境的行人進行檢測。基于圖塊的前景檢測能夠提取出更完整的前景，提高分類器準確率，而且二階統計特征使得SVM分類器有更高的鑒別度。由于視頻中光線變化，會使前景不完整造成檢測穩定性降低。同時，當監控分辨率較低時，畫面會出現雪花噪聲，容易造成前景檢測的不穩定，如何克服低分辨率也是亟需解決的問題。下一步需要解決由于光線在短時間內變化和低分辨率所造成的影響，在目前白天已有不錯效果的算法上，達到全天候的檢測效果。

［1］Dalal N，Triggs B.Histograms of oriented gradients for human detection［C］//2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition，San Diego，USA，2005：886－893.

［2］Li J，Gong W，LiW，et al.Robust pedestrian detection in thermal infrared imagery using the wavelet transform［J］.Infrared Physics&Technology，2010，53（4）:267-273.

［3］Xu F，Liu X，Fujimura K.Pedestrian detection and tracking with night vision ［J］.Intelligent Transportation Systems，IEEE Transactions on，2005，6（1）:63-71.

［4］Dai C，Zheng Y，Li X.Pedestrian detection and tracking in infrared imagery using shape and appearance［J］.Computer Vision and Image Understanding，2007，106（2）:288-299.

［5］Burges C JC.A tutorial on support vectormachines for pattern recognition［J］.Data Mining and Knowledge Discovery，1998，2（2）:121-167.

［6］Khanina N A，Semeikina E V，Yurin D V.Scale-space color blob and ridge detection［J］.Pattern Recognition and Image Analysis，2012，22（1）:221-227.

［7］Davis L S，Johns SA，Aggarwal JK.Texture analysis using generalized co-occurrencematrices［J］.IEEE Transactions on Pattern Analysisand Machine Intelligence，1979（3）:251-259.

［8］薄 華，馬縛龍，焦李成.圖像紋理的灰度共生矩陣計算問題的分析［J］.電子學報，2006（1）:155-158.

［9］Burges C J C.Geometry and invariance in kernel based methods［C］//Advances in kernel methods-support vector learning.Boston:MITPress，1999:89-116.

［10］Huang K，Wang L，Tan T，et al.A real-time object detecting and tracking system for outdoor night surveillance［J］. Pattern Recognition，2008，41（1）:432-444.

［11］Sneath PH A，Sokal R R.Numerical taxonomy.The principles and practices of numerical classification［M］.San Fran cisco:WH Freeman，1973.

Pedestrian detection based on blocks-graphs and second-order statistics

LUAN Shu-peng
（School of Computer and Information，Hohai University，Nanjing 210000，China）

In the pedestrian detection，since the complex changes in the external environment and pedestrians'own different characteristics，usually resulting in error and missing detection.To solve the problem above，this paper proposes amethod based on block-graphs and second-order statistics to improve detection accuracy.Firstly，foreground detection based on frame difference of block-graphs，then calculate GLCM of foreground area.Next extracting the second-order statistics of the foreground region，finally detecting pedestriansby SVM classifierbased on second-order statistics.Itshows that this algorithm hasbetter detection resultsby contrastsimulation experiments.

pedestrian detection；gray level co-occurrencematrix；block-graphs；second-order statistics；Support Vector Machine（SVM）

TN911.73

A

1674－6236（2016）20-0190-04

2015-10-30 稿件編號：201510237

欒書鵬（1991—），男，江蘇泰興人，碩士研究生。研究方向：計算機視覺，圖像處理。