基于歸一化目標像素的人群密度估計方法

丁 藝 陳樹越 劉金星 戴永惠 朱雙雙

基于歸一化目標像素的人群密度估計方法

丁 藝 陳樹越*劉金星 戴永惠 朱雙雙

(常州大學信息科學與工程學院 江蘇 常州 213164)

由于像素統計方法在提取高密度人群特征時，可能會導致在計算感興趣區域(ROI)中的人數時出現較大的誤差，因此提出歸一化前景目標像素提取人群特征，并采用支持向量機(SVM)對ROI中的人群密度進行估計。首先利用混合高斯模型消除背景，并用Otsu算法提取人群目標，然后進行歸一化前景目標像素的人群特征提取，最后利用支持向量機DAG算法實現人群密度分類，并與人工神經網絡方法、基于像素的和基于紋理的方法進行了對比。實驗結果表明正確檢測率可達到95%。

人群密度估計 歸一化前景目標 人群特征 支持向量機

0 引 言

隨著社會經濟的發展和城市化進程的加快，人們的社會活動增多，在一些公共場合(如車站、體育館、機場等)[1]經常會出現人群過度擁擠的現象。人群過度擁擠就會存在安全隱患，甚至會出現一些事故，除了對整個攝像范圍內的人群密度做出估計之外，有時還需要估算出部分區域聚集人群的密度。因此利用人群密度估計對這些人流量大的場所進行監控就顯得十分必要[2,3]。

目前智能人群密度估計的主要方法有基于像素的統計方法、基于紋理分析分方法和基于個體特征的分析方法[4-6]。像素特征分析方法在處理低密度人群時，準確度較高，但是高密度時會出現重疊問題，準確度較低；而紋理分析方法在處理低密度人群時準確度相比前者會大大降低。

為了能夠更加高效準確地估計人群密度，我們提出了歸一化前景目標和基于DAG(有向無環圖)算法的支持向量機方法來估計人群密度。該方法首先利用混合高斯模型[7,8]的背景減除技術來提取人群前景，結合Otsu算法提取人群特征并得到二值圖。然后采用透視矯正算法來提取人群前景區塊像素，計算歸一化前景目標的面積。最后將特征向量放入訓練好的支持向量機中進行分析得到人群密度結果。

1 人群密度估計

人群密度估計系統采用混合高斯背景消除和邊緣檢測的方法從視頻圖像中提取前景特征；因為距離攝像機越遠的人物，在圖像中所占像素點數越少，而距離攝像機越近，其在圖像中所占像素點數越多，所以有必要對提取的前景目標像素進行歸一化和透視矯正，通過計算歸一化的前景目標像素[9-11]的面積，才能最終預測場景中的密度等級。

1.1 人群特征提取

在通常活動場景中，人物活動范圍有限，不會占據整幅圖像，因此需要對圖像中的ROI區域進行選擇，減少背景的干擾。為此，采用基于混合高斯模型的背景消除技術來提取前景人群。混合高斯模型算法對環境變化具有較強的適應性，它是比較常用的背景建模方法，能描述像素的多模狀態，能夠對相對復雜、光照緩慢變化或存在小幅度重復運動的背景進行較為準確的建模，應用比較廣泛。

當最終的前景目標被識別后，將所處理的圖像通過閾值技術轉換成二值圖像，閾值是通過Otsu算法[12,13]自動獲取的。如果它們的閾值超過預定的閾值，圖像中的單個像素被標記為“對象”像素，閾值為1；否則，作為背景像素值為0。

1.2 歸一化前景

原始前景區塊會出現透視畸變(也稱射影畸形)，即距離攝像機越遠的物體，在圖像中所占像素點數越少，而距離攝像機越近的物體，在圖像中所占像素點數越多。如圖1所示，參考人物從距離相機較近的位置移動到距離相機較遠的位置時，在圖像中占有的面積變小。提取的視頻中，將提取的人群區塊轉化為二值圖[14]，區塊大小不同，其占有的像素數也不同，得到的前景目標像素數可能會影響最終的計算精度。因此，有必要對原始前景目標進行像素歸一化。

圖1 同一參考人物在不同位置圖像

從人群特征提取模塊中得到二值圖像后，提取所有前景區塊中的像素總數。采用相比其他算法較快的區塊標記算法來提取像素區塊，每個被檢測到的不同區塊標記號碼，作為標識索引，然后再計算像素數目或索引區塊大小。

圖1為同一個參考人物在距離相機不同位置，AB水平線上是第一時刻參考人物所在位置，CD水平線上是第二時刻的位置。由于攝像機存在透視畸變，水平線AB和CD在拍攝的畫面中是平行的，而在實景中AD和BC是平行的。可以明顯看出，第一時刻參考人物區塊的面積要大于第二時刻。假設參考人物在水平線AB上和CD上的所占像素的寬和長分別為a1、b1及a2、b2。面積比例公式為：

(1)

由于每個人的寬度不同，并且a1與a2的比例應該與水平線AB和CD的比例保持一致,所以面積比例也可表示為：

(2)

該比例表示同一個參考人在隨著攝像機與其距離的遠近在圖像當中所占像素數的變化率，假設水平線AB上的權值ω0為1，則水平線CD上的權值ωn為：

(3)

那么通過權值和比例可以矯正位于水平線AB和CD之間人物圖像的像素，假設任取一個參考點M為人物的中心，若M距離AB和CD的垂直距離分別為h1和h2，根據定比分點的坐標公式，M點對應的權值ωi為：

(4)

將式(3)代入，可以得到：

(5)

然而上述得到的值是針對人物整體在圖像中的情況，當人的部分身體在這范圍內，上述公式就不能使用了。因此，只需要計算每個前景目標區塊的像素權值。每個區塊大小(每個前景目標區塊的像素總和)與各自分配的權值相乘就是歸一化的像素值。每個區塊歸一化的像素之和就是最終人物像素總數。設每個歸一化前景區塊的像素值為pls，則像素總數S為：

S=∑pls×ωi

(6)

將得到的每個像素值相加即為所有區塊的像素總和。

通過歸一化的前景目標像素總和，運用支持向量機中典型的有向無環圖算法來預測人群密度等級。而傳統方法是將權值代入線性方程中來計算人數。

1.3 人群密度估計

在獲取了人群特征之后，輸入到支持向量機分類器中，經過訓練，建立支持向量機分類模型，對測試的樣本進行分類和預測。

1.3.1 人群密度分類

在實際測試中，以所拍攝的視頻數據作為測試數據，根據需求定義單位面積人數的范圍，如表1所示，將人群密度分為低中高三個等級。

表1 密度分類表

1.3.2 支持向量機

支持向量機在解決小樣本、非線性以及高維模式識別等實際問題中具有許多特別的優勢。由于文中所用的人群圖像數量有限，因此采用SVM來解決訓練分類問題[15]。支持向量機分基本思想：將非線性可分空間轉化為線性可分空間，在新的線性可分空間上尋求廣義最優分類面，非線性變換通過定義適當的內積函數即核函數來實現。判別函數為：

(7)

其中sgn(·)為符號函數，K(X,X′)為內積核函數。輸入特征向量為X=(x1,x2,…,xd)，共有n個支持向量X1,X2,…,Xs，用內積函數進行非線性變換，再由決策層決定決策，最后生成分類結果。

多類SVM 的分類和識別主要有兩種方法,一是根據多類樣本集直接設計分類器,在樣本多的情況下，這種方法求解比較復雜。另一種是分解法，將多類樣本分類器的設計轉化為多個兩類問題的分類器設計問題,這類方法求解簡單, 在實際中應用很廣。比較有代表性的多類SVM方法有一對一(one versus one，1-v-1)、一對多(one versus rest,1-v-r)和Platt的有向無環圖(direct acyclic graph,DAG)算法。

Platt提出的DAG算法實際上是建立在1-v-1基礎上的。它包含k(k-1)/2個節點，每個節點為一1-v-1分類器。實驗分為三個等級，低密度標記為A，中密度標記為B，高密度標記為C，整個算法可用圖2所示。

圖2 DAG算法示意圖

2 實驗結果

首先實驗前期的人群特征提取過程如圖3所示。圖3(a)是背景圖，當出現人群，自由選擇感興趣區域，如圖3(b)所示，紅色多邊形區域為選擇的ROI區域，區域內包含三個像素區塊；然后如圖3(c)所示，利用混合高斯模型對ROI區域內的其中一個區塊進行背景消除、邊緣提取；最后將ROI區塊轉換成二值圖，如圖3(d)所示。對二值圖進行透視畸變矯正，計算矯正后的目標像素數。

圖3 人群特征提取過程

實驗中的這三類密度人群圖像中，訓練樣本和測試樣本每組40幅用于人群密度的分類，一共240幅圖像。在MATLAB7.0平臺下對視頻進行測試，所得結果如表2所示。

表2 視頻實驗分類檢測結果

從表2的分類結果來看，平均準確率達到了95%，說明此方法基本能夠滿足視頻監控的要求。作為實驗對比，采用了神經網絡計算人數的方法，以及基于紋理方法[5]和基于像素方法[17]。如圖4所示，橫坐標表示人數，縱坐標表示正確檢測率。實線部分為基于前景目標像素統計的人群密度估計方法的正確檢測率，粗虛線部分為利用神經網絡方法的檢測率，細虛線部分為傳統方法基于像素統計的正確檢測率，點劃線為基于紋理方法統計的正確檢測率。可以看出，實驗中人群密度估計系統的正確平均檢測率在95%以上，利用神經網絡方法的檢測率為92%以上，基于像素和紋理方法基本在81%以上；可見基于像素和紋理方法在低人群密度時已經出現較高的錯誤檢測，而所提出的基于歸一化目標像素的人群密度估計方法在中等人群密度才出現錯誤檢測，但較高于其他幾種方法的正確檢測率。

圖4 三種密度估計準確率趨勢

3 結 語

提出了基于前景目標像素統計的人群密度估計方法。采用透視矯正算法來提取人群前景區塊像素，計算歸一化前景目標的面積；將特征向量放入訓練好的支持向量機中進行分析得到人群密度結果。

實驗結果可以看出，實驗數據精度較高，該方法可達到95%的正確率，訓練越多，系統的準確率越高，基本能夠滿足智能化人群密度監控的要求。但是在非常高密度的人群中，檢測精度還是會下降。這個問題也是我們下一步研究的重點。

[1] 黃璐,林燕.一種基于視頻的車站人群密度估計算法[J].計算機時代,2012(7):23-25.

[2] 蘇航,鄭世寶,楊華.視頻監控中人群流量和密度估計算法分析[J].電視技術,2009(11):100-103.

[3] 任慶云.智能視頻監控中的人群密度估計方法[D].河北師范大學,2011.

[4] 覃勛輝,王修飛,周曦,等.多種人群密度場景下的人群計數[J].中國圖象圖形學報,2013,18(4):392-398.

[5] 李寅,王貴錦,林行剛.結合局部和全局特征的人群密度估計算法[J].清華大學學報:自然科學版,2013(4):542-545.

[6] 王雅琳.基于灰度共生矩陣的人群密度估計算法研究[D].西安科技大學,2013.

[7] 李敏,劉軻,羅惠瓊,等.基于混合高斯模型的異常檢測算法改進[J].計算機應用與軟件,2014,31(6):198-200.

[8] 張虎,方華,李春貴.基于改進混合高斯模型的自適應運動車輛檢測算法[J].計算機應用與軟件,2014,31(1):286-289.

[9] Ma R,Li L,Huang W,et al.On pixel count based crowd density estimation for visual surveillance[C]//Cybernetics and Intelligent Systems,2004 IEEE Conference on.IEEE,2004,1:170-173.

[10] Gunduz A E,Temizel T T,Temizel A.Density estimation in crowd videos[C]//Signal Processing and Communications Applications Conference (SIU),2014 22nd.IEEE,2014:822-825.

[11] Jiang M,Huang J,Wang X,et al.An Approach for Crowd Density and Crowd Size Estimation[J].Journal of Software,2014,9(3):757-762.

[12] Otsu N.A threshold selection method from gray-level histograms[J].Automatica,1975,11(285-296):23-27.

[13] 王磊,段會川.Otsu方法在多閾值圖像分割中的應用[J].計算機工程與設計,2008,29(11):2844-2845.

[14] 李雪峰,李曉華,周激流.基于完全局部二值模式的人群密度估計[J].計算機工程與設計,2012,33(3):1027-1031.

[15] 柴進.視頻監控中的人數統計和人群密度分析[D].西安電子科技大學,2011.

[16] Polus A,Schofer J L,Ushpiz A.Pedestrian flow and level of service[J].Journal of Transportation Engineering,1983,109(1):46-50.

[17] 陶茂輝.基于視頻圖像的人群密度估計研究[D].電子科技大學,2014.

CROWD DENSITY ESTIMATION BASED ON NORMALISED TARGET PIXELS

Ding Yi Chen Shuyue*Liu Jinxing Dai Yonghui Zhu Shuangshuang

(SchoolofInformationScienceandEngineering,ChangzhouUniversity,Changzhou213164,Jiangsu,China)

When extracting high density crowd features based on pixel statistical methods, it may lead to bigger errors in estimating the number of crowd within the region of interest (ROI). Therefore, we presented a technique to extract crowd features based on normalised foreground target pixels, and adopted support vector machine (SVM) to estimate the crowd density in ROI. First, we used the mixture Gaussians model to remove the image background and the Otsu algorithm to extract crowd targets, then we employed the normalised foreground target pixels method to extract crowd features. Finally, we used the DAG algorithm of SVM to achieve the classification of the crowd density. Moreover, we compared the presented technique with artificial neural network approach and the methods based on pixels and textures. Experimental results showed that the rate of true detection could be up to 95%.

Crowd density estimation Normalised foreground target Crowd feature Support vector machine

2014-12-10。丁藝，碩士，主研領域：圖像處理。陳樹越，教授。劉金星，碩士。戴永惠，碩士。朱雙雙，碩士。

TP391.41

A

10.3969/j.issn.1000-386x.2016.04.049