基于線性內(nèi)插權(quán)值人群密度估計(jì)的方法研究

張朋 溫宏愿

摘 要： 針對(duì)密集人群環(huán)境中行人相互遮擋造成人數(shù)難以準(zhǔn)確統(tǒng)計(jì)問(wèn)題，提出一種基于線性內(nèi)插權(quán)值的人數(shù)密度統(tǒng)計(jì)方法。系統(tǒng)從視頻監(jiān)控設(shè)備獲取圖像后，首先對(duì)圖像進(jìn)行預(yù)處理以減少原始圖像的干擾，通過(guò)混合高斯建模提取前景圖像，然后通過(guò)線性內(nèi)插權(quán)值進(jìn)行透視矯正，最后通過(guò)構(gòu)造和提取能量、對(duì)比度、熵和相關(guān)性四個(gè)特征參數(shù)進(jìn)行人數(shù)統(tǒng)計(jì)。結(jié)果表明，在不同的測(cè)試環(huán)境下所提方法的準(zhǔn)確率在90%以上，能夠達(dá)到人群密度監(jiān)控的基本要求。

關(guān)鍵詞： 人群密度估計(jì)； 混合高斯建模； 透視矯正； 能量； 對(duì)比度； 相關(guān)性

中圖分類號(hào)： TN911.73?34 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2018）14?0079?04

Research on crowd density estimation method based on linear interpolation weights

ZHANG Peng， WEN Hongyuan

（Taizhou Institute of Sci. & Tech.， NUST， Taizhou 225300， China）

Abstract： In allusion to the problem that it is difficult to accurately count the number of pedestrians in a crowded environment due to people′s blocking from each other， a population density statistical method based on linear interpolation weights is proposed. The image obtained from the video surveillance equipment of the system is preprocessed to reduce the interference of the original image and extract the foreground image by using the mixed Gaussian modeling， and then the perspective correction is performed by using the linear interpolation weights. Population statistics are obtained by constructing and extracting the four characteristic parameters of energy， contrast， entropy and correlation. The results indicate that the method in this paper has over 90% of accuracy rate in different test environments， which can meet the basic requirement of population density monitoring.

Keywords： crowd density estimation； mixed Gaussian modeling； perspective correction； energy； contrast degree； correlation

0 引 言

隨著視頻監(jiān)控技術(shù)的快速發(fā)展，采用視頻圖像處理技術(shù)可以為公共場(chǎng)所，如：車站、商場(chǎng)、公園等提供人群密度估計(jì)，為安全管理及社會(huì)經(jīng)濟(jì)效益提供準(zhǔn)確的數(shù)據(jù)依據(jù)。人群密度估計(jì)系統(tǒng)包括視頻采集、圖像預(yù)處理、前景圖像提取、圖像透視矯正以及圖像特征參數(shù)提取，最后通過(guò)特征參數(shù)估計(jì)出人群密度及人數(shù)。

人群密度檢測(cè)系統(tǒng)研究現(xiàn)狀，美國(guó) Silicon Recognition 公司的 Passenger Counting System 和美國(guó) Shopper Track 公司的 Orbit 系統(tǒng)采用視覺(jué)分析技術(shù)完成行人的統(tǒng)計(jì)任務(wù)，在正常行人流量的情況下，其統(tǒng)計(jì)準(zhǔn)確率[1]維持在94%左右。英國(guó)的Central London Partnership（CLP）在 2005 年開(kāi)展了一個(gè)自動(dòng)行人統(tǒng)計(jì)的項(xiàng)目，以更好地了解和展示倫敦戶外環(huán)境中的現(xiàn)有產(chǎn)品。美國(guó)馬里蘭大學(xué)研究的 w4 系統(tǒng)和美國(guó) FDI 公司推出的智能視頻監(jiān)控系統(tǒng)（Smart System）等都涉及人流量統(tǒng)計(jì)功能的實(shí)現(xiàn)[2]。

1 人群密度估計(jì)

人群密度統(tǒng)計(jì)系統(tǒng)采用混合高斯模型建模的方法提取前景像素，由于圖像從三維空間轉(zhuǎn)換到二維空間后存在圖像畸變情況，需要進(jìn)行透視矯正后才能對(duì)前景圖像進(jìn)行紋理特征提取，最后根據(jù)特征量進(jìn)行場(chǎng)景人數(shù)密度估計(jì)。

1.1 圖像前景提取

攝像機(jī)采集到的圖像首先需要進(jìn)行圖像預(yù)處理然后才能夠進(jìn)行圖像前景提取。圖像前景提取就是將視頻圖像中有效變化的像素提取出來(lái)。但是現(xiàn)場(chǎng)視頻采集過(guò)程中，存在各種背景因素的干擾，如：隨著時(shí)間的變化光照角度及強(qiáng)度不斷變化，隨風(fēng)擺動(dòng)的樹(shù)枝或波光粼粼的水面等。這些看似是靜止的背景因素，卻在圖像前景提取過(guò)程中都會(huì)造成不同程度的影響。針對(duì)上述背景的微小變化，本文提出了采用混合高斯模型進(jìn)行圖像前景的提取。混合高斯建模是一種密度分布模型，是在圖像采集過(guò)程中對(duì)每一幀圖像中的某一個(gè)像素按時(shí)間序列進(jìn)行概率統(tǒng)計(jì)，其分布模型由K個(gè)高斯模型組成。假設(shè)某一位置的像素在一段時(shí)間內(nèi)像素值為{X1，X2，…，Xt}，某一個(gè)時(shí)刻該像素值概率為：

[P（Xt）=i=1kωi，tηXt，νi，tΣi，t] （1）

式中：[ωi，t]表示t時(shí)刻第i個(gè)高斯分布權(quán)重；[η]表示高斯分布密度函數(shù)；[νi，t]表示t時(shí)刻的第i個(gè)高斯分布均值向量；[Σi，t]表示第i個(gè)高斯分布的協(xié)方差矩陣。

將生成的K個(gè)高斯分布與每一個(gè)新采集的像素值進(jìn)行匹配，若新采集的像素值[Xt]符合K個(gè)高斯分布中某一個(gè)分布，則更新高斯分布的權(quán)重值。更新權(quán)重值的方法如下：

[ωi，t=（1-α）ωi，t-1+αωi，t] （2）

[νi，t=（1-ρ）νi，t-1+ρXt] （3）

式中：[α]用來(lái)表示權(quán)重的更新率，[α]值越大則更新的速度越快，反之越慢；[ρ]是均值和方差的更新率：

[ρ=αηXt，νi，t，Σi，t] （4）

若新采集的像素值[Xt]沒(méi)有落在K個(gè)高斯分布中，則權(quán)重值不變，不進(jìn)行更新，并為[Xt]生成一個(gè)新的高斯分布。將原K個(gè)高斯分布中位于排序最后的一個(gè)高斯分布用該[Xt]高斯分布替代，系統(tǒng)重新將K個(gè)高斯分布由大到小進(jìn)行重新排序：

[B=argminbi=1bωi，t>T] （5）

式中：B表示背景圖像；T表示閾值；K個(gè)高斯分布中的K值大小由T來(lái)決定。在進(jìn)行前景提取時(shí)，若新采集的像素值[Xt]不能夠與系統(tǒng)中的所有高斯分布匹配，則這個(gè)像素值屬于前景像素，反之則屬于背景像素。

1.2 透視矯正

前景圖像提取之后，需要對(duì)提取的前景圖像進(jìn)行透視矯正。因?yàn)楸O(jiān)控設(shè)備將三維空間轉(zhuǎn)換到二維空間時(shí)存在射影畸形現(xiàn)象。即同樣的一個(gè)物體距離攝像機(jī)鏡頭近時(shí)在圖像中占的像素空間比距離攝像頭遠(yuǎn)時(shí)所占的像素空間要大的很多。

在人群密度估計(jì)中若不解決攝影畸形問(wèn)題則無(wú)法準(zhǔn)確估算出人群密度。所以透視矯正是人群密度估計(jì)系統(tǒng)必須考慮的一個(gè)重要問(wèn)題。線性內(nèi)插權(quán)值算法能夠較好地解決射影畸形現(xiàn)象。線性內(nèi)插權(quán)重是通過(guò)對(duì)攝像頭采集的區(qū)域劃定一個(gè)敏感區(qū)域，并根據(jù)距離攝像頭遠(yuǎn)近將被采集物體的像素值進(jìn)行權(quán)重矯正，具體實(shí)現(xiàn)如圖1所示。在圖1中：首先要測(cè)量出ab和cd兩條水平線的長(zhǎng)度；其次設(shè)定一個(gè)參考物，記錄此參考物在ab水平線時(shí)的像素面積[S1=w1h1]和在cd水平線時(shí)的像素面積[S2=w2h2]；最后計(jì)算出此參考物在不同位置時(shí)的像素面積，得到系統(tǒng)的像素面積比率[μ]：

[μ=S2S1=w2h2w1h1] （6）

根據(jù)等比例原理，式（6）中[w1]和[w2]的比值可以通過(guò)ab與cd的比值進(jìn)行相應(yīng)替換，因此，式（6）可以轉(zhuǎn)換成：

[μ=h2cdh1ab] （7）

式（7）可以計(jì)算出圖像不同位置的像素面積比率[μ]的大小；也可以得出，距離鏡頭越近的物體所占的的像素越多，這就是射影畸形現(xiàn)象。若設(shè)ab水平線上的像素權(quán)重[w1]=1，則可得到cd水平線上的權(quán)重[w2=h1abh2cd]。

利用線性內(nèi)插權(quán)值的方法可以得到水平線ab和cd之間的像素點(diǎn)的權(quán)重系數(shù)。

圖1中，[li]位于直線ab和cd之間，距離之間ab的距離為[l2]，距離直線cd距離為[l1]，根據(jù)等比例的方法可以計(jì)算出在直線[li]處的像素權(quán)值[wi]，如下：

[wi=w0+l2l1wn1+l2l1=l1h2cd+l2h1ab（l1+l2）h2cd] （8）

式中，[wi]表示透視矯正參數(shù)，是描述圖像中基于線性內(nèi)插權(quán)值的某一點(diǎn)的透視矯正參數(shù)。圖像中不同物體位于監(jiān)控設(shè)備的距離不同，對(duì)應(yīng)的[wi]矯正參數(shù)不同。通過(guò)這種方法來(lái)矯正射影畸形造成的誤差。在人群密度估計(jì)中采用像素作為統(tǒng)計(jì)依據(jù)時(shí)，就必須通過(guò)[wi]視矯正參數(shù)對(duì)前景圖像進(jìn)行透視矯正。在統(tǒng)計(jì)時(shí)依據(jù)前景圖像像素越多，圖像中的人數(shù)越多的線性關(guān)系進(jìn)行估算。若對(duì)未進(jìn)行透視矯正的圖像進(jìn)行人數(shù)預(yù)估處理時(shí)，由于受人群分布的不同，相同的前景圖像像素但實(shí)際的人數(shù)卻不相同。通過(guò)對(duì)前景圖像進(jìn)行透視矯正，圖像中不同位置的物體給與不同的像素權(quán)值，從而消除射影畸形所造成的誤差，提高視頻監(jiān)控的人數(shù)密度統(tǒng)計(jì)準(zhǔn)確率。

1.3 構(gòu)造特征向量

經(jīng)過(guò)前景圖像的提取，并對(duì)前景圖像進(jìn)行透視矯正后，就可以對(duì)前景圖像進(jìn)行特征提取，在紋理特征提取中通常采用灰度共生矩陣的方法。灰度共生矩陣的主要優(yōu)點(diǎn)是能夠減小人群相互遮擋對(duì)統(tǒng)計(jì)造成的影響，對(duì)高密度人群的檢測(cè)較為敏感。

在紋理特征提取過(guò)程中，一般不會(huì)直接采用灰度共生矩陣的數(shù)據(jù)，而是通過(guò)構(gòu)建特征向量來(lái)處理共生矩陣產(chǎn)生的數(shù)據(jù)，最后通過(guò)依據(jù)特征向量的數(shù)據(jù)來(lái)估計(jì)人群密度及人數(shù)。構(gòu)建的特征向量主要是以下四個(gè)：

1） 能量。其通過(guò)能量特征參數(shù)來(lái)表述前景圖像的一致性：

[ASM=i=0N-1j=0N-1{P（i，jd，θ）}2] （9）

2） 對(duì)比度。其主要做反差統(tǒng)計(jì)量：

[Con=i=0N-1j=0N-1i-j2P（i，jd，θ）] （10）

通過(guò)對(duì)比度的大小可以描述前景圖像的紋理特征，對(duì)比度數(shù)值越大，圖像越清晰，反之圖像較為模糊。

3） 熵。其主要是描述灰度分布的隨機(jī)情況：

[Ent=-i=0N-1j=0N-1P（i，jd，θ）log P（i，jd，θ）] （11）

通過(guò)熵值的大小，可以反應(yīng)出前景圖像的紋理分布情況。紋理分布較為密則該數(shù)值較大。否則反之。

4） 相關(guān)性。其主要反應(yīng)圖像的灰度值：

[Cor=i=0L-1j=0L-1ijp（i，jd，θ）-μ1μ2σ1σ2] （12）

式中，μ和σ為灰度共生矩陣求得的均值和標(biāo)準(zhǔn)方差。

[μ1=i=0L-1ij=0L-1p（i，jd，θ）]

[μ2=j=0L-1ji=0L-1p（i，jd，θ）]

[σ21=i=0L-1（i-μ1）2j=0L-1p（i，jd，θ）]

[σ22=j=0L-1j-μ22i=0L-1p（i，jd，θ）]

通過(guò)相關(guān)性的大小來(lái)反應(yīng)前景圖像中像素的變化情況，若相鄰像素的數(shù)值變化較小，則相關(guān)性值較大。

2 仿真與結(jié)果分析

通過(guò)選擇實(shí)際測(cè)量環(huán)境來(lái)驗(yàn)證系統(tǒng)的實(shí)際應(yīng)用情況。首先根據(jù)實(shí)際應(yīng)用環(huán)境的情況將人群密度設(shè)定為3個(gè)等級(jí)：低密度人群、中密度人群和高密度人群。硬件平臺(tái)為華碩I7?6700HQ，軟件平臺(tái)為Matlab R2015a。圖像選擇的是本校教學(xué)樓一側(cè)的通道處，圖像的視頻大小格式為1 280×720像素，幀率為30 f/s。在視頻圖像預(yù)處理后，通過(guò)混合高斯模型和紋理特征對(duì)前景圖像進(jìn)行特征提取。選擇第25幀圖像、第12 198幀圖像、第55 678幀圖像為例進(jìn)行人數(shù)統(tǒng)計(jì)，如圖2所示。

通過(guò)灰度共生矩陣來(lái)分析人群圖像紋理，4個(gè)參數(shù)設(shè)置如下：灰度級(jí)為32，方向?yàn)?°和45°，距離為4。先單獨(dú)分析訓(xùn)練低、中、高情況下的人群圖像紋理特征。

表1是基于紋理分析的人群密度估計(jì)訓(xùn)練樣本估計(jì)結(jié)果，查全率均在93%以上；表2是基于紋理分析的人群密度估計(jì)測(cè)試樣本估計(jì)結(jié)果，查全率均在90%以上。由仿真結(jié)果可得，基于問(wèn)題分析的人群密度估計(jì)算法的查全率在90%以上，已達(dá)到算法設(shè)計(jì)的要求。

3 結(jié) 語(yǔ)

由于通過(guò)基于線性內(nèi)插權(quán)值的人數(shù)統(tǒng)計(jì)方法，在處理過(guò)程中只對(duì)前景圖像進(jìn)行處理，并通過(guò)前景像素估算出人數(shù)。大大節(jié)省了系統(tǒng)的處理資源，提高了系統(tǒng)的處理效率。系統(tǒng)的三種不同人群密度的環(huán)境下測(cè)試結(jié)果都在90%以上，特別在中等密度人群時(shí)系統(tǒng)的準(zhǔn)確率達(dá)到96.67%。

實(shí)驗(yàn)結(jié)果表明，基于線性內(nèi)插權(quán)值人群密度估計(jì)的方法能夠達(dá)到人群密度監(jiān)控的基本要求。但是在低密度人群和高密度人群時(shí)系統(tǒng)的準(zhǔn)確率出現(xiàn)下降。對(duì)于這種問(wèn)題將是后期研究的重點(diǎn)。

參考文獻(xiàn)

[1] 丁藝，陳樹(shù)越，劉金星，等.基于歸一化目標(biāo)像素的人群密度估計(jì)方法[J].計(jì)算機(jī)應(yīng)用與軟件，2016，33（4）：212?214.

DING Yi， CHEN Shuyue， LIU Jinxing， et al. Crowd density estimation based on normalized target pixels [J]. Computer applications and software， 2016， 33（4）： 212?214.

[2] 任慶云.智能視頻監(jiān)控中的人群密度估計(jì)方法[D].石家莊：河北師范大學(xué)，2011.

REN Qingyun. Crowd density estimation methods in intelligent video surveillance [D]. Shijiazhuang： Hebei Normal University， 2011.

[3] 黃璐，林燕.一種基于視頻的車站人群密度估計(jì)算法[J].計(jì)算機(jī)時(shí)代，2012（7）：23?25.

HUANG Lu， LIN Yan. Estimation of crowd density at the station based on video monitoring [J]. Computer era， 2012（7）： 23?25.

[4] 覃勛輝，王修飛，周曦，等.多種人群密度場(chǎng)景下的人群計(jì)數(shù)[J].中國(guó)圖象圖形學(xué)報(bào)，2013，18（4）：392?398.

QIN Xunhui， WANG Xiufei， ZHOU Xi， et al. Counting people in various crowd density scenes using support vector regression [J]. Journal of image and graphics， 2013， 18（4）： 392?398.

[5] 周蕓韜.基于R語(yǔ)言的大數(shù)據(jù)處理平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[J].現(xiàn)代電子技術(shù)，2017，40（2）：53?56.

ZHOU Yuntao. Design and implementation of big data processing platform based on R language [J]. Modern electronics technique， 2017， 40（2）： 53?56.

[6] 李寅，王貴錦，林行剛.結(jié)合局部和全局特征的人群密度估計(jì)算法[J].清華大學(xué)學(xué)報(bào)（自然科學(xué)版），2013，53（4）：542?545.

LI Yin， WANG Guijin， LIN Xinggang. Population density estimation algorithm combining local and global characteristics [J]. Journal of Tsinghua University （Science and technology）， 2013， 53（4）： 542?545.

[7] 羅維薇，王陽(yáng)萍，翟鳳文.基于混合高斯背景建模的交通視頻運(yùn)動(dòng)目標(biāo)檢測(cè)[J].蘭州交通大學(xué)學(xué)報(bào)，2014，33（4）：26?29.

LUO Weiwei， WANG Yangping， ZHAI Fengwen. Moving object detecting of transportation video based on mixture Gaussian model algorithm [J]. Journal of Lanzhou Jiaotong University， 2014， 33（4）： 26?29.

[8] 白向峰，李艾華，李喜來(lái)，等.新型背景混合高斯模型[J].中國(guó)圖象圖形學(xué)報(bào)，2011，16（6）：983?988.

BAI Xiangfeng， LI Aihua， LI Xilai， et al. A novel background Gaussian mixture model [J]. Journal of image and graphics， 2011， 16（6）： 983?988.

[9] 王小鵬，陳璐，魏沖沖，等.一種改進(jìn)的Retinex彩色圖像增強(qiáng)方法[J].蘭州交通大學(xué)學(xué)報(bào)，2015，34（1）：55?59.

WANG Xiaopeng， CHEN Lu， WEI Chongchong， et al. Color image enhancement based on improved Retinex algorithm [J]. Journal of Lanzhou Jiaotong University， 2015， 34（1）： 55?59.

[10] 王凱，黃山，趙瑜，等.面向圖像目標(biāo)提取的改進(jìn)連通域標(biāo)記算法[J].計(jì)算機(jī)工程與設(shè)計(jì)，2014，35（7）：2438?2441.

WANG Kai， HUANG Shan， ZHAO Yu， et al. Improved algorithm of connected component labeling for image targets extraction [J]. Computer engineering and design， 2014， 35（7）： 2438?2441.

[11] JACQUES JUNIOR J C S， MUSSE S R， JUNG C R. Crowd analysis using computer vision techniques [J]. IEEE signal processing magazine， 2010， 27（5）： 66?77.

[12] FRUIN J J. Crowd dynamics and the design and management of public places [C]// Proceedings of International Conference on Building Use and Safety Technology. Washington DC： [s.n.]， 1984： 110?113.