基于遮擋系數和區域劃分的人群數目估計方法

韓征彬，王宇，孟濤濤

（長春理工大學 電子信息工程學院，長春 130022）

近年來，隨著經濟的發展，城市化進程的加快，大城市的人口密度急劇增加，人群密度過高可能造成群體性的事件，尤其像一些如火車站，地鐵站，旅游景點等人群密集區域。因此，對公共區域進行監測和人數估計是十分有必要的。

基于視頻圖像的人群密度估計目前主要有兩個研究方向，主要有基于像素特征統計［1-4］和基于紋理特征［5，6］的人群密度估計算法。基于像素統計的人群密度估計方法速度快，實時性好，可以實時處理視頻圖像，在人群密度較小時，可以取得較好的效果，但隨著密度變大，人群之間出現遮擋，檢測誤差變大。基于紋理特征的估計算法適合處理人群密度較高場景，但方法速度慢，實時性較差。本文是基于像素特征統計方法的人群數目估計，通過統計人群前景像素數量進行人數估計，但當人群密度過高時，由于遮擋的影響，方法準確性急劇下降。針對遮擋造成的誤差，盧曉威［7］提出了一種遮擋系數計算方法，對行人進行邊緣檢測，設定一條與行人垂直的虛擬線，當出現遮擋情況時，同一虛擬線上的相鄰邊緣點距離的期望將會縮小，同時，遮擋情況下邊緣點的數量也隨之變大。結合邊緣間隔和邊緣點數量計算遮擋系數，此方法容易受到背景邊緣的影響，邊緣檢測需要比較精確，且無法處理上下遮擋的影響。針對此問題，本文提出一種新的遮擋系數的計算方法，根據行人在圖像中的高度，行人前景像素的數量等特征來計算遮擋系數，以此來彌補遮擋造成的漏算，同時，本方法結合圖像區域劃分來消除攝像機透視效應的影響，提高了人群計數的準確度。

1 算法

通過統計前景像素進行人群數目估計，首先提取視頻幀的前景圖像，根據行人在圖像中的高度對圖像進行區域劃分，分別統計前景圖像中每一個連通區域的人數，相加得到最終的人數。

1.1 前景提取

以行人為前景的區域是本文的關注點，視頻圖像是以靜止的相機拍攝的，因此背景是靜態的，需要在靜止的背景下提取前景，常用的靜止背景下的前景目標提取方法主要有靜態差分法，混合高斯模型GMM（Gaussian Mixture Model）和基于時空背景隨機更新的ViBe（Visual Background Extractor）模型等。

靜態差分法需要自主選擇一張沒有前景的圖像作為背景，然后將要測試的圖像減去背景圖像，就可以得到前景，該方法比較簡單，但是背景是固定的，無法更新［8］，不適應背景變化的情形。

混合高斯背景模型是由Stauffer等［9］提出的經典的自適應背景建模方法，假設每個像素在時域上符合正態分布，在一定閾值范圍內的像素判定為背景，并用來更新模型，不符合該分布的像素即為前景。高斯背景模型通過不斷地背景更新來適應環境的變化。可以適用于背景緩慢變換的場景中，但是高斯背景模型對噪聲較為敏感，對背景復雜的場景不太適用。

ViBe算法［10］主要特點是隨機背景更新策略，由于像素的變化存在不確定性，很難用一個固定的模型來表征，ViBe算法基于這樣一個假設：在無法確定像素變化的模型時，隨機模型在一定程度上更適合模擬像素變化的不確定性。在模型中，背景模型為每個背景點存儲了一個樣本集，然后將每一個新的像素值和樣本集進行比較來判斷是否屬于背景點。可以知道如果一個新的觀察值屬于背景點那么它應該和樣本集中的采樣值比較接近。該算法性能優于混合高斯背景模型，并且具有很好的抗噪能力。算法主要分為以下部分：

（1）模型的初始化

像素（m，n）表示某幀圖像的一個像素點，像素（m，n）的樣本集可以表示為S(m,n)={p1,p2,p3,...,pn}，每個樣本集的大小為n，一般取n=20。模型初始化，就是初始化樣本集，一般初始化在視頻的第一幀完成。每個像素有n個樣本集，初始化樣本集的方法不是唯一的，最直觀的方法就是根據像素（m，n）和像素（m，n）的領域來初始化，即將（m，n）的像素值和（m，n）的幾個領域值隨機賦給（m，n）對應的n個樣本。

（2）像素的分類過程

初始化結束后需要檢測每一幀的前景圖像，要根據當前幀的像素值和樣本集里的像素值進行比對，得出當前幀的某個像素值是不是前景圖像的像素值。具體過程如下：

設當前幀為第k幀，pk(m,n)表示第k幀圖像（m，n）位置的像素值。如圖1，表示的是（m，n）位置像素集，p1至p4為（m，n）的樣本集，坐標軸C為像素灰度值，圖1針對的是單通道灰度圖像。如果是RGB圖像，那么就需要是一個三維立體坐標系，三個軸分別表示R，G和B。選定一個r，在距pk(m,n)值半徑r距離范圍內的樣本值有p2，p3，在半徑r范圍內的樣本值總數計為L，那么下圖L=2。依次處理所有像素，就能得出前景圖像了。其中min和r值需要預先設定的，本文中給出的值是2和10。

圖1 像素分類判別示意圖

（3）模型的更新策略

隨著環境的變化，例如光照或者背景物體的更新，需要更新背景模型。具體的更新策略：每一幀對當前像素最多只更新一個樣本值，更新的概率為1/φ。如果要更新，那么更新的這個樣本值隨機抽取。同樣除了更新當前像素，還有1/φ的更新概率要更新當前像素的鄰域值，更新方法跟當前像素相同。簡單地說，就是除了更新當前像素的樣本值，也要更新鄰域的樣本值，只是是否更新是有一定概率的。

在選擇要替換的樣本集中的樣本值時候，一般是隨機選取一個樣本值進行更新，這樣可以保證樣本值平滑的生命周期。由于是隨機的更新，這樣一個樣本值在時刻t不被更新的概率是(n-1)/n，假設時間是連續的，那么在dt的時間過去后，樣本值仍然保留的概率是

這表明樣本值在模型中的更新與時間t無關，更新策略是合適的［11］。

圖2（a）為原圖像，（b）為ViBe前景提取后的前景圖像，可以計算每個人平均所占有的前景像素數，前景像素總數除以平均人前景像素數即可得到總人數，但由于透視效應的影響，遠離相機的行人所占的前景像素數相對少一些，直接根據正比關系計算出的人數會出現比較大的誤差。

圖2 原圖像和前景檢測圖像

1.2 區域劃分

如果不考慮透視效應，例如文獻［4］中局部特征估計算法，未考慮透視效應，沒有進行區域劃分，整個場景用一個平均行人前景像素數SP，統計前景圖像中所有前景像素數，再除以SP即可得到場景中的人數，但因為透視效應，靠近相機的行人前景像素數比較多，遠離相機的前景像素數比較少，求得的人數會偏小。

圖3 不同位置的行人高度圖

針對透視效應的影響，Donatello等人［12］提出一種以行人在圖像中的高度作為尺度基準進行區域劃分，該方法用在了不同子區域每個行人所占的角點數量不同，本文借鑒了文獻［12］的方法，根據行人高度進行區域劃分，即跟蹤識別一個平均身高的人，統計他在不同位置的圖像高度，如圖3（a）（b）（c），行坐標位置為158，116和75，高度為32，27和20，通過跟蹤統計，在坐標系中描出位置和高度關系如圖4所示。

圖4 位置和身高關系圖

圖4中x軸表示行人的所在圖像的行坐標row，單位為像素。y軸表示行人高度height，單位為像素，從圖4中可以看出位置和身高近似成一個線性關系，通過回歸擬合，位置和身高的線性關系為：

因此按照此公式進行區域劃分，首先劃分靠近圖像底部的區域，在劃分上方區域，當寬度小于人的高度時不再劃分。如圖5，可以看出劃分的子區域高度近似人在圖像中的高度。在此場景中，按照圖像從上到下，子區域編號1-n。

圖5 圖像區域劃分示意圖

每一個子區域前景像素數和人數的比例關系不同。統計一個平均身高的人在不同區域的前景像素數SP。統計人數是時，統計每個區域的像素數，再除以SP即可以得到各個區域的人數，相加可以得到總的人數。如公式（3）：

式中，SubPxlNumk表示第k個子區域的前景像素數，SPk表示第k個子區域的平均行人像素數。在行人互相無遮擋的情況下，按照公式（3）可以得出一個比較準確的人數估計，當行人之間互相遮擋時，由于遮擋的影響，按照公式（3）估計得到人數會偏小一些。

1.3 計算遮擋系數

公式（3）按照子區域進行人數統計，無法消除由于遮擋引起的誤差。因此，本文在得到前景圖像后，依次處理每一個連通區域，如果行人之間互相沒有遮擋，可以得到：

式中BlockPxlNumk表示第k個連通區域前景像素數量，SPk表示連通區域質心所在子區域的平均行人像素數，m表示共有m個連通區域。

如果存在遮擋，可以得知公式（4）得到的人數會偏小一些，因此可以乘以一個比1大的系數，如公式（5）：

式中ωk為第k個連通區域的遮擋系數，計算過程如下。

一般的監控相機都是斜向下安裝的，包括本文用到的視頻數據，經過實驗觀察，在此情形下大部分遮擋為以下形式，示意圖為圖6，虛線框為前景圖像的外接矩形，高寬為BlockHeight和BlockWidth，兩個矩形為行人示意，陰影為遮擋部分。圖7為行人遮擋原圖像和前景圖像連通區域圖。

圖6 行人遮擋示意圖

圖7 行人遮擋原圖像和前景圖像連通區域圖

從圖6可以看出遮擋部分的高度越大，遮擋的越多，即BlockHeight越小，遮擋的越多，遮擋系數越大。當行人位置在圖像靠上位置時，行人高度較低，相同的遮擋高度，遮擋人的面積較大，遮擋系數較大，BlockHeight一般是大于行人高度，且越接近，遮擋越多。在上下遮擋的情況下，當上方行人偏左或者偏右也會影響遮擋部分的大小，針對單獨的人群前景區域，前景像素數所占他們外接矩形的比例越大，遮擋系數越大。根據以上分析，本文計算遮擋系數時，綜合考慮外接矩形高度、行人高度、前景像素數所占外接矩形的比例三個因素，如公式（6）所示，

式中SubHeight是行人的高度，也是行人所處的子區域高度，C為前景像素所占外接矩形的比例。

當SubHeight固定時，BlockHeight越小，遮擋系數ω越大。當行人位置在圖像中靠上時，遮擋高度不變時，SubHeight變小，BlockHeight變小，ω越大。當C越大時，ω越大。分析得知，公式（6）符合遮擋系數與外接矩形高度、行人高度、前景像素數所占外接矩形比例三個要素的變化關系。

2 實驗結果和分析

為了驗證本文的算法，在UCSD公共人群數據庫上進行了測試。UCSD公共數據庫是美國加州大學圣地亞哥分校建立的，數據庫拍攝了兩個不同人行橫道。本文驗證時采用其中的人行橫道1中的數據。

本文測試了5000幀圖像，并選取了3個人數區間不同的時間段1，2，3，人數分別在8至16，12至27，16至38之間，如圖8（a），（b）和（c）所示。時間段1是第4605幀到4870幀，時間段2是第15幀到第280幀，時間段3是第845幀到第1110幀。

圖8 各區間人數示意圖

將文獻4中未考慮透視效應的局部特征估計算法，考慮透視效應的區域劃分算法（公式3）和本文考慮透視效應和遮擋的算法（公式5）進行對比測試，分別對以上的三個時間段進行測試，實驗結果如圖9所示。

圖9 結果對比

由圖9可以看出，通過對不同人數區間段做對比測試，劃分區域的算法比不分的算法結果要好，本文考慮到遮擋的算法是最接近實際人數的。對三種算法計算標準差（MSE），得到結果如表1所示。

表1 標準差結果比對

由表1可以看出，本文算法計算的MSE在三個時間段上都是最小的，一定程度上減少遮擋的影響，提高了檢測的準確率，但隨著人數增多，人群密度增大，MSE也逐漸變大，但仍然比其他兩種算法準確。

3 結論

本文通過統計人群前景像素數進行人數估計，并且提出了一個新的遮擋系數的計算方法，用于減少行人之間相互遮擋引起的誤差。結合了區域劃分，根據行人在圖像中的高度對圖像進行區域劃分處理，減少了因為透視效應的影響。對5000幀圖像實驗結果對比，本文算法提高了人群數目估計的準確性，減少了因為行人遮擋和透視效應引起的誤差。