基于幀間特征和連通域檢測的人數統計

朱家新，郭德全，蘭時勇,3

(1.四川大學 視覺合成圖形圖像技術國防重點學科實驗室，四川 成都 610065；2.成都信息工程大學 控制工程學院,四川 成都 610225;3.四川大學 計算機學院，四川 成都 610065)

基于幀間特征和連通域檢測的人數統計

朱家新1，郭德全2，蘭時勇1,3

(1.四川大學 視覺合成圖形圖像技術國防重點學科實驗室，四川 成都 610065；2.成都信息工程大學 控制工程學院,四川 成都 610225;3.四川大學 計算機學院，四川 成都 610065)

為了更好地管理機場、火車站及汽車站等人流密集的固定場所，文中提出一種簡單、高效的人員流量統計算法。首先，將視頻序列中的圖像轉化為灰度圖像，利用幀差法提取前景圖像并將其二值化；然后，利用上下邊緣點匹配的連通域檢測算法對前景圖像中的連通域進行提取，利用人頭的形狀信息和灰度信息對連通域進行篩選；最后，通過對人頭連通域的跟蹤實現人數統計。在提出的人頭跟蹤計數算法中，利用人頭連通域在視頻幀中的信息和容器對人頭特征進行跟蹤計數。實驗結果表明，該算法具有良好的人頭跟蹤和計數效果。

人頭特征；跟蹤；計數；連通域

1 概 述

隨著視頻監控系統的廣泛應用，利用計算機圖像技術自動處理視頻監控中的信息，減少人工參與，是視頻監控和數據分析未來發展的方向。人數統計在現實生活中有很廣泛的應用，例如，大型場館客流量的統計，如火車站、機場及汽車站等等；公交線路的客流量統計；超市、博物館、展覽館等一些公共場所人數的統計等等。這些統計數據能夠幫助決策者更好地進行資源規劃和管理，例如在火車站或機場可以根據不同時段客流量統計的數據開放售票或檢票通道的數量；交通部門可以根據公交線路的客流量統計來規劃公交線路以及安排公交車的數量；公共場所可以根據客流量的數據來規劃展覽路線、方式，及開放時間或工作服務人員的排班等等，同時為人員密集區的安全提供監測保障。

人體目標的識別和跟蹤是目前計算機視頻處理的難點，目前，對視頻中人體目標識別和跟蹤有以下幾種方法[1]：基于特征的人數統計算法[2-4]、基于區域的人數統計算法[5-8]、基于模板匹配的人數統計算法[9-10]。

文獻[4]根據圖像中行人占有面積分裂和合并前景，在理想情況下有比較好的計數效果。文獻[6]利用人頭的形狀和顏色信息對人頭區域進行檢測，它包含兩個步驟：黑色區域的提取和形狀分析，通過對圖像HSV空間V通道的像素設定閾值，可以得到黑色區域，這種方法能抵抗光照的變化和陰影的影響。文獻[9]通過使用半圓模型對前景圖像的人頭肩所在位置進行搜索，然后利用Snake模型與卡爾曼濾波結合跟蹤目標，但是Snake模型比較適合單目標的跟蹤，當目標有重疊時，精度會下降。

采用垂直攝像頭的方法可以有效減少行人之間的遮擋[11]，在這種情況下，行人通常只有頭部表現的較為完整[12]，并且行人的頭部部分基本不會發生遮擋。文獻[13-14]在提取出運動目標后還需對重疊的目標進行分割。

文中采用在頂部安裝垂直攝像頭的方式，統計經過的行人。人數統計的具體步驟如下：

對于采集的視頻圖像，首先對其進行預處理，調整視頻的大小，如果視頻為彩色圖像，將其轉換成灰度圖像，減少計算量；然后對預處理得到的視頻做幀間差運算，提取運動目標，劃定行人人頭部分候選區域；最后根據人體先驗知識和現實中人頭特征對人頭部分候選區域進行篩選，對符合要求的人頭部分進行跟蹤并計數。

該方案的優勢如下：計算量較小；受光照變化和陰影的影響小；在多行人情況下，不需要進行分割。

2 人頭特征提取

2.1 預處理和前景提取

首先，對輸入的視頻進行預處理，如果視頻格式是三通道的彩色圖像，將其轉化為灰度圖像并調整視頻尺寸，減少計算量，加快處理視頻的速度。

對于預處理得到的視頻，每隔兩幀處理一幀，采用幀差法對前景進行提取，直接對當前幀與背景圖像作差分，可有效得出運動前景圖像，然后將背景圖像更新為當前幀，直接差分可以表示為[15]：

d(x,y)=|a(x,y)-b(x,y)|

(1)

其中，a(x,y)和b(x,y)分別是當前幀圖像和背景圖像位于坐標(x,y)處的像素灰度值；d(x,y)是運動前景圖像在相應坐標處像素的灰度值。

得到的運動前景圖像，存在很多的噪聲干擾。這時，先對前景圖像做二值化處理，濾除噪聲，得到運動候選區域。二值化處理表示為：

(2)

其中，d(x,y)是運動前景圖像位于坐標(x,y)處像素的灰度值；g(x,y)是相應位置的二值圖像的值，取值是“0”或“255”。

基于OpenCV對預處理得到的圖像進行數學形態學處理，進一步減少噪聲并增加人頭候選區域的特征[16]。通過這種方法，可以濾除一些突變的噪聲點。

2.2 連通域檢測和篩選

在垂直攝像頭的實驗環境下，人的頭部有近似圓的形狀，但是不同人的頭部之間也存在差異[10]。利用數學形態學處理減少前景提取的誤差之后，對前景圖像基于上下邊緣點匹配進行連通域檢測[17]，計算連通域的面積s和長寬比例t，要求s>C,a≤t≤b。其中，C為指定的人頭部分連通域面積的最小值；a和b分別為指定人頭區域長寬比例的最小值和最大值，C、a、b的值均根據實際情況調整。根據這個條件，剔除不符合大小和形狀要求的連通域，并且針對檢測的連通域，返回到初始圖像進行顏色信息匹配，當連通域對應區域的顏色信息符合頭部區域的顏色信息時，就認為該連通域代表的就是行人的人頭特征。檢測并篩選連通域過程如圖1所示。

圖1 人頭連通域提取標記過程

3 跟蹤與計數

對每一幀的運動前景進行連通域檢測，檢測到幾個連通域即表示有幾個行人在當前幀的畫面中出現。采用連通域以下的幾個信息來唯一地標識行人T：檢測到該連通域時視頻的幀數Tf，連通域中心點的坐標Tp，連續檢測到該行人對應的連通域的幀數Tn(用以判定響應強度)，行人的速度矢量Tv。每一個行人的信息都保存在容器S中，在處理每幀圖像的前后，對容器里所有行人的信息進行動態更新。對人頭連通域跟蹤與計數的流程圖如圖2所示。

圖2 跟蹤計數流程

當在某一幀的前景圖像中檢測到連通域時，首先對其信息進行初始化。其中Tf，Tp均可由連通域的信息獲得，Tn=0，Tv=0。然后判斷其對應的行人是否為新進入監測區域的行人，原則如下：設容器此時的元素個數為n，則

A=

(3)

其中，Tpx、Tpy表示當前檢測到連通域中心點的橫坐標和縱坐標；S[m]px、S[m]py表示容器S中第m個元素中心點的橫坐標和縱坐標；D表示判定兩個連通域是代表兩個行人的最小值。

當A>D時，表示該連通域對應的行人是新進入監測區域人員，將該連通域的信息添加保存在容器S中，同時總人數計數加1。

當A

(4)

更新完信息后如果S[m]n=1，則可以對行人的行進方向做出判斷，此時如果S[m]v>0，表示相應的行人是出去的，則行人出去的計數加1；如果S[m]v<0，表示行人是進入的，則行人進入的計數加1。

由于現實中環境復雜，行人在通過視頻監測區域的時候，并不是每幀都能被檢測到。在處理完每一幀圖像后，會對容器中沒有更新信息的元素進行處理，表示該元素對應的行人是“實際”出現在視頻中并被檢測到的。根據S[n]f是否與當前視頻的幀數一致判斷S[n]元素是否被更新過。

假定S[n]的信息在當前幀沒有被更新，會對其做如下更新處理:

(5)

及時更新位置是為了保證以后再檢測到已檢測行人的連通域時，不會誤判為新的行人，減少誤差。更新完信息后，若S[n]n=0，表示該連通域代表的行人已經走出視頻監測區域，則從容器中刪除該行人的信息。

文中采用每隔兩幀處理一次的方法對視頻進行處理，一方面加快了視頻的處理速度，另一方面減小了對進入或進出行人分別計數的誤差。

4 實驗結果與對比分析

4.1 實驗結果

實驗所用硬件環境：CPU為Intel(R) Core(TM) i5-2300 CPU @2.80 GHz，內存4.00 GB。軟件環境：操作系統Windows 7，實驗開發工具Microsoft Visual Studio 2010，采用.NET Framework 4.5框架。使用C++語言和OpenCV 2.4.3實現算法，原始的輸入視頻尺寸為1 280×720，幀速率為25 幀/秒，實驗的場景是在某公司的走廊。

在測試中，為了減少干擾，前景圖像像素的灰度值只有大于閾值B(設定為100)，才被認為是人頭目標區域的像素；C取值為4 000；a和b分別取值為0.5和2.0；D取值為5 000。

實驗總共進行了三組，其中兩組分別為只有單向行人的情況，另外一組為有雙向行人，存在行人交錯的情況。設正確檢測人數為p，誤檢人數為q，漏檢人數為r，則正確率PT=p/(p+q)，查全率RT=p/(p+r)，調和準確率FT=2*PT*RT/(PT+RT)，實驗結果如表1所示。

由測得的數據表明，平均處理一幀圖像的時間為0.078s，多種情況下，文中算法有90%以上的精確度。

實驗結果表明，文中算法計數的準確率高，對于特殊情況下行人的跟蹤計數也有很好的效果，例如行人交錯行走或三行人并肩行走等，均能很好地檢測出每個行人的頭部連通域并進行跟蹤。

三人并肩行走情況如圖3所示。

圖3 三行人并肩行走跟蹤

同時，存在少量誤檢和漏檢的情況，當出現以下情況時，系統不能很好地跟蹤計數行人：

(1)行人戴淺顏色的帽子或者行人頭發稀疏，由于前景提取是用幀差的方法，容易漏檢。如圖4所示，右下角的行人因頭發稀疏其頭部區域不能在前景中提取出來。

圖4 行人頭發稀疏情況

(2)行人經過視頻監測的邊緣區域，前景頭部提取不完整或者頭部區域僅有少部分出現在視頻監測區域內，容易漏檢。

(3)行人穿戴黑色衣物時有可能造成誤檢。

4.2 算法分析及對比

文獻[6]使用一種融合顏色、距離和形狀信息的跟蹤方法對人頭進行跟蹤，通過對跟蹤軌跡的分析，對行人進行計數。但是，該方法在行人遮擋嚴重的情況下準確率低，當行人有交疊時，容易造成誤檢。文獻[7]將目標分割成多個區域，每個區域由一個團塊表示，每個團塊包含了相應區域的所有像素的平均值、形狀和位置，通過團塊匹配跟蹤目標。但是，文獻[7]需要對目標的初始狀態進行記錄，對行人的初始狀態依賴大，在行人有粘連時，容易漏檢。

具體實驗對比結果如表2所示。從表2可以看出文中算法優于其他算法。

表1 計數結果

表2 算法對比

5 結束語

文中利用視頻圖像處理技術實現了對一個固定場景的出入人數和總人數的統計。研究目的希望將該技術應用到多種場景中，例如火車站、機場、大型場館、展覽館等等，利用人員流量計數的數據，為資源配置最優化提供支持。文中使用的跟蹤和計數人頭特征的方法簡單、易于實現并且精確度高。

實驗結果表明，文中算法有效、可靠。但是也有部分不足之處，需要進一步改善，如：對頭發稀疏或戴帽子行人的檢測識別問題、對視頻邊緣行人的檢測問題等。這也是下一步工作的方向，考慮提高算法的魯棒性，或改進監控方式，如采用多攝像頭進行檢測。另外，對算法在不同應用場景中的適應性，有待進一步驗證。

[1] 趙明瀚，王晨升.基于視頻的人數識別方法綜述[J].軟件，2013,34(3):10-12.

[2] Albiol A,Silla M J,Albiol A,et al.Video analysis using corner motion statistics[C]//Proc of IEEE international workshop on performance evaluation of tracking and surveillance.[s.l.]:IEEE,2009:31-38．

[3] 呂濟民，曾昭賢，張茂軍．基于非最大抑制聚類的視頻人數估測方法[J]．模式識別與人工智能,2012,25(1):150-156．

[4] Chen Thouho,Hsu Chewei.An automatic bi-directional passing-people counting method based on color image processing[C]//Proceedings of 37th IEEE international Carnahan conference on security technology.Piscataway,NJ,USA：IEEE Press，2003:200-207.

[5] Yu Shengsheng,Chen Xiaoping,Sun Weiping,et al.A robust method for detecting and counting people[C]//Proceedings of international conference on audio,language and image processing.Piscataway,NJ,USA:IEEE Press,2008:1545-1549.

[6] 王 強，馮 燕.基于顏色和形狀信息的快速人數統計方法[J].計算機測量與控制，2010，18(9):2157-2159.

[7] 王書朋，姬紅兵.利用團塊模型進行目標跟蹤[J].西安電子科技大學學報:自然科學版，2008，35(5):799-804.

[8] 鄭翔翔，張 怡.基于頭部檢測和跟蹤的人數統計方法[J].計算機應用與軟件，2011，28(2):44-46.

[9] Jaijing K,Kaewtrakulpong P,Siddhichai S.Object detection and modeling algorithm for automatic visual people counting system[C]//Proc of 6th international conference on electrical engineering/electronics,computer,telecommunications and information technology.[s.l.]:IEEE,2009:1062-1065．

[10] 劉子源，蔣承志.基于OpenCV和Haar特征分類器的圖像人數檢測[J]．遼寧科技大學學報，2011，34(4)：384-388.

[11] 文嘉俊，徐 勇，戰蔭偉.基于AdaBoost和幀間特征的人數統計[J].中國圖象圖形學報，2011,16(9):1729-1735.

[12] 于海濱，劉敬彪，劉濟林.用于行人頭部特征提取的目標區域匹配方法[J].中國圖象圖形學報，2009,14(3):482-488.

[13] Septian H,Tao Ji,Tan Y.People counting by video segmentation and tracking[C]//Proceedings 9th international conference on control,automation and robotics and vision.Piscataway,NJ,USA:IEEE Press,2006:1-4.

[14] Chen Chao-Ho,Chen Tsong-Yi,Wang Da-Jinn,et al.A cost-effective people-counter for a crowd of moving people based on two-stage segment[J].Journal of Information Hiding and Multimedia Signal Processing，2012，3(1):12-23.

[15] 李衡宇，何小海，吳 煒，等.基于計算機視覺的公交車人流量統計系統[J].四川大學學報:自然科學版,2007,44(4):825-830.

[16] 閆敬文，樊秋月.基于視頻圖像處理的人數統計方法[J].汕頭大學學報:自然科學版，2008,23(2):69-73.

[17] 謝 貴，彭嘉熊.基于上下邊緣點匹配的連通域搜索算法[J].華中科技大學學報:自然科學版，2002,30(4):64-65.

People Counting Based on Inter-frame Features and Connected Domain Detection

ZHU Jia-xin1,GUO De-quan2,LAN Shi-yong1,3

(1.State Key Lab of Fundamental Sci. on Synthetic Vision,Chengdu 610065,China;2.School of Control Engineering,Chengdu University of Information Technology，Chengdu 610225,China;3.College of Computer Science,Sichuan University,Chengdu 610065,China)

In order to manage airports,railway stations and bus stations and other crowded places fixed with a better way,a simple and efficient personnel traffic statistics algorithm was proposed.First,the video images was converted into grayscale images,and then the foreground image was extracted using the frame difference method and was converted into binary image.Second,connected domain was detected based on matching between the points of up-contour and down-contour,and then head features were extracted using shape and gray information of head.Finally,people was counted by tracking head connected domain.In this head tracking and counting algorithm presented,use the basic information and container of head connected domain in the video image for tracking and counting.Experimental results show that the algorithm has a good head tracking and counting results.

head features；tracking；counting；connected domain

2015-05-26

2015-08-31

時間：2016-01-

國家“863”高技術發展計劃項目(2013AA013802)作者簡介：朱家新(1992-)，男，碩士生，研究方向為圖像處理、計算機視覺；郭德全，博士，研究方向為圖形圖像、信號與信息處理；蘭時勇，博士，研究方向為圖形圖像、計算機仿真。

http://www.cnki.net/kcms/detail/61.1450.TP.20160126.1521.068.html

TP391

A

1673-629X(2016)02-0101-04

10.3969/j.issn.1673-629X.2016.02.023