基于深度時空特征卷積—池化的視頻人群計數方法

李強，康子路

?

基于深度時空特征卷積—池化的視頻人群計數方法

李強，康子路

（中國電子科技集團公司信息科學研究院，北京 100086）

由于攝像機角度、背景、人群密度分布和遮擋的限制，傳統的基于底層視覺特征的視頻人群計數方法往往難以實現理想的效果。利用視頻的時空特征和卷積—池化方法形成高層的視覺特征，采用局部特征聚合描述符進行量化和碼本計算，實現了對視頻人群信息的精準描述；該方法充分利用了視頻的運動和外觀信息，基于卷積神經網絡和池化方法提升了對視頻本征屬性和特征的描述能力。實驗結果表明，所提方法比傳統的視頻人群計數方法具有更高的精度和更好的頑健性。

人群計數；卷積神經網絡；深度時空特征；卷積—池化

1 引言

視頻人群計數具有重要的現實意義和應用價值，可以為公眾提供安全、預警服務，還可以通過對人的行為分析，優化公共資源配置、提高服務質量等。視頻人群計數問題已成為模式識別和智能視頻處理領域的重要研究內容。近年來，研究人員提出一系列人群計數方法，這些方法大體可以分為3類[1]：基于檢測（detection-based）的方法、基于聚類（clustering-based）的方法和基于回歸（regression-based）的方法。基于檢測的方法通過檢測和跟蹤視頻中的人體或頭部、上肢等人體部分實現人數統計，同時實現對個體的定位，但當人群密度較高或場景復雜時，識別效果往往不理想；基于聚類的方法建立在“人的運動軌跡或視覺特征相對規整”這一假設的基礎上，用連續軌跡代表移動個體，通過軌跡聚類實現人群計數。高密度人群環境下的目標檢測和識別屬于非平凡問題（non-trivial problem）。與前兩種方法不同，基于回歸的方法忽略單一的個體，而將人群視為一個整體，通過人群模式的整體性描述估計人群密度，利用視頻幀（圖像）特征和人群之間的回歸關系實現人群計數，避免對單一個體的跟蹤識別，這類方法通常用于大規模人群計數。

人群計數方法的關鍵在于視覺特征的選擇，常見的特征包括邊緣形狀特征、關鍵點（興趣點[2]、角點[3]）特征、方向梯度直方圖（histogram of oriented gradient，HOG）[4]等，這些特征對人群的表征能力有限，加上人群遮擋、透視效果的影響，往往難以達到理想的效果。視頻幀前景分割和分塊也是人群計數方法中常用的前置計算步驟，而這種計算本身屬于計算機視覺領域的難點問題，計算精度直接影響人群計數的準確性。

充分利用視頻中的時域和空域特征，并進行高層次抽象有助于實現對視頻內容的準確描述。因此，本文提出一種基于深度時空特征卷積—池化（conv-pooling）的視頻人群計數方法，該方法使用兩種深度卷積網絡（deep ConvNet） VGG-net[5]和3D ConvNet[6]分別提取視頻數據的時域（spatial）、空域（temporal）和時—空（spatial-temporal）特征構建特征圖（feature map），對特征圖池化（pooling），使用局部特征聚合描述符（vector of locally aggregated descriptor，VLAD）[7]量化編碼以獲得對視頻人群數據的精準表達。傳統算法與本文算法流程對比如圖1所示。本文提出的深度時空特征卷積—池化的計算流程如圖2所示。與傳統方法相比，本文的貢獻主要有以下3點：提取代表視頻運動（motion）和外觀（appearance）信息的時域和空域特征，通過卷積—池化方法獲取的高層特征相比于底層特征實現對視頻的更精準描述；提出的方法不依賴于前景分割，有效避免了傳統方法中使用視頻分割作為前置處理所帶來的不準確的問題；在UCSD和Mall兩個數據集上的實驗結果表明，本文方法相比于傳統基于視頻的人群計數方法具有更高的準確率和更好的頑健性。

圖1 傳統算法與本文算法的流程對比

2 相關研究

圖2 本文提出的深度視頻特征卷積—池化方法

視頻特征提取是影響人群計數方法的關鍵。例如，在基于檢測的方法中，在低密度情況下使用Haar小波特征[8]、edgelet特征[9]和shapelet特征[10]等檢測完整的行人，在高密度、存在大量遮擋情況下使用幾何形狀輪廓、3D形狀檢測行人頭部、肩部等；在使用特征的同時，利用線性分類器，如支持向量機、隨機數等[11]提升計算效果?；诨貧w的方法通過在人群特征和視頻幀之間建立映射關系實現計數，這些特征包括背景、HOG、局部二值模式（local binary pattern，LBP）[12]、灰度共生矩陣（gray level co-occurrence matrix，GLCM）[13]等。

深度學習（deep learning）[14]自提出以來，由于其優異的特征表達和模型泛化能力，在語音識別、計算機視覺等領域得到廣泛應用；它通過多層神經網絡和非線性特征結構對底層特征進行抽象轉換，利用深層次模型獲取高層特征。卷積神經網絡（convolutional neural network，CNN）將深度學習的思想引入神經網絡中，模擬人腦視覺皮層和神經元工作機理，通過卷積—池化運算進行特征提取和采樣，使得特征的描述和判別能力更強，對平移、縮放和旋轉等具有很好的頑健性。

近年來，學者們利用CNN提出一系列人群計數方法。Zhang等人[15]提出一種跨場景人群計數方法，利用人群密度和人群總數交替訓練實現人數估計，該方法表明，與人工特征相比，深度學習得到的模型具有更好的描述能力；同時，為了更好地適應未知場景，提出了一種數據驅動的方法，在目標場景的基礎上，對預訓練獲得的模型進行微調，使其能夠適應新的場景，從而避免對模型的重復訓練，實現跨場景計算；然而，該方法在訓練過程中需要大量使用難以獲得的透視圖（perspective map），這限制了其廣泛適用性。參考文獻[16]提出一種簡單有效的多列卷積神經網絡（multi-column convolutional neural network，MCNN）結構，將視頻幀映射到人群密度圖上；該方法允許輸入大、中、小3種尺寸或分辨率的視頻幀，每列CNN能夠適應不同大小人體或頭部的變化，具有良好的頑健性，并能在不需要輸入視圖的透視先驗情況下通過幾何自適應核（geometry-adaptive kernel）精確計算人群密度，該方法的主要作用是對人群密度進行估計，在常規密度情況下的計數效果與現有方法并沒有明顯區別。參考文獻[17]提出一種基于序的空間金字塔池化網絡的人群計數方法。該方法將原始圖像分為不同尺度的子塊，利用基于序的空間金字塔池化不同網絡獲得子圖像塊的人數，最后將所有子圖像塊人數相加得出圖像總人數，這種方法在圖像分塊、池化操作時引入多個依賴特定場景的參數，使得算法的適應性不足。參考文獻[18]通過深層網絡（deep network）和淺層網絡（shallow network）的融合，獲取待檢測圖片的特征圖（能量圖、密度圖）并進行積分獲得人群計數結果，然而在計算兩個特征圖的過程中需要對大量的有標記數據進行訓練，而這種標記數據往往是難以獲得的。上述基于CNN的方法普遍建立在分層或分塊的基礎上，這種計算前置步驟產生的不確定性會對后續計算產生難以預測的影響。本文所提方法無需前景分割，提取包含視頻時、空要素的深度特征，相比傳統方法能夠獲得更好的計算結果，下面將詳細介紹計算流程。

3 深度時空特征處理

本節將給出卷積網中的卷積層選擇（特征提取）、特征池化以及特征編碼方法。

3.1 提取深度卷積網

在卷積網絡中，不同深度的卷積層代表不同的信息，例如，全連接層（the fully-connected layer）代表了全局特征，如場景、目標等，而淺卷積層（shallower convolutional layer）則包含更多的局部特征，如線型、邊緣等。

視頻中主要包含運動和外觀兩種信息，其中運動信息依賴于時域特征，外觀信息依賴于空間特征，而時空特征可以同時表達兩種信息。下面將使用兩種不同的ConvNet分別提取上述信息。

對于時域特征，使用VGG-net。VGG-net有兩種深度結構：VGG-16和VGG-19，分別代表擁有16層和19層的VGG-net，這里使用VGG-19，原因在于更深層的卷積網絡包含更多具有高區別性的局部深度特征。時域VGG-19的輸入是光流簇（optical flow cluster），每一光流為一個視頻幀的垂直和水平方向的運動信息，使用OpenCV中的TVL1算法[19]抽取光流簇。提取VGG-19中的最深卷積層pool5，pool5的輸出為一個大小為7×7像素和512個通道的特征圖。為了獲取特征圖的局部深度特征，分別抽取每個空間位置信息并將512個通道的值直接連接，獲得一個維度為512的局部深度特征向量。因此，對每個視頻幀，都能夠抽取49個深度時域特征。

對于空域特征，仍然使用VGG-19，此時，它的輸入是包含3個通道顏色信息的視頻幀。使用新的輸入數據重新訓練VGG-19，以獲得新的網絡初始化結構、更低的學習率、更好的增強泛化能力、更高的丟棄率（防止過擬合）等。為了抽取視頻幀的空間信息，依舊提取VGG-19中pool5。空域pool5特征圖的大小為7×7像素，包含512個通道，最后獲得的局部深度特征由pool5特征圖的每個局部特征連接而成，即49個深度空域特征。

對于時空特征，使用3D ConvNet[6]，該網絡使用3D卷積核同時捕獲視頻的外觀和運動信息。3D ConvNet的輸入是長度為16幀的視頻數據，通過視頻迭代采樣創建輸入數據。由于3D ConvNet的最后一層包含空間信息的特征圖的分辨率為4×4像素，為了與前面兩個特征圖大小相匹配，采用這一低分辨率特征圖之前的一層，命名為conv5。conv5與之前兩個特征圖具有相同的大小和通道數量，但包含兩個大小為7×7×512的特征圖，進一步通過conv5兩個特征圖中位置信息的最大值構建一個特征圖，這使得深度時空特征圖能夠與前兩個特征圖保持一致。

在提取時域、空域特征之外再提取時—空特征，最大的優點在于同時計算兩種特征可以實現對視頻數據的全局性表達，避免了傳統方法中視頻幀特征簡單疊加導致的時域特征丟失問題，如圖3所示。

3.2 池化深度卷積網

獲得卷積特征圖后，使用軌跡池化策略（trajectory pooling strategy）對特征進行池化。軌跡池化策略建立在密集軌跡（dense trajectory）的基礎上。為了提取密集軌跡，從多個尺度空間采樣特征點。在密集光流場(u，v)中，使用中值濾波追蹤第幀的點P=( x，y)在1幀的位置：

圖3 提取深度卷積網

（1）

提取的軌跡可以表示為：

其中，T是全部個點中的第個軌跡。為了使用軌跡池化卷積圖，需要計算從視頻特征點到特征圖的映射比：

其中，和表示第個卷積特征圖的高度和寬度，H和W表示視頻幀的高度和寬度。從第層的第個軌跡描述符TD可以計算為：

3.3 特征編碼

VLAD是一種有效的局部描述符的編碼方法。與BOF（bag-of-feature）類似[7]，它首先使用聚類（-means）方法學習獲得包含個視覺單詞（visual word）的碼本（codebook）{1，2，…，c}，每個局部特征符都會用距其最近的視覺單詞來表示。VLAD的思想在于累積向量和其最近鄰c的差?c，表示向量在視覺單詞上的分布特征。

給定(1，2，…，x)為池化的描述符，從中心計算的差分向量為：

VLAD通過級聯獲得μ在所有個中心{1，2，...，μ}的表示，使用冪律（power）和2范數歸一化（L2-normalization）進行后續處理，最后生成一個長的特征描述子。

VLAD在考慮離其最近的聚類中心（碼本或單詞）的同時，保留每個特征點到離其最近的聚類中心的距離，并用所有聚類中心的線性組合表示特征點，建模過程沒有信息損失。

3.4 計算模型

上述步驟從3個不同維度對視頻時空特征進行卷積—池化、特征融合、聚類計算以生成視頻的特征表達，最后使用線性支持向量機（liner SVM）作為回歸模型輸出視頻人群數目，計算模型如圖4所示。

圖4 人群計數模型

4 實驗結果與分析

使用平均絕對誤差（mean absolute error，MAE）和均方誤差（mean squared error，MSE）[22]評價性能，MAE和MSE的定義為：

其中，是總幀數，G是第幀的實際人數，E是第幀的預測人數。MAE和MSE用來量化人群計數效果的客觀標準，MAE表示預測的準確性，MSE表示預測的頑健性。通常，MAE和MSE的值越小，代表準確性和頑健性越好。

使用UCSD和Mall兩個基準數據集，兩個數據集分別取自室外和室內場景。UCSD[16]數據取自可俯瞰美國加州大學圣迭戈分校一條步行街的攝像頭，Mall[1]數據取自一個購物中心的監控攝像頭。兩個數據集的信息見表1和圖5，N為視頻幀數，為分辨率，FPS為每秒幀數，為人群密度（興趣區域內最少和最多人數），T為全部視頻幀中所含的總人數。

表1 數據集屬性

圖5 數據集樣例

在VLAD編碼中，視覺單詞的數目決定了最終的特征維度。通過實驗在UCSD和Mall兩個數據集上尋求最好的，見表2，這里，準確度是指計數正確的視頻幀數占全部視頻幀數的百分比。當=256時，生成特征的辨別能力最強，因此實驗中將VLAD中的數量修改為256。

表2 VLAD采用不同的聚類中心時的計數準確度

對于UCSD和Mall，使用后800幀用于訓練，前1 200幀用于測試。將本文方法與已有的3個視頻人群計數的方法[16-17,22]相對比，結果見表3。圖6給出了Mall測試數據的計數結果，可以看出，估計人數與實際人數具有很高的相似度。

表3 數據集對比實驗

表3給出不同方法在兩個數據集上的對比結果，相比現有方法，本文的方法獲得了更好的準確度和頑健性，原因在于：建立在前景分割基礎上的人群計數方法受光照、人群密集程度、背景復雜度等的影響，對分塊、面積計算等方法的使用也明顯受限，準確度難以保證；特征提取是影響人群計數方法的重要步驟，提取視頻的深度時空特征并對其進行有效編碼是提升特征判別能力的有效方法，這是本文方法與對比方法最根本的區別。實驗中給出使用不用特征時的MAE和MSE值，具體見表4。可以看出，使用時空特征能夠更好地挖掘視頻幀數據間表示視頻時空要素發展變化趨勢、規律以及本質屬性的時空耦合、時空相關與時空異質特征，與單一特征相比具有更好的可靠性。本文中提取的深度時空特征具有更好的自主辨識能力和內容描述能力，對光照、背景變化、遮擋等的頑健性好；特征提取難度小，避免了前景分割這一復雜操作，且計算過程簡單具有更好的適應性。

圖6 Mall數據集的計數結果

5 結束語

本文提出一種基于深度時空特征卷積—池化的視頻人群計數方法，使用VGG-net和3D ConvNet分別提取深度時空卷積特征，使用軌跡池化策略進行特征池化，最后采用VLAD進行特征編碼。與傳統的視頻人群計數方法相比，本文提出的方法在UCSD和Mall兩個數據集上獲得了良好的計數性能，這表明基于深度時空特征卷積—池化的方法能夠更有效地描述視頻的本質信息，這種特征提取、編碼方法還可以擴展到更廣的視頻模式識別領域。未來將進一步訓練和利用深度網絡處理復雜的視頻語義概念和內容、探索利用在不同卷積層上的池化方法。

表4 數據集使用不用特征的結果

[1] LOY C C, CHEN K, GONG S G, et al. Crowd counting and profiling: methodology and evaluation[M]. New York: Springer, 2013: 347-382.

[2] IDREES H, SALEEMI I, SEIBERT C, et al. Multi-source multi-scale counting in extremely dense crowd images[C]//The 2013 IEEE Conference on Computer Vision and Pattern Recognition (CVPR’13), June 23-28, 2013, Portland, OR, USA. Piscataway: IEEE Press, 2013: 2547-2554.

[3] ROSTEN E, PORTER R, DRUMMOND T. Faster and better: a machine learning approach to corner detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32(1): 105-119.

[4] DALAL N, TRIGGS B. Histograms of oriented gradients for human detection[C]//The 2005 IEEE Conference on Computer Vision and Pattern Recognition (CVPR’05), June 20-25, 2005, New York, NY, USA. Piscataway: IEEE Press, 2005: 886-893.

[5] SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[J]. Computer Science, 2014(9).

[6] TRAN D, BOURDEV L, FERGUS R, et al. Learning spatiotemporal features with 3D convolutional networks[C]//The 2015 IEEE International Conference on Computer Vision (ICCV’15), Dec 7-13, 2015, Santiago, Chile. Piscataway: IEEE Press, 2015: 4489-4497.

[7] J’EGOU H, DOUZE M, SCHMID C, et al. Aggregating local descriptors into a compact image representation[C]//The 2010 IEEE Conference on Computer Vision and Pattern Recognition (CVPR’10), June 13-18, 2010, San Francisco, CA, USA. Piscataway: IEEE Press, 2010: 3304-3311.

[8] VIOLA P, JONES M J. Robust real-time face detection[J]. International Journal of Computer Vision, 2004, 57(2): 137-154.

[9] WU B, NEVATIA R. Detection of multiple, partially occluded humans in a single image by bayesian combination of edgelet part detectors[C]//The 2005 IEEE International Conference on Computer Vision (ICCV’05), Oct 17-21, 2005, Beijing, China. Piscataway: IEEE Press, 2005: 90-97.

[10] SABZMEYDANI P, MORI G. Detecting pedestrians by learning shapelet features[C]//The 2007 IEEE Conference on Computer Vision and Pattern Recognition (CVPR’07), June 18-23, 2007, Minneapolis, Minnesota, USA. Piscataway: IEEE Press, 2007: 1-8.

[11] GALL J, YAO A, RAZAVI N, et al. Hough forests for object detection, tracking, and action recognition[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2011, 33(11): 2188-2202.

[12] HUANG D, SHAN C, ARDABILIAN M, et al. Local binary patterns and its application to facial image analysis: a survey[J]. IEEE Transactions on Systems Man & Cybernetics Part C Applications & Reviews, 2011, 41(6): 765-781.

[13] SULOCHANA S, VIDHYA R. Texture based image retrieval using framelet transform–gray level co-occurrence matrix(GLCM)[J]. International Journal of Advanced Research in Artificial Intelligence, 2013, 2(2).

[14] HINTON G E, SALAKHUTDINOV R. Reducing the dimensionality of data with neural networks[J]. Science, 2006, 313(5786): 504-507.

[15] ZHANG C, LI H, WANG X, et al. Cross-scene crowd counting via deep convolutional neural networks[C]//The 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR’15), June 8-10, 2015, Boston, Massachusetts, USA. Piscataway: IEEE Press, 2015: 833-841.

[16] CHAN A, LIANG Z, Vasconcelos N. Privacy preserving crowd monitoring: counting people without people models or tracking[C]//The 2008 IEEE Conference on Computer Vision and Pattern Recognition (CVPR’08), June 24-26, 2008, Anchorage, Alaska, USA. Piscataway: IEEE Press, 2008: 1-7.

[17] 時增林, 葉陽東, 吳云鵬, 等. 基于序的空間金字塔池化網絡的人群計數方法[J]. 自動化學報, 2016, 42(6): 866-874. SHI Z L, YE Y D, WU Y P, et al. Crowd counting using rank-based spatial pyramid pooling network[J]. Acta Automatica Sinica, 2016, 42(6): 866-874.

[18] BOOMINATHAN L, KRUTHIVENTI S, BABU R. Crowdnet: a deep convolutional network for dense crowd counting[C]// The 2016 ACM Conference on Multimedia Conference (MM’16), Oct 15-19, 2016, Amsterdam, The Netherlands. New York: ACM Press, 2016: 640-644.

[19] ZACH C, POCK T, BISCHOF H. A duality based approach for realtime TV-L1 optical flow[M]. Berlin: Springer, 2007: 214-223.

[20] BAY H, ESS A, TUYTELAARS T, et al. Speeded-up robust features (SURF)[J]. Computer Vision and Image Understanding, 2008, 110(3): 346-359

[21] FISCHLER M A, BOLLES R C. Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography[J]. Communications of the ACM, 1981, 24(6): 381-395.

[22] ZHANG Z X, WANG M, GENG X. Crowd counting in public video surveillance by label distribution learning[J]. Neurocomputing, 2015(166): 151-163.

Video crowd counting method based on conv-pooling deep spatial and temporal features

LI Qiang, KANG Zilu

Information Science Academy, China Electronics Technology Group Corporation, Beijing 100086, China

Due to angle of camera, background, population density distribution and occlusion limitations, traditional video crowd counting methods based on underlying visual features are often difficult to achieve ideal results. Using the temporal and spatial features of video and conv-pooling method, high-level visual features were formed, local aggregation descriptors were used for quantization and codebook calculation to achieve accurate description of video crowd information. This method made full use of video motion and appearance information. Based on convolutional neural networks and pooling methods, the ability to describe video intrinsic attributes and features was improved. Experimental results show that the proposed method has higher precision and better robustness than traditional video crowd counting methods.

crowd counting, convolutional neural network, deep spatial and temporal feature, conv-pooling

TP391

A

10.11959/j.issn.1000?0801.2018161

李強（1984?），男，博士，中國電子科技集團公司信息科學研究院物聯網技術研究所工程師，主要研究方向為視頻/圖像處理、模式識別、機器學習。

康子路（1972?），男，中國電子科技集團公司信息科學研究院物聯網技術研究所高級工程師，主要研究方向為物聯網、數據架構。

2017?11?23；

2018?04?18