基于空間維度循環感知網絡的密集人群計數模型

付倩慧，李慶奎，傅景楠，王 羽

（北京信息科技大學自動化學院，北京 100192）

（*通信作者電子郵箱sdlqk01@126.com）

0 引言

人群計數是智能視頻監控系統的重要任務之一，目前對高密度人流的公共場所缺乏有效預警措施，易造成人群踩踏等隱患性事件。因此，分析人群行為趨向且對其安全隱患提供有效預警信息的人群計數系統對于建設智慧安全城市具有重要意義［1］。人群計數面臨許多挑戰，例如遮擋、高度混亂、人員分布不均勻、透視畸變、視角失真等問題。

通常人群計數方法是基于檢測或回歸。檢測方法是通過對個體定位以給出計數［2-3］；回歸方法是將人群作為整體研究對象，分析人群分布以建立特征與人數的映射關系，即通過人群特征與人數的映射關系給出計數。基于檢測方法，何鵬等［2］利用KLT（Kanade-Lucas-Tomasi）跟蹤器構建跟蹤環節，基于多尺度塊局部二進制模式（Multi-scale Block Local Binary Pattern，MBLBP）模型由對點跟蹤轉化為對人跟蹤，實現了實時 計 數。Gao 等［3］在 卷 積 神 經 網 絡（Convolutional Neural Network，CNN）的基礎上結合級聯Adaboost 算法作為特征提取器學習人群頭部特征，通過對頭部檢測結果進行計數來獲得人群數量。檢測方法在人群個體獨立且分布均勻的簡單場景下能實現準確計數，但這需要目標具有清晰的輪廓特征。受監控設備的視角、距離以及場景中光照的影響，如圖1 所示的大規模、高密度、寬視野的復雜場景，設感受野大小相等：S1=S2=S3=S4，設每個感受野中人數密度為δi(i=1，2，3，4)，由于透視畸變影響導致δ1＜δ2＜δ3＜δ4，即相同大小感受野中所捕捉到的人群數量隨著景距的加大而增大，該現象對人群計數任務造成極大困難。

圖1 高密度人群Fig.1 High-density crowd

隨著近年來深度學習技術的飛速發展，目前國內外更趨向于采用基于CNN 密度回歸方法實現計數任務。Zhang 等［4］提出了一種基于CNN 的跨場景人群計數框架，通過人群密度和人群計數兩個相互關聯的學習目標與數據驅動方法來捕捉人群紋理模型，提高了未知場景中人群計數準確率。Zhang等［5］提出了多列卷積神經網絡（Multi-column CNN，MCNN），通過采用不同尺度卷積核的感受野來更充分地捕捉人群密度分布特征，在無透視矯正變換矩陣下能較為準確地生成密度圖。在此基礎上，Sam等［6］提出了基于圖像中人群密度變化的切換卷積神經網絡，利用多個CNN 回歸器的固有結構和功能差異預測人群數量，通過執行差分訓練機制來應對大規模和視角差異。Zhang 等［7］提出了尺度自適應網絡結構，采用MCNN 提取特征，并在網絡間增加自適應調整機制使之對特征的輸出能夠自主調節到同一尺寸以回歸到人群密度圖，在密度回歸損失函數中加入基于人數的誤差計算，密度圖的回歸精度隨即提高。近年來，深度卷積神經網絡在多個計算機視覺研究主題中取得了成功，Pu 等［8］提出了基于深層深度卷積神經網絡的人群密度估計方法，即引入GoogleNet 和VGGNet 實現跨場景人群密度估計。隨著CNN 深度的不斷增加，其參數量與網絡結構也隨之增加，網絡訓練變得困難，準確度未有效提升。為了進一步消除透視畸變、視角失真導致比例變化對計數準確率的影響，郭繼昌等［9］提出了基于CNN 與密度分布特征的人數統計方法，將人群圖像依據密度進行劃分：高密度圖像的透視畸變問題使用多核回歸函數處理；稀疏圖像中個體分布較均勻，即對場景去噪后基于個體位置研判人群數量。Xu等［10］提出了深度信息引導人群計數方法，即基于圖像深度信息將其劃分為遠景與近景，遠景區域基于MCNN 回歸人群密度圖，近景區域基于YOLO 框架檢測人群數量，并結合空間上下結構消除誤差。Ma 等［11］提出了原子卷積空間金字塔網絡（Atrous Convolutions Spatial Pyramid Network，ACSPNet），采用遞增的原子速率排序的原子卷積核增大感受野并保持提取特征的分辨率，空間金字塔中使用無規則卷積進行多尺度感知且連接集成多尺度語義。陸金剛等［12］提出了基于多尺度的多列卷積神經網絡（Multi-scale MCNN，MsMCNN）的計數模型，引入了多尺度連接以結合不同卷積層的特征學習視角和尺度的變化。馬皓等［13］提出了特征金字塔網絡人群計數算法，結合高級語義特征和低層特征以多尺度特征回歸密度圖。郭瑞琴等［14］提出了GB-MSCNet（Gradient Boosting Multi-Scale Counting Net）人群計數網絡，該結構增大了網絡輸出層感知野以保存細粒度信息，同時將多尺度特征融合生成更準確的密度圖。Zhu 等［15］提出了層次密度估計器和輔助計數分類器，引入了軟注意力機制，基于分級策略從粗到精挖掘語義特征以解決縮放比例變化和視角失真的問題。Wang 等［16］提出了基于通道和空間注意力機制的人群計數網絡，分別從通道和空間維度自適應地選擇不同接受場［17］的特征，適當獲取空間上下文信息。

隨著研究的不斷深入，上述文獻中的方法對于計數的準確率已取得不錯的效果；但是局限于密度區域的劃分［9-10］，仍需要大量的計算成本來確定區域邊界和削弱前景對象之間的上下語義依存關系，導致模型在復雜場景中的性能下降；或因為引入多尺度感受野的卷積層［11-14］，增加了模型復雜度且未考慮到圖像視角旋轉變化，一定程度上限制了模型對視角變化的魯棒性。因此，受文獻［18］的啟發，本文提出了一種應用于空間維度上循環感知的人群計數模型LMCNN。本文的主要工作如下：

1）引入空間維度上局部特征循環感知網絡，基于長短期記憶（Long Short-Term Memory，LSTM）單元的順序編碼對圖像區域之間的全局空間上下依存關系進行存儲，進一步在局部區域學習透視畸變、視角失真的高密度人群內部透視變化信息；

2）設計端到端特征圖分割機制，將主干網絡的特征輸出自發地進行序列化，從而實現不同維度的特征空間的轉換。

1 高密度人群計數模型

如圖2 所示，本文提出了一種應用于空間維度上循環感知的高密度人群計數模型，由全局特征感知網絡（Global Feature Perception Network，GFPNet）和局部關聯性特征感知網絡（Local Association Feature Perception Network，LAFPNet）兩部分組成。為了進一步提高密集人群計數準確性，改善圖像透視畸變、視角失真問題，先由GFPNet 有效提取人群圖像分布特征，再由LAFPNet 循環感知特征圖序列化的內部空間維度，以進一步在空間維度上迭代提取深層語義特征，最終計算殘差值以優化人群圖像密度。

1.1 GFPNet

GFPNet 將輸入圖像經處理后轉換為低維特征圖，提取深層語義特征。受Zhang等［5］工作的啟發，設計了多尺度工作模式的GFPNet（如圖3 所示），基于不同尺度的卷積核對圖像中不同密度的人群空間分布特征進行提取，即不同尺度的感受野提取不同比例的圖像特征。由于透視畸變等問題導致卷積核提取特征的局限性，通過LAFPNet 基于全局上下相關性以進一步細化密集區域圖像特征。如圖3 所示，GFPNet 由三列并行的神經網絡組成，每列共有5 層不同尺寸卷積核和通道數的卷積層，以及兩層最大池化層，在Conv 層參數s×k×k×N中，s表示卷積核步長，k×k表示卷積核尺寸，N表示卷積核通道數；MaxPooling 層參數2 × 2 表示為池化區域且池化步長為2。

三列子卷積神經網絡中Conv_5 層輸出的特征圖經Concat相連接，并且經Conv_6層中卷積核尺寸為1× 1且通道數為1 的卷積層感知后生成特征圖。經兩層最大池化處理，其生成特征圖的分辨率為輸入圖像的1/4，大大降低了網絡的參數量和耦合度，減少了優化工作量。

圖2 LMCNN模型結構Fig.2 Structure of LMCNN model

圖3 全局特征感知網絡結構Fig.3 Structure of global feature perception network

1.2 LAFPNet

LAFPNet優化人群密度特征圖，提出基于LSTM 單元的順序編碼存儲區域之間的全局空間上下依存關系，該網絡主要由空間變換網絡［19］、LSTM單元和殘差優化組成。

其中TD為空間位置變換，基于其空間不變性特點，從GFPNet 輸出特征圖中突出局部高密度區域，如式（1）所示。為保證LAFPNet 能輸入任意尺寸特征圖，引入了空間金字塔池化層（Spatial Pyramid Pooling Network，SPPNet）［20］，避免因不滿足輸入尺寸要求對特征圖進行縮放造成失真等問題。根據SPPNet 理論，基于網絡高度對其特征進行提取，每層金字塔網絡的感受野為2m× 2m(m=0，1，…，n-1)，考慮到GFPNet 中有五層卷積層，將金字塔層數設為5。受限于Caffe中LSTM 單元輸入要求為一維向量，Slice 層在特征圖的垂直維度上進行分割，將特征圖按照其高度均等分割成16 份，分別為LSTM單元16個時間步輸入。

其中θij為將特征圖進行平移、旋轉、裁剪等運算的變化參數。

1.2.1 LSTM單元

如圖4 所示，LSTM 單元對一段連續型特征具有較強的記憶性，能夠記憶歷史特征信息，每個時刻提取的特征都會對下一時刻提取的特征產生影響。因此，LSTM單元能夠感知局部高密度區域空間位置中上下特征的相互依存關系，從而使局部區域人群分布特征的感知更為細化，減弱圖像畸變、視角失真對于人群計數的影響。該“記憶性”特點由遺忘門、輸入門、輸出門三個門控單元控制。遺忘門ft控制之前特征信息對當前的影響，其輸入為前一時刻的輸出ht-1和當前時刻的輸入xt；輸入門it控制信息流的更新；輸出門ot控制網絡信息的流出，分別如下所示：

ct表示當前的記憶狀態，遺忘門和輸入門對其進行更新，其中為當前時刻記憶單元的更新值，公式為：

特征信息經提取后，最終輸出狀態值ht表示為：

其中：Wf、Wi、Wo、Wc為權重矩陣，bf、bi、bo、bc為偏置項。

上述公式詳細介紹了LSTM 單元工作原理。單元細胞基于時間順序連接，每個時刻提取的特征會對后續提取特征提供信息，不同時刻的特征相互影響，增強后續特征提取的可靠性。

圖4 t時刻的LSTM單元結構Fig.4 Structure of LSTM cell at time t

1.2.2 殘差優化

基于密度圖回歸的方法通常采用隨機梯度下降法進行網絡優化，以歐氏距離函數進行損失計算，進一步優化結構參數，損失函數定義如下：

其中：N代表訓練樣本的總數；Ii代表第i張訓練圖像Xi對應的真實密度圖；I(Xi；Θ)代表訓練輸出的密度圖，Θ代表需要學習的參數；L(Θ)是訓練輸出的密度圖與真實密度圖之間的差距。

1.3 人群密度圖

當圖像中人群稀疏并且圖像中人頭尺寸具有一致性時，采用傳統高斯核函數方法生成密度圖。即假設某個人頭中心點在像素xi上，該密度用狄拉克函數來近似表示為δ(x-xi)。高斯核濾波器為Gσ(x)，人群密度函數為：

在高密度人群圖像中，人群個體間并非相互獨立，由于透視畸變問題，人頭在圖像中不同區域的尺度不同，則采用自適應高斯濾波器Gσi(x)［12］計算人群密度函數：

2 實驗與分析

為更加充分地驗證本文模型的有效性，基于Shanghaitech數據集和UCF_CC_50 數據集進行訓練與測試，并與經典、主流的人群計數算法MCNN［5］、ACSPNet［11］、GB-MSCNet［14］進行對比。本文實驗環境基于Linux 系統，使用Caffe 作為訓練框架，程序語言為python 3.5。

2.1 數據集

人群計數任務對數據集的要求一般包括兩個方面：不同疏密程度的人群圖像以及相對應的人頭中心點像素坐標的標簽文件。目前人群計數研究所使用的主流開源數據集有Shanghaitech、WorldExpo’10、UCF_CC_50、UCSD 等，本文實驗結果主要基于Shanghaitech、UCF_CC_50 數據集，其詳細信息如表1所示。

表1 Shanghaitech和UCF_CC_50數據集信息Tab.1 Information of Shanghaitech and UCF_CC_50 datasets

1）Shanghaitech數據集。

Shanghaitech 數據集是由Zhang 等［5］提出的具有多尺度疏密人群分布特點的大型數據集，該數據集包含兩部分：Part_A和Part_B。Part_A 是從互聯網上隨機爬取的482 張不同場景高密度人群圖像，包含300 張訓練圖像和182 張測試圖像；Part_B 是從上海市繁華區域采集的716 張中小密度人群圖像，包含400 張訓練圖像和316 張測試圖像，是目前使用最多的人群計數數據集。

2）UCF_CC_50數據集。

UCF_CC_50共有50張人群圖像，每張圖像的人群總數在94到4 543之間，密度分布差異較大。該數據集數據量較少且人群密度較大，對網絡計數準確率挑戰極大。

考慮到人群圖像的樣本量過少，容易導致過擬合現象，因此在數據預處理階段進行數據增強，主要通過裁剪操作以擴充樣本，最后將所有圖像按照8∶1∶1 隨機劃分成訓練集、驗證集和測試集。

2.2 評價指標

網絡評價指標采用平均絕對誤差（Mean Absolute Error，MAE）與均方誤差（Mean Square Error，MSE），MAE 反映了網絡的預測精度，MSE反映了網絡的泛化能力。計算公式如下：

其中：N為測試集的人群總數，ni為第i張測試圖像的真實人群總數，ni為第i張測試圖像的網絡預測人群總數。

2.3 LMCNN計數性能實例驗證

將該模型與文獻［5，11，14］算法進行對比，其中文獻［5］注意到CNN 中卷積核尺寸固定，同一卷積核卷積運算的感受野大小不變，未考慮透視畸變對于人群密度分布的影響，率先提出MCNN 結構，采用多列卷積與不同尺寸卷積核學習密度分布特征，是人群計數領域經典模型；文獻［11］在此基礎上進一步采用按原子速率排序的原子卷積結構、金字塔結構的無規則卷積塊跳過連接方式和權值與功能共享，在保證分辨率的同時擴大感知范圍以集成多尺度特征；文獻［14］基于優化Inception-ResNet-A 模塊和Gradient Boosting 集成學習方法設計端到端的網絡結構，采用較大的感受野以融合多個尺度的特征，是目前評價指標較好的模型。

2.3.1 基于Shanghaitech數據集的實驗結果

在數據預處理階段，如圖5、6 中（a）所示，將圖像隨機裁剪相同大小的4份，同時保證這4份子圖相互疊加能夠覆蓋整張圖像。在Shanghaitech數據集上，對Part_A與Part_B分別進行了訓練與測試，不同算法的實驗結果如表2所示。

表2 不同算法在Shanghaitech數據集上的MAE和MSE對比Tab.2 Comparison of MAE and MSE for different algorithms on Shanghaitech dataset

由表2 來看，LMCNN 模型在稠密度較高的子集Part_A 上表現優于其他方法，它的MAE 與MSE與經典算法MCNN 相比顯著減少，相比基于CNN 結構的ACSPNet 算法分別減小了18.7%和22.3%，相比目前較好的算法GB-MSCNet 分別減小了7.6%和10.7%，說明LAFPNet充分學習到了高密度區域特征；但在如圖6（a）所示稠密度較低的子集Part_B 中，LMCNN的MAE 表現略遜于GB-MSCNet，Part_B 為低密度圖像，背景主要為街道且布局雜亂，LAFPNet 過多提取背景特征，導致MAE 稍大。圖5 與圖6 分別展示了模型在數據集Part_A 與Part_B 隨機圖像的真實密度圖與預測密度圖的對比，充分說明網絡預測密度圖較為準確地反映了圖像真實密度。

圖5 Part_A測試圖像的真實密度圖與預測密度圖對比Fig.5 Comparison of real density map and predicted density map of Part_A test picture

圖6 Part_B測試圖像的真實密度圖與預測密度圖對比Fig.6 Comparison of real density map and predicted density map of Part_B test picture

2.3.2 基于UCF_CC_50數據集的實驗結果

在數據預處理階段，將每張圖像都隨機裁剪成相同大小的16 份，并保證這16 份子圖相加能夠覆蓋整張圖像。在UCF_CC_50數據集上進行了訓練與測試，結果如表3所示。

表3 不同算法在UCF_CC_50數據集上的MAE和MSE對比Tab.3 Comparison of MAE and MSE for different algorithms on UCF_CC_50 dataset

由表3 來看，LMCNN 模型在UCF_CC_50 數據集上的MAE 和MSE 比目前較好的算法GB-MSCNet 分別減小了10.1%和18.8%，模型性能顯著提高，比基于CNN 結構的ACSPNet算法分別減小了20.3%和22.6%。該數據集人群密度較大，圖像中由于視角失真引起的密度分布變化規律更為明顯，充分發揮了LAFPNet 對局部高密度序列特征關聯性的感知能力，充分說明LSTM 單元處理具有明顯層次變化信息的圖像的學習能力要比僅基于多尺度CNN 的效果更好。圖7中展示了在UCF_CC_50 數據集上訓練損失值的變化曲線，可以看出，大約在前1 000次的迭代中，損失震蕩較為強烈，但總體趨勢在降低，隨著迭代輪數的增加，損失值最終收斂到了較低水平。對于回歸任務來說，引進LSTM 單元能有效提高模型準確率。

圖7 UCF_CC_50數據集上的損失函數曲線Fig.7 Loss function curve on UCF_CC_50 dataset

3 結語

本文提出了融合全局特征感知網絡與局部關聯性特征感知網絡的LMCNN人群計數模型，該模型以全局感知特征網絡為主，基于多模融合策略引入LSTM 單元，利用LSTM 單元對序列的關聯性特征具有強感知的特點，通過對空間維度特征與單圖像內序列特征的充分融合，以減小由透視畸變和視角失真引起的人群計數誤差，較為準確地預測密集區域人數。在Shanghaitech、UCF_CC_50 數據集上進行實驗，結果表明LMCNN 網絡在UCF_CC_50 數據集上對于高密度人群預測準確率均優于MCNN、ACSPNet 和GB-MSCNet，說明循環感知單元對于透視畸變、視角失真圖像序列特征學習的充分性。但是當人群密度稀疏、背景雜亂時，LMCNN 模型預測能力較弱，主要由于人群個體尺寸變化規律的特征表示程度較小，導致循環感知特征時過多提取背景特征，空間維度上循環感知局部特征的學習能力無法得到很好的提升。在下一步工作中，將基于尺度和視角變化特征，進一步提高該模型在低密度人群圖像中計數準確性。