基于深度神經網絡的人群計數方法＊

郭利欣，李建軍

(內蒙古科技大學信息工程學院，內蒙古 包頭 014017)

0 引言

人群密度估計，在公共安全、視頻監控、城市規劃和社會管理等諸多領域具有較高的應用價值。人群計數方法能夠很好的實現實時人群數量統計的效果，從而有效的減少人群聚集，這對2020年以來爆發的新冠疫情的防控具有關鍵作用。Liu 等人[1]提出了可感知尺度上下文的CAN網絡，該網絡用于稀疏和較復雜的場景時，因背景干擾、特征提取能力不足導致特征融合不充分，特征空間信息丟失，會出現錯誤的預測。

針對上述問題，本文在CAN 的基礎上提出了上下文語義卷積塊注意力機制網絡(Context-Aware Convolutional Block Attention Network，CA-CBAN)。該網絡由前端網絡也即骨架網絡、上下文語義模塊（Context-Aware Module，CAM），卷積塊注意力模塊（Convolutional Block Attention Module，CBAM）以及后端網絡四部分組成。該網絡在沒有增加過多計算量的情況下，實現了端到端的人群計數且得到的效果較好。且在ShanghaiTech數據集、UCF-CC_50數據集和JHU-CROWD++數據集上進行了實驗，實驗結果表明，所提方法的性能相較于CAN[1]和其他的方法取得了較好的準確性和魯棒性。

1 相關工作

人群計數作為計算機視覺領域中公認的難題，一直以來是研究人員面臨的一個巨大挑戰。最近的方法可分為基于回歸、基于密度估計和基于CNN的方法。

1.1 基于回歸的方法

為了克服遮擋和背景干擾的問題，研究人員試圖通過回歸的方法來計數，他們在回歸中學習從局部圖像塊中提取的特征與計數之間的映射關系[2-3]，這些方法主要包括兩部分：底層特征提取和回歸建模。使用類似的方法，Idrees 等人融合了來自多個來源的計數，如頭部檢測、紋理元素和頻域分析。

1.2 基于密度估計的方法

雖然基于回歸的方法成功地解決了遮擋和背景干擾的問題，但當他們在全局數量上回歸時，忽略了重要的空間信息且在局部區域的預測結果不準確。針對這個問題，Lempitsky 等人[4]引入了一種新的方法，利用回歸學習局部斑塊特征和相應對象密度映射之間的線性映射。由于到線性映射很難學習,Pham等人[5]提出使用隨機森林框架學習局部斑塊特征和密度圖之間的非線性映射。

1.3 基于CNN的方法

基于CNN 的方法在分類和識別任務中的成功啟發了研究人員將其用于人群計數和密度估計[6-7]。Shang 等人[8]提出了一種使用CNN 的端到端估計方法，通過對輸入圖像同時學習局部和全局計數。針對人群圖像中普遍存在的嚴重遮擋問題，Zhang 等人[9]提出了一種多列卷積神經網絡（MCNN）結構，利用多尺寸濾波器來提取具有不同大小接受域的特征。與上述的多列設計不同，CSRNet[10]采用單列設計，前端網絡采用剔除了全連接層的VGG16 的前13 層，后端網絡采用空洞卷積在不丟失分辨率的同時擴大了感受野。但是由于特征在提取過程中丟失了太多細節信息導致在人群較密集、人頭遮擋嚴重的場景下該方法表現出的效果不佳。Zhang 等人[11]提出了一種關系注意力網絡（RANet），該方法利用局部注意力和全局注意力獲取像素間的相互依賴關系，從而，得到更多表示特征的信息。多任務學習的方法也被應用到計數任務中。

2 CA-CBAN方法

2.1 密度圖的生成

針對人群計數任務，使用點標注來標注頭部是人群估計中較為普遍的標注方式。文獻[9]方法中生成密度圖的方法，在含有N個人頭標記點的圖像x中，第i個坐標位置為xi的人頭標記點表示為：

其中，δ(x)函數表示為人頭位置的沖激函數，表示二維圖像中的坐標，N表示人頭總標記數。人群密度圖F(x)可由H(x)與標準2D高斯核函數Gσ卷積獲得，F(x)定義如下：

其中，σi(x)=βdl，其中dl表示坐標xi與其最近的K個人頭之間的平均距離，且經過大量實驗證明，β=0.3 時生成的密度圖質量最好。

2.2 網絡結構

針對當前人群計數存在的問題，本文提出了一種上下文語義卷積塊注意力機制網絡(Context-Aware Convolutional Block Attention Network，CA-CBAN)。如圖1 所示，由四部分構成，分別為前端網絡也即圖1中的Backbone、CAM（Context-Aware Module）模塊、CBAM（Convolutional Block Attention Module）模塊和后端網絡Back-end。

圖1 上下文語義卷積塊注意力網絡結構圖

2.2.1 Backbone

主干網絡是模型中最開始的若干層網絡，是用來提取輸入圖像中的目標的基本特征。主干網絡的有效性和復雜性在很大程度上影響著人群計數結果的好壞。

CA-CBAN 的主干網絡使用的是VGG16[12]的剔除了全連接層的前13層卷積層和池化層。

2.2.2 CAM模塊

CAN[1]網絡在人群計數任務上取得了較好的效果，本文的CAM 模塊采用文獻[1]提出的網絡架構，輸入的圖像先經過前端網絡也即VGG 網絡進行初級特征提取，輸出512通道的特征圖，將特征圖分為四路分別用平均池化分成1 × 1、2 × 2、3 × 3、6 × 66 × 6 四種分塊方式。VGG 網絡的限制是在整個圖像上用相同尺度的卷積核，導致感受野都是一樣的，基于此問題，CAN 網絡通過空間金字塔池化(Spatial Pyramid Pooling)[13]運算來計算尺度感知特征，如下式所示：

其中，PavePave代表平均池化，Fj代表卷積操作，Ubi代表上采樣。得到的尺度語義特征由于是先下采樣后再上采樣得到，因此相比于輸入的特征圖丟失了細節信息，故用式⑷來獲取這些丟失了的細節信息：

將cj作為注意力去過濾sj得到weight map：

2.2.3 CBAM模塊

如圖1 所示，CBAM[14]包含二個獨立的子模塊：通道注意力模塊（Channel Attention Module）和空間注意力模塊（Spatial Attention Module），分別進行通道與空間上的注意力特征融合，改進的網絡結構作為輕量級網絡不僅能夠節約參數和計算力，還可以有效地提升網絡的性能且可以與CNN 模型一起進行端到端的訓練。通道注意力機制是將從CAM 模塊得到的特征圖在空間維度上進行壓縮。在空間維度上進行壓縮時，不僅考慮到平均池化，還考慮到最大池化。平均池化和最大池化可以用來聚合特征映射的空間信息，送到一個共享網絡，壓縮輸入特征圖的空間維度，逐元素求和合并，最終生成通道注意力圖。就單獨的一張圖像來說，通道注意力是關注圖像中哪些內容是有重要信息，平均池化對特征圖上的每一個像素點都有反饋，而最大池化在進行梯度反向傳播計算時只有特征圖中響應最大的地方有梯度的反饋。通道注意力機制表示為：

其中，σ表示激活函數，將特征圖先分別傳入最大池化層和平均池化層，然后送入共享網絡，最后通過sigmoid激活函數輸出通道特征圖。

空間注意力機制如圖1中Spatial Attention Module所示，是對傳入的前面通過通道注意力機制得到的通道注意力圖的通道進行壓縮，可以表示為：

在通道維度上分別進行平均池化和最大池化，將特征維度由H×WH×W轉變為1× 11× 1，接著經過卷積核大小為7 × 77 × 7 的卷積和Relu 激活函數降低特征圖的維度。最大池化操作的作用是在通道上提取最大值；平均池化操作的作用是在通道上提取平均值，最后將經過Sigmoid 激活函數標準化處理后的特征圖與通道注意力輸出的特征圖合并，從而在空間和通道兩個維度完成對特征圖的標定。

3 實驗結果與分析

本文在ShanghaiTech 數據集、UCF_CC_50 數據集、JHU_CROWD++數據集上進行了實驗，并對結果進行分析。本文算法網絡采用初始訓練學習率為10?510?5的隨機梯度下降算法（Stochastic gradient descent，SGD），迭代次數為2000。優化器使用Adam，此外，隨機打亂每次樣本的輸入順序。并且采用歐幾里得損失作為訓練損失，定義如下：

其中，N表示訓練批量的大小，Z(Xi;θ)表示網絡生成的預測估計密度圖為真實密度圖，Xi表示第i張的輸入圖像，θ為可學習的參數。

3.1 評價指標

在人群計數問題中，計數誤差主要采用兩個指標進行評估，即平均絕對誤差（Mean Absolute Error，MAE）和均方誤差（MeanSquareError，MSE）。其定義為：

其中，N為測試圖像的數量，Ci為第i張圖像中的預測人數為第i張圖像中的真實人數，由預測的密度圖和標注的真實密度圖求和得到。

3.2 實驗結果

3.2.1 在ShanghaiTech數據集中的實驗與分析

ShanghaiTech 數據集是Zhang 等人引入的一個大規模人群統計數據集[15]。該數據集由1198 張圖像構成，有330165 個已標注的人頭信息。數據集分為Part_A 和Part_B 兩部分。ShanghaiTech 數據集上單幅圖像實驗結果如圖2 所示，多算法性能的指標對比如表1 所示。由在ShanghaiTech 數據集中的實驗結果可知，在Part_A 中本文提出的算法的MAE 相比于表1中的算法達到了最好的效果，與基于改進的文獻[1]中的算法MAE下降了1.8；而在Part_B中，與對比算法中的MAE 與MSE 都達到了最好的準確性與魯棒性。證明了該算法的有效性。相比于文獻[1]，MAE下降了0.1，MSE 下降了0.4，這是由于Part_A 中大多都是人群較密集的場景，而Part_B 中大多都是人群密度較稀疏的場景，從而導致受背景干擾的因素，精度有所降低。

表1 ShanghaiTech數據集中算法性能對比

圖2 ShanghaiTech數據集中的實驗結果

3.2.2 在UCF_CC_50數據集中的實驗與分析

UCF_CC_50 數據集包含50 張不同視角和分辨率的圖像，整個數據集有63075 個個體標注信息。由于該數據集的人群密度十分密集，所帶來的挑戰也是巨大的。UCF_CC_50 數據集單幅圖像實驗結果如圖3所示，多算法性能指標如表2 所示。由在UCF_CC_50數據集中的實驗結果結合表2與眾多算法性能的對比中可知，本文所提出的算法在目前眾多主流算法中效果較顯著，MAE達到212.1的精度，與基于改進的文獻[1]中算法對比MAE 下降了0.1，證明本文算法有較高的準確性。

表2 UCF_CC_50數據集中算法性能對比

圖3 UCF_CC_50 數據集中的實驗結果

3.2.3 在JHU_CROWD++數據集中的實驗與分析

JHU-CROWD++數據集是霍普金斯大學發布的大規模人群計數數據集，共4372張圖像，平均分辨率為1430×910，共計151萬個注釋。與現有的數據集相比，該數據集收集了不同場景/環境條件下的圖像，提高了數據集的多樣性。此外，數據集提供了豐富的注釋集如點、近似邊界框、模糊級別等。

JHU-CROWD++數據集單幅圖像實驗結果如圖4所示，多算法性能指標如表3 所示。由該實驗結果可知，本文算法模型在JHU-CROWD++數據集中取得了較好的準確性與魯棒性，與文獻[1]算法相比，MAE下降了18.9，MSE 下降了23.9，且與表3 中的對比算法相比，MAE與MSE都達到了最優。在JHU-CROWD++這個挑戰性較大的數據集上的實驗結果數據表明了本文所提網絡模型優秀的預測效果。

表3 JHU_CROWD++數據集中算法性能對比

圖4 JHU_CROWD++數據集中的實驗結果

3.2.4 實驗結果對比

為了驗證CBAM 模塊在網絡中的有效性，將實驗結果進行對比，對比了三種分別為主干網為VGG16模型，VGG16+CAM 模型，VGG16+CAM+CBAM 模型，實驗對比結果如表4所示，可以發現雙通道注意力機制模塊可以有效的提高人群數量預測的準確性與穩定性。在三個主流的數據集中效果都有不同程度的提升，尤其在JHU-CROWD++數據集中提升效果最為顯著。

表4 實驗結果對比

4 總結

為了解決人群計數問題中的難點，本文在CAN 網絡的基礎上提出了一種上下文語義卷積塊注意力機制網絡(Context-Aware Convolutional Block Attention Network，CA-CBAN)。CBAM 作為一個輕量級的模塊，包含兩個獨立的子模塊，在空間和通道兩個維度上產生注意力特征圖信息，在保證節約參數和計算力的同時提升了網絡性能。在多個主流數據集上的實驗結果表明，本文方法比許多方法都有效。可應用于如地鐵站、機場、火車站等人群聚集、人群密度較大的擁擠場景中，從而進行實時人群密度檢測與預警；還可應用到異常事件監測，景區游客統計等其他實際項目中。因為本文只是針對人群的數量和密度進行分析，沒有加入人群定位，所以接下來的研究會集中在人群密度估計與人群定位兩個方面結合來展開。