基于多尺度卷積神經網絡的人群聚集異常預測*

羅凡波，王 平，徐桂菲，雷勇軍，范 烊

(1.西華大學電氣與電子信息學院，四川 成都 610039；2.國網四川省電力公司達州供電公司，四川 達州 635000；3.國網四川省電力公司資陽供電公司，四川 資陽 641300)

1 引言

當前，隨著社會經濟的發展，有大規模和超大規模人口的城市越來越多，這使得城市公共安全問題變得越發重要。如上海外灘與麥加朝圣發生的踩踏事件都是由于聚集行為導致人群密度過大最終造成嚴重的群體安全事故[1]，大城市中的地鐵、車站、醫院等公共區域人口密度較大，故保障其正常秩序有重大意義。在一些特定場所如城市電力變壓器所在地，變壓器出現問題時往往會吸引很多行人聚集圍觀。上述人群聚集行為易對人群的人身安全造成嚴重威脅，所以需要做到及時發現，及時疏散。

目前針對人群聚集檢測的研究主要從以下兩方面進行。一方面是通過圖像處理來進行聚集異常的檢測，主要是通過人數統計與人群密度估計來實現。桑海峰等[2]提出使用分布熵與運動速度來進行檢測；盧麗等[3]提出改進的社會力模型，通過軌跡聚類與人群相互作用力建立人群行為模型進行聚集異常的檢測；Zhang等[4]引入社會無序和擁擠屬性的概念，通過在線融合策略構建了基于社會力量的群體互動模型實現聚集異常檢測。上述通過圖像處理的方法都存在一些缺陷，如在對人群密度進行估計時，由于行人遮擋，會導致較大誤差，此外聚集行為已經發生后才能實現檢測，時效性較差。另一方面是通過分析城市移動基站手機接入量、手機移動軌跡數據與試驗觀測統計分析建立計算模型，設立聚集異常閾值進行聚集異常判斷[5]。郭玉彬等[6]提出利用分布式系統計算無線網絡連接人次，通過建立中心點進行R-數索引，利用密度聚類進行聚集行為檢測。通過統計模型與移動基站手機接入量來進行分析的方法，由于基站輻射區域較大，所以并不準確，且涉及一定的安全問題，故也有一定的局限性。

隨著近年卷積神經網絡CNN[7]在圖像處理領域取得的巨大進步，各種各樣的神經網絡模型相繼被提出[8]。文獻[9]利用卷積神經網絡進行車牌圖像超分辨率識別；文獻[10]使用快速R-CNN的選擇性搜索方法和目標檢測模型對車輛進行檢測，目前已有的卷積神經網絡能對二維圖像進行有效的特征提取。本文認為應將人群聚集異常檢測視為一個動態過程，首先通過改進的多尺度卷積神經網絡MCNN進行人群計數，獲取人群數量與坐標信息，進而計算人群密度、人群距離勢能與人群分布熵這3種人群運動狀態特征值，將這3種特征值送入本文提出的PSO-ELM(Particle Swarm Optimization-Extreme Learning Machine)模型進行訓練預測，得到人群運動狀態分類模型，最終實現聚集異常的預測。針對現有方法都是對聚集行為發生后實現的檢測，本文模型能有效實現人群聚集異常的預測。本文模型的創新性主要體現在將人群聚集異常行為識別轉變為動態的識別過程，通過對MCNN預測的人群密度圖處理，獲取較為準確的行人坐標，對人群密度、人群分布熵與距離勢能進行精確的計算，與傳統方法相比極大地減少了計算量且結果更為準確。

2 MCNN人群計數模型

為方便后續說明，本文人群聚集異常預測模型的流程圖如圖1所示，其中n為監控視頻中圖像幀的編號。目前人群計數方法大致分為3類[11]：(1)基于行人檢測計數，通過檢測視頻中的每一個行人，進而得到人群計數結果。(2)基于聚類進行計數，一般使用KLT(Kanada-Lucas-Tomasi-Tracking)跟蹤器和聚類的方法，通過軌跡聚類進行人數估計。這2類方法都只適用于稀疏場景中的人數統計，在人群密度較大的場景中計數相當困難。(3)回歸計數方法。有大量學者對回歸計數方法進行了深入研究，高斯模型回歸是其中一個典型代表，但傳統的回歸計數在特征描述和模型建立方面仍存在一些缺陷。近年來，由于深度學習在圖像處理上取得的巨大進步，許多學者通過卷積神經網絡成功實現了圖像有效特征的自動提取，本文所使用的MCNN能較好地解決人群密度不均、行人頭部尺度不同等問題。

Figure 1 Flow chart of PSO-ELM model圖1 PSO-ELM 模型流程圖

MCNN[12]的優勢在于其使用了3個卷積神經網絡，不同大小的感受野能更好地應對監控圖像透視[13]或圖像分辨率造成的人群頭部像素塊大小差別的影響；另外，完全連接層被1*1的濾波器卷積層代替，這使得輸入圖像大小可以是任意大小，避免了圖像信息的損失，網絡的輸出是人群密度估計圖，從中可以得到人群總數。

2.1 MCNN密度圖的獲取

獲取密度圖與直接獲取總人數相比具有更多優勢，密度圖反映了人群在圖像中的空間分布，人群分布信息對人群行為分析有一定助益，因為密度越大的區域，人群越有可能發生異常行為。如本文模型檢測聚集異常，就可以將人群密度大的區域作為潛在異常區域，另外，用人群密度圖訓練MCNN時，能讓濾波器適應不同大小的行人頭部，讓它更適應于實際中的透視問題，提高最終人群計數的準確性。

使用標注行人頭部進行密度圖繪制進而訓練網絡并最終進行人群計數的最主要原因是，在人群密度較大的場景中，行人頭部不易被遮擋，且容易被檢測到，如果對人體軀干進行檢測，由于軀干容易被遮擋，會導致識別效果極差，所以對于密集場景中的人群計數采用標記行人頭部的方式。

本文使用幾何自適應高斯核完成人群密度圖參數的求解，并繪制出人群密度圖。下面介紹密度圖的繪制過程。若一幀圖像中有N個行人頭部，那么N個行人頭部圖像標簽用式(1)進行表示：

(1)

其中，x表示像素在圖像中的位置；xi表示人頭中心坐標；δ(x-xi)表示人頭位置；N是圖像幀中人頭總數。

高斯核函數為Gδ，進而獲得密度聚集函數F(x)如式(2)所示：

(2)

(3)

(4)

2.2 改進的MCNN網絡結構

MCNN的多列網絡主要是3列卷積神經網絡，每一列并行子網絡深度相同，每列濾波器的大小不同。本文針對行人監控場景對3列卷積核作了相應改進，其尺寸大小分為L列大尺度卷積核為(11*11,9*9,7*7,7*7,7*7)；M列中等尺度卷積核為(9*9,7*7,5*5,5*5,5*5)；S列小尺度卷積核為(7*7,5*5,3*3,3*3,3*3)，分別用于學習攝像頭與人頭距離較大、適中、較小的圖像的特征，這使得每一列子網絡具有不同大小的感受野，能讓網絡更好地識別不同尺寸的行人頭部特征，較好地處理監控視頻中存在的透視問題。最后將3列子網絡的特征圖使用1*1卷積核做線性加權得到最終的人群密度圖。具體的網絡結構圖如圖2所示。從圖2中可以看出，MCNN的下采樣系數是4，網絡生成的人群密度圖是原圖尺寸的1/4，這使得制作的訓練數據標簽密度圖尺寸為原圖的1/4，除此之外，幾何自適應高斯核也應該被限制在25個像素內。本文的網絡結構主要修改了卷積核大小與網絡深度，實驗結果表明這些改進對行人檢測很有幫助。

本文使用歐氏距離進行網絡預測出的人群密度圖與真實人群密度圖的差值測量，損失函數如式(5)所示：

(5)

其中，NI是訓練圖像的數目；V(Xi,θ)是網絡預測出的人群密度圖；Xi是輸入圖像；θ是待優化的網絡參數；Vi表示對應Xi的真實人群密度圖。

模型評價指標使用平均絕對誤差MAE與均方誤差MSE，定義如式(6)和式(7)所示：

(6)

(7)

Figure 2 Structure of improved multi-scale convolutional neural network圖2 改進的多尺度卷積神經網絡結構圖

2.3 MCNN網絡訓練參數

MCNN網絡的具體訓練參數如表1所示。訓練策略一共有2 000個epoch,每一個epoch中會再有2 000次子迭代。圖3是網絡訓練過程的MAE和MSE變化曲線。

Table 1 Training parameters表1 各項訓練參數

Figure 3 Change curves of MAE and MSE during training圖3 訓練過程MAE與MSE變化曲線

從圖3中可以看出，模型迭代至1 600次左右趨于穩定，MAE穩定在11左右，MSE穩定在26左右。

3 3種人群狀態特征值計算

3種人群狀態特征值分別為人群密度值、人群距離勢能與人群分布熵。通過MCNN網絡獲取行人頭部的預測位置，其與真實頭部坐標有稍許偏差，但對預測結果不會有影響。通過獲取的行人頭部坐標，進行人群距離勢能與人群分布熵的計算，人群密度值通過獲取的人數進行計算。

3.1 人群距離勢能計算

勢能[14]是一種系統內部能量，勢能是狀態量，又被稱為位能，可以轉換為其它形式的能量，是相互作用的物體所共有的。物體的勢能與初始位形(即參考位置)有很大關系。本文利用上述思想，將監控區域視為一個系統，檢測到的行人作為系統內的物體，計算出每個行人的位置(即坐標)進而計算人與人之間的勢能，即距離勢能。

人群距離勢能的計算主要是通過計算個體間的歐氏距離來確定。通過MCNN獲得的每個行人個體都只有一個坐標，相較于傳統算法通過多個特征角點計算歐氏距離，計算量少了很多。人群距離勢能通過式(8)進行計算：

(8)

其中，Cij表示2個坐標之間的歐氏距離；φ是修正值，取常數；N為視頻幀中所有行人的數目。

3.2 人群分布熵計算

熵這一概念是由克勞修斯所提出的，其在希臘語中的意義表示一個系統內在性質的改變。隨后玻爾茲曼提出熵的統計物理學解釋，證明了系統的宏觀物理性質可以視為所有微觀狀態的等概率統計平均值，可以將熵看作一個系統的混亂程度的度量值。近代以來，香農將統計物理中熵的概念引入信道通信中，開創信息論學科并提出了信息熵[15]。信息熵體現了隨機事件的不確定性，它對信息的多少進行了度量。本文通過信息熵來對人群分布信息進行描述，若人群分布較離散，則分布熵較大，若人群發生聚集，則分布熵較小。先將獲取的行人坐標進行歸一化處理為[-1,1]，再將[-1,1]劃分為20個連續的小區間ri,i=1,2,…,20，再進行分布熵的計算。數學表達式如式(9)所示：

(9)

(10)

其中,S(k)是第k幀的分布熵，pi表示樣本在ri區間出現的概率，count(ri)是坐標點歸一化后在ri區間的個數。

3.3 人群密度值計算

計算人群密度值時，準確地獲取人群的人數相當重要。傳統方法一般是使用混合高斯模型提取感興趣區域的二值前景像素，再進行角點檢測獲取特征角點(如使用H-S、FAST等角點檢測算法)，通過特征角點計算角點密度，最后使用函數對每一幀圖像中的人數進行擬合[16]；但由于人與人之間遮擋的問題，導致傳統方法人數統計不準確，在耗時方面，由于有前景檢測、前景像素歸一化、角點檢測和函數擬合等多個步驟，過程較為繁瑣，耗時較多。MCNN就不存在這些問題，對每幀圖像不但能輸出總人數，還能輸出人群密度圖，這使得可對人群密度較大的區域進行特別關注，即使在有遮擋的情況下也能較為準確地統計人數。具體密度計算通過式(11)進行：

(11)

其中，density(i)是第i幀圖像中的人群密度，λ是圖像總人數的修正因子，Ntotal(i)是第i幀圖像中的總人數，Sarea(i)是第i幀圖像面積，為方便計算，本文Sarea(i)取1。

通過計算每一幀圖像的人群密度，可獲得人群密度變化曲線，通過曲線能獲得一些人群運動狀態的信息。

4 PSO-ELM在人群聚集預測中的應用

極限學習機ELM[17]是由Huang等提出的求解單隱含層神經網絡的算法。ELM最顯著的優點是求解單隱含層前饋神經網絡時，在保證學習精度的前提下其學習速度比傳統方法快得多；在算法中，輸入層與隱含層的連接權值與隱含層神經元閾值是使用rand函數生成，訓練過程中無需人為手動調整，只需進行隱含層神經元個數設置就能獲得唯一最優解。本文將人群聚集異常這一行為視為一個動態的過程，即有正常行走、發生聚集異常趨勢、聚集異常形成3種狀態，將前面得到的3種人群運動狀態特征數據送入PSO-ELM進行模型訓練進而實現預測，判斷當前人群的運動狀態，預測的結果也是3種：正常行走、發生聚集異常趨勢、聚集異常形成。

4.1 PSO算法原理

粒子群算法PSO[18]思想來源于鳥群的捕食行為，鳥群中的個體用無質量的粒子模擬，粒子具有速度V和位置X2個屬性，速度代表搜索參數的快慢，位置代表搜索參數移動的方向。粒子在規定的區間內單獨進行最優解搜尋，并將獲得的最優解記為當前個體極值Pbest，將其分享給其它粒子，找到最優個體極值作為當前整個粒子群體全局最優解Gbest；所有粒子與全局最優解進行比較，進而調整自己的V和X。使用PSO優化ELM[19]后能得到更好的分類效果。本文使用的速度V的初始化范圍為(-1,1)；位置X的初始化為(-1,1)；粒子群個數為250。

PSO算法的一般迭代方程[18]為：

Vi,G+1=w×Vi,G+c1×rand()×(Pi,G-Xi,G)+

c2×rand()×(Pg,G-Xi,G)

(12)

Xi,G+1=Xi,G+Vi,G+1

(13)

wi,G+1=(w1-w2)(Gi-Pg,G)/Gi+w2

(14)

其中，G為PSO迭代的代數；Pi,G為第i個粒子在前G次迭代中尋找到的最優適應值的位置信息；Vi,G為第i個粒子在前G代迭代中的速度；Xi,G為第i個粒子在前G代迭代中的位置；Gi為第i個粒子的最大迭代次數；Pg,G為在前G代迭代中種群找到的最優適應值的位置信息；w為慣性權重；c1和c2為局部和全局學習因子；w1為初始慣性值，w2為最大迭代次數的慣性值。

4.2 ELM算法原理

(1)訓練集：給定Q個不同樣本(xi,ti)。其中xi=[xi1,xi2,…,xin]T,為上述特征組合；ti為一個標簽，表示目標屬于哪一類人群。

具體應用到本文人群聚集異常預測中按下列步驟進行：

(1)針對測試集，本文模型隱含層神經元個數設置為300，對ELM分類器使用PSO進行連接權值與神經元閾值尋優；

(2)本文激活函數選取Sigmoid函數，再計算隱含層輸出矩陣H;

相關實驗表明[19]，在激活函數選取中，不僅可使用非線性激活函數分類非線性樣本，用線性激活函數分類非線性樣本，也能獲得較好的效果。根據多次實驗結果可知，本文使用Sigmoid函數作為激活函數能獲得較好的分類效果，隱含層神經元個數根據樣本集的變化而做出改變能獲得較好的分類精度。

本文使用如式(15)和式(16)所示的平均絕對誤差MAE與平均絕對百分比誤差MAPE對PSO-ELM分類模型進行評價：

(15)

(16)

5 實驗結果分析

本文模型是在普通PC機(CPU為8700K，3.70 GHz，8.00 GB內存，顯卡為GTX1080，8 GB)上搭建的，MCNN是在Anaconda3+CUDA8.0+cudnn8.0.61+PyTorch1.0.1+Python3.7.3環境中進行搭建并訓練測試的，訓練數據集與人群運動狀態特征值的計算部分是在Matlab 2014a環境中完成的;數據集方面，對人群中行人的計數使用ShanghaiTech_Crowd_Counting_Dataset中的part_B_final數據集作為訓練集，測試數據集為Pets-2009中人群聚集異常數據集與自己拍攝制作的人群聚集異常數據集。

5.1 人群密度圖與人群計數

MCNN預測的人群密度圖與人群數量結果如圖4所示，圖4中每行的子圖從左至右分別是監控圖像、真實人群密度圖、網絡預測人群密度圖。

Figure 4 Real density map and predicted density map of different stages of crowd massing abnormity圖4 人群聚集異常各階段真實密度圖與預測密度圖

圖4a是在part_B_final數據集中的一幅圖像，該圖像是一幅人群正常行走的圖像，在圖像中，靠近攝像頭位置的行人較為分散，故密度較低，遠離攝像頭的位置行人密度較大， MCNN網絡預測的人群密度圖與真實密度圖較為接近，且網絡預測的人數較傳統方法有了極大的提高。圖4a中真實人數為217人，預測值為220.24，與真實值相比僅僅相差3人。

圖4b～圖4d上面一行為Pets-2009數據集中圖像，下面一行為自建數據集中圖像。圖4b第1行仿真圖是Pets-2009中聚集異常視頻片段中的第84幀，屬于人群聚集異常的前期從圖4b的預測人群密度圖可以明顯看出，此時人群分布較散，人群密度較小，與真實人群密度圖反映的密度分布一致，該幀圖像中真實人數為35人，預測出的人數為34.43人，僅相差1人。第2行是自建數據集，真實人數為16人，預測人數為15.78人，預測密度圖也能真實反映人群密度分布。

圖4c反映的是人群聚集的中后期，從密度圖可以看出此時人群分布已經較為集中，Pets-2009圖像真實人數為35人，預測出的人數為34.13，與真實值相差1人；自建數據集真實人數為19人，預測人數為18.92人。

圖4d是人群聚集行為已經形成的情況，通過預測的人群密度圖可以清楚地看到聚集中心區域人群密度較大，且與真實人群密度圖保持一致，Pets-2009數據集圖像中真實人數為40人，預測結果為38.35人；自建數據集圖像中真實人數為20人，預測人數為19.68人。

圖5所示為Pets-2009數據集中人群從正常行走到聚集異常形成過程中的人群距離勢能的變化曲線。最開始由于場景中沒有行人，行人從四周進入場景故其距離勢能比較大，隨著從四周進入的行人都往中心區域靠攏，人群距離勢能開始減小；到第100幀左右，又有一定數量人群進入監控畫面，隨著人群進入，人群距離勢能又開始變大；到124幀左右時，沒有新的行人進入監控畫面，此時人群距離勢能開始減小，直到最后行人聚集完成，人群距離勢能保持在一個較小的值。

Figure 5 Potential energy curve of crowd distance圖5 人群距離勢能變化曲線

圖6所示為Pets-2009數據集中人群聚集過程中，人群分布熵的變化曲線。開始由于行人剛從四周進入監控畫面，故人群分布熵值較大，代表人群此時較為分散，隨著人群不斷向中心區域靠攏，分布熵慢慢減小，到100幀左右隨著新的人群進入，分布熵值開始增大，到124幀后沒有新的人群進入，分布熵開始減小，一直到人群聚集完成。

Figure 6 Change curve of population distribution entropy 圖6 人群分布熵變化曲線

圖7所示為Pets-2009數據集中人群聚集過程中人群密度變化的情況。剛開始監控畫面中只有很少的行人進入，隨著時間的推移，進入監控畫面的行人越來越多，故人群密度一直變大；在52幀到61幀人群密度較平穩，因為這段時間沒有人進入監控區域；61幀后隨著新的行人進入，密度值又開始增大，直到124幀后沒有人再進入監控區域，人群密度值趨于穩定。

Figure 7 Change curve of population density 圖7 人群密度變化曲線

5.2 PSO-ELM模型參數影響分析

在使用PSO算法對極限學習機ELM進行參數尋優的過程中，PSO算法的各項參數對最終的分類結果都有一定影響，如種群規模N，迭代次數iterate，初始與最大慣性權重w1、w2，局部學習因子c1與全局學習因子c2，這些參數對ELM的訓練與分類精度也會造成影響，此外ELM的隱含層神經元個數H對分類結果也有較大影響。下面分析各個參數，并選出最優參數組合，作為本文模型使用的參數。

5.2.1 種群規模對分類精度的影響

設置初始種群規模為N=100，w1=0.6，w2=0.4，c1=c2=1.8，iterate=15，H=250。對于不同的N值都運行模型15次，MAE與MAPE取15次運行結果的平均值，結果如表2所示。

通過表2的運行結果可以看出，種群規模達到250左右后模型的誤差評價指標變化極小，所以對于種群規模本文選取250。

Table 2 Impact of population size N表2 種群規模N的影響

5.2.2 迭代次數對分類精度的影響

設置初始迭代次數iterate=15，N=250，w1=0.6，w2=0.4，c1=c2=1.8，H=250。每取一個iterate值都運行模型15次，MAE與MAPE取15次運行結果的平均值，結果如表3所示。

Table 3 Impact of iterations iterate表3 迭代次數iterate的影響

通過表3的運行結果可以看出，迭代次數達到30左右后模型的誤差評價指標變化極小，所以對于迭代次數本文選取30。

5.2.3 慣性權重對分類精度的影響

設置起始慣性權重w1=0.6，w2=0.4，iterate=30，N=250，c1=c2=1.8，H=250。每取一個w1值都運行模型15次，MAE與MAPE取每15次運行結果的平均值，結果如表4所示。

Table 4 Impact of inertia weight w1表4 慣性權重w1的影響

通過仿真結果找到最優w1。按照上述參數設置確定w1=0.8,更改w2，每取一個w2值都運行模型15次，MAE與MAPE取每15次運行結果的平均值，結果如表5所示。

通過表5的運行結果可以看出，w2為0.5左右后模型的誤差評價指標變化極小，所以對于w2本文選取0.5。

Table 5 Impact of inertia weight w2表5 慣性權重w2的影響

5.2.4 學習因子對分類精度的影響

設置起始全局學習因子c1=1.8,c2=1.2,w1=0.8,w2=0.5,iterate=70,N=250,H=250。每取一個c1值都運行模型15次，MAE與MAPE取每15次運行結果的平均值，結果如表6所示。

Table 6 Impact of learning factor c1表6 學習因子c1的影響

通過仿真結果找到最優c1。按照上述參數設置確定c1=2.2,更改c2，每取一個c2值都運行模型15次，MAE與MAPE取每15次運行結果的平均值，結果如表7所示。

Table 7 Impact of learning factor c2表7 學習因子c2的影響

通過表7的運行結果可以看出，c2為1.6左右后模型的誤差評價指標變化極小，所以對于c2本文選取1.6。

5.2.5 隱含層神經元數量對分類精度的影響

本文選取PSO最佳參數組合，對ELM隱含層神經元個數進行選取，設置初始神經元個數為150個，每取一個值都運行模型15次，MAE與MAPE取每15次運行結果的平均值，結果如表8所示。

Table 8 Impact of neurons number H in the hidden layer表8 隱含層神經元個數H的影響

通過表8的運行結果可以看出，H為300左右后模型的誤差評價指標變化極小，故本文模型隱含層神經元個數取300。

選取最優參數組合后進行分類模型的訓練測試，實際預測結果如圖8所示。

Figure 8 Prediction results of PSO-ELM and ELM圖8 PSO-ELM與ELM預測結果

從圖8中可以看出，經過PSO參數尋優后ELM的分類精度有了較大的提高，能準確識別正常行走、人群聚集預測、人群聚集形成等3個階段，預測準確率達到了97.17%。相比之下ELM的預測效果就差了很多，存在很多分類錯誤的樣本。實驗表明，使用粒子群算法進行參數尋優能顯著提高ELM的預測準確性。

5.3 與傳統算法對比

與參考文獻[3,5,20,21]中算法的人群聚集行為識別準確率對比，結果如表9所示。

Table 9 Prediction results comparison 表9 預測結果對比

表9中本文1和本文2分別為本文模型在數據集Pets-2009與自建數據集上的實驗結果。從表9中可以看出，由于本文模型采用多尺度卷積神經網絡解決了圖像透視與行人遮擋問題，結合3種運動狀態特征，從而使其對異常行為的識別率優于其它文獻的算法；文獻[3]通過軌跡和人群相互作用力建立人群行為模型進行人群聚集檢測，由于建模較為復雜，模型參數太多，從而對最終的識別率有一定影響；文獻[5]與文獻[20]均利用通信基站記錄的用戶行為數據監測以及預測人群密度來實現檢測，由于基站輻射區域較大，所得到的手機用戶接入量并不準確，而且還要考慮上網行為特征與空間相關性，計算難度較大；文獻[21]對目標興趣點先聚類分組再計算聚集性，然后再提出群體聚集性描述子實現聚集檢測，由于使用KLT算法，在存在行人嚴重遮擋情況下會產生漏檢，這也直接影響了最終檢測準確性。

6 結束語

本文提出了基于多尺度卷積神經網絡的人群聚集異常識別模型，通過實驗表明，該模型能很好的實現人群運動狀態的判斷，進行人群聚集異常行為的預測與識別。與傳統的人群聚集識別算法相比，本文模型優勢在于實現聚集異常的預測，而不是等聚集已經形成再實現檢測，這對實際的生產生活場景是極具意義的，能為人群聚集異常預警與采取相應應急措施提供更多時間。因為大多群體意外事件的發生都與人群密度過大，人群聚集行為有關，如群體踩踏事件與聚眾斗毆等[22]。本文完成了人群聚集異常的識別工作，未來將進一步完善目前聚集異常識別存在的不足，如當被檢測圖像像素過低時，對識別結果有一定影響，在暗光照條件下對異常檢測也存在較大難度，這些工作將是下一步的研究重點。