基于注意力機制的狹小空間人群擁擠度分析

張 菁,陳慶奎

(上海理工大學 光電信息與計算機工程學院,上海 200093)

0 概述

隨著城市人口的增多,在狹小空間的場景下,人群密度高,很容易造成擁擠,從而引發安全隱患。為維護公共安全,需要實時獲取人群的擁擠程度,根據不同的擁擠等級實施不同的調度策略合理分配資源[1],實現公共場所下人群的流量控制,因此,空間內人群擁擠度的分析極為重要。傳統人群擁擠度的監控主要靠人力監控,但很難同時且長時間監控多個場景,并且人力監控主觀性較強,不同的人給出的擁擠等級的標準都不盡相同。然而,通過深度學習來自動獲取人群擁擠率可以節約人力物力,提高工作效率和準確率。

但是人群擁擠度的估計面臨著許多挑戰,如背景雜亂、嚴重遮擋、密度不均勻、場景內和場景間的尺度以及視角變化等。近年來,隨著深度學習和大規模人群數據集的發展,多數量化當前場景人群的方法都取得了顯著的成果。但是多數模型只適用于室外、視角廣闊、人群密度均勻的場景,而在如直升電梯、樓道、隧道、車廂等狹小空間內,視角局限、人群遮擋嚴重、圖像尺度不一致增加了對人群密度分析的難度。

本文針對狹小空間場景下的人群進行分析,提出一種基于注意力機制的人群量化方法。該方法將擁擠率作為網絡真實值,通過對其進行回歸得到估計的擁擠率,并在ResNet提取特征的基礎上進行微調,以適應本文數據集的訓練,在此基礎上引入注意力機制,構建一個新的注意力注入網絡及數據集NS-DATASET。

1 相關工作

人群被視為一個連續密度函數[2],其對任意圖像區域的積分得到該區域內行人的數量。近年來,主流的量化人群的方法主要是通過標記的人頭點來生成密度圖,將密度圖作為網絡的真實值,對卷積神經網絡回歸的密度圖進行積分得到具體人數。為解決人群多視角、多尺度分布不均勻的問題,文獻[3]提出多列卷積神經網絡(MCNN)來提取多種圖像多尺度特征;文獻[4]提出單列卷積神經網絡CSRNet使用了空洞卷積,在擴大感受野的同時,不損失圖像分辨率,以克服多列卷積訓練的弊端;文獻[5]提出利用單列深層網絡saCNN,通過跳過連接將兩層的兩個特征映射組合在一起,完成圖像多尺度的提取。這些方法都旨在生成更精準的密度圖,通過對密度圖積分來計算具體人數,從而分析空間內擁擠程度。

但是在狹小空間內視角受到的局限,人與人、人與物品的遮擋十分嚴重,利用目標檢測[6]很難精準地識別出每個人,并且人的尺度不一,人頭點的密度不均勻,對于基于密度圖[3-5]的方法,本文的實驗結果表明,回歸的密度圖在密度小、空間狹窄的環境下,沒有展現出很好的效果,因此只能用于視野廣闊、密度均勻和高度擁擠的場景。

目前多數方法利用卷積神經網絡將人群劃分為不同的擁擠等級,通過不同的等級分類實現對人群密度的監控。文獻[7-9]通過分析圖像的紋理特征來提取人群密度特征,然后采用SVM進行分類,將人群密度分為若干個等級。文獻[10-11]通過比較目前流行的深度學習網絡框架,選取了GoogLeNet[12]作為主干網絡,對人群密度進行分類。針對人群密度不均勻的情況,文獻[13]依據像素稠密度將圖像中的人群分割成若干團塊,每塊分為高低密度兩類。上述方法都能得到有效的密度等級分類,但是分化的類別單一,并不能很好地起到量化人群的作用。

為了能更好地量化人群,本文設計了一個能直接反映當前場景擁擠率的模型——設置網絡的真實值為擁擠率(當前實際人數除以空間最大容納數)。這相比于回歸密度圖的方法,能將數據歸一化,減小數據間的差異,并且更注重人群整體密度情況而不是聚焦到單個人數上面,提高了人群量化的準確性。而和直接將人群分為若干個等級相比,本文的模型相當于將擁擠率分為0～100,共101個等級,量化的更加細致,更能反映當前人群密度的真實情況。本文選擇采用微調過的ResNet50[14]作為網絡主干,因為ResNet有著強大的表征能力,使得目標檢測和圖像識別的許多計算機視覺應用都得到了性能提升。

但由于網絡的真實值是擁擠率,只是一個數值,模型在訓練前并沒有區分背景與目標,只能依賴于大量的數據不斷學習來調整權重,導致了模型訓練過程收斂速度慢,且難以收斂,給訓練增加了難度。因此,本文引入了注意力機制來增強卷積,為網絡擁擠率的回歸提供先驗知識。

注意力機制多被用于理解上下文語義。近年來,基于注意力機制的圖像分割也獲得了成功,如文獻[15]設計的注意力機制利用全卷積網絡(FCN)作為中間層來合并多尺度的特征,文獻[16]提出上下文編碼模塊,結合擴張卷積和多尺度策略提出了語義分割框架EncNet,用于捕獲圖像場景的上下文語義,選擇性地突出與類別相關的特征圖。 但是,現有很多成熟的方法訓練時往往需要大量的標記圖像。對于圖像分割而言,要得到大量的完整標記過的圖像非常困難。因此,不少基于弱監督定位的CNN被提出,如文獻[17]設計了類激活映射,能在各種各樣的圖像識別任務中,使網絡直到最后一層都保留其顯著的定位能力,通過類激活映射權重,反映不同區域的相對重要性,完成圖像區域的劃分。文獻[18]利用多列空洞卷積完成了弱監督、半監督的學習,大大減輕了圖像分割定位的訓練難度。

本文的注意力模塊旨在通過二分類的網絡生成注意力圖,將輸入圖像分為了背景區域和人群區域,能為主干網絡預示出人群的區域,更好地學習人群的特征。為了解決標記人群區域輪廓困難的問題,本文參照文獻[17-18]中的目標定位方法,通過弱監督學習,自動獲取人群區域的位置。將注意特征圖連接到卷積特征圖,能使神經網絡的訓練關注人群聚集區域,更好地適應高噪聲場景。

2 網絡整體結構

本文在ResNet50[14]網絡提取特征的基礎上,添加了注意力機制模塊,設計一個新的注意力注入的網絡,網絡結構如圖1所示。網絡前端的注意力模塊將輸入圖像分為人群和背景,生成更關注人群目標的注意力圖(圖1中注意力圖圈出來的部分即為注意力模型得到的網絡需要聚焦的區域,為更直觀地定位本文的注意力關注區域,將輸入圖片作為背景,實際訓練中的背景區域像素點注意力得分為零),然后將注意力圖和原始圖像進行點相乘,采用的方式是圖像處理中的pixel-wise操作[19],即兩張圖片對應像素點相乘。將處理好的特征圖作為ResNet的輸入,并將損失函數Loss直接作為網絡的目標函數,對特征圖進行回歸,直接輸出該特征圖的人群擁擠率Crowd。

圖1 整體網絡結構Fig.1 Overall network structure

2.1 注意力機制

注意力機制被廣泛應用于計算機視覺領域,其基本原理是利用輸入圖像的相關信息而不是所有可用信息來計算神經網絡,獲取長程交互性,能夠在納入相對位置信息的同時維持平移等效性,從而極大地減少網絡的計算量。本文設計的注意力模塊作為網絡的前端,通過生成注意力圖來提取精確的像素點定位細節,為主干網絡預示出人群的區域以及人群的擁擠等級,將注意特征圖連接到卷積特征圖,能使神經網絡的訓練更加關注人群聚集區域,以減輕輸入圖像中各種噪聲的影響。

生成注意力圖的工作流程如圖2所示,網絡結構采用的是微調過的GoogLeNet[12],該網絡在圖像分類和目標定位上都展現出了很好的性能。將GoogLeNet的Inception4e后面的層移除,保持圖像分辨率為14像素×14像素,為使最后的注意力圖和原始輸入圖片能夠融合,保留圖片像素點的位置信息,每個卷積層后面都利用padding對特征圖進行填充,在卷積降低圖像分辨率的同時,保持尺度不變。在卷積輸出前,參照文獻[17]的方法,使用全局平均池化(GAP)和Softmax層,將輸出的每個類別的權重映射回卷積特征圖,從而生成注意力圖。

圖2 Attention模塊流程Fig.2 Procedure of Attention module

本文將注意力模塊設計為一個二分類的網絡,并將圖片內容分為背景和人群。如圖2所示,Fb和Fc是最后一層卷積輸出的兩個通道的特征圖,Fb(x,y)、Fc(x,y)分別表示背景和人群在坐標(x,y)上像素點的激活值,通過全局平均池化后(圖2中的GAP),得到長度為2的向量,每個長度對應一個類別權重Wb、Wc,那么Softmax層的輸入Sc、Sb如式(1)所示,Softmax層的輸出Pc、Pb可根據式(2)得到,最后將每個像素點坐標的得分Pc,b(x,y)與特征圖Fc,b(x,y)根據式(3)進行線性加權融合后,再利用向上采樣(UpSample),得到與原始圖片尺寸相同的注意力圖。

(1)

(2)

(3)

2.2 ResNet模塊

ResNet是一個由微軟開發的深度卷積網絡,它主要通過殘差連接來工作,ResNet[14]接受域大于輸入圖像,使訓練數百層甚至數千層成為可能,且在這種情況下仍能展現出優越的性能。本文參照VGG網絡[20]的結構,將一個5×5卷積層分解成2個串聯的3×3卷積層,并將原始的ResNet50的7×7卷積層替換為3個串聯的3×3卷積層,在保持接受域的大小不變的同時,減少了網絡參數,并且引入更多的非線性:一個大卷積核只有一次激活的過程,而更多串聯的小卷積核對應著更多次激活的過程,從而增加了網絡的表達能力,可以去擬合更高維的分布。本文還去掉了最后的Softmax層,選用全連接層作為網絡最后一層,將1 000維的向量改為101維,用于表示數值在0～100的人群擁擠率,將分類問題轉化為回歸問題。原始的ResNet50網絡和微調的網絡結構如表1所示,每層卷積步長設計為2。

表1 ResNet50網絡結構

2.3 網絡損失函數

網絡的損失函數L(θ)如式(4)所示:

(4)

其中,N為訓練圖片張數,Xi表示輸入的圖片,θ是模型訓練得到的參數,則模型預測出的圖片中的擁擠率可以表示為Fc(Xi,θ),Crowdi表示總網絡真實值,即數據標記的擁擠率。參照歐氏距離[21]損失函數,并將其作為目標函數,用于連續值訓練樣本的擬合。

3 實驗結果與分析

本文實驗分為2個部分,前半部分以生成注意力圖為目的,采用的是弱監督學習方式,即給出的一張圖像里面包含哪些類別,而不需要完整標記出目標位置、輪廓等信息。后半部分目標則是通過網絡模型的訓練,回歸密度圖人群的擁擠率。輸入是經過注意力圖處理過的原圖,真實值是人工計算給出的人群擁擠率,計算方法將在3.2節中給出,網絡學習率采用的是Adam[22],并設初始步長為1e-7,batch_size設為4。Adam是通過計算梯度的一階距和二階距估計而為不同的參數設計獨立的自適應學習率,以便模型收斂后自動調節步長,比傳統的隨機梯度下降法更具高效性。

網絡整體代碼采用的是Tensorflow的框架。本文對NS數據集的3個場景分別進行訓練,利用數據集的80%作為訓練集,剩下的20%作為測試集。采用的GPU為2個NVDIA GeForce GTX TITAN X。

為驗證注意力模塊是否同理論上一樣能加快訓練收斂速度以及增加精確度,本文將在3.4.1節中對有無注意力模塊進行對比實驗。并且在本文的數據集上,實驗了已有的開源方法(3.4.2節),證明了本文模型在狹小空間的場景中較其他方法各方面的性能都有提升,為防止本文模型在NS-DATASET(Narrow Space)上產生數據依賴,參考文獻[4]中的6個公共數據集,在3.4.3節中展示了模型在公共數據集上的結果。

3.1 數據集的設計

本文構建一個新的數據集NS-DATASET,該數據集中共計17 800張圖片,它們都是在狹小空間內,視角受到局限如圖3所示,圖3(a)為斜上方視角,如樓道、天橋隧道,圖3(b)為正上方視角,如車廂的下車門通道,圖3(c)為正前方視角,如前后車廂。

圖3 NS-DATASET圖片不同視角展示Fig.3 NS-DATASET pictures displayed from different perspectives

3.2 網絡真實值

本文數據集是全新的,需要分別對每個場景進行訓練,將人工標記的擁擠率作為模型真實值,如表2所示。擁擠率計算如下:設該場景最大容納人數為N,當前人數為ni,則第i張圖片的擁擠率Crowdi表示為:

(5)

表2 網絡模型真實值Table 2 Real vaule of network model

3.3 模型評價指標

參照文獻[3-5]的方法,通過MAE、MSE評價模型最終的量化人群的準確率。計算公式如式(6)、式(7)所示:

(6)

(7)

其中,Ci表示模型預測結果,Crowdi表示人數真實值,N表示統計的圖片張數。MAE強調所有測試集圖片的預測擁擠率的平均誤差,能更好地反映預測值誤差的實際情況,而MSE為估計值和真實值差的平方的期望值,可以評價數據的變化程度,MSE越小,表示數據精確度越高。

3.4 結果對比

表3為抽取的實驗結果,分別從NS數據集的3個場景中隨機選取一張圖片。從表3可以看出,本文的注意力模型能準確地關注人群區域(注意力圖中的色圈區域),并且模型估計的人群擁擠率大體上和本文給出的真實值一致,能正確地反映當前實時的人群擁擠度。

表3 實驗結果對比Table 3 Comparison of experimental results %

NS數據集上模型的測試結果如表4所示,將數據集20%模型未見過的圖片作為測試集,由MAE、MSE這兩項指標可以看出,大體上3個場景預測的人群擁擠率誤差都在正常范圍內,訓練圖片最多的場景3效果最佳。

表4 NS數據集模型上性能評價

3.4.1 有無注意力機制實驗對比分析

由圖1網絡整體結構所示,網絡前端是利用attention模塊將輸入圖像分為人群和背景,生成更關注人群目標的注意力圖,然后將結合了注意力圖和原始圖像的特征圖作為主干網絡的輸入。去掉注意力機制,直接將輸入圖片作為ResNet網絡的輸入,同樣能得到一個預測的人群擁擠度。本節主要對去掉注意力模塊后的網絡進行實驗,并與原模型結果進行對比來驗證網絡添加了注意力機制后,是否同理論上一樣去除背景噪聲,聚焦人群區域,得到更為精準的人群擁擠率。

圖4灰色曲線是添加了注意力模塊訓練的損失值迭代曲線,黑色是去除注意力后,只通過Resnet50網絡訓練得到的迭代曲線,由圖4可知,注入了注意力機制的網絡,從84輪開始就逐步收斂,而代表未添加attention的黑色曲線,到170輪loss值才逐漸平穩,并且后期loss曲線相比灰色下降的很慢,一直處于振蕩的狀態。2種方法的性能指標如表5所示,可以看到MAE降低了40%,MSE降低了34%,其中MAE、MSE為3個場景的平均值。

圖4 兩種方法loss迭代曲線對比Fig.4 Comparison of loss iteration curves of two methods

表5 注意力模塊性能對比

綜上可以得出,注入了注意力機制的網絡能區分背景和人群,為網絡擁擠率的回歸提供先驗知識,得到更為精確的預測結果。

3.4.2 NS-DATASET結果對比與分析

本文選取了文獻[4]的CSRNet、文獻[3]的MCNN以及文獻[11]改進的GoogLeNet方法作為本文的對比方法。數據集采用的是NS-ATASET,其中3個場景如圖3所示,本文設計的空間容納總人數分別為20人、30人和8人。MCNN和CSRNet方法產生的是具體人數,而文獻[11]的方法產生的是5個擁擠等級。為統一評價指標,將CSRNet、MCNN的結果分別除以3個場景的總人數作為新的結果,文獻[11]的方法則通過設置新的真實值重新訓練得到擁擠率結果,最終的模型結果評價指標如圖5所示。

圖5 不同方法在NS數據集上MAE值對比Fig.5 Comparison of MAE values by differentmethods on NS datasets

在NS數據集的3個場景上實驗了MCNN、 CSRNet、 GoogLeNet 3種方法,并與本文的方法結果進行對比。由圖5可知,本文方法比以上3種方法的MAE分別降低了21.7%、5.23%、30.3%,說明了本文模型在對噪聲大、多尺度、人群區域閉塞、分布不均勻的圖片處理上相比于其他量化人群方法更有效。

3.4.3 公共數據集上實驗對比分析

為研究本文模型在各個公共數據集上預測的人群擁擠度的質量,本文參照文獻[11]中的公共數據集進行實驗,4個數據集包含的圖片樣本數和圖片包含的人數如表6所示。

表6 公共數據集組成結構Table 6 Composition structure of public dataset

選取4個數據集的80%作為訓練集,20%作為測試集,并標記了每張圖片樣本的擁擠率作為網絡真實值。參照文獻[3-4]中的MCNN和CSRNet方法在這些數據集上的已有的結果,將其預測的人數誤差換算為擁擠率誤差來作為本文模型結果的對比。已知其他方法的預測的人數為n,樣本圖片中真實人數為Count,標記的擁擠率真實值為Gt,則需要的擁擠率Crowd可以表示為:

(8)

在得到每張圖片預測的擁擠率后,再利用式(6)計算得到MAE對預測結果進行評價,本文的實驗結果如圖6所示。

圖6 不同方法在公共數據集上MAE值對比Fig.6 Comparison of MAE values by differentmethods on public datasets

從圖6可以看出,在各個公共數據集上,本文模型比MCNN都有更好的效果,但在ShanghaiTech PartA、UCF_CC_50平均人數超過500人的情況下,模型效果略微弱于適用于人群高度密集場景的CRSNet方法。但在平均人數較少的場景下,ShanghaiTech PartB、The UCSD方法都比CRSNet有著更好的效果。這說明本文方法在其他場景下同樣能準確地預測出人群的擁擠程度,并且更加適合狹小的空間內的場景。

4 結束語

本文提出一種注入注意力機制的網絡用于分析狹小空間內的人群擁擠度。通過引入注意力模型并結合上下文完成圖像特征的提取,獲得精準的像素級密集特征,去除不相關背景,完成對場景的感知。實驗結果表明,該方法在NS數據集下能預測給出圖片的人群擁擠率,并且加入注意力模型后,提高了網絡的收斂速度。此外,在數據的標記上采用弱監督學習,大幅降低了標記難度和工作量。為提高本文模型的場景泛化能力,同時擴大數據集并增加學習樣本,下一步將研究如何提高網絡的泛化能力與驗證注意力模塊的可遷移性。