淺析人群密度檢測(cè)算法及其在機(jī)場(chǎng)的應(yīng)用

關(guān) 華，萬(wàn) 好劉冬華

（廣東機(jī)場(chǎng)白云信息科技有限公司，廣東 廣州 510470）

1 人群密度估計(jì)算法

人群密度估計(jì)算法的發(fā)展歷程可歸結(jié)為3個(gè)階段：一是基于檢測(cè)的方法。早期研究大部分集中在基于檢測(cè)的方法，使用類似移動(dòng)窗口的檢測(cè)器來(lái)檢測(cè)并統(tǒng)計(jì)人數(shù)。這些方法要求訓(xùn)練有素的分類器，從整個(gè)人體中提取低級(jí)特征，例如Haar 小波和HOG（方向梯度直方圖）。然而，由于大多數(shù)目標(biāo)對(duì)象被遮蓋，它們?cè)诟叨葥頂D的場(chǎng)景上表現(xiàn)不佳。二是基于回歸的方法。因基于檢測(cè)的方法無(wú)法適用于高度擁擠的場(chǎng)景，學(xué)者們嘗試研究基于回歸的方法來(lái)學(xué)習(xí)提取自裁剪圖像中特征之間的相互關(guān)系，以計(jì)算特定對(duì)象的數(shù)量，如圖像的前景和紋理特征，被用于生成底層信息。Idrees 等人提出一種模型，利用傅里葉分析提取特征并實(shí)現(xiàn)基于SIFT（尺度不變特征變換）興趣點(diǎn)的人群計(jì)數(shù)。三是基于密度估計(jì)的方法。由于卷積神經(jīng)網(wǎng)絡(luò)在分類和識(shí)別方面的成功，目前主流的方法是基于它來(lái)預(yù)測(cè)密度估計(jì)圖。基于卷積神經(jīng)網(wǎng)絡(luò)生成密度估計(jì)圖原理比較簡(jiǎn)單，但卻能取得比基于檢測(cè)的方法以及基于回歸的方法更加優(yōu)秀的性能。本文主要探討基于卷積神經(jīng)網(wǎng)絡(luò)的機(jī)場(chǎng)人群密度估計(jì)算法設(shè)計(jì)及其在機(jī)場(chǎng)環(huán)境中的應(yīng)用。

2 相關(guān)原理

基于卷積神經(jīng)網(wǎng)絡(luò)的人群密度估計(jì)算法，首先需要有訓(xùn)練圖像和標(biāo)簽圖像，然后訓(xùn)練一個(gè)非線性函數(shù)f，將人群圖像x 映射到人群密度圖像y，即

最后使用高斯核（已歸一化為1）模糊每個(gè)頭部標(biāo)注即形成人群密度圖，即

從圖1、圖2可以了解到輸入圖像中人群的分布情況，并且由標(biāo)簽生成的人群密度圖是有具體數(shù)學(xué)意義的，從人群密度圖獲得人群總數(shù)只需要把密度圖的所有像素值加起來(lái)即可。

圖1 給定人群圖像

圖2 人群位置圖

3 人群密度估計(jì)算法分析

3.1 多列卷積網(wǎng)絡(luò)結(jié)構(gòu)

3.1.1 MCNN

MCNN[1]是首次使用多列卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行人群密度估計(jì)的方法。針對(duì)人群密度檢測(cè)中如何捕獲大小、密度各異的人像特征的難題，設(shè)計(jì)了卷積核大小不同的3列卷積神經(jīng)網(wǎng)絡(luò)，從而使得每一列神經(jīng)網(wǎng)絡(luò)的感受野不同，以接收不同大小的人像，最后將這3列神經(jīng)網(wǎng)絡(luò)的輸出進(jìn)行concat（合并），從而使得網(wǎng)絡(luò)可以捕獲大、中、小三種尺寸的人像特征以生成密度估計(jì)圖。如圖3所示。

圖3 MCNN結(jié)構(gòu)

然而，作為早期應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)于人群密度估計(jì)的算法，MCNN 存在很大的局限性。首先MCNN 是多列卷積網(wǎng)絡(luò)結(jié)構(gòu)，較難以訓(xùn)練，其次MCNN 存在冗余組織，增添了計(jì)算量。

3.1.2 Switch-CNN

Switch-CNN[2]首先將輸入圖像分成9個(gè)子圖像，然后設(shè)計(jì)專門的密度級(jí)別分類器SWITCH（3分類），依據(jù)9個(gè)子圖像人群密度的不同，分別送入3列不同的神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)它們的人群密度，最后把9個(gè)子圖像輸出結(jié)果合并，得到整張圖像的人群密度估計(jì)圖。但是SWITCHCNN 結(jié)構(gòu)復(fù)雜，參數(shù)量大，將大量參數(shù)分配于密度級(jí)別分類，分配用于密度估計(jì)圖生成的參數(shù)十分稀少，導(dǎo)致網(wǎng)絡(luò)性能不佳，使得Switch-CNN 不適合用于機(jī)場(chǎng)人群密度估計(jì)。

3.2 新網(wǎng)絡(luò)結(jié)構(gòu)框架

3.2.1 CSRNet

CSRNet[3]針對(duì)存在的難訓(xùn)練、冗余結(jié)構(gòu)的缺陷，系統(tǒng)分析了采用多列卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行人流密度估計(jì)的方案，提出摒棄多列結(jié)構(gòu)，采用更深的卷積神經(jīng)網(wǎng)絡(luò)來(lái)進(jìn)行訓(xùn)練，并且采用擴(kuò)張卷積的方法，有效地捕獲尺度、密度各異的人像特征，從而實(shí)現(xiàn)end-to-end 訓(xùn)練，并且采用更深層次地神經(jīng)網(wǎng)絡(luò)使得訓(xùn)練集性能與測(cè)試集均有大幅度的提升。

盡管CSRNet 比之前的人群密度估計(jì)網(wǎng)絡(luò)在效果上有不小的提升，然而它是基于“擴(kuò)張卷積”這種較新型的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，可能難以被所有硬件設(shè)備支持，所以在機(jī)場(chǎng)環(huán)境下部署CSRNet 可能不是最佳選擇。

3.2.2 SANet

SANet[4]先使用多列卷積網(wǎng)絡(luò)結(jié)構(gòu)提取特征，然后再使用反卷積結(jié)構(gòu)生成與原輸入圖像相同分辨率的高質(zhì)量分辨率圖像，網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

圖4 SANet網(wǎng)絡(luò)結(jié)構(gòu)

然而，這種結(jié)構(gòu)顯著的缺點(diǎn)是反卷積結(jié)構(gòu)網(wǎng)絡(luò)較難訓(xùn)練，且測(cè)試運(yùn)行時(shí)間比一般卷積網(wǎng)絡(luò)要長(zhǎng)，而SANet追求的是生成與原圖相同分辨率密度圖，圖上每個(gè)像素值代表的是在該像素值處存在行人的概率，這在機(jī)場(chǎng)實(shí)際應(yīng)用中用處不大。

3.3 借助透視圖輔助信息

PACNN[5]將透視圖集成到人群密度估計(jì)網(wǎng)絡(luò)中，以指導(dǎo)多尺度密度組合，獲得更好的密度圖以及人數(shù)估計(jì)。但是透視圖的獲取困難，且人工標(biāo)注的透視圖常常會(huì)有不小的誤差，這給網(wǎng)絡(luò)帶來(lái)噪聲干擾，導(dǎo)致了難以反映真實(shí)情況，限制了它的應(yīng)用。

圖5中，y 軸代表垂直距離，z 軸代表深度。高度為H 的行人被位于O 處的相機(jī)捕獲，該行人的頭部和腳部在Image 中分別為yh 和yf。相機(jī)光圈焦距為f，相機(jī)離地面高度為C。

圖5 攝像機(jī)幾何透視圖

3.4 采用Attention 機(jī)制

3.4.1 ADCrowdNet

ADCrowdNet[6]使用不包含任何人像的圖像與訓(xùn)練集圖像構(gòu)成負(fù)類和正類樣本對(duì)，訓(xùn)練額外的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行分類，依據(jù)中間圖包含與類別區(qū)分相關(guān)的特征信息的特點(diǎn)，生成注意力圖，然后將注意力圖與原始圖像進(jìn)行點(diǎn)乘，再將得到的圖像送入密度估計(jì)網(wǎng)絡(luò)中，改善人群密度估計(jì)效果。但注意力圖生成器AMG 的結(jié)構(gòu)非常復(fù)雜，雖然AMG 的引入可以提高模型精度，但這在實(shí)際運(yùn)用中勢(shì)必增加額外的計(jì)算開(kāi)銷，對(duì)于人流視頻監(jiān)控模型而言弊大于利。

3.4.2 RANet

RANet[7]針對(duì)當(dāng)前密度估計(jì)方法執(zhí)行逐像素回歸，沒(méi)有考慮像素的相互依賴性，而獨(dú)立的逐像素預(yù)測(cè)可能會(huì)帶來(lái)噪聲且預(yù)測(cè)不一致問(wèn)題，采用一種具有自我注意機(jī)制的關(guān)系網(wǎng)絡(luò)（RANet），以捕獲像素的相互依賴性。RANet 通過(guò)考慮近距離和遠(yuǎn)距離像素間的相互依賴關(guān)系來(lái)分別實(shí)現(xiàn)局部自我注意力（LSA）和全局自我注意力機(jī)制（GSA），并引入一個(gè)關(guān)系模塊，將LSA 和GSA 融合在一起，以實(shí)現(xiàn)更具信息量的聚合特征表示。然而，所構(gòu)建的網(wǎng)絡(luò)模型結(jié)構(gòu)十分復(fù)雜，而且它要計(jì)算特征圖每個(gè)像素點(diǎn)與其他所有像素點(diǎn)之間的相似度，導(dǎo)致大量冗余，不利于模型快速輸出人群密度估計(jì)圖。

3.5 使用新的代價(jià)函數(shù)

文獻(xiàn)[8]針對(duì)傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)用于生成人群密度估計(jì)圖采l2_loss 的不足之處，提出使用貝葉斯損失代替l2_loss，用于點(diǎn)監(jiān)督下的人群計(jì)數(shù)估計(jì)。通過(guò)對(duì)每個(gè)注釋點(diǎn)的計(jì)數(shù)期望值（而非注釋點(diǎn)在密度圖上的鄰域內(nèi)所有像素的計(jì)數(shù)值）進(jìn)行監(jiān)督，從而無(wú)需全圖標(biāo)注，提高了算法性能。模型實(shí)現(xiàn)簡(jiǎn)單，不需要復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)，也不需要費(fèi)力地制作人群透視圖，且在多個(gè)公開(kāi)人群密度數(shù)據(jù)集上均達(dá)到2019年SOTA 效果，因此適用于機(jī)場(chǎng)人群密度估計(jì)。

3.6 自適應(yīng)人群密度標(biāo)簽圖

靜態(tài)密度圖監(jiān)督學(xué)習(xí)框架已廣泛應(yīng)用于現(xiàn)有方法中，該方法使用高斯核生成密度圖作為學(xué)習(xí)目標(biāo)，并利用歐氏距離對(duì)模型進(jìn)行優(yōu)化。但是，該方法對(duì)數(shù)據(jù)標(biāo)記中的小偏差適應(yīng)力差，并且可能無(wú)法正確反映大小變化的人像的真實(shí)分布情況。文獻(xiàn)[9]提出了一種自適應(yīng)擴(kuò)張卷積和一種稱為自校正（self-correction，SC）監(jiān)督的新型監(jiān)督學(xué)習(xí)框架，使用模型的輸出來(lái)迭代校正注釋，并使用SC 損失同時(shí)優(yōu)化模型。但是實(shí)際實(shí)現(xiàn)比較繁瑣，每一次迭代訓(xùn)練圖像都要計(jì)算估計(jì)和存儲(chǔ)每個(gè)人像的位置和高斯標(biāo)準(zhǔn)差，這樣做需要耗費(fèi)大量的計(jì)算開(kāi)銷和存儲(chǔ)開(kāi)銷，也會(huì)使得訓(xùn)練時(shí)間加長(zhǎng)。

4 結(jié)束語(yǔ)

本文分析了當(dāng)前先進(jìn)的人群密度估計(jì)算法，并結(jié)合機(jī)場(chǎng)監(jiān)控視角分布的實(shí)際情況，對(duì)各方法在機(jī)場(chǎng)領(lǐng)域的適用性進(jìn)行了論述，得出基于貝葉斯損失的人群密度估計(jì)算法更適用于機(jī)場(chǎng)環(huán)境，且該方法具有模型簡(jiǎn)單、優(yōu)化性強(qiáng)的特點(diǎn)，使之在精度和速度上具有提升潛質(zhì)，能為機(jī)場(chǎng)人群密度檢測(cè)提供有效的支撐。