基于深度學(xué)習(xí)的客流量統(tǒng)計(jì)方法①

韓曉微,王雨薇,謝英紅,齊曉軒

(沈陽(yáng)大學(xué) 信息工程學(xué)院,沈陽(yáng) 110044)

當(dāng)前,智能視頻監(jiān)控是計(jì)算機(jī)視覺(jué)的重要應(yīng)用領(lǐng)域,其不同于原有的視頻監(jiān)控方法,智能視頻監(jiān)控通過(guò)計(jì)算機(jī)視覺(jué)方法對(duì)各種圖像序列進(jìn)行處理,從而自動(dòng)的實(shí)現(xiàn)對(duì)行人、交通等情況的有效監(jiān)控[1,2],而人流統(tǒng)計(jì)則是近年來(lái)此領(lǐng)域的關(guān)鍵技術(shù)之一[3].人流統(tǒng)計(jì)主要通過(guò)目標(biāo)檢測(cè)、跟蹤等多方法結(jié)合實(shí)現(xiàn),此技術(shù)在當(dāng)前已有了一定的研究成果,但由于目標(biāo)的快速移動(dòng)與遮擋等情況的存在,使得客流統(tǒng)計(jì)仍存在著嚴(yán)峻的挑戰(zhàn).

對(duì)于目標(biāo)檢測(cè)與跟蹤方法,Felzenszwalb 等人[4]提出了多類(lèi)目標(biāo)檢測(cè)方法,其先通過(guò)DPM 的人工特征提取,再進(jìn)行Latent SVM 分類(lèi),此方法成為在深度卷積神經(jīng)網(wǎng)絡(luò)出現(xiàn)之前最有效的識(shí)別算法.Girshick 等人[5]首次首次在目標(biāo)檢測(cè)中使用深度學(xué)習(xí)理論,其通過(guò)卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)目標(biāo)候選框特征的提取,之后利用SVM 實(shí)現(xiàn)分類(lèi)工作.Ren 等人[6]提出了用于實(shí)時(shí)目標(biāo)檢測(cè)的候選框網(wǎng)絡(luò)RPN,其可以從任意尺寸的圖像中得到多個(gè)候選區(qū),能夠與卷積神經(jīng)網(wǎng)絡(luò)結(jié)合實(shí)現(xiàn)端到端的訓(xùn)練,此網(wǎng)絡(luò)與Fast R-CNN[7]結(jié)合并共享卷積層特征之后的網(wǎng)絡(luò)稱(chēng)為Faster R-CNN.Henriques 等人[8]提出了一種核相關(guān)濾波器,其通過(guò)加入正則項(xiàng)建立模型,利用循環(huán)矩陣進(jìn)行稠密采樣,又通過(guò)多通道特征的提取,實(shí)現(xiàn)了較為魯棒的跟蹤.Mueller 等人[9]提出了上下文感知濾波跟蹤算法,實(shí)現(xiàn)了背景干擾下的有效跟蹤.

對(duì)于人流統(tǒng)計(jì)方法,Raheja 等人[10]采用高斯混合模型對(duì)背景像素進(jìn)行描述,提出了一種多模態(tài)背景的雙向人員計(jì)數(shù)算法,實(shí)現(xiàn)了在人口密度較低情況下的準(zhǔn)確計(jì)數(shù).Wateosot 等人[11]通過(guò)對(duì)象分割對(duì)人的頭部進(jìn)行識(shí)別,然后使用粒子濾波方法跟蹤頭部的深度顏色特征,進(jìn)而實(shí)現(xiàn)對(duì)于人頭的統(tǒng)計(jì)工作.Songchenchen等人[12]提出了一種基于特征融合的人群計(jì)數(shù)方法,其通過(guò)圖像特征提取和紋理特征分析,利用多源數(shù)據(jù)對(duì)人群數(shù)量進(jìn)行估計(jì),實(shí)現(xiàn)了高密度、靜態(tài)圖像中的人數(shù)統(tǒng)計(jì).Chauhan 等人[13]提出了一種基于深度學(xué)習(xí)框架的數(shù)學(xué)計(jì)數(shù)回歸方法,該方法首先估計(jì)出每個(gè)區(qū)域內(nèi)的人數(shù),之后通過(guò)各個(gè)區(qū)域的人群數(shù)量估計(jì)之和求得整個(gè)圖像中總?cè)藬?shù).李笑月[14]通過(guò)SVM 對(duì)樣本進(jìn)行訓(xùn)練得到行人分類(lèi)器,利用Mean-Shift算法進(jìn)行目標(biāo)跟蹤,判斷目標(biāo)是否離開(kāi)場(chǎng)景來(lái)實(shí)現(xiàn)計(jì)數(shù).這些算法多是使用垂直于地面的攝像頭進(jìn)行監(jiān)控,通過(guò)這種方式能夠有效的應(yīng)對(duì)目標(biāo)遮擋情況,但當(dāng)監(jiān)控視頻角度發(fā)生偏轉(zhuǎn)時(shí),算法的準(zhǔn)確性會(huì)受到影響.

本文以餐飲業(yè)為背景,為實(shí)現(xiàn)對(duì)進(jìn)店客流量的統(tǒng)計(jì),設(shè)計(jì)基于深度學(xué)習(xí)的餐飲業(yè)客流量統(tǒng)計(jì)方法.此方法首先通過(guò)多數(shù)據(jù)集對(duì)YOLOv3-tiny 方法進(jìn)行訓(xùn)練,實(shí)現(xiàn)對(duì)于目標(biāo)的準(zhǔn)確檢測(cè),然后設(shè)計(jì)多通道特征融合的核相關(guān)濾波目標(biāo)跟蹤算法,實(shí)現(xiàn)對(duì)于快速移動(dòng)目標(biāo)的穩(wěn)定跟蹤,最后設(shè)計(jì)基于雙標(biāo)準(zhǔn)框的目標(biāo)進(jìn)門(mén)行為判斷方法,實(shí)現(xiàn)了對(duì)于客流量的有效統(tǒng)計(jì).

1 本文算法設(shè)計(jì)

1.1 YOLOv3 目標(biāo)檢測(cè)算法

YOLOv3[15]在原始兩個(gè)版本[16,17]的基礎(chǔ)上進(jìn)行了多尺度預(yù)測(cè)與網(wǎng)絡(luò)結(jié)構(gòu)等方面的改進(jìn),使其檢測(cè)的速度更快,準(zhǔn)確率更高.YOLO 各個(gè)版本的性能對(duì)比見(jiàn)表1所示.

表1 YOLO 各版本性能對(duì)比

1.1.1 YOLOv3算法原理

YOLOv3 的輸入圖片尺寸為416×416 像素,通道數(shù)為3,其采用了Darknet-53 的網(wǎng)絡(luò)結(jié)構(gòu),主要實(shí)現(xiàn)YOLOv3 的特征提取工作,其共包含53 個(gè)卷積層,卷積層中使用的卷積為3×3 和6×6,具體結(jié)構(gòu)[18]見(jiàn)圖1所示.

Darknet-53 之后通過(guò)類(lèi)似于FPN 網(wǎng)絡(luò)[19]實(shí)現(xiàn)特征融合,網(wǎng)絡(luò)總共劃分3 個(gè)尺度,分別為13×13、26×26、52×52,其中每個(gè)尺度先構(gòu)成各自尺寸的特征圖,再使用卷積核實(shí)現(xiàn)各特征圖間的特征融合.此網(wǎng)絡(luò)通過(guò)在多個(gè)尺度的融合特征圖上進(jìn)行獨(dú)立的檢測(cè)工作,最終實(shí)現(xiàn)對(duì)于小目標(biāo)檢測(cè)性能的有效提升.

圖1 YOLOv3 網(wǎng)絡(luò)結(jié)構(gòu)

YOLO 在訓(xùn)練時(shí)的損失函數(shù)計(jì)算公式為:

其中,Ecoo為檢測(cè)結(jié)果與標(biāo)定數(shù)據(jù)間的坐標(biāo)誤差,EIOU表示兩者間的IOU 誤差,Eclass則表示分類(lèi)誤差.

Ecoo的計(jì)算公式為:

其中,λc為權(quán)重誤差,表示在第i 個(gè)網(wǎng)格的第j 個(gè)預(yù)測(cè)框負(fù)責(zé)目標(biāo),S 表示特征圖的網(wǎng)格尺寸,B 為每個(gè)網(wǎng)格預(yù)測(cè)框的數(shù)量,wi和hi分別表示預(yù)測(cè)框的寬和高,和代表真實(shí)的寬高,( xi,yi)代表預(yù)測(cè)框的中心坐標(biāo),則代表真實(shí)坐標(biāo).

EIOU的計(jì)算公式為:

其中,λnoobj表 示分類(lèi)誤差的權(quán)重,表示第i 個(gè)網(wǎng)格的第j 個(gè)預(yù)測(cè)框不負(fù)責(zé)目標(biāo),ci表示第i 個(gè)網(wǎng)格預(yù)測(cè)的置信度值,表示其真實(shí)置信度值.

Eclass的計(jì)算公式為:

YOLOv3-tiny 的網(wǎng)絡(luò)結(jié)構(gòu)在YOLOv3 的基礎(chǔ)上進(jìn)行了修改,減少了卷積層、取消了殘差層,并且減少了輸出尺度的數(shù)量.此模型的整體性能雖不如YOLOv3,但由于YOLOv3-tiny 的模型復(fù)雜度得到了減小,使得其運(yùn)算速度實(shí)現(xiàn)了進(jìn)一步的提升,而本文需要在CPU環(huán)境下實(shí)現(xiàn),YOLOv3-tiny 能夠保證整體算法的實(shí)時(shí)性,因此本文選取了YOLOv3 的輕量級(jí)版本YOLOv3-tiny 作為最終的目標(biāo)檢測(cè)模型.

1.1.2 訓(xùn)練過(guò)程

(1)樣本準(zhǔn)備

使用LableImg 對(duì)圖片序列中的人群進(jìn)行標(biāo)注,實(shí)驗(yàn)共涉及45 家門(mén)店不同時(shí)間段的5000 張圖片,具有普適性,通過(guò)這些標(biāo)注好數(shù)據(jù)集對(duì)模型進(jìn)行訓(xùn)練.本文算法針對(duì)目標(biāo)為行人,因此在模型訓(xùn)練時(shí)取消了對(duì)其它類(lèi)別事物的識(shí)別,只保留了person 標(biāo)簽.

(2)參數(shù)設(shè)置

本文對(duì)模型的訓(xùn)練階段,動(dòng)量參數(shù)設(shè)置為0.9,其影響梯度下降到最優(yōu)值時(shí)的速度,訓(xùn)練使用小批量隨機(jī)梯度下降進(jìn)行優(yōu)化.初始學(xué)習(xí)率η =0.001,衰減系數(shù)設(shè)置為0.005,此系數(shù)的設(shè)置防止過(guò)擬合現(xiàn)象出現(xiàn).前1000 次訓(xùn)練的學(xué)習(xí)率為ηlr=η×(Nbatch/1000)2,通過(guò)學(xué)習(xí)率的設(shè)置保持網(wǎng)絡(luò)的穩(wěn)定,Nbatch為模型運(yùn)行的批次數(shù),之后的學(xué)習(xí)率為10-3.

1.1.3 檢測(cè)結(jié)果

本文將訓(xùn)練后的模型分別對(duì)10 家不同門(mén)店的不同時(shí)間進(jìn)行測(cè)試,圖2 為其中3 個(gè)門(mén)店的識(shí)別效果,其中門(mén)店A 有強(qiáng)光影響,門(mén)店B 有較多汽車(chē)遮擋,門(mén)店C 的視野不清晰.通過(guò)圖2 可看出,此算法對(duì)3 個(gè)門(mén)店均能實(shí)現(xiàn)準(zhǔn)確的檢測(cè),有較強(qiáng)的魯棒性.

圖2 各門(mén)店識(shí)別結(jié)果

1.2 多通道特征融合目標(biāo)跟蹤算法設(shè)計(jì)

1.2.1 核相關(guān)濾波算法

核相關(guān)濾波器利用正則化的最小二乘法,通過(guò)求極值的方法實(shí)現(xiàn)對(duì)濾波器的求解.通過(guò)對(duì)每張圖片中目標(biāo)及其周?chē)欢ǚ秶膱D像塊進(jìn)行濾波器的訓(xùn)練,其中目標(biāo)位置圖像塊x 的尺寸為M×N,在濾波器訓(xùn)練過(guò)程中通過(guò)循環(huán)矩陣實(shí)現(xiàn)密集采樣,圖像塊xi中i ∈{0,···,M-1}×{0,···,N-1}.濾波器通過(guò)回歸最小化進(jìn)行求解,具體表示為:

其中,〈 ,〉表示點(diǎn)積,w 為濾波器的參數(shù),y 為期望的目標(biāo)輸出,λ 為正則化參數(shù),能夠防止模型過(guò)擬合現(xiàn)象,使模型得到更好的泛化能力.

利用核函數(shù) κ (x,y)=〈φ(x),φ(y)〉,將高維非線性變換到低維函數(shù)實(shí)現(xiàn)加速計(jì)算,其中? 表示將特征向量映射到核空間的函數(shù).因此將式(5)的解w 表示成輸入的線性組合[20],即為:

其中,α 是w 的對(duì)偶空間變量,即為濾波器系數(shù).

根據(jù)文獻(xiàn)[21]可以得到α 的解,具體求得α 為:

通過(guò)循環(huán)矩陣性質(zhì)可知k 仍是循環(huán)矩陣,結(jié)合循環(huán)矩陣的性質(zhì)求解到傅里葉域中的α 為:

其中,和 表示他們各自的傅里葉變換.為多通道的高斯性核函數(shù),其計(jì)算公式為:

其中,⊙表示各元素的對(duì)應(yīng)相乘,F-1表示傅里葉逆變換,*表示復(fù)共軛,σ 為高斯核函數(shù)帶寬參數(shù).

通過(guò)上述訓(xùn)練過(guò)程,根據(jù)循環(huán)矩陣k 構(gòu)建訓(xùn)練樣本和測(cè)試樣本的核函數(shù),將分類(lèi)器的求解轉(zhuǎn)化到傅里葉域中,對(duì)目標(biāo)下一幀位置進(jìn)行求解,其目標(biāo)響應(yīng)f(z)為:

1.2.2 多通道特征融合設(shè)計(jì)

顏色特征是一種全局特征,其不受目標(biāo)的旋轉(zhuǎn)、平移等變化的影響.CN 特征[22]基于傳統(tǒng)顏色特征的優(yōu)勢(shì),將原有的RGB 的三通道特征進(jìn)一步映射到11 維,實(shí)現(xiàn)了從3 種顏色到11 種顏色的擴(kuò)展.CN 顏色屬性對(duì)于一張輸入的目標(biāo)圖像I,將a 位置的像素值I(a)映射到CN 空間,進(jìn)一步得到共11 維的顏色概率特征圖[a1,a2,···,a11].HOG 特征描述目標(biāo)的方向梯度,獲取HOG 特征首先需進(jìn)行灰度處理,然后利用Gamma 校正法對(duì)目標(biāo)進(jìn)行顏色空間歸一化,以此降低光照變化的影響,從而實(shí)現(xiàn)降噪效果;之后對(duì)每個(gè)像素點(diǎn)進(jìn)行梯度方向和大小的求解,計(jì)算此點(diǎn)的梯度幅值和方向;最后進(jìn)行細(xì)胞單元(cell)、塊(block)直方圖的構(gòu)建,通過(guò)對(duì)塊的HOG 特征進(jìn)行整體串聯(lián),實(shí)現(xiàn)目標(biāo)框HOG 特征的提取[23].

本文所采用的HOG 特征的每個(gè)cell 為4×4 像素,其獲取到的特征為31 維,CN 為11 維特征,由于單一的目標(biāo)特征提取會(huì)導(dǎo)致跟蹤不夠準(zhǔn)確的情況,因此本文提出了一種可以將這兩種特征進(jìn)行融合的方法.由于核相關(guān)函數(shù)只需進(jìn)行向量間的點(diǎn)乘運(yùn)算,因此對(duì)于兩種特征的融合工作就是將這些特征進(jìn)行維度的串聯(lián),所得的最終目標(biāo)的特征維數(shù)為42 維,其融合方式具體表示為:

其中,PC、PH分別表示CN 和HOG 特征.

1.3 進(jìn)門(mén)行為判斷方法設(shè)計(jì)

本文實(shí)現(xiàn)的是對(duì)進(jìn)入門(mén)店的客流量統(tǒng)計(jì),現(xiàn)有的多數(shù)算法是通過(guò)垂直于地面的攝像頭進(jìn)行監(jiān)控,利用分割線對(duì)圖像進(jìn)行區(qū)域劃分,之后通過(guò)對(duì)目標(biāo)經(jīng)過(guò)各分割線的過(guò)程實(shí)現(xiàn)對(duì)垂直視野中的人數(shù)統(tǒng)計(jì).但本文使用的視頻監(jiān)控方式為水平方向或與地面夾角不超過(guò)50 度,現(xiàn)有的策略并不適用于本文所研究的對(duì)進(jìn)入門(mén)店的客流統(tǒng)計(jì)背景.因此本文對(duì)目標(biāo)進(jìn)門(mén)行為判斷方法進(jìn)行了設(shè)計(jì),從而實(shí)現(xiàn)對(duì)客流量的統(tǒng)計(jì).

首先初始化雙標(biāo)準(zhǔn)框與目標(biāo)感興趣區(qū)域,雙標(biāo)準(zhǔn)框是根據(jù)不同餐飲門(mén)店的方位與角度進(jìn)行手動(dòng)標(biāo)定,其為之后判定目標(biāo)是否進(jìn)門(mén)提供依據(jù),標(biāo)定示意圖見(jiàn)圖3 所示.

圖3 雙標(biāo)準(zhǔn)框標(biāo)定示意圖

在實(shí)際應(yīng)用場(chǎng)景中,不同攝像頭距目標(biāo)門(mén)店的距離各不相同,因此需要對(duì)攝像頭所拍攝的視頻序列進(jìn)行預(yù)處理,確定目標(biāo)感興趣區(qū)域.當(dāng)目標(biāo)進(jìn)入感興趣區(qū)域時(shí)開(kāi)始對(duì)其進(jìn)行整體的識(shí)別跟蹤工作.在雙標(biāo)準(zhǔn)框確定之后,本文將參數(shù)分別設(shè)為1.2、1.5、2 作為雙標(biāo)準(zhǔn)框外框尺寸同比例擴(kuò)大的倍數(shù),并且在這些參數(shù)下分別對(duì)算法實(shí)現(xiàn)整體的測(cè)試.經(jīng)過(guò)實(shí)驗(yàn)得到當(dāng)參數(shù)為1.2 時(shí),目標(biāo)從進(jìn)入感興趣區(qū)域到最終進(jìn)入門(mén)店的過(guò)程過(guò)短,算法在對(duì)目標(biāo)進(jìn)行跟蹤的過(guò)程中會(huì)產(chǎn)生更多跟蹤漂移的情況.當(dāng)參數(shù)為2 時(shí),有更多的背景被圈定進(jìn)去,使得算法整體的運(yùn)行效率降低.因此通過(guò)實(shí)驗(yàn),本文將1.5 作為最后感興趣區(qū)域的參數(shù),在此參數(shù)下,能夠有效的減少其它背景區(qū)域的干擾,提升算法運(yùn)算效率.感興趣區(qū)域示意圖見(jiàn)圖4 所示.

圖4 感興趣區(qū)域示意圖

本文對(duì)客流量的統(tǒng)計(jì)是在雙標(biāo)準(zhǔn)框基礎(chǔ)上,通過(guò)其與同一目標(biāo)的初始位置與終止位置的相對(duì)關(guān)系進(jìn)行確定.整體判斷流程為:當(dāng)目標(biāo)初始位置在門(mén)外,通過(guò)跟蹤過(guò)程目標(biāo)終止位置在門(mén)內(nèi),則定義目標(biāo)進(jìn)入了門(mén)店,實(shí)現(xiàn)人數(shù)累計(jì),若不滿(mǎn)足此條件,目標(biāo)則未進(jìn)門(mén).

通過(guò)目標(biāo)框與內(nèi)標(biāo)準(zhǔn)框的重疊比例實(shí)現(xiàn)對(duì)目標(biāo)與門(mén)店的位置關(guān)系判斷.標(biāo)準(zhǔn)框的設(shè)置能夠獲取其坐標(biāo)信息,目標(biāo)識(shí)別與跟蹤工作實(shí)現(xiàn)對(duì)于目標(biāo)坐標(biāo)信息的獲取.其中得到目標(biāo)框面積為Sobj,內(nèi)標(biāo)準(zhǔn)框面積為Sid,重疊比例即為:

其中,∩為取交集操作,min(,)為求取兩個(gè)目標(biāo)框的較小值,標(biāo)準(zhǔn)框與目標(biāo)框的尺寸均存在不確定性,因此保留較小值能有效防止比例漂移的情況.

當(dāng)初始目標(biāo)出現(xiàn)時(shí)判斷目標(biāo)與內(nèi)標(biāo)準(zhǔn)框的重疊比例,本文算法將初始重疊閾值設(shè)為0.4,R ＞0.4時(shí)表示目標(biāo)在門(mén)內(nèi),R ＜0.4時(shí)表示目標(biāo)在門(mén)外.當(dāng)目標(biāo)跟蹤結(jié)束時(shí),終止重疊閾值設(shè)為0.8,當(dāng)R ＞0.8則表示目標(biāo)進(jìn)入門(mén)內(nèi),反之目標(biāo)則未在門(mén)內(nèi).

2 實(shí)驗(yàn)結(jié)果與分析

本文算法通過(guò)Python 實(shí)現(xiàn),編輯平臺(tái)為Atom,所使用的計(jì)算機(jī)為主頻3.40 GHz 的CPU 以及8 GB 的內(nèi)存.

2.1 目標(biāo)跟蹤結(jié)果分析

為了驗(yàn)證算法的有效性,本文選取了10 個(gè)門(mén)店30 天不同時(shí)間段的視頻序列進(jìn)行測(cè)試,將本文算法與KCF算法的結(jié)果進(jìn)行對(duì)比試驗(yàn),選取了其中兩個(gè)門(mén)店的結(jié)果進(jìn)行分析.圖5 的門(mén)店A 存在著光照強(qiáng)烈變化的情況,初始階段兩個(gè)算法均能實(shí)現(xiàn)穩(wěn)定的跟蹤,而當(dāng)目標(biāo)彎腰時(shí)KCF算法產(chǎn)生了漂移現(xiàn)象,而本文算法能夠保持穩(wěn)定的跟蹤.圖6 的門(mén)店B 存在著車(chē)輛遮擋情況,當(dāng)目標(biāo)側(cè)身時(shí)KCF算法跟蹤產(chǎn)生誤差現(xiàn)象,而本文算法能夠一直準(zhǔn)確的進(jìn)行跟蹤.這是由于CN 和HOG特征的融合豐富了目標(biāo)表觀特征描述,能夠應(yīng)對(duì)目標(biāo)表觀變化情況,并且相關(guān)濾波器算法通過(guò)循環(huán)矩陣與核化等方法的使用,大大降低了算法運(yùn)算的復(fù)雜度,使得目標(biāo)在快速移動(dòng)時(shí)能保持穩(wěn)定的跟蹤效果.

圖5 門(mén)店A 跟蹤結(jié)果

圖6 門(mén)店B 跟蹤結(jié)果

2.2 客流量統(tǒng)計(jì)結(jié)果分析

本文所使用的實(shí)驗(yàn)數(shù)據(jù)為多個(gè)餐飲業(yè)門(mén)店的實(shí)際監(jiān)控視頻錄像,視頻格式為AVI,文本共選取了10 家門(mén)店30 天的錄像進(jìn)行結(jié)果測(cè)試,其中涉及白天與晚上.圖7 所示為門(mén)店15 一天的客流量統(tǒng)計(jì)情況,其中將視頻序列分成8 段,前4 段為白天光照條件較好時(shí)的情況,后4 段為晚上光線較差時(shí)的情況,通過(guò)該圖可知,在多個(gè)視頻序列下本文算法的統(tǒng)計(jì)結(jié)果與實(shí)際客流量基本一致,只有在晚上時(shí)有少量的出入,這是由于晚上的光線較差,目標(biāo)背景間的差異較小導(dǎo)致的,但本算法在多目標(biāo)進(jìn)入門(mén)店發(fā)生遮擋等情況下有較好的表現(xiàn),此門(mén)店整體統(tǒng)計(jì)的準(zhǔn)確率為94.8%.圖8 為10 家門(mén)店各自一天累計(jì)進(jìn)店客流的統(tǒng)計(jì)結(jié)果,其中菱形標(biāo)注本為算法的統(tǒng)計(jì)結(jié)果,正方形標(biāo)注為實(shí)際人工客流的統(tǒng)計(jì)結(jié)果,本文方法整體客流統(tǒng)計(jì)平均準(zhǔn)確率可達(dá)93.5%.

圖7 門(mén)店15 客流統(tǒng)計(jì)圖

圖8 各門(mén)店人數(shù)累計(jì)分布圖

為了驗(yàn)證本為算法的準(zhǔn)確性與魯棒性,本文通過(guò)10 個(gè)店鋪各自的準(zhǔn)確率及誤算情況,進(jìn)行對(duì)算法的評(píng)估.通過(guò)客流量檢測(cè)值與真實(shí)值之間的誤差情況進(jìn)行準(zhǔn)確率的計(jì)算,誤算人數(shù)為算法整個(gè)過(guò)程中出現(xiàn)的錯(cuò)誤情況,其中漏檢人數(shù)包含在誤算人數(shù)中.

從表2 可看出本文算法的準(zhǔn)確率幾乎均在90%以上,能得到平均準(zhǔn)確率為93.5%.表中出現(xiàn)漏檢的情況為夜間光線差和特殊天氣情況導(dǎo)致的背景與目標(biāo)間的差異較小,但在人群較多進(jìn)入店鋪時(shí),本文算法能夠得到準(zhǔn)確的統(tǒng)計(jì)結(jié)果,這是由于本文目標(biāo)進(jìn)門(mén)行為判斷算法的設(shè)計(jì),使得目標(biāo)在發(fā)生遮擋情況時(shí)能夠進(jìn)行穩(wěn)定的統(tǒng)計(jì).通過(guò)表3 中本文算法與文獻(xiàn)[14]算法的對(duì)比,可以得到本文算法有更高的準(zhǔn)確率,這是由于本文使用了基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法,使得對(duì)目標(biāo)的初始檢測(cè)更加準(zhǔn)確,設(shè)計(jì)了目標(biāo)跟蹤算法,使得當(dāng)目標(biāo)發(fā)生快速運(yùn)動(dòng)時(shí)跟蹤器能有更好的穩(wěn)定性.

表2 客流量統(tǒng)計(jì)結(jié)果準(zhǔn)確率

表3 兩種算法客流量統(tǒng)計(jì)結(jié)果準(zhǔn)確率對(duì)比

3 結(jié)論與展望

本文算法實(shí)現(xiàn)的是對(duì)于進(jìn)門(mén)客流量的統(tǒng)計(jì),算法整體流程首先是對(duì)獲取的監(jiān)控視頻,利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取,訓(xùn)練YOLOv3-tiny 模型實(shí)現(xiàn)目標(biāo)的識(shí)別,之后通過(guò)多特征融合的核相關(guān)濾波器設(shè)計(jì),實(shí)現(xiàn)對(duì)于快速移動(dòng)目標(biāo)的穩(wěn)定跟蹤,最后通過(guò)進(jìn)門(mén)行為判斷方法的設(shè)計(jì)實(shí)現(xiàn)對(duì)于客流量的準(zhǔn)確統(tǒng)計(jì).通過(guò)實(shí)驗(yàn)驗(yàn)證,本文算法的平均準(zhǔn)確率能達(dá)到93.5%.在目標(biāo)快速移動(dòng)和遮擋情況下能夠?qū)崿F(xiàn)準(zhǔn)確的統(tǒng)計(jì),但在光線昏暗的情況下算法的準(zhǔn)確率需要進(jìn)一步的提高,這是由于在光線較差的情況下目標(biāo)與背景間的差異較小,使得算法對(duì)目標(biāo)特征的獲取產(chǎn)生了誤差,在之后的研究中將進(jìn)一步改進(jìn)目標(biāo)跟蹤方法,改變獲取特征的方式,將多特征融合進(jìn)行特征提取的方式轉(zhuǎn)換成深度卷積特征,實(shí)現(xiàn)對(duì)于目標(biāo)特征更準(zhǔn)確的描述,從而進(jìn)一步提升算法的穩(wěn)定性.