基于OpenCV的人流量監(jiān)測(cè)系統(tǒng)

王崇國(guó)　石剛　陳田希　劉丹妮　王志遠(yuǎn)　周司宇

摘要：針對(duì)人員密集場(chǎng)所人流量統(tǒng)計(jì)準(zhǔn)確度較低，實(shí)時(shí)性較差的問題，提出采用基于OpenCV的算法實(shí)時(shí)進(jìn)行人流量分析。首先，用Tensorflow中的視頻分解為圖像算法將采集到的視頻分解為幀，對(duì)采集到的視頻幀圖像進(jìn)行灰度化，去噪聲等預(yù)處理增強(qiáng)前景物體邊緣;其次，通過(guò)基于MobileNet V2的SSD算法進(jìn)行模型訓(xùn)練，meanshift算法進(jìn)行跟蹤檢測(cè)實(shí)現(xiàn)人流量計(jì)數(shù);最后，將實(shí)時(shí)數(shù)據(jù)通過(guò)展示系統(tǒng)輸出并實(shí)現(xiàn)數(shù)據(jù)的可視化。結(jié)果表明，算法具有較高準(zhǔn)確性和實(shí)時(shí)性。

關(guān)鍵詞：深度學(xué)習(xí);OpenCV;SSD

中圖分類號(hào)：TP212? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2021）07-0235-02

Abstract：Aiming at the low accuracy and poor real-time performance of pedestrian flow statistics in densely populated places， this paper proposes an algorithm based on OpenCV for real-time traffic analysis. Firstly， the video is decomposed into frames by using Tensorflow's video decomposition algorithm， and the collected video frame images are grayed and denoised to enhance the edge of the foreground object; secondly， the foreground object edge is enhanced by using MobileNet The SSD algorithm of V2 is used to train the model， and the meanshift algorithm is used to track and detect the pedestrian flow. Finally， the real-time data is output through the display system and the data visualization is realized. Experimental results show that the algorithm has high accuracy and real-time performance.

Keywords：deep learning; OpenCV; SSD

隨著現(xiàn)代社會(huì)逐步變得智能化，計(jì)算機(jī)視覺和圖像處理已經(jīng)廣泛應(yīng)用到工業(yè)，醫(yī)療，軍事，通信以及航空航天等各個(gè)領(lǐng)域。其中對(duì)于視頻的處理具有廣闊的應(yīng)用前景，監(jiān)控在很多地方發(fā)揮著至關(guān)重要的作用，例如安保和巡查工作等，但觀察監(jiān)控中的視頻卻是一件相當(dāng)乏味的工作。所以我們利用深度學(xué)習(xí)等知識(shí)，希望將人類從這一乏味的工作中解放出來(lái)。

現(xiàn)實(shí)中，當(dāng)面臨海量的視頻數(shù)據(jù)時(shí)，視頻數(shù)據(jù)的非結(jié)構(gòu)化特點(diǎn)，使得計(jì)算機(jī)很難得到視頻中具體有效的數(shù)據(jù)。如何讓視頻中的非結(jié)構(gòu)化信息自動(dòng)化的加工生成結(jié)構(gòu)化的數(shù)據(jù)，是當(dāng)前研究的一個(gè)重要熱點(diǎn)。通過(guò)對(duì)視頻信息的結(jié)構(gòu)化，可以得到超過(guò)人工值守獲取更多更有價(jià)值的信息。然而，隨著科技水平的不斷提高，攝像頭的清晰度越來(lái)越高、每秒幀數(shù)也在增加，成本卻不斷在降低。但是加工和處理視頻所需的計(jì)算資源卻也在不斷增長(zhǎng)。如果加上人流量監(jiān)控等功能，背后需要更為龐大的計(jì)算資源支持。否則無(wú)法進(jìn)行實(shí)時(shí)處理，從而導(dǎo)致視頻結(jié)構(gòu)化設(shè)想難以在現(xiàn)實(shí)中全面應(yīng)用。

針對(duì)以上問題，本文提出的基于OpenCV的人流量檢測(cè)算法，首先用Tensorflow中的算法將采集到的視頻分解為幀，對(duì)采集到的視頻幀圖像進(jìn)行灰度化、去噪聲等預(yù)處理增強(qiáng)前景物體邊緣，減少外界干擾;其次，通過(guò)基于MobileNet V2的SSD算法進(jìn)行模型的訓(xùn)練，meanshift算法進(jìn)行跟蹤檢測(cè)實(shí)現(xiàn)人流量計(jì)數(shù);最后，將實(shí)時(shí)數(shù)據(jù)通過(guò)展示系統(tǒng)輸出并實(shí)現(xiàn)數(shù)據(jù)的可視化。測(cè)試結(jié)果表明，算法在以往的基礎(chǔ)上提高了準(zhǔn)確性和實(shí)時(shí)性。

1設(shè)計(jì)思路

人流量統(tǒng)計(jì)系統(tǒng)主要包括采集人像信息，圖像預(yù)處理，跟蹤識(shí)別，計(jì)數(shù)四部分。對(duì)于采集到的視頻幀圖像先進(jìn)行灰度化處理和去噪聲比處理，為方便統(tǒng)計(jì)結(jié)果，結(jié)合SSD模型和HOG特征提取和SVM分類器進(jìn)行人體目標(biāo)的識(shí)別，使識(shí)別的目標(biāo)符合人物形象的40%即可作為一個(gè)目標(biāo)量。之后結(jié)合Android平臺(tái)的推流系統(tǒng)，以及封裝opencv、OpenKinect、videoInput等方法在Android平臺(tái)上進(jìn)行結(jié)果處理功能，為精確統(tǒng)計(jì)數(shù)人流量和有效避免障礙物遮擋和目標(biāo)變形，計(jì)數(shù)采用Meanshift的算法。

2圖像預(yù)處理

2.1 圖像灰度化

由于平均值法和最大值法在灰度化時(shí)的效果較加權(quán)平均法效果較差，所以采用加權(quán)平均法。

加權(quán)平均法中，由于人眼對(duì)綠色敏感最高，對(duì)藍(lán)色敏感最低，故采用心理學(xué)灰度公式（1）：

以上公式中表示三個(gè)通道的權(quán)值，且三者之和為1。

2.2 圖像去噪聲

采用中值濾波法，該方法擁有諸多優(yōu)點(diǎn)，同時(shí)存在丟失圖像細(xì)節(jié)的缺陷。為避免這種缺陷，采用基于個(gè)數(shù)的中值濾波法。該方法需設(shè)定一閾值T，用以限制鄰域內(nèi)像素點(diǎn)與中心像素點(diǎn)灰度差絕對(duì)值的范圍，從而將含噪圖像中的像素點(diǎn)的屬性劃分為以下三類：噪點(diǎn)、圖像邊緣以及平坦區(qū)域。以3*3窗口為例，假設(shè)中心像素點(diǎn)為8，定義m為中心像素點(diǎn)灰度差分的絕對(duì)值大于閾值T的相鄰像素點(diǎn)的個(gè)數(shù)，則當(dāng)m≤2時(shí)，中心像素點(diǎn)為平坦區(qū)域點(diǎn);當(dāng)2

3 跟蹤檢測(cè)技術(shù)

3.1 帶有MobileNet v2的SSD算法

設(shè)計(jì)采用了帶有MobileNet v2的SSD算法，如圖1所示。和MobileNet V1相比，MobileNet V2改進(jìn)有兩點(diǎn)：1）Linear Bottlenecks，為了保證模型的表達(dá)能力，去掉了小維度輸出層后面的非線性激活層;2）Inverted Residual block，該結(jié)構(gòu)先擴(kuò)增再縮減，與residual block正好相反，因此shotcut連接的是維度縮減后的feature map。

當(dāng)stride=1時(shí)，才會(huì)使用elementwise 的sum將輸入和輸出特征連接;

stride=2時(shí)，無(wú)short cut連接輸入和輸出特征。

SSD算法的檢測(cè)精度和速度都非常出色，主要是采用了基于回歸的模式，可以直接在網(wǎng)絡(luò)中回歸出物體的位置和類別。同時(shí)利用基于區(qū)域的相關(guān)概念，在檢測(cè)過(guò)程中，使用許多候選區(qū)域作為ROI。

SSD的骨干網(wǎng)絡(luò)是基于傳統(tǒng)的圖像分類網(wǎng)絡(luò)，經(jīng)過(guò)卷積層和池化層的處理，可以得到特征圖，從而在特征圖上進(jìn)行回歸，得到物體的位置和類別。

SSD對(duì)多個(gè)特征圖進(jìn)行分析，對(duì)于神經(jīng)網(wǎng)絡(luò)，淺層的特征圖適合進(jìn)行小物體的檢測(cè);而較深的特征圖適合大物體的檢測(cè)。

3.2 meanshift算法

meanshift算法實(shí)際是一種基于密度的聚類算法。其主要思路是計(jì)算某一點(diǎn)A與其周圍半徑R內(nèi)的向量距離的平均值M，計(jì)算出該點(diǎn)下一步移動(dòng)方向（A=M+A）。如果該點(diǎn)不在發(fā)生變化時(shí)，該點(diǎn)就會(huì)與周圍的區(qū)域點(diǎn)形成一個(gè)類簇，計(jì)算出這個(gè)類簇與其他類簇的距離，當(dāng)該距離小于閾值時(shí)，會(huì)合并為一個(gè)類簇，否則就單獨(dú)形成一個(gè)類簇，以此類推，直到所有點(diǎn)被選取。

對(duì)于給定的n維空間中的m個(gè)樣本點(diǎn)，i=1...m，對(duì)于其中一個(gè)樣本X，它的均值漂移向量為式（2）：

其中Sh指的是一個(gè)半徑為h的球狀領(lǐng)域，定義為式（3）：

meanshift算法根據(jù)反向投影圖和輸入的方框進(jìn)行meanshift迭代，它是向中心移動(dòng)，就是向反向投影圖中概率大的地方移動(dòng)，所以始終會(huì)移動(dòng)到目標(biāo)上。

4 系統(tǒng)實(shí)現(xiàn)

使用安卓端推流，將攝像頭采集的視頻推到服務(wù)器上。Android端首先進(jìn)行了用戶的登錄注冊(cè)，登錄后可以查看攝像頭所錄視頻，將視頻傳到服務(wù)器端。在安卓端的代碼開發(fā)中進(jìn)行了Butter Knife的安裝。Butter Knife通過(guò)注解的方式來(lái)替代android中view的相關(guān)操作。減少大量的findViewById以及setOnClickListener代碼，且對(duì)性能的影響較小。使用JavaCV中的utility類方便在Java平臺(tái)上調(diào)用這些接口。

基于Tensorflow的人流量監(jiān)測(cè)系統(tǒng)對(duì)輸入的圖像進(jìn)行處理，首先用智能攝像頭采集視頻，用Tensorflow中的視頻分解為圖像算法，將采集到的視頻分解為幀，分解后的圖片保存到一個(gè)文件夾中作為訓(xùn)練集。開始要在config配置文件中定義訓(xùn)練任務(wù)，配置好相應(yīng)的路徑，然后執(zhí)行命令開始訓(xùn)練。最后導(dǎo)出訓(xùn)練模型，然后在視頻流上使用它，從視頻源中提取單幀，通過(guò)OpenCV的VedioCapture方法完成。

5 系統(tǒng)測(cè)試

對(duì)該軟件的主要功能進(jìn)行測(cè)試，首先對(duì)視頻進(jìn)行取幀，從而進(jìn)行檢測(cè)，測(cè)試結(jié)果如圖2所示。

從圖片中可以看出，人流量識(shí)別正確率相對(duì)較高，但在人流特別密集的情況下有些人并未識(shí)別出來(lái)，對(duì)算法仍需進(jìn)行改進(jìn)。

6結(jié)語(yǔ)

基于OpenCV來(lái)研究人流量檢測(cè)的相關(guān)方法，與一些目標(biāo)檢測(cè)的算法進(jìn)行了比較，最終在檢測(cè)時(shí)選取了帶有MobileNet v2的SSD算法，該算法相對(duì)來(lái)說(shuō)在檢測(cè)精度和速度方面都有了一定的提高。該系統(tǒng)人流量識(shí)別正確率相對(duì)較高，算法具有較高準(zhǔn)確性和實(shí)時(shí)性。

參考文獻(xiàn)：

[1]卜秋月.基于OpenCV的人臉識(shí)別系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].吉林大學(xué)，2015.

[2]吳曉陽(yáng).基于OpenCV的運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤[D].浙江大學(xué)，2008.

[3]牛秋月，李超，唐國(guó)良.基于智能監(jiān)控視頻的人流量統(tǒng)計(jì)[J].電子技術(shù)與軟件工程，2018（4）：64-66.

【通聯(lián)編輯：代影】