一種改進(jìn)的適用于監(jiān)控視頻的輕量級(jí)入侵檢測(cè)算法及其應(yīng)用

陳 濤， 陳天宇， 萬永菁， 王 嶸， 孫 靜

（1. 華東理工大學(xué)信息科學(xué)與工程學(xué)院，上海 200237；2. 上海卓希智能科技有限公司研發(fā)部，上海 201611）

視頻監(jiān)控系統(tǒng)一直以來都是公共安防的重要組成部分，隨著計(jì)算機(jī)視覺目標(biāo)檢測(cè)算法的發(fā)展，自動(dòng)化、智能化的視頻監(jiān)控系統(tǒng)應(yīng)運(yùn)而生[1]。

對(duì)于視頻的入侵檢測(cè)，通常做法是將視頻看成連續(xù)的幀圖像，通過算法對(duì)每一幀進(jìn)行目標(biāo)檢測(cè)。回顧目標(biāo)檢測(cè)算法的發(fā)展歷程，最初主要為人工特征+分類器的基于機(jī)器學(xué)習(xí)的方法，如梯度方向直方圖(HOG)+支持向量機(jī)(SVM)、哈爾特征(Haar)+自適應(yīng)增強(qiáng)學(xué)習(xí)算法(AdaBoost)等[2-3]。這類目標(biāo)檢測(cè)算法雖然應(yīng)用廣泛，但存在著環(huán)境適應(yīng)性低、計(jì)算量大、受訓(xùn)練樣本影響大、精度相對(duì)較低的檢測(cè)瓶頸。

2013 年，區(qū)域卷積神經(jīng)網(wǎng)絡(luò)特征算法(RCNN)[4]首次將深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)的概念引入目標(biāo)檢測(cè)領(lǐng)域，檢測(cè)性能比基于機(jī)器學(xué)習(xí)的算法大幅提高，奠定了目標(biāo)檢測(cè)算法發(fā)展的基礎(chǔ)。2016 年，YOLOv1 算法[5]通過單階段檢測(cè)的方法提升了檢測(cè)速度，隨后相繼提出的單次多框檢測(cè)算法(SSD)[6]、視網(wǎng)膜網(wǎng)絡(luò)算法(RetinaNet)[7]、YOLOv2[8]、YOLOv3 等[9]主要在精度上逐步進(jìn)行了改進(jìn)。目前，這些深度學(xué)習(xí)算法使用GPU能實(shí)現(xiàn)比較好的檢測(cè)效果，但因?yàn)樗惴ㄟ^于復(fù)雜，在算力、存儲(chǔ)空間有限的場(chǎng)景下并不適用。

縮減主干分類網(wǎng)絡(luò)可以提升算法檢測(cè)速度，但同時(shí)也意味著精度的降低，如YOLOv3-tiny[9]，這也導(dǎo)致了類似于壓縮網(wǎng)絡(luò)(SqueezeNet)[10]的移動(dòng)端輕量級(jí)分類網(wǎng)絡(luò)無法直接應(yīng)用于傳統(tǒng)的目標(biāo)檢測(cè)算法。

針對(duì)上述現(xiàn)狀，考慮對(duì)算法速度、模型體積要求高的場(chǎng)景，本文提出了一種改進(jìn)的輕量級(jí)入侵檢測(cè)算法。首先以自適應(yīng)更新率的混合高斯前景提取算法定位運(yùn)動(dòng)目標(biāo)，針對(duì)鏡頭突變的情況，基于前景圖前后幀的信息熵差自適應(yīng)地調(diào)整背景更新率。提取完成后再通過改進(jìn)的殘差壓縮網(wǎng)絡(luò)(R-SqueezeNet)對(duì)定位目標(biāo)進(jìn)行分類，該分類網(wǎng)絡(luò)借鑒了SqueezeNet的核心構(gòu)件Fire Module 并通過引入殘差結(jié)構(gòu)提升性能。實(shí)驗(yàn)結(jié)果表明，本文算法較傳統(tǒng)目標(biāo)檢測(cè)算法大幅優(yōu)化了檢測(cè)速度和模型體積。

1 改進(jìn)的輕量級(jí)入侵檢測(cè)算法

1.1 整體算法架構(gòu)

入侵檢測(cè)算法流程如圖1 所示。視頻由非制冷型熱像儀采集，非制冷型熱像儀的優(yōu)點(diǎn)在于能夠感知物體的溫度，在惡劣環(huán)境下也能探測(cè)出運(yùn)動(dòng)目標(biāo)。

圖1 整體算法流程Fig. 1 Overall algorithm flow

算法主要由三部分組成：視頻幀預(yù)處理、基于自適應(yīng)更新率的混合高斯前景提取及基于改進(jìn)的RSqueezeNet 卷積神經(jīng)網(wǎng)絡(luò)的特征提取和分類識(shí)別。具體步驟如下：

（1）實(shí)時(shí)讀取監(jiān)控視頻，通過預(yù)處理獲得像素值范圍為[0,255]的灰度視頻幀。預(yù)處理成灰度圖的目的是為了降低整體網(wǎng)絡(luò)的計(jì)算復(fù)雜度。

（2）基于自適應(yīng)更新率的混合高斯前景提取算法提取出運(yùn)動(dòng)前景并等比例調(diào)整成統(tǒng)一大小(不足部分以黑色背景填充)。等比例調(diào)整的目的是為了保留運(yùn)動(dòng)目標(biāo)的形狀輪廓信息，有利于后續(xù)的特征提取及分類識(shí)別。

（3）采用改進(jìn)的R-SqueezeNet 分類網(wǎng)絡(luò)提取運(yùn)動(dòng)前景的特征并識(shí)別，當(dāng)識(shí)別為入侵目標(biāo)時(shí)，實(shí)時(shí)標(biāo)注并報(bào)警，其他目標(biāo)不處理。

1.2 基于自適應(yīng)更新率的混合高斯前景提取算法

混合高斯前景提取是一種基于混合高斯背景建模的算法，最早由Stauffer 提出[11]。該算法對(duì)每個(gè)像素點(diǎn)的像素值復(fù)用多個(gè)單高斯模型，當(dāng)像素值符合其中某個(gè)單高斯分布時(shí)，該像素點(diǎn)被判斷為背景點(diǎn)，否則被判斷為前景點(diǎn)。Zivkovic 等[12-13]在此基礎(chǔ)上對(duì)每個(gè)像素點(diǎn)的高斯分布數(shù)進(jìn)行了自適應(yīng)改進(jìn)，減少了算法的計(jì)算量。

對(duì)于混合高斯前景提取算法，背景更新率 α 是一個(gè)重要指標(biāo)， α ∈(0,1] 。通常情況下， α 越大，背景更新速度越快，但檢測(cè)效果較差，適用于急劇變化的場(chǎng)景。當(dāng) α =1 時(shí)，表現(xiàn)為逐幀更新背景。 α 越小，背景更新速度越慢，但檢測(cè)效果較好，適用于穩(wěn)定的場(chǎng)景[14-15]。當(dāng) α 趨近于0 時(shí)，表現(xiàn)為不更新背景。在文獻(xiàn)[11]中經(jīng)過實(shí)驗(yàn)對(duì)比，綜合考慮背景的更新速度和檢測(cè)性能，更新率默認(rèn)值 α0固定設(shè)為0.001～0.005。

實(shí)驗(yàn)發(fā)現(xiàn)，當(dāng)鏡頭近距離處出現(xiàn)突變情況，即有較大的運(yùn)動(dòng)目標(biāo)突然侵入時(shí)，會(huì)影響攝像頭白平衡、色溫的處理機(jī)制[16]，從而導(dǎo)致其他像素值發(fā)生變化，大量背景點(diǎn)被誤判為前景點(diǎn)，且由于背景更新率較低，短時(shí)間內(nèi)無法恢復(fù)。對(duì)于安防領(lǐng)域的入侵檢測(cè)，鏡頭突變極易產(chǎn)生誤報(bào)，因此實(shí)際檢測(cè)時(shí)，固定的更新率并不適用。鏡頭突變前后的提取效果如圖2 所示。

圖2 鏡頭突變前后的提取效果對(duì)比Fig. 2 Comparison of extraction effect before and after lens mutation

針對(duì)此類情況，對(duì)更新率 α 進(jìn)行自適應(yīng)改進(jìn)，如式（1）所示：

式中， ΔH為混合高斯前景圖前后兩幀的信息熵差。當(dāng)鏡頭發(fā)生突變時(shí)，混合高斯前景圖會(huì)急劇變化，可采用圖像的信息熵差來判定是否發(fā)生突變[17-18]。當(dāng)信息熵差的絕對(duì)值超過閾值tH時(shí)，表明發(fā)生鏡頭突變，置更新率 α 為1，逐幀進(jìn)行背景更新，從而保證被誤判的背景點(diǎn)在最短時(shí)間內(nèi)恢復(fù)。混合高斯前景圖的信息熵如式（2）所示。

式中，P(Xi) 為圖像中像素值等于i的像素個(gè)數(shù)占總像素個(gè)數(shù)的比例。

對(duì)于tH的取值，綜合考慮算法的精度和提取前景點(diǎn)的數(shù)量，基于多個(gè)場(chǎng)景包括白天室內(nèi)、白天室外、夜晚室內(nèi)、夜晚室外、雨天室外等多個(gè)包含鏡頭突變的視頻進(jìn)行實(shí)驗(yàn)，不同tH下算法的表現(xiàn)如圖3 所示。

圖3 不同 下算法的表現(xiàn)Fig. 3 Algorithm performance under different tH

S的計(jì)算公式如（3）所示。

式中：mα0、nα0分別為更新率固定為默認(rèn)值 α0時(shí)，檢測(cè)出前景對(duì)象的個(gè)數(shù)和提取前景點(diǎn)的數(shù)量；m、n分別為自適應(yīng)更新率對(duì)應(yīng)tH下，檢測(cè)出前景對(duì)象的個(gè)數(shù)和提取前景點(diǎn)的數(shù)量。m?mα0<0 表明當(dāng)前對(duì)應(yīng)tH下發(fā)生了漏檢，m?mα0=0 表明當(dāng)前對(duì)應(yīng)tH下未發(fā)生漏檢。

由圖3 可知，由于每種場(chǎng)景的運(yùn)動(dòng)前景數(shù)不同，S的極值不同。但對(duì)于圖3 中的幾種場(chǎng)景，取0.06～0.08 時(shí)算法的S達(dá)到相對(duì)較大的值。

圖4 示出了tH=0.07 時(shí)，發(fā)生鏡頭突變后的相同時(shí)間段內(nèi)，基于固定更新率和自適應(yīng)更新率算法的提取效果對(duì)比，可以看出基于自適應(yīng)更新率算法提取 的無效前景對(duì)象大幅減少。

圖4 提取效果對(duì)比Fig. 4 Comparison of extraction effect

1.3 改進(jìn)的輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)R-SqueezeNet

以3 個(gè)Fire module 為例，改進(jìn)的R-SqueezeNet 分類網(wǎng)絡(luò)結(jié)構(gòu)如圖5 所示。該網(wǎng)絡(luò)借鑒了SqueezeNet[10]的核心構(gòu)件Fire module，并通過引入殘差結(jié)構(gòu)提升網(wǎng)絡(luò)性能。

圖5 R-SqueezeNet 結(jié)構(gòu)Fig. 5 Structure of R-SqueezeNet

Fire module 是模塊化的卷積(Conv)層，由Squeeze層和Expand 層組成，其計(jì)算流程如圖6 所示。其中H、W、M分別表示特征圖的長、寬、通道數(shù)；k、c分別表示卷積核的大小、個(gè)數(shù)；S1為Squeeze 層中1×1 卷積核的數(shù)量；E1、E3分別為Expand 層中1×1、3×3 卷積核的數(shù)量。Fire module 的基本網(wǎng)絡(luò)單元在保證特征信息不丟失的前提下，減少3×3 卷積核的通道數(shù)，降低網(wǎng)絡(luò)模型的參數(shù)量[10]。

圖6 Fire module 計(jì)算流程Fig. 6 Calculation process of fire module

殘差網(wǎng)絡(luò)[19](ResNet)中殘差結(jié)構(gòu)的提出有效解決了深度神經(jīng)網(wǎng)絡(luò)的退化問題[20-21]，殘差結(jié)構(gòu)如圖7所示。R-SqueezeNet 通過引入殘差結(jié)構(gòu)，在不增加參數(shù)的前提下，提升了網(wǎng)絡(luò)模型的準(zhǔn)確率。

圖7 殘差結(jié)構(gòu)Fig. 7 Residual structure

2 實(shí)驗(yàn)與結(jié)果分析

實(shí)驗(yàn)的軟件環(huán)境為OpenCV 及Keras 深度學(xué)習(xí)框架，硬件環(huán)境為Intel i5-8250U 1.6 GHz 低壓處理器。以行人為入侵對(duì)象進(jìn)行檢測(cè)實(shí)驗(yàn)。共獲取17 493個(gè)樣本進(jìn)行訓(xùn)練，其中正樣本8 693 個(gè)，負(fù)樣本8 800個(gè)；共獲取4 374 個(gè)樣本進(jìn)行測(cè)試，其中正樣本2 174個(gè)，負(fù)樣本2 200 個(gè)。正負(fù)樣本在白天、夜晚、雨天、晴天等多個(gè)環(huán)境下采集，包含行人、機(jī)動(dòng)車、非機(jī)動(dòng)車、動(dòng)物、植被等。

2.1 等比例調(diào)整運(yùn)動(dòng)前景

采用自適應(yīng)更新率的混合高斯前景提取算法獲得運(yùn)動(dòng)前景后，等比例調(diào)整運(yùn)動(dòng)前景的大小以保留運(yùn)動(dòng)前景的形狀輪廓信息，有助于卷積網(wǎng)絡(luò)的特征提取和分類識(shí)別。圖8 示出了基于LeNet[22]、AlexNet[23]、ZFNet[24]及R-SqueezeNet 等比例調(diào)整及非等比例調(diào)整運(yùn)動(dòng)前景的分類精度(Accuracy)對(duì)比結(jié)果。其中，R-SqueezeNet 采用3 個(gè)Fire module。由圖8 可知，在多個(gè)卷積網(wǎng)絡(luò)模型下，以等比例調(diào)整的運(yùn)動(dòng)前景作為樣本的分類精度均優(yōu)于以非等比例調(diào)整的運(yùn)動(dòng)前景作為樣本的分類精度。

圖8 不同前景調(diào)整方式的分類精度對(duì)比Fig. 8 Comparison of different foreground resizing methods

2.2 R-SqueezeNet

為確定Fire module 的個(gè)數(shù)和殘差結(jié)構(gòu)是否有效，在不同條件下進(jìn)行對(duì)比實(shí)驗(yàn)。表1 示出了本文采集樣本、公開的Kaggle 貓狗數(shù)據(jù)集及Cifar-10 隨機(jī)兩類數(shù)據(jù)集下統(tǒng)一大小后分類網(wǎng)絡(luò)的檢測(cè)精度、單張推理時(shí)間及模型體積對(duì)比結(jié)果。

由表1 可知，殘差結(jié)構(gòu)在對(duì)網(wǎng)絡(luò)模型體積、單張推理時(shí)間影響不大的前提下，一定程度地提升了分類模型的準(zhǔn)確率。在Fire module 增加至3 個(gè)后，準(zhǔn)確率提升不明顯。以采用3 個(gè)Fire module 并引入殘差結(jié)構(gòu)的網(wǎng)絡(luò)(R-SqueezeNet 3)和采用4 個(gè)Fire module并引入殘差結(jié)構(gòu)的網(wǎng)絡(luò)(R-SqueezeNet 4)對(duì)比，RSqueezeNet 4 的模型體積增加約一倍，分類準(zhǔn)確率平均僅提升約0.18%。因此綜合模型體積、分類準(zhǔn)確率及單張推理時(shí)間，建議采用3 個(gè)Fire module。

表1 分類網(wǎng)絡(luò)模型對(duì)比Table 1 Comparison of classification network models

2.3 入侵檢測(cè)算法

對(duì)于監(jiān)控視頻的入侵檢測(cè)，采用誤檢率和漏檢率判斷算法的檢測(cè)精度。考慮到視頻幀具有連續(xù)性，定義當(dāng)檢測(cè)區(qū)域內(nèi)出現(xiàn)非入侵對(duì)象被檢測(cè)為入侵對(duì)象時(shí)，即發(fā)生誤檢（False detection，F(xiàn)D）；當(dāng)入侵對(duì)象從進(jìn)入檢測(cè)區(qū)域到離開期間被正確檢測(cè)的幀數(shù)占期間總視頻幀數(shù)的比例低于50%時(shí)，即發(fā)生漏檢（Missed detection，MD）。

實(shí)驗(yàn)在相同的軟硬件條件下進(jìn)行，以檢測(cè)入侵的行人為例。圖9 示出了不同下基于不同特征提取網(wǎng)絡(luò)的算法性能對(duì)比。表2 示出了基于自適應(yīng)更新率前景提取和非自適應(yīng)更新率前景提取的算法性能對(duì)比。

圖9 不同 tH 下的算法性能對(duì)比Fig. 9 Performance comparison of algorithms at different tH

表2 基于自適應(yīng)和非自適應(yīng)前景提取的算法對(duì)比Table 2 Comparison of algorithms based on adaptive and nonadaptive foreground extraction

由圖9 可知，當(dāng)tH取0.06～0.08 時(shí)，對(duì)于不同特征提取網(wǎng)絡(luò)，入侵檢測(cè)算法對(duì)應(yīng)的誤檢率和漏檢率保持不變。由圖3 可知，白天室外及夜晚室外場(chǎng)景下，取0.06 時(shí)S取得極大值，且tH<0.06 時(shí)S值急速降低，出現(xiàn)漏報(bào)現(xiàn)象，因此綜合考慮入侵檢測(cè)算法性能和其他可能出現(xiàn)的特殊情況，建議取0.07。

由表2 可知，基于自適應(yīng)前景提取的算法在不影響漏檢率的前提下，降低了算法的誤檢率。

本文算法和傳統(tǒng)目標(biāo)檢測(cè)算法的性能對(duì)比如表3所示，其中FPS 表示每秒幀數(shù)，用于評(píng)估目標(biāo)檢測(cè)算法的檢測(cè)速度。由表3 可知，在相同軟硬件條件下，本文算法和傳統(tǒng)目標(biāo)檢測(cè)算法相比，在檢測(cè)精度相近的前提下，檢測(cè)速度較傳統(tǒng)目標(biāo)檢測(cè)算法平均提升約30 倍。模型體積低于1 MB，縮減至YOLOv3-tiny 的1/40。

表3 本文算法和傳統(tǒng)目標(biāo)檢測(cè)算法對(duì)比Table 3 Comparison with traditional object detection algorithm

3 結(jié) 論

目標(biāo)檢測(cè)包括定位和分類兩大任務(wù)，傳統(tǒng)的深度學(xué)習(xí)算法用同一個(gè)主干網(wǎng)絡(luò)進(jìn)行位置回歸和目標(biāo)分類，算法模型較為復(fù)雜，無法應(yīng)用于對(duì)檢測(cè)速度、模型體積要求高的場(chǎng)景。針對(duì)此現(xiàn)狀，本文提出一種改進(jìn)的輕量級(jí)入侵檢測(cè)算法：先通過自適應(yīng)更新率的混合高斯前景提取算法完成入侵檢測(cè)的定位任務(wù)，再基于R-SqueezeNet 網(wǎng)絡(luò)對(duì)定位的運(yùn)動(dòng)目標(biāo)進(jìn)行分類判別。本文算法通過前景提取代替基于主干網(wǎng)絡(luò)的位置回歸及分類網(wǎng)絡(luò)的優(yōu)化，整體的檢測(cè)速度、模型體積均優(yōu)于傳統(tǒng)目標(biāo)檢測(cè)算法。