基于深度學習的遠程視頻監(jiān)控異常圖像檢測*

楊亞虎，王 瑜，陳天華

(北京工商大學 人工智能學院，北京 100048)

0 引 言

隨著現(xiàn)代科技的迅猛發(fā)展，以及人們對安全性要求的顯著提高，成像設(shè)備的使用數(shù)量越來越多，覆蓋范圍也越來越廣。傳統(tǒng)的成像設(shè)備只能捕捉、存儲和回放視頻，對于異常圖像[1]，例如模糊、遮擋和場景切換等，并不能立即向監(jiān)控中心發(fā)出警報，且多由工作人員值守，容易疲勞、誤報，尤其對于復雜場景更是難以應(yīng)對。因此，研究全自動遠程視頻監(jiān)控異常圖像智能檢測方法很有必要。

智能視頻監(jiān)控系統(tǒng)是在計算機視覺(Computer Vision)發(fā)展的基礎(chǔ)上提出來的，目前已有較多研究成果和實際應(yīng)用的案例，但大多數(shù)僅針對某一類異常干擾進行識別。文獻[2]考慮到不同模糊檢測算法的互補特性，進而提出了基于隨機森林的像素級融合、基于條件隨機場的圖像級融合，以及基于回歸樹場圖像內(nèi)容感知的融合三種融合方法。文獻[3]通過結(jié)合稀疏自編碼器的自動提取圖像特征的能力和深度置信網(wǎng)絡(luò)優(yōu)秀的分類性能，提出了一種基于深度學習的監(jiān)控視頻樹葉遮擋檢測方法。文獻[4]將RGB圖像進行雙邊濾波，并將濾波后的圖像轉(zhuǎn)換到HSV空間，在HSV彩色空間內(nèi)利用矢量求導方法計算彩色圖像的梯度，最后利用改進的線段分割檢測(Line Segmentation Detection,LSD)算法實現(xiàn)圖像直線的提取。文獻[5]根據(jù)動態(tài)高低閾值判斷是否發(fā)生場景突變和場景漸變，有效克服了傳統(tǒng)灰度法的誤檢和直方圖法的漏檢問題。此外，南京航空航天大學[6]、中國石油大學[7]也開展了相關(guān)研究。中國科學院自動化研究所[8]從底層、中層、高層對對智能視頻監(jiān)控技術(shù)進行了詳細綜述。以上算法在其特定應(yīng)用場景下具有良好的識別效果，但不能同時識別出多種異常干擾。

近年來，深度學習技術(shù)在分類、檢測和識別等領(lǐng)域表現(xiàn)優(yōu)越。基于卷積神經(jīng)網(wǎng)絡(luò)而衍生的分類網(wǎng)絡(luò)中，最具代表的是VGG16、VGG19、SqueezeNet、InceptionV4、DenseNet121、ResNet18和ResNet50等端到端的圖像分類網(wǎng)絡(luò)。基于這些技術(shù)，視頻監(jiān)控中的異常事件檢測也有很大進展[3,9-10]。相比于傳統(tǒng)通過人工提取特征，再使用支持向量機(Support Vector Machine,SVM)分類器進行攝像頭異常干擾的分類識別[11]，或利用尺度不變特征變換(Scale-Invariant Feature Transform，SIFT)函數(shù)獲取圖像的特征，通過圖像特征的變化來判斷攝像頭是否發(fā)生干擾[12]，將深度學習技術(shù)引入攝像頭異常干擾識別當中，結(jié)合云計算和圖像處理器的優(yōu)秀加速計算性能，為攝像頭異常干擾識別提供了全新的思路。

為此，本文針對上述算法的不足，提出了一種基于深度學習的全自動遠程視頻監(jiān)控異常圖像識別算法。算法利用設(shè)計的CNN網(wǎng)絡(luò)提取標準化后的視頻差分圖特征，實時輸出多種異常干擾圖像識別結(jié)果，且具有較高的識別準確率。

1 研究方法

1.1 差分圖的獲取

成像設(shè)備采集到的視頻序列具有連續(xù)性的特點，如果鏡頭沒有遮擋、場景切換、模糊等異常發(fā)生，則連續(xù)幀的變化很微弱；如果有上述異常發(fā)生，則連續(xù)的幀與幀之間會有明顯的變化。幀間差分法借鑒了上述思想，可以獲得幀間差異明顯的差分圖。該類算法對視頻流中的兩幀圖像Fn(x,y)和Fn-1(x,y)進行差分運算，獲得視頻差分圖像Dn(x,y),如式(1)所示：

Dn(x,y)=|Fn(x,y)-Fn-1(x,y)| 。

(1)

通過對視頻流中的彩色圖像求取差分圖，以削弱圖像的相似部分，突出圖像的變化部分，可以為深度學習網(wǎng)絡(luò)的特征提取提供強有力的基準。

1.2 數(shù)據(jù)預處理

獲得視頻差分圖后，由于差分圖可能具有不同的分辨率，不適合直接輸入到神經(jīng)網(wǎng)絡(luò)的輸入層。此外，為了使得訓練后的模型更具有泛化性，需要對其進行標準化處理。圖像標準化將數(shù)據(jù)實現(xiàn)中心化處理，根據(jù)凸優(yōu)化理論與數(shù)據(jù)概率分布相關(guān)知識，數(shù)據(jù)中心化符合數(shù)據(jù)分布規(guī)律，更容易取得訓練之后的泛化效果。對于采用不同成像設(shè)備采集到的視頻圖像，或者是來源不同的視頻圖像，由于明暗、對比度等各種問題，會出現(xiàn)像素值過大的情況，此時進行圖像標準化以后，數(shù)據(jù)與數(shù)據(jù)之間的差異被控制在一個很小的范圍內(nèi)，避免了梯度發(fā)生振蕩，可以加速收斂速度，也可以在一定程度上提高收斂精度。

本文先將原始視頻差分圖像統(tǒng)一成256×256格式，再進行圖像標準化，如式(2)所示：

(2)

式中：x表示圖像，μ是圖像的均值，σ表示標準方差。視頻圖像標準化前后對比如圖1所示。

圖1 視頻圖像標準化前后對比

對于標準化后的視頻差分圖Cn(x,y)，當其超過一定閾值T時，像素值設(shè)為1，否則為0，即可獲得二值差分圖Rn′(x,y)，如式(3)所示：

(3)

1.3 卷積神經(jīng)網(wǎng)絡(luò)的設(shè)計

獲得標準化后的視頻差分圖后，利用自行設(shè)計的卷積神經(jīng)網(wǎng)絡(luò)深度學習模型可以全自動地實現(xiàn)遠程視頻監(jiān)控異常圖像檢測。

1.3.1 卷積層

卷積神經(jīng)網(wǎng)絡(luò)中的卷積操作可以看作是輸入樣本和卷積核的內(nèi)積運算，第一層卷積層對輸入樣本進行卷積操作后就可以得到特征圖。為了得到和原始輸入樣本大小相同的特征圖，本文采用對輸入樣本進行SAME的填充方式，填充后再進行卷積操作。卷積層是使用同一卷積核對每個輸入樣本自上而下、自左向右進行卷積操作的。對256×256的輸入樣本填充，并使用3×3×16的卷積核進行卷積操作后，得到256×256×16的特征圖。另外，卷積結(jié)果不能直接作為特征圖，需通過激活函數(shù)計算后，把函數(shù)輸出結(jié)果作為特征圖。常見的激活函數(shù)有sigmoid、tanh、ReLU等函數(shù)，本文使用的是ReLU函數(shù)，圖2中卷積核的滑動步長為1。本文第二個卷積層的卷積核大小及尺寸為3×3×32，卷積過程中同樣使用SAME的填充方式進行填充。

圖2 卷積操作示意圖

由于Xavier初始化方法結(jié)合了ReLU函數(shù)，并得到了優(yōu)秀的分類效果，因此本文方法使用的兩個卷積層中，卷積核的參數(shù)都由Xavier初始化產(chǎn)生。

由于低層特征在這里主要表現(xiàn)為視頻干擾圖像的外觀特征，包括紋理、顏色、邊緣和形狀，區(qū)分時是逐塊進行，并未涉及太多語義層，因而設(shè)計了兩層卷積層。

1.3.2 池化層

池化層的作用是減小卷積層產(chǎn)生的特征圖尺寸。選取一個區(qū)域，根據(jù)該區(qū)域的特征圖得到新的特征圖，這個過程被稱為池化操作。例如，對一個2×2的區(qū)域進行池化操作后，得到的新特征圖會被壓縮為原來尺寸的1/4，因此池化操作可以降低特征圖的維度。主要的池化操作有最大池化、平均池化和Lp池化，如圖3所示。本文所用的是圖3(a)所示的最大池化，最大池化是選取圖像區(qū)域內(nèi)的最大值作為新的特征圖。

圖3 主要的池化操作

1.3.3 局部響應(yīng)歸一化層

為了提高準確率，本文在網(wǎng)絡(luò)設(shè)計時加入了局部響應(yīng)歸一化層(Local Response Normalization，LRN)，對局部神經(jīng)元的活動創(chuàng)建競爭機制，使得其中響應(yīng)比較大的值變得相對更大，并抑制其他反饋較小的神經(jīng)元，可以增強模型的泛化能力。局部響應(yīng)歸一化公式如式(4)所示：

(4)

1.3.4 全連接層

和多層感知器一樣，全連接層也是首先計算激活值，然后通過激活函數(shù)計算各單元的輸出值。本文使用ReLU函數(shù)。由于全連接層的輸入即是卷積層或池化層的輸出，表現(xiàn)為二維的特征圖，所以需要對二維特征圖進行降維處理。本文第一個全連接層和第二個全連接層中神經(jīng)元的個數(shù)分別為256，全連接層的操作如圖4所示。

圖4 全連接層操作示意圖

通過卷積對輸入圖像進行特征提取，池化將得到的特征圖像進行分塊降維，最后全連接層將學到的分布式特征表示映射到樣本標記空間。

1.3.5 輸出層

和多層感知器的輸出層一樣，卷積神經(jīng)網(wǎng)絡(luò)的輸出層也是使用似然函數(shù)計算各類別的似然概率。因為本文輸出有四種類別，具體包括遮擋、場景切換、模糊和正常，所以共有4個輸出單元，每個單元對應(yīng)一個類別，使用式(5)的softmax函數(shù)可以計算輸出單元的似然概率，然后把概率最大的數(shù)字作為最終的分類結(jié)果輸出。

(5)

式中：Q表示總的輸出單元數(shù)，本文取值為4；xq為輸出層的輸入；p(yk)表示第k個輸出單元的概率。

1.4 網(wǎng)絡(luò)訓練

為了驗證本文提出的算法效果，具體實驗設(shè)計過程包括訓練數(shù)據(jù)的準備、模型參數(shù)的確定、模型訓練，以及模型對視頻監(jiān)控異常圖像檢測的結(jié)果等。實驗環(huán)境為Ubuntu16.04 LTS，Python 3，全自動遠程視頻監(jiān)控異常圖像檢測網(wǎng)絡(luò)模型在深度學習框架TensorFlow 1.8.0上搭建，模型在一塊顯存為12 GB的GPU(NVIDIA Titan XP)上訓練。

1.4.1 模型相關(guān)參數(shù)

在網(wǎng)絡(luò)模型訓練時，本文采用了Xavier的神經(jīng)網(wǎng)絡(luò)權(quán)值初始化方法，保證每層神經(jīng)元輸入輸出方差一致，從而避免變化尺度在最后一層網(wǎng)絡(luò)中爆炸或者彌散。Xavier初始化方法即將參數(shù)初始化成式(6)范圍內(nèi)的均勻分布：

(6)

式中：nk和nk+1分別表示輸入層和輸出層神經(jīng)元個數(shù)。

由于卷積層和池化層都可以看作是有部分連接的全連接層，因此，卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)訓練也是使用誤差反向傳播算法進行訓練。網(wǎng)絡(luò)訓練時采用批處理方式，批處理量為10，學習率0.000 1，最大訓練次數(shù)(epochs)為100。各層的參數(shù)匯總?cè)绫?所示，其中，參數(shù)Shape表示卷積核的大小和個數(shù)，Strides表示進行卷積操作時卷積核移動的步長。

表1 網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)

CNN中采用反向傳播算法時的權(quán)值調(diào)整表示如下：

(7)

式中：ΔWj為權(quán)值調(diào)整量，η為學習率，E為輸出誤差。

經(jīng)過上述網(wǎng)絡(luò)訓練后，得到的用于全自動遠程視頻監(jiān)控異常圖像檢測的模型結(jié)構(gòu)如圖5所示，其中，送入網(wǎng)絡(luò)結(jié)構(gòu)輸入層的是經(jīng)過標準化以后的視頻差分圖。

圖5 網(wǎng)絡(luò)結(jié)構(gòu)

1.4.2 模型評價指標

利用訓練數(shù)據(jù)訓練模型后，用測試數(shù)據(jù)評估模型的性能，具體如式(8)所示：

(8)

1.5 算法流程

本文提出的全自動遠程視頻監(jiān)控異常圖像檢測算法具體包括四步：第一步，對視頻流數(shù)據(jù)每隔30幀取差分圖，并標準化差分圖；第二步，設(shè)計全自動遠程視頻監(jiān)控異常圖像檢測模型；第三步，設(shè)置訓練模型的相關(guān)參數(shù)和策略并將訓練后的模型保存在saved_model文件夾下；第四步，用測試集數(shù)據(jù)驗證saved_model文件夾下模型的分類性能，并采用客觀評測方法評估模型。

2 實驗結(jié)果與分析

2.1 實驗數(shù)據(jù)

實驗所用的視頻數(shù)據(jù)集源于北京工商大學計算成像實驗室自主拍攝的視頻，共有正常、遮擋、模糊、場景切換4類視頻，每類100個，每個時長約30 s。其中，遮擋異常定義為視頻監(jiān)控時出現(xiàn)圖6(a)所示的鏡頭遮擋現(xiàn)象，模糊異常定義為視頻監(jiān)控時出現(xiàn)圖6(b)所示的鏡頭模糊現(xiàn)象，切換異常定義為視頻監(jiān)控時突然出現(xiàn)圖6(c)所示的鏡頭轉(zhuǎn)換現(xiàn)象。利用320個視頻得到的差分圖進行訓練，160個全新的視頻用來測試，即用于訓練的視頻差分圖共有15 550幅，其中正常3 791幅，遮擋3 813幅，模糊3 864幅，場景切換4 082幅，測試視頻160個。視頻像素大小為1 920 pixel×1 080 pixel。圖3為從4類監(jiān)控視頻中截取的部分視頻圖像。

圖6 四種監(jiān)控視頻圖像示例

2.2 結(jié)果與分析

為了驗證本文提出方法的有效性，精心設(shè)計了模型的實驗過程，并從四種情況中隨機選擇三種進行組合，以考察模型的魯棒性。實驗使用深度學習框架TensorFlow1.8.0搭建智能檢測模型，在一個顯存為12 GB的GPU(NVIDIA Titan XP)上進行模型訓練，設(shè)置最大迭代次數(shù)(epochs)為100，當Loss足夠小時，模型訓練完畢。圖7為訓練過程中Accuracy和Loss隨訓練次數(shù)的變化圖，可見經(jīng)過100次訓練，Loss值已降到0.04左右并保持穩(wěn)定，模型訓練完畢。

圖7 Accuracy-Loss變化圖

為了得到最佳的網(wǎng)絡(luò)參數(shù)組合，本文通過調(diào)節(jié)變量，具體包括卷積核大小、學習率的大小、激活函數(shù)的種類等，考察這些參數(shù)對模型的影響。實驗結(jié)果如表2所示。

表2 參數(shù)對模型的影響

從表2的實驗結(jié)果可以得到以下結(jié)論：

(1)通過分析不同卷積核大小對準確率的影響，可知利用3×3大小的卷積核得到的結(jié)果最優(yōu)。

(2)學習率太小，更新速度慢，學習率過大，可能跨過最優(yōu)解。因此，在剛開始訓練，距離最優(yōu)解較遠時可以采用稍大的學習率，隨著迭代次數(shù)增加，在逼近最優(yōu)解的過程中，逐漸減小學習率。可見，學習率對于模型也具有很大的影響。

(3)sigmoid在壓縮數(shù)據(jù)幅度方面有優(yōu)勢，對于深度網(wǎng)絡(luò)，使用sigmoid可以保證數(shù)據(jù)幅度不會出現(xiàn)振蕩，只要數(shù)據(jù)幅度平穩(wěn)就不會出現(xiàn)太大的失誤。但是sigmoid存在梯度消失的問題，在反向傳播上有劣勢，所以在優(yōu)化過程中存在不足。ReLU不會對數(shù)據(jù)做幅度壓縮，所以如果數(shù)據(jù)的幅度不斷擴張，那么模型的層數(shù)越深，幅度的擴張也會越厲害，最終會影響模型的表現(xiàn)。但是ReLU在反向傳播方面可以將相同的梯度傳到后面，這樣在學習過程中可以更好地發(fā)揮作用。在實際效果中，Xavier初始化也和ReLU非常匹配。

訓練好的模型對輸入的標準化后的視頻差分圖處理過程可視化如圖8所示。

圖8 網(wǎng)絡(luò)模型中間層輸出的可視化示例

由圖8可以看出，淺層神經(jīng)網(wǎng)絡(luò)對于標準化的視頻差分圖邊緣特征提取較好，提取的特征內(nèi)容全面，而深層網(wǎng)絡(luò)提取的特征則更加抽象，這也正好驗證了淺層網(wǎng)絡(luò)提取精細的外觀特征、深層網(wǎng)絡(luò)提取抽象的語義特征的結(jié)論。

最佳網(wǎng)絡(luò)參數(shù)組合下的模型在測試數(shù)據(jù)上的準確率如表3所示。

表3 測試集表現(xiàn)

從表3的實驗結(jié)果可以看出，本文提出的遠程視頻監(jiān)控異常圖像檢測方法具有良好的檢測準確率，可以同時對多種異常進行檢測，是對單一異常情況檢測的拓展和提升，具有多種視頻監(jiān)控異常圖像在線檢測的功能。

進一步地，為了突出本文所提算法的有效性，本文與文獻[3-4,11-13]的算法進行了對比實驗，并采用文獻[11]的客觀評價準則，比較結(jié)果如表4所示。

表4 不同算法的實驗結(jié)果對比

根據(jù)實驗對比結(jié)果可以看出，與傳統(tǒng)的和基于深度學習的監(jiān)控攝像頭異常干擾識別算法相比，本文方法在準確率和漏檢率上有大的提升，誤識率上次于改進的LSD算法和稀疏自編碼器(Sparse Auto-Encoder,SAE)與深度置信網(wǎng)絡(luò)(Deep Belief Network,DBN)組合的算法；所設(shè)計的網(wǎng)絡(luò)較經(jīng)典CNN網(wǎng)絡(luò)AlexNet在準確率、漏檢率和誤識率方面均有所提升，因此整體上表現(xiàn)更佳。

損失函數(shù)用于估計模型的預測值和真實值之間的不一致程度，它是一個非負實值函數(shù)。本文使用的損失函數(shù)是交叉熵損失函數(shù)，如式(9)所示：

(9)

式中：M表示類別數(shù)量；yc表示指標變量，如果類別和樣本具有相同的類別，則為1，否則為0；pc表示觀察到的樣本屬于類別c的預測概率。本文模型和文獻[11]模型的損失函數(shù)對比如圖9所示。

圖9 兩種模型的損失函數(shù)對比圖

圖9的實驗結(jié)果表明，本文方法和文獻[11]方法損失函數(shù)值的趨勢都在減小，但本文減小得更快而且變化較平穩(wěn)，預測值更接近真實值，并最終穩(wěn)定在了0.04左右；文獻[11]方法減小得相對較慢而且變化過程中有大的抖動，預測值離真實值較遠，最終穩(wěn)定在了0.085左右。

為了考察模型的魯棒性，統(tǒng)計模型在三種異常共四種組合上的檢測準確率，如表5所示。

表5 模型在各組合上的表現(xiàn)

由表5可以看出，該模型不僅具備同時檢測多種視頻監(jiān)控異常圖像的功能，同時還具有良好的魯棒性，這為模型應(yīng)用于實際復雜場景奠定了堅實基礎(chǔ)。

3 結(jié)束語

本文提出了一種基于深度學習的遠程視頻監(jiān)控異常圖像檢測算法，結(jié)合視頻差分圖和卷積神經(jīng)網(wǎng)絡(luò)，先對視頻差分圖像進行標準化，然后利用自行設(shè)計的卷積神經(jīng)網(wǎng)絡(luò)提取特征及下采樣，最后對監(jiān)控視頻進行分類檢測。實驗結(jié)果表明，該方法相較于傳統(tǒng)的單一異常檢測，不僅在檢測性能上得到了整體的提升，而且可同時檢測出多種異常，模型預測值更接近真實值，可有效避免人工提取特征的麻煩，更好地應(yīng)用于安防監(jiān)控領(lǐng)域。在下一步的工作中，應(yīng)該考慮將視頻中的動作識別方法[14-16]引入監(jiān)控攝像頭異常干擾識別，在達到更好的分類識別效果的基礎(chǔ)上，研制出能夠高速處理海量視頻數(shù)據(jù)的端到端異常檢測系統(tǒng)。