用于安全監(jiān)控系統(tǒng)的音頻事件檢測研究

夏亦佳

摘 要：針對視頻監(jiān)控過于依賴圖像信息，在黑暗條件下或視線盲區(qū)無法進(jìn)行及時(shí)、有效監(jiān)控的問題，本文提出一種可以用于輔助安全監(jiān)控的音頻事件檢測系統(tǒng)，以槍擊聲和尖叫聲為關(guān)鍵事件，把過零率、短時(shí)能量、子帶能量比和Mel倒譜系數(shù)作為音頻特征，基于SVM分類器設(shè)計(jì)實(shí)現(xiàn)了一種多級分類系統(tǒng)。結(jié)果表明，該系統(tǒng)可以有效地檢測出兩種關(guān)鍵事件，最優(yōu)識別率達(dá)90%。

關(guān)鍵詞：音頻事件檢測；安全監(jiān)控視頻；支持向量機(jī)；MFCC

中圖分類號：TN912 文獻(xiàn)標(biāo)識碼：A 文章編號：1003-5168（2017）06-0015-04

Audio Events Detection for Surveillance System

Xia Yijia

（China Airborne Missile Academy，Luoyang Henan 471009）

Abstract： Public surveillance system relies on image information to a large extent， therefore， places in dark environments or blind areas of surveillance cameras would not get effective real-time surveillance. To solve this problem， this paper proposed an audio events detection system to assist video-based public safety surveillance. The system took the shooting and screaming as the key events， and defined Zero Crossing Rate （ZCR）， Short Time Energy （STE）， Sub Band Energy Ratio （SBER） and MFCC as audio features. Then a hierarchical SVM-based classification system is implemented to classify different types of audio events. According to experiment results，the proposed audio events detection system can effectively classify gunshots and screaming sound from environmental noise with an optimal classification accuracy of 90%.

Keywords： audio events detection；surveillance system；support vector machine；MFCC

隨著多媒體技術(shù)的飛速發(fā)展，越來越多公共場所安裝了視頻監(jiān)控以保障公共安全。然而，在黑暗環(huán)境下或者在視頻監(jiān)控盲區(qū)，這些依賴于圖像信息的攝像頭就難以進(jìn)行及時(shí)、有效的監(jiān)控。此時(shí)，通過音頻傳感器的監(jiān)控則會更加有效[1]。聲音信息中也包含了不亞于圖像信息的信息量，通過監(jiān)控識別公共場合聲音信息，可以迅速發(fā)現(xiàn)所關(guān)注的事件，從而快速做出應(yīng)對。聲音信息具有良好的實(shí)時(shí)性，對視頻監(jiān)控具有良好的輔助作用。

本文提出了一種基于支持向量機(jī)（Support Vector Machine，SVM）的音頻事件檢測系統(tǒng)，選取槍擊聲和尖叫聲為關(guān)鍵音頻事件，提取訓(xùn)練樣本的過零率、短時(shí)能量、子帶能量比、MFCC組成特征向量對SVM進(jìn)行訓(xùn)練，建立一個(gè)音頻事件分類模型，對測試樣本中的關(guān)鍵事件進(jìn)行檢測。

1 音頻事件檢測系統(tǒng)

音頻事件檢測系統(tǒng)如圖1所示。音頻事件檢測主要分為聲音信息的特征值提取、參數(shù)學(xué)習(xí)和關(guān)鍵事件檢測三部分。

音頻信號的預(yù)處理分為語音激活檢測、預(yù)加重與分幀三步。語音激活檢測可以剔除音頻信號中的靜音部分，留下音頻中的有效段[2]，保證下一步特征值提取的準(zhǔn)確性。預(yù)加重通過一階數(shù)字濾波器來增強(qiáng)信號的高頻部分，使信號頻譜更加平滑。預(yù)加重后的音頻信號被分成20ms一幀，每兩幀之間重疊為10ms的音頻幀序列，進(jìn)行特征值提取分別組成訓(xùn)練樣本集和測試樣本集。SVM通過對訓(xùn)練樣本集的分類特征進(jìn)行學(xué)習(xí)建立一個(gè)音頻事件分類模型，最后基于該模型的SVM分類器對測試樣本進(jìn)行識別，輸出音頻事件類型。

2 特征值的定義與提取方法

2.1 過零率

當(dāng)音頻信號的符號發(fā)生變化時(shí)為信號過零一次。過零率表示音頻信號在一定時(shí)間間隔內(nèi)，信號幅值過零的次數(shù)，其可以用來粗略描述聲音信號的頻譜特性。計(jì)算公式見式（1）[3]：

[ZCR=12n=1Nsgnxrn-sgnxrn-1 （1）]

式（1）中，N是信號采樣點(diǎn)數(shù)，[sgnxrn]為符號函數(shù)，定義見式（2）：

[sgnx=fx=-1，x<01，x≥0 （2）]

當(dāng)聲音信號幅值為正時(shí)，[sgnx]為1；反之，[sgnx=-1]。依次計(jì)算相鄰采樣點(diǎn)的符號函數(shù)差值，即可計(jì)算出該聲音樣本的過零率。過零率可以將槍擊聲及尖叫聲從監(jiān)控視頻的環(huán)境噪聲中區(qū)別出來[4]。

2.2 短時(shí)能量均值和方差

音頻信號是時(shí)變信號，且不同音頻事件之間的能量有顯著差別，所以短時(shí)能量[5]可以反映不同音頻事件之間的特征。定義見式（3）：

[STE=0ω0Fω2dω （3）]

式（3）中，[Fω]是該信號的FFT變換，[ω0]等于采樣頻率的一半。短時(shí)能量可以較好地區(qū)分音頻中的靜音部分，并且可以反映音頻的節(jié)奏、周期等屬性[6]。由于來自不同音頻樣本的信號幅值的變化，即使是同樣的音頻事件，也會給短時(shí)能量帶來顯著影響，因此采用短時(shí)能量的均值和方差作為特征值。

2.3 子帶能量比

子帶能量比是指通過計(jì)算不同子帶的能量占整個(gè)聲音頻帶能量的比例，可以反映音頻信號的譜能量在整個(gè)頻譜內(nèi)的分布情況[7]。本文將音頻信號的頻譜分為8個(gè)子帶，每個(gè)子帶的能量比定義見式（4）：

[SBERk=SBEkSTE，k=1，2，……，8 （4）]

2.4 Mel倒譜系數(shù)

MFCC是音頻分類研究中常見的特征，將人耳的聽力系統(tǒng)模擬為一個(gè)非線性系統(tǒng)，較好地反映了人耳對不同頻率信號的聽覺特性，具有良好的魯棒性[8]。MFCC的計(jì)算步驟如圖2所示[9]。

聲音信號S（n）經(jīng)過預(yù)加重、加窗之后進(jìn)行快速傅里葉變換（FFT），得到聲音信號頻域下的能量譜。用一組Mel頻率下的三角濾波器對其進(jìn)行處理，將線性頻率搬至Mel域中，Mel域頻率與線性頻率的關(guān)系如公式（5）所示：

[melf=1 125×ln1+f700 （5）]

式（5）中，[f]是線性頻率。接著對濾波器組輸出的mel對數(shù)能量進(jìn)行離散余弦變換（DCT）可以得到一組MFCC系數(shù)，計(jì)算公式見式（6）：

[xi=2Pj=1PlogSj*cosiπPj-0.5 （6）]

公式（6）中，[Sj（j=1，2，……，P）]即為濾波器組的輸出的音頻信號能量譜，[P]表示濾波器的個(gè)數(shù)，在本文描述的音頻事件檢測系統(tǒng)中，使用12階MFCC系數(shù)。

3 機(jī)器學(xué)習(xí)

目前，常用的分類器有高斯混合模型（Gaussian Mixture Model，GMM）、隱馬爾科夫模型（Hidden Markov Model，HMM）和SVM等。其中，GMM和HMM都屬于貪婪算法，需要大量的樣本進(jìn)行訓(xùn)練來準(zhǔn)確描述不同音頻的特征以達(dá)到較好的識別效果[10-11]。而SVM是通過非線性映射，將樣本特征向量映射到高維特征空間，尋找一個(gè)最優(yōu)超平面使不同類別數(shù)據(jù)樣本之間的距離最大，將在低維樣本空間中無法線性處理的分類問題在高維空間實(shí)現(xiàn)線性劃分，從而降低對訓(xùn)練樣本數(shù)量的需求。如圖3所示，H1和H2分別為穿過兩類樣本點(diǎn)中距離最近的樣本的直線，他們之間的距離[2ω]即為兩類樣本之間的距離[12]，最優(yōu)的超平面就是使這個(gè)距離最大。其中，ω為最優(yōu)超平面的法向量。

尋找最優(yōu)超平面問題可歸結(jié)為求公式（7）最優(yōu)解問題：[min12ω2]

[ yiω?x+b≥1]，[i=1，……，n （7）]

帶入拉格朗日函數(shù)后，SVM的決策函數(shù)可推導(dǎo)為式（8）：

[fx=（i=1nαixiyi）x+b （8）]

對于非線性映射，輸入樣本向量可以用核函數(shù)[Kxi，xj]來表示，帶入公式（8）得到?jīng)Q策函數(shù)為：

[yx=sgn[j=1nαjyjKx，xj+b]]

[=sgnfx （9）]

SVM則根據(jù)[fx]的符號來識別該樣本屬于的類別[13]。

4 結(jié)果及分析

4.1 實(shí)驗(yàn)數(shù)據(jù)

本文以槍擊聲和尖叫聲為關(guān)鍵事件，樣本數(shù)據(jù)分為三類：槍擊聲、尖叫聲和環(huán)境噪聲。由于槍擊聲和尖叫聲在實(shí)際安全監(jiān)控視頻中極少出現(xiàn)，因此采用來自互聯(lián)網(wǎng)的音頻樣本。而環(huán)境噪聲是監(jiān)控視頻中普遍存在的腳步聲、開門聲等背景音，使用的是來自卡內(nèi)基梅隆大學(xué)機(jī)器人研究實(shí)驗(yàn)室的公開數(shù)據(jù)庫和CCV兩個(gè)視頻數(shù)據(jù)庫中安全監(jiān)控視頻所提取出的音頻序列。各類樣本數(shù)量如表1所示。

其中，90%的音頻用于分類器的訓(xùn)練，其余10%的音頻作為測試樣本。

4.2 評價(jià)標(biāo)準(zhǔn)

對系統(tǒng)的檢測性能評價(jià)采用準(zhǔn)確率（Precision）、召回率（Recall）和加權(quán)調(diào)和平均值F1。計(jì)算公式見式（10）（11）（12）。

[準(zhǔn)確率=檢測正確的音頻事件數(shù)系統(tǒng)檢測出的音頻事件總數(shù) （10）]

[召回率=檢測正確的音頻事件數(shù)樣本中音頻事件總數(shù) （11）]

[F1=2×準(zhǔn)確率×召回率準(zhǔn)確率+召回率 （12）]

4.3 實(shí)驗(yàn)結(jié)果

本文首先對比了兩種結(jié)構(gòu)的分類器的分類能力：一級三分類SVM分類器和多級二分類SVM分類器。多級二分類SVM分類器結(jié)構(gòu)如圖4所示。

圖4 多級二分類SVM分類器

經(jīng)過預(yù)處理的音頻樣本特征值組成的特征向量依次經(jīng)過槍擊和非槍擊、尖叫和非尖叫分類器識別，輸出各音頻樣本的分類結(jié)果。兩種結(jié)構(gòu)的分類器識別結(jié)果如表2和表3所示。

由兩種結(jié)構(gòu)的分類器識別結(jié)果可知，在進(jìn)行多類識別時(shí)，采用多級二分類SVM分類器的檢測效果要好于三分類分類器。可見，SVM更適用于二分類的問題。此外，試驗(yàn)中采用尖叫聲的部分樣本為群體的尖叫聲且信噪比較低，與環(huán)境噪聲易發(fā)生混淆，也是導(dǎo)致識別準(zhǔn)確率較低的一個(gè)原因。

基于多級二分類結(jié)構(gòu)，也對比了采用單一特征值進(jìn)行分類識別的準(zhǔn)確率，結(jié)果如表4、5所示。在本文選擇的四個(gè)特征值中，MFCC的識別率相對較高，可以較準(zhǔn)確地描述音頻事件的特征。

與表3結(jié)果對比可知，由于這四個(gè)特征值都只能代表音頻信號的某一方面特征，因此，單獨(dú)作為特征向量時(shí)，系統(tǒng)識別率較差。但當(dāng)這些時(shí)域、頻域特征結(jié)合起來用于同樣的系統(tǒng)時(shí)，可以得到較為理想的結(jié)果。

5 結(jié)論

為了在光線黑暗條件下通過監(jiān)控視頻及時(shí)發(fā)現(xiàn)異常事件，本文利用各類事件音頻特征的差異，建立了一個(gè)基于SVM的音頻事件檢測系統(tǒng)。通過提取有效的音頻特征，對SVM進(jìn)行訓(xùn)練建立分類模型，用于測試樣本中關(guān)鍵事件的分類識別。采用單一特征值識別系統(tǒng)的實(shí)驗(yàn)結(jié)果表明，相比于過零率、短時(shí)能量和子帶能量比，MFCC是更為有效的音頻特征。同時(shí)，從兩種不同結(jié)構(gòu)分類器的識別率對比來看，多級二分類的SVM分類器具有較好的分類能力，對槍擊聲和尖叫聲的F1值分別達(dá)到了90%和85.71%。因此，基于SVM的音頻事件檢測系統(tǒng)可以達(dá)到有效的識別效果，能較準(zhǔn)確地發(fā)現(xiàn)監(jiān)控視頻中的槍擊聲和尖叫聲。

參考文獻(xiàn)：

[1]冷嚴(yán).復(fù)雜音頻的事件檢測與分類中的關(guān)鍵問題研究[D].北京：北京郵電大學(xué)，2012.

[2]徐治.三門限多級判決語音激活檢測算法的研究[J].電子技術(shù)，2015（5）：33-35.

[3]王炳錫.實(shí)用語音識別基礎(chǔ)[M].北京：國防工業(yè)出版社，2005.

[4]Atrey P K， Maddage M C， Kankanhalli M S. Audio Based Event Detection for Multimedia Surveillance[J].IEEE International Conference on Acoustics，2006（5）：813-816.

[5]Lu L，Ge F，Zhao Q，et al. A SVM-Based Audio Event Detection System[A]//Electrical and Control Engineering（ICECE）， 2010 International Conference on，2010：292-295.

[6]李晨，周明全.音頻檢索技術(shù)研究[J].計(jì)算機(jī)技術(shù)與發(fā)展，2008（8）：215-218.

[7]馮哲.基于內(nèi)容的視頻檢索中的音頻處理[D].上海：復(fù)旦大學(xué)，2004.

[8]孔令城.基于非負(fù)矩陣分解的音頻事件檢測研究[D].廣州：華南理工大學(xué)，2014.

[9]Dhanalakshmi P，Palanivel S，Ramalingam V. Classification of audio signals using SVM and RBFNN[J].Expert Systems with Applications，2009，（3）：6069-6075.

[10]Rouas JL，Louradour J，Ambellouis S. Audio Events detection in public transport vehicle[A]//IEEE Intelligent transportation systems conference，2006：733-738.

[11]Cotton CV，Ellis DPW. Spectral vs. spectro-temporal features for acoustic event detection[J].Applications of Signal Processing to Audio & Acoustics，2011（1）：69-72.

[12]Gunn S. Support vector machines for classification and regression. Technical Report[J].Analyst，1998（2）：230.

[13]YG Jiang，G Ye，SF Chang，et al. Consumer Video Understanding： A Benchmark Database and An Evaluation of Human and Machine Performance[A]//ACM International Conference on Multimedia Retrieval，2011：29.