基于融合特征的網(wǎng)絡(luò)不良視頻識別方法研究

陳繡瑤

摘? 要： 為了提高視頻的識別檢測速度，提出基于融合特征的網(wǎng)絡(luò)不良視頻識別框架。先分離視頻音頻，利用MFCC特征匹配篩查部分恐怖視頻，減少視頻圖像提取、識別總量，以達到提高檢測速度目的;再通過OpenCV視覺軟件庫，結(jié)合顏色直方圖+SURF算法進行視頻鏡頭邊界檢測及MoSIFT特征、顏色信息等其他視頻特征的檢測，在保證識別準確率的基礎(chǔ)上進一步提升視頻檢測速率。

關(guān)鍵詞： MFCC特征; SURF特征; MoSIFT特征; 鏡頭邊界檢測; OpenCV

中圖分類號：TP37? ? ? ? ? 文獻標(biāo)識碼：A? ? ?文章編號：1006-8228（2020）11-19-04

Abstract： In order to improve the video recognition ability and detection speed， this paper proposes a network bad video recognition framework based on features. Firstly， the video and audio are separated， and MFCC feature matching is used to screen some horror videos to reduce the total amount of video image for extraction and recognition， so as to improve the detection speed. In addition， by using OpenCV， combining with colour histogram and SURF algorithm， video lens boundary detection， and the detection of MoSIFT feature and motion， colour information and other video features are carried out to further improve video detection rate on the basis of ensuring recognition accuracy.

Key words： MFCC feature; SURF feature; MoSIFT feature; Lens boundary detection; OpenCV

0 引言

移動互聯(lián)網(wǎng)時代，視頻分享的規(guī)模呈現(xiàn)爆炸式增長，網(wǎng)絡(luò)視頻成了信息傳播的重要手段之一。然而，網(wǎng)絡(luò)視頻資源共享為人們提供便利的同時，一些恐暴、色情等不良視頻趁虛而入，嚴重危害青少年的身心健康，成為誘發(fā)青少年犯罪的重要因素。我國《憲法》《未成年人保護法》等對不良視頻內(nèi)容明文禁止，廣電總局、各地公安局對遏制不良視頻內(nèi)容的傳播也采取了相應(yīng)措施，但收效甚微[1]。因此，如何有效、快速地過濾不良視頻，己成為視頻分析領(lǐng)域的研究重點。

網(wǎng)絡(luò)不良視頻主要包括恐怖、暴力和色情三種。不良視頻的過濾，其關(guān)鍵技術(shù)在于視頻內(nèi)容的識別。在視頻檢測分析的相關(guān)研究中，通過查閱已有文獻發(fā)現(xiàn)，大部分只注重視頻的圖像信息，忽略了視頻的音頻及運動信息特征。因此，本文綜合各類不良視頻的信息特征如音頻、運動、紋理及顏色信息等進行視頻識別。另外，為了提高視頻識別速率，引入了MFCC特征匹配及直方圖結(jié)合SURF算法的鏡頭邊界檢測。

1 基于融合特征的不良視頻識別

1.1 不良視頻系統(tǒng)識別框架

視頻識別框架總體思路如圖1所示：首先通過視頻的音頻軌道提取視頻背景音樂，進行MFCC特征匹配，判斷輸入視頻是否符合不良視頻特征，有的話則直接判別為不良視頻，沒有則進一步進行視頻畫面的提取，并根據(jù)顏色特征、運動特征及特殊部分等特征進行視頻內(nèi)容識別，直至分類結(jié)束。

1.2 基于MFCC特征的視頻檢測

常用的聲音特征提取方法有線性預(yù)測倒譜系數(shù)LPCC、多媒體內(nèi)容描述接口MPEG7、梅爾頻率倒譜系數(shù)MFCC等，其中MFCC是在Mel標(biāo)度頻率域提取出來的倒譜參數(shù)，其特征信息不依賴于信號的性質(zhì)，對輸入的信號無任何限制要求，而且利用了聽覺模型的研究成果，相比其他方法更具魯棒性，當(dāng)信噪比降低時仍然具有較好的識別性能[2]。

因此，本文采用MFCC方法對提取的背景音樂進行音頻特征提取，再利用隱馬爾科夫模型（HMM） 算法對提取的特征進行匹配識別，如圖2所示。首先提取視頻背景音樂，對聲音做前期處理：模數(shù)轉(zhuǎn)換、預(yù)加重和分幀、加窗等操作，預(yù)加重的目的是使信號的頻譜維持在高低頻區(qū)間，以達到用同樣的信噪比求頻譜[3]。“分幀加窗”是將每一幀乘以漢明窗，以增加幀的連續(xù)性。接著對各幀信號進行快速傅里葉變換得到各幀的頻譜，然后對頻譜取模平方得到語音信號的譜線能量，再將能量譜通過一組Mel尺度的三角形濾波器組，對頻譜進行平滑化處理[3]。最后經(jīng)離散余弦變換（DCT）得到MFCC參數(shù)向量，利用隱馬爾科夫模型（ HMM）獲取隱藏語音信號背后的字符序列，和已訓(xùn)練好的樣本集進行匹配識別，即可得到識別結(jié)果。

1.3 融合直方圖及SURF特征點的鏡頭邊界檢測

常用的鏡頭邊界檢測方法包括圖像顏色直方圖對比、基于圖像塊的對比、基于像素的對比、基于特征的視頻切割以及基于聚類的方法等[4]。其中，顏色直方圖是一種全局特征檢測方法，通過判斷相鄰兩個圖像幀的相似度進行檢測。其優(yōu)點是算法簡單、計算迅速，缺點是容易丟失圖像的細節(jié)信息，導(dǎo)致顏色相似的漸變鏡頭漏檢。

尺度不變特征變換（SIFT）和加速穩(wěn)健特征（SURF）屬于局部特征檢測算法：能夠較好地彌補漸變鏡頭漏檢問題。其中SIFT特征算法對旋轉(zhuǎn)變換、尺度縮放、亮度變化等保持不變的特性，具有較好的穩(wěn)定性，但效率低，實時性不高，不適合大量視頻的檢測。SURF算法采用快速Hessian算法檢測關(guān)鍵點，與SIFT算法相似，如圖3所示。不同之處在于SURF算法通過特征向量描述關(guān)鍵點周圍區(qū)域的情況，改良了SIFT算法的特征點提取方式，而且SURF算法采用了Harr小波特征和積分圖像的方法，運行效率大大提高，適合用于海量視頻的檢測[5]。

因此，為了提高視頻的檢測速度和準確率。整合全局特征檢測顏色直方圖算法與局部特征檢測SURF算法進行視頻鏡頭邊界檢測及關(guān)鍵幀的提取。對每段視頻進行分幀讀取，利用顏色直方圖的自適應(yīng)閾值算法對鏡頭邊界識別，再采用SURF 特征點匹配算法對檢測后屬于同一鏡頭的視頻幀進行二次檢測，得出最終的視頻關(guān)鍵幀圖像[6]。

1.4 基于OpenCV的不良視頻顏色特征信息的提取

OpenCV是一個開源的計算機視覺庫，提供多種函數(shù)及語言接口，能夠高效實現(xiàn)計算機視覺算法。利用OpenCV圖像處理庫RGB模型，將圖像分離為RGB三通道，定位血液、火焰的像素位置，利用直方圖均衡化處理成二值圖像，識別、分割目標(biāo)像素區(qū)域。其中火焰識別比較特殊，其顏色由紅色、綠色和藍色三種顏色組成，單一顏色模型的判據(jù)存在較大的誤差。因此，在RGB判據(jù)基礎(chǔ)上，先轉(zhuǎn)換成HSV模式，并添加HIS約束，條件如下[7]。

// HIS約束條件：

Rule1：R[≥]G[≥]B

Rule2：R[≥]RT

Rule3：S[≥]（（255-R）*ST/RT）

其中，Rt是紅色分量閾值，St是飽和度閾值。為提高火焰識別的準確率，設(shè)置兩個滑動塊，改變Rt和St閾值的大小，選取最佳閥值。

同樣的方法，在形成的RGB數(shù)據(jù)基礎(chǔ)上，將RGB圖像轉(zhuǎn)換到Y(jié)CrCb顏色空間，利用openCV自帶的橢圓函數(shù)生成膚色橢圓模型，相關(guān)代碼如圖4。皮膚像素點分布近似橢圓形狀，因此根據(jù)CrCb的形狀分布，判斷像素點坐標(biāo)（Cr， Cb）是否在橢圓內(nèi)（包括邊界），是則判斷為皮膚，否則排除[5，7]。

1.5 基于MoSIFT特征的暴恐視頻檢測

暴恐視頻通常包含大量打斗動作畫面，并伴有血液，火焰等特征信息。因此在1.4.1篩選出火焰及血液圖像的基礎(chǔ)上，使用MoSIFT算法進行跟蹤提取。MoSIFT算法能夠檢測空間上具有一定運動且區(qū)分性強的興趣點，運動強弱由興趣點周圍的光流強度來衡量，方法如圖5所示[8，10]。輸入相鄰兩幀圖像，通過高斯差分形成多尺度金字塔;接著找出DoG空間中的局部極值點作為SIFT特征點，同時通過光流計算，分析判斷是否存在足夠的運動信息，提取運動興趣點;最后將SIFT 特征點與光流相結(jié)合，去除與運動無關(guān)的興趣點，提取最終描述運動的MoSIFT特征。

2 實驗與分析

為了驗證上述識別方法的實時性和準確性，根據(jù)以上框架及算法，收集正負樣本視頻共200份，各視頻時長介于10-60秒之間，總時長112分鐘。由于色情視頻比較敏感，因此以負樣本為主進行反驗證。得出各類不良視頻查準率如表1所示。

另外，在同樣實驗環(huán)境下對比不同的關(guān)鍵幀提取方法的查準率及運行速度，選取K-Means聚類算法與本文的直方圖+SURF算法進行識別測試，得出各種類型視頻查準率如圖6所示。

從圖6中數(shù)據(jù)顯示不同的關(guān)鍵幀提取方法查準率比較接近，不同類型視頻總的查準率如表2所示，直方圖+SURF算法為91.1%，K-means算法為91.4%。但由于直方圖+SURF算法不需要反復(fù)迭代，因此檢測總時長優(yōu)于K-means算法，如表2所示。

根據(jù)實驗結(jié)果，對于不同類型的視頻，總的查準率接近 91%，說明使用的特征匹配得到的結(jié)果均較為穩(wěn)定，也驗證了1.1框架算法的魯棒性。另外，總時長112分鐘的視頻，56分鐘之內(nèi)完成檢測，檢測速率接近48F/S，基本上能夠滿足在線視頻檢測要求。

3 結(jié)束語

從以上實驗結(jié)果可以看出，本文提出的基于融合特征的網(wǎng)絡(luò)不良視頻識別框架，能夠有效地識別暴恐等不良視頻，且檢測速度優(yōu)于基于K-Means的邊界檢測算法，能夠較好滿足在線檢測要求;而且利用MFCC特征提前匹配篩查恐怖視頻，減少視頻圖像提取、識別總量，有效提升視頻檢測識別速度，能夠滿足海量視頻的檢測需求。但從實驗結(jié)果數(shù)據(jù)角度看，還存在進一步的提升空間。因此，接下來將會繼續(xù)改進識別框架，進一步提高視頻的檢測速度和準確率。

參考文獻（References）：

[1] 齊振國.視頻內(nèi)容識別算法研究[D].北京交通大學(xué)電子信息工程學(xué)院，2014.

[2] 邵明強，徐志京.基于改進MFCC特征的語音識別算法[J].微型機與應(yīng)用，2017.21：48-50

[3] JamesJuZhang.語音特征參數(shù)MFCC提取過程詳解[EB/OL].2014-01.https：//blog.csdn.net/jojozhangju/article/details/18678861

[4] 蔡軼珩，胡朝陽，崔益澤.融合顏色信息與特征點的鏡頭邊界檢測算法[J].計算機應(yīng)用，201737.S2：95-98，111

[5] 王辰龍.基于結(jié)構(gòu)和整合的特定敏感視頻識別技術(shù)[D].北京交通大學(xué)，2015：32-35

[6] 張昊骕，朱曉龍，胡新洲，任洪娥.基于SURF和SIFT特征的視頻鏡頭分割算法[J].液晶與顯示，2019.36： 512-516

[7] csdn：https：//blog.csdn.net/coldplayplay/article/details/70212483

[8] 米陽，孫錟鋒，蔣興浩.基于聯(lián)合特征的暴恐視頻檢測算法[J].信息技術(shù)，2016.10：152-155

[9] 陳攀，王泰.一種不良視頻檢測方法[J].計算機工程，2011.12：386-387

[10] 王文詩，黃樟欽，王偉東，田銳.視頻鏡頭分割與關(guān)鍵幀提取算法研究[J].湘潭大學(xué)自然科學(xué)學(xué)報，2018.4：75-78