基于音頻的視頻拷貝檢測

趙花婷，王明敏

0 引言

隨著高速網(wǎng)絡(luò)的普及，視頻分享類網(wǎng)站取得了巨大的成功。大量的用戶上傳并分享數(shù)以億計的視頻，這些視頻通常時長較短，并且有相當多的視頻在內(nèi)容上差異非常小，僅僅在清晰度、LOGO或字幕上略有不同。這類無意義的重復(fù)視頻造成了不必要的冗余，給視頻網(wǎng)站的運營者帶來了巨大的存儲成本。另一方面，有線電視運營商無論是為滿足節(jié)目審查的需要，還是實現(xiàn)點播回看節(jié)目等方面的功能，均對于高效的視頻的拷貝檢測技術(shù)都有強烈的需求。因此，視頻序列的拷貝檢測具有很大的理論意義和應(yīng)用價值。

一般而言，視頻序列包括兩部分的內(nèi)容，即圖像序列和音頻序列。相當大的一類方法以檢測圖像的特征為基礎(chǔ)。這類方法從圖像序列中提取一種特征，從而為某個特定的視頻片段賦予一個唯一的簽名，然后通過某種特定的映射方法（如Hash）存儲起來。

有研究者提出了視頻指紋的概念并應(yīng)用哈希函數(shù)進行視頻認證。他們根據(jù)在時空區(qū)域上劃分網(wǎng)格的亮度變化提出了一個時空指紋。基于離散余弦變換（DCT）提出了兩個應(yīng)用在視頻上的哈希算法[1]。用序數(shù)度量（ordinal measure）方法[2]計算圖像的匹配度的算法被應(yīng)用在視頻上[3]。上述方法的主要缺陷是在處理像插入商標、偏移或裁減這些在電視后期制作中經(jīng)常出現(xiàn)的情況時不具有魯棒性。

也有其他一些學(xué)者提出了基于數(shù)字水印技術(shù)的方法，通過在視頻中植入圖像水印或者音頻水印來進行拷貝檢測。然而這種方法需要在原始視頻中植入水印，多被用作企業(yè)級視頻產(chǎn)品的防盜版措施，并且在魯棒性上也有不足之處。

[4]中以視頻的音頻特征為基礎(chǔ)，使用計算機視覺方法對音頻信息提取特征并建立音頻特征庫[4]，具有存儲小、準確度高、時效性強等諸多優(yōu)點，針對性解決了廣告檢測問題。本文在文獻[4]的基礎(chǔ)上，提出了一種增強的算法，該算法不但有效地解決靜音段下視頻序列檢測不準的問題，還進一步地將算法的應(yīng)用對象擴展到一般短視頻序列。

1 基于音頻匹配的視頻檢測算法

一般情況下，音頻相對于圖像來說，是更加穩(wěn)定的特征。本文的算法首先基于音頻特征進行初步的視頻拷貝檢測檢測，并對檢測結(jié)果進行修正，我們在[4]中已完成該部分工作。盡管該方法可以得到準確的視頻拷貝片段，相似的音樂卻可能出現(xiàn)在不同的視頻中，比如，電視劇的配樂出現(xiàn)在廣告配樂中，這樣就會導(dǎo)致誤檢。此外，靜音段也會造成不正確的匹配。

本文主要利用圖像特征來解決由音頻匹配檢測引起的問題，采取兩種策略對容易被誤檢的片段進行處理（其中使用音頻方法初步判定為目標序列的拷貝的視頻片段稱為候選序列）：（1）對于處在候選序列或非候選序列內(nèi)部的被誤檢的片段，本文采用平滑的方法來解決；（2）對于處于候選與非候選序列邊界上的片段，由于這些片段可能會被誤檢，本文利用圖像特征進行精確定位。不同于[5]，本文采用圖像特征輔助音頻特征進行邊界定位，實驗結(jié)果表明利用簡單的圖像特征即可得到非常精準的邊界。本文算法以[4]為基礎(chǔ)，第一階段提取待測視頻流的音頻信息，以音頻作為視頻流特征，將音頻轉(zhuǎn)化為圖像；第二階段以計算機視覺的識別技術(shù)解決音頻拷貝檢測問題；最后階段在[4]的檢測結(jié)果基礎(chǔ)上，通過對靜音段和邊界使用圖像特征切變算法確定最終的拷貝檢測結(jié)果。具體流程如圖1所示：

圖1 視頻拷貝檢測算法框架

[4]中涉及的前兩個階段主要是采用文獻[5]中音頻匹配的算法進行視頻拷貝檢測，算法包括兩部分：1.提取音頻特征，建立和維護音頻特征庫；2.提取待測視頻流中的音頻特征，并在音頻特征庫中進行局部哈希檢索。

1.1 提取頻譜圖的特征提取音頻特征

該算法首先采用短時傅里葉變換（STFT）[6]，以0.372秒的窗口和 11.6毫秒的步長將音頻轉(zhuǎn)化為時頻域上的聲譜圖。STFT把頻率在300HZ到2000HZ的音頻信號映射到33個對數(shù)空間的帶寬上。短時傅里葉變換可寫作為公式（1）：

其中x(t)是原始音頻數(shù)據(jù)信號，w(t-τ)是窗函數(shù)，X(t,ω)是 w(t - τ) x(τ)的傅里葉變換。窗函數(shù)隨時間t滑動，原始信號只留下窗函數(shù)截取的部分做最后的傅里葉變換。經(jīng)此得到時頻域的聲譜圖。

接著采用一組濾波器對聲譜圖進行濾波編碼，要求編碼后的數(shù)據(jù)不但保留了足夠的信息用于區(qū)分不同源的音頻，又能對同源音頻提供魯棒的響應(yīng)。為滿足上述要求，這里使用Viola Jones提出的Haar小波濾波器[7]。

對聲譜圖使用計算機視覺的匹配算法解決聲譜圖匹配的問題，即解決了音頻對應(yīng)視頻流的匹配問題。正如大多數(shù)圖像匹配問題一樣，需要對聲譜圖提取局部特征，這里采用Haar特征。用于提取Haar特征的濾波器在頻帶位置、帶寬和時長上都不盡相同，使得候選濾波器的數(shù)量大約有25000個之多。

為從眾多候選濾波器中選出最佳濾波效果及最佳數(shù)量的濾波器，該算法設(shè)計了一種非對稱boosting方法[8]，選出M (=32)個最優(yōu)的濾波器及其相應(yīng)閾值。進而使用分類器來判定兩段音頻是否來自于同一段音頻(即是否同源)。分類器定義為公式（2）：

其中x1,x2表示兩段音頻對應(yīng)的聲譜圖，當x1,x2同源時y =1，反之y=-1。分類器H由M個弱分類器hm(x1,x2)及對應(yīng)可信度cm組合而成。每個弱分類器包含一個濾波器 fm及閾值tm，使得公式（3）：

這樣，當采樣空間足夠大時，至少有一半的負樣本會被錯誤的判為匹配。為此采用一種非對稱成對boosting算法，其只對錯誤匹配的正樣本在迭代過程中更新權(quán)重，并把正樣本和負樣本的權(quán)重分別各自歸一化到 0.5.所有M個弱分類器hm(x1,x2)的線性組合得到最終的強分類器H(x1,x2)。分類規(guī)則為公式（4）：

當該弱分類器的錯誤率εt為0.5時，表示其對最終結(jié)果沒有貢獻，應(yīng)該被丟棄。

經(jīng)不對稱boosting方法后，獲得M個濾波器 fm及閾值tm，可針對每幀滑動窗口計算出一個M比特的特征描述子。以該特征描述子的集合構(gòu)建音頻特征庫。

1.2 檢索匹配

在該階段對實時視頻流以相同的方法得到其特征描述子。為音頻特征庫建立標準哈希索引[9]，然后用輸入視頻的特征描述子在特征庫中進行相似性最近鄰檢索[10]。

對于待測視頻的音頻信息，按時間順序截取前m秒音頻，對其進行圖像化，特征描述子提取，以此在音頻庫中檢索，根據(jù)檢索結(jié)果對該m秒視頻進行候選或非候選序列的標記；此后，在音頻信息相鄰下個m秒做同樣操作，直至音頻序列的末尾。本文參照[4]，設(shè)置m為3秒，以保證音頻匹配算法的穩(wěn)定。

2 邊界精確定位

在上一階段，我們得到了候選與非候選序列的粗糙邊界。但是由于非同源視頻的音樂在一些情況下可能具有相似性以及靜音段的出現(xiàn)，導(dǎo)致采用音頻特征匹配后的結(jié)果存在誤檢的情況。本階段將對這些粗糙邊界做進一步地精確定位。

2.1 靜音段段問題

由于不不同視頻均有可可能出現(xiàn)靜音，此此時無法通過音音頻信息對視頻進進行分析，所以在靜音段處容易易誤檢，如圖2所示：

圖2 靜音段段對應(yīng)與不同視頻頻序列

靜音段段會在不同的視視頻中出現(xiàn)，其中中左列上下兩幅幅分別為wav聲聲波圖，其中紅紅色方框中的是靜靜音段；右側(cè)上上下分別為與左側(cè)側(cè) wav聲波中靜音段相對應(yīng)的的視頻序列。從從圖中可以看出，同為靜音段，卻對應(yīng)不同的視頻序列。對于于這些由靜音段造造成誤檢的情況況，本章將給予一一定的策略進行行處理，從而消除靜靜音段造成的誤誤檢。

2.1.2 靜音音段檢測

獲得WAV格式的音音頻信息，首先先截取一段查詢詢音頻，將該音頻轉(zhuǎn)轉(zhuǎn)換成單通道，然后對頻率進進行下采樣，如此此得到樣本。然后后對得到的樣本本統(tǒng)計其功率和，從而得到該查查詢片段的能量值值為公式（5）：

其中PPk表示第將k個個的功率，共有s個個樣本。該能量量值E與閾值threshhold比較，判斷斷該查詢片段是是否為靜音。經(jīng)經(jīng)過大量測試發(fā)現(xiàn)現(xiàn)，threshold=0.001即可將音音頻中原有的靜靜音段檢測出來，又不至于對非非靜音段造成誤誤檢。

2.1.3 靜音音段處理

事實上上，靜音段存在在于2種位置：內(nèi)容連續(xù)的視頻頻序列中，不同源源視頻序列的邊邊界處。非同源視視頻序列中的靜靜音段很容易被誤誤檢為候選片段段，如此會影響視視頻拷貝檢測結(jié)結(jié)果的準確率。為為了消除靜音段段造成的誤檢，本本文采用以下策策略對靜音段進行行處理。如表11所示：

表1 靜音段處理方法

表1中中左圖紅色段表表示靜音段，左上上圖中綠色段代代表靜音段前后同同源視頻序列；左下圖中綠色段段和藍色段分別別表示非同源視頻頻序列。對兩種種不同的情況分分別做出以下處理：

2.2 邊界定定位

只利用音頻特特征精確定位邊邊界主要有以下下幾個難點：（1）邊界界處出現(xiàn)相似的的音頻導(dǎo)致視頻頻序列無法正確確分割邊界，（2）視頻頻邊界處截取的的3秒音頻段中中包含靜音段，這這類視頻序列的匹匹配很容易出錯錯。

為此，本章節(jié)節(jié)采用圖像特征來來解決精確定位位視頻序列邊界的的問題。由于非非同源視頻序列邊邊界處前后兩幀幀的圖像特征通常常具有劇烈切變變，我們據(jù)此來來判斷邊界位置所所在。統(tǒng)計圖像特特征切變的方法法有很多，例如如：鏡頭分割方方法、聚類法、差分分法等。本文是是在邊界靜音段段內(nèi)尋找最大切變變，采用最常規(guī)的的差分法即可滿滿足實用要求。該方法的目標標為公式（6）：

這里只需計算算從第t-m幀幀到第t+m幀之之間的相鄰兩幀圖圖像能量的變化化值即可，其中中m取值為45（不不同m值對邊界定定位的影響將在在實驗結(jié)果部分分給出，詳見表表 3）。最后判定圖圖像能量變化值值最大的地方即即為最后的邊界界。

為了加速處理理過程，首先將將圖像的尺寸縮小為20×20，然后后計算縮小后的的圖像的能量值值，圖像能量值的的計算方法如下公公式（7）：

其中Ei表示第第i幀的能量值，n表示整幅圖的的像素點個數(shù)，gi表表示像素j的灰度度值。

采用該方法進進行邊界微調(diào)后后的效果圖如圖3所示：

圖3 邊界微調(diào)前后的的定位結(jié)果比較

其中第一行是是一組視頻圖像像流；第二行中紅紅線所示位置是修修正音頻匹配結(jié)結(jié)果后得到的邊邊界，藍線所示位位置是邊界微調(diào)之之后得到的邊界界。從圖中可以以看出，盡管經(jīng)過過音頻定位后得到到的邊界已經(jīng)非非常接近實際邊邊界，但是仍然存存在誤差。本文采采用圖像特征進進行邊界微調(diào)之之后，邊界結(jié)果與與真實值相吻合。。

3 實驗結(jié)果

本文的實驗是是在廣告視頻數(shù)數(shù)據(jù)集上進行的的。該數(shù)據(jù)集共包含含約11000條短短視頻，平均時時長大約為14秒秒，該視頻集組成成了本文的樣本本庫。本文所用的測試視頻和樣樣本庫中均為mppeg2-ts格式的實實時視頻。

本文采用引文文[11]中的方法計計算查準率和查查全率，其中：

查準率 = 檢檢測到的正確時長長/檢測到的總時長（8）

查全率 = 檢檢測到的正確時長長/標準總時長（9）

基于音頻匹配配階段處理后，我我們會得到很多多錯檢的片段，本文文采用類似處理理靜音段中表 11第一行的方法法在合并候選序列的同時對這些候選序列夾雜的噪聲即錯檢片段進行修正。第一行表示的是修正錯檢片段后的查準率和查全率如表2所示：

表2 視頻拷貝檢測各階段檢測結(jié)果

由于音頻匹配而錯檢的片段不僅存在于同源視頻序列的內(nèi)部，也可能存在非同源視頻序列之間。針對這一類型的片段，本文利用圖像特征對邊界進行微調(diào)。表2中的第二行表示的是采用圖像特征進行邊界精確定位之后的查準率和查全率。

從表2中可以看出，在利用圖像特征進行邊界微調(diào)之后，查準率和查全率都有所提高。由于經(jīng)過邊界微調(diào)之后，在非同源視頻邊界處的誤檢片段會被修正，提高了正確檢測結(jié)果的時長，根據(jù)公式（8）、（9）可知，查準率和查全率也隨之提高。

在利用圖像特征進行邊界微調(diào)時，在已有檢測邊界基礎(chǔ)上，搜索真實邊界的前后搜索的閾值范圍非常關(guān)鍵。如果閾值偏小，則檢測范圍不會包括真實邊界；如果閾值偏大，則可能會包括同源視頻內(nèi)部鏡頭切變帶來的劇烈變化，如此得到的邊界可能不會是真實邊界。本文選取了6個閾值，在3個小時長度的測試數(shù)據(jù)上進行實驗，得到了不同的閾值對應(yīng)的最小誤差幀數(shù)、最大誤差幀數(shù)和平均誤差幀數(shù)，結(jié)果如表3所示：

表3 邊界搜索范圍閾值與誤差幀數(shù)的關(guān)系

當閾值偏小時（如15幀），搜索范圍可能無法覆蓋真實邊界，仍然造成誤檢；當閾值偏大時（如55幀），搜索范圍內(nèi)或?qū)堰B續(xù)視頻內(nèi)部的正常鏡頭切變作為非同源視頻序列邊界，造成誤檢。當閾值取45時，得到的邊界平均誤差最小，可作為搜索范圍的參考值。

4 總結(jié)

本文提出的長視頻中的短視頻拷貝檢測算法，可以很好地應(yīng)用在廣告檢測中。該算法分為3個階段：首先，提取視頻流的音頻分量，將音頻信息轉(zhuǎn)化為圖像信息用作提取特征；其次，提取音頻圖像特征，進行初步的匹配檢測，得到一個粗糙的檢測結(jié)果；最后，采用圖像特征對粗糙結(jié)果進行精確邊界定位。我們主要采取兩種策略精確定位邊界：（1）對于同源視頻序列內(nèi)部的被誤檢片段，采取平滑的策略，將這些誤檢片段歸類為該同源視頻。（2）對于邊界處的片段則利用視頻的圖像特征進行邊界定位。實驗結(jié)果表明，經(jīng)過這兩種方法處理后，我們可以準確地得出邊界。

[1]Coskun B,Sankur B, etal.Spatio-temporaltransform-based video hashing.[J]IeeeTrans- actions on Multimedia,8(6):1190-1208, 2006.

[2]BhatD and Nayar S.Ordinal measures for imagecorrespondence.[J]ieee Transactions on PatternAnalysis and Machine Intelligence, 20(4):415-423,1998.

[3]Mohan R.Video sequence matching.In Int.Conference on Audio, [c]Speech and SignalProcessing,1998.

[4]趙花婷，王明敏.一種基于音頻匹配的廣告檢測算法[J].計算機與現(xiàn)代化，2014 Vol.0(2):1-5.

[5]丁汝一，楊寧，董道國.音視頻相結(jié)合的廣告檢測算法[J].計算機工程與應(yīng)用，2012,48(22)184-188.

[6]JURADOF, SAENZJ R.Comparison between discrete STFT and wavelets for the analysis of power quality events.[J]Elect.Power Syst.Res.vol.62, no.3,pp.183-190.2002.

[7]SCHAPIRER, SINGERY.Improved boosting algorithms using confidence-rated predictions.[J]Machine Learning,37(3), 1999.

[8]VIOLAP, JONES M.Rapid object detection using a boosted cascade of simple features[C].Proceedings of Computer Vision and Pattern Recognition, 2001.

[9]GIONISA, INDYKP, MOTWANIR.Similarity search in high dimensions via hashing[C].In Proceedings of International Conference on Very Large Databases, 1999.

[10]INDYKP, MOTWANIR.Approximate nearest neighbor-towards removing the curse of dimensionality[C].Proceedings of Symposium on Theory of Computing,1998.

[11]ZIBERT J, et al.The COST278 Broadcast News Segmentation and Speaker Clustering Evaluation - Overview Methodology, [c]Systems, Results.Interspeech 2005.