數字圖書館中基于內容的視頻拷貝檢測關鍵技術研究

徐彤陽張國標

（1．山西財經大學信息管理學院，山西太原030006；2．中國科學院文獻情報中心，北京100190）

數字圖書館中基于內容的視頻拷貝檢測關鍵技術研究

徐彤陽1，2張國標1

（1．山西財經大學信息管理學院，山西太原030006；2．中國科學院文獻情報中心，北京100190）

隨著數字圖書館中數字視頻資源的增長，數字視頻版權保護問題逐漸暴露出來。基于內容的視頻拷貝檢測技術作為一種有效的版權保護技術，近年來逐漸受到研究人員的關注。本文對基于內容的視頻拷貝檢測的關鍵技術視頻指紋提取和指紋匹配的研究成果進行了分析，總結了指紋提取和指紋匹配的研究現狀，指出了該領域存在的問題，最后分析了該領域的發展方向。

數字圖書館；基于內容的視頻拷貝檢測；視頻指紋；指紋匹配

從20世紀90年代數字圖書館的概念被提出以來，至今已發展了20多年，其中數字視頻資源成指數增長，同時數字視頻版權問題暴露出來。面對海量的數字視頻資源，人們可以輕易下載和編輯（轉變格式、添加logo、剪輯等）視頻并上傳到數字圖書館網站上，這樣不僅侵犯了視頻原作者的知識產權，同時也造成了視頻資源內容冗余的問題。視頻具有內容豐富、直觀生動的特點，已成為人們獲取信息的重要渠道。因此如何解決視頻盜版侵權和減少內容重復的視頻信息已成為影響數字圖書館發展的重要問題。

視頻拷貝檢測作為一種有效的版權保護方法逐漸成為近年來的研究熱點，視頻拷貝檢測主要有兩種方法：數字水印法和基于內容的視頻拷貝檢測法。由于數字水印法需要在視頻制作過程中加入數字水印信息，而且對各種攻擊不具有較好的魯棒性，所以數字水印法有一定的局限性。基于內容的視頻拷貝檢測不用對原始視頻添加任何信息，可以在視頻傳播的任何過程提取視頻的內容特征，形成視頻指紋，通過比較參考視頻和查詢視頻之間的相似度來判斷是否發生了視頻拷貝［1］。

如果參考視頻與查詢視頻內容上基本相同，只是在視頻亮度、尺寸、位率等方面有差別，則認為查詢視頻是參考視頻的拷貝，拷貝變換的形式主要有以下幾個方面［2］：

（1）視頻位率、幀尺寸的變換。

（2）視頻編碼格式轉變：如，MP4、AVI、WMV等格式之間的轉變。

（3）視頻在時域和空域的編輯。如，在邊角添加logo，添加邊框、字幕，噪聲，高斯模糊，剪掉或插入一些幀。

一個典型的基于內容的視頻拷貝檢測系統由4個模塊組成：視頻預處理，指紋提取，指紋匹配，拷貝結果判定。具體流程如圖1所示。由于視頻特征的復雜性和攻擊處理的多樣性，如何設計一個計算簡便且檢測精度高的視頻拷貝檢測系統成了一個充滿挑戰性的任務。目前來看，基于內容的視頻拷貝檢測的研究難點主要在于指紋提取和指紋匹配兩方面。視頻指紋是認證視頻的惟一標識，用于描述視頻內容，又被稱為視頻DNA。指紋匹配是對從參考視頻和查詢視頻中提取出的視頻指紋進行對比，判斷相似性。

圖1 基于內容的視頻拷貝檢測系統流程

1 指紋提取

要檢測出在經過各種編輯處理之后的拷貝視頻序列，提取的視頻指紋必須同時滿足兩方面的要求，即在一方面要對處理變換后的視頻數據具有魯棒性；在另一方面還要對因內容變化而產生的視頻數據具有區分性，如何提取滿足這兩個方面的指紋是視頻拷貝檢測研究的核心［3］。近年來的研究主要集中于以下4個方面：

1.1 基于空域的方法

基于空域的方法主要是以視頻關鍵幀的空域屬性作為視頻特征。早期研究者直接將圖像特征提取應用到視頻拷貝檢測中，Naphade［4］采用視頻關鍵幀的YUV空間直方圖作為該幀的特征，然后通過比較兩段視頻YUV空間直方圖的相似度來判斷拷貝，這種方法計算簡單但沒有考慮顏色的空間分布，并且視頻重編碼會造成顏色偏移，影響檢測準確度。Su［5］等利用幀的邊緣信息作為視頻特征，這種方法計算量較大，并且在發生視頻格式變換時容易引起亮度和塊效應的變化從而影響視頻幀的邊緣信息。Hampapur［6］提出一種采用宏塊運動矢量特征作為視頻特征，但往往無法真實描述視頻的運動信息，因此對視頻內容變化不具有較好敏感性。隨后，Hampapur［7］將圖像的順序度量（OM，Ordinal Measure）引入視頻拷貝檢測，他將每個關鍵幀分割成3×3的圖像塊，計算每塊亮度平均值并對各塊平均值排序，排序的平均值序列作為視頻指紋。Hua XS［8］采用關鍵幀灰度平均值的空間分布，提出利用空間灰度序構建視頻指紋。由于中位數相對平均值對全局變換有更好的抵抗力，湯海萍［9］提出采用各塊亮度的中位數序列作為視頻指紋。實驗表明基于OM特征的視頻拷貝檢測算法明顯優于基于運動方向和顏色直方圖的方法，缺點是當視頻亮度改變時，會影響各塊的亮度值變化，打亂各塊之間的排序。隨后，Oostveen［10］等人對各塊的亮度值進行偏微分運算，再進行排序作為關鍵幀特征構建視頻指紋；Lee［11－12］等人通過提取各塊亮度梯度信息構造視頻指紋；鮑偉［13］提出了只提取核心區域OM特征，對在邊角添加logo和邊框的視頻具有較好的魯棒性。這種分塊排序法雖然使檢測性能得到提升，但對經過幾何變換后的拷貝視頻如扭曲、剪裁和旋轉的檢測效果較差。

于是研究人員提出采用視頻幀的局部特征構造視頻指紋，局部特征是對圖像興趣點領域信息的描述，對圖像的幾何、光照、視角等變化具有良好的不變性，甚至對局部遮擋的目標依然具有一定的識別能力。趙玉鑫［14］利用局部敏感哈希算法（LSH，Locality Sensitive Hashing），通過Harris算子提取出圖像中的局部不變點然后根據局部不變點的Hilbert曲線生成視頻的哈希碼，最后通過度量視頻間哈希碼的距離來判斷是否發生拷貝。但Harris算子的精確度和抗噪性能相對較差，并且不具備尺度不變性等。Natsev［15］提出尺度不變特征變換算子（SIFT，Scale Invariant Feature Transform）作為關鍵幀的局部特征，所提取的局部特征描述性更好，并結合顏色相關圖作為視頻指紋。SIFT特征相比以前的特征可區分性更高，但是提取的特征維度較高計算較復雜。許喆［16］等人采用以SIFT特征為基礎的視覺詞典法（Bag of Visual Words）提取視頻指紋，該方法通過將提取出的大量局部特征映射成單詞集合，利用近鄰傳播學習算法對單詞進行聚類形成視覺詞典，以詞頻向量構成視頻指紋。張三義［17］等提出了一種利用ORB（Oriented FAST and Rotated BRIEF）二值特征描述符作為視頻指紋，相對于SIFT特征提取速度更快，匹配精度更高。這種基于視頻幀局部興趣點的方法，對一般常見的攻擊如模糊、加邊框、字幕、幾何變換等都有較好的魯棒性，但局部特征的提取過程中需要對興趣點進行檢測和定位，計算較為復雜。

1.2 基于時域的方法

基于時域的方法是將視頻序列的時序信息作為視頻指紋。Indyk P．［18］首次提出采用時域信息作為視頻指紋，他采用視頻中每個鏡頭時間長度的信息作為視頻指紋。這種方法可以用于整個視頻的拷貝檢測，但并不適用于視頻片段的拷貝檢測。隨后，一些研究人員提出運用關鍵幀在視頻中的位置信息構造視頻指紋。目前較常用的方法是利用相鄰幀之間順序關系來組成視頻指紋，Chen［19］等人采用視頻的時域亮度順序信息作為視頻指紋，與在空域里進行的分塊亮度排序方法相似，將視頻幀分割成塊并計算各塊亮度的平均值，然而時域亮度排序不是直接對視頻幀內分塊進行亮度排序，而是再視頻序列上放置一個滑動窗口，取窗口內的視頻幀相同位置上的分塊排序，從而形成基于時域的視頻指紋，但是對插入或刪除視頻幀的情況檢測性能較差。Zhang［20］等人通過比較關鍵幀各塊的平均灰度值，將平均值最大的3個子塊的位置信息構成關鍵幀特征，然后比較關鍵幀之間特征的位置變化情況生成視頻指紋。這些方法有效利用了視頻序列的時間信息，但是對于插入或刪掉一些幀的攻擊魯棒性較差。郭俊波［21］等人采用Harris角點檢測并結合KLT跟蹤將提取的特征點軌跡進行量化，然后采用視覺關鍵詞方法，將提取的Harris特征點的軌跡行為轉化為詞頻直方圖構成視頻特征。Wang［22］等人通過提取三維空間Harris角點，并利用梯度直方圖和光流直方圖表示該點的局部區域信息，然后進行角點聚類，最后跟蹤特征點的軌跡并結合上下文構建視頻指紋。

1.3 基于時空域的方法

基于時空域的方法就是將視頻的空間特征和時間特征聯合構建視頻指紋。由于視頻內容豐富多變，使用一種特征不能全面描述視頻內容，若融合多種視頻的特征來構建視頻指紋，得到的視頻指紋魯棒性會更好。Kim［23］等人通過利用關鍵幀分塊亮度排序形成空間特征，以相鄰關鍵幀之間的亮度平均值的變化作為時間特征，結合視頻的空間特征和時間特征構建視頻指紋。同時該文還指出，增加OM分塊數可以加強特征描述能力。目前現有的基于關鍵幀的檢測方法沒有充分利用視頻的時空相關性，潘雪峰［24］等人提出了一種基于視覺感知的時空聯合檢測方法，根據視頻序列能量譜與時間和空間頻率的相關特性以及人類對時空視覺變化的敏感性，對視頻時空切片單元塊進行離散余弦變換得到基于視頻時空聯合特征的視頻指紋。實驗表明，這種方法比單一使用空域或時域特征構建的視頻指紋具有更好的魯棒性和區分性，表現出優越的性能。

1.4 基于變換域的方法

基于變換域的方法是先對視頻的關鍵幀進行一些變換如傅里葉變換、離散余弦變換、小波變換等，然后從變換域中提取視頻指紋。基于變換域的特征對于各種攻擊具有較好的魯棒性，目前已經成為主要的視頻指紋提取方法。Swaminathan［25］等人對視頻幀進行傅里葉變換，提取到對幾何攻擊魯棒的視頻指紋；Coskun［26］等人通過對時空域結合的特征進行離散余弦變換（DCT變換）構建視頻指紋。靳延安［2］等人首先將關鍵幀轉換為灰度圖像，將關鍵幀劃分成塊并計算每一塊的平均灰度值，對平均亮度值矩陣做DCT變換，選取DCT變換的AC系數，生成AC系數值的排序矩陣，利用AC系數的有序測度構建視頻指紋。同樣，基于小波變換的方法也可以表征視頻特征，構建視頻指紋，而且小波具有平移不變性和伸縮不變性，能夠更好的抵抗對視頻的幾何攻擊。王大永［27］采用小波變換對視頻幀進行變換，利用低通濾波器構建了小波函數，得到小波系數，組成視頻序列的特征向量，構建視頻指紋。實驗表明基于小波變換的視頻指紋對各種幾何攻擊具有更好的魯棒性，但小波變換對視頻幀率變化的抗干擾性能較差。同時有部分研究者利用基于Radon變換和奇異值分解的方法構建視頻指紋，這些方法對于視頻的幾何攻擊具有較好的魯棒性。以上方法都是在非壓縮域進行處理，而對于壓縮域視頻拷貝檢測，傳統方法是先進行視頻解壓縮再提取視頻指紋，這種方法計算量大效率較低。張勇東［28］等人提出直接在壓縮域上進行DCT變換，得到DC系數OM特征進行相似度匹配，顯著減少輸入視頻解碼操作，提高了視頻指紋提取效率。

2 指紋匹配

視頻指紋匹配也是影響拷貝檢測系統準確率和漏檢率的關鍵因素。指紋匹配是指通過計算參考視頻的指紋與查詢視頻的指紋的距離是否小于一個既定閾值，來判定查詢視頻是否發生了拷貝［13］。好的指紋匹配方法應滿足在海量數據情況下，準確迅速地測度指紋之間的距離，返回匹配結果。目前指紋匹配有兩種常用方法：視頻序列匹配方法［7］和基于幀融合的匹配方法［29］。

2.1 序列匹配方法

序列匹配方法是一種較早的匹配方法，該方法先提取參考視頻的指紋，構建一個指紋庫。然后提取查詢視頻的指紋信息，然后根據查詢視頻指紋序列長度設定一個匹配窗口，并設定滑動步長。匹配時把查詢視頻指紋序列沿參考視頻指紋序列向前滑動一個固定步長，并計算這個窗口內查詢指紋序列與參考指紋序列之間的距離，記下每個對齊窗口的兩序列距離值，找出距離值中的最小值，并設定閾值，將這個距離最小值和既定閾值比較。如果距離最小值小于既定閾值則認為查詢視頻是其對應的參考視頻的拷貝視頻。使用固定步長的滑動窗口不能準確判斷是否拷貝和拷貝的起始位置。為了應對這種問題，聶秀山［1］采用了一種基于可變步長滑動窗口的匹配方法。通過計算前一次兩視頻序列匹配的漢明距離（Hamming），將所得漢明距離設為窗口下次滑動的步長。所有視頻序列都匹配完后，可以得到匹配過程中最小的漢明距離，若此最小值小于既定閾值，那么查詢視頻為拷貝視頻。這種基于序列匹配方法計算簡便，但存在閾值大小設定問題，對于經過各種處理之后的視頻，設定一個合適的閾值很困難。此外，這種方法還不適用于查詢視頻序列中只有一部分視頻序列是拷貝的情況。

2.2 基于幀融合的匹配方法

基于幀融合的匹配方法不需要設置閾值，該方法分別對參考視頻和查詢視頻提取關鍵幀和關鍵幀特征，并構建參考視頻的特征庫。然后將查詢視頻的每個關鍵幀與參考視頻特征庫進行相似性對比，用相似度最接近的M個關鍵幀構成相似幀列表。再利用查詢視頻和參考視頻時間上的一致性信息即可找到查詢視頻對應的參考視頻序列。這種方法也有缺點，如果查詢視頻時間很長，要等找到查詢視頻關鍵幀的所有相似性列表，再進行一致性檢測，這造成了在時間和空間上較大的浪費［9］。Wei S［30］提出采用動態Viterbi－like算法進行匹配，該方法不用等所有相似性列表全部返回再進行融合，而是有部分相似性列表返回，就開始進行融合。對于查詢視頻，在這一匹配過程中先為其返回一個相似幀列表，然后在這一列表中結合時間一致性信息對相似幀進行融合，將在時間上連續的相似幀融合成一個路徑。

3 研究難點

雖然有眾多研究人員對基于內容的視頻拷貝檢測進行了較深入的研究，但就目前而言這一研究工作仍然存在許多問題需要解決。

3.1 指紋提取和指紋匹配運算量大

視頻信息結構復雜、內容多變、時間長、數據量大，造成運算量較大，這是所有視頻拷貝檢測系統共同存在的一個問題。特別是在對海里視頻進行檢查時，無論是在指紋提取還是指紋匹配所需計算時間都太長，無法達到實際應用中的要求。

3.2 視頻多特征融合

基于內容的視頻拷貝檢測想要提高檢測準確率需要融合多種視頻特征構造視頻指紋，用單一特征構造的視頻指紋，其指紋信息約束力不足，在檢測過程中往往會造成誤檢。采用多特征融合的手段構造的視頻指紋可描述更多的視頻信息，使得匹配結果更準確，但多種視頻特征的融合目前存在的問題。

3.3 高層語義信息與低層特征相關聯

目前在從視頻中提取的低層特征與人對視頻的理解之間存在著“語義鴻溝”。由于人對視頻語義信息的理解千差萬別，語義提取技術的發展還遠遠沒有達到自動描述視頻內容的能力。具有自動提取視頻語義信息和語義匹配能力并結合視頻低層特征的內容拷貝檢測系統是未來的研究方向之一。

3.4 視頻指紋匹配算法仍需改進

現有視頻指紋匹配算法大都是直接對參考視頻和查詢視頻的指紋進行匹配，通過度量兩指紋的距離來判定是否發生視頻拷貝，這種方法比較簡單，但實際效果不太理想。如果利用機器學習里的分類算法，將指紋匹配問題轉換成根據視頻特征進行分類的問題，則匹配效果將得到大大提高［31］。

4 總結與展望

本文介紹一種解決數字圖書館中視頻版權保護問題的方法，總結了基于內容的視頻拷貝檢測的主要研究內容和方法。基于內容的視頻指紋可以對視頻進行惟一性標識，更好的保護視頻作者的知識產權，減少數字重復的視頻信息。目前已經有較多視頻指紋提取和匹配方法，但還未找到一個對各種攻擊都有效的方法，還需要不斷克服難題。要取得到較好的檢測效果，就要使匹配算法和提取的視頻指紋相協調，通過分析視頻指紋的特性來選擇指紋匹配方法，才能提高檢測系統的查全率和準確率［32］。通過分析最新的研究成果，我們認為以后該領域的研究主要在于新的特征描述符的開發，以及融合空域、時域、變換域等多特征的視頻指紋構建技術開發。

［1］聶秀山．基于魯棒哈希的視頻拷貝檢測技術研究［D］．濟南：山東大學，2011．

［2］靳延安．基于內容的視頻拷貝檢測研究［J］．計算機應用，2008，28（8）：2021－2023．

［3］聶秀山，劉琚，孫建德．數字圖書館視頻資源的拷貝檢測方案［J］．圖書情報工作，2010，54（7）：123－126．

［4］Naphade M R，Yeung M M，Yeo B L．A novel scheme for fast and efficient video sequence matching using compact signatures［C］．Electronic Imaging．International Society for Optics and Photonics，1999：564－572．

［5］Xing Su，Tie jun Huang，Wen Gao．Robust video fingerprinting based on visual attention regions．Proceedings of the Acoustics，Speech and Signal Processing，2009：1525－1528．

［6］Hampapur Arun，Bolle Rund M．Comparison of distance measures for video copy detection．Proceedings of the IEEE International Conference on Multimedia and Expo，2001：944－947．

［7］Hampapur A，Hyun K，Bolle R M．Comparison of sequence matching techniques for video copy detection．Electronic Imaging．International Society for Optics and Photonics，2002：194－201．

［8］Hua XS，Chen X，Zhang HJ．Robust video signature based On ordinal measure．In：Proc．of the Int'l Conf．on ICIP，2004：685－688．

［9］湯海萍．基于時空信息表達的視頻拷貝檢測［D］．北京：北京交通大學，2014．

［10］OostVeen，J．，Kalker，T．，Haitsma，J．．Feature extraction and a database Strategy for video fingerprinting［C］．Proc．5th Int．Conf Recent Advance in Visual Information Systems，2002：117－128．

［11］Lee S．，Yoo C.D．．Video fingerprinting based on centroids of gradient orientations［C］．Proc．Int．Conf．Acoust．Speech and Signal Processing（ICASSP），2002，2：401－404．

［12］Lee S．，Yoo C.D．．Robust video fingerprinting for content－based video identification［J］．IEEE Trans．Circuits Syst．Video Technol，2008，18（7）：983－988．

［13］鮑偉．基于多特征融合的視頻拷貝檢測技術研究［D］．鄭州：解放軍信息工程大學信息技術研究所，2013．

［14］Zhao Y X，Liu G J，Dai Y W，et al．Robust hashing based on persistent points for video copy detection［C］．Computational Intelligence and Security，2008．CIS'08．International Conference on．IEEE，2008：305－308．

［15］Natsev A，Hill M，Smith J R．Design and evaluation of an effective and efficient video copy detection system［C］．Multimedia and Expo（ICME），2010 IEEE International Conference on．IEEE，2010：1353－1358．

［16］許 ，薛智鋒，陳福才．基于改進的近鄰傳播學習算法的視頻拷貝檢測［J］．計算機工程與設計，2014，35（9）：3185－3189．

［17］張三義，張興忠，郝曉燕．基于ORB和灰度序特征的視頻拷貝檢測［J］．計算機應用研究，2014，31（10）：3113－3116．

［18］Indyk P．，Iyengar G．，Shivakumar N．．Finding pirated video sequences on the Internet，Tech．Rep．，Stanford Info Lab，Stanford U－niversity，1999．

［19］Chen L．，Stentiford F.W.M．．Video sequence matching based on temporal ordinal measurement［J］．PatternRecognition Letters，2008，29（13）：1824－1831．

［20］Zhang Z，Zhang R，Cao C．Video copy detection based on temporal features of key frames［C］．Artificial Intelligence and Education（ICAIE），2010 International Conference on．IEEE，2010：627－630．

［21］郭俊波，李錦濤，張勇東．基于軌跡行為模式特征的視頻拷貝檢測算法［J］．計算機輔助設計與圖形學學報，2010，22（6）：943－948．

［22］J.Wang，Z.Y.Chen，Y.Wu．Action Recognition with Multiscale Spatio－Temporal Contexts［J］．IEEE Conference on Computer Vision and Pattern Recogniton，2011：3185－8192．

［23］Kim C，Vasuedv B．Spatiotemporal sequence matching for efficient video copy detection［J］．IEEE Transactions on Circuits and Systems for Video Technology，2005，15（1）：127－132．

［24］潘雪峰，李錦濤，張勇東，等．基于視覺感知的時空聯合視頻拷貝檢測方法［J］．計算機學報，2009，32（1）：108－114．

［25］Swaminathan A．，Mao Y．，Wu M．．Image hashing resilient to geometric and filtering operation［C］．IEEE Workshop on Multimedia Signal Processing（MMSP），2004：355－358．

［26］Coskun B．，Bulent S．，Nasir M．．Spatio－Temporal Transform Based Video Hashing［J］．IEEE Trans on Multimedia，2006，8（6）：1190－1208．

［27］王大永．感知視頻指紋算法研究［D］．上海：上海交通大學，2012．

［28］張勇東，張冬明，郭俊波．壓縮域快速視頻拷貝檢測算法［J］．通信學報，2009，30（3）：135－140．

［29］Gengembre N，Berrani S A．A probabilistic framework for fusing frame－based searches within a video copy detection system［C］．Proceedings of the 2008 international conference on Content－based image and video retrieval．ACM，2008：211－220．

［30］Wei S，Zhao Y，Zhu C，et al．Frame fusion for video copy detection［J］．Circuits and Systems for Video Technology，IEEE Transactions on，2011，21（1）：15－28．

［31］陳秀新．多特征融合視頻復制檢測關鍵技術研究［D］．北京：北京工業大學，2013．

［32］尹亞光，王曉霞．一種基于視頻指紋的視頻檢索方法研究［J］．電視技術，2014，38（15）：17－20．

（本文責任編輯：郭沫含）

The Key Technology for Content－based Video Copy Detection in Digital Library

Xu Tongyang1，2Zhang Guobiao1
（1．Faculty of Information Management，Shanxi University of Finance and Economics，Taiyuan 030006，China；2．National Science Library，Chinese Academy of Sciences，Beijing 100190，China）

Along with the digital video resources in digital library rapid growth，protecting video copyright changes more and more importantly．The content－based video copy detection technology as an effective means has become a research hotspot in recent years．The paper summarized the current research of the key techniques for the content－based video copy detection technology and pointed out the research difficult fields．And it gave the development trend．

digital library；content－based video copy detection；video fingerprint；fingerprint matching

10．3969/j．issn．1008－0821．2016．02．026

G250.78

A

1008－0821（2016）02－0135－05

2015－11－03

山西高校科技創新項目“無線傳感網定位方法及其在物聯網中的應用研究”（項目編號：2013124）和教育部人文社會科學項目“基于技術融合的圖書館數字資源利用服務機制研究”（項目編號：12YJA870021）研究成果之一。

徐彤陽（1976－），男，講師，博士后，碩士生導師，研究方向：多媒體信息檢索。