基于關鍵幀顏色和紋理特征的視頻拷貝檢測

陳秀新，賈克斌，魏世昂

(1.北京工商大學計算機與信息工程學院，北京100048;2.北京工業大學電子信息與控制工程學院，北京100124)

隨著數字視頻采集設備的普及以及寬帶網絡的發展，海量的數字視頻正在產生與傳播。網絡視頻內容飛速膨脹，對人們的生活和娛樂方式產生了重要的影響，對數字視頻的版權保護也提出了新的挑戰。網絡上的視頻可方便地進行復制和傳播，對其版權進行有效的保護迫在眉睫。因此，近年來，包括視頻拷貝檢測在內的基于內容的視頻檢索技術成為多媒體信息處理領域和模式識別領域的學者們研究的熱點。從2001年開始，美國NIST(National Institute of Standards and Technology)每年都主辦針對大規模視頻檢索的國際評測會議，即TRECVid，視頻拷貝檢測是該會議中的一項重要評測內容［1］。

近年來，視頻拷貝檢測技術取得了一定的進展，但還有很多問題有待解決。文獻［2］提出了基于圖的拷貝檢測，文獻［3］提出了基于局部線性嵌入的視頻拷貝檢測方法，但都沒有充分利用視頻的顏色特征。關鍵幀的顏色特征在關鍵幀內容表達上具有至關重要的作用，也是基于內容的圖像和視頻檢索中使用最多的特征之一。顏色直方圖因為固有的平移、旋轉和縮放不變性得到了廣泛的應用。最準確的顏色直方圖是針對圖像的RGB真彩色進行統計，但這種方法計算量太大。另外，圖像在存儲、傳輸、處理過程中，難免會有顏色值的輕微變化，上述方法對這種變化非常敏感，因此不適用于視頻拷貝檢測應用。由于HSV顏色空間能較好地反映人眼對色彩的感知和鑒別能力，同時又能夠方便地同RGB顏色空間進行轉換，現在很多的方法都把圖像轉換到HSV顏色空間，然后對H，S和V 3個分量分別進行量化，從而減少顏色數量，且對顏色的輕微變化具有了一定的穩健性，如文獻［4］和［5］。但這種量化方法使得量化邊界附近的顏色值對顏色變化仍然非常敏感。另外，文獻［6］提出了融合曲波變換和顏色直方圖的圖像檢索方法，其顏色量化方法將三維顏色值轉換為一維信息，導致圖像顏色信息有較大的損失，勢必影響最終的檢索結果。此外，紋理也是關鍵幀的重要特征之一，灰度共生矩陣就是一種通過灰度的空間相關特性來描述紋理的常用方法［7］。

針對以上問題，本文在HSV顏色空間各分量量化基礎上，通過求相鄰量化區間直方圖值的和，構造了一種三維顏色量化直方圖，有效增強了算法對于顏色微變的穩健性;同時，提出了用于匹配的三維直方圖相交方法。為了進一步提高視頻拷貝檢測的準確度，有效過濾不相關的視頻，使用灰度共生矩陣的角二階矩和熵來進行進一步檢測。

1 算法原理

首先，將視頻中具有相似內容的圖像幀劃分到一個子片段中，并在每個子片段中提取一個關鍵幀。然后，分別提取關鍵幀的顏色特征和紋理特征，通過關鍵幀顏色和紋理特征的匹配來檢測到具有相同內容的視頻片段。

1.1 視頻子片段劃分和關鍵幀提取

通常來說，視頻是由若干個鏡頭經過后期處理，穿插在一起構成的。在一段視頻中，經常會有若干個鏡頭具有相似的畫面，如果用鏡頭分割方法，這些畫面會被分成多個鏡頭，從而會出現多個關鍵幀，這無疑會增加后續關鍵幀處理的計算量。因此，本文將具有相似內容的幀劃分到一個子片段中，從每個子片段中提取一個關鍵幀，從而大大減少了關鍵幀的數量。

子片段按照文獻［8］所述方法進行劃分。簡要介紹如下：

首先，將視頻中的所有幀按照2×2的方式分成4個相同大小的子塊，并計算每個子塊的灰度均值。然后，將對應子塊灰度均值差小于閾值的子塊數目大于等于2的幀劃分到一個子片段。劃分完畢后，將幀數小于5的子片段和其相鄰的子片段合并。

關鍵幀的選取采用直方圖最近鄰法。分別計算每個子片段中視頻幀的平均直方圖，選取直方圖和平均直方圖最接近的幀作為關鍵幀。

1.2 視頻關鍵幀顏色特征提取與匹配

在顏色量化過程中，選擇合適的量化顏色數目和量化方法是其中的關鍵。一般來說，量化顏色數目越多，量化后的圖像對顏色的分辨能力就越強，但是量化顏色的數目過多不僅會增加計算的復雜度，也會對顏色的微變過于敏感。對于基于內容的視頻拷貝檢測來說，使用過于精細的顏色矢量量化方法不一定能夠提高檢測效果。在某些應用中，視頻處理過程會造成關鍵幀顏色的輕微變化，這種情況下容易造成視頻的漏檢。而量化顏色數目過少會將差別較大的顏色量化成一種顏色，從而降低檢索的準確率。

根據人眼對不同顏色敏感度的不同，本節采用(16∶4∶4)非均勻量化方案對HSV顏色空間的關鍵幀進行量化，即將H分量量化成16個值，S和V分量分別量化成4個值。與之對應的量化后的色調、飽和度和亮度值分別為

量化后可以獲得16×4×4即256種顏色。

量化后的關鍵幀HSV顏色空間中的H分量有16個離散值，S分量和V分量分別有4個離散值，因此，定義一個16×4×4大小的數組T，統計每種顏色的像素數占總像素數的比例。T中的每個元素定義為

式中：T(i，j，k)表示關鍵幀的像素點中H分量為其量化值第i個值、S分量值為其量化值第j個值以及V分量值為其量化值第k個值的像素點數占總像素點的比例;Ni，j，k為滿足上述顏色值的像素點數目;M為關鍵幀中的像素點總數。

上述的顏色量化方法是一種硬劃分，這種量化方法的量化邊界是分明的。而實際上顏色在顏色空間的分布具有連續性和相似性，那么就會造成：在量化邊界兩側附近，感知上相似的顏色可能被量化到不同的量化區域;而感知上不相似的顏色可能會被量化到同一量化區域內。當關鍵幀中某點的顏色值位于量化的邊界處時，將其劃分為某一區域有時會與人眼的主觀感受有差別，并且，當圖像收到干擾時，容易產生量化值的改變。

為了降低量化誤差的影響，提高后續視頻拷貝檢測的準確率，考慮到位于量化邊界處的像素不管是劃分到前一個量化區域還是劃分到后一個量化區域，兩個量化區域像素點總和不變，因此，可將三維顏色直方圖沿H分量方向將相鄰的兩個值相加，將相加的和作為新的三維顏色直方圖進行后續的直方圖匹配。即關鍵幀的三維顏色直方圖為

F的大小也為16×4×4，其值代表了關鍵幀量化后相臨顏色分量的像素點個數和在關鍵幀總像素中所占的比例。

為了提高顏色表示的準確度并使其能夠抵抗旋轉及縮放變換，本文將關鍵幀按照圖1所示方法進行分塊，將圖像分成3個子塊。

圖1 一幅關鍵幀分塊后的結果圖

圖1中兩個圓的圓心均為圖像的中心點，分塊1包含中間小圓內的像素，分塊2包含兩個圓中間的圓環區域，分塊1和分塊2之外的部分為分塊3。兩個圓的半徑R1和R2分別為

分塊后分別提取各個子塊的三維量化顏色直方圖，有

式中：n=［1，2，3］，分別表示圖像的3 個子塊;Nn，i，j，k表示第n個分塊的像素點中H分量為其量化值第i個值、S分量值為其量化值第j個值以及V分量值為其量化值第k個值的像素點數;Mn為第n個分塊中的像素點總數。

設樣例視頻的一幅關鍵幀圖像為Q，待匹配視頻的一幅關鍵幀圖像為D，其3個分塊的三維顏色直方圖分別為FnQ和 FnD，n=［1，2，3］。定義如下的三維直方圖相交法來計算兩幅關鍵幀內容的相似程度S(Q，D)。

S(Q，D)的取值范圍為(0～1)，兩幅關鍵幀越相似，其值越大，對于兩幅完全相同的關鍵幀，其值為1。當S(Q，D)大于設定的閾值時，認為兩幅關鍵幀是匹配的。為了提高算法的查全率，本文選取的閾值為0.5。

將樣例視頻和待匹配視頻的關鍵幀用式(7)進行一一對比，如果相匹配的關鍵幀數目是兩個視頻中關鍵幀較少者的2/3，則認為兩段視頻是匹配的;否則，認為兩段視頻具有不同的內容。

1.3 關鍵幀紋理特征提取與匹配

使用1.2節所述的方法進行視頻拷貝檢測時，發現仍然有少量不相關的視頻被檢索出來，為了進一步提高算法的準確度，采用灰度共生矩陣的角二階矩和熵來進一步過濾不相關的視頻。

灰度共生矩陣是表示圖像紋理的常用方法之一，它的基本原理為：從圖像中灰度值為i的像素(x，y)出發，統計與其距離為d、灰度值為j的像素對(x+a，y+b)同時出現的概率 p(i，j，d，θ) ，計算公式為

式中：θ為生成方向，通常情況下取0°，45°，90°和135°這4個方向;，本文中取d=4。

灰度共生矩陣的角二階矩通過矩陣中各元素的平方和來計算，有時也稱為能量。它表示圖像紋理灰度變化的均勻性，是灰度分布均勻程度以及紋理粗細程度的度量。如果矩陣中的元素值相近，角二階距就小，表示紋理細致，反之，則表示紋理粗糙。角二階矩的定義為

灰度共生矩陣的熵是圖像中信息量的度量，代表圖像紋理的復雜程度。當圖像中沒有任何紋理時，其熵為0;圖像中的紋理越多，則熵的值就越大。也就是說，當共生矩陣中的元素近似相等時，其熵較大。在熵的計算過程中可能會出現 p(i，j，d，θ)=0 ，這種情況下，本文取對應的 p(i，j，d，θ)lg p(i，j，d，θ)=0 來處理

關鍵幀紋理特征的匹配采用歐氏距離法，當距離小于設定的閾值時，認為兩幅關鍵幀是匹配的。

2 實驗結果

實驗數據集為自采集的視頻，通過電視采集卡采集電視視頻90段，其中包括紀實片、新聞和廣告各20段，另外包括30段電視劇片段，視頻分辨率均為320×240。對每段原始視頻用視頻編輯軟件進行編輯，包括顏色微調、加入高斯噪聲、視頻片段之間隨機組合等，最終得到315段視頻。單個視頻的長度在6～30 s之間，采用PAL制式(25幀/秒)，即單個視頻幀數為150～750。實驗所使用的計算機配置為：Intel Core 2 Duo CPU 2.4 GHz，1 Gbyte 內存。

分別用實驗數據集中的每段視頻作為樣例視頻進行檢索測試，本文方法的測試結果如表1所示。

表1 本文算法測試結果

本文所提出的方法檢測速度很快，對于300幀的視頻片段，平均的檢測時間大約10 s。

3 結束語

視頻拷貝檢測在數字內容版權保護、視頻內容管理與過濾以及媒體追蹤等領域有著廣泛的應用需求和應用前景。本文提出的視頻復制檢測方法對于常見干擾具有較高的穩健性，且可用于多種類型的視頻。

［1］TREC video retrieval evaluation home page［EB/OL］.［2012-01-04］.http：//trecvid.nist.gov/.

［2］劉紅，文朝暉，王曄.基于內容的視頻拷貝檢測研究［J］.電視技術，2010，34(4)：90-92.

［3］聶秀山，劉琚，孫建德，等.基于局部線性嵌入的視頻拷貝檢測方法［J］. 電子與信息學報，2011，33(5)：1030-1034.

［4］周明全，韋娜，耿國華.交互信息理論及改進的顏色量化方法在圖像檢索中的應用研究［J］.小型微型計算機系統，2006，27(7)：1331-1334.

［5］張水利，鄭秀萍，雷文禮.基于量化顏色空間的彩色圖像檢索算法［J］. 計算機仿真，2007，27(10)：194-196.

［6］王瑩，彭進業，賀靜芳，等.融合曲波變換和顏色直方圖的圖像檢索［J］. 計算機工程與應用，2011，47(11)：194-196.

［7］HARALICK R M..Statistical and structural approaches to texture［J］.Proeeedings of the IEEE，1979，67(5)：786-804.

［8］陳秀新，賈克斌，鄧智玭.融合時序特征和關鍵幀的視頻檢索方法［J］. 電視技術，2011，35(3)：21-24.