基于顏色和灰度熵的視頻鏡頭檢測方法

亓玉嬌，杜海清，徐靜濤，劉 勇

(網(wǎng)絡(luò)體系構(gòu)建與融合北京市重點實驗室;北京郵電大學(xué)，北京 100876)

隨著數(shù)據(jù)通信的日益發(fā)達，大量的視頻傳輸出現(xiàn)在日常生活中。視頻數(shù)據(jù)處理、管理和檢索等成為現(xiàn)在信息時代必要的手段之一。而視頻檢索和視頻分類管理的結(jié)構(gòu)單元正是視頻鏡頭，因此視頻鏡頭檢測具有重要意義。

視頻的一個鏡頭是由一個攝像機連續(xù)拍攝得到的時間上連續(xù)的若干圖像幀組成。視頻鏡頭變換可以分為突變和漸變兩大類。視頻鏡頭變換時，視頻數(shù)據(jù)會發(fā)生一系列變化，表現(xiàn)在幀間顏色差異突然增大、對象形狀的變化和運動[1]的不連續(xù)等，而同一鏡頭內(nèi)各幀之間的以上特征差異較小。因此，可以通過分析視頻特征的變化規(guī)律，找到圖像幀間差異較大的位置作為鏡頭變換點。鏡頭檢測的基本思想就是檢測鏡頭的邊界，根據(jù)視頻中相鄰兩圖像幀或是非相鄰的圖像幀的差異來檢測本鏡頭是否結(jié)束。

目前提出的鏡頭檢測算法主要有基于像素比較的方法、基于直方圖的方法、基于運動的方法和基于輪廓的方法等[2]。基于直方圖的方法能夠降低對攝像機運動和噪聲的敏感性，基于直方圖的方法計算復(fù)雜度低，易于實現(xiàn)，成為鏡頭檢測中比較常用的方法。

由于基于直方圖的方法存在如下缺陷:對直方圖類似的不同鏡頭的檢測無效;并且對物體和攝像機運動的穩(wěn)健性有限。本文在特征選取上，除了顏色直方圖還添加了圖像的灰度熵，有效地克服了基于直方圖方法的上述兩個問題。

1 基于顏色和灰度熵的視頻鏡頭檢測方法

1.1 HSV顏色直方圖

本文采用與人眼視覺感知比較相符的HSV顏色空間模型，它采用色調(diào)、飽和度、明度來表示色彩。

色調(diào)(H)[3]是色彩的基本屬性，就是平常所說的顏色名稱，如紅色、藍色等，取0～360°的數(shù)值。飽和度(S)是指色彩的純度，飽和度越高色彩純度也越高，低則逐漸變灰，可以取0～100%的數(shù)值。而明度(V)是顏色的明暗程度，取值也是0～100%之間。HSV顏色空間的展開平面模型如圖1所示。將RGB顏色空間轉(zhuǎn)換為HSV[4]后，將顏色的色調(diào)H、飽和度S和明度V分別進行非均勻量化

圖1 HSV空間的平面模型

為了簡化計算的復(fù)雜度，將H，S，V三維空間的顏色特征組合為一維顏色特征矢量:C=m×n×H+n×S+V，其中m，n分別為飽和度S和亮度V的量化級數(shù)。因此，本文中的圖像幀的顏色特征為C=9H+3S+V[5]，將HSV顏色空間劃分為72個顏色區(qū)間，量化后顏色直方圖的總bin數(shù)為72。

1.2 圖像灰度熵

先將圖像進行灰度轉(zhuǎn)換，設(shè)圖像的灰度級取0，1，…，L －1，對應(yīng)的灰度級概率分布為 p0，p1，…，pi，…，pL－1。其中pi表示圖像中灰度為i的像素所占的比例數(shù)。則圖像的灰度熵定義為

式中，L為圖像像素的灰度級數(shù)，這里L(fēng)=255(沒有將灰度進行量化)。

灰度熵表示了圖像中灰度分布的聚集特征所包含的信息量，是圖像的一種統(tǒng)計特征。被廣泛應(yīng)用到圖像區(qū)域分割，不同圖像區(qū)域的灰度級分布不同，各個區(qū)域內(nèi)部灰度級是均勻的，文獻[6]還利用了二維灰度熵進行圖像閾值選取。因此灰度熵可以很好地代表圖像的灰度特征，由于是一種圖像的統(tǒng)計特征，對光線和攝像機及物體運動具有很好的穩(wěn)健性，因此在進行視頻鏡頭檢測的特征選取上添加了圖像的灰度熵。

1.3 圖像的幀間相似度

前面已經(jīng)得到每一幅圖像HSV顏色空間的72 bin顏色直方圖。兩幀圖像的顏色分布的相似度定義為兩圖像顏色直方圖的交集。

設(shè)兩幀圖像的顏色直方圖為Ht，Ht+1，定義他們之間的相似度[7]為

兩幀圖像灰度熵的熵差定義為

式中，Et，Et+1分別是視頻序列中第t，t+1幀的灰度熵。

為了消除物體運動和光照影響帶來的誤檢，將(1－Dt)作為權(quán)值加權(quán)兩幀圖像(t，t+1)間的顏色相似度SIMt

式中，SIMt為前面得到的兩幀圖像的顏色相似度。由顏色直方圖的交集和灰度熵的加權(quán)最終得到(t，t+1)兩幀圖像的相似度St。

由于在鏡頭內(nèi)部視頻序列在顏色、灰度等信息上有比較強的相似性，因而相鄰幀的相似度St較大;而在鏡頭變換時，顏色和灰度信息會有很大變化，則幀間相似度較小，因此幀間相似度St可以作為視頻鏡頭檢測的標(biāo)準(zhǔn)。

圖2為一段飲料廣告視頻中的幀截圖，第34，35，36幀是一個鏡頭內(nèi)的視頻幀，第37，38，39幀是相鄰鏡頭內(nèi)的視頻幀。圖3是廣告視頻相鄰兩幀圖像之間的相似度曲線。從圖3可以看出，鏡頭突變時相鄰幀的相似度很低，如廣告視頻中第36幀與第37幀的相似度低于0.8;而鏡頭漸變時相似度也有明顯變化，連續(xù)處于較低的數(shù)值，如第145～156幀。

圖2 視頻截圖

2 鏡頭邊界檢測的步驟

鏡頭邊界檢測步驟為:

1)首先依次讀入一段視頻的各幀圖像，利用公式(2)計算各幀圖像的灰度熵。將圖像進行RGB顏色空間到HSV顏色空間的轉(zhuǎn)換，非均勻量化HSV顏色空間進一步得到每幀圖像的顏色直方圖。

圖3 視頻幀間相似度

2)利用公式(3)，(4)，(5)計算視頻相鄰兩幀的相似度St(t，t+1幀的相似度)。

3)當(dāng)St＜T1時，第t幀即為突變鏡頭。(T1為突變鏡頭檢測的閾值)如果St≥T1，進行步驟4)，檢測是否出現(xiàn)鏡頭漸變。

4)如果St＜T2，從第t幀開始統(tǒng)計相鄰兩幀之間相似度 St，St+1，St+2，St+3…，St+M，連續(xù)M幀是否都滿足Sj＜T2，若都滿足，則第t幀認(rèn)為是漸變鏡頭。這里為防止?jié)u變緩慢而漏檢漸變鏡頭，設(shè)置一容忍窗口，窗口大小為Tw。即第t幀開始統(tǒng)計大小為M+Tw的窗口內(nèi)滿足Sj＜T2的幀個數(shù)，若滿足條件的幀個數(shù)大于M，則認(rèn)為第t幀為漸變開始幀。(實驗過程中閾值的選擇為:T1=0.8，T2=0.95，M=8，Tw=3。)

5)若檢測出的漸變幀(m，n)幀間隔n－m＜M+2Tw，則將漸變鏡頭合并。

算法流程圖如圖4所示。

圖4 算法流程圖

3 實驗分析結(jié)果

采用查全率和查準(zhǔn)率來檢測本算法的性能，查全率和查準(zhǔn)率的公式為

為了驗證本文的視頻鏡頭檢測算法的有效性，選取了2段飲料廣告視頻、2段電影視頻、2段新聞視頻作為實驗材料。表1為實驗統(tǒng)計結(jié)果，并利用上述6段實驗視頻，將本文算法與文獻[8]基于累積顏色直方圖的鏡頭檢測算法(ECR)進行比較，結(jié)果如表1所示。

表1 本文算法實驗結(jié)果與ECR算法比較

由表1可以看出，本文算法與基于累積直方圖的算法相比，查全率有很大提高;而且對于攝像機和物體運動較為劇烈的廣告2、電影2，本文中的算法對鏡頭檢測效果更好，對攝像機和物體運動具有較好的穩(wěn)健性。本文算法不僅對突變鏡頭有很好的檢測效果，而且對漸變鏡頭也有很理想的檢查效果，同時本算法計算簡單，易于實現(xiàn)。但是，對于漸變鏡頭存在誤檢，主要是由于鏡頭漸變時過渡片段有些很近似，容忍窗口設(shè)置過小。

4 小結(jié)

本文提出了一種利用顏色直方圖交集和圖像灰度熵的視頻鏡頭檢測方法，與其他方法相比，本方法計算簡單，且對攝像機和物體運動具有較好的穩(wěn)健性，可以很準(zhǔn)確地檢測出視頻的突變鏡頭，對漸變鏡頭也有理想的檢查效果。

[1]賈曉未，王純，賈克斌.基于運動特征的鏡頭切變檢測算法[J].計算機工程與應(yīng)用，2011(47):68－70.

[2]李向偉，李戰(zhàn)明，張明新，等.基于內(nèi)容的視頻鏡頭檢測技術(shù)[J].電視技術(shù)，2008，32(3):19－22.

[3]袁小娟.視頻鏡頭邊界檢測算法的研究[D].武漢:武漢工業(yè)學(xué)院，2010.

[4]宋瀟毅.基于紋理和顏色特征的圖像檢索[D].成都:電子科技大學(xué)，2009.

[5]XU Wenzhu，XU Lihong.A novel shot detection algorithm based on clustering[C]//Proc.20102ndInternational Conference on Education Technology and Computer(ICETC).Shang Hai:IEEE Press，2010:570－572.

[6]吳一全，紀(jì)守新，吳詩婳，等.基于二維直分與斜分灰度熵的圖像閾值選取[J].天津大學(xué)學(xué)報，2011(12):1044－1049.

[7]蘇愛民.數(shù)字視頻鏡頭檢測研究[D].西安:西北工業(yè)大學(xué)，2005.

[8]丁洪麗，陳懷新.基于累積直方圖的視頻鏡頭邊界檢測方法[J].電訊技術(shù)，2008(3):65－69.