視頻摘要系統的技術研究與實現

吳凌琳，楊磊，吳曉雨

(中國傳媒大學 信息工程學院，北京 100024)

視頻摘要系統的技術研究與實現

吳凌琳，楊磊，吳曉雨

(中國傳媒大學 信息工程學院，北京 100024)

本文針對未進行后期編輯的視頻序列設計了一個視頻摘要系統。以視頻幀圖像的累積直方圖來提取圖像特征，有效地解決了光照的改變使鏡頭內直方圖差異較大以及直方圖對物體/攝像機的運動的魯棒性有限兩大問題，并結合了滑動窗口算法，有效地實現對視頻序列的鏡頭邊界檢測。另外，本文還提出了一種基于鏡頭和圖像內容的關鍵幀提取算法，降低計算的復雜度，并且提取的關鍵幀能更全面準確地體現原視頻的內容。

視頻摘要；直方圖；鏡頭邊界檢測；關鍵幀；幀差值

1 概述

隨著多媒體和計算機網絡技術的快速發展，多媒體基于內容的訪問、檢索和交互操作的應用越來越廣泛。視頻作為各種媒體中形式和內容最豐富的媒體類型，越來越受到用戶的青睞，這就需要一種技術能使用戶不必看整段的視頻序列而獲取一定的信息并找到感興趣的位置。這種技術就是現在引起廣泛關注的視頻摘要技術。

視頻摘要應用范圍非常廣泛，視頻數據的存檔及檢索、影視行業的應用、家庭娛樂業、軍用及公安用途、醫學影像用途、航天/航空影像分析等這些都需要運用視頻摘要技術[1-2]。

目前，許多存儲設備比如磁帶、P2卡等，都會將所有鏡頭存儲成一個視頻序列，這給視頻數據庫的管理以及后期的剪輯帶來很多麻煩。針對這一視頻數據的存檔及檢索問題，本文設計了一個視頻摘要系統來檢索出長序列視頻里不同鏡頭序列，并生成相應的關鍵幀圖像，以便快速地查找到所需要的鏡頭的視頻序列。

2 鏡頭邊界檢測

2.1 鏡頭邊界

要生成針對鏡頭的視頻摘要，首先要將視頻分割成獨立的鏡頭，再通過選取每個鏡頭的關鍵幀來表示該鏡頭。考慮到視頻數據量大的特點，實際中分割主要采用基于邊界的方法，即通過檢測鏡頭間的分界來確定鏡頭的轉換位置。

視頻鏡頭邊界分為突變與漸變兩種[3]。由于本文所要設計的系統是針對未剪輯處理過的視頻序列，不存在鏡頭邊界的漸變，所以只需考慮突變。突變鏡頭邊界中間沒有使用任何攝影編輯效果，其特點是鏡頭切換在兩幀圖像間完成，沒有時間長度，突變前的幀屬于上一個鏡頭，突變后的幀屬于下一個鏡頭。

2.2 圖像特征

鏡頭作為組成視頻圖像的基本單元，表現為其場景的連續性和內容的相關性，這種相關性體現為圖像特征的連續性。因此，鏡頭的變化或轉換存在時間上特征變化的不連續性，然而，視頻圖像的特征有很多：灰度特征、直方圖法、邊緣特征、運動特征。

表1 圖像特征比較

針對這些可選的圖像特征，要選取何種特征極為關鍵。所以本文對四種特征進行比較，如表1所示，直方圖特征對運動的敏感性，計算的復雜度，受干擾影響的程度都是最低的。綜合這三方面因素考慮，利用直方圖特征來度量兩幀圖像的差異程度是最合適的方法。

2.3 直方圖法

但是直方圖方法對于光照的改變使同一鏡頭內的多幀圖像直方圖差異較大的情況無效；另外，直方圖對物體/攝像機的運動的魯棒性也有限。針對這些問題，累積直方圖能較為有效地解決。因此，本文采用基于累積直方圖的鏡頭邊界檢測。

累積直方圖是一個1-D的離散函數，即有

(1)

上式中k代表圖像的特征取值，L是特征可取值的個數，nk是圖像中具有特征值為k的像素的個數，N是圖像像素的總數[4]。

計算幀圖像間的幀差值，可在得到圖像特征的累計直方圖后，借助計算累積直方圖的距離來進行。

對于累積直方圖距離，目前有四種距離標準：

相關(correlation)、卡方(chi-square)、直方圖相交(intersection)、巴氏(Bhattacharyya)距離[5]。在相對慢速但較精確的情況下，用卡方或巴氏距離的效果最好。

對于卡方和巴氏距離，低分比高分匹配的匹配程度高，完全匹配的值為0。但卡方距離完全不匹配為無限值，而巴氏距離完全不匹配為1。為了計算和比較的方便，本文選取巴氏距離：

(2)

2.4 閾值選取

對于鏡頭突變檢測，可以根據鏡頭在切換處視頻幀圖像的物理特性會發生明顯跳變的特點，計算出視頻相鄰圖像的累積直方圖幀差值檢測鏡頭邊界，這需判斷幀差值是否存在超過閾值的單一峰值。

對于閾值選取方法的不同，可分為全閾值算法和自適應閾值算法。

全閾值算法是最簡單的閾值確定方法，即選取一個固定的閾值，當幀差值大于閾值的位置判定為鏡頭邊界。但是由于不同視頻序列間甚至同一視頻序列中不同部分的幀圖像特性不同，比如不同的視頻鏡頭其運動的劇烈程度不相同，幀差值的變化范圍也相當大，使得全局閾值法存在著較大的誤檢和漏檢。

2.5 實驗結果和分析

實驗中選取電影《雨果》里的只有突變鏡頭切換的一個片段。此序列中所有幀圖像，共146幀，145個幀差值。

對整段序列求相鄰幀間累積直方圖Bhattacharyya距離，數據如圖1所示。一般鏡頭持續長度都會超過1s，按照每秒24幀的速率來算，滑動窗口寬度可選為win=15幀，可以保證每個窗口中只會出現一個鏡頭切換。實驗結果如表2所示。

圖1 所有相鄰幀累積直方圖差值

表2 滑動窗口閾值

從表2中可以看出，只有窗口46～60和窗口106～120內有存在鏡頭突變。如圖1所示，在窗口46～60內閾值T=0.0187113，大于閾值的點只有(54，0.0274)，即在第54幀和第55幀(圖2)之間出現了鏡頭突變(鏡頭邊界1)。在窗口106～120內有閾值T=0.00940886，大于閾值的點只有(116，0.01375) 即在第116幀和第117幀(圖3)之間出現了鏡頭突變(鏡頭邊界2)。

第54幀

第55幀

第116幀

第117幀

2.6 性能評價

為了檢測鏡頭邊界檢測算法的效果，我們選取了八段視頻片段進行試驗。在試驗中，利用查全率和查準率來衡量算法的鏡頭邊界檢測效果。表3給出了基于累積直方圖和統計直方圖兩種算法的鏡頭邊界檢測結果可以看出累積直方圖方法的查全率都在90%上，而統計直方圖方法出現低于50%以下的查全率。總體上，累積直方圖的鏡頭邊界檢測算法能達到98.68%的查全率和95.51%的查準率，說明該算法具有檢測效果。

表3 實驗結果數據

3 關鍵幀的提取

3.1 關鍵幀

關鍵幀是反映鏡頭中主要信息內容的一幀或若干幀圖像，可以簡潔地表達鏡頭內容，用關鍵幀代表鏡頭，作用類似于文本檢索中的關鍵詞。

目前常用的關鍵幀提取算法主要有以下幾種算法[7]。

基于鏡頭邊界的關鍵幀提取算法[8]，是一種最簡單、最快捷的關鍵幀提取方法。這種方法運算量非常小，適合于內容活動性小的鏡頭，而缺點是攝像機或內容運動的鏡頭，由于只選取前后兩幀或中間幀作為關鍵幀，無法全面有效地表達鏡頭內容。

基于運動分析的關鍵幀提取算法[9]，能隨著鏡頭內容的變化來選擇相應的關鍵幀，缺點是依賴于局部信息，魯棒性不強，而計算量很大。

基于內容的關鍵幀提取算法主要是利用視頻中每一幀圖像的顏色、亮度、紋理等信息與相鄰幀之間的差異來確定關鍵幀的。也能夠根據視頻內容的變化程度來動態地選擇關鍵幀，但當有鏡頭運動或視頻內容變化較為頻繁、劇烈時，會有一定的冗余。

基于壓縮視頻流的關鍵幀提取算法，不需要對視頻進行全部解壓縮，減少了很大的運算量，提取出的關鍵幀能夠較好地代表視頻的主要內容，但對視頻中的閃光燈和噪聲干擾很敏感，容易產生冗余和誤檢，提取過多的關鍵幀。

3.2 基于鏡頭和圖像內容的關鍵幀提取

從前文對關鍵幀提取技術的分析可以看出，目前的算法各有優缺點，并不存在一種最優算法。因此本為從算法復雜度和全面性兩方面考慮，選取了將基于鏡頭和基于圖像內容兩種技術相結合的關鍵幀提取算法。基于鏡頭的關鍵幀提取算法最簡單，計算復雜度最低；而基于圖像內容的技術可利用鏡頭邊界檢測中的累積直方圖數據，一定程度上也降低了計算的復雜度，并且能夠較為全面的提取到鏡頭內的關鍵幀。其基本思路是：首先對視頻序列進行鏡頭邊界檢測，提取鏡頭的首幀作為此鏡頭的第一幅關鍵幀；其次選出鏡頭內相鄰幀差值超過閾值的幀圖像作為鏡頭的關鍵幀；最后去冗余，當與前一幅關鍵幀幀間距離小于15幀，則兩幀關鍵幀進行比較：若前一幀關鍵幀是鏡頭首幀，直接舍棄當前關鍵幀；否則取幀間差較大的一幀作為關鍵幀，另一幀舍棄。

閾值選取方法上如果關鍵幀仍采用滑動窗口閾值算法求閾值，在鏡頭內容出現較快變化時，所求得的閾值會提取出太多冗余關鍵幀。所以在關鍵幀提取的部分本文采用了改進的全閾值算法。改進的算法是對特征量的分布用高斯函數進行建模：假設其符合均值為μ，方差為σ的高斯分布N(μ，σ)，設定閾值為T=μ+γσ。其中，γ是一個調節誤檢數的參數。

3.3 實驗結果和分析

對第二部分中經過鏡頭邊界檢測的《雨果》片段進行關鍵幀提取，前文已經進行鏡頭分割，將視頻序列分成3個鏡頭。

鏡頭0(1～54幀)、鏡頭1(55～116幀)、鏡頭2(117～146幀)中所有相鄰幀圖像累積直方圖幀間差值如圖4、圖6、圖8所示。利用改進的全局閾值算法求得三個鏡頭內的閾值分別為T0=0.0031288072，T1=0.0009256033，T2=0.0009756255。根據基于鏡頭和圖像內容的關鍵幀提取算法，鏡頭0提取到的關鍵幀為：第1幀，第21幀，第40幀(圖5)；鏡頭1提取到的關鍵幀為：第55幀，第72幀，第96幀，第115幀(圖7)；鏡頭2提取到的關鍵幀為：第117幀，第145幀(圖9)。

圖4 鏡頭0相鄰幀圖像累積直方圖幀間差值

第1幀

第22幀

第40幀

圖6 鏡頭1相鄰幀圖像累積直方圖幀間差值

第55幀

第72幀

第96幀

第115幀

圖8 鏡頭2相鄰幀圖像累積直方圖幀間差值

第117幀

第145幀

3.4 性能評價

在性能方面，提取出的關鍵幀必須能夠代表視頻的主要內容和視頻中主要事件的發生過程。提取出的關鍵幀的好壞的評判標準主要是看其是否完整地描述了視頻中發生的主要事件，在保證不漏檢的情況下，盡量地減少冗余的關鍵幀，保持一個比較低的冗余度。

本文選取了《尼基塔》中的片段，進行實驗，將本文算法提取的關鍵幀與人工選取的關鍵幀進行比較。

對比圖10和圖11可以看出，本文算法所提取的關鍵幀與我們人工提取的關鍵幀很相近，能夠更全面、準確地體現原視頻的內容，達到了我們所預期的效果。

圖10 人工選取的關鍵幀

圖11 本文算法提取的關鍵幀

4 系統的設計與實現

4.1 系統設計框圖

視頻摘要系統的框圖如圖12所示。

4.2 系統界面

利用前面所述的算法，在VC6.0平臺上結合OpenCV和MFC設計了一個視頻摘要系統。其具體界面如圖13～15。

5 結束語

此視頻摘要系統針對未經過編輯的視頻序列，即只含有鏡頭突變的視頻序列。本文利用累積直方圖巴氏(Bhattacharyya)距離和滑動窗口閾值算法來檢測突變鏡頭邊界，實現了對突變鏡頭的有效分割；另外，提出了基于鏡頭和圖像內容的關鍵幀提取算法，采用鏡頭首幀和相鄰幀圖像內容比較提取出的圖像作為鏡頭的關鍵幀。實驗證明，此算法查找到的關鍵幀能夠較為全面的作為鏡頭內容的概要。

圖12 視頻摘要系統框圖

圖13 選取視頻界面

圖14 鏡頭注釋界面

圖15 視頻摘要列表

本文只是針對視頻摘要進行后期編輯的視頻序列研究的視頻摘要系統，沒有漸變的鏡頭切換。但更多的視頻序列有包含淡入淡出、疊畫等漸變鏡頭切換，這就需要對漸變鏡頭的切割進行研究。另外，視頻摘要的系統并不是通用的，針對特定的專業需要進行研究，比如醫學應用視頻、公安應用視頻等等，都急需進行深入的研究。其次，關鍵幀提取算法雖然提取的關鍵幀較為全面，但對于有些特寫動作鏡頭提取的關鍵幀相對過多，造成一定的冗余，需要進一步的改進算法，減少關鍵幀的冗余。

[1]余衛宇，曹燕，謝勝利.視頻摘要的現狀和研究進展[J].計算機應用研究，2008，25(7)：1948-1951.

[2]陳劍贇，老松揚，吳玲達.視頻摘要[J].中國圖象圖形學報，2003，8A(7)：721-725.

[3]耿玉亮，須德.視頻鏡頭邊界檢測的統一策略[J].中國圖象圖形學報，2005，10(5)：650-655.

[4]章毓晉.基于內容的視覺信息檢索[M].北京：科學出版社，2003.

[5]Gary Bradski ，Adrian Kaebler.Learning OpenCV： Computer Vision with the OpenCV Library[M]，O’Reilly Media，2008.

國電影要走怎樣的道路才能使電影的藝術價值與商業價值得到雙贏。

參考文獻

[1]2008中國電影產業研究報告[M].北京：中國電影出版社，2008.

[2]曾耀農，陳忠斌.中國電影的營銷策略[J].，武漢科技學院學報，2005，(7)：93-97.

[3]蒲元瀛．中國電影商業模式分析及實證研究[D].重慶：重慶大學，2004.

[4]Litman， Barry R.Predicting Success of Theatrical Movies： An Empirical Study[J]. Journal of Popular Culture ，1983，(16)： 159-175.

[5]Jehoshua Eliashberg，Steven M Shugan. Film critics： Influencers or predictors[J]. Journal of Marketing，1997，(61)：68-78.

[6]Joseph Lampel，Jamal Shamsie. Critical Push ： Strategies for Creating Momentum in the Motion Picture Industry [J]. Journal of Management，2000，(26)：233-257.

[7]Robert E Krider，Charles B Weinberg. Competitive Dynamics and the Introduction of New Products： The Motion Picture Timing Game [J]. Journal of Marketing Research，1998，(35)： 1-15.

[8]E. Ray Canterbery，Marvasti A. The U.S Motion Picture Industry： An Empirical Approach[J ]. Review of Industrial Organization，2001，(19)：81-98.

[9]Basuroy， Suman，Subimal Chatterjee. Fast and Frequent： Investigating Box Office Revenues of Motion Picture Sequels[J]. Journal of Business Research，2008，(61)：798-803 .

ResearchandImplementontheTechniquesofVideo

WU Ling-lin，YANG Lei，WU Xiao-yu

(Information Engineering School，Communication University of China，Beijing 100024，China)

This paper focuses on designing a system that is capable of abstracting useful video frames for archiving.Cumulative histogram is adopted to detect the edges of video frames due to its lower sensitivity to the motion of objects/camera and illumination variations than statistics histogram.Dynamic threshold based sliding-window is used to detect the shot boundaries.To get the key frames in favor of its representativeness，we use the key frame extraction method based on the shots and image content.

video abstraction，histogram，shot boundary detection，key frame，frame differencing

2012-10-26

吳凌琳(1990-)，女(漢族)，福建泉州人，中國傳媒大學碩士研究生.E-mail：carinel@163.com

TP391.41

A

1673-4793(2013)01-0044-09

(責任編輯：王謙)