視頻摘要的現狀和研究進展
2008-12-31 00:00:00余衛宇曹燕謝勝利
計算機應用研究 2008年7期
摘 要：首先概述了視頻摘要的概念和分類、視頻摘要生成方法及視頻摘要模型的建立，綜述了國內外視頻摘要系統。最后探討了視頻摘要的性能評估、存在問題和發展方向。
關鍵詞：視頻摘要；視頻模型；語義分析；檢索系統
中圖分類號：TP391．4 文獻標志碼：A
文章編號：1001-3695(2008)07-1948-05
Actuality and development of video summarization
YU Weiyu，CAO Yan，XIE Shengli
(Institute of Electronic Information Engineering， South China University of Technology， Guangzhou 510640， China)
Abstract:This paper firstly introduced concept and classification of video summarization. Secondly，analyzed video summarization model. At last，it discussed the performance evaluation ， open issues and promising directions of video summarization.
Key words:video summarization；video model；semantic analysis；video summarization system
隨著互聯網的發展，數據交換的內容已經不是純粹的文本信息，許多交換的數據都是圖像或視頻格式，如在線點播、視頻圖書館、遠程視頻教學、虛擬博物館。如何從視頻數據中快速查找用戶感興趣的內容，是視頻檢索的一個熱點。國外開發了不少視頻檢索系統[1~5]。文獻[4]設計了高級的數字視頻存儲和在線檢索系統。文獻[5]針對MPEG7的基于視頻內容的檢索數據庫在線查詢和篩選，用可視特征和運動信息進行描述視頻對象，并對視頻語義物體進行分類處理。如果想查找某一方面內容的視頻文件，若對每個視頻逐一進行查詢，這顯然相當費時費力，顯然不可行。若根據內容生成類似圖書館索引的目錄進行查找也是非常費時費力的。如果能夠把視頻內容進行濃縮，提取出其中最主要的部分，如兩個小時左右的視頻文件，用一個簡短的片斷（5~7 min）的視頻摘要來表示出主要內容，這樣查找起來就方便多了。所以視頻摘要的研究近年來已經引起國內外的廣泛關注。例如美國MIT實驗室、明尼蘇達大學、德國Mannheim大學，國內的亞洲微軟研究院、清華大學、國防科技大學等都進行了此領域的研究。視頻摘要技術涉及通信、視頻處理、心理感知、模式識別科學等領域。視頻摘要的主要應用有視頻數據的存檔及檢索、影視行業的應用、家庭娛樂業、軍用及公安用途、醫學影像用途、航天/航空影像分析等。因此，在理論上有很大的研究意義，在實際應用上也有廣闊的應用前景。
視頻內容的索引和檢索主要有四個步驟：視頻內容分析、視頻結構劃分、視頻摘要分析及視頻檢索。對于上述每個步驟，都有其特點和難點。而其中的視頻摘要是20世紀90年代初提出來的，最初的基本思想是在單位時間內均勻地對視頻序列取樣。經過近年的研究，視頻摘要提取方法得到極大的豐富，有基于關鍵幀方法、模型方法、語義方法、情感分析的方法等。事實上，視頻摘要必須考慮用戶的需要，因而至今沒有通用的方法。1 視頻摘要的分類
視頻摘要分為靜態摘要和動態視頻兩類[6]。通常靜態摘要一般不需要音頻和文本的幫助。動態視頻可分為精彩剪輯視頻、專題縮略視頻和一般縮略視頻三類。精彩剪輯視頻一般由原始視頻中最精彩的部分組成。當然，何謂最精彩則取決于用戶對主題的需要。專題縮略視頻是特定領域視頻的摘要，它要結合該領域的專業知識完成。一般縮略視頻是相對于專題縮略視頻而言的，它通過一些視頻片斷序列的組合，使用戶對整個視頻內容有個大概的了解。
2 視頻摘要的提取技術
視頻摘要的提取即是視頻摘要的生成。根據視頻處理對象的不同可分為基于關鍵幀、聚類、模型、語義四種視頻摘要的生成方法。
2．1 基于關鍵幀方法
關鍵幀是反映鏡頭中主要信息內容的一幀或多幀圖像。它的使用可以大大減少視頻索引的數據量，同時也為查詢和檢索視頻提供了一個組織框架。通過關鍵幀可為視頻建立視頻摘要，允許用戶通過有限的關鍵幀快速瀏覽整個視頻。在利用關鍵幀時，首先要分割出視頻中的每組鏡頭，針對不同的鏡頭提取關鍵幀。選取關鍵幀的準則是考慮幀之間的非相似性，以視覺特性如顏色、運動為衡量標準來抽取關鍵幀。將鏡頭中的每一幀提取其顏色直方圖，通過相似度量度鏡頭中的每幀。設鏡頭由n幀組成，幀之間的特征向量為ti和tj，則相關系數為
Tonomura等人[7]最早提出把每組鏡頭的第一幀作為關鍵幀。Ueda等人[8]和Rui等人[9]把每組鏡頭的第一幀和最后一幀作為關鍵幀。Pentland等人[10]提出了把鏡頭分成相等的時間間隔，關鍵幀從預定的幀提取出來。在此基礎上，Girgensohn等人[11]提出了一種時間約束的關鍵幀提取算法，考慮了視頻的時間特征，把相同時間間隔的幀作為關鍵幀。Sun等人[12]把鏡頭的每幀分割成物體和背景，然后以物體和背景的最大比率為準則來分割關鍵幀。Zhao等人[13]使用最近鄰特征線的方法獲取關鍵幀。Narasimha等人[14]用神經網絡的方法提取關鍵幀，其中把運動強度描述符和空間活動描述符相融合，而運動強度采用了模糊方法獲得。關鍵幀存在明顯的缺陷：幀選取依賴于閾值的選擇；計算量也太大，不可能做到實時處理；還有僅有顏色特征不能很好地表達視頻的語義信息[15]。
2．2 基于聚類的方法
視頻是利用不同的方法把大量鏡頭用各種剪輯方式結合起來的[16]。Arman等人[17]認為每組鏡頭是由照相機連續運動組成的，應該具有類似的內容。Zhuang[18]在HSV空間中利用彩色直方圖，把與聚類中心最接近的幀作為關鍵幀，只考慮了每個鏡頭中的一幀作為關鍵幀，而沒有考慮鏡頭的持續時間和活動性。Hanjalic等人[19]將視頻分割成一組組鏡頭，通過聚類分析找出最優聚類。Gong等人[20]根據時間采樣，提出了單值分解算法獲得關鍵幀。Sundaram用Kolmogorov法計算視頻鏡頭的復雜性，根據鏡頭的復雜性和附加語義信息得出視頻摘要[21]。Wolf[22]采用光流法測量鏡頭中的運動情況，把攝像機的局部最小運動作為關鍵幀。Dementhon提出了利用曲線的方法，首先把視頻看做高維空間中的曲線，通過約束條件，用曲線點描述視頻摘要[23]。陳頡等人[24]提出了用顏色直方圖生成視頻摘要。在樣本空間中，通過非線性函數把所有數據映射到高維空間，構造一個最小的球體把所有數據包圍起來，引入連接矩陣將每個點歸屬到不同的聚類集合，最后通過先驗知識進行數據挖掘對聚類得到的鏡頭序列進行分析，最終生成視頻摘要。
軟件視頻是一個動態過程，根據彩色直方圖、運動信息和另外一些特征計算幀間的差別得到關鍵幀。Zhao等人[13]采用了一種簡單斷點的方法得到關鍵幀。在壓縮域中，Narasimha對壓縮視頻利用運動信息通過神經網絡得到關鍵幀。前面提到的方法一個共同缺陷是所提取出的關鍵幀不一定能保證具有相關性。在生成關鍵幀時，要考慮到場景的重要性，可以從視頻中場景的長度、活動性、場景中視頻物體的數量三個方面進行考慮。在支持向量機聚類中，通過高斯核函數把視頻幀從低維空間映射到高維特征空間中，并在高維空間中借助一個最小的超球體將聚類數據包圍起來，超球體被映射回原始低維數據空間，就得到所需結果。曹建榮等人[25]提出了一種基于支持向量機的風光紀錄片語義視頻摘要算法。
文獻[26]采用了全景圖拼接技術，不僅將某個鏡頭中具有相同或部分相同背景的幀組成一幅圖像，而且能夠表示某個鏡頭的內容。主要步驟有：用運動模型對連續幀進行變換；根據估算的運動參數對圖像進行變形處理，之后拼接成一幅全景圖像。它的主要優點是對背景影響不大，但是它不能保留前景對象的運動信息。
2．3 視頻摘要模型
近年來，對于視頻摘要的研究已經提出了一些模型。其中，較典型的有以下幾個模型。
Xie等人[27]提出了EDU模型。該EDU模型定義為EDU={E，D，U，φ}，E、D、U、φ分別是實體集、描述集、有用集、上述三種集合的關系。視頻的實體包括視頻的幀、鏡頭、場景、情節；描述集是對不同的實體有不同的描述；有用集是對視頻結構進行分析后得出的有用部分。馬里蘭大學的Subrahmanian提出了CPR模型[28]。該模型主要考慮三個參數：優先權、連續性和非重復性。對于一個好的視頻摘要，首先它應該是選擇重要的具有優先級的物體和事件，并且是連續的而非中斷的；其次這些物體和事件在視頻摘要中不能重復出現。Itti等人[29]提出的一種基于注意力的模型，可表示為
Vasconcelos等人[30]提出的時空運動模型。在視頻中，連續幀的運動特性可以看做仿射變換。如果在一組鏡頭中只有單一的物體運動，通過運動模型可以得到很好的視頻摘要。然而，實際的運動大多由兩個或者多個物體運動構成，那么用占據主導地位的物體運動來描述，其他物體可以忽略。此外還有Chu提出的基于馬爾可夫模型的視頻摘要生成方法[31]。文獻[32]提出了根據圖模型提取視頻摘要的方法。
2．4 語義的視頻摘要
前面分析的基于關鍵幀和基于聚類的視頻摘要提取方法都沒有考慮視頻給予人的感知特性。因為視頻最終是給人看的，視頻分析應該包括客觀分析和主觀理解[21]，應該考慮視頻語義信息。文獻[33]提出了用結構表示知識。Carlos等人[34]提出了用語義分析視頻摘要，首次提出了情感單元的概念。情感單元表示一個情節中某一時刻人物或場景的精神狀態。情感狀態主要有精神狀態、期望事件和非期望事件三種類型。復雜的情感可以由多個情感單元合成。分析了影片“The Golden Ax Fable”的一些情節，把故事根據語義內容分成三個狀態：一個居民的斧子失落到湖里，他尋求幫助，最后找到了斧子。該片的語義結構可以表示成圖1。
曹建榮等人[25]提出一種根據高層語義概念特征，對風光紀錄片提取視頻摘要的算法。首先在鏡頭關鍵幀的基礎上利用支持向量機對鏡頭關鍵幀分類，得到語義概念。根據語義概念將鏡頭聚類，即同樣語義概念的鏡頭為一類。然后根據不同語義類中鏡頭的重要性決定從該類中選取哪個鏡頭的關鍵幀作為視頻摘要的構成幀。最后將不同語義類中選取的關鍵幀根據時間順序排序，構成靜態瀏覽型的視頻摘要。按類似的方法也可以構成播放型的視頻摘要。
3 視頻摘要的評價
Fayzullin等人[28]提出視頻摘要需要考慮的幾個問題: 連續性、優先性及不可重復性。連續性要求視頻盡可能地不被打斷；優先性表示視頻中物體和事件比其他物體具有優先權；不可重復性表示對于相同情節而言，視頻摘要不可重復出現。
視頻摘要的通用評價標準是用戶的主觀判斷。Liu等人[35]對視頻摘要的好壞進行打分評價，通過不同的用戶對摘要的好壞從低到高進行打分，最后將評價結果分為好的、可接受的和不可接受的。Ngo等人[36]提出了信息化和娛樂性的判斷標準。在這里，信息性指的是能夠表達出內容的最小視頻文件；娛樂性指的是摘要能夠表達出的視頻感知性。上述方法都具有主觀性，必須要由人來參與評價，再建立主觀評價模型，才能計算出分數。
Narasimha等人[14]和Lagendjik等人[37]給出了視頻摘要的客觀評價，是基于關鍵幀選取的。他們研究了兩個幀之間的相似度量度，并定義了量度公式。對于客觀性的量度主要有兩種方法。一種是保真度測量[38]，可以用式（3）表示：
要的壓縮率可以表示為
其中：γNKF是視頻摘要中關鍵幀的數量；γNF是視頻序列所有幀的數量。
一個好的視頻摘要應該能夠反映視頻的主要內容，并且具有較高的壓縮率。
4 典型視頻摘要系統
國外對于視頻摘要進行了深入研究，開發出一些簡單的視頻摘要系統。一個典型的視頻摘要系統如圖2所示。
1） Informedia 系統
最早開發出的系統是由卡內基梅隆大學設計的Informedia工程[41]，它可以生成縮略視頻摘要。系統是從視頻中抽取重要視頻信息生成能簡潔表達原視頻內容的短剪輯。設計者首先從視頻中抽取文字，然后提取與文本相關的音頻片斷生成音頻縮略。在此基礎上，又開發了InformediaⅡ系統[42]。它的目標是生成自適應的、可視化的視頻摘要，如允許用戶對視頻片斷進行標注，讓用戶調整視頻摘要的壓縮比[43]。這樣可以對視頻中感興趣的內容設置較小的壓縮率，不感興趣的內容就設置相對較大的壓縮率[41，44]。
2）MoCA系統
文獻[45]設計了MoCA系統，其主要目的是從長視頻中抽取出一段能夠保留原視頻主要內容的動態圖像序列。系統抽取電影片段中最有代表意義的場景來自動生成預告片，通過探測特殊事件，如主要演員的特寫鏡頭、爆炸、槍響等確定重要的場景，以摘要形式展現給用戶。整個摘要提取過程分為三步：首先分割出重要對象，將視頻分為若干鏡頭和場景；然后選擇合適的場景作為摘要的內容；最后剪輯組合成最終的表現形式。在生成視頻摘要時，MoCA 系統選取下列任一條件的視頻剪輯作為摘要的候選素材: 重要的對象和人物；重要的情節，如爆炸、槍響、汽車的追逐或暴力等； 對話；扉頁上的文字與主旋律;故事的前80%，即刪除電影后面20%的剪輯，去除故事的結果，以保持觀眾的懸念。
3）動態采樣的縮略以及相關系統
動態采樣的縮略法首先將連續的視頻源分割成分鏡頭；對每個分鏡頭計算其運動強度并將之量化，不同的量化區間賦予不同的采樣率；最后根據指定的采樣率從每個分鏡頭中選取關鍵幀。德國西門子研究院Toklu使用視覺、聲音以及文本等融合來生成視頻摘要。Vidsum系統將底層特征映射到有意義的語義事件，從而生成摘要。Lienhart主要研究視覺對象的視頻摘要，它使用基于模型而不是基于內容的方法。劉桂清等人[46]提出了一種嶄新的實體—效用方法。其他的視頻摘要系統如文獻[47]設計了一種專門針對該研究機構每周例會的摘要提取系統。哥倫比亞大學的Sundaram提出了實用的方法，將視頻看做一個復合的實體，通過將實體與效用相關聯，將問題轉換為約束條件下保留用戶所需的最大效用問題。
4） 廣播新聞摘要系統
Huang等人設計了一個廣播新聞摘要系統[48]。新聞一般是由播音員、詳細報道和廣告組成。通常的新聞部分由一系列標題新聞構成，該系統把廣告穿插在不同的標題新聞故事中。
5） VideoManga系統
Alto實驗室設計了一種能夠自動生成漫畫書的VideoManga系統[49]，主要應用于會議視頻。該系統先將鏡頭分割，然后將每組鏡頭中相似的關鍵幀聚集在一起。假設每個聚類的權重為ωi=|fi|/kj=1fj，定義了鏡頭的重要度為Ikj=Lj log1/ωk。其中：Ikj表示了聚類k的情節j的重要程度；Lj是情節的持續時間。系統候選片斷的選取原則是重要度大于1/8。
6） 體育視頻摘要系統
視頻摘要一個主要的應用是在體育方面，具體的有足球摘要系統[50]、橄欖球事件檢測[51]、網球比賽中網球運動軌跡判斷[52]、棒球的檢測系統[53]。
5 結束語
綜上所述，視頻摘要已成為視頻處理領域中新的研究方向。但基于語義的視頻摘要研究還有很多理論和實際問題需要進一步探討。從低層次的圖像基本特征，如顏色、紋理、形狀和運動信息等，到人、海灘、日出等高層語義已有文獻進行了報道[54]，但是視頻摘要的研究目前主要還有以下瓶頸：
a)如何準確提取出視頻的客觀內容是成功提取視頻摘要的關鍵之一。視頻的類別很多，且其中含有的信息非常多。如何通過摘要準確表達出整段視頻的內容是目前要解決的問題之一。
b)能夠準確表達人的主觀感知視頻摘要。現階段生成視頻摘要的方法較少考慮視頻的語義信息和情感內容。通常是先切分視頻；然后通過模式識別或者結構探測的方法來理解視頻，獲取視頻的語義；最后在先驗知識的支持下建立一套規則，根據規則來判斷重要的視頻部分，由此生成摘要。但是當前計算機的智能水平與人的主觀感知差距還非常大，許多環節缺乏可用的數理模型，不是短時間內能夠解決的問題，還需要各個領域的研究者相互交流，需要圖像處理、模式識別、人工智能、神經網絡、心理學、生理學等諸多學科的有機結合。
c)視頻內容的理解是復雜、模糊而且歧義的，這方面的研究尚需深入研究。人對同樣的視頻具有不同的理解，即視頻語義分析和情感理解因人而異。如果僅僅從關鍵幀和鏡頭的角度進行研究，就不能得到很好的視頻摘要效果。
從前面的綜述可明顯看出，視頻摘要技術的主要發展方向有如下幾點：
a)目前不存在通用的視頻摘要系統，所以應該針對特定專業需要進行研究。在理論上，對語義及情感語義的視頻分析和摘要應是目前發展的主要方向。
b)前述方法中有一些提取最精彩、最重要、最激動等情節的做法，但對此至今未有嚴格的數理模型定義，這是當前研究難點及熱點之一。
c)國內很少報道醫學視頻檢索及摘要系統，筆者認為這方面具有很重要的實用和理論意義。還有公安用的視頻摘要系統也急需開發，特別是從視頻中識別出恐怖分子具有重要的研究意義。
參考文獻：
［1］KAWASHIMA T， TATEYAMA K， IIJIMA T，et al.Indexing of baseball telecast for contentbased video retrieval[C]//Proc of International Conference on Image Processing.1998:871-874.
[2] KURAMOTO M，MASAKI T，KITAMURA Y，et al.Video database retrieval based on gestures and its application[J].IEEE Trans on Multimedia，2002，4(4): 500-508.
[3]CHANG S F，CHEN W，SUNDARAM H.A fully automated video retrieval system using motion sketches[C]//Proc of the 4th IEEE Workshop on Applications of Computer Vision.1998:270-271.
[4]Advanced digital video storage and online retrieval system[EB/OL].http://www.advisorproject.com/ADViSOR_description.pdf .
[5]ZHOU Wensheng，VELLAIKAL A，KUO C C，et al.Video analysis and classification for MPEG7 applications[C]//Proc of ICCE.2000:344-345.
[6]LI Y，ZHANG T，TRETTER D.An overview of video abstraction techniques，HPL2001191[R].[S.l.]:HP Laboratory，2001.
[7]TONOMURA Y，AKUTSU A，OTSUGI K，et al.VideoMAP and video spaceicon: tools for automatizing video content[C]//Proc of ACM Interchi’93 Conference.1993:131141.
[8]UEDA H，MIYATAKE T，YOSHIZAWA S.IMPACT:an interactive naturalmotionpicture dedicated multimedia authoring system[C]//Proc of ACM Chi’91 Conference.1991:343-350.
[9]RUI Y，HUANG T S，MEHROTRA S.Exploring video structure beyond the shots[C]//Proc of IEEE International Conference on Multimedia Computing and Systems.Texas:[s.n.]，1998:237-240.
[10]PENTLAND A，PICARD R，DAVENPORT G，et al.Video and image semantics: advanced tools for telecommunications[J].IEEE Multimedia，1994，1(2):7375.
[11]GIRGENSOHN A，BORECZKY J.Timeconstrained key frame selection technique[C]//Proc of ICMCS.1999:756761.
[12]SUN Zhanghua，FU Ping.Combination of color and object outline based method in video segmentation[C]//Proc of SPIE Storage Retr Methods Appl Multimed.2004:61-69.
[13]ZHAO Li，QI Wei.Keyframe extraction and shot retrieval using nearest feature line[C]//Proc of ACM Multimedia Workshops on Multimedia.2000:217-220.
[14]NARASIMHA R，SAVAKIS A，RAO R M，et al.A neural network approach to key frame extraction[C]//Proc of SPIEIS T Electronic Imaging Storage and Retrieval Methods and Applications for Multimedia.2004:439-447.
[15]YU Weiyu，YU Yinglin，XIE Shengli.Representation on image semantics structure information[C]//Proc of the 8th World MultiConference on Systemics， Cybernetics and Informatics.Orlando:[s.n.]，2004:253-256.
[16]許南明.電影藝術詞典[M].北京：中國電影出版社，1986.
[17]ARMAN F，DEPOMMIER R，HSU A.Contentbased browsing of video sequences[C]//Proc of the 2nd ACM Int Conf Multimedia.1994:97103.
[18]ZHUANG Y.Adaptive key frame extraction using unsupervised clustering[C]//Proc of ICIP.1998:866-870.
[19]HANJALIC A，LAGENDIJK R L，BIEMOND J.A new method for key frame based video content representation[C]//Proc of Image Databases and Multimedia Search.Singapore:World Scientific，1998.
[20]GONG Y，LIU X.Generating optimal video summaries[C]//Proc of IEEE International Conference on Multimedia and Expo.2000:15591562.
[21]DJERABA C.Contentbased multimedia indexing and retrieval[J].IEEE Multimedia，2002(2):18-22.
[22]WOLF W.Key frame selection by motion analysis[C]//Proc of ICASSP96.1996:12281231.
[23]CALIC J，IZQUIERDO E.Efficient keyframe extraction and video analysis[C]//Proc of IEEE ITCC， Multimedia Web Retrieval Section.2002:28-33.
[24]陳頡，黃慶炬，陳啟祥.基于顏色類聚直方圖的視頻摘要生成方法[J]. 軟件導刊，2006，7:20-22.
[25]曹建榮，蔡安妮.基于支持向量機的語義視頻摘要[J].北京郵電大學學報，2006，29(4):94-98.
[26]KIM C.An integrated scheme for objectbased video abstraction[C]//Proc of ACM Multimedia.2001:303-309.
[27]XIE Yuxiang，LUAN Xidao，LAO Songyang，et al.EDU:a model of video summarization[C]//Proc ofCIVR.2004:106114.
[28]FAYZULLIN M，PICARIELLO A，SAPINO M L.The CPR model for summarizing video[J].Multimedia Tools and Applications，2005，26:153173.
[29]ITTI L，KOCH C.Computational modeling of visual attention[J].Nature Reviews Neuroscience，2001，2(3):194-203.
[30]VASCONCELOS N，LIPPMAN A.A spatiotemporal motion model for video summarization[C]//Proc of IEEE International Conference on CVPR.1998:361-366.
[31]HUANG Chunglin，CHANG C Y.Video summarization using hidden Markov model[C]//Proc ofInternational Conference on Information Technology: Coding and Computing.2001:473-477.
[32]NGO C W，MA Yufei，ZHANG Hongjiang.Automatic video summarization by graph modeling[C]//Proc of the 9th IEEE International Conference on Computer Vision.2003:104109.
[33]MANI I.Narrative summarization[EB/OL].http://complingone.georgetown.edu/~linguist/papers/TALdraft.pdf.
[34]CARLOS R P，UDHARA K.Video summarization based on semantic representation[C]//Proc of AMCP’98.1998:116.
[35]LIU Tianming，ZHANG Hongjiang，QI Feihu.A novel video key frame extraction algorithm based on perceived motion energy model[J].IEEE Trans on Circuits System for Video Technology，2003，13(10):10061013.
[36]NGO C W，MA Y F，ZHANG H J.Video summarization and scene detection by graph modeling[J].IEEE Trans on Circuits System for Video Technology，2005，15(2):196-305.
[37]LAGENDIJK R L，HANJALIC A，CECCARELLI M，et al.Visual search in a SMASH system[C]//Proc of International Conference on Image Processing.Lausanne:[s.n.]，1996:671-674.
[38]CHANG H S，SULL S，LEE S U.Efficient video indexing scheme for contentbased retrieval[J].IEEE Trans on Circuits and Systems for Video Technology，1999，9(8):12691279.
[39]LIU Tieyan，ZHANG Xudong，FENG Jian，et al.Shot reconstruction degree: a novel criterion for key frame selection[J].Pattern Recognit Letter，2004，25(12):14511457.
[40]HOON S H，YOON K，WEON K.A new technique for shot detection and key frames selection in histogram space[C]//Proc of the 12th Workshop on Image Processing and Image Understanding.2000.
[41]SMITH M A，KANADE T.Video skimming and characterization through the combination of image and language understanding techniques[C]//Proc of Computer Vision and Pattern Recognition Conference.1997:775781.
[42]WACTLAR H，CHRISTEL M.InformediaⅡ:autosummarization and visualization over multiple video documents and libraries[EB/OL].(2000).http://www.informedia.cs.cmu.edu/dli2/report/dli2_sep2000_report.pdf.
[43]CHRISTEL M G，HAUPTMANN A G，WARMACK A S，et al.Adjustable filmstrips and skims as abstractions for a digital video library[C]//Proc of IEEE Forum on Research and Technology Advances in Digital Libraries.1999:98104.
[44]CHRISTEL M G，SMITH M A，TAYLOR C R，et al.Evoling video skims into useful multimedia abstractions[C]//Proc of Conference on Human Factors in Computing Systems.1998:171178.
[45]LIENHART R，PFEIFFER S，EFFELSBERG W.Video Abstracting[J].Communications of the ACM，1997，40(12):552556.
[46]劉桂清，李建成，肖鵬.基于“實體—描述—效用”模型的視頻摘要技術[J].計算機工程與科學，2005，27(10):31-34.
[47]RUSSELL D M.A design patternbased video summarization technique moving from lowlevel to highlevel structure[C]//Proc of the 33rd Hawaii International Conference on System Sciences.2000:1-5.
[48]HUANG Q，LIU Z.Automated generation of news content hierarchy by integrated audio， video， and text information[C]//Proc of International Conference on Acoustics， Speech， and Signal Processing.1999:3025-3028.
[49]UCHIHASHI S，FOOTE J，GIRGENSOHN A，et al.Video Mange:generating semantically meaningful video summaries[C]//Proc of the 7th ACM International Conference on Multimedia.1999:383-392.
[50]INTILLE S，BOBICK A.Recognizing planned， multiperson action[J].Computer Vision Image Understand，2001，81(3):414-445.
[51]POLVICHAI J，KHOSLA P.Applying dynamic networks and staged evolution for soccer robots[C]//Proc of IEEE/RSJ International Conference on Intelligent Robots and Systems.2003:3016-3021.
[52]PINGALI G S，JEAN Y，CARLBOM I.Real time tracking for enhanced tennis broadcasts[C]//Proc of IEEE Conference on Computer Vision and Pattern Recognition.1998:260-265.
[53]GUEZIEC A.Tracking pitches for broadcast television[J].IEEE Computer，2002，35(3):38-43.
[54]王惠鋒，孫正興，王箭.語義圖像檢索研究進展[J].計算機研究與發展， 2002，39(5):513-521.
[55]NAM J，TEWFIK A H.dynamic video summarization and visualization[C]//Proc of ACM Multimedia.1999:53-56.
[56]CAMPISI P，LONGARI A，NERI A.Automatic key frame selection using a wavelet based approach[C]//Proc of SPIE 3813.1999:861-872.
[57]TRUONG B T，VENKATESH S.Video abstraction:a systematic review and classification[J].ACM Trans on Multimedia Computing， Communications， and Applications，2007，3(1):1-37.
[58]LIENHART R，PFEIFFER S，EFFELSBERG W.Video abstracting[J].Communications of ACM，1997，40(12):55-62.
[59]歐陽建權，李錦濤，張勇東.視頻摘要技術綜述[J].計算機工程，2005，31(10):7-9.
[60]WANG C W，CHENG Wenhuang，WU JaLing.Automatic chapter generation for consumer videos，consumer electronics[C]//Proc of ICCE 2007.2007:1-2.
[61]HANJALIC A，ZHANG Hongjiang.An integrated scheme for automated video abstraction based on unsupervised clustervalidity analysis[J].IEEE Trans on Circuits and Systems for Video Technology，1999，9(8):12801289.
注：“本文中所涉及到的圖表、注解、公式等內容請以PDF格式閱讀原文。”
