視頻結(jié)構(gòu)挖掘的概念及應(yīng)用

摘 要：提出了一種視頻結(jié)構(gòu)挖掘的概念框架和視頻結(jié)構(gòu)挖掘系統(tǒng)框架，在概念框架中對(duì)視頻結(jié)構(gòu)挖掘相關(guān)概念給出了規(guī)范化的定義，視頻結(jié)構(gòu)挖掘框架包括的主要內(nèi)容有視頻基本結(jié)構(gòu)挖掘、視頻語(yǔ)法結(jié)構(gòu)挖掘和視頻語(yǔ)義結(jié)構(gòu)挖掘。最后討論了視頻結(jié)構(gòu)挖掘中發(fā)現(xiàn)的結(jié)構(gòu)模式和知識(shí)的具體應(yīng)用，包括指導(dǎo)視頻的組織與管理、實(shí)現(xiàn)基于內(nèi)容的個(gè)性視頻推薦和改善視頻摘要系統(tǒng)。

關(guān)鍵詞：視頻結(jié)構(gòu); 視頻結(jié)構(gòu)挖掘; 視頻語(yǔ)義結(jié)構(gòu); 視頻語(yǔ)法結(jié)構(gòu)

中圖法分類(lèi)號(hào)：TP311文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1001—3695(2007)02—0020—04

1 引言

隨著計(jì)算機(jī)處理速率、數(shù)據(jù)壓縮比率、網(wǎng)絡(luò)傳輸帶寬的快速提高，多媒體數(shù)據(jù)已逐漸成為信息處理領(lǐng)域中主要的信息媒體形式，尤其是視頻數(shù)據(jù)，成為越來(lái)越廣泛的媒體形式，如視頻新聞、記錄片、電視節(jié)目、影片、監(jiān)控視頻和商品介紹等。視頻能記錄、保留空間和時(shí)間上的各種信息，它內(nèi)容豐富，是文本、圖像、語(yǔ)音等媒體綜合而成的數(shù)據(jù)流，其中蘊(yùn)涵著大量潛在價(jià)值的信息和知識(shí)，因此人們迫切需要從大量視頻中快速、有效地發(fā)掘出真正有趣的模式。多媒體數(shù)據(jù)庫(kù)、數(shù)字圖書(shū)館和多媒體信息處理領(lǐng)域，過(guò)去在基于內(nèi)容的視頻信息檢索的研究方面作出了不少成就，雖然在某種程度上解決了信息搜索和信息資源發(fā)現(xiàn)的問(wèn)題，但是對(duì)于某些問(wèn)題的解決是不夠的。因?yàn)樾畔z索只能獲取用戶(hù)要求的信息，而不能從視頻數(shù)據(jù)中找出與分析蘊(yùn)含有價(jià)值的知識(shí)。為此需要研究比視頻檢索更高層次的新方法，即視頻挖掘。視頻挖掘[1]就是從大量視頻集中，發(fā)現(xiàn)有效的、新穎的、有價(jià)值的、可理解的模式，即知識(shí)，得出事件的趨向和關(guān)聯(lián)，為用戶(hù)提供問(wèn)題求解層次的輔助能力。視頻挖掘?qū)儆诮徊鎸W(xué)科的研究，它涉及到數(shù)據(jù)庫(kù)、數(shù)據(jù)挖掘和多媒體信息處理等方面的研究和發(fā)展。

自從20世紀(jì)80年代末出現(xiàn)數(shù)據(jù)挖掘的思想以來(lái)，人們開(kāi)展了針對(duì)數(shù)據(jù)庫(kù)中結(jié)構(gòu)化數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘的大量研究[2]。然而，日常工作、生活和商業(yè)中的數(shù)據(jù)不僅僅是結(jié)構(gòu)化的數(shù)據(jù)，還包含大量的非結(jié)構(gòu)化文本、圖像、視頻和音頻數(shù)據(jù)。目前，數(shù)據(jù)挖掘的研究正向非結(jié)構(gòu)化數(shù)據(jù)挖掘的方向發(fā)展。數(shù)據(jù)挖掘一個(gè)主要的方向就是融合多媒體技術(shù)，出現(xiàn)了多媒體數(shù)據(jù)挖掘，其主要內(nèi)容包括：建立多媒體數(shù)據(jù)挖掘的概念框架和體系結(jié)構(gòu)[3，4]、實(shí)現(xiàn)多媒體數(shù)據(jù)挖掘原型系統(tǒng)[5，6]和開(kāi)展多媒體數(shù)據(jù)挖掘的應(yīng)用[4，7—11]等。近幾年來(lái)，隨著基于內(nèi)容的信息檢索技術(shù)的發(fā)展和成熟，逐步開(kāi)展了視頻挖掘的研究，主要有三種類(lèi)型：①特殊模式挖掘[12]，挖掘視頻中的特殊模式和重要場(chǎng)景；②視頻聚類(lèi)和分類(lèi)[13]，把視頻分成不同的類(lèi)型；③視頻關(guān)聯(lián)規(guī)則挖掘，如挖掘視頻編輯規(guī)則之間的關(guān)聯(lián)規(guī)則[14]、挖掘視頻單元之間的關(guān)聯(lián)規(guī)則[15，16]。

原始視頻是一種非結(jié)構(gòu)化時(shí)基媒體，為了使其易被計(jì)算機(jī)管理，易被訪(fǎng)問(wèn)和檢索，關(guān)鍵就是視頻的結(jié)構(gòu)化。雖然過(guò)去的視頻內(nèi)容分析能得出視頻結(jié)構(gòu)單元，但多是采用常規(guī)信號(hào)處理和分析的方法，均難以抽取視頻結(jié)構(gòu)中的語(yǔ)義信息。也就是說(shuō)，常規(guī)的視頻結(jié)構(gòu)化方法僅僅抽取視頻的基本結(jié)構(gòu)，而缺乏視頻的結(jié)構(gòu)語(yǔ)義描述，這種視頻結(jié)構(gòu)化是不全面的，這是常規(guī)信號(hào)處理方法在高層信息處理方面的缺點(diǎn)。

本文在視頻基本結(jié)構(gòu)的基礎(chǔ)上，挖掘視頻結(jié)構(gòu)中語(yǔ)法模式和語(yǔ)義規(guī)則，全面獲得視頻的結(jié)構(gòu)知識(shí)，彌補(bǔ)常規(guī)視頻結(jié)構(gòu)化方法的不足。其中，通過(guò)數(shù)據(jù)挖掘發(fā)現(xiàn)的基本結(jié)構(gòu)、鏡頭語(yǔ)法、場(chǎng)景語(yǔ)法等，表征了視頻的語(yǔ)法模式；通過(guò)抽取的特征類(lèi)關(guān)聯(lián)規(guī)則和時(shí)間相關(guān)的事件關(guān)聯(lián)規(guī)則，表示了視頻包含的結(jié)構(gòu)語(yǔ)義。這些視頻結(jié)構(gòu)知識(shí)可以用于視頻數(shù)據(jù)庫(kù)的組織與管理、基于內(nèi)容的個(gè)性視頻推薦、基于語(yǔ)法和語(yǔ)義的視頻摘要等視頻數(shù)據(jù)的處理當(dāng)中。

2 視頻結(jié)構(gòu)挖掘的概念框架

視頻數(shù)據(jù)是非結(jié)構(gòu)化的數(shù)據(jù)，結(jié)構(gòu)性差，用戶(hù)難以實(shí)現(xiàn)視頻的隨機(jī)接入。以前用戶(hù)要想找到自己想要的一段視頻，采用快進(jìn)或快退的方式線(xiàn)性瀏覽，耗時(shí)多，而且枯燥乏味，難以找到像書(shū)本一樣的章節(jié)結(jié)構(gòu)。因此有必要從各種視頻中挖掘出其結(jié)構(gòu)模式（知識(shí)），實(shí)現(xiàn)視頻的快速、隨機(jī)接入，這就是進(jìn)行視頻結(jié)構(gòu)挖掘的最初動(dòng)機(jī)。

視頻的基本結(jié)構(gòu)是由幀、鏡頭、場(chǎng)景、視頻組成的基本層次結(jié)構(gòu)，在基本層次結(jié)構(gòu)之上，還有視頻語(yǔ)法結(jié)構(gòu)（如視頻編輯語(yǔ)法、視頻單元之間的關(guān)聯(lián)語(yǔ)法等）和視頻語(yǔ)義結(jié)構(gòu)（如視頻中的精彩鏡頭、事件、戶(hù)內(nèi)/戶(hù)外場(chǎng)景等），以及視頻中的主要人物、對(duì)象。考慮到視頻是多種媒體（文字、視頻、音頻等）的綜合，形成了交錯(cuò)復(fù)雜的網(wǎng)狀結(jié)構(gòu)。從這些構(gòu)成要素來(lái)看，有時(shí)基的，如場(chǎng)景、鏡頭和事件等，有非時(shí)基的，如視頻中出現(xiàn)的人物或?qū)ο螅粡亩嗝襟w的同步來(lái)看，這些構(gòu)成要素之間有內(nèi)在的時(shí)間關(guān)系，如Meets，Starts，Equal，During，F(xiàn)inishes等。結(jié)合視頻語(yǔ)法和語(yǔ)義，視頻結(jié)構(gòu)是一個(gè)綜合網(wǎng)狀結(jié)構(gòu)，如圖1所示。一方面反映基是由幀、鏡頭、場(chǎng)景、視頻組成的層次關(guān)系，同時(shí)更重要的是隱藏在基本結(jié)構(gòu)之中有趣的、新穎的語(yǔ)法結(jié)構(gòu)知識(shí)和語(yǔ)義結(jié)構(gòu)知識(shí)，視頻結(jié)構(gòu)挖掘的目的就是從視頻中挖掘這些知識(shí)。

定義1 視頻基本結(jié)構(gòu)[27]。它是由視頻(Video)、場(chǎng)景(Scene)、鏡頭(Shot)和幀(Frame)四個(gè)層次單元構(gòu)成的層次結(jié)構(gòu)。從視頻層到幀層結(jié)構(gòu)粒度增加，語(yǔ)義減少。

幀是一幅靜態(tài)圖像，是組成視頻的最小邏輯單元，將時(shí)間上連續(xù)的幀序列按等間隔連續(xù)播放，便形成動(dòng)態(tài)視頻，可以用f(x，y，t)表示，（x，y）是圖像空間維上的一個(gè)點(diǎn)，t是幀時(shí)間維上所處的時(shí)刻。幀的特征主要是圖像的靜態(tài)特征，表現(xiàn)在幀的顏色、紋理、形狀、對(duì)象、對(duì)象之間的關(guān)系等。設(shè)其特征集為AF={A_{F1，AF2，…，AFm}，m為特征種類(lèi)數(shù)，我們?cè)诖耸褂脦倪壿嫳硎尽?/sub>}

考慮到進(jìn)行視頻挖掘時(shí)若使用所有幀，計(jì)算量太大，影響挖掘效率，用鏡頭中具有典型性、代表性的幀（關(guān)鍵幀或代表幀）來(lái)表現(xiàn)鏡頭，在實(shí)際使用時(shí)根據(jù)鏡頭內(nèi)容變化幅度選取一個(gè)或多個(gè)關(guān)鍵幀表現(xiàn)鏡頭。

場(chǎng)景是語(yǔ)義相關(guān)的連續(xù)鏡頭，如對(duì)話(huà)場(chǎng)景ABABDABCAB通過(guò)鏡頭A和B重復(fù)出現(xiàn)來(lái)表達(dá)一個(gè)劇情；新聞場(chǎng)景中連續(xù)相關(guān)的多個(gè)鏡頭表現(xiàn)一則新聞故事等。場(chǎng)景可以是相同對(duì)象的不同角度、不同技法的拍攝，也可以是具有相同主題和事件的鏡頭組合，場(chǎng)景的映射強(qiáng)調(diào)語(yǔ)義的相關(guān)性。場(chǎng)景的描述與鏡頭類(lèi)似，一方面描述其組成關(guān)系，另一方面描述相關(guān)鏡頭綜合后反映出來(lái)的場(chǎng)景特征，如場(chǎng)景摘要、場(chǎng)景語(yǔ)義描述、場(chǎng)景一般屬性、場(chǎng)景關(guān)鍵幀及其特征、場(chǎng)景關(guān)鍵對(duì)象及其特征、場(chǎng)景運(yùn)動(dòng)特征等，場(chǎng)景的特征用AC={A_{C1，AC2，…，ACm}表示，m為特征種類(lèi)數(shù)。}

視頻包含一個(gè)完整的事件或故事，作為最高層的視頻內(nèi)容結(jié)構(gòu)，它包括視頻的組成關(guān)系以及對(duì)視頻的摘要、語(yǔ)義和一般性描述等，其特征用AV={A_V1，A_V2，…，A_Vm}表示，m是視頻的特征種類(lèi)數(shù)。

定義6 視頻基本結(jié)構(gòu)挖掘。它是從經(jīng)過(guò)預(yù)處理之后的視頻數(shù)據(jù)流中，采用分類(lèi)、聚類(lèi)、關(guān)聯(lián)等數(shù)據(jù)挖掘方法挖掘出視頻基本結(jié)構(gòu)模式的過(guò)程。

視頻除了有基本結(jié)構(gòu)知識(shí)之外，更重要的是隱藏在視頻基本結(jié)構(gòu)之上的語(yǔ)義和語(yǔ)法結(jié)構(gòu)。在上面的定義中，我們對(duì)視頻的四個(gè)層次單元（幀、鏡頭、場(chǎng)景、視頻）給出了規(guī)范定義，一方面反映其單元構(gòu)成，另一方面反映其特征構(gòu)成，從定義中看不出視頻單元與特征之間、單元特征與特征之間的關(guān)系，但這些關(guān)系確實(shí)存在，只是隱藏在視頻基本結(jié)構(gòu)中難以發(fā)現(xiàn)，因此需要挖掘出隱藏在視頻基本結(jié)構(gòu)之上的構(gòu)造模式。以前對(duì)視頻結(jié)構(gòu)的內(nèi)容分析所做的工作停留在視頻基本結(jié)構(gòu)上，沒(méi)有作深層次的挖掘。我們?cè)谝曨l基本結(jié)構(gòu)的基礎(chǔ)上定義了兩類(lèi)結(jié)構(gòu)知識(shí)，即視頻語(yǔ)法結(jié)構(gòu)知識(shí)和視頻語(yǔ)義結(jié)構(gòu)知識(shí)，從而導(dǎo)出了視頻語(yǔ)法結(jié)構(gòu)挖掘和視頻語(yǔ)義結(jié)構(gòu)挖掘的概念。

視頻語(yǔ)法就是視頻結(jié)構(gòu)中鏡頭、場(chǎng)景、整個(gè)視頻的構(gòu)造模式。例如新聞視頻中每段新聞的構(gòu)造模式、對(duì)話(huà)場(chǎng)景的構(gòu)造模式等，它們具有一定的語(yǔ)法規(guī)則。視頻語(yǔ)法挖掘就是在視頻基本結(jié)構(gòu)的基礎(chǔ)上，采用自動(dòng)分析和挖掘的方法，根據(jù)鏡頭和場(chǎng)景的相似性和相關(guān)語(yǔ)義，獲得構(gòu)造視頻結(jié)構(gòu)的一些通用語(yǔ)法規(guī)則，包括對(duì)話(huà)、采訪(fǎng)、新聞節(jié)目、敘事等構(gòu)造模式，并用有向狀態(tài)圖進(jìn)行建模和描述。這些視頻語(yǔ)法規(guī)則作為知識(shí)，給出視頻序列中包含的一些普遍適用的結(jié)構(gòu)構(gòu)造知識(shí)。

視頻語(yǔ)義挖掘就是挖掘出視頻幀、視頻對(duì)象、鏡頭和場(chǎng)景中包含的含義和事件模式。與圖像理解、圖像識(shí)別、圖像標(biāo)志等方法不同，得到的是一種一般性的視頻語(yǔ)義，用特征類(lèi)之間的關(guān)聯(lián)規(guī)則和事件模式等形式來(lái)表示，獲取的語(yǔ)義作為知識(shí)來(lái)看待。一方面，研究自動(dòng)發(fā)現(xiàn)視頻特征之間、視覺(jué)特征與聽(tīng)覺(jué)特征之間、屬性與視聽(tīng)特征之間的特征關(guān)聯(lián)，用發(fā)現(xiàn)的規(guī)則（知識(shí)）集來(lái)建立語(yǔ)義類(lèi)；另一方面，將對(duì)視頻序列進(jìn)行分析，抽取時(shí)間相關(guān)的事件模式，用時(shí)間相關(guān)的關(guān)聯(lián)規(guī)則來(lái)表示。特征類(lèi)關(guān)聯(lián)規(guī)則和事件模式在某種程度上表達(dá)了視頻序列的結(jié)構(gòu)語(yǔ)義。

定義9 視頻結(jié)構(gòu)模式（知識(shí)）。以關(guān)聯(lián)規(guī)則、圖形界面等形式表現(xiàn)視頻結(jié)構(gòu)挖掘結(jié)果，便于用戶(hù)對(duì)挖掘結(jié)果加以解釋和說(shuō)明。結(jié)構(gòu)模式包含視頻基本結(jié)構(gòu)、語(yǔ)法結(jié)構(gòu)、語(yǔ)義結(jié)構(gòu)模式。

視頻基本結(jié)構(gòu)可采用XML語(yǔ)言進(jìn)行表示。首先對(duì)視頻進(jìn)行鏡頭分割，得到視頻鏡頭層結(jié)構(gòu)。用XML表示的視頻鏡頭結(jié)構(gòu)如下所示：

代碼中包含所有鏡頭、鏡頭關(guān)鍵幀及相關(guān)特征。根據(jù)這些特征采用時(shí)間約束的聚類(lèi)算法，對(duì)鏡頭進(jìn)行聚類(lèi)得到場(chǎng)景，從而獲得視頻層次結(jié)構(gòu)，這樣有利于存儲(chǔ)，但顯示出用戶(hù)不適合采用該方式，應(yīng)采用視頻目錄結(jié)構(gòu)或樹(shù)結(jié)構(gòu)，以圖形界面的方式直觀(guān)呈現(xiàn)給用戶(hù)；而對(duì)語(yǔ)義和語(yǔ)法知識(shí)大部分以關(guān)聯(lián)規(guī)則的形式表示。用XML表示的視頻層次結(jié)構(gòu)如下所示：

3 視頻結(jié)構(gòu)挖掘的系統(tǒng)框架

視頻結(jié)構(gòu)挖掘系統(tǒng)框架如圖2所示。系統(tǒng)框架以XML存儲(chǔ)視頻多維數(shù)據(jù)立方體，包括視頻中的視頻、場(chǎng)景、鏡頭和幀的層次組成結(jié)構(gòu)，各個(gè)層次的特征值，以及視頻語(yǔ)法挖掘和語(yǔ)義挖掘得到的視頻語(yǔ)法和語(yǔ)義模式（知識(shí)）。通過(guò)視頻數(shù)據(jù)預(yù)處理消除視頻噪聲得到鏡頭及相關(guān)底層特征，通過(guò)視頻基本結(jié)構(gòu)挖掘進(jìn)行視頻場(chǎng)景分割，通過(guò)視頻語(yǔ)法挖掘發(fā)現(xiàn)視頻語(yǔ)法，通過(guò)視頻語(yǔ)義結(jié)構(gòu)挖掘發(fā)現(xiàn)視頻語(yǔ)義，對(duì)模式進(jìn)行評(píng)價(jià)和可視表現(xiàn)，視頻挖掘的過(guò)程是一個(gè)與用戶(hù)或知識(shí)庫(kù)進(jìn)行交互、多次反復(fù)的過(guò)程，將有趣的模式提供給用戶(hù)，或作為新的知識(shí)存放在知識(shí)庫(kù)中。系統(tǒng)框架的各主要模塊功能如下：

(1)視頻預(yù)處理。原始視頻消除噪聲之后得到視頻數(shù)據(jù)庫(kù)，進(jìn)行鏡頭分割、代表幀提取、鏡頭和代表幀特征提取，這些數(shù)據(jù)集成到一起，構(gòu)成多維數(shù)據(jù)立方體，存儲(chǔ)在XML文檔中；然后從XML挖掘視頻結(jié)構(gòu)知識(shí)，將挖掘的結(jié)構(gòu)知識(shí)進(jìn)一步保存在XML文檔中。

(2)視頻基本結(jié)構(gòu)挖掘。采用數(shù)據(jù)挖掘方法構(gòu)造視頻場(chǎng)景，對(duì)視頻鏡頭根據(jù)特征相似性進(jìn)行聚類(lèi)，但視頻具有視聽(tīng)特性、高維特征、數(shù)據(jù)量大以及與相關(guān)，需要對(duì)傳統(tǒng)的聚類(lèi)算法進(jìn)行改進(jìn)。在視頻聚類(lèi)中常采用的方法有帶時(shí)間約束的聚類(lèi)[18]、自校正迭代鏡頭聚類(lèi)[19]等。通過(guò)鏡頭分割、場(chǎng)景聚類(lèi)和特征提取，進(jìn)一步完善多維數(shù)據(jù)立方體的構(gòu)造，完成視頻基本層次結(jié)構(gòu)的發(fā)掘。

(3)視頻語(yǔ)法結(jié)構(gòu)挖掘。分析視頻單元和特征之間的構(gòu)造模式，反映視頻的語(yǔ)法結(jié)構(gòu)。常見(jiàn)的構(gòu)造模式有視頻中對(duì)話(huà)場(chǎng)景鏡頭重復(fù)模式、采訪(fǎng)和新聞片中非常規(guī)則的鏡頭語(yǔ)法、視頻節(jié)目中的鏡頭/場(chǎng)景構(gòu)造的一般模式，主要采用的方法有關(guān)聯(lián)規(guī)則挖掘[14]、HMM等。 

(4)視頻語(yǔ)義結(jié)構(gòu)挖掘。分析視頻單元特征之間的構(gòu)造模式，反映視頻的語(yǔ)義結(jié)構(gòu)。視頻底層特征和高層語(yǔ)義之間存在難以跨越的鴻溝，底層特征主要表現(xiàn)在顏色、紋理、形狀等方面，而在高層是語(yǔ)義概念，采用數(shù)據(jù)挖掘的方法來(lái)建立底層特征與高層語(yǔ)義之間的關(guān)聯(lián)，挖掘視頻結(jié)構(gòu)中的關(guān)聯(lián)語(yǔ)義模式。常用的方法有SOM、貝葉斯語(yǔ)義網(wǎng)絡(luò)等。

(5)模式評(píng)估。視頻結(jié)構(gòu)挖掘得到的模式，必須是有效的、新穎的、有價(jià)值的、可理解的模式，即知識(shí)，需要根據(jù)某種興趣度度量對(duì)發(fā)現(xiàn)的模式進(jìn)行評(píng)價(jià)和評(píng)估，識(shí)別真正有趣的模式，才能上升到知識(shí)，指導(dǎo)視頻的檢索、索引、摘要。

(6) 知識(shí)表現(xiàn)。挖掘視頻結(jié)構(gòu)知識(shí)，是為了有利于視頻的分析和組織，有利于視頻的查詢(xún)和檢索，更重要是要讓人們感知到視頻結(jié)構(gòu)知識(shí)，有必要對(duì)視頻進(jìn)行可視表現(xiàn)，可以借鑒的表現(xiàn)形式有視頻目錄（TOC）[18]、場(chǎng)景轉(zhuǎn)移變換圖（HSTG）[20]、關(guān)聯(lián)規(guī)則和Petri網(wǎng)等。

4 視頻結(jié)構(gòu)挖掘的應(yīng)用

4.1 指導(dǎo)視頻的組織與管理

通過(guò)視頻結(jié)構(gòu)知識(shí)，可以實(shí)現(xiàn)用戶(hù)對(duì)視頻的隨機(jī)接入，在控制粒度可以是視頻、場(chǎng)景、鏡頭、關(guān)鍵幀的各個(gè)層次。在視頻分析和處理中，不管是鏡頭分割還是場(chǎng)景檢測(cè)，研究者在這些方面提出了一些行之有效的算法，但主要的局限性在于領(lǐng)域相關(guān)和健壯性差。從視頻結(jié)構(gòu)中發(fā)現(xiàn)的語(yǔ)法和語(yǔ)義結(jié)構(gòu)知識(shí)，可以用來(lái)指導(dǎo)視頻分析和視頻處理，提高其處理精度和算法的適用性。在視頻索引中引入視頻結(jié)構(gòu)知識(shí)，有利于提高基于內(nèi)容視頻檢索的查準(zhǔn)率和查全率。

4.2 實(shí)現(xiàn)基于內(nèi)容的個(gè)性視頻推薦

個(gè)性推薦是電子商務(wù)網(wǎng)站的一個(gè)重要功能，有助于增加銷(xiāo)售額，具體實(shí)現(xiàn)和超市中的購(gòu)物籃分析類(lèi)似，分析網(wǎng)上交易歷史數(shù)據(jù)，挖掘其中的關(guān)聯(lián)規(guī)則，然后根據(jù)其中的關(guān)聯(lián)規(guī)則向用戶(hù)推薦關(guān)聯(lián)產(chǎn)品。但是，現(xiàn)有的這些推薦系統(tǒng)中，將視頻作為一件商品，根據(jù)它與其他商品之間的關(guān)聯(lián)來(lái)完成其推薦功能，沒(méi)有考慮到視頻是由文本、圖像、聲音等多種媒體的綜合，含有豐富的媒體信息，沒(méi)有從基于內(nèi)容的角度去進(jìn)行關(guān)聯(lián)推薦。視頻結(jié)構(gòu)挖掘中得到的關(guān)聯(lián)語(yǔ)法模式、關(guān)聯(lián)語(yǔ)義模式均可應(yīng)用到視頻推薦系統(tǒng)中，完善在線(xiàn)視頻商品的個(gè)性推薦，實(shí)現(xiàn)基于內(nèi)容的視頻推薦。4.3 完善視頻摘要系統(tǒng)

視頻摘要是從視頻數(shù)據(jù)中，獲取有代表性的內(nèi)容，以簡(jiǎn)明扼要、用戶(hù)可讀的濃縮形式再現(xiàn)視頻內(nèi)容，主要有基于故事板的靜態(tài)視頻摘要和基于視頻剪輯的動(dòng)態(tài)視頻摘要。這兩種摘要系統(tǒng)主要從視頻基本層次結(jié)構(gòu)來(lái)建立視頻摘要系統(tǒng)，可以了解視頻中的故事情節(jié)，減少視頻節(jié)目選取時(shí)間，但是不能根據(jù)視頻中結(jié)構(gòu)語(yǔ)法和結(jié)構(gòu)語(yǔ)義，更好地滿(mǎn)足人們對(duì)視頻內(nèi)容選取的需求。比如對(duì)足球視頻所有進(jìn)球段落進(jìn)行重播；各電視臺(tái)對(duì)“神舟六號(hào)”相關(guān)報(bào)導(dǎo)的摘要；中、美兩國(guó)領(lǐng)導(dǎo)人會(huì)晤中對(duì)話(huà)場(chǎng)景的摘要等，在現(xiàn)有的視頻摘要系統(tǒng)中難以實(shí)現(xiàn)，需要結(jié)合視頻中的語(yǔ)法和語(yǔ)義結(jié)構(gòu)知識(shí)才能完成。視頻結(jié)構(gòu)挖掘中發(fā)現(xiàn)的高層結(jié)構(gòu)知識(shí)，可以用在視頻摘要系統(tǒng)，使視頻摘要系統(tǒng)更加完善，滿(mǎn)足人們的感知特征。

5 結(jié)束語(yǔ)

本文提出了一種視頻結(jié)構(gòu)挖掘的概念框架和視頻結(jié)構(gòu)挖掘系統(tǒng)框架，對(duì)視頻結(jié)構(gòu)挖掘的概念進(jìn)行了規(guī)范化定義。視頻結(jié)構(gòu)挖掘的內(nèi)容有：①視頻基本結(jié)構(gòu)挖掘，采用數(shù)據(jù)挖掘方法分析視頻層次結(jié)構(gòu)；②視頻語(yǔ)法結(jié)構(gòu)挖掘，挖掘視頻單元和特征之間的構(gòu)造模式（知識(shí)）；③視頻語(yǔ)義結(jié)構(gòu)挖掘，分析視頻單元中包含的含義和事件模式（知識(shí)）。描述了視頻結(jié)構(gòu)挖掘中的系統(tǒng)框架，最后探討了視頻結(jié)構(gòu)知識(shí)的應(yīng)用前景。

本文中所涉及到的圖表、注解、公式等內(nèi)容請(qǐng)以PDF格式閱讀原文。