融合媒體下視頻內容關聯聚合的研究

羅 莉，苗 方，吳 敏

(1.中國傳媒大學 信息工程學院，北京100024;2.中國國際廣播電臺 技術管理辦公室，北京100040)

隨著數字技術和網絡技術的發展，信息傳播進入了融合媒體時代。媒體內容的采集、匯聚、生產、分發和呈現形式發生了巨大的轉變。傳統的媒體傳播形式已不能充分滿足廣大用戶的需求，新興的視頻網站、IPTV、手機電視等視聽媒體的出現，使得媒體內容更多地通過互聯網渠道發布，并通過電視、手機、平板、計算機等多終端方式呈現。電視臺紛紛設立網絡電視臺，新興視頻網站如愛奇藝、優酷土豆等也紛紛自制電視節目涉足廣電行業，電視觀眾轉變為多屏互動下的用戶，線上的節目內容與線下的互動結合日益緊密。

融合媒體環境下，媒體內容碎片化和媒體數據的異構化趨勢使它們之間的語義關聯更加復雜。如何實現媒體內容資源的有效聚合、存儲、管理、利用，如何在海量異構的媒體數據和多樣的用戶需求之間進行匹配，形成信息的精準高效的分發和傳遞是亟待解決的問題。海量的媒體數據價值仍有待挖掘，對視頻、圖片、文本等異構數據的管理和利用顯得日趨重要。一方面，對海量視頻內容的檢索技術并不像簡單文本檢索，對資料文本標注進行索引，目前應用中主要側重于對視頻的文本描述的元數據檢索。而對視頻的內容檢索主要是對視頻底層特性的提取，而缺乏對視頻語義信息的提取。因此語義信息的檢索和聚合成為近年來研究的熱點;另一方面，為了方便有效地對資源進行管理、檢索、聚合，傳統的元數據編目規范有待改進。因此，在媒體資產管理系統中，需要構建視頻內容的關聯信息庫，利用網絡訪問和交互的用戶行為數據以及視頻內容關聯信息等異構元數據，進行深層次的關聯聚合，進而通過智能挖掘與推薦形成用戶個性化互動的新業務模式。

1 海量媒體信息管理技術

對海量媒體信息的管理主要包括信息的檢索過濾、編目描述以及數據挖掘。視頻的信息檢索即基于內容的視頻檢索，包括對特征信息的提取、高層語義的分析、建立索引等;融合媒體的元數據需要更加全面地對內容及其關聯信息進行描述;此外還需要利用分類、聚類等數據處理技術，進一步挖掘視頻內容資源的價值。

1.1 基于內容視頻檢索技術

基于內容的視頻檢索是自動地對視頻數據進行分析和處理，提取視頻的底層特征和語義信息，并將特征和語義信息存入到數據庫，建立索引。這包括四個過程［1］:鏡頭分割、關鍵幀提取、特征提取和形成索引。其中，涉及到視頻內容關聯信息的過程是特征提取。

特征提取是在鏡頭分割和關鍵幀提取的基礎上，對視頻中描述的信息分布進行提取。視頻內容關聯信息分布在三個層次［2］:

1)底層特性。從原始視頻數據中利用自動分析技術提取出來的特性，如顏色、紋理、形狀、運動等。2)物理對象時空信息。包括從視頻中提取出來的物體、它們的運動軌跡以及它們之間的時空關系。3)語義信息。是人類在觀看視頻時所感知到的信息，反映人們對于視頻內容的理解，如對象、行為、場景或者感情色彩等高層語義。

3 層信息中，底層特性和物體對象時空特性能利用特征提取的方法，一方面，可以在鏡頭和關鍵幀層次上進行特征提取。對鏡頭的特征提取一般是提取鏡頭中的運動信息(物理對象時空信息)。對關鍵幀的特征提取，一般是提取關鍵幀的視覺特征(顏色、紋理、形狀等)信息。另一方面，可以在提取的鏡頭特征與關鍵幀特征的基礎上，對鏡頭進行聚類，從而形成較高層次的視頻描述即場景。而語義信息，需要單獨構建底層特性與語義描述的映射。

1.2 媒體元數據編目描述規范

國內媒體元數據描述應用主要采用兩種方式。一種是傳統電視臺音像資料編目和大部分互聯網視聽媒體網絡公司采用的元數據規范“Dublin Core Metadata”。該規范提供了易于掌握和使用的網絡資源著錄格式和的檢索途徑，較全面概括了電子資源的主要特征。原國家廣電總局采用Dublin Core Metadata 制定了GYT202.1—2004《廣播電視音像資料編目規范 第1 部分:電視資料》［3］，該規范定義了電視節目資料編目的元數據框架，使用DC 的15 個元數據項分配編目項目，根據電視節目資料本身的特點，將編目分為4 個層次，從上到下依次是節目層、片段層、場景層、鏡頭層。

另一種媒體元數據描述借鑒國外網絡運營商應用于同類業務所采用的元數據定義標準，如美國Cable Television Laboratories 制定的視頻點播業務VOD 標準及資產分發接口ADI定義標準。制定GYT259—2012《下一代廣播電視網(NGB)視頻點播系統元數據規范》［4］吸取了ADI 規范的長處，適用于各有線電視網絡公司新部署的NGB 視頻點播系統業務。優點是包含了點播業務的互動設置，如拆條信息、打點信息等內容標記，缺點是國外的編目元數據定義方式與國內業務運營的實際應用存在較大出入，不能夠與互聯網視聽媒體數據交換。元數據交換統一采用XML 格式，滿足傳統媒體和新媒體的異構平臺的數據交換。

1.3 數據挖掘技術

數據挖掘，就是從大量無序的數據中發現隱含的、有價值的知識，根據特點的情況建立模型，得到所需的信息。聚類、分類技術作為數據挖掘的主要方法之一，對于建立高效的數據庫索引、實現快速準確的信息檢索具有重要的理論和現實意義。聚類分析是一種把數據對象劃分為許多簇，使得簇內的對象之間相似度盡可能高的過程，常用的聚類方法有kmeans 算法、層次聚類方法、基于統計學或神經網絡等模型的方法等。分類是一種重要的數據分析形式，它提取和刻畫重要數據類的模型，形成分類器，通常分為兩個階段，一是訓練數據集學習來構造分類器，二是使用訓練得到的分類器對每個數據對象進行分類。常用的分類方法有決策樹、神經網絡、樸素貝葉斯分類、支持向量機等。

2 視頻內容關聯

視頻內容的關聯信息主要是指人們觀看視頻時所理解的信息，即視頻中發生的事件、對象以及場景等語義信息，與其他內容資源形成關聯映射。這樣用戶能夠通過信息主題詞關聯到視頻，從視頻關聯到下鉆信息。因此，需要建立語義信息庫，同時完善元數據的描述規范。

2.1 建立視頻語義信息庫

視頻語義信息庫對于視頻內容的描述，反映了人們觀看視頻時對視頻內容的理解，如對象、行為、場景或者感情色彩等。特征提取的算法只能自動提取出視頻內容關聯信息的底層特性和物理對象時空信息，目前基于內容的視頻檢索還未做到基于語義信息的檢索，建立視頻語義信息庫可以利用特征提取與機器學習技術提取視頻低層特征、高層語義，再采用統一的視頻內容描述標注對低層和語義信息標注。

2.1.1 利用特征提取和機器學習提取視頻關聯信息

視頻低層特性通過特征提取技術，提取視頻中關鍵幀、鏡頭層的圖像的顏色、空間、場景特征。而視頻語義信息的提取是從底層特征中采用機器學習抽象出視頻的語義特征。具體過程是待檢索視頻入庫后，首先提取視頻中關鍵幀的圖像的底層特征，采用一定的分析方法，如使用HSV 顏色模型分析運動對象的顏色，使用背景建模分析輪廓特征、場景特征，使用小波變換分析文字特征等;其次將圖像的底層特征存入數據庫，通過機器學習的方法訓練分類器，如貝葉斯分類器、支持向量機和神經網絡等監督學習，對待檢索的視頻進行處理，生成相應的圖像幀的語義信息庫。

2.1.2 利用MPEG－7 統一標準描述視頻內容

MPEG－7 是動態圖像專家組提出的視頻描述接口標準，該標準利用結構化文本，如XML 的形式來描述視頻的低層特性、高層語義信息［5］。MPEG－7 描述的底層特性包括顏色描述子、紋理描述子和形狀描述子。對于底層特性的描述方案，可以通過自動分析、分段、特征提取工具而獲得，而對視頻高層語義上的問題，目前研究階段需要人工參與標注才能完成。通過對所有入庫視頻進行預處理，入庫前對視頻資源進行編輯、壓縮、格式轉換，結合視頻低層特征對語義標注。這樣就建立了視頻的底層特征與高層語義信息的關聯，使得計算機能識別圖像中的語義內容，實現視頻的語義檢索。建立視頻語義信息庫的框架如圖1 所示。

圖1 視頻語義信息庫框架

2.2增加關聯信息的規范描述

視聽媒體元數據庫主要分布在各大電視臺和互聯網視聽媒體，由于它們均采用的都柏林核心元數據集DC，從媒體融合的角度出發，本文充分考慮對廣播電視音像資料編目規范的繼承和對互聯網視聽新媒體元數據的應用，擴展DC 元數據項和擴展DC 元數據的修辭詞(標簽)來增加視頻內容關聯信息的描述。

2.2.1 擴展DC 元數據的修辭詞

DC 規范包括的15 個元數據項包括三類，其中資源內容描述類元素屬于對視音頻節目信息的描述。借鑒NGB 視頻點播的拆條信息、打點信息元數據項互動設置［4］，可增加視頻關聯信息的互動，具體是通過在資源內容描述類元素“描述”的修辭詞類別中，增加視頻拆條信息、視頻打點信息、視頻對象信息，具體如圖2 所示。視頻拆條信息對應視頻片段，視頻打點信息對應圖像，視頻對象信息對應視頻圖像某區域，以此建立了描述視頻內容關聯信息的標簽。

圖2 擴展“描述”元數據項結構

2.2.2 擴展DC 元數據項

將互聯網視聽媒體交易運營模式加入到原有的DC15 元數據項中，添加“運營”元數據項，其標簽包括:收藏、點播、推薦、收益、評論、記錄、分級［6］。

16 個元數據項的元素修飾詞(標簽)根據融合媒體的特點限定和表示，部分元數據項如類型、來源、相關資源、運營等由URL 描述。

應用擴展的媒體元數據規范，在電視臺和視頻網站電視節目制作中，對節目媒資靈活編目，不用涵蓋電視臺規范的四層體系，對節目層、片段層等關鍵字段編目。編目內容涉及視頻內容關聯信息的部分如圖2 所示，描述了對視頻片段、視頻圖像、視頻圖像某區域的標簽。

3 視頻關聯信息服務平臺

視頻關聯信息服務平臺是對媒體內容的關聯信息形成管理、利用、聚合、分發的整體架構。媒體信息采集入媒資庫，進到媒體內容資源管理平臺后，構建出與視頻內容關聯的信息庫，包括自動特征提取的視頻底層特性庫、視頻語義信息庫和來自電視臺和互聯網視聽網站的媒體元數據庫。有線電視運營系統和互聯網門戶網站后臺提供用戶行為數據庫。通過高效數據匯聚索引技術，將這些存儲于數據庫中結構化、半結構化、非結構化的異構數據的存取地址形成一個索引目錄，可采用非關系型數據庫，如NoSQL，構建分布式存儲和管理平臺。當有請求到達時，能快速訪問視頻及相關數據?？刹捎没诿襟w大數據的智能挖掘算法［7］對視頻內容的關聯信息進行分析挖掘和智能推薦。由多渠道發布為用戶提供個性化服務，如電視互動、電視電商T2O、社交互動以及各門戶網站的消費、評價等。電視終端和移動終端的數據分別通過有線電視運營系統后臺和互聯網門戶網站系統后臺進行反饋并更新用戶行為數據庫，視頻內容關聯的信息庫通過多渠道內容匯聚及時更新，這些反饋數據將進一步影響媒體內容的生產和管理?？傮w來看，視頻關聯信息服務平臺是對視頻內容關聯信息的管理、利用、聚合、分發一體化的閉環架構(見圖3)。

圖3 視頻關聯信息服務平臺架構

4 結束語

融合媒體環境下海量的媒體內容以及豐富多樣的信息關聯，使得對內容的深度挖掘和高效智能管理愈發重要。各種創新的業務模式，需要建立以用戶為核心的運營體系，主要包括媒體內容實時、智能編排，異構元數據自動歸類、識別，大規模用戶數據分析挖掘，高效索引匯聚，多渠道發布，反饋體制完善等方面構建。建立視頻關聯信息服務平臺，有利于實現電視媒體和用戶的深層互動，使得傳統廣電媒體真正具有互聯網思維。

［1］曹長青.基于內容的視頻檢索技術中關鍵幀提取算法研究［D］.太原:太原理工大學，2012.

［2］王煜，周立柱，邢春曉.視頻語義模型及評價準則［J］.計算機學報，2007，3(30):337－351.

［3］GYT202.1—2004，廣播電視音像資料編目規范 第1 部分:電視資料［S］.2004.

［4］GYT259—2012，下一代廣播電視網(NGB)視頻點播系統元數據規范［S］.2012.

［5］劉峻峰.基于MPEG－7 與內容的圖像檢索技術的研究［D］.西安:西安科技大學，2008.

［6］張偉.網絡視聽新媒體內容元數據研究［J］.廣播與電視技術，2013，12(8):42－44.

［7］紀海，曹三省. 基于互聯網融合媒體的大數據應用技術分析［J］.電視技術，2014，38(21):76－78.