基于關(guān)鍵幀的視頻結(jié)構(gòu)化系統(tǒng)研究與實(shí)現(xiàn)

吳靖 李少康 王家寶

摘要：隨著移動(dòng)多媒體快速發(fā)展，視頻的生成速度呈指數(shù)增長(zhǎng)，視頻瀏覽的工作量和存儲(chǔ)的數(shù)據(jù)量日益龐大。為了實(shí)現(xiàn)快速瀏覽和高效存儲(chǔ)，視頻結(jié)構(gòu)化方法越來(lái)越引人關(guān)注。文章圍繞快速瀏覽和高效存儲(chǔ)視頻內(nèi)容，研究了基于關(guān)鍵幀的視頻結(jié)構(gòu)化方法，采取HSV空間顏色特征直方圖提取關(guān)鍵幀的方式，利用OPENCV計(jì)算機(jī)視覺(jué)庫(kù)設(shè)計(jì)實(shí)現(xiàn)軟件系統(tǒng)，并對(duì)系統(tǒng)做出測(cè)試和評(píng)價(jià)。

關(guān)鍵詞：視頻結(jié)構(gòu)化;關(guān)鍵幀提取;視頻分析;軟件系統(tǒng)

中圖分類(lèi)號(hào)：TP311? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2019）26-0212-03

開(kāi)放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

Abstract： With the rapid development of mobile multimedia， the speed of video generation is exponentially increasing. The workload of video browsing and the amount of data stored are increasing. In order to achieve fast browsing and efficient storage， video structuring methods are attracting more and more attention. Focusing on fast browsing and efficient storage of video content， this paper researches on the method of video structuring based on key frames， adopts HSV spatial color feature histogram to extract key frames， uses OPENCV computer vision library to design and implement the software system， tests and evaluates the system.

Key words： video structuring; key frame extraction; video analysis;software system

視頻數(shù)據(jù)在形式上沒(méi)有結(jié)構(gòu)，但內(nèi)容上有較強(qiáng)的邏輯結(jié)構(gòu)，按照內(nèi)容粒度可被結(jié)構(gòu)化成幀（Frame）、鏡頭（Shot）、場(chǎng)景（Scene）、視頻（Video）四個(gè)層次，如圖1所示。為了提高視頻瀏覽和存儲(chǔ)的效率，需要從沒(méi)有結(jié)構(gòu)的視頻數(shù)據(jù)提取具有代表性的結(jié)構(gòu)單元。視頻結(jié)構(gòu)化技術(shù)便是從視頻中提取其結(jié)構(gòu)單元的技術(shù)。

視頻幀是視頻結(jié)構(gòu)化技術(shù)處理分析的基本單元，關(guān)鍵幀是表述鏡頭的關(guān)鍵性圖像幀，又叫代表幀，其可以減少視頻索引的工作量和數(shù)據(jù)量。因此，關(guān)鍵幀提取對(duì)視頻結(jié)構(gòu)化具有重要的意義，其方法主要有4類(lèi)[1]：

（1）基于鏡頭邊界提取。將一段視頻分割成數(shù)個(gè)鏡頭后，提取每個(gè)鏡頭第一幀或最后一幀作為該鏡頭關(guān)鍵幀。

（2）基于圖像信息提取。基于幀的色彩、紋理等視覺(jué)信息的轉(zhuǎn)變方法來(lái)提取關(guān)鍵幀，將鏡頭第一幀作為關(guān)鍵幀，再通過(guò)幀之間的特征數(shù)值變化（閾值控制）來(lái)提取多個(gè)關(guān)鍵幀。

（3）基于運(yùn)動(dòng)分析提取。通過(guò)光流分析計(jì)算鏡頭里的運(yùn)動(dòng)力，在運(yùn)動(dòng)量為最小值處選擇關(guān)鍵幀。

（4）基于視頻無(wú)監(jiān)督聚類(lèi)提取。確定一個(gè)初始類(lèi)心，根據(jù)當(dāng)前幀與類(lèi)心的距離來(lái)判斷本幀圖像類(lèi)心歸屬，再將各類(lèi)中離類(lèi)心最近的幀作為關(guān)鍵幀。

以上4類(lèi)方法各有優(yōu)缺點(diǎn)，主要是提取的關(guān)鍵幀對(duì)于視頻內(nèi)容的反映程度沒(méi)有統(tǒng)一評(píng)價(jià)標(biāo)準(zhǔn)。本文主要研究基于圖像信息，采取直方圖差值的算法來(lái)提取關(guān)鍵幀，并通過(guò)系統(tǒng)進(jìn)行實(shí)現(xiàn)。

1 系統(tǒng)設(shè)計(jì)

軟件系統(tǒng)框架設(shè)計(jì)如圖所示：

1.1 視頻幀特征抽取設(shè)計(jì)

顏色是描述視頻幀的重要特征之一，準(zhǔn)確描述顏色特征需要使用合適的顏色空間和顏色描述子。常用顏色空間主要區(qū)分RGB、HSV兩類(lèi)，其中RGB空間利于計(jì)算機(jī)合成，HSV空間則更能反映人眼視覺(jué)所能看到的顏色[2][3]。因此，本文基于顏色特征，選用HSV顏色空間進(jìn)行視頻幀特征抽取，通過(guò)對(duì)H色調(diào)和S飽和度來(lái)進(jìn)行顏色判定。

1.1.1 顏色空間變換

一般的視頻圖像主要基于RGB顏色空間，所以需轉(zhuǎn)化至HSV空間[4]，轉(zhuǎn)換算法為：

其中，色調(diào)（H）是指顏色在光譜中所處的位置（常見(jiàn)的三原色紅綠藍(lán)對(duì)應(yīng)色調(diào)分別為0、120、240）;飽和度（S）是一個(gè)顏色接近光譜色的程度，常用純度與飽和純度比值來(lái)表示，取值為[0，1]（0表示只有灰度，1表示顏色飽和度最高）;亮度（V）是指顏色的明亮程度，常用顏色的亮度與飽和亮度比值來(lái)表示，取值為[0，1]（0為黑色，1為白色）。

1.1.2 顏色特征描述

常用的顏色特征表述有顏色直方圖、顏色集、顏色矩、顏色聚合量、顏色相關(guān)圖等方式[5]。顏色直方圖一般是用來(lái)表示圖像中像素點(diǎn)顏色的比例分布情況，在圖像的比對(duì)、檢索方面有廣泛的應(yīng)用[6]。本文采用顏色直方圖進(jìn)行描述，并利用直方圖相似性來(lái)比較兩幅圖像的相似度。

直方圖相似性計(jì)算有以下4種方法[7]：

（1）相關(guān)系數(shù)（Correlation）

N指直方圖中bin的數(shù)量。相似度范圍是（0，1]，取值為1時(shí)直方圖相同。

（2）卡方系數(shù)（Chi-Square）

（3）直方圖相交（Intersection）

（4）Bhattacharyya距離

相似度范圍是[0，+∞），取值為0時(shí)表示兩直方圖相同。

具體地，本文直方圖相似性計(jì)算采用的是相關(guān)系數(shù)方法。

1.2 視頻關(guān)鍵幀提取設(shè)計(jì)

視頻幀序列中目標(biāo)、內(nèi)容的改變，會(huì)伴隨著顏色直方圖的改變，因此，可以通過(guò)顏色直方圖的變化來(lái)判斷場(chǎng)景片段的改變，提取每個(gè)場(chǎng)景片段的關(guān)鍵幀。

讀入連續(xù)的圖像幀f1、f2，提取出顏色直方圖h1，h2，然后比較兩幀直方圖的差值，計(jì)算出兩幀直方圖的相似度d（h1，h2）。當(dāng)相似度小于一定閾值時(shí)，則判定視頻內(nèi)容發(fā)生了變化或切換，記錄當(dāng)前幀為關(guān)鍵幀。

在關(guān)鍵幀的標(biāo)準(zhǔn)不明確時(shí)，選擇留下冗余的幀。當(dāng)選取的關(guān)鍵幀過(guò)多時(shí)，進(jìn)一步解算關(guān)鍵幀之間的相似度，來(lái)選擇出最具有代表性的幀。上例中，記錄圖像幀f1，f2以及上一對(duì)不相似的兩幀f1'，f2'，選出f2與f1'幀之間的相似度最小的兩幀的前一幀作為當(dāng)前片段的關(guān)鍵幀，因此在提取時(shí)應(yīng)遵循相似度最小原則，從而保證關(guān)鍵幀代表的信息量最大化。

2 系統(tǒng)實(shí)現(xiàn)

使用C#語(yǔ)言進(jìn)行編程設(shè)計(jì)，利用開(kāi)源計(jì)算機(jī)視覺(jué)圖像處理庫(kù)OpenCV進(jìn)行圖像處理。系統(tǒng)支持對(duì)不同語(yǔ)言路徑、不同編碼、不同分辨率的視頻進(jìn)行批量讀取、播放功能，獲得關(guān)鍵幀后，以圖像形式在關(guān)鍵幀顯示區(qū)顯示，供用戶(hù)瀏覽與查看，界面如圖所示：

測(cè)試時(shí)，選取100段視頻文件進(jìn)行功能、性能和數(shù)據(jù)規(guī)模測(cè)試，文件涵蓋640×480、800×480、1024×768、1920×1080等多種分辨率和不同時(shí)長(zhǎng)。軟件系統(tǒng)提取關(guān)鍵幀的時(shí)耗、速度如下表所示。

通過(guò)測(cè)試，對(duì)總時(shí)長(zhǎng)430分鐘的100段視頻，基于圖像信息，采取直方圖差值的算法提取關(guān)鍵幀，平均速度達(dá)到了413幀/秒。

3 結(jié)束語(yǔ)

隨著視頻結(jié)構(gòu)化的發(fā)展和更多海量視頻信息的處理需求，本文所提出的結(jié)構(gòu)化方法中還有很多不足需要改進(jìn)。一是對(duì)視頻語(yǔ)義場(chǎng)景的理解涉及認(rèn)知科學(xué)理論在視頻分析中的應(yīng)用，目前，基于認(rèn)知理論的視頻分析與理解還缺乏深入的研究;二是對(duì)于不同場(chǎng)景有不同的標(biāo)準(zhǔn)，有待找到更多適用于不同場(chǎng)景的特定關(guān)鍵幀提取算法;三是應(yīng)更多考慮用戶(hù)需求，建立基于用戶(hù)的主動(dòng)視頻摘要系統(tǒng)。

參考文獻(xiàn)：

[1] 袁祉赟. 基于內(nèi)容的視頻結(jié)構(gòu)化方法研究[D]. 成都： 電子科技大學(xué)， 2016.

[2] 李曉夢(mèng). 基于視頻模型的鏡頭分割及關(guān)鍵幀提取算法研究[D]. 長(zhǎng)春： 吉林大學(xué)， 2007：30-36.

[3] Barletta， B. Moser， M. Mayer. Redundancy elimination in a content-adaptive video preview system， US， US8090200[P]. 2012.

[4] Snoek，M.Woring. Multimedia event-based video indexing using time intervals[J]. IEEE Transactions on Multimedia， 2005， 7（4）： 638-647

[5] 明巍. 基于內(nèi)容的頻檢索中關(guān)鍵幀提取算法研究[D]. 武漢： 武漢工業(yè)學(xué)院， 2010：40-50.

[6] 王垚， 葉光明. 視頻摘要系統(tǒng)的研究與實(shí)現(xiàn)[J]. 電子設(shè)計(jì)工程， 2016， 24（10）： 184-186.

[7] 岳周龍. 基于多目標(biāo)跟蹤的監(jiān)控視頻摘要系統(tǒng)[D]. 合肥： 合肥工業(yè)大學(xué)， 2016.

【通聯(lián)編輯：代影】