視頻摘要系統(tǒng)的研究與實(shí)現(xiàn)

王垚，葉光明

（1.武漢郵電科學(xué)研究院湖北武漢430074；2.武漢烽火眾智數(shù)字技術(shù)責(zé)任有限公司湖北武漢430074）

視頻摘要系統(tǒng)的研究與實(shí)現(xiàn)

王垚1，葉光明2

（1.武漢郵電科學(xué)研究院湖北武漢430074；2.武漢烽火眾智數(shù)字技術(shù)責(zé)任有限公司湖北武漢430074）

基于安防領(lǐng)域需要快速檢索監(jiān)控視頻中嫌疑人信息需求。本文設(shè)計(jì)了一種視頻摘要系統(tǒng)，深入分析了該系統(tǒng)的設(shè)計(jì)目標(biāo)和組成模型。在具體實(shí)現(xiàn)方面，該系統(tǒng)通過結(jié)合目標(biāo)形狀特征和運(yùn)動(dòng)特性來對目標(biāo)進(jìn)行分類，并依據(jù)目標(biāo)的運(yùn)動(dòng)軌跡提取視頻關(guān)鍵幀的方法合成視頻摘要。系統(tǒng)完成后通過導(dǎo)入監(jiān)控視頻文件生成摘要驗(yàn)證測試，該視頻摘要系統(tǒng)能在69.44%壓縮比的前提下達(dá)到零誤報(bào)率。實(shí)驗(yàn)結(jié)果，該視頻摘要系統(tǒng)壓縮比高，識別誤差小，能極大提高檢索視頻中信息的效率。

視頻檢索；視頻摘要；視頻內(nèi)容分析；摘要生成

視頻監(jiān)控已經(jīng)成為現(xiàn)代安防、公共安全不可缺少的技術(shù)手段。但是，通常一個(gè)案件涉及的視頻錄像長達(dá)幾十甚至上百小時(shí)數(shù)，需要十幾人甚至是幾十人花費(fèi)大量的時(shí)間進(jìn)行人工檢索，導(dǎo)致案件的偵辦錯(cuò)過偵破的黃金時(shí)間。此外，很多重要的線索或活動(dòng)對象，在監(jiān)控畫面中僅僅出現(xiàn)十幾秒甚至數(shù)秒，而這樣的信息，散落在數(shù)十小時(shí)的視頻中，人工查看視頻時(shí)，極易遺漏這些轉(zhuǎn)瞬即逝的重要信息。據(jù)IMF研究實(shí)驗(yàn)表明，在連續(xù)觀察12分鐘的視頻圖像時(shí)，觀察者會錯(cuò)過45%的場景，而在連續(xù)觀察22分鐘后會錯(cuò)過95%的場景，從而忽略了許多重要細(xì)節(jié)。這使得視頻錄像和視頻監(jiān)控系統(tǒng)的真正有效使用率大為降低。即使有足夠的人力和時(shí)間，通過人工查看原始視頻的方式來捕捉轉(zhuǎn)瞬即逝的線索，也存在遺漏重要線索的可能［1］。

傳統(tǒng)視頻線索的查找，猶如大海撈針，面臨巨大的挑戰(zhàn)。針對海量視頻錄像調(diào)閱慢、分析難等問題，急需采用智能化的手段，快速處理和檢索海量視頻，提高視頻監(jiān)控錄像分析水平和工作效率，使人能在注意力最集中的數(shù)分鐘內(nèi)，高效的瀏覽視頻所攜帶的主要信息，有效的捕捉線索和對象。

視頻快速摘要檢索算法是通過對原始視頻中的運(yùn)動(dòng)目標(biāo)進(jìn)行分析，提取運(yùn)動(dòng)目標(biāo)和背景圖片，然后對各個(gè)目標(biāo)的運(yùn)動(dòng)軌跡及特征進(jìn)行分析，并將它們按照時(shí)間軸最優(yōu)化分布的原則，重新排列目標(biāo)在時(shí)間軸的位置，根據(jù)新生成的視頻軸位置和各場景挑選出來的背景圖像，重新合成新的視頻圖像即摘要視頻，生成的摘要視頻中的目標(biāo)與原視頻中的幀數(shù)據(jù)對應(yīng)，同時(shí)可以根據(jù)目標(biāo)相關(guān)特征（如人、車、物，大小，速度，顏色）等進(jìn)行快速檢索，實(shí)現(xiàn)目標(biāo)的快速檢索和定位［2］。

本文通過設(shè)計(jì)一種基于視頻檢索技術(shù)的視頻摘要系統(tǒng)，能夠解決在傳統(tǒng)視頻監(jiān)控里的海量查詢慢、相關(guān)搜索困難等問題。實(shí)現(xiàn)快速定位特定時(shí)間段的相關(guān)可疑目標(biāo)，重現(xiàn)錄像的時(shí)間段場景，降低辦案人員后期錄像取證的工作量。

1　系統(tǒng)需求

基于視頻檢索的視頻摘要系統(tǒng)采用C/S架構(gòu)，具有如下特點(diǎn)：

1）視頻摘要分析支持平臺視頻數(shù)據(jù)及主流的視頻格式（AVX、AVI等格式）的錄像文件，分析過程中顯示進(jìn)度等功能。

2）在瀏覽視頻片段過程中，用戶可快進(jìn)、快退，統(tǒng)一設(shè)定所有移動(dòng)物體的速度，以便方便快捷的找到感興趣目標(biāo)。視頻剪輯也可作為一個(gè)原始視頻流的索引。在任意時(shí)間，雙擊摘要視頻中的對象便可回溯原始錄像。

3）可以將摘要視頻中所有時(shí)間全部標(biāo)識出來，更加直觀的查看事件。

4）把每個(gè)事件都加上時(shí)間標(biāo)記，使用戶可以直觀的看到每個(gè)事件首次出現(xiàn)在視頻的時(shí)間。

5）能夠?qū)崿F(xiàn)快放、慢放播放摘要視頻的進(jìn)度并調(diào)節(jié)播放顯示的事件密度，可以調(diào)大和調(diào)小，便于更加有效的提取有效的事件。

6）能夠?qū)崿F(xiàn)對單個(gè)摘要處理后的文件，進(jìn)行單獨(dú)或者統(tǒng)一的事件的特征搜索，輸入事件的顏色、尺寸、運(yùn)動(dòng)方向等信息，返回搜索結(jié)果。

2　總體設(shè)計(jì)

該系統(tǒng)結(jié)構(gòu)圖如圖1所示，用戶將指定的摘要分析任務(wù)，通過中心管理單元下發(fā)給摘要分析單元，摘要分析單元進(jìn)行視頻摘要分析，分析完畢后，調(diào)用存儲單元進(jìn)行存儲。視頻摘要分析完畢后，用戶可以通過中心管理單元向媒體單元請求摘要視頻，媒體單元通過摘要合成單元獲取摘要視頻數(shù)據(jù)。用戶可以根據(jù)特征來檢索運(yùn)動(dòng)目標(biāo)，并定位到運(yùn)動(dòng)目標(biāo)出現(xiàn)的原始視頻。用戶可以根據(jù)快照來檢索感興趣的目標(biāo)，并定位到運(yùn)動(dòng)目標(biāo)出現(xiàn)的原始視頻。

圖1　系統(tǒng)總體結(jié)構(gòu)圖

智能視頻分析技術(shù)源自計(jì)算機(jī)視覺與人工智能的研究，它是智能視頻應(yīng)用系統(tǒng)的核心功能。智能視頻分析算法涉及到圖像處理的多個(gè)技術(shù)領(lǐng)域，而其中最核心的是目標(biāo)檢測分類和目標(biāo)跟蹤兩個(gè)模塊。算法實(shí)施流程圖及設(shè)計(jì)方案如圖2所示。

1）目標(biāo)分類算法

在視頻摘要系統(tǒng)中，目標(biāo)分類用來對視頻場景中的運(yùn)動(dòng)目標(biāo)進(jìn)行分類標(biāo)記，將目標(biāo)分為人、車、物等3類。目標(biāo)分類技術(shù)是視頻摘要系統(tǒng)中的重要組成步驟，是行為理解與分析得重要依據(jù)。對視頻摘要中檢測到的運(yùn)動(dòng)目標(biāo)進(jìn)行分類，能夠?yàn)楣ぷ魅藛T進(jìn)行可疑行為搜索查看減少工作量，同時(shí)大大提高了工作效率。目標(biāo)分類工作是建立在目標(biāo)檢測和跟蹤的基礎(chǔ)之上的。目標(biāo)提取的效果直接影響到目標(biāo)分類的好壞。常用的分類方法包括：通過目標(biāo)的形狀來對目標(biāo)進(jìn)行分類的方法和通過目標(biāo)的運(yùn)動(dòng)信息來對目標(biāo)進(jìn)行分類的方法［3］。

基于形狀信息的分類指場景中的運(yùn)動(dòng)目標(biāo)經(jīng)過目標(biāo)檢測后，將運(yùn)動(dòng)目標(biāo)從背景中分離出來，對獨(dú)立的運(yùn)動(dòng)目標(biāo)的形狀特征進(jìn)行分類。而基于運(yùn)動(dòng)特性的分類，簡單來說，就是利用運(yùn)動(dòng)目標(biāo)的速度、光流、周期性等運(yùn)動(dòng)信息進(jìn)行分類。但基于運(yùn)動(dòng)特性的分類方法首先要很好地實(shí)現(xiàn)對運(yùn)動(dòng)目標(biāo)的跟蹤。其次在某些運(yùn)動(dòng)信息的使用上具有局限性，比如使用光流特征來進(jìn)行分類的方法的計(jì)算量大，難以實(shí)現(xiàn)實(shí)時(shí)性的要求。

綜合兩種方法的優(yōu)缺點(diǎn)以及視頻摘要系統(tǒng)對于目標(biāo)分類的實(shí)時(shí)性、準(zhǔn)確性的要求，本文系統(tǒng)使用基于目標(biāo)形狀特征和運(yùn)動(dòng)特性相結(jié)合的方法來進(jìn)行目標(biāo)分類。采用運(yùn)動(dòng)目標(biāo)的長寬比、離散度、梯度方向直方圖等特征作為目標(biāo)的描述子來進(jìn)行分類，并實(shí)時(shí)更新每一個(gè)目標(biāo)的特征以及分類結(jié)果來將目標(biāo)的形狀特征和運(yùn)動(dòng)特征結(jié)合起來對目標(biāo)進(jìn)行分類。

2）視頻摘要系統(tǒng)中，目標(biāo)跟蹤技術(shù)就是確定在視頻摘要系統(tǒng)中提取出的同一目標(biāo)在不同視頻幀序列時(shí)所處的位置。目標(biāo)跟蹤技術(shù)是視頻摘要系統(tǒng)中的不可或缺的技術(shù)之一。要實(shí)現(xiàn)對摘要視頻中的運(yùn)動(dòng)目標(biāo)可以溯源到原始視頻中其出現(xiàn)直至消失的位置就必須在進(jìn)行視頻摘要時(shí)對提取到的運(yùn)動(dòng)目標(biāo)進(jìn)行跟蹤。常用的視頻跟蹤的方法包括：基于模型的跟蹤、基于目標(biāo)特征的跟蹤［4］。

基于模型的跟蹤是通過匹配目標(biāo)模型來跟蹤目標(biāo)，該模型不僅能夠表示出目標(biāo)的區(qū)域信息，而且還能表達(dá)目標(biāo)的立體構(gòu)造、運(yùn)動(dòng)特性等。而在實(shí)際應(yīng)用中，目標(biāo)的精確模型的獲得確實(shí)非常困難的，并且跟蹤過程及其復(fù)雜，耗時(shí)無法滿足實(shí)時(shí)性要求［5］。基于目標(biāo)特征的跟蹤：通過特征提取和特征匹配兩個(gè)步驟，匹配目標(biāo)的全局特征（如面積、周長）也有局部特征（如點(diǎn)、線）來對目標(biāo)軌跡進(jìn)行持續(xù)跟進(jìn)。由于視頻摘要系統(tǒng)中對于實(shí)時(shí)性、目標(biāo)跟蹤連續(xù)性、正確性有較高的要求，本文系統(tǒng)采取基于目標(biāo)特征的跟蹤方法。在提取到每一幀圖像中的運(yùn)動(dòng)目標(biāo)以后，再提取運(yùn)動(dòng)目標(biāo)的特征，對幀間提取到的目標(biāo)采用特征匹配的方法進(jìn)行匹配，從而達(dá)到跟蹤的目的。

圖2　系統(tǒng)算法流程圖

3　系統(tǒng)的實(shí)現(xiàn)

系統(tǒng)界面如圖3、4所示分為5個(gè)部分。

圖3　系統(tǒng)界面圖

圖4　系統(tǒng)界面圖

1）摘要列表窗口

主要功能包括添加需要分析的摘要視頻、刪除添加的記錄以及摘要的信息；開始分析摘要、停止分析摘要；開始播放摘要視頻、停止播放摘要視頻、設(shè)置播放基準(zhǔn)時(shí)間等功能［6］。

2）摘要視頻播放窗口

主要功能包括：顯示摘要視頻、顯示摘要目標(biāo)的運(yùn)動(dòng)框、出現(xiàn)時(shí)間；慢放、快放、暫停播放摘要視頻；選擇是否顯示目標(biāo)出現(xiàn)時(shí)間，以及目標(biāo)框。

3）原始視頻播放窗口

顯示原始視頻；快放、慢放、暫停播放原始視頻；抓拍、下載錄像到本地。

4）特征檢索窗口

根據(jù)特征進(jìn)行檢索原始視頻。

5）摘要快照窗口

顯示摘要視頻中的快照。并可以根據(jù)特征進(jìn)行檢索。

4　結(jié)論

在網(wǎng)絡(luò)視頻監(jiān)控平臺建設(shè)深入開展的背景下，現(xiàn)有視頻監(jiān)控網(wǎng)絡(luò)存在著缺乏深度應(yīng)用的模式、監(jiān)控網(wǎng)的智慧化程度不高、系統(tǒng)建設(shè)的投入產(chǎn)出比低等突出問題。如何用新技術(shù)改造現(xiàn)有的視頻監(jiān)控網(wǎng)絡(luò)，使之能更好地適應(yīng)物聯(lián)網(wǎng)時(shí)代視頻監(jiān)控智慧化、情報(bào)化的應(yīng)用需求已迫在眉睫。視頻監(jiān)控的應(yīng)用瓶頸是視頻信息如何高效提取，如何同其他信息系統(tǒng)進(jìn)行標(biāo)準(zhǔn)數(shù)據(jù)交換、互聯(lián)互通及語義互操作。解決這一問題的核心技術(shù)即是通過視頻摘要檢索技術(shù)來解決此問題。通過視頻快速檢索系統(tǒng)形成對海量數(shù)據(jù)深度挖掘，形成新一代的視頻監(jiān)控系統(tǒng)智慧化、語義化、情報(bào)化的語義視頻監(jiān)控系統(tǒng)。

視頻快速摘要檢索系統(tǒng)采用先進(jìn)的圖像處理技術(shù)，以視頻摘要檢索為解決方案，實(shí)現(xiàn)以機(jī)器自動(dòng)處理為主的視頻信息處理和分析視頻快速摘要檢索系統(tǒng)，快速提取監(jiān)控錄像中視頻信息，并存儲于中心數(shù)據(jù)庫中。存儲于數(shù)據(jù)庫中的視頻信息可以通過技術(shù)手段轉(zhuǎn)化為安防、公檢法工作可用的情報(bào)；實(shí)現(xiàn)監(jiān)控網(wǎng)絡(luò)之間、終端之間、職位之間的信息共享和主動(dòng)互操作，實(shí)現(xiàn)主動(dòng)監(jiān)控、自動(dòng)聯(lián)網(wǎng)分析等網(wǎng)絡(luò)功能；全方位拓展視頻在安全工作中的應(yīng)用模式，大幅度提高技術(shù)的易用性，實(shí)現(xiàn)以業(yè)務(wù)為中心的隨時(shí)隨地的靈活、簡單、多樣的視頻按需服務(wù)應(yīng)用。

［1］張銘銘.視頻監(jiān)控系統(tǒng)中圖像增強(qiáng)技術(shù)的研究［D］.濟(jì)南大學(xué)，2009.

［2］王娟，蔣興浩，孫錟鋒.視頻摘要技術(shù)綜述［J］.中國圖像圖形學(xué)報(bào)，2008，29（2）：457_459.

［3］劉桂清.視頻摘要技術(shù)的研究與實(shí)現(xiàn)［D］.長沙：國防科技大學(xué)，2004.

［4］Wo1f W.Key Frame Se1ection by Motion Ana1ysis［C］//IEEE IntConf Acoust，Speech，and Signa1 Proc，1996.

［5］吳凌琳，楊磊，吳曉雨，等.視頻摘要系統(tǒng)的技術(shù)研究與實(shí)現(xiàn)［J］.中國傳媒大學(xué)學(xué)報(bào)：自然科學(xué)版，2013，1（9）：44_52.

［6］Gray Bradski，Adrian Kaeb1er.Learning OpenCV：Computer Vision with the OpenCV Library［M］.O'Rei11y Media，2008.

Research and lmPlementatlon of Vldeo summarlzatlon technology

WANG Yao1，YE Guang_ming2
（1.Wuhan Research Institute of Posts and Telecommunications，Wuhan 430074，China；2.Wuhan FiberHome Digital Technology Co.，Ltd，Wuhan 430074，China）

Based on the demand of rapid retrieva1 of the suspect's information in survei11ance Video.A video abstracting system is designed in this paper.The system design goa1s and component mode1 are a1so deep1y ana1yzed.In terms of concrete imp1ementation，the system c1assify the targets by the shape and movement characteristic，and the video abstract is synthesized through the method of extracting video key frames based on the trajectory of the target.The abstract verification test is generated by importing survei11ance video fi1es after the system competed.This video abstracting system can achieve zero fa1se positive rate in the context of a compression ratio of 69.44%.The experiment resu1ts show that the video abstracting system has high

video retrieva1j video summarizationj video content ana1ysis；abstraction generation

TN919.8

A

1674_6236（2016）10_0184_03

2015_06_08稿件編號：201506078

王垚（1992—），女，湖北武漢人，碩士研究生。研究方向：通信與信息系統(tǒng)、圖像模式識別。

compression ratio and 1itt1e identification error，can great1y improve the efficiency of retrieving video information.