基于改進支持向量機的視頻摘要技術

劉長征， 張榮華

(石河子大學 信息科學與技術學院，新疆 石河子 832003)

?

基于改進支持向量機的視頻摘要技術

劉長征， 張榮華

(石河子大學 信息科學與技術學院，新疆 石河子 832003)

鑒于視頻監控系統獲取到的視頻數據十分龐大且其中存在大量冗余信息，通過視頻摘要技術將這些視頻數據濃縮成簡短的摘要視頻，讓用戶快速、準確地獲得視頻中的重要信息, 提高視頻數據的管理效率。采用二進制化的支持向量機和滑動窗口結合的方法，利用圖像在HSV顏色域中的梯度信息，提取原始視頻中具有重要信息的關鍵幀，然后把提取到的關鍵幀融合得到摘要視頻。實驗結果表明，該方法不但能夠快速、準確地提取關鍵幀并形成摘要視頻，而且能夠取得較好的效果。

視頻摘要技術; 關鍵幀提取; 支持向量機; 絕對梯度

0 引 言

視頻摘要技術主要分為兩大類：基于靜態的視頻摘要技術和基于動態的視頻摘要技術。前者是把原始視頻看作一個連續圖像集合，通過篩選出具有重要視頻信息的圖像集合代替原始視頻。該方法原理簡單，容易擴展。而后者則是對原視頻流進行再編碼，把視頻中的重要內容進行編碼壓縮，包括音頻和運動內容，通過減少視頻中的時間-空間冗余，將原始視頻內容壓縮成濃縮的視頻。對于上述的兩類技術，基本思路是通過分析視頻中的內容，篩選發生重大的變化的視頻片段，最后將篩選出來的視頻片段融合成摘要視頻。通常情況下將發生重大變化的視頻片段取為關鍵幀。經過不斷地發展，基于提取關鍵幀的視頻摘要技術越來越先進，例如：Guan等[4]通過設定關鍵點，分析關鍵點在全局圖像和局部圖像的對應關系，進而判斷關鍵幀。Chun-Rong等[5]利用顏色模型追蹤目標，從而提取關鍵幀。Naveed Ejaz等[6]提出通過計算相鄰兩幀圖像的直方圖和運動模型，然后利用聚類的方法提取關鍵幀。Xin Zhao等[7]利用結合平均灰度累積直方圖和邊緣方直方圖提取關鍵幀。上述各種基于提取關鍵幀的視頻摘要方法的效果不錯，但計算過程消耗的時間都比較多，實時性不佳。本文研究分析攝像頭靜止拍攝獲取的視頻數據，將其分成兩種不同的圖像集合：一種是只有場景的圖像集合，這類圖像沒有感興趣的信息，屬于被去除的視頻幀；另一種是具有運動目標的圖像集合，這類圖像往往受到用戶的高度重視，因為視頻的重要信息幾乎集中在這個集合中。根據上述分析，本文采用一種支持向量機和滑動窗口的方法提取具有運動目標的視頻圖像。

1 方法介紹

對一個視頻數據內容進行摘要表達，假設從這個原始視頻的第t幀開始，而這個原始視頻總共有Nf幀，可以表達為

(1)

(2)

根據式(1)、(2)，本文利用滑動窗口在圖像上滑動，計算窗口中的絕對梯度值，再利用SVM分類器將進行訓練學習并分析視頻中內容的變化程度，從而判讀并提取關鍵幀，具體步驟如下所述。

Step1:訓練支持向量機(Support Vector Machine,SVM)分類器。在適量監控視頻中，大部分用戶對視頻中的人和車輛感興趣，所以選取僅只有人、車輛的圖像作為分類器的正樣本，而且尺寸、光照和遮擋等各不相同。而分類器的負樣本就選取僅包含監控場景的圖像，例如路口、街道和室內大廳等。

Step3:提取關鍵幀。對輸入的視頻數據利用滑動的窗口，然后計算窗口內HSV絕對梯度差，最后利用SVM分類器分類分析視頻圖像中發生重大變化的視頻幀，然后將它提取保存，最后融合成摘要視頻。根據上述步驟，設計的算法流程如圖1所示。

圖1 視頻摘要算法流程圖

2 算法實現

2.1 參數定義

(3)

根據式(3)，利用大量樣本計算分類器w，然后利用w對待處理的視頻幀序列進行關鍵幀提取。

根據文獻[1]提出根據圖像RGB顏色域上的絕對梯度特征對目標進行檢測的方法，本文利用SVM學習原始視頻中關鍵幀的絕對梯度信息，然后根據下面式(4)提取視頻中的關鍵幀。為了更加準確地提取關鍵幀，結合滑動窗口進行局部搜索，只要發現圖像局部地方發生重大變化，就可以判斷為關鍵幀。因為需要不同大小的窗口進行滑動尋找目標，將每個滑動的窗口進行量化，表達分別為:

Sl=〈W,Hl〉

(4)

(5)

2.2 改進的SVM分類器

要得到一個準確率高的SVM分類器，就需要大量樣本，這些樣本不僅數量要多，而且要具有代表性。例如在視頻監控領域中，主要針對的視頻信息基本是行人和車輛。因此我們根據視頻中行人和車輛的變化判斷當前幀是否為原始視頻中的關鍵幀。為了使得算法具有更好的魯棒性，在選擇訓練樣本的時候，選擇規模大小、光照強度、遮擋程度和旋轉角度等各不相同的樣本若干個。我們把VOC2007里面的行人圖像和車輛圖像進行裁剪，裁剪出大小不同、姿態不同和顏色不同等具有豐富特點的樣本，并建立實驗需要的行人庫和車輛庫。

我悄悄跟著溜了出去，不過剛才我一句話也懶得說，所以也沒人發現我。我本身也是不喜歡拓展社交圈的人，不知道為何，我就是很想認識這位小哥。

(6)

然后結合式(3)、(5)，要計算滑動窗口的分數Sl，只要將特征值Hl也轉化為二進制形式表達，Sl計算過程就變成了二進制數的運算，既簡單又快速。

按照算法1：

輸入：W，Nw

初始化：ε=W，j=1

當j≤Nw

ε=ε-βjαj,j=j+1

2.3 HSV絕對梯度值

在視頻監控領域中，主要研究對象是人、車輛以及其他運動物體。因此根據視頻中是否出現行人或者車輛作為提取關鍵幀的條件。行人具有非剛性特征，而且行人圖像容易受到身材、姿態、以及衣著等因素影響。車輛則具有剛性特征，受到干擾因素比較少。因為顏色特征與其他圖像特征相比，前者對圖像本身尺寸、方向、視角的依賴性較弱，更具有魯棒性。因此本文選擇利用HSV顏色域上的絕對梯度值作為圖像特征。首先根據文獻[8-9，13-16]將輸入的視頻數據從RGB顏色空間轉換成HSV顏色空間，轉換公式為：

(7)

(8)

v=max

(9)

其中：max為圖像像素中的最大值；min為圖像中的最小值。然后，當滑動窗口滑過的時候，計算窗口內的HSV絕對梯度差值Hl，最后為了簡化式(6)，將Hl量化為一個8 b的二進制數。所以Hl特征值可以表示為：

(10)

式中：Nh為控制Hl長度，當Nh=8時，Hl=8，而當Nh=1，Hl=1。通過調節Nh，減少計算過程中的按位操作的次數，從而減少計算的時間損失，提高運算性能。與此同時，根據式(4)、(6)、(10)進一步得到:

(11)

根據式(11)計算得到的Sl分析視頻圖像中內容變化程度，進而提取關鍵幀，生成摘要視頻。

3 實驗結果

首先要對VOC2007圖像庫里面的圖像進行篩選，選出適合作為SVM訓練樣本的圖像，并對其進行適當裁剪，建立一個簡單實用的行人庫和車輛庫。VOC2007這個數據庫中一共有4 952張圖片包含20類對象，每一類對象都具有不同的視角、大小、位置、遮擋和光照，這就保證了樣本的多樣性，同時確保建立的行人庫和車輛庫具有魯棒性。圖2表示行人庫和車輛庫中的部分圖像。同時為了方便擴展，可以根據不同需要選不同的對象建立不同的數據庫。

建立行人庫和車輛庫后，就可以利用這兩個數據庫里面的樣本訓練SVM分類器。首先將行人庫和車輛庫中的樣本大小按照一定比例縮小，如圖3(a)所示。通過該方法得到了更多的訓練樣本，而且圖像的絕對梯度值具有尺度不變性，在增加樣本的同時不影響SVM訓練的結果。然后將每一個樣本圖像的絕對梯度差值用8位的二進制數表示，得到如圖3(b)的二進制矩陣圖。最后利用訓練樣本的二進制的絕對梯度值矩陣圖來訓練SVM分類器。

圖3 訓練樣本處理

表1 各步驟原子操作次數表

表2 測試視頻的數據

表3 實驗數據對比

4 結 語

通過實驗表明：本文改進支持向量機的視頻摘要方法能夠快速地提取關鍵幀并生成效果良好的摘要視頻，但是提取關鍵幀沒有達到較高的準確率，這會影響摘要視頻內容的真實程度和冗余程度，尤其在環境復雜的情況，準確率更加低。所以今后要開展的工作是如何更快、更準確地提取關鍵幀，例如在訓練分類器的時候選擇更多具有代表性的訓練樣本，另外就是選擇其他的圖像特征，例如紋理、形狀等進行試驗對比分析，希望通過實驗對比，得出更適合提取關鍵幀的圖像特征，生成效果更好的摘要視頻。

[1] Ming-Ming Cheng, Ziming Zhang, Wen-Yan Lin,etal. BING:Binarized Normed Gradients for Objectness Estimation at 300fps[C]//2014 IEEE Conference on Computer Vision and Pattern Recognition,2014：3286-3293.

[2] Zheng S, Sturgess P, Torr P H S. Approximate structured output learning for constrained local models with application to real-time facial feature detection and tracking on low-power devices[J]. Automatic Face and Gesture Recoginition(FG), 2013:1-8.

[3] Alexe B, Deselaers T, Ferrari V. Measuring the objectness of image windows[J]. IEEE TPAMI, 2012,34(11):2189-2202.

[4] Guan G, Wang Z, Yu K,etal. Video summarization with global and local features[C]//Multimedia and Expo Workshops (ICMEW),2012 IEEE International Conference on,2012:570-575.

[5] Chun-Rong Huang, Hsing-Cheng Chen,Pau-Choo Chung. Online Surveillance Video Synopsis[J]. IEEE,2012: 1843-1846.

[6] Naveed Ejaz, Tayyab Bin Tariq, Sung Wook Baik. Adaptive key frame extraction for video summarization using an aggregation mechanism. J. Vis. Commun[J]. Image R. 2012: 1031-1040.

[7] Xin Zhao, JiWei Liu, Lan Zhang. Adaptive key-frame selection based on image features in Distributed Video Coding[J]. IEEE, 2013: 245-248.

[8] 張 磊,傅志中,周岳平.基于HSV顏色空間和Vibe算法的運動目標檢測[J].計算機工程與應用,2014,50(4):181-185.

[9] 岳求生,周書仁,李 峰,等.HSV與LBP特征融合的行人檢測方法研究[J].計算機工程與科學,201436(10):1997-2001.

[10] Avila S E D, Lopes A B P, Antonio L J,etal. VSUMM: a mechanism designed to produce static video summaries and a novel evaluation method[J]. Pattern Recognition Letters. 2011，32(1):56-68.

[11] Everingham M, Van Gool L, Winn J,etal. The PASCAL Visual Object Classes Challenge 2007(VOC2007) Results[EB/OL]. http://www.pascalnetwork.org/challenges/VOC/voc2007/workshop/index.html

[12] 丁世飛,齊丙娟,譚紅艷.支持向量機理論與算法研究綜述[J].電子科技大學學報,2014,40(1)：2-10.

[13] Tosic I, Frossard P. Dictionary learning[J]. Signal Processing Magazine, IEEE, 2011, 28(2): 27-38.

[14] Bruckstein A M, Donoho D L, MICHAEL Elad. From sparse solutions of systems of equations to sparse modeling of signals and images[J]. SIAM Review, 2009, 51(1): 34-81.

[15] Mairal J, Bach F, Ponce J. Task-driven dictionary learning[J]. Transactions on Pattern Analysis and Machine Intelligence, IEEE, 2012, 34(4): 791-804.

[16] Mairal J, Ponce J, Sapiro G,etal. Supervised dictionary learning[C]//Advances in neural information processing systems. 2009: 1033-1040.

Video Summarization Technology Based on Improved Support Vector Machine

LIUChang-zheng,ZHANGRong-hua

(College of Information Science and Technology, Shihezi University, Shihezi 832003, China)

Aimed at the problem that video surveillance system obtained a huge amount of video data which exit a large number of redundant information, the paper proposed to condense these video data into a brief summary video by the video synopsis technology. The summary video can allow the user to get the important information in video quickly and accurately, so that the management efficiency of video data is improved. Using the means of combining the binarized support vector machine and the sliding window, we use the gradient information in the image in HSV color field, and extract the key frames which contain the important information in original video, then the summary video is gotten by fusing these key frames. Experimental results show that the method can not only extract the key frames quickly and accuracy from original video and get a summary video, but can also get good effect.

video synopsis technology; key frame extracted; SVM; absolute gradient

2015-08-24

兵團青年科技創新資金專項(2014CB004)；兵團社會科學基金項目(13QN11)；兵團科技攻關與成果轉化項目(2015AD018);石河子大學重大科技攻關計劃項目(gxjs2012-zdgg03)

劉長征(1979-)，男，山東惠民人，碩士，高級工程師，主要從事計算機應用等方面的研究。

Tel.:18999335349;E-mail: liucz@sina.cn

TP 39

A

1006-7167(2016)01-0085-04