基于Map/Reduce的海量視頻圖像檢索系統設計

楊 曼，何 鵬，齊懷琴，安井然

（齊齊哈爾大學 通信與電子工程學院，黑龍江 齊齊哈爾 161006）

基于Map/Reduce的海量視頻圖像檢索系統設計

楊 曼，何 鵬，齊懷琴，安井然

（齊齊哈爾大學 通信與電子工程學院，黑龍江 齊齊哈爾 161006）

齊齊哈爾市公安視頻監控系統中每天所產生的大量視頻數據對視頻圖像的檢索、管理及安全產生了迫切的需求，視頻圖像的檢索存在兩個急需解決的問題，一是視頻檢索的準確度問題，二是檢索效率的問題。面對海量的視頻數據庫，提出了基于Map/Reduce分布式計算模型與關鍵幀算法結合的方法，既提高了檢索效率，又提高了檢索準確率。

Map/Reduce；關鍵幀；視頻檢索

近年來，視頻監控系統在公安、交通、銀行等重要領域大規模應用，尤其在公安監控領域扮演著必不可缺的重要角色。通過視頻監控系統打擊違法犯罪行為屢見不鮮。然而隨著攝像頭的增加，產生的視頻數據也呈爆炸式上漲。如果以一個普通攝像頭進行錄像為例，一小時視頻存儲容量大小約為150 Mbyte，連續錄12 h則數據儲存量將達1.8 Gbyte，齊齊哈爾市約有2 500個攝像頭，視頻數據保存的周期一般約為15天，經過計算得知，在視頻存儲的周期中約產生1 320 Tbyte的數據，然而特殊的情況之下視頻數據量可達到PB級。

在實際應用的過程中，工作人員希望可以快速準確地從這些海量數據中找到所需要的圖像。然而傳統的視頻存儲對服務器的容量有很高的要求，這使得監控系統的造價增加。傳統的基于時間的視頻檢索[1]方式，面對視頻特殊的非結構化數據以及日益增長所形成的龐大的視頻數量，對于海量視頻數據的挖掘往往無能為力，因此如何快速準確地進行智能檢索就成為大型視頻監控系統急需解決的重要課題。

針對海量視頻中提高檢索的準確度和效率問題，本文采用計算幀運動量的方法對監控視頻進行分類，去掉冗余視頻數據，提取有運動目標的視頻，采用SIFT算法對視頻進行關鍵幀[2]特征計算，將提取的關鍵幀存入數據庫，將視頻存入分布式文件系統（HDFS）中，將Map/Reduce分布式計算模型應用于關鍵幀提取的檢測算法中。這樣既解決了海量視頻的存儲容量問題，通過Map/Reduce編程模型與關鍵幀的提取又提高了檢索效率與準確度，有助于監控人員實時檢索視頻信息，盡快找到所需數據。

1 系統總體設計

首先將視頻序列分割[3]為若干個鏡頭序列，然后在各個鏡頭序列中找到若干個關鍵幀，視頻序列被結構化之后，提取各關鍵幀的視覺特征（紋理、顏色、形狀等），存入特征數據庫中；用戶可以通過相似性匹配模塊查詢，在視頻數據庫中尋找相符合的圖像。由于視頻監控存儲容量大，采用Hadoop架構，將視頻存儲在分布式文件系統，關鍵幀存于分布式的、面向列的開源數據庫（HBase）中。系統結構如圖1所示。

圖1 系統結構

2 視頻圖像關鍵幀的提取

現如今，關鍵幀技術主要應用在視頻內容檢索上。關鍵幀能反映出視頻內容的主要信息，由于視頻信息的復雜性，一般一段視頻信息會包含多個關鍵幀。關鍵幀是靜態圖像，但能反映監控視頻中的動態變化。在公安偵查過程中，往往包含犯罪嫌疑人體貌和行為特征，車輛的外形特征圖像作為關鍵幀。目前在提取視頻關鍵幀上有很多方法，但是每種方法都有自己適用的范圍。針對固定攝像機拍攝監控視頻的特性，不只希望可以看到運動信息，更希望看到運動過程。結合監控視頻特性，本文采用基于圖像顏色特征，計算圖像顏色直方圖，比較相鄰幀相似性來提取關鍵幀。

2.1 運動檢測

從一段大小為p×q視頻中提取背景圖公式如下

式中：B（x，y）為得到的背景圖；Fi（x，y）為視頻中任意一幀。

2.2 視頻分段

很顯然，幀運動量范圍在0到1之間。設Dt表示t時刻對應的灰度視頻圖像，幀運動量設為Mt。

根據判斷Mt的大小來對視頻進行分類

針對上述問題，本文提出將視頻按照幀運動量大小分為3類，對視頻中的當前幀進行標記，類別符號記為Si，i取0，1，2這3個整數，分別為

顏色直方圖表示將光譜顏色量化后，每一個顏色范圍中所包含的圖像像素個數[4]。顏色直方圖能夠直觀表示出圖像中顏色分布的顏色特征，描述不同顏色在圖像中所占的比例。顏色直方圖適用于所有的圖像，對于單色圖像，可以計算出灰度直方圖，對于彩色圖像，可以對每一個通道分別計算顏色直方圖。

對于兩幅相同大小的圖像Ii和Ij（Ii和Ij為相鄰兩幀），首先計算出圖像Ii和Ij顏色直方圖，然后比較前后兩幀圖像對應點的像素值（p，q），求其最小值得出兩幀圖像同一點像素值的相似性，然后累加求和，最后計算出兩幀圖像每一個通道相似的像素點數占后一幀圖像該通道總像素點的比例。

對于彩色圖像，進行相似度與設定閾值對比，應用三基色RGB與d（灰度）公式

相鄰兩幀的相似性d∈（0，1]，經多次驗證，閾值設定為T=0.85，如果d小于設定的閾值，說明兩幀的相似度過小，設定后一幀為新的關鍵幀。

對于灰度圖像，直接將求出的比例與設定的閾值進行對比，判斷后幀是否為關鍵幀。

3 實驗過程

3.1 關鍵幀提取具體步驟

1）首先對視頻A進行背景建模，用背景差分法記錄視頻中存在運動物體的起始幀A1和結束幀An，取出存在運動物體的視頻。

2）將取出的視頻每隔25幀提取圖像作為初始關鍵幀集合。

3）在提取初始關鍵集合中將首幀A1設為關鍵幀F1，F1=A1，i=1。

4）j=i+1，計算Aj與Ai的相似性，如果得到的d小于閾值，說明兩幀的相似性較小，設Aj為新的關鍵幀F2。

5）檢測到最后一幀，計算結束，顯示關鍵幀集合。

3.2 關鍵幀提取結果

在運動檢測的基礎上進行關鍵幀算法的驗證。對一段含有運動信息的監控視頻進行關鍵幀提取。視頻時長為23 s，幀總數為347幀，文件大小為1.34 Mbyte，視頻分辨率為512×288，文件碼率464 kbit/s。圖4為初始關鍵幀集合。

圖4 初始關鍵幀集合

從上述初始關鍵幀集合中采用基于圖像顏色特征提取出的關鍵幀如圖5所示。

圖5 基于顏色特征法提取的關鍵幀

從初始關鍵幀集合中提取出來的幀分別為第1，9，12，13，14幀。從圖5可以看出，關鍵幀能夠很好地反映出物體的運動趨勢，并能很好地識別出物體的特征，并且關鍵幀的總占用量為117 kbyte，涵蓋了有效的信息，大大節省了存儲空間，便于用戶瀏覽觀看。

3.3 特征計算

將提取出的關鍵幀按照時間順序分別計算出每幀的特征，然后組織在一起，構成視頻特征。

在特征計算上，由于在監控視頻中主要關注運動物體的特征，所以本文采用SIFT特征算法[5-6]進行特征提取。通過尺度空間的極值檢測，得出關鍵點。在關鍵點的確定過程中，對于低對比度的點和邊緣點進行了剔除，并采用梯度直方圖來確定關鍵點的主方向可以使得算子具備旋轉不變性。

SIFT的特征向量由關鍵點鄰域梯度信息的統計特性實現。根據Lowe的方法，以關鍵點為中心取16×16的窗口。將其分成一些不重復的4×4的小塊，在每一個小塊中統計8個方向的梯度方向直方圖，繪制每個梯度方向的幅值累加值，這樣便可形成一個種子點，可見，一個特征點由4×4共16個種子點組成，每個種子點有8個方向的向量信息。然后將這16個種子點共有128個方向的向量信息，組合成一個128維的向量。

本文通過建立一個三元組來表示一個關鍵幀（視頻ID，關鍵幀ID，關鍵幀特征）。其中，視頻ID和關鍵幀ID作為Map/Reduce模型中的key值。關鍵幀的信息通過這個三元組能夠被很好地表示出來。將關鍵幀存于HBase中，而視頻數據存于分布式文件系統中。

3.4 分布式數據

分布式數據分析是建立在分布式數據存儲系統的基礎上的，基于Map/Reduce編程模型[7-9]，其可并行處理多個任務，表1為Hadoop系統性能對比指標。

表1 Hadoop系統性能對比指標

其中測試了Hadoop集群與Non-Hadoop集群在搜索性能上的差異。

本文提出利用Map/Reduce模型計算相似度，在分布式計算框架中，其中一臺作為Master的NameNode和JobTracker，另外3臺作為Slave的DataNode和TaskTracker。

串行方法和Map/Reduce方法在時間上的對比如表2所示。

表2 串行和Map/Reduce在時間上的對比

該實驗表明，基于Map/Reduce的分布式計算方法，使得檢索效率顯著提高。當分布式存儲系統的Slave主機數量增加的同時運行時間也明顯減低，如圖6所示。

圖6 Slave主機數量與運行時間對比

4 結論

本文主要研究面向海量視頻數據的檢索方法，如何快速準確地進行智能檢索成為大型視頻監控系統所要急需解決的問題。本文通過對關鍵幀的提取，并利用Map/Reduce編程模型，在一定程度上提高了檢索效率并且減少了檢索時間。在公安視頻監控中使用此方法，能夠快速、準確地找出可用圖片，使人們能夠安居樂業。

[1]李子青.海量視頻智能分析研判系統[J].中國公共安全：綜合版，2012（19）：180-185.

[2] 馮珺，高新波，楊益敏，等.視頻鏡頭關鍵幀重構算法及其在檢索中的應用[J].計算機輔助設計與圖形學學報，2008，20（6）：775-780.

[3] 朱登明，王兆其.基于運動序列分割的運動捕獲數據關鍵幀提取[J].計算機輔助設計與圖形學學報，2008，20（6）：787-792.

[4] 苗立剛.視頻監控中的圖像拼接與合成算法研究[J].儀器儀表學報，2009，30（4）：857-861.

[5]楊勝，鐘玉琢.一種從MPEG壓縮視頻流中提取關鍵幀的方法[J].中國圖象圖形學報：A輯，2001，6（3）：254-258.

[6] GUDIVADA V N，RAGHAVAN V V.Content based image re?trieval systems[J].Computer，1995，28（9）：18-22.

[7] RUI Y，HUANG T S，CHANG S F.Image retrieval：current techniques，promising directions，and open issues[J].Journal of Visual Communication And Image Representation，1999，10（1）：39-62.

[8]PRATT B，HOWBERT J J，TASMAN N I，et al.MR-tandem：parallel Xtandem using hadoop MapReduce on amazon web ser?vices[J].Bioinformatics，2012，28（1）：136-137.

[9] LEE Y，KANG W，LEE Y.Traffic monitoring and analysis[M].Berlin：Springer，2011.

Huge Amounts of Video Image Retrieval Technology Research Based on Map/Reduce

YANG Man,HE Peng,QI Huaiqin,AN Jingran
（Communication and Electronic Engineering Institute,Qiqihar University,Heilongjiang Qiqihar 161006,China）

With the rapid development of Internet and multimedia technology,city public security video monitoring system produce a large number of video data every day,many problems need to be solved as video image retrieval, management and safety of the pressing demand.In general there are two points,one is the video retrieval accuracy problem,the other is the issue of retrieval efficiency.In the face of huge amounts of video database,the method is proposed based on the Map/Reduce distributed computing model combined with algorithm of key frames,which improve the efficiency and accuracy of retrieval.

Map/Reduce;key frames;video retrieval

TN911.73

A

10.16280/j.videoe.2015.04.009

楊 曼（1988— ），女，碩士研究生，主研圖像處理與視頻監控技術；

2014-08-07

【本文獻信息】楊曼，何鵬，齊懷琴，等.基于Map/Reduce的海量視頻圖像檢索系統設計[J].電視技術，2015，39（4）.

科技部科技惠民計劃項目（2013GS230301)

何 鵬（1970— ），教授，博士，主研圖像處理。

責任編輯：閆雯雯