基于內容的海量監控視頻的多層次檢索系統

鄭海波，韓小萱，史云靜，李 潔，朱秀昌

(南京郵電大學江蘇省圖像處理與圖像通信重點實驗室，江蘇南京210003)

隨著多媒體技術的高速發展以及人們安全意識的提高，越來越多的場合安裝了監控設備。監控視頻的數量與日俱增，如何有效地從海量的監控視頻中檢索出感興趣的視頻或片段，成為當今國內外研究的熱點［1－5］。傳統的視頻檢索(video retrieval)，是根據視頻的時間地點查找，然后人工尋找所需要的視頻片段。然而很多情況下，視頻的時間和地點是未知的，如果想要從海量的監控視頻中查找到所需要的視頻，就會花費大量的人力和物力。基于內容的視頻檢索(Content－Based Video Retrieval，CBVR)技術，可以有效地解決這一問題。因此，基于內容的視頻檢索更加符合人們的需求，研究監控視頻庫的系統結構和檢索技術具有十分重要的意義。

目前的基于內容的視頻檢索系統主要是利用視頻處理技術，通過對視頻內容進行分析處理，將視頻分割成不同的場景和片段這兩個層次，然后提取出視頻片段中的紋理、顏色、形狀、運行等全局特征，最后通過特征的匹配來實現視頻的檢索。這方面比較有代表性的系統是 Fischlar系統［6］和 IBM 公司的 Multimedia Search and Retrieval System［7］。而日常生活中的監控視頻與普通視頻相比，有如下特點:1)監控視頻的背景變化緩慢。因為一般監控攝像頭都是固定在某一特定的場合，其錄制的監控視頻都是在某一特定場合下的視頻;2)監控視頻有較大的冗余。監控視頻中經常會出現較長的“靜止”畫面;3)監控視頻中最感興趣的信息一般是行人、車輛等。因此，針對監控視頻的這些特性，使用類似于Fischlar系統等系統，會產生建立索引的計算量太大，檢索效率低以及不能有效檢索所需要的感興趣信息(行人、車輛等)等問題。

本文提出了一種基于內容的監控視頻檢索系統的構建方法。根據監控視頻的場景變化緩慢的特點，使用關鍵幀提取技術［8－9］來生成視頻摘要，通過精簡的關鍵幀圖像來反映監控視頻的主要信息。人們通常對監控視頻中的行人、人臉以及車輛等信息更感興趣，因此利用機器學習方法對這些感興趣區域進行識別，然后提取出關鍵幀圖像中的車輛圖像、行人甚至人臉圖像。將生成的這些圖像信息及監控視頻之間建立關系映射，并存儲在關系型數據庫中。然后利用開源的CBIR(Content－Based Image Retrieval)工具 Lucene Image Retrieval［10－12］構建基于內容的圖像檢索系統。首先分別將生成的關鍵幀圖像、車輛圖像、行人圖像和人臉圖像建立基于顏色、紋理、邊緣等特征的索引，形成多層次的信息數據庫。然后根據用戶輸入的待檢測圖像，檢索出相同或者相似的目標圖像，再根據關系型數據庫中保存的目標圖像與監控視頻的對應關系找到對應的監控視頻。最終完成了根據圖像內容檢索目標監控視頻的目的。因此，本文提出的基于內容的海量監控視頻的多層次檢索系統主要包含關鍵幀提取子系統、車輛檢測子系統、行人檢測子系統、人臉識別子系統、視頻數據庫管理子系統、基于內容的圖像檢索子系統、數據庫管理子系統、Web應用和用戶交互界面等模塊。實驗表明，該系統能夠高效準確地檢索出所需監控的視頻。該系統采用Java Web開發技術，B/S(Browser/Server)系統架構，具有很強的實用性、可移植性及可擴展性。

1 相關技術

1.1 關鍵幀提取

視頻摘要技術主要分為兩大類，即關鍵幀(Key Frames)技術和縮略視頻(Video Skim)或濃縮視頻(Video Synopsis)技術［13］。結合監控視頻的特點，本文使用的是關鍵幀技術。常見的關鍵幀算法有:幀差法(Frame Difference)，近似平均法(Approximate Median)，混合高斯法(Mixture of Gaussian)。本文選取效果較好的混合高斯法。在用混合高斯模型法獲得關鍵幀時，首先建立混合高斯模板［14－15］，通過計算新建像素模板與已知模板的相符程度判斷某一像素屬于前景還是背景。學習速率的選擇對背景圖像的準確性有一定的影響，更新速度過慢會延長背景建立的時間;更新速度過快又可能將短暫停留的前景目標誤當作背景。

1.2 行人檢測和車輛檢測

基于高斯混合模型，獲得了能夠體現視頻內容的關鍵幀集合。由于同一場景下占有視頻幀較大比例的背景圖像變化不明顯，直接用關鍵幀進行檢索的準確率大大降低，這就要求對檢索范圍進一步縮小。在監控視頻中，行人和車輛是主要關注的目標，因此采用HOG(Histograms of Oriented Gradients)［16］的方法來檢測行人與車輛。HOG訓練樣本時分為兩大部分，包括特征提取和訓練方法，流程圖如圖1所示。特征提取的流程包括:色彩的伽馬歸一化，梯度的計算，構建以cell為單位的利用梯度幅值作為加權方案的方向直方圖，將多個cell單元的方向直方圖組合為更大的區間塊block并對block內的直方圖向量進行標準化，最后合并檢測窗口內的block直方圖向量。訓練方法采用的是支持向量機(Support Vector Machine，SVM)［17］中簡單的線性SVM訓練得到檢測行人和車輛的相關系數，使用SVM進行目標檢測的流程如圖1所示。

圖1 HoG樣本訓練與SVM目標檢測流程圖

1.3 人臉檢測

對于檢索到的行人圖像，對其進行人臉檢測，以提高檢索的效率。本文中人臉檢測采用的是Viola P等人提出的級聯 Adaboost方法［18］，利用積分圖法來加快Haar矩形特征的計算，利用多個最佳弱分類器訓練到強分類器。在檢測人臉時使用級聯的方法來加快檢測速度達到實時檢測的要求。圖2是人臉檢測中分類器訓練的流程圖和人臉檢測的流程圖。

圖2 級聯分類器的訓練與人臉檢測流程圖

1.4 CBVR框架LIRe

LIRe是使用Java編程語言開發的一個可擴展的開源CBIR庫［11］。其中，Lucene是Apache軟件基金會項目組下的一個開源的全文檢索引擎包，它使用Java開發，開發人員很容易對其擴展，以定制自己的檢索引擎。LIRe就是在Lucene的基礎上，結合圖像的顏色、邊緣、紋理及局部特征，構建CBIR引擎包。LIRe使用的主要圖像特大致可以分為如下幾類:

1)顏色，如顏色布局(Color Layout)、可變長顏色(Scalable Color)、自動顏色關聯圖(Auto Color Correlogram)、聯合直方圖、RGB顏色直方圖、Opponent顏色直方圖等。

2)邊緣，如邊緣直方圖(Edge Histogram)，分層梯度方向直方圖(Pyramid Histogram of Oriented Gradients)，顏色和邊緣的方向性描述符(Color and Edge Directivity Descriptor，CEDD)，模糊顏色和紋理直方圖(Fuzzy Color and Texture Histogram，FCTH)等。

3)紋理，如 Tamura Texture Features(粗糙度、對比度、方向度等心理學上的紋理特征)、Gabor紋理特征等。

4)局部特征，如尺度不變特征變換(Scale－Invariant Feature Transform，SIFT)等。

LIRe檢索圖像分為2個步驟:1)索引文件的生成，即特征庫;2)根據用戶輸入的圖像，從特征庫中查詢出相同或相似的圖像。圖3是LIRe對一幅圖像生成索引的流程示意圖。從圖中可以看出，LIRe首先提取圖像的顏色、紋理等特征，然后用對應的直方圖數組來表示圖像。最后，按照Lucene的索引格式，將特征數據寫入到索引文件，形成“特征庫”。另外，索引文件中還保存了圖像的其他信息，如圖像的名稱、圖像所在路徑等。

圖3 LIRe對一幅圖像生成索引文件的示意圖

LIRe檢索圖像的過程示意圖如圖4所示，檢索圖像需要經過如下步驟:

1)對用戶輸入的圖像進行特征提取，生成相應的特征向量A;

2)逐個讀取“特征庫”中的特征向量B;

3)計算輸入圖像的特征向量A與向量B之間的“距離”;

4)按照“距離”的數值，從小到大排序。距離越小，說明兩者圖像越相近。

圖4 LIRe檢索圖像的過程示意圖

不同特征類型的特征向量之間的距離衡量標準是不同的，比如，對于邊緣特征，使用l1范數，即設U，V分別代表2幅圖像的邊緣特征向量，它們之間的距離d表示為

式中:L為向量的長度。而且對于特征，比如顏色特征，使用l2范數距離，即

而CEDD特征則使用Tanimoto系數，然后將Tonimoto系數轉化為距離。Tanimoto系數的定義為

特征之間的距離d與Tanimoto系數之間的轉化關系為

總之，通過計算特征之間距離，尋找出最相似的圖像，由于之前特征庫中保存了圖像的名稱、路徑等信息，這樣就能夠找到與之相類似的原圖像，進而完成了“以圖搜圖”的全過程。

1.5 Java Web開發框架

本系統使用 Java Web開發技術，系統前端使用JavaScript、Html和Jquery技術，系統后端采用 Struts2+Spring+Hibernate三大主流開源框架開發。結合LIRe完成基于內容的圖像檢索子系統。同時，用Web的方式管理視頻庫、圖像庫和特征庫。同時為該系統設計了用戶管理模塊。普通用戶可以通過上傳圖像，從多個層次檢索所需視頻。系統管理員擁有普通用戶的權限之外，還可以管理視頻庫、圖像庫和特征庫，控制索引文件的分布和存儲。整個系統具有圖像上傳、圖像特征選取、監控視頻播放等功能。用戶只需要使用瀏覽器就可以使用該系統，充分體現了B/S架構的優點。

2 系統設計

2.1 多層次信息數據庫設計

多層次信息數據庫的結構圖如圖5所示。首先，通過關鍵幀提取子系統提取出監控視頻中的關鍵幀圖像，這些關鍵幀圖像能夠反映監控視頻的主要內容，在一定程度上去除了監控視頻的冗余信息。其次，使用行人檢測子系統和車輛檢測子系統對關鍵幀圖像當中的行人和車輛進行提取，同時，對于行人圖像，再使用人臉識別子系統提取出行人中的人臉圖像，進一步提取出了監控視頻中最感興趣的部分。最后，使用LIRe索引生成模塊對生成的圖像分別建立含有圖像特征的特征庫，即Lucene的索引文件，以備檢索。另外，為了能夠根據檢索出的圖像查找到該圖像所在的視頻，將視頻與圖像的關系保存在關系型數據庫中。因此，最終得到的多層次信息數據庫包括視頻庫、關鍵幀圖像庫、行人圖像庫、車輛圖像圖、人臉圖像庫以及它們之間的關系數據庫和特征庫。

圖5 多層次信息數據庫的結構圖

2.2 檢索框架設計

系統采用B/S架構，使用Java Web開發技術，將系統的各個模塊整合成一個多層次的檢索系統。圖6是系統的檢索框架圖，用戶可以從監控視頻的場景圖、行人圖像、車輛圖像或者人臉圖像4個角度對監控視頻進行檢索。

圖6 系統的檢索框架圖

檢索過程如下:

1)用戶使用瀏覽器，登錄系統的Web頁面，從本地選擇1幅圖像(場景、行人、車輛或人臉)，同時需要選擇檢索時所需要的圖像特征;

2)瀏覽器將圖像上傳到Web服務器后臺;

3)服務器后臺調用LIRe檢索模塊，根據用戶選擇的特征，對圖像進行特征提取，生成特征向量;

4)LIRe模塊讀取特征庫，將特征庫中的特征向量與待檢測圖像的特征進行對比，選擇最相近的多幅圖像，根據相識度排序，生成圖像集;

5)根據關系數據庫中圖像與視頻之間的對應關系，檢索到與該圖像對應的視頻;

6)后臺程序將檢索結果和檢索時間等信息反饋到前端，供用戶瀏覽觀看。

3 檢索實驗

整個海量監控視頻檢索系統部署在4臺Sugon天闊I420r－G型流媒體服務器和2臺Sugon海量存儲服務器上，系統總存儲容量為24 Tbyte，操作系統版本為Ubuntu Server 12．04LTS，JDK 版本為 OpenJDK6，Web 容器為Tomact6，系統使用的關系型數據庫為MySQL數據庫。監控視頻素材為選自公司內部監控視頻、交通路口監控視頻以及室內監控視頻等，數據量為15 Gbyte。系統主要分為檢索模塊、索引管理模塊和系統管理模塊，用戶在第一次進行檢索之前，需要使用索引管理模塊生成對應的特征庫。

圖7～圖9表示了一個檢索實例，其中圖7為用戶選擇CEDD特征作為檢索特征的檢索入口頁面。圖8為用戶上傳的待檢索圖像。圖9為檢索結果的頁面。從檢索結果的頁面中可以看到，用戶能夠檢索出與之相同或相似的行人圖像，并根據檢索結果與原圖像之間的“距離”依次排序。最右邊一列為檢索結果圖像所屬的監控視頻，用戶可以對視頻進行瀏覽和播放。同理，用戶也可以上傳車輛圖像、人臉圖像或者場景圖像對監控視頻進行檢索，同樣能夠得到相應的監控視頻。

圖7 檢索界面(截圖)

圖10是系統在當前配置下，不同特征下的平均檢索時間，橫坐標是圖像特征，縱坐標是檢索所需要的平均時間。從圖中可以看出，在系統在當前實驗環境下，能夠實時地檢索出所需要的視頻。

圖10 不同特征下系統檢索需要的平均時間

4 結束語

針對海量監控視頻，本文提出了基于內容的多層次檢索方案。依次從監控視頻中提取有效的關鍵幀圖像、行人圖像、車輛圖像以及人臉圖像等多層次信息，然后利用基于內容的圖像檢索技術，建立完善的特征庫和關系型數據庫，同時結合Web開發技術，形成一套完整的監控視頻的檢索系統。系統采用B/S架構，使其具有很強的實用性和可擴展性，并且支持海量監控視頻的檢索。從實驗結果可以看出，該系統具有較好的實時性，并能夠較準確地檢索出相應的監控視頻。今后的研究工作主要是:進一步提高檢索的實時性和準確性，同時提高整個系統的健壯性和穩定性。

:

［1］ PATEL B V，DEORANKAR A V，MESHRAM B B．Content based video retrieval using entropy，edge detection，black and white color features［C］//Proc．2010 2nd International Conference on Computer Engineering and Technology(ICCET)．［S．l．］:IEEE Press，2010:272－276．

［2］ JONES S，SHAO L．Content－based retrieval of human actions from realistic video databases［J］．Information Sciences，2013(236):56－65．

［3］ KEKRE H B，THEPADE S D，GUPTA S．Content based video retrieval in transformed domain using fractional coefficients［J］．International Journal of Image Processing(IJIP)，2013，7(3):237－247．

［4］ LEE F，KOTANI K，CHEN Q，et al．Fast search for MPEG video clips from large video database using combined histogram features［C］//Proc．the World Congress on Engineering．London:［s．n．］，2010:637－640．

［5］徐忠強．電視新聞節目基于內容的視頻檢索技術及實現［J］．電視技術，2008，32(1):72－74．

［6］ O＇CONNOR N E，MARLOW S，MURPHY N，et al．Fischlar:an on－line system for indexing and browsing broadcast television content［EB/OL］．［2013－12－20］．http://www．lw20．com/2011050311769609．html．

［7］ CAMPBELL M，HAUBOLD A，LIU M，et al．IBM research TRECVID－2007 video retrieval system［EB/OL］．［2013－12－20］．http://www．doc88．com/p－478420540695．html．

［8］ BAYONA A，SANMIGUEL J C，MARTINEZ J M．Stationary foreground detection using background subtraction and temporal difference in video surveillance［C］//Proc．2010 17th IEEE International Conference on Image Processing(ICIP)．［S．l．］:IEEE Press，2010:4657－4660．

［9］ KOMAGAL E，VINODHINI A，SRINIVASAN A，et al．Real time background subtraction techniques for detection of moving objects in video surveillance system［C］//Proc．2012 International Conference on Computing，Communication and Applications(ICCCA)．［S．l．］:IEEE Press，2012:1－5．

［10］ LUX M，CHATZICHRISTOFIS S A．Lire:lucene image retrieval:an extensible java CBIR library［C］//Proc．the 16th ACM International Conference on Multimedia．Vancouver:［s．n．］，2008:1085－1088．

［11］ LUX M．Content based image retrieval with lire［C］//Proc．the 19th ACM International Conference on Multimedia．［S．l．］:ACM，2011:735－738．

［12］ KOGLER M，LUX M．Robust image retrieval using bag of visual words with fuzzy codebooks and fuzzy assignment［C］//Proc．the 12th International Conference on Knowledge Management and Knowledge Tech-nologies．［S．l．］:ACM，2012:34－37．

［13］ TRUONG B T，VENKATESH S．Video abstraction:a systematic review and classification［J］．ACM Transactions on Multimedia Computing，Communications，and Applications(TOMCCAP)，2007，3(1):3．

［14］ ZIVKOVIC Z．Improved adaptive Gaussian mixture model for background subtraction［C］//Proc．the 17th International Conference on Pattern Recognition，2004．［S．l．］:IEEE Press，2004:28－31．

［15］ ZIVKOVIC Z，HEIHDEN F．Efficient adaptive density estimation per image pixel for the task of background subtraction［J］．Pattern Recognition Letters，2006，27(7):773－780．

［16］ DALAL N，TRIGGS B．Histograms of oriented gradients for human detection［C］//Proc．IEEE Computer Society Conference on Computer Vision and Pattern Recognition，2005．［S．l．］:IEEE Press，2005:886－893．

［17］ CHANG C C，LIN C J．LIBSVM:a library for support vector machines［J］．ACM Transactions on Intelligent Systems and Technology(TIST)，2011，2(3):27．

［18］ VIOLA P，JONES M．Rapid object detection using a boosted cascade of simple features［C］//Proc．the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition，2001．［S．l．］:IEEE Press，2011:511－518．