監(jiān)控視頻高效智能檢索研究

摘要：隨著監(jiān)控設(shè)備和計(jì)算機(jī)視覺相關(guān)技術(shù)的逐步成熟，監(jiān)控視頻被廣泛應(yīng)用于安全防范、交通管理和刑事偵查等多個(gè)領(lǐng)域，如何準(zhǔn)確高效地利用監(jiān)控視頻檢索成為一個(gè)難題。文章在對基于語義的監(jiān)控視頻檢索系統(tǒng)、基于對象的監(jiān)控視頻檢索系統(tǒng)、基于顏色的監(jiān)控視頻檢索系統(tǒng)以及基于深度卷積神經(jīng)網(wǎng)絡(luò)的視頻檢索的優(yōu)勢和局限性進(jìn)行比較和研究后，對智能監(jiān)控視頻檢索的未來發(fā)展趨勢進(jìn)行了展望。

關(guān)鍵詞：視頻檢索；監(jiān)控視頻；視頻索引

中圖分類號(hào)：D918.2; TN820.4

文獻(xiàn)標(biāo)志碼：A

0 引 言

近年來，隨著多媒體技術(shù)和網(wǎng)絡(luò)技術(shù)的發(fā)展，“天網(wǎng)工程”以及道路交通監(jiān)控等設(shè)備被廣泛應(yīng)用，計(jì)算機(jī)視覺技術(shù)逐漸成為日常生活中不可或缺的一部分。監(jiān)控視頻在安全防范、交通管理、刑事偵查等領(lǐng)域得到了廣泛應(yīng)用。監(jiān)控視頻的智能檢索技術(shù)也成為熱點(diǎn)研究議題。如：Hu等^［1-3］專注于基于語義的監(jiān)控視頻檢索系統(tǒng)。Le等^［2］和Yuk等^［4］討論了基于對象的監(jiān)控視頻檢索系統(tǒng)。Brown等^［5］討論了基于顏色的監(jiān)控視頻檢索系統(tǒng)。此外，一些研究者，如Gornale等^［6］和Deepak等^［7］ 研討了基于內(nèi)容的監(jiān)控視頻檢索系統(tǒng)。Jiang等^［8-10］主要討論了基于CNN的監(jiān)控視頻檢索系統(tǒng)。筆者在本文中所做的工作不僅是比較使用上述系統(tǒng)的優(yōu)勢和局限性，而且還對這些系統(tǒng)進(jìn)行了比較。

1 監(jiān)控視頻檢索技術(shù)簡介

1.1 監(jiān)控視頻檢索技術(shù)的研究背景與發(fā)展

在傳統(tǒng)的數(shù)據(jù)庫系統(tǒng)中，信息檢索主要由值和字符組成，而在多媒體數(shù)據(jù)庫中，它包含集成的圖像、視頻、音頻和其他難以用字符和數(shù)字符號(hào)定義的未格式化信息。視頻檢索可以分為2個(gè)核心部分：視頻分割和相似性檢索。常用的視頻分割方法有直方圖法、邊緣法和基于運(yùn)動(dòng)特征的算法。此外，視頻檢索的主要方法是基于提取的特征和語義檢索相似的鏡頭和相似的關(guān)鍵幀。如今，越來越多的檢索技術(shù)被提出并實(shí)現(xiàn)。除了傳統(tǒng)的基于內(nèi)容、基于對象和基于語義的檢測方法外，基于顏色和深度神經(jīng)網(wǎng)絡(luò)等新的檢測方法也在逐步發(fā)展。

1.2 經(jīng)典檢索系統(tǒng)

按圖像內(nèi)容查詢（QBIC）。QBIC由IBM開發(fā)，是最典型的內(nèi)容檢索系統(tǒng)之一。它允許在大型圖像庫或視頻數(shù)據(jù)庫中基于給定的圖像、顏色、紋理和對象移動(dòng)進(jìn)行查詢^［11］。

MoCA工作臺(tái)（MoCA WorkBench）。Lienhart等^［12］提出的MoCA（電影內(nèi)容分析）項(xiàng)目可以自動(dòng)分析視頻結(jié)構(gòu)并提取語義內(nèi)容。系統(tǒng)使用的分析特征包括圖像特征、關(guān)鍵幀特征和音頻特征。該項(xiàng)目對視頻檢索的發(fā)展有著重要的影響。

VideoQ是一種基于運(yùn)動(dòng)草圖的全自動(dòng)視頻檢測系統(tǒng)，支持基于對象的在線視頻索引和查詢。該系統(tǒng)的創(chuàng)新之處在于能夠自動(dòng)分割視頻并對視頻中的物體進(jìn)行跟蹤^［13］。

2 不同監(jiān)控視頻檢索技術(shù)對比

2.1 基于語義的監(jiān)控視頻檢索

基于語義的監(jiān)控視頻檢索運(yùn)用了一種基于聚類的運(yùn)動(dòng)軌跡跟蹤算法，它利用時(shí)空信息對運(yùn)動(dòng)軌跡進(jìn)行聚類從而進(jìn)行活動(dòng)模型的學(xué)習(xí)。這種方式對活動(dòng)進(jìn)行語義索引和檢索，而由于活動(dòng)是分層的，因此需要自動(dòng)繼承所屬活動(dòng)模型的所有語義描述，從而實(shí)現(xiàn)對視頻片段和單個(gè)目標(biāo)的語義層次檢索，使得視頻檢索系統(tǒng)更加易于被用戶使用^［1］。

基于語義的監(jiān)控視頻檢索有2個(gè)主要的發(fā)展方向，分別是基于運(yùn)動(dòng)的視頻檢索和對象運(yùn)動(dòng)的語義描述。

在這一部分中，筆者比較了3種不同的對于基于語義的監(jiān)控視頻檢索的應(yīng)用，總結(jié)了它們之間的差異，并找出基于語義的監(jiān)控視頻檢索的優(yōu)缺點(diǎn)。使用基于語義的監(jiān)控視頻檢索的3種方法的比較如表1所示。

2.2 基于對象的監(jiān)控視頻檢索系統(tǒng)

基于對象的監(jiān)控視頻檢索系統(tǒng)不根據(jù)鏡頭進(jìn)行檢索，而是根據(jù)用戶需要跟蹤的對象本身進(jìn)行檢索。與基于類的視頻檢索相比，這種系統(tǒng)可以讓用戶在搜索指定內(nèi)容方面有更大的自由度。基于對象的視頻檢索系統(tǒng)中使用了一種運(yùn)動(dòng)分割方法從而使得對每個(gè)視頻鏡頭中的對象數(shù)量沒有限制。它還可以使系統(tǒng)對視頻源進(jìn)行實(shí)時(shí)索引，不僅節(jié)省了查詢時(shí)間，還減少了用戶的工作量。這意味著與傳統(tǒng)的基于文本的方法相比，這種方法可以更方便、準(zhǔn)確地搜索所需的視頻片段。該系統(tǒng)可以跟蹤每個(gè)移動(dòng)對象，并且每個(gè)被跟蹤對象的特征將被提取作為元數(shù)據(jù)^［4］。詳細(xì)信息如表2所示。

2.3 基于顏色的監(jiān)控視頻檢索系統(tǒng)

基于顏色數(shù)據(jù)的運(yùn)動(dòng)物體檢索研究是近年來才起步的。很長一段時(shí)間以來，色彩檢索在視頻檢索中的運(yùn)用并不多，因?yàn)樗荒茏饔糜诨陟o態(tài)圖像的檢索。而當(dāng)涉及實(shí)際應(yīng)用時(shí)，一般總是需要找到一個(gè)穿著某種顏色衣服的人或某輛車，并對其進(jìn)行跟蹤。顏色檢索總是基于整個(gè)圖像，并需要先對圖像進(jìn)行分割，再搜索對象。然而，對顏色的追蹤會(huì)受到顏色恒定性問題的影響，包括不斷變化的光線條件、復(fù)雜的紋理和攝像頭之間的差異^［5］。

此外，還有3個(gè)重要方面會(huì)影響基于顏色的監(jiān)控視頻檢索的成功率。（1）必須考慮顏色的恒定性，因?yàn)樵诓煌墓庹諚l件下，人對顏色的感知與機(jī)器不同。（2）從背景中分割物體的過程可能會(huì)有問題，因?yàn)殛幱耙矔?huì)被看做是物體的一部分。（3）在一個(gè)復(fù)雜的物體中會(huì)有幾種顏色，這也會(huì)使顏色識(shí)別變得更加困難^［5］。詳細(xì)信息如表3所示。

2.4 基于內(nèi)容的監(jiān)控視頻檢索系統(tǒng)

在過去的十幾年中，基于內(nèi)容的視頻檢索（CBVR）系統(tǒng)通過從視頻中提取特征，成為從大型集合中檢索所需視頻的主要手段。該技術(shù)的實(shí)現(xiàn)主要包括4個(gè)步驟：首先，提取視頻中的紋理、顏色、形狀和運(yùn)動(dòng)等視覺特征，分析對象、行為、場景和語義特征之間的空間關(guān)系。其次，進(jìn)行關(guān)鍵幀識(shí)別和對象分割。再次，對視頻庫中的信息進(jìn)行比較和提取。最后，采用相似性匹配的方法在大型多媒體庫中檢索視頻^［6］。

本文選擇了3種基于CBVR的方法進(jìn)行比較，分別是：鏡頭邊界檢測技術(shù)^［9］、基于SIFT特征的視頻檢測方法和聚類重疊方法^［7］。詳細(xì)信息如表4所示。

2.5 基于深度卷積神經(jīng)網(wǎng)絡(luò)的監(jiān)控視頻檢索系統(tǒng)

近年來，深度學(xué)習(xí)算法，特別是深度卷積神經(jīng)網(wǎng)絡(luò)，在計(jì)算機(jī)視覺的許多領(lǐng)域取得了重要突破。基于深度神經(jīng)網(wǎng)絡(luò)的視頻檢測的關(guān)注度也在不斷提升。Jiang等^［8］提出了一種基于DBN的機(jī)器學(xué)習(xí)算法，以獲得最佳匹配的視頻檢索結(jié)果，并添加了降維算法，以解決大量特征導(dǎo)致的計(jì)算速度慢的問題。Muehling等^［9］使用了2種基于預(yù)訓(xùn)練CNN的方法來進(jìn)行視頻的概念檢測，即單標(biāo)簽CNN和多標(biāo)簽CNN。Dong等^［10］提出了一種端到端的哈希框架，將特征提取和哈希映射功能集成到深度神經(jīng)網(wǎng)絡(luò)中，以實(shí)現(xiàn)檢測優(yōu)化，該框架由3部分實(shí)現(xiàn)：（1）從視頻中提取視頻幀，然后從深度CNN中提取每個(gè)輸入幀的統(tǒng)一特征。（2）將特征轉(zhuǎn)換為保留相似性的二進(jìn)制代碼。（3）損失函數(shù)的計(jì)算。網(wǎng)絡(luò)架構(gòu)如圖1所示^［10］，詳細(xì)信息如表5所示。

2.6 不同監(jiān)控視頻檢索系統(tǒng)的比較

所有監(jiān)控視頻檢索系統(tǒng)之間的比較如表6所示。

3 結(jié)語

當(dāng)前，最前沿的監(jiān)控視頻檢索融合了人工智能、機(jī)器學(xué)習(xí)和深度神經(jīng)網(wǎng)絡(luò)等技術(shù)，是目前的熱門研究課題。本文旨在總結(jié)當(dāng)前視頻檢索技術(shù)的研究現(xiàn)狀，并對其進(jìn)行比較分析。鑒于現(xiàn)有技術(shù)的局限性，未來的研究應(yīng)集中在以下方面。

（1）特征提取是視頻檢索技術(shù)的關(guān)鍵。以前的研究主要集中在顏色、質(zhì)地和形狀上，如何提取物體的高級特征和運(yùn)動(dòng)特征是一個(gè)亟待解決的問題。

（2）大多數(shù)鏡頭檢測仍會(huì)受到光線和相機(jī)偏差的影響，檢測的準(zhǔn)確性和穩(wěn)定性仍需提高。

（3）盡管基于深度學(xué)習(xí)算法的檢測提高了準(zhǔn)確性，但它耗時(shí)且效率低下，需要進(jìn)一步優(yōu)化算法。

參考文獻(xiàn)

［1］HU W，XIE D，F(xiàn)U Z，et al.Semantic-based surveillance video retrieval［J］.IEEE Transactions on Image Processing，2007（4）：1168-1181.

［2］LE T L，THONNAT M，BOUCHER A，et al.A query language combining object features and semantic events for surveillance video retrieval：international conference on multimedia modeling ［C］.Heidelberg：Springer Berlin Heidelberg，2008 .

［3］LI A，YU F，SHI K.A novel fast and effective video retrieval system for surveillance application：2011 IEEE international conference on cyber technology in automation，control，and intelligent systems［C］.New York：IEEE，2011.

［4］YUK J，WONG K，CHUNG R，et al.Object-based surveillance video retrieval system with real-time indexing methodology［J］.Lecture Notes in Computer Science，2007（4633）：626-637.

［5］BROWN L M.Color retrieval for video surveillance：2008 IEEE fifth international conference on advanced video and signal based surveillance ［C］.New York：IEE2008.

［6］GORNALE S S，BABALESHWAR A K，YANNAWAR P L.Analysis and detection of content based video retrieval［J］.International Journal of Image Graphics amp; Signal Processing，2019（3）：43.

［7］DEEPAK C R，SREEHARI S，GOKUL M，et al.Content based video retrieval using cluster overlapping［J］.International Journal of Computational Engineering Research，2013（5）：104-108.

［8］JIANG B，YANG J，LV Z，et al.Internet cross-media retrieval based on deep learning［J］.Journal of Visual Communication and Image Representation，2017（48）：356-366.

［9］MUEHLING M，KORFHAGE N，MUELLER E，et al.Deep learning for content-based video retrieval in film and television production［J］.Multimedia Tools amp; Applications，2017（76）：1-26.

［10］DONG Y，LI J.Video retrieval based on deep convolutional neural network：proceedings of the 3rd international conference on multimedia systems and signal processing ［C］.Los Alamos：arXiv，2018.

［11］FLICKNER M，SAWHNEY H，NIBLACK W，et al.Query by image and video content：the QBIC system［J］.IEEE Computer，1995（28）：23-32.

［12］LIENHART R，PFEIFFER S，EFFELSBERG W.The MoCA workbench：support for creativity in movie content analysis：proceedings of the third IEEE international conference on multimedia computing and systems ［C］.New York：IEEE，1996.

［13］CHANG S F，CHEN W，SUNDARAM H.VideoQ：a fully automated video retrieval system using motion sketches：proceedings fourth IEEE workshop on applications of computer vision.WACV’98（Cat.No.98EX201）［C］.New York：IEEE，1998.

（編輯 沈 強(qiáng)）

Research on efficient and intelligent retrieval of surveillance video

Sun" Jingyao¹， Li" Yixin²

（1.Nanjing City Vocational College（Nanjing Open University）， Nanjing 211200， China;

2.Yuzhang Normal University， Nanchang 330103， China）Abstract：With the maturity of monitoring equipment and computer vision related technologies， surveillance video has been widely used in many fields such as security prevention， traffic management and criminal investigation. How to process the surveillance video retrieval accurately and efficiently becomes a problem. After comparing and studying the advantages and limitations of semantic based surveillance video retrieval system， object based surveillance video retrieval system， color based surveillance video retrieval system， and deep convolutional neural network based video retrieval system， this paper gives an outlook on the future development trend of intelligent surveillance video retrieval.

Key words：video retrieval; surveillance video; video indexing