HSV下的基于圖像內(nèi)容的監(jiān)控視頻檢索方法

史云靜，鄭海波，韓小萱，李 潔，朱秀昌

（南京郵電大學(xué) 江蘇省圖像處理與圖像通信重點(diǎn)實(shí)驗(yàn)室，江蘇 南京 210003）

HSV下的基于圖像內(nèi)容的監(jiān)控視頻檢索方法

史云靜，鄭海波，韓小萱，李 潔，朱秀昌

（南京郵電大學(xué) 江蘇省圖像處理與圖像通信重點(diǎn)實(shí)驗(yàn)室，江蘇 南京 210003）

隨著構(gòu)建平安城市活動(dòng)的推進(jìn)，大量的高清化、數(shù)字化的監(jiān)控已經(jīng)逐漸遍布于大街小巷，隨之而來的是監(jiān)控視頻快速大量涌現(xiàn)，如何有效存儲(chǔ)、管理和利用海量的監(jiān)控視頻成為研究熱點(diǎn)。基于內(nèi)容和語義的視頻檢索技術(shù)成為一種可行的海量信息檢索技術(shù)，并成為越來越多學(xué)者的研究對(duì)象。在HSV空間下進(jìn)行非歸一化量化圖像彩色信息并以此構(gòu)建等價(jià)的局部二值模式作為基于內(nèi)容的視頻檢索圖像特征，同時(shí)提出了一種新穎、簡(jiǎn)單的直方圖相似性度量方法檢索目標(biāo)圖像，檢索結(jié)果更加符合人們的主觀視覺感受。

監(jiān)控視頻；視頻檢索；非歸一化量化；局部二值模式；直方圖；相似性度量

基于內(nèi)容的視頻檢索利用底層視覺特征進(jìn)行檢索，底層視覺特征分為全局特征和局部特征，常用的全局特征有顏色特征[1]、紋理特征、形狀特征等。當(dāng)然也有學(xué)者將顏色和紋理等信息綜合起來進(jìn)行基于內(nèi)容的圖像檢索，如S.Nandagopal?an等人[2]提出的特征是將顏色、紋理和邊緣直方圖描述子（Edge Histogram Descriptor，EHD）聯(lián)合起來，而 Agarwal等人[3]則是將圖像先進(jìn)行離散小波變換，然后再提取EHD。還有其他學(xué)者提出了一些其他特征，如Lee等人[4]設(shè)計(jì)了一種MPEG視頻段快速檢索方法，他們利用的特征是相鄰像素亮度差分量化直方圖（Adjacent Pixel Intensity Difference Quan?tization，APIDQ）。這種特征計(jì)算復(fù)雜度不高，同時(shí)對(duì)運(yùn)動(dòng)和光照不敏感。Liu等人[5]利用底層的顏色信息，結(jié)合邊緣方向提出了一種微結(jié)構(gòu)描述子（Micro-Structure Descriptor，MSD）作為圖像檢索時(shí)的特征。Asha等人[6]基于局部特征描述子（Speeded Up Robust Feature，SURF）方法，利用隨機(jī)降度的方法降低存儲(chǔ)的復(fù)雜度來達(dá)到基于內(nèi)容的視頻檢索。

局部二值模式（Local Binary Pattern，LBP）是由Ojala等人[7]首次提出的用來描述圖像局部紋理特征的算子，本文將圖像的彩色信息與局部紋理信息結(jié)合起來構(gòu)建彩色局部二值模式特征，將提取到的彩色局部二值模式特征進(jìn)行直方圖統(tǒng)計(jì)，同時(shí)還提出了一種度量該直方圖相似性的方法，最終達(dá)到行之有效的基于圖像內(nèi)容的視頻檢索。

1 視頻檢索系統(tǒng)框架

一個(gè)視頻檢索系統(tǒng)包括的關(guān)鍵模塊有視頻庫、摘要庫的生成、特征庫的生成、語義庫的生成、數(shù)據(jù)庫管理系統(tǒng)、用于管理各個(gè)數(shù)據(jù)庫之間的映射關(guān)系、檢索算法、B/S或C/S模式的通信框架，并且各個(gè)模塊需要配合好，完成整個(gè)檢索過程。視頻檢索系統(tǒng)框架圖如圖1所示。

圖1 視頻檢索系統(tǒng)框架圖

視頻是一種層次結(jié)構(gòu)，包括幀（視頻流的基本單位，每一幀就是一幅圖像）、鏡頭（指攝像機(jī)不間斷拍攝的一組圖像幀序列）、場(chǎng)景（語義上相關(guān)并且在時(shí)間上相鄰的若干鏡頭組成一個(gè)場(chǎng)景）、視頻（由各個(gè)場(chǎng)景組成視頻）。層次結(jié)構(gòu)如圖2所示。

圖2 視頻層次結(jié)構(gòu)示意圖

而監(jiān)控視頻又有其特殊性：監(jiān)控視頻的背景變化緩慢，監(jiān)控視頻有較大的冗余，監(jiān)控視頻中最有用的信息一般是運(yùn)動(dòng)的人或車輛等。同時(shí)，監(jiān)控視頻的壓縮格式一般比較局限于.mp4等幾種常見的格式。因此，監(jiān)控視頻處理時(shí)，可以先將視頻進(jìn)行濃縮形成視頻摘要，大大壓縮視頻的數(shù)據(jù)量。

2 HSV下非歸一化彩色量化

本文選擇在HSV彩色空間[8]下進(jìn)行處理，結(jié)合彩色空間量化方法[9]采用非歸一化的彩色空間量化方法[10]。通過對(duì)HSV彩色空間特點(diǎn)的研究發(fā)現(xiàn)，彩色空間主要可以分為3部分，分別是白色、黑色和彩色。當(dāng)顏色的飽和度小于0.2或亮度大于0.8時(shí)，人眼會(huì)忽視彩色信息，感知為灰度。當(dāng)亮度小于0.15時(shí)感覺為黑色，只有當(dāng)飽和度大于0.2且亮度在0.15至0.8時(shí)人們可以感知到彩色信息。基于此Liu等人[11]將色度分為8個(gè)域，飽和度和亮度分別劃分為3個(gè)域，最終彩色信息量化成72級(jí)（8×3×3=72）。計(jì)算機(jī)至少需要7 bit表示Liu的這種量化方法，然而7 bit最多可以表示128種量化級(jí)，顯然Liu的量化方法在同等存儲(chǔ)大小下未能充分利用像素信息。考慮到計(jì)算機(jī)存儲(chǔ)的單位是字節(jié)，一個(gè)字節(jié)可以表示8 bit，為方便存儲(chǔ)，本文用8 bit量化，可以量化出256種色彩。考慮到人眼對(duì)于亮度信息和色度信息比較敏感，所以本文將色度和亮度分為8個(gè)域，而飽和度分為4個(gè)域，具體量化方法為

將HSV空間下的圖像按上述域量化后再將彩色特征按式（4）構(gòu)建為一維的特征，取值范圍在0～255。

式中：H，S和V分別表示HSV空間下像素的色度、飽和度和亮度值，Y表示非歸一化后的像素值。

3 彩色局部二值模式

原始的LBP算子[12]在3×3大小的窗口內(nèi)，將鄰域內(nèi)8個(gè)像素灰度值與中心像素進(jìn)行比較，像素值大于中心像素值則標(biāo)記為1，否則為0。利用3×3鄰域內(nèi)的8個(gè)點(diǎn)生成反映該區(qū)域的紋理信息的8 bit無符號(hào)數(shù)，即為L(zhǎng)BP值，如圖3所示。

圖3 原始LBP算子示意圖

其后研究人員不斷對(duì)其改進(jìn)、優(yōu)化，提出了LBPP，R算子（半徑為R的圓形區(qū)域內(nèi)含有P個(gè)采樣點(diǎn)）、LBP旋轉(zhuǎn)不變模式、LBP等價(jià)模式以及LBP旋轉(zhuǎn)不變的等價(jià)模式等。

本文對(duì)視頻圖像先進(jìn)行顏色空間的轉(zhuǎn)換，然后在HSV空間下對(duì)視頻圖像進(jìn)行色彩非歸一化量化，形成融合彩色信息的二維圖像，接著對(duì)該圖像進(jìn)行LBP模式提取，并對(duì)各種模式進(jìn)行直方圖統(tǒng)計(jì)，從而得到包含顏色及紋理信息的基于內(nèi)容檢索的圖像特征。算法流程框架如圖4所示。

圖4 算法流程框架示意圖

4 直方圖相似性度量方法及實(shí)驗(yàn)結(jié)果

1）直方圖相似性度量方法

獲得圖像特征后要對(duì)特征進(jìn)行匹配，找出最相似的圖像或原圖，這就涉及到如何選取相似性度量方法。常見的直方圖相似度量方法有如下3種[13]：

式中：hQl和hDl表示查詢圖像和視頻圖像的第l個(gè)特征個(gè)數(shù)，HQ和HD表示查詢圖像和視頻圖像特征的直方圖，L表示特征可取值的個(gè)數(shù)。

直方圖相交法雖然簡(jiǎn)單，但是其忽略了比重大的特征，信息利用不全。對(duì)數(shù)似然的方法因?yàn)檫M(jìn)行了對(duì)數(shù)運(yùn)算可以壓縮比重大的特征，但由于乘法運(yùn)算的存在，當(dāng)檢索圖像的有些特征比重為零時(shí)會(huì)直接忽略該特征對(duì)全局的影響。卡方的方法運(yùn)算比較復(fù)雜。本文提出了一種既能起到對(duì)比重大的特征進(jìn)行壓縮又不會(huì)丟失某些特征，同時(shí)復(fù)雜度也不高的度量方法，定義如下

式（8）中l(wèi)g算式中的加1是為了避免lg算式中出現(xiàn)為0的情況，當(dāng)兩幅圖像特征的直方圖越接近時(shí)，M值越小，完全相同時(shí)M為0。

2）實(shí)驗(yàn)結(jié)果

本次實(shí)驗(yàn)的計(jì)算機(jī)配置為：Inter（R）Core（TM）2 Duo CPU T5670@1.8 GHz，主頻1.79 GHz，2.0 Gbyte內(nèi)存，Win?dows 7操作系統(tǒng)，編程環(huán)境和運(yùn)行平臺(tái)為MATLAB7.11.0。選取的視頻數(shù)據(jù)類型包括高速公路監(jiān)控視頻、室內(nèi)監(jiān)控視頻及大街上監(jiān)控視頻3類，視頻總大小約15 Gbyte。筆者對(duì)視頻先進(jìn)行摘要生成，然后對(duì)生成的摘要進(jìn)行特征提取生成特征庫，最后對(duì)特征庫進(jìn)行匹配檢索得到檢索圖像所在的視頻及其相似的視頻幀，顯示最相似的6幅視頻幀，并列出前10幅最相似視頻幀。

圖5～7分別是灰度空間和HSV空間下非歸一化LBP3種模式特征的檢索結(jié)果。可以發(fā)現(xiàn)彩色特征檢索結(jié)果比灰度特征檢索結(jié)果更好，當(dāng)然雖然3種彩色LBP特征都能檢索出原圖，但彩色LBP等價(jià)模式特征除了可以檢索出原圖外，其檢索出的其他相似圖像也更加符合人們的主觀感受。

圖8從左到右、從上到下的3幅實(shí)驗(yàn)結(jié)果圖分別是彩色等價(jià)模式特征下3種相似性度量方法（直方圖法、對(duì)數(shù)似然函數(shù)法及本文提出的相似性度量方法）的檢索結(jié)果。實(shí)驗(yàn)結(jié)果可以看出，本文提出的直方圖相似性度量方法檢索出的結(jié)果更加令人滿意。

5 總結(jié)

圖5 灰度空間下和HSV下非歸一化利用LBP旋轉(zhuǎn)不變模式作為特征的視頻檢索結(jié)果（截圖）

圖6 灰度空間下和HSV下非歸一化利用LBP旋轉(zhuǎn)不變的等價(jià)模式作為特征的視頻檢索結(jié)果（截圖）

圖7 灰度空間下和HSV下非歸一化利用LBP等價(jià)模式作為特征的視頻檢索結(jié)果（截圖）

圖8 彩色等價(jià)模式特征下3種相似性度量方法檢索結(jié)果（截圖）

本文對(duì)HSV空間圖像的彩色信息進(jìn)行非歸一化量化后構(gòu)建新的擁有色彩信息二維圖像同時(shí)結(jié)合局部紋理信息利用等價(jià)二值模式生成彩色LBP特征進(jìn)行直方圖統(tǒng)計(jì)，并利用本文提出的直方圖相似性度量方法來實(shí)現(xiàn)基于圖像內(nèi)容的視頻檢索，結(jié)果表明這種方法更加符合人們的主觀感受。未來也可以考慮將一些其他的特征綜合起來構(gòu)建特征庫。

[1] WANG J，KONG B，JIA Q L.Color-based image retrieval[J].Computer Systems&Applications，2011，20（7）：160-164.

[2] NANDAGOPALAN S，ADIGA B S，DEEPAK N.A universal model for content-based image retrieval[J].World Academy of Science，Engineering and Technology，2008（22）：644-647.

[3]AGARWAL S，VERMA A K，SINGH P.Content based image re?trieval using discrete wavelet transform and edge histogram de?scriptor[C]//Proc.2013 International Conference on Information Systems and Computer Networks（ISCON）.[S.l.]：IEEE Press，2013：19-23.

[4]LEE F，KOTANI K，CHEN Q，et al.Fast search for MPEG video clips from large video database using combined histogram features [C]//Proc.World Congress on Engineering.London：[s.n.]，2010：1-8.

[5]LIU G H，LI Z Y，ZHANG L，et al.Image retrieval based on mi?cro-structure descriptor[J].Pattern Recognition，2011，44（9）：2123-2133.

[6] ASHA S，SREERAJ M.Content based video retrieval using SURF descriptor[C]//Proc.2013 Third International Conference on Advances in Computing and Communications（ICACC）.[S.l.]：IEEE Press，2013：212-215.

[7] OJALA T，PIETIKAINEN M，MAENPAA T.Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J].IEEE Trans.Pattern Analysis and Machine In?telligence，2002（24）：971–987.

[8]DONALD H M，PAULINE B.Computer graphics[M].[S.l.]：Publish?ing House of Electronics Industry，2004.

[9] WANG T，HU S M，SUN J G.Image retrieval based on color?space[J].Software，2002，13（10）：2031-2036.

[10] LI X Q，CHEN S C，SHU M L，et al.A novel hierarchical ap?proach to image retrieval using color and spatial information[C]// Proc.Third IEEE Pacific-Rim Conferenceon Multimedia（PCM2002）.[S.l.]：IEEE Press，2002：16-18.

[11]LIU J L，KONG D G，ZHAO H W，et al.Image retrieval based on weighted blocks and color feature[C]//Proc.2011 International Conference on Mechatronic Science，Electric Engineering and Computer（MEC）.[S.l.]：IEEE Press，2011：921-924.

[12] XUE X L.Research about access control system based on face recognition[D].Chengdu：Southwest Jiaotong University，2011.

[13] AHONEN T，HADID A，PIETIKAINEN M.Face description with local binary patterns：application to face recognition[J].IEEE Trans.Pattern Analysis and Machine Intelligence，2006，28（12）：2037-2041.

責(zé)任編輯：閆雯雯

Method of Surveillance Video Retrieval Based on Image Content in HSV

SHI Yunjing,ZHENG Haibo,HAN Xiaoxuan,LI Jie,ZHU Xiuchang
（Image Processing and Communication Key Lab,Nanjing University of Posts and Telecommunications，Nanjing 210003，China）

With the advancement of building Peace City activities,a large number of HD(High Definition)and digital monitors has been gradually spread all over the streets,followed by lots of surveillance videos rapidly.How to storage,manage and use the vast amounts of surveillance videos effectively becomes a research hotspot.Video retrieval technology based on the content and semantic becomes a feasible method to search information from huge videos,and attracts more and more scholars and researchers’attention.In this paper,color information of images in HSV space with non-uniform quantization method is utilized and local binary pattern ia used as content based video retrieval image features.Besides,a novel but easy method is proposed to measure the similarity of two images' histogram to retrieval the target image and the result conformed to the people's subjective visual perception better.

surveillance video;video retrieval;non-uniform quantize;LBP(local binary pattern);histogram;similarity measure

TN991.73

A

10.16280/j.videoe.2015.04.005

2014-08-21

【本文獻(xiàn)信息】史云靜，鄭海波，韓小萱，等.HSV下的基于圖像內(nèi)容的監(jiān)控視頻檢索方法[J].電視技術(shù)，2015，39（4）.

國家自然科學(xué)基金項(xiàng)目（61071091）