基于視覺(jué)注意的人體動(dòng)作檢測(cè)

　　摘 要： 基于計(jì)算機(jī)視覺(jué)的人體運(yùn)動(dòng)檢測(cè)是計(jì)算機(jī)視覺(jué)領(lǐng)域中備受關(guān)注的前沿課題。本文利用一個(gè)基于灰度、顏色和運(yùn)動(dòng)等時(shí)空特征的視覺(jué)注意模型，有效地提取出視頻中包含運(yùn)動(dòng)信息的顯著區(qū)域。將這一視覺(jué)注意模型與一個(gè)基于時(shí)空梯度特征提取與子塊匹配的人體動(dòng)作檢測(cè)相結(jié)合，可彌補(bǔ)傳統(tǒng)方法耗時(shí)長(zhǎng)的不足，并提高了對(duì)噪聲的魯棒性。實(shí)驗(yàn)表明，利用該方法能有效提高人體動(dòng)作檢測(cè)的效率和準(zhǔn)確率。
　　關(guān)鍵詞： 計(jì)算機(jī)視覺(jué) 視頻分析 動(dòng)作檢測(cè) 視覺(jué)注意
　　
　　引言
　　基于視頻的人體動(dòng)作檢測(cè)在智能視頻監(jiān)控、基于內(nèi)容的視頻檢索等方面具有廣泛的應(yīng)用。由于視頻數(shù)據(jù)量大，維數(shù)高，對(duì)當(dāng)前各種相關(guān)算法與計(jì)算機(jī)處理能力提出了挑戰(zhàn)。近年來(lái)，將視覺(jué)注意機(jī)制與視頻分析相結(jié)合的方法引起了計(jì)算機(jī)視覺(jué)領(lǐng)域研究者的注意［１］［２］。視覺(jué)注意模型通過(guò)模擬生物視覺(jué)對(duì)復(fù)雜場(chǎng)景的感知特性形成目標(biāo)的緊湊表達(dá)［３］。在圖像處理領(lǐng)域，Itti等人提出了針對(duì)靜止圖像的視覺(jué)注意模型［４］。該模型依據(jù)視覺(jué)生理學(xué)的研究成果，通過(guò)“中央—周邊差”算子提取圖像的灰度、顏色和方向信息，進(jìn)一步合成顯著圖以表示圖像中的顯著區(qū)域。對(duì)于視頻序列，運(yùn)動(dòng)信息也是形成視覺(jué)顯著性的關(guān)鍵成分之一［５］。
　　通常基于圖像序列的運(yùn)動(dòng)與行為分析過(guò)程中一般包括環(huán)境建模、運(yùn)動(dòng)分割、目標(biāo)分類與跟蹤等環(huán)節(jié)［６］。然而在實(shí)際中，運(yùn)動(dòng)分割、目標(biāo)分類等經(jīng)典難題往往影響了整個(gè)視頻分析的效果。Shechtman采用的思路［７］是計(jì)算查詢視頻與目標(biāo)視頻的時(shí)空相關(guān)性，通過(guò)提取視頻中基于子塊的局部時(shí)空梯度信息并構(gòu)造結(jié)構(gòu)張量，并在此基礎(chǔ)上計(jì)算行為相似性，進(jìn)而實(shí)現(xiàn)人體動(dòng)作的匹配和檢測(cè)。然而，該方法需要在三維空間中進(jìn)行大量的相關(guān)度計(jì)算，導(dǎo)致其運(yùn)算復(fù)雜度很高，難以滿足實(shí)時(shí)處理的要求［８］。
　　1.基于時(shí)空顯著性的視覺(jué)注意模型
　　1.1空間域上的特征提取
　　空間域特征提取針對(duì)視頻中的每一幀單獨(dú)進(jìn)行。先對(duì)每一幀利用多次高斯低通濾波構(gòu)造高斯金字塔，其中最0層代表原始幀，第1層代表原始幀經(jīng)高斯濾波并下采樣后得到的圖像，第2層代表前一層（第1層）的圖像經(jīng)過(guò)再一次高斯濾波并下采樣所得到的圖像，以此類推。具體的層數(shù)可以根據(jù)輸入視頻的空間分辨率決定。進(jìn)一步利用一個(gè)模擬生物視覺(jué)感受野特性的“中央—周邊差”算子來(lái)提取灰度，以及顏色兩個(gè)通道的顯著性圖［４］。
　　1.2時(shí)間域上的特征提取
　　運(yùn)動(dòng)信息在生物視覺(jué)注意機(jī)制中起著重要作用。本文采用的視覺(jué)注意模型通過(guò)時(shí)空梯度來(lái)獲取時(shí)域上的顯著性［６］。為降低運(yùn)算復(fù)雜度，首先利用幀差法粗略獲取運(yùn)動(dòng)區(qū)域，以避免在非運(yùn)動(dòng)區(qū)域進(jìn)行無(wú)意義的運(yùn)動(dòng)顯著性計(jì)算。三維視頻序列可視為由兩類切片組成，即“水平—時(shí)間”（x—t）與“垂直—時(shí)間”（y—t）切片［８］。根據(jù)這兩類切片的二維梯度信息生成相應(yīng)的結(jié)構(gòu)張量，在此基礎(chǔ)上分析運(yùn)動(dòng)顯著性。
　　1.3顯著圖的合成
　　首先對(duì)灰度、顏色、運(yùn)動(dòng)這三個(gè)通道的顯著圖進(jìn)行歸一化處理，以確保真正顯著的位置在合成顯著圖中得到突出，并在各通道采用一個(gè)跨尺度的加算子將不同尺度上的顯著圖歸一到同一尺度上并逐點(diǎn)相加。
　　2.基于視覺(jué)注意的動(dòng)作檢測(cè)
　　2.1基于子塊匹配的動(dòng)作檢測(cè)
　　在基于時(shí)空相關(guān)性的動(dòng)作檢測(cè)中，需要解決對(duì)于給定的包含特定人體動(dòng)作的小段查詢視頻Q，如何在目標(biāo)視頻V中檢測(cè)出包含相似動(dòng)作的位置。基于時(shí)空梯度和子塊匹配的方法通過(guò)將視頻分解為較小的視頻塊（例如連續(xù)3幀7×7的圖像塊）并度量子塊之間的相關(guān)性來(lái)獲取動(dòng)作整體的相似度［７］。
　　該方法對(duì)每一個(gè)子塊P，通過(guò)提取時(shí)空梯度構(gòu)造結(jié)構(gòu)張量M［７］并分析得到子塊以至視頻段之間的匹配度。如果塊P只包含單一直線運(yùn)動(dòng)，則M是一個(gè)不滿秩的矩陣。反之，若M滿秩，則視頻塊中包含了多個(gè)方向的運(yùn)動(dòng)。對(duì)于查詢視頻與目標(biāo)視頻中對(duì)應(yīng)位置的兩個(gè)視頻塊P1與P2，同樣可以分別生成結(jié)構(gòu)張量M1和M2，兩者疊加構(gòu)成聯(lián)合結(jié)構(gòu)張量M12。同理，若M12是個(gè)滿秩的矩陣，則P1與P2包含不同的運(yùn)動(dòng)方向。為了得到兩個(gè)視頻塊運(yùn)動(dòng)一致性的度量，Shechtman等考察M12左上角的2×2子矩陣，［７］（該矩陣包含子塊的空間域梯度信息），并引入一個(gè)連續(xù)性的度量來(lái)表示兩個(gè)視頻塊之間的運(yùn)動(dòng)一致性。
　　利用較小的查詢視頻Q在較大的目標(biāo)視頻V中進(jìn)行動(dòng)作檢測(cè)，就是將Q與V中各與Q同樣大小的視頻段落S進(jìn)行匹配，具體而言，就是將Q與S中對(duì)應(yīng)位置的各視頻塊進(jìn)行運(yùn)動(dòng)一致性的計(jì)算，然后將各塊對(duì)之間的一致性度量值取平均，作為段落S與Q的相關(guān)值，相關(guān)值大的段落視為包含查詢動(dòng)作而被輸出。
　　2.2結(jié)合視覺(jué)注意模型的動(dòng)作檢測(cè)
　　傳統(tǒng)的基于時(shí)空梯度和子塊匹配的動(dòng)作檢測(cè)方法需要在三維時(shí)空內(nèi)進(jìn)行大量的子塊相關(guān)性匹配計(jì)算，從而使得整體耗時(shí)很高。若視頻Q在三維時(shí)空內(nèi)有M個(gè)像素，較大的目標(biāo)視頻V有N個(gè)像素，則需要進(jìn)行約MN次子塊匹配，其中每次子塊匹配都需要進(jìn)行矩陣特征值的計(jì)算，運(yùn)算復(fù)雜度非常高。本方法在動(dòng)作檢測(cè)過(guò)程中結(jié)合視覺(jué)注意機(jī)制，將計(jì)算集中在包含關(guān)鍵信息的顯著區(qū)域上，大大減少了檢測(cè)過(guò)程中子塊匹配的次數(shù)，并提高了對(duì)噪聲的魯棒性。
　　我們從以下兩個(gè)方面將前述視覺(jué)注意模型結(jié)合到動(dòng)作檢測(cè)過(guò)程中。第一，利用視覺(jué)注意模型提取查詢視頻Q與待匹配的視頻段落S中的顯著視頻塊。這里的顯著塊定義為塊中顯著點(diǎn)個(gè)數(shù)大于一定閾值的塊。進(jìn)一步，采用一個(gè)“或”運(yùn)算判斷每個(gè)塊對(duì)是否有必要進(jìn)行一次相關(guān)性匹配：當(dāng)對(duì)應(yīng)位置的兩個(gè)視頻塊中一個(gè)為顯著塊時(shí)，匹配將正常進(jìn)行，否則該次匹配將被跳過(guò)。這大大減少了塊對(duì)之間的匹配操作，降低了運(yùn)算復(fù)雜度；同時(shí)，由于未攜帶關(guān)鍵信息的非顯著塊沒(méi)有參與匹配，其攜帶的噪聲也不會(huì)對(duì)檢測(cè)結(jié)果產(chǎn)生影響，從而提高了檢測(cè)過(guò)程對(duì)噪聲的魯棒性。第二，對(duì)于較大的目標(biāo)視頻V而言，并非其中的所有段落均參加匹配，而是僅對(duì)具有較高顯著性的段落S進(jìn)行匹配。本文將包含的顯著視頻塊數(shù)量大于一定閾值的視頻段落S定義為顯著段落。通過(guò)將匹配運(yùn)算限制在顯著段落中，可以減少不必要的段落匹配，在降低運(yùn)算復(fù)雜度的同時(shí)提高了對(duì)非顯著區(qū)域噪聲的魯棒性。由于匹配在三維時(shí)空內(nèi)進(jìn)行，逐點(diǎn)移動(dòng)的匹配過(guò)程十分耗時(shí)。為了進(jìn)一步提高運(yùn)算效率，采用由粗到精的多分辨率處理方法，先在較粗的時(shí)空分辨率上進(jìn)行初步匹配，再針對(duì)匹配度較高的位置在更為精細(xì)的分辨率上進(jìn)行匹配。多分辨率分析分兩個(gè)層次進(jìn)行，如圖1所示。一方面，查詢視頻Q與目標(biāo)視頻V中的段落S進(jìn)行對(duì)應(yīng)位置塊對(duì)的匹配時(shí)，先在一個(gè)粗的分辨率下進(jìn)行，根據(jù)匹配的結(jié)果，在相關(guān)度高的塊對(duì)周圍進(jìn)行細(xì)分辨率下的匹配，直到在最精細(xì)的原始分辨率下完成匹配。在本文實(shí)驗(yàn)中，粗分辨率是在原始視頻中每隔三幀，每幀的水平和垂直方向每隔7個(gè)像素進(jìn)行匹配。然后在匹配相關(guān)度高于一定閾值（實(shí)驗(yàn)中取最大值的90%）的位置周圍進(jìn)行細(xì)分辨率下的匹配，即每幀的水平和垂直方向上各隔3個(gè)像素點(diǎn)進(jìn)行匹配。最后在原始分辨率下進(jìn)行最精細(xì)的匹配。另一方面，視頻段落S在V中的移動(dòng)也采用多分辨率的方式，即S在時(shí)空三維方向上均每隔3個(gè)像素點(diǎn)移動(dòng)一次并與Q進(jìn)行匹配，再對(duì)匹配度較高的S周圍的段落進(jìn)行匹配。通過(guò)以上兩個(gè)層次的多分辨率處理，可以進(jìn)一步降低計(jì)算復(fù)雜度。
　　結(jié)語(yǔ)
　　本文將視覺(jué)注意處理機(jī)制結(jié)合到人體動(dòng)作檢測(cè)中。通過(guò)建立基于時(shí)空特征的視覺(jué)注意模型，獲取視頻中具備顯著性從而攜帶關(guān)鍵信息的緊湊表達(dá)，并進(jìn)一步結(jié)合到基于時(shí)空特征與子塊匹配的人體動(dòng)作檢測(cè)中。該方法有效地減少了檢測(cè)過(guò)程中參與運(yùn)算的無(wú)關(guān)數(shù)據(jù)，在降低計(jì)算復(fù)雜度的同時(shí)提高了對(duì)信號(hào)噪聲的魯棒性。實(shí)驗(yàn)結(jié)果驗(yàn)證了該方法的有效性。
　　
　　參考文獻(xiàn)：
　　［1］王亮等.人運(yùn)動(dòng)的視覺(jué)分析綜述［J］.計(jì)算機(jī)學(xué)報(bào)，2002，25，（3）.
　　［2］劉小明等.基于模型的人體運(yùn)動(dòng)跟蹤［J］.計(jì)算機(jī)研究與發(fā)展，1999，36，（10）.
　　［3］陳武凡.小波分析及其在圖像處理中的應(yīng)用［M］.北京:科學(xué)出版社，2002.
　　［4］Douzi H.Faber2schauder wavelet Information Theory，1995，41，（3）.
　　［5］Mallat S G.Multifrequency channel decompositions of images and wavelet models［J］.IEEE Trans on Image Processing，2003，12，（11）.
　　［6］Malfait M，Roose D.Wavelet-based image denoising using a Markov random field a priori model［J］.IEEE Trans on Image Processing，1997，6，（4）.
　　［7］Donobo D L.De2noising by soft2t hresholding［J］.IEEE Trans on.