監(jiān)控視頻中目標(biāo)對象時空關(guān)系提取

曹志強，鄭世寶，張重陽

(1.上海交通大學(xué)圖像通信與信息處理研究所，上海 200240;2.上海數(shù)字媒體處理與傳輸重點實驗室，上海 200240)

1 圖像語義層次簡介

基于中層語義對象的時空關(guān)系提取和對象目標(biāo)運動趨勢的估計將圖像處理等技術(shù)結(jié)合在一起，是現(xiàn)今多媒體研究的一個很有前途的方向。

圖像語義包括了底層的特征語義、中層的對象語義和高層的抽象語義，本平臺旨在對對象語義層通過識別和推理進而找出圖像中的具體對象以及它們之間相互的關(guān)系，進行分析研究然后給出語義表達［1］(見圖1)。

圖1 圖像語義層次模型

多層次模型的圖像，包括顏色、紋理、形狀、空間關(guān)系的圖像語義內(nèi)容。比起底層特征語義如顏色、紋理等，使用的對象之間的空間關(guān)系這一中層語義的圖像識別更符合人們的識別習(xí)慣。

因此不同于使用顏色、紋理、形狀等視覺特征，本研究中基于MPEG－7標(biāo)準(zhǔn)［2－3］的中層語義是對目標(biāo)圖像最直接的語義描述，其導(dǎo)出的特征亦是通過對圖像中所描述對象進行某種程度的邏輯推理而得到的，進而對圖像中所包含物體的含義和場景的描述進行大量的高層次的推理。

此前的研究主要強調(diào)目標(biāo)對象的空間拓?fù)潢P(guān)系研究，例如在文獻［4］中，主要概括了兩個空間所有可能對象關(guān)系。而本文在空間關(guān)系研究的基礎(chǔ)上，更側(cè)重通過與時間關(guān)系的結(jié)合，即對實時監(jiān)控中運動目標(biāo)進行實時標(biāo)定，測得目標(biāo)相互之間如上下左右的位置，并結(jié)合前后等時間關(guān)系，自動組合推理出如目標(biāo)相遇等高層次的邏輯語義。

2 圖像對象時空關(guān)系的形式化描述

2.1 圖像對象空間關(guān)系的描述

文獻［5］將空間關(guān)系(Spatial Relationship)概括為尺度特征、認(rèn)知特征、層次特征(Interval Relationship)、拓?fù)涮卣?Geometry Relationship)等。

在本文的研究中主要使用的是二維模型，以一個簡單的二維對象模型進行建模。而以三維空間現(xiàn)象為重點的空間關(guān)系以及具有更不確定性的多層次的復(fù)雜空間關(guān)系的空間推理也將會是未來在時空關(guān)系領(lǐng)域的發(fā)展研究的重要方向之一。

本文在空間上構(gòu)建了如下空間關(guān)系:之上(higher)，之下(lower)，之左(left)，之右(right)，嚴(yán)格之上(above)，嚴(yán)格之下(below)，嚴(yán)格之左(left of)，嚴(yán)格之右(right of)。圖像目標(biāo)之間的拓?fù)淇臻g關(guān)系如圖2所示。

圖2 圖像目標(biāo)之間的拓?fù)淇臻g關(guān)系

除了上述利用空間點集拓?fù)潢P(guān)系來定性表示的空間拓?fù)潢P(guān)系，圖像目標(biāo)對象之間關(guān)系還有投影關(guān)系和幾何關(guān)系等［6］。其中空間幾何關(guān)系則是通過圖像目標(biāo)的坐標(biāo)來判斷距離與夾角來定量表示。

2.2 圖像對象時間關(guān)系的描述

當(dāng)敘述一個監(jiān)控視頻對象的時間先后關(guān)系時，主要是為了描述事件發(fā)生的時間點或時間段內(nèi)事件涉及目標(biāo)對象的先后變化。時間關(guān)系的表示方式主要有幾種，在此研究中選擇的時間表示為時間區(qū)間和時刻相結(jié)合的方式以更方便地判斷時間關(guān)系，因為這種表示方式既兼顧了時間區(qū)間的結(jié)構(gòu)，也包含了時間點所發(fā)生事件的信息。

任何兩個時間區(qū)間X和Y的時間關(guān)系可定義為13種［7］，這13種時態(tài)關(guān)系可以用兩個時間區(qū)間的相交情況重新定義。設(shè)X= ＜ t 1，t 2＞，t 1≤t 2，Y= ＜ t 3，t 4＞，t 3≤t 4，可定義如下13種時間區(qū)間的時態(tài)關(guān)系。

1)之前(before):定義X before Y，僅當(dāng)t 2＜t 3;

2)之后(after):定義X after Y，僅當(dāng)t 4＜t 1;

3)相遇(meet):定義X meet Y，僅當(dāng)t 2=t 3;

4)覆蓋(overlap):定義X overlap Y，當(dāng)t 1＜t 3，且t 3＜ t 2，t 2＜ t 4;

5)終點重合(finish):定義X finish by Y，當(dāng)t 3＜t 1且t 2=t 4;

6)包含(contains):定義X contains Y，當(dāng)t 1＜t 3且t 4＜t 2;

7)起點重合(starts):定義X starts Y，當(dāng)t 1=t 3且t 2＜t 4;

8)等價(equals):定義 X equals Y，當(dāng) t1=t3且t2=t4;

9)被包含(during):定義X during Y，當(dāng)t 3＜t 1且t 2＜ t 4，以及相對應(yīng)的 started by，finished by，overlaped by，meet by等4種關(guān)系，這4種關(guān)系在實現(xiàn)上則是將X和Y的順序顛倒;

10)被終點重合(finished by):定義X finished by Y，當(dāng)t 1＜t 3且t 2=t 4;

11)被起點重合(started by):定義X finished by Y，當(dāng)t 4＜t 2且t 1=t 3;

12)被相遇(met by):定義X met by Y，當(dāng)t 1=t 4;

13)被覆蓋(overlaped by):定義X overlapped by Y，當(dāng)t 3＜t 1且t 1＜t 4，t 4＜t 2。

2.3 時空關(guān)系結(jié)合的描述

將時間關(guān)系與空間關(guān)系相結(jié)合得到對應(yīng)的組合邏輯關(guān)系:例如將前后兩幀物體相對位置改變定義為經(jīng)過換邊，若相對位置不改變，則可進一步定義接近遠(yuǎn)離等關(guān)系此外，亦可定義更高級的組合邏輯事件，例如路口闖紅燈與滯留物品。

若檢測到前一時間幀內(nèi)一個人(entity)與一個物體(object)相對距離小于一個值，則判定為接近(near)，而后一時間幀內(nèi)兩者相對距離逐漸拉遠(yuǎn)，可認(rèn)為是對滯留物品事件的近義檢測。

3 時空關(guān)系提取檢測

3.1 空間關(guān)系判斷

本實驗中采取了一段自行拍攝的監(jiān)控視頻序列，從中選取2幀畫面進行空間關(guān)系判斷，如圖3和圖4所示。

本實驗采取的是VIA_1.0標(biāo)定工具，以畫面左上角為原點(0，0)，選用對象矩陣左上角點坐標(biāo)，并輔助矩陣寬和高信息得到四點坐標(biāo)。例如圖3中對象1的坐標(biāo)信息分別為＜X 392 Y 99寬57高106＞，對象2坐標(biāo)信息分別為＜X 512 Y 84寬65高69＞，對象3的坐標(biāo)信息分別為＜X 586 Y 78寬44高59＞。通過計算矩形中心點坐標(biāo)判斷上下左右空間關(guān)系，通過比較4個頂點坐標(biāo)判斷相交相離包含等拓?fù)潢P(guān)系，程序?qū)崿F(xiàn)上皆用bool函數(shù)判斷真假，例如:

bool geo_2D_rectleft(rectangle s1，rectangle s2){if(s1.center.x ＜ s2.center.x)return 1;else return 0;}

上述代碼當(dāng)對象目標(biāo)S 1在S 2左邊時則返回真值再作判斷。

在選擇的這兩例幀中，程序讀入監(jiān)控視頻圖像標(biāo)定文檔可自動輸出以下信息:前一幀，對象1在對象2之左，對象2在對象3之左，對象2在對象3之左且靠近相交;后一幀，對象3在對象1之左，對象1在對象2之左，對象1在對象2之左且靠近相交。

在單幀的空間關(guān)系判斷的基礎(chǔ)上，通過加入多幀的時間關(guān)系，可以預(yù)測出更復(fù)雜的時空組合邏輯關(guān)系。在此事件中，可定義出相遇、遠(yuǎn)離、接近等組合邏輯關(guān)系。例如當(dāng)檢測在兩幀內(nèi)兩對象目標(biāo)都處于同一邊時，判斷兩者相隔距離的變化，若變大則是遠(yuǎn)離變小則接近;若檢測到處于不同邊時則可判斷為相遇并遠(yuǎn)離。

就檢測的2幀圖像而言，通過輸入目標(biāo)文件，程序可輸出以下信息:對象3接近，經(jīng)過對象2并遠(yuǎn)離;對象3接近，經(jīng)過對象1并遠(yuǎn)離;對象2接近對象1(可預(yù)測出即將經(jīng)過)。

3.2 時空關(guān)系結(jié)合邏輯事件描述

通過對時空關(guān)系的組合判斷，可定義并預(yù)警更加高級的邏輯事件，如圖5和圖6所示。

圖5 視頻監(jiān)控序列幀例3

圖6 視頻監(jiān)控序列幀例4

在此視頻對象目標(biāo)檢測中，通過空間關(guān)系的判斷，可輸出在相鄰多幀之中，對象1與對象2都處于“相鄰”關(guān)系，位置關(guān)系伴隨著“之左”和“之右”的變化，將此邏輯關(guān)系可定義為“徘徊”。在之后幀檢測中目標(biāo)對象1與對象2的位置關(guān)系逐漸“遠(yuǎn)離”，超過預(yù)定的閾定數(shù)值，兩對象目標(biāo)間同時出現(xiàn)“徘徊”和“遠(yuǎn)離”的邏輯事件即可定義出“滯留物品”事件。

4 小結(jié)

本文基于監(jiān)控視頻內(nèi)容中中層語義模型的構(gòu)建，結(jié)合以往對目標(biāo)對象空間關(guān)系的研究基礎(chǔ)對監(jiān)控視頻中層對象語義提取進行進一步的研究。本研究在已實現(xiàn)的簡單的時間關(guān)系與空間關(guān)系函數(shù)的基礎(chǔ)上，定義此類基于中層語義的復(fù)雜邏輯事件并組合時空關(guān)系函數(shù)加以實現(xiàn)，達到運動目標(biāo)檢測和趨勢估計的效果。

［1］CHANG S，SIKORA T，PURI A.Overview of MPEG－7 standard［J］.IEEE Trans.Circuits and Systems for Video Technology，2001，11(6):1007－1016.

［2］NACK F，LINDSAY A T.Everything you wanted to know about MPEG－7:part 1［J］.IEEE Multimedia，1999，6(3):65－77.

［3］陳晞，楊軼，董育寧.用于圖像檢索的MPEG－7形狀描述子［J］.電視技術(shù)，2003，27(4):18－21.

［4］杜世宏，王橋，秦其明.空間關(guān)系模糊描述與組合推理［D］.北京:科學(xué)出版社，2007.

［5］章毓敏，基于內(nèi)容的視覺信息檢索［M］.北京:科學(xué)出版社，2003.

［6］汪彥龍，劉金華，王麗萍.基于對象空間關(guān)系的圖像檢索方法研究［J］.計算機技術(shù)與發(fā)展，2006，16(1):62－66.

［7］ALLEN J F.Maintaining knowledge about temporal intervals［J］.Communications of the ACM，1983，26(11):832－843.