基于時空域暗示的運動對象檢測和分割

摘 要:通過對視頻幀間的時域信息和幀內的空域信息的充分開發，提出一種任意視頻對象檢測與分割算法。初始的運動區域評估利用時間加權的時域幀窗，采用基于點的分割;而近似同質顏色亮度紋理區域利用區域之間的差異和區域內的相似，采用改進的分水嶺分割和基于區域特征相似度的合并。時域和空域分割結果的合并基于多數原則。最后，分割結果的完善和修正基于時域的持續性和空域上的一致性標準。通過測試，提出的分割算法獲得可靠的對象邊界，而且通過調整少量參數，可以適應于室內和室外場景以及高速和低速運動物體。

關鍵詞:時空域分割; 時間加權; 改進的分水嶺; 區域相似度

中圖分類號:TP391.41文獻標志碼:A

文章編號:1001-3695(2009)09-3530-04

doi:10.3969/j.issn.1001-3695.2009.09.094

Detection and segmentation of moving objects using temporal and spatial cues

YAN Su-rong1，2， CHEN De-ren2

(1. School of Information， Zhejiang University of Finance Economics， Hangzhou 310018， China; 2. College of Computer， Zhejiang University， Hangzhou 310027， China)

Abstract:This paper proposed a novel scheme for automatic video objects detection and segmentation by fully exploiting both inter-frame temporal information and intra-frame spatial information from video stream. In the proposed method， detected the initial motion regions by using a time-weighted temporal window， and segmented many approximately homogenous color-texture regions by improved watershed and spatial similarity criterion， built further merging results of temporal and spatial segment available on majority rule， refining them was based on spatial coherency and temporal continuity eventually. The outputs show that the proposed scheme is robust and gets fine boundary of objects. Furthermore， it is adaptable to high-speed and low-speed objects in indoor and outdoor scene by training and adjusting few parameters.

Key words:spatio-temporal segment; weighted time; improved watershed; region affinity

視頻流中的運動對象分割不僅是視頻監管問題的基礎步驟，也是許多其他視頻應用的關鍵步驟，如視頻分析、對象檢索、視頻壓縮等。因此，數十年來，它吸引了許多圖像和視頻處理領域研究者的廣泛注意，但是檢測和分割一個任意的對象仍然充滿挑戰。

傳統的視頻分割算法根據它們的主要分割標準，可以粗略分為兩大類:一類通過使用空域同質性作為主要的分割標準[1~5];另外一類是使用變化檢測作為關鍵的分割標準，這類方法大多依靠時域信息，主要有幀差法[6，7]、背景減法[8~10]。基于運動信息分割對象的方法由于使用很少的空域特征(如紋理、顏色)，以及對陰影、高光、反射、光照變化、天氣、遮擋等的影響，很難獲得可靠的分割結果和完整的對象邊界。而那些基于空域特征信息的方法，由于開始并不知道對象的運動信息，會耗費很多時間去分離對象與背景，并且空域分割缺乏語義信息，有時很難判斷一個顏色紋理區域究竟屬于哪個對象或背景，而導致出現錯分或分割不精確的情況。因此視頻分割的一個關鍵問題是如何充分利用圖像幀間的時域信息獲得對象的運動暗示，以及單幅圖像幀內空域信息得到對象的精確邊界[11，12]。

由此，本文提出一種自動視頻分割算法。考慮到背景減的場景建模難題和光流的高計算復雜度以及幀差法信息的不完整，文中運動物體的運動檢測利用運動在時間軸上的變化的連續性，計算當前處理幀與其歷史幀之間的時間加權累積差異。另外，因為基于變化發現的動作檢測的固有難題——無法提供完整精確的對象信息，所以本文利用空域特征和可用的運動特征，采用基于空域同質性的分割方法，對圖像幀的HSV梯度進行最小擬制，通過自適應的梯度選取機制來進行圖像分割以適應不同的光照條件，并用對區域內部和邊界上的相似度測量進行小區域合并。為了提高處理速度，空域和時域分割并行處理。最后，時域和空域的合并基于多數原則。合并結果的后期處理主要利用單幀在空域上的一致性和多幀在時域上的連續性來進行孔洞的排除與合并。

1 基于時空域暗示的分割

在空域分割中，因為HSV的幾何特性更適合開發依靠亮度和顏色的算法，本文采用了HSV模型，把圖像的亮度V從彩色成份(H，S)中分離出來。而在時域分割中，為了克服單一依靠亮度或顏色信息的不足，本文采用RGB顏色空間，用不同的數字來標記每一個像素屬于的對象區域。

1.1 基于時間加權的時域分割

視頻序列在時域上的變化隱含了物體的運動信息，因此物體的運動檢測可以基于視頻的最近歷史幀序列的像素變化來實現。

本文采用一個長度為N的時間窗，當前處理幀Ic與時間窗的歷史幀Xt(t=t1…tn)的時域差異為

D(X)=[D(Xt1)，D(Xt2)，…，D(Xtn)](1)

其中:D(Xt)用RGB顏色空間的歐氏距離來表示，D(Xt)=1/3(Rc-Rt)2+(Gc-Gt)2+(Bc-Bt)2。因為處于不同時間點的歷史幀，對當前幀的影響作用并不完全相同，歷史幀對當前幀的影響與它所在時間軸的位置有關，用一個與時間相關的變量Wt表示該影響因子。時間窗中各幀的權可以表示成

W=[wt1，wt2，…，wtn]T，∑tnt=t1wt=1(2)

式(1)修改為

D(X)=[D(Xt1)，…，D(Xtn)]#8226;[wt1，…，wtn]T(3)

對于D(Xt)中的每個像素差異g(xt)，如果g(xt)大于給定閾值，認為在像素x位置發生運動;否則在像素x位置沒有運動發生，本文用一個與像素值x有關的閾值Tx來量化。

在時間窗內，每個像素量化結果的時間加權值為p(x)，如果p(x)大于預定閾值δ(δ∈[0…255])，像素x被標記為前景，否則為背景，即

p(x)=(∑tnt=t1Wt×g(xt))×255(4)

其中:g(xt)=1if‖D(xt)‖>Tx0otherwise。由前面可知，時間權變量Wt在時間窗口內是遞減曲線，如圖1所示。如果遞減曲線陡峭，意味著歷史幀的影響作用變化較快;反之，如果遞減曲線平緩，表示歷史幀的影響作用變化相對較慢。當對象的移動速率較大時，如公路上飛馳的汽車，選擇陡峭的曲線;而對象移動速率較小時，如走廊中的行人，或物體運動方向與相機光軸平行時，因為歷史幀的作用持續時間較長，選擇平緩的曲線效果更好。

圖2是三種時間權值作用的效果。

從圖2可以看出，揮拍的手部相對腿部運動較快，因而在平滑的時間權值W曲線作用下，腿部輪廓可以較清晰地凸顯出來;相反，在陡峭的曲線作用下，球拍以及手部可以得到較好的輪廓(灰度中間結果圖中，亮度越高代表該點被標志為前景點的概率越大)。

1.2 空域分割

多數的同一對象包含了近似同質的顏色紋理模式，空域分割正是把圖像劃分成許多同質的顏色紋理區域。本文不是嘗試評估一個紋理區域的具體模式，只是測試一個給定的顏色紋理區域的同質性。通常，不同的顏色紋理區域在其邊界上被明顯區分，所以，首先用梯度信息把當前圖像初始分割為許多不同的小區域，然后通過估計初始分割得到的顏色紋理區域的空域一致性來進行同質區域合并。

1.2.1 基于部分梯度量化的自適應HSV梯度選取的初始分割

分水嶺算法可以獲得較好的邊界信息，但其對梯度的依賴導致對梯度噪聲非常敏感。本文采用一種改進的分水嶺區域分割算法，在梯度計算過程中，算法根據梯度方向和幅度把不符合邊界條件的梯度量化為一個較小值，并將其作為分水嶺方法的初始種子點之一。另外，除了必要的梯度去噪處理外，為了能檢測出那些較弱的邊界，采用一種自適應的HSV梯度選取方法，極大地改善分割結果，這也是本文中空域分割重要的一步。

具體而言，當圖像幀的飽和度較低時，圖像中的邊界信息主要由圖像亮度的梯度來決定，但是當局部亮度的梯度值較大時(如大于整圖的亮度梯度均值)，為了獲得較為精確的邊界，本文選擇色度、飽和度和亮度梯度三者中具有最大梯度值的一方參與分割，即

g(x)=gV(x)if gV(x)/σV

當圖像幀的飽和度處于中間程度時，圖像的邊界主要由圖像的色度和亮度決定，即

g(x)=max(gH(x)/σH，gV(x)/σV)(6)

而當圖像幀的飽和度較高時，圖像中的邊界主要由圖像色度的梯度決定。類似地，當局部的色度梯度值較大時(如大于整圖的色度梯度均值)，為了獲得精確的邊界，選擇色度、飽和度和亮度梯度三者中最大的梯度參與分割。

g(x)=gH(x)if gH(x)/σH<avg(GH(X))max(gH(x)/σH，gS(x)/σS，gV(x)/σV) otherwise(7)

式(5)~(7)中:gH(x)、gS(x)、gV(x)分別表示像素點的H、S、V梯度;avg(GH(X))、avg(GS(X))、avg(GV(X))和σH、σS、σV是整幅圖像的H、S、V梯度均值和方差;在比較每個像素點的梯度過程中，為了減少局部梯度的限制，用其對應的梯度方差σH、σS、σV修正局部梯度，但是參與區域分割的梯度依然是計算的原始梯度，即未用方差修正的梯度。

1.2.2 近似的同質顏色亮度紋理區域合并

初始分割根據區域在邊界上的差異把圖像幀分成許多小區域，但是分水嶺方法的過分割問題可能會使本屬于同一顏色亮度紋理分成不同的區域，所以對于過分割問題的消解，同質的顏色亮度紋理區域合并是必要的。

假設初始分割的輸出區域為R1…Rn，對于兩個具體的相鄰區域Ri和Rj 而言，它們在邊界和區域內部的相似度表現為其特征的相似度，如顏色、紋理、運動的相似。

A(fi，fj)=e(-cij/α)×e(-tij/β)×e(-eij/γ)(8)

式(8)表示Ri與Rj 之間的相似度。其中: fi和fj分別代表區域Ri和Rj 抽取的特征;cij表示區域內的顏色距離;tij表示區域內的紋理距離;eij表示在邊界上的強度距離;α、β、γ是歸一化因子，α=C/k1，β=T/k2，γ=E/k3，C、T、E等價于cij、tij、eij的最大可能值，k1、k2、k3是它們的權值，決定它們在計算中的相對影響值。

另外，具有相似運動特征的區域也可能屬于同一對象，如果運動特征可用，將運動特征考慮進來以保證精確的邊界。式(8)可修改為

A(fi，fj)=A(fi，fj)×e-D./λ(9)

其中:D是兩區域運動幅度的距離;φ是兩區域運動方向夾角的正切;λ=1/k4，同樣，k4是權值，調整運動特征在相似度計算中所占的比重。

根據上述定義的空域相似度，合并進程通過選取具有最大相似度并具有相同性質的時域分割結果的相鄰區域來得到區域R1…Rn。

1.2.3 對象邊界抽取

最終的分割結果需要通過歸并時空域的分割結果來完成，而對象邊界抽取是根據時域分割的結果p(x)，采用多數原則，即根據區域中多數點的時域分割結果來確定把每一個空域分割區域是標記為前景對象還是背景。不過，在圖像中可能出現一些孔洞;一方面因為一些對象本身有不同的顏色紋理，由于缺少必要的語義信息，在空域分割中很難確定是屬于哪部分;另一方面，由于閾值選取的原因，如果一些對象的部分區域與背景或與對象之間顏色紋理相似，再加上一些噪聲，同一個對象也會被分割成不同的時域分割結果。

為了保持空域上的一致性，與文獻[2]的J原則相似，文章引入一個空域一致性標準Sij，假設孔洞為Ri的所有鄰接區域用Rj表示(i≠j，j=1，…，k)，dij是Ri和Rj的所有像素方差，dj是Rj的所有像素方差:

Sij=min((dij-dj)/dj; j=1，…，k)(10)

Sij決定了Ri與哪個鄰接區域合并。如果孔洞在對象內部，它的鄰接區域只有一個則直接合并;如果孔洞剛好處于與多個對象鄰接的位置，Ri與具有最小空域差異的區域進行合并。另外，為了保持時域上的連續性，可以考慮最近幾幀的分割結果，如果一個區域在當前幀的過去連續幾幀都被歸為背景，那么它在當前幀也可能是背景，這將有助于得到精確的分割結果，尤其是前景對象只有部分區域有運動的情況，如揮手或以非常緩慢的速度移動。

2 實驗結果

筆者開發一個實驗系統框架用于測試上述算法。實驗中，采用了20余組自拍攝或研究機構公開的視頻，分為室內外場景、快慢速物體場景、物體擁擠與稀疏場景、不同天氣場景、光照變化與不變場景以及人為添加噪聲等多種組合，并用算法所涉及的參數，包括Tx、δ、W、k1、k2、k3、k4進行多種組合，算法體現出較好的魯棒性。圖3和4是Tx和δ取部分不同值的效果圖。圖 3中，Tx=a+bV，V為當前像素的亮度值。

圖5是未考慮運動特征，k1=1/4，k2=1/4，k3=1/2和k1=1/3，k2=1/3，k3=1/3的時的部分空域分割結果。

圖6、 7是閾值Tx的參數為a=10， b=0.2， δ=170， k1=1/4， k2=1/4， k3=1/4， k4=1/4，室內場景采用了W=W1， 室外場景采用了W=W3(圖1)的情況。圖6、7中，(a)是當前處理幀;(b)是時域分割結果;(c)是空域分割結果;(d)是時域和空域歸并的邊界抽取結果;(e)和(f)則是局部放大的對象邊界抽取結果和對象空域分割結果的對比圖。

圖6、7是兩類完全不同的運動對象和場景，但是由于算法在時域分割上采用的加權系數的彈性機制，既可以適應快速移動物體又能應用慢速移動物體，而在空域上的自適應梯度選取機制為室內和室外場景的應用提供更大的靈活性。圖6中不僅獲得較為精確的對象邊界，而且有效去除了陰影，這是因為在空域上的初始分割采用了HSV梯度，而陰影具有暗顏色和紋理不明顯的特征，所以，當背景較為光滑時，陰影可以得到有效抑制。相比之下，圖7由于路面自身紋理復雜，汽車影子不能有效消除。

圖8是分別使用不同的cue在測試數據集上的結果，通過調整閾值，可以得到一組漏判率與誤判率的組合，隨著誤判率的下降，漏判率會相應上升。可以根據具體應用的需求選取合適的閾值。單獨采用時域cue對運動對象進行分割，對高速運動物體可以獲得較理想的結果;但對低速物體，誤判率和漏判率就都較單獨使用空域cue進行分割高。當使用結合時空域cue的分割時，則可以使誤判率和漏判率都得到降低。

圖9是某一時刻起間隔0.5 s的連續4幀分割。可以看到，對于人這樣的非剛性物體，可以得到物體完整和細節豐富的分割結果。對于車輛，雖然在線性變化后可以看做剛性物體，但由于車體表面金屬和玻璃的反光，使得這樣的移動物體很難滿足光流約束方程，不適合用光流法跟蹤，但用本文的算法則可以得邊界較清晰的分割結果。

3 結束語

本文提出一種可靠的運動對象分割算法，該方法既適應于室外視頻監管，也適應室內視頻監管。其主要的特征是對時間窗口中的圖像幀進行時間加權，同時，空域上的近似同質顏色紋理區域的分割采用多尺度標準。整個分割過程如下:首先是基于時間連續性的時域分割，每一點分割閾值均與該像素點亮度相關的一個閾值，同時進行基于空域相似性的區域分割，即先量化非邊界梯度，再根據圖像采用自適應選取的HSV梯度進行邊界劃分，再對初始分割區域采用相似性劃分;然后是歸并可用的時域和空域結果，獲得較精確的邊界分割。與現有的分割方法相比，本文提出的方法利用時域和空域分割的互補特性，避免時域上對象邊界的不精確，空域上運動評估的高計算成本，能夠獲得更為精確可靠的結果，而且在空域采用自適應機制，算法的自適應較好，如果借助對象跟蹤，可以進一步有效地分割結果。

參考文獻:

[1]MECH R，WOLLBORN M A. A noise robust method for 2-D shape estimation of moving objects in video sequences considering a moving camera[J]. Signal Process， 1998， 66(2): 203-217.

[2]DENG Yin-ning， MANJUNATH B S. Unsupervised segmentation of color-texture regions in images and video[J]. IEEE Trans. on Pattern Analysis and Machine Intelligence， 2001，23(8):800-810.

[3]YAAKOV T， AMIR A. Automatic segmentation of moving objects in video sequences: a region labeling approach[J]. IEEE Trans on Circuits and Systems for Video Technology， 2002，12(7):597-611.

[4]YE Qi-xing， GAO Wen， WANG Wei-qiang， et al. A color image segmentation algorithm by using color and spatial information[J]. Journal of Software， 2004，15(4):522-530.

[5]CHEN Yu-xi， HAN Chong-zhao. A modified region growing algorithm for multi-colored image object segmentation[J]. Chin Opt Lett， 2007， 5(1):25-27.

[6]CHIEN S Y， MA S Y， CHEN L G. Efficient moving object segmentation algorithm using background registration technique[J]. IEEE Trans on Circuits and System for Video Technology， 2002，12(7): 577-586.

[7]STEFANOL D， MATTOCCIA L， MOLA M. A change-detection algorithm based on structure and colour[C]// Proc of IEEE Conference on Advanced Video and Signal Based Surveillance. 2003: 252-259.

[8]YANG Tao， LI S Z， PAN Quan， et al. Real-time and accurate segmentation of moving objects in dynamic scene[C]// Proc of the 2nd ACM International Workshop on Video Surveillance Sensor Networks. New York: ACM Press， 2004:136-143.

[9]RAD R，JAMZAD M. Real-time classification and tracking of multiple vehicles in highways[J]. Pattern Recognition Letters， 2005， 26(10): 1597-1607.

[10]RAMBABU C， WOO W. `Robust and accurate segmentation of mo-ving object in an real-time video[C]// Proc of ISUVR.2006:68-72.

[11]WONG S F， CIPOLLA R. Extracting spatio-temporal interest points using global information[C]// Proc of the 11th IEEE International Conference on Computer Vision. Los Alamitos， CA: IEEE Computer Society，2007: 1-8.

[12]LIU Zhi ，LU Yu，ZHANG Zhao-yang. Real-time spatio-temporal segmentation of video objects in the H.264 compressed domain[J]. Journal of Visual Communication and Image Representation， 2007， 18(3):275-290.