黃東旭,慕德俊,戴 航
(西北工業大學自動化學院控制與網絡研究所,西安710072)
隨著視頻監控系統在社會生活中的廣泛應用,智能視頻分析技術已成為計算機視覺領域中的一個新的研究方向。在智能視頻分析系統中,目標的檢測是進行視頻分析的前提和基礎。
智能視頻分析技術分為兩個方面:①目標檢測;②目標跟蹤與識別。針對目標檢測,國內外很多文獻做了相關的研究。文獻[1]采用動態高斯混合模型,對圖像中每個像素點進行建模,并實時更新該模型。對于新圖像幀的每個點,依據高斯混合模型判斷該點屬于背景點還是前景點。最后利用形態學,將前景點合并,實現前景區分和目標檢測。文獻[2]采用機器學習的方法,在訓練學習過程中,采用Harris-SIFT描述事件的特征,并用SVM進行分類和檢測。文獻[3]根據前景目標上像素值呈一定的分布規律,用貝葉斯理論分析檢測圖像上的各點屬于該分布規律的概率,實現前景區分和目標檢測。文獻[4]提出利用隱馬爾科夫方法對目標的運動軌跡進行分類,實現對運動目標的檢測和跟蹤。文獻[5]采用幀差法分析思想,首先選取每個像素點周圍鄰近的N個點像素值作為背景模型的集合,然后通過計算被檢測點與其背景模型集合的距離,判斷被檢測的屬于前景還是背景,最后根據判斷出的前景點的情況,實現目標的檢測。文獻[6]首先采用光流法從圖像序列中計算出光流向量,根據光流向量的直方圖對其分類,然后通過鏈式編碼算法對各類進行區域劃分,并從劃分區域提取特征點,最后以特征點為學習模型,使用SVM和HMM實現目標的檢測。
目前的各種方法雖然可以實現目標檢測,但其實現都比較復雜,對于包含大量冗余信息的長時間視頻(如小區的監控視頻,停車場的監控視頻等),處理效率不高。
針對冗余信息較多的監控視頻,提出了一種快速檢測目標的方法。該方法首先利用改進的直方圖均衡化算法對圖像進行預處理,提高了圖像的對比度;采用曼哈頓距離計算圖像幀之間的差值,并根據最大化原則對差值進行處理;然后以幀差值的眾數為初始值,根據逐步精確的原則,迭代求取閾值,通過圖像幀差值與閾值的比較,快速判斷出前景幀和背景幀;在背景幀基礎上建立背景模型,依據前景幀上各點與背景模型中對應點的卡方值識別前景點和背景點;最后通過數學形態學,去除噪聲和斑點,連通物體上的前景點,實現目標的準確檢測。在測試過程中,利用Matlab實現了上述目標檢測的方法,并以小區的監控視頻進行實驗。結果表明,該方法能夠快速準確地檢測出目標。
由于硬件條件的限制,視頻監控錄像畫面經常不是很清晰,對比度不高。低對比度的圖像在進行圖像差值的計算過程中,當與檢測區域顏色相近的目標進入時,圖像的差值就會很小,難以檢測出目標。所以在目標檢測中,首先需要對圖像進行預處理,增強圖像對比度,為圖像差值計算提供良好的輸入數據。
直方圖均衡化技術可以用于增強圖像的對比度,文獻[7]在直方圖均衡化基礎上提出雙邊直方圖均衡化,利用圖像中像素值的均值作為閾值,將直方圖分成兩個子直方圖,然后分別對兩個子直方圖進行均衡化處理。文獻[8]在文獻[7]的基礎上,在子直方圖均衡化的過程中,用直方圖函數的均值代替函數中大于均值的值,解決了直方圖水平飽和性效應問題。但作者并沒有考慮如何處理下限的問題,同時對函數中大于均值的函數值用均值替代也不太恰當。在[7,8]的基礎上,用直方圖函數的上四分位數代替大于上四分位數的值,下四分位數代替小于下四分位數的值,實現直方圖的均衡化。
改進的直方圖均衡化過程如下:
2)根據均值將圖像中像素點分為兩個集合P和R,其中P={xij|xij≤M,xij∈X},R={xij|xij> M,xij∈X};
3)獲取每個集合的灰度值對應的像素點個數的第25個百分位數和第75個百分位數,QP1,QP3,QR1,QR3分別為集合P、Q的第25個百分位數和第75個百分位數,并由以下方程確定:

4)重新計算函數h(x),對于集合P中的點,

對于集合R中的點

5)計算灰度值的概率密度函數和累計分布函數,集合P中像素點個數|P|h(x),集合 R中像素點個數|R|=h(x),圖像灰度值概率密度函數p(x)定義如下:

分布函數F(x)定義如下:

6)根據變換方程計算均衡化后圖像中各點灰度值,

圖像經過預處理后,首先計算圖像幀之間的差值,然后對差值進行處理。在此基礎上,自適應閾值算法能夠更準確的確定閾值。
1)圖像序列差值計算
差值計算實質上是計算對象間的差異度[9],對象間的差異度通常采用對象間的距離進行計算。常用的距離度量包括歐幾里得距離、曼哈頓距離和閔可夫斯基距離。同時可以根據需要,對距離計算中的各個分量賦予權重。由于歐幾里得距離和閔可夫斯基距離計算復雜度較高,而采用曼哈頓距離可以滿足目標檢測的需求。采用曼哈頓距離計算圖像幀的差值。Ik(x,y)表示第k幀圖像在(x,y)處的灰度值。在(x,y)處,Dk(x,y)=|Ik(x,y)-I1(x,y)|,第k幀圖像與第一幀圖像的差值定義為:

C是圖像中像素點位置的集合。
2)差值處理
利用公式(6)計算的差值,沒有進行歸一化處理,差值分布零散,必須進行差值處理。差值處理主要利用歸一化和差異擴大化的思想,首先過濾值為0的差值,然后選取一個恰當的閾值。差值小于該閾值,用閾值除以差值的平方代替差值;差值大于閾值,用差值除以閾值的平方代替差值。具體計算公式如下:

其中T為閾值。
對于閾值的選擇,可以采取不同的方法。文獻[10]提出了最大方差閾值方法,利用差別最小和最小二乘法原理,將差值分割成兩組,取兩組之間方差最大時的分割值作為閾值;根據差值的分布特性,也可以采取K-means[9]等聚類算法將數據聚合為兩類,以兩類數據的分割點作為閾值。從計算效率上考慮,采用差值的中值作為閾值,中值的計算簡單易行,提高了圖像幀差值計算的效率。最后利用差值的均值描述兩幀之間的差值,在2.3節中通過對差值均值的統計分析,區分前景幀和背景幀。
差值的計算算法描述如下:


V為Dk(x,y)中非零值的集合,Sk表示差值的和,Mk表示第k幀和原始幀的幀差。
通過2.2中對幀差值的計算和處理,可以得到各幀與原始幀差值的一個序列。本節從差值序列的分布中自適應確定閾值。差值高于閾值的幀認定為前景幀,差值低于閾值的幀認定為背景幀。
根據實際應用環境,監控視頻冗余信息較多,圖像幀差值大部分分布在一個值T'左右,這些為背景幀;少數則為一些較大的值,這些為前景幀。根據幀差值的這種分布特性,首先求取幀差值的眾數作為閾值的初始值,然后利用迭代方法,逐步精確閾值。
1)眾數的求解
由于幀差值分布很分散,具有相同幀差值的元素很少,直接求解眾數并不準確。本節先求取眾數所在區間,然后利用區間估計的方法求解眾數,具體求解方法如下:
①以組距0.01將幀差Mk分組,組數為

②計算第k組的頻數f(k);
③獲取眾數所在組和對應的區間,頻數最大的組即為眾數組;
④根據眾數公式[10]計算眾數,眾數計算公式為:

其中L1為眾數組的下組界,Δ1為眾數頻數減去前一組頻數,Δ2為眾數頻數減去后一組頻數,c為眾數組組距寬度。
2)迭代求解閾值
在迭代過程中,以眾數做為閾值的初始值,進行迭代計算。經過第一次迭代,去除了端點附近的值后,考慮到計算均值比計算眾數復雜度小,而且此時均值和眾數相差不大,在后續計算中以幀差值的均值作為閾值。
迭代中,如果幀差值與閾值的相對偏差大于等于0.1,則從幀差集合中移除該數據,以實現數據的過濾。
迭代的終止條件是閾值的相對誤差小于等于0.01。
具體算法如下:
①幀差的集合為B,即Mk∈B
②Repeat
③確定新的閾值T(T初始值為眾數,以后每次為幀差的均值,即T=M∑BMk/|B|)
k∈
通過閾值和幀差值的比較,可以將所有的視頻幀分為前景幀和背景幀。從背景幀建立背景模型,過程如下:
1)對于N個背景幀,Gi(x,y)表示第i個背景幀上點(x,y)的像素值,M(x,y)表示N個背景幀中點(x,y)像素值的集合:


3)將所有的卡方值擬合為一組正態分布數據,卡方值的均值和方差計算如下:
前景檢測方法如下:
1)對于前景幀中點(x,y)的像素值設為(Gb(x,y),該點的卡方值為:

2)根據正態分布的特性,可以得到如下判斷前景點和背景點的方程(其中前景點集合為F,背景點集合為B)。

根據方程(10),可以將前景幀中的所有點分為前景點或背景點。
區分出前景幀中的前景點和背景點之后,首先對前景幀進行二值處理,處理方法如下:

G(x,y)為點(x,y)的像素值。
在形態學處理過程中,首先采用1×1的核對前景幀進行腐蝕處理,消除斑點和噪聲,腐蝕處理方法如下:

然后采用3×3的核對前景幀進行膨脹處理,將前景點連通起來,更好的區分出物體,膨脹方法如下:

經過形態學處理之后,消除了孤立的噪聲和斑點,并將代表物體的前景點連通起來,還原了物體的真實形狀,能夠更加準確的檢測出物體。
根據第2節的方法,在Matlab下實現了目標檢測的五個步驟:圖像預處理,差值計算和處理,自適應閾值的確定,背景模型的建立和前景檢測,數學形態學處理。選取小區的監控視頻進行測試。
圖1顯示了經過直方圖均衡化處理,圖像幀差值計算和處理后,圖像幀差值的分布圖(縱軸表示幀差值,橫軸表示幀序列)。

圖1 圖像幀差分布圖
圖2(a)和圖2(c)是監控視頻幀圖像,圖2(b)和圖2(d)是通過建立的背景模型和方程(10),識別出來的前景點和背景點圖像(前景點為白色,背景點為黑色)。

圖2 前景點和背景點識別圖
圖3(a)和3(b)分別是圖2(b)和圖2(d)進行數學形態學處理后,最終檢測出來的目標圖像。

圖3 目標檢測結果
在Matlab中測試,對于128×96的圖像,在AMD Dual Core Processor 4200+,1G內存下,處理速度能夠達到500幀/秒。
通過圖像預處理,圖像幀差值計算,差值處理和計算閾值等一系列的方法,從視頻流中判斷出了背景幀和前景幀;基于背景幀建立背景模型,采用統計分析的方法識別前景點和背景點;利用數學形態學算法去除噪聲和斑點,連通物體上的前景點。該方法可很好地從包含大量冗余信息的監控視頻中快速、準確地檢測目標,可應用于智能視頻分析系統之中。
[1] Stauffer C,Grimson W.E.L.Adaptive background mixture models for real-time tracking[C].Computer Vision and Pattern Recognition,1999,IEEE Computer Society Conference on,2:246-252.
[2] Camara-Chavez G.,de Albuquerque Araujo A.harris-SIFT descriptor for video event eetection based on a machine learning approach[C].Multimedia2009,ISM '09,11th IEEE International Symposium on,1:153-158.
[3] Benedek C,Sziranyi T.Bayesian foreground and shadow detection in uncertain frame rate surveillance videos[J].IEEE Transactions on image processing,2008,17(4):608-621.
[4] Fan Jiang,Ying Wu,Katsaggelos A.K.A dynamic hierarchical clustering method for trajectory-based unusual video event detection[J].IEEE Transactions on Image Processing,2009,18(4):907-913.
[5] Barnich O,Van Droogenbroeck M.ViBe:A universal background subtraction algorithm for video sequences[J].IEEE Transactions on?Image Processing,2011,20(6):1709-1724.
[6] WaliA, AlimiAM. Eventdetection from video surveillance data based on optical flow histogram and high-level feature extraction[C].Database and Expert Systems Application,2009,20th International Workshop on,221-225.
[7] Yeong-Taeg Kim.Contrast enhancement using brightness preserving bi-histogram equalization[J].IEEE Transactions on?Consumer Electronics,1997,43(1):1-8.
[8] Chen Hee Ooi,Kong,N.S.P.Ibrahim,H.Bi-histogram equalization with a plateau limit for digital image enhancement[J].IEEE Transactions on Consumer Electronics,2009,55(4):2072-2080.
[9] Jiawei Han,Micheline K.數據挖掘概念與技術[M].范明,孟小鋒,譯.北京:機械工業出版社,2006.
[10] M.R.斯皮格爾,L.J.斯蒂芬斯.統計學[M].楊紀龍,等譯.北京:科學出版社,2002.