時空相關多通道聚類的運動目標檢測*

徐艷 王培光 楊青 董江濤

1)(河北大學電子信息工程學院,保定 071002)

2)(陸軍工程大學石家莊校區電子與光學工程系,石家莊 050000)

3)(河北工業大學電子信息工程學院,天津 300401)

4)(中國電子科技集團公司第五十四研究所,石家莊 050000)

1 引 言

運動目標檢測和跟蹤受到場景變換、遮擋和噪聲等的影響,檢測和跟蹤精度一直是計算機視覺領域研究的熱點.在CVPR2015-2018中,大部分目標跟蹤算法都是基于檢測的跟蹤,且目標跟蹤算法是基于大量離線數據的訓練下得到的,這就限制了此類算法在某些不便于采集數據或者不便于離線訓練的特殊場景的應用,再加之當前視頻環境中背景多是多模態場景噪聲多,且運動目標表現出不同特征,這就需要一個穩定、有較強魯棒性的運動目標檢測算法進行處理.

目前主流的運動目標檢測算法有光流法[1-3]、幀間差分法、背景減除法[4-6].光流法是通過分析運動場的變化對目標進行檢測,這種方法不需要預先知道場景的任何信息,但噪聲、多光源等因素會對光流場分布的計算結果造成嚴重影響; 幀間差分法原理簡單,易于實現,針對簡單背景可以取得較好的效果,但對環境噪聲較敏感; 背景減除法是利用視頻序列對背景建模,根據背景圖像與當前幀圖像的差異獲得運動目標區域,具有檢測準確且精度高的優點,但其性能很大程度上依賴于背景建模的準確性.實際復雜場景中無法預測和不確定因素的存在、動態背景、光照[7]的變化等,給背景的準確建模帶來很大挑戰.

學者們對于背景建模方法進行了很多研究[5-9],由于高斯函數在樣本數據點足夠大時,可以表征任何一種事物的規律,文獻[4]提出的GMM算法是使用混合高斯分布模型表征圖像幀中每一個像素點的特征,通過在線的學習與訓練得到背景模型并完成運動目標的檢測.文獻[10]提出了采用單像素時間序列直方圖進行背景建模,得到的前景目標區域更干凈,誤差像素較少,但該方法存儲開銷大,背景生成緩慢; 針對學習速率α無法適應運動目標的速度時,參考背景圖像中有可能出現目標的鬼影,文獻[11]提出了基于三幀差分的學習率自適應混合高斯模型背景更新的方法,減少了光照突變和目標快速運動帶來的誤檢情況; 文獻[12]引入引導濾波、空間鄰域更新及時空平滑方法,較好地抑制了背景擾動引起的虛假運動目標.ViBe算法[13]則采用隨機聚類技術,采用隨機策略更新樣本點,避免了大量的樣本建模.

從上述分析可知,目前的背景建模都是通過不同聚類方法完成背景聚類,進而完成對運動目標的檢測,但都存在以下不足:

1)當初始幀中存在運動目標時,檢測結果可能出現“ghost”現象;

2)逐像素運算,忽略了像素點間的相關性,運算效率低下;

3)在樣本或模型更新過程中閾值或參數固定不變,導致不同場景中的目標檢測精準度差距較大.

本文在混合高斯建模的基礎上,采用幀間差分法獲取模型初始參數,減少模型建立初始時間的同時使背景模型的初始參數更加貼近真實值,加快模型的收斂速度; 將文獻[13]的鄰域傳播理論引入到混合高斯模型的更新過程,提出鄰域相關度的近似計算方法,在匹配過程中,將像素級的模型建立與鄰域隨機相關相結合,在多模態背景模型建立過程中又兼顧執行效率; 引入像素點的活躍級別對學習率進行調整,加快整體模型的收斂; 最后,采用顏色-梯度相結合的方式實現多通道的混合高斯模型的建立及運動目標的檢測.

2 基于混合高斯模型GMM的目標檢測

圖像序列中同一位置的像素點序列可以用K個高斯分布綜合描述,當前像素值的概率密度由下式計算得到:

其中K是高斯分布的數量,?k,t是t時刻第k個高斯分布的權重,μk,t和分別是t時刻第k個高斯分布的期望和協方差矩陣,該點高斯分布為

1)高斯模型參數的更新

在背景更新過程中,將當前幀中像素點與所建立的K個高斯分布按照下式進行匹配:

式中,σk,t-1為第k個高斯模型在t—1時刻的標準差,D為置信參數.如果像素點匹配成功,即當前像素點滿足第k個高斯模型的分布,則按照下式對匹配的高斯分布進行參數更新,且Mk,t-1=1 :

2)生成背景分布

像素點的高斯混合模型參數更新完畢后,需要對K個高斯分布進行估計,得到能夠代表背景模型的高斯分布[5].將K個高斯分布重新進行權重歸一化處理,按照?k,t/σk,t從大到小的順序排序,將前B個高斯分布作為背景模型:

3)檢測運動目標

如果當前像素點與任意一個高斯分布匹配成功,則該點為背景點,否則判斷為運動前景.

3 改進的GMM背景模型建立方法

3.1 基于五幀差分法的空間鄰域的模型參數初始化

由于沒有先驗知識,高斯模型參數通常是初始化為固定值,在隨后的更新過程中逐步調整,如果模型參數初值選取不當將導致模型的更新較慢.

本文采用五幀差分與幀內鄰域平均的方法,實現混合高斯模型的參數初始化選取.首先提取連續五幀圖像,利用中間幀對前后兩幀進行差分運算,對差分結果進行二值化處理后再進行與運算,用以檢測初始視頻中是否含有目標信息,隨后計算除去運動區域后背景圖像中的五幀均值μ(x,y),作為像素點(x,y)的初始均值,同時計一個累加矩陣CA,CA的大小與圖像大小一致,C A(x,y)記錄滿足規則的鄰域像素點的個數,累加器各元素的更新方式為

同時,還要對均值矩陣μ(x,y)進行更新,即

計算相應的標準差σ:

并以此構建混合高斯模型中的其中一個高斯分布:

而其他高斯模型的參數按照下式獲取:

由于初始化階段考慮了幀間數據的關聯性,去除了運動目標在初始階段對建模的影響,更加不易產生鬼影現象; 將鄰域數據的一致性加入到模型參數的初始化環節,使得構建的混合高斯模型更加符合背景像素點的特征.

3.2 隨機子采樣與鄰域空間傳播理論相結合的模型參數更新策略

原GMM在建模過程中像素點間模型信息相互獨立,具體體現在:

1)對像素點孤立單獨建模,忽略了空間鄰域信息的相關性,對背景像素的整體描述不夠,因此受到噪聲或背景變化時效果下降;

2)對當前時刻t的每一個像素點都進行模型參數訓練,導致計算量很大.

圖像空間信息的連續性,像素點間既有互異性又有相似性[13],利用互異性建模能保持像素點的變化規律,利用鄰域相似性可以減少像素間的冗余信息[14],避免相似點的重復建模.由以上兩點,本文提出利用相鄰像素相關度來衡量鄰域范圍內像素的相關性,當像素相關性在某閾值范圍內時,認為鄰域像素與當前像素屬于同一類別(同屬于背景或運動前景),對于同一類別的鄰域則不進行高斯分布的參數更新計算,由于背景的像素相關性很大,因此這種基于鄰域像素相關性度量的參數更新可以在很大程度上縮減計算量.

為了得到任意時刻的均值和方差,本文引入文獻[15]在均值和方差的在線估計中用到的滑動窗的概念,對任意t時刻計算鄰域相關度,需要用到前t—N+ 1幀圖像.t 時刻滑動窗口 N 內的圖像序列如圖1所示.

圖1 t時刻滑動窗口N內的圖像序列Fig.1.The image sequence in the sliding window N at time t.

設xi,yi分別為相鄰的兩個像素點的灰度值,為xi的方差,

cov(x,y)=為兩點的協方差,為xi的均值,N為參與鄰域相關計算的圖像序列的幀數.

為簡化計算和節省存儲空間,本文對E(x)和D(x)進行了簡化,將其用該像素點混合高斯模型的均值和方差的加權平均代替,從而得到

其中K為高斯分布的數量進而得到

(一般滑動窗口N=50),最終鄰域像素相關性度量:

在進行參數更新前,首先計算在當前像素點8鄰域范圍內相對當前像素點的相關度,如果像素相關度大于某一閾值Tγ,則鄰域點與當前像素點有很大概率屬于同一類別,那么在進行模型更新時鄰域值可以直接沿用當前像素的模型,從而不進行模型更新計算; 而對于不屬于同一類別的像素點則仍然采用模型更新策略.

文獻[16]指出,當不能準確地判斷像素變化的模型時,采用隨機更新策略,能夠在一定程度上模擬像素變化的不確定性.由于圖像中背景的更新緩慢,即使是動態背景,在相鄰幀之間背景也不會有太大變化,因此對前面幀中已確定為背景的像素點沒有必要逐幀更新,因此論文采用隨機子采樣策略,對上一幀已經確定為背景的像素點隨機選取1/φ(φ=16 )進行模型更新計算,更新點鄰域范圍內的相似像素進行模型拷貝,其他背景點則維持原有高斯分布不變.

具體的更新過程如圖2所示.

圖2 模型參數更新流程Fig.2.Model parameter update process.

3.3 基于觀測向量的參數更新策略

在原GMM算法中,匹配的高斯分布按照(4)式進行更新,而其他沒有匹配的則只更新權值,且權值的更新速度較慢,不妨假設第k個高斯分布在前n個樣本點都沒有得到匹配,則在t時刻其權值更新為?k,t=(1-α)n×?k,0,通常α取值較小,這就使得?k,t的減小速度比較慢,而實際情況是這一分布應該是不符合背景模型的,我們希望這樣的分布能有更快的收斂速度.

為此,在每一個像素位置引入一個含有K個元素的計數向量,該向量元素ck負責記錄第k個高斯分布的觀測值:

首先計算像素與第k個高斯分布匹配的后驗概率:

同時,加入像素點的活躍級別來限制α:

4 基于顏色-梯度的運動目標檢測

通過上述混合高斯模型的建立,實現了背景和運動目標的聚類,但是單純基于灰度一個通道的建模方法不能充分利用圖像中的像素信息,因此對于運動目標的檢測結果含有較多空洞區域.

通過分析可知,目標通常是由若干點組成的非連續目標,相對背景而言,運動目標具有如下特點:

1)即使是相對顏色一致的運動物體也會比背景產生更多變化,況且一般情況下物體都是帶有不同顏色的;

2)目標在局部仍然具有特征連續性的特點,且運動目標與周圍背景應有比較明顯的差別.

文獻[17]提出可以采用多信息融合的方法實現目標的描述,文獻[18,19]引出基于像素顏色信息的背景建模方法,而常用的RGB顏色空間將顏色和亮度信息混雜,當亮度改變,三個顏色通道的值都會發生改變,從而降低了顏色的判別能力.HSI空間包含色度(hue)、飽和度(saturation)和亮度(intensity)信息,是一種更符合人類視覺特點的顏色表達,文獻[20]通過實驗驗證了其在目標檢測和跟蹤方面的性能優于RGB,同時,顏色對目標形狀、尺度等具有較好的不變性,而梯度對光照等具有較好的不變性[21].據此,本文提出通過顏色和梯度特征相結合的方法完成背景模型的建立,首先對原始灰度圖像求1階梯度,隨后將圖像從RGB空間轉換到HSI空間,分別對各顏色分量和梯度分量進行背景模型的初始化和訓練,最終得到HSG(hue,saturation,gradient)三通道的混合高斯建模結果,最終完成運動目標的檢測: 如果當前像素點的三個通道值與通道內任意一個高斯分布匹配成功,則該點為背景點,否則判斷為運動前景.

圖3 算法執行效率對比Fig.3.Algorithm execution efficiency comparison.

為驗證HSG-GMM算法的執行效率,選取Intel Core i5-5300U CPU,8G內存的硬件平臺運行算法程序,視頻幀圖像大小為352×228時,RGB-GMM算法、HSG-GMM算法和ViBe算法的運行時間對比如圖3所示.ViBe可以用于實時目標檢測,GMM的均值一般在0.07 s左右,適用于實時性要求不高的目標檢測領域,RGB-GMM運行效率最低,只能用于離線檢測; HSG-GMM算法采用三通道的高斯建模方法,雖然較原始GMM算法增加了通道數目,由于引入了隨機子采樣和鄰域相關度量,導致最后的總體計算量與GMM相比不增反減,其實際運行時間雖然不能和ViBe相比,但是在滿足精度要求下仍能達到實時處理的效果.

fort=1oT(T為序列的總幀數)

讀取圖像,完成H,S和G(梯度)三個不同通道的特征采集

Ift< 5 then

初始化:采用幀差法完成不同通道的高斯模型的初始化得到?k,tμk,tσk2,t初值

Else

for 通道=1 to 3(分別對應HSG三個通道)

步驟1隨機子采樣: 根據t-1時刻的背景檢測結果,隨機選取1/16背景點作為匹配位置

匹配

if 當前點是需要匹配的背景點或目標點

步驟2根據式(3),判斷當前點與高斯分布是否匹配

訓練/更新

步驟3更新當前點的高斯混合模型參數,式(15—17)

步驟4查找并標記當前點鄰域范圍內的鄰域相關度,式(14)

步驟5根據步驟3的更新結果直接對鄰域相關像素進行模型替換

步驟6生成背景分布,式(5),結合三個通道檢測運動目標

Else(沒有被隨機子采樣選中的點)

維持當前像素的背景模型不變

End

End

End

End

5 實驗與結果分析

采用Universidad Politecica de Madrid(UPM)的 Grupo de Tratamiento de Imagenes的LASIESTA Database[22],進行實驗.

5.1 性能分析

根據準確率和檢測精度指標[23]來考察算法的性能:

將數據庫中的O_CL_01數據集完成檢測準確度和精準度的檢測,分別將傳統的GMM,基于RGB三通道的GMM(RGB-GMM)、ViBe算法和本文HSG算法(HSG-GMM)進行比較.

對于O_CL_01數據集中,該圖像序列共有216幀,其中第135—206幀存在有樹遮擋的運動目標,圖4為四種算法的精準度和準確率分布曲線,圖4(a)和圖4(b)為整個視頻序列的檢測結果,圖4(c)和圖4(d)為135—206幀存在運動目標時分布曲線的放大結果.可以看出四種算法靜態背景的檢測結果基本一致,但對于運動目標檢測的準確率和精準度就有所差別.GMM算法對某些干擾圖像中的檢測結果要明顯低于其他算法,HSGGMM算法與RGB-GMM算法比較,在準確率和精準度上都有所提高; 由于ViBe算法的基本原理與其他三種不同,檢測結果的分布也呈現不同規律: 在某些區域ViBe可以獲得很高的精度,但在運動目標區域又呈現大范圍波動.

圖5為對第161幀視頻圖像的檢測結果,對于純背景幀的檢測,由于不存在運動目標,因此P基本為零,四種算法結果基本一致,只是在某些幀中含有少量噪聲; 而對于運動目標的檢測,GMM和RGB_GMM產生目標空洞較多,雖然ViBe對背景噪聲的抑制效果更好,但是目標區域仍然存在較大空洞.

5.2 效果比較

1)靜態背景測試

采用視頻序列singnal.avi檢驗初始靜態背景中存在動目標時算法的有效性,如圖6所示

圖4 算法精準度和準確率驗證(a)、(c)精準度;(b)、(d)準確率Fig.4.The accuracy and accuracy of the algorithm verify the results:(a)、(c)precision;(b)、(d)accuracy.

圖5 O_CL_01數據集第161幀的處理結果(a)原始圖像;(b)標注真值;(c)GMM;(d)RGB_GMM;(e)ViBe;(f)HSG_GMMFig.5.The result of the frame 161 in O_CL_01 data set:(a)Original image;(b)true Value image;(c)GMM result;(d)RGB_GMM result;(e)ViBe result;(f)HSG_GMM result.

圖6 初始視頻中存在動目標的靜態背景檢驗結果(a)原始圖像;(b)GMM算法結果;(c)RGB-GMM結果;(d)ViBe結果;(e)HSG-GMM結果Fig.6.Detection result of moving target in initial video in static background:(a)Initial image;(b)GMM result;(c)RGB-GMM result;(d)ViBe result;(e)HSG-GMM result.

圖7 動態背景環境中的運動目標檢測(a)原始圖像;(b)GMM;(c)RGB-GMM;(d)ViBe;(e)HSG-GMMFig.7.Moving target detection in dynamic background environment:(a)Initial image;(b)GMM;(c)RGB-GMM;(d)ViBe;(e)HSG-GMM.

圖6(a)分別為第6幀、14幀、58幀原始圖像,圖6(b)為GMM算法的檢測結果,圖6(c)為RGB_GMM的檢測結果,圖6(d)為ViBe的檢測結果,圖6(e)為本文HSG_GMM的檢測結果.GMM算法和ViBe算法中對初始視頻序列中存在運動目標的處理都會導致拖影問題; RGB-GMM由于顏色特征又可能使某些場景中存留的噪聲得以保留.

HSG-GMM特征信息更加完備,背景模型的建立更加準確,運動目標的檢測更加完整,并且克服了RGB值不穩定導致的噪聲干擾; 由于初始化階段考慮了幀間數據的關聯性,將鄰域數據的一致性加入到模型參數的初始化環節,去除了運動目標在初始階段對建模的影響; 采用的基于像素空間傳播特性的更新策略,使背景模型逐漸向鄰域擴散,有利于加快Ghost區域的識別速度,拖影的抑制效果也比較明顯.

2)動態復雜背景測試

圖7中是對數據集O_SN_01中下雪場景中運動目標的檢測,1—6列分別為視頻序列的第10,48,308,320,348,361幀的處理結果.

GMM,RGB-GMM算法對雪花類的明顯動態背景有一定的抑制,但不能消除,且獲得的目標空洞較嚴重; 本文的HSG-GMM采用觀測向量的方法,抑制動態噪聲的能力要高于ViBe,獲得參數優化后的背景模型更加接近實際,最終檢測的運動目標區域也較為完整.

6 結 論

通過改變高斯模型的初始化方法和參數的計算方法,加快了模型的收斂速度,將隨機子采樣與鄰域空間傳播理論相結合,充分利用像素的鄰域相關性簡化模型更新過程,降低運算量,并將HSI空間的顏色信息與一階梯度信息相結合,構建多通道的模型建立和更新機制,使背景模型的建立更加完善.實驗表明,算法在抑制動態背景的影響、檢測目標完整性方面有很大提升,目標空洞現象更少,但是對于攝像機運動條件下的背景建模效果卻不是很理想.