基于改進混合高斯模型和圖形句柄的異常車輛檢測*

劉艷萍，崔 彤，周長兵，李小翠，劉 甜

(1.河北工業大學電子信息工程學院，天津 300401；2.中國地質大學(北京)信息工程學院，北京 100083)

1 引言

在禁止車輛行駛的場景中對異常車輛的檢測具有現實意義，物聯網節點進行數據的監控、收集之后將數據傳輸到本地終端進行異常車輛的檢測，檢測到異常車輛后將此時的數據上報到云端，在云端進行異常報警處理，對車輛進行警告，同時提醒行人注意違規車輛。異常的定義存在很大的主觀性，異常是根據研究的具體問題做的規定，根據本文的具體研究背景，本文定義的異常事件為在步行街或者校園等禁止車輛行駛的場景中出現車輛的事件，這里的車輛包括汽車和自行車。正常車輛的檢測直接根據車輛的形狀特征進行檢測即可；對于本文定義的異常車輛的情況，異常車輛周圍會出現許多行人，所以進行異常車輛檢測時需要先將行人和車輛從場景中提取出來，再通過特定的方法來將行人和車輛進行區分，從而檢測出異常車輛。實際生活中，我們需要利用計算機自動識別出人群中出現的異常車輛[1]，以降低人工檢測所帶來的漏檢測和誤檢測，并達到節省人力的目的。對人群中出現異常車輛的正確檢測在保障人們生命安全方面具有重要意義，但光照和實際環境的變化會導致實際進行異常車輛檢測時出現誤檢測，如何提高檢測準確度和效率是目前研究的重要問題。

運動目標檢測方法主要有背景減除法[2]、幀間差分法和光流法。背景減除法是通過當前幀與背景模型做差分的方法來得到運動目標，隨著研究的持續推進，混合高斯建模不斷地被應用于運動物體的檢測。Indrabayu等人[3]將混合高斯模型用于車輛檢測，使用ROC分析對檢測系統進行驗證，可以有效地將車輛檢測出來。Syed等人[4]提出使用高斯分量和動態學習率對像素塊的強度值進行建模，改進混合高斯模型用于運動目標檢測，實驗結果顯示該模型比已有算法花費的時間少4倍，并且性能與已有算法幾乎相似。宋懷波等人[5]通過對像素點建立Horn-Schunck光流場，實現了對奶牛嘴部的自動檢測。光流法的計算復雜、抗噪性差，故而在實際目標檢測中使用較少。Rojas等人[6]利用背景減除法和光流法獲取前景區域，之后通過混合高斯模型GMM(Gaussian Mixture Model)對正常行為模式進行編碼。檢測到異常行為，將樣本中像素值與混合模型的進行比較，獲取前景區域。與其他算法進行實驗比較，結果表明其算法性能優于其他算法。Li等人[7]使用基于最小生成樹的聚類算法對所有特征向量進行分組，并使用改進的SVM進一步對所有組進行建模，構建集成分類器進行異常檢測。該方法已經在幀級和像素級上進行了測試，并且檢測結果優于其他算法的。Jin等人[8]將視頻序列劃分為時空斑點，采用基于半參數模型的統計方法檢測最有可能出現異常行為的斑點，之后利用最大光流能量和局部描述符來確定這些可疑斑點是否真的包含異常行為，實驗結果顯示了該算法的有效性。幀間差分法[9]是通過對連續幀作差分來獲得運動目標區域，該算法在很大程度上易受光線和目標運動狀態的影響，導致得到不完整的物體輪廓。相比較于光流法，混合高斯模型計算量較小，所以本文選擇采用混合高斯建模來提取運動的前景物。

結構相似性SSIM(Structural SIMilarity index)[10]是一種全參考的圖像質量評價指標，分別從亮度、對比度和結構3個方面度量圖像相似性，有助于解決圖像間亮度變化問題。相較于余弦相似度，SSIM運算量較小。而傳統的直方圖過于簡單，只要顏色分布相似，就會判定二者相似度較高，顯然不適合本文。相較于大多數的基于誤差敏感度的圖像質量評估算法，如均方誤差MSE(Mean Squared Error)和峰值信噪比PSNR(Peak Signal to Noise Rate)，SSIM不會出現評價結果與人的主觀感覺不一致的情況。

由于忽略了各像素在空間上的鄰域信息,且像素值通常會受到隨機噪聲、光照變化和背景相對運動的影響,利用傳統混合高斯模型提取出的前景目標會出現不完整、產生空洞和重影現象。針對上述不足,本文提出了一種基于SSIM的混合高斯建模的異常車輛檢測算法，采用SSIM計算2幅圖像像素點間的相似度，在高斯建模后進行二次背景建模，同時引入指數函數來優化高斯建模過程中的權值更新過程，提高了更新速度。引入SSIM進行背景建模解決了亮度變化問題和重影問題。提取出的前景圖像與Canny邊緣檢測得到的結果圖像做與運算，結合邊緣信息[11]很好地解決了重影問題。由于正常的車輛檢測大多數是僅僅根據前景物的位置信息進行簡單的標注，當位置信息不準確或者閾值的設置不合適時易出現將行人誤檢測為車輛的情況。本文采用圖形句柄函數[12]優化連通域的方法對前景區域進行異常車輛檢測，通過圖形句柄函數對異常車輛進行標注時的細微優化，達到了從人群中檢測出異常車輛且標注框更加貼近車輛形狀的目的。

2 異常車輛檢測算法

2.1 傳統混合高斯模型

采用混合高斯建模GMM進行前景物的提取，可以將晃動的樹葉等不屬于前景的物體剔除出去。圖像中每個像素點的值在短時間內都是圍繞某1中心值在一定距離內呈高斯分布，通常，中心值可以用均值來代替，一定距離用方差來代替。對于隨機變量X的觀測數據集{x1,x2,…,xN}，其中xt為t時刻像素的樣本，其服從的混合高斯分布概率密度函數如式(1)所示：

(1)

其中,K為分布模式總數，mk,t為t時刻匹配k模型時像素的均值，σk,t為t時刻匹配k模型時像素的標準差 ，I為三維單位矩陣，wk,t為t時刻第k個高斯模型的權重。

與建立好的模型進行匹配時，如果像素點的值偏離中心值較遠，則這個像素值屬于前景點；如果像素點的值與中心值的偏差在一定方差范圍內時，則這個點屬于背景點。匹配規則如式(2)所示：

|Ik(x,y)-mk|≤2.5σk

(2)

其中，mk和σk分別為匹配k個高斯模型時像素的均值和標準差。

當像素點與第k個高斯模型匹配時，分別采用式(3)～式(6)更新權值、均值和標準差；當像素點與第k個高斯模型不匹配時，按式(7)降低其權重。

ρ=α/wk

(3)

w′k=(1-α)*wk+α

(4)

m′k=(1-ρ)*mk+ρ*Ik(x,y)

(5)

(6)

w′k=(1-α)*wk

(7)

其中，ρ為此時根據權值得到的均值和方差的學習率，α為未更新之前的初始學習率。

之后根據權重進行模型優先級排序，再依據此時的優先級進行像素值重置，完成重置即完成了前景與背景的區分。當像素值與模型匹配時，則為背景點；反之，則為前景點。

2.2 SSIM結構相似性

SSIM由德州大學奧斯丁分校的圖像和視頻工程實驗室(Laboratory for Image and Video Engineering)提出，該指標分別從亮度、對比度和結構3方面度量圖像的相似性，即SSIM測試系統由3種對比模塊組成，其結構圖如圖1所示。

Figure 1 SSIM test system structure圖1 SSIM測試系統結構圖

利用滑動窗將圖像分塊，令分塊總數為N，考慮到窗口形狀對分塊的影響，采用高斯加權計算每一窗口的均值、方差以及協方差；然后計算對應塊的結構相似度SSIM；最后將平均值作為2幅圖像的結構相似性度量，即平均結構相似性SSIM如式(8)所示：

(8)

其中，uX、uY分別表示圖像X和Y的像素均值；σX、σY分別表示圖像X和Y的標準差；σXY表示圖像X和Y的協方差；C1和C2為常數，是為了避免分母為0而設計的。通常取C1=(K1*L)2,C2=(K2*L)2,一般地K1=0.01,K2=0.03,L=255。

2.3 基于SSIM的改進混合高斯模型

混合高斯模型使用K個高斯模型來表征圖像中各個像素點的特征，一般K取值為3～5。本文分別采用3個和5個高斯模型進行建模測試后發現，二者進行建模的效果相同，但是由于增加1個模型，建模所消耗的時間就大大增加，所以本文選擇使用3個高斯模型進行建模。模型建立之初，需要有較快的更新速度來加速重影的消除，所以本文采用較大的學習速率；一段時間以后，模型趨于穩定，學習速率維持在一個較小值。同時，由于權值變大會使得優先級變高，從而使得更新參數的速度加快，所以增大學習率可以達到加速背景更新的目的。本文采用指數函數對權值的更新進行改進，以提高算法的收斂速度，改進后的權值更新公式分別如式(9)和式(10)所示：

w′k=e(1-α)*wk+eα

(9)

w′k=e(1-α)*wk

(10)

在進行模型匹配時，當像素值與K個高斯模型都不匹配時，此時沒有匹配模型的均值和方差仍為當前幀的均值和方差，使用式(11)降低此時模型的權重，同時建立新的高斯模型取代排序在最后的高斯模型。

(11)

其中，matchcntmink為像素值與排序位于最后的模型匹配的次數。

在重置背景點前先根據優先級的排序結果對參數順序進行調整，當最優高斯模型的權重大于前景閾值thresh時，按照式(12)更新背景；當最優高斯模型和次優高斯模型的權重和大于thresh時，按式(13)更新背景；其他情況按式(14)更新背景。

bg_bw=w1*m1

(12)

bg_bw=w1*m1+w2*m2

(13)

(14)

其中,bg_bw為背景點，此時的w1、w2、w3分別為最優高斯模型、次優高斯模型以及最低高斯模型的權重，m1、m2、m3分別為最優高斯模型、次優高斯模型以及最低高斯模型的均值。

為了解決建模過程中空洞和重影現象的問題，先根據上述改進的混合高斯模型得到的背景點組成候選背景點集，采用SSIM計算相鄰2幅圖像中同一像素處2個矢量的相關性ssim，對候選背景像素點進行二次判別。當ssim不等于1時，判斷像素點發生了變化,判斷此點為前景點；當ssim等于1時，判斷此點為背景點，進而抑制了重影現象。

高斯建模提取前景圖像時并不能解決重影問題，而重影問題加大了物體的連通域面積，容易將有重影的人群一起檢測出來。本文采用Canny邊緣檢測提取邊緣信息，將得到的邊緣信息與改進的混合高斯建模得到的前景圖像進行邏輯與運算，進一步細化了前景圖像的邊界范圍，解決了重影問題。

2.4 改進連通域的異常檢測

上述算法不僅提取出了前景物體，還準確地提取到了前景圖像區域。本文采用圖形句柄函數對采用連通域進行異常車輛檢測和標注時的結果進行優化。首先計算圖像中的連通區域，得到圖像的輸出矩陣L和連通區域個數num，之后使用stats=regionprops(L,‘all’)測量L中每1個連通區域的一系列屬性，返回值stats是1個長度為max(L(:))的結構數組。使用函數q=get(gca,‘position’)來優化坐標軸位置，q(1)=0即邊框左邊距離標注物的距離值為0，q(2)=0即邊框右邊距離標注物的距離值為0，可以實現在實際標注時系統自動優化標注的位置，使得物體邊框更加貼合異常車輛。使用gca得到最近繪制圖像的句柄，再使用函數set(gca,‘position’,q)將圖像的坐標軸按q的值進行優化，之后計算連通域中的像素數目，當第i個連通域中像素數大于閾值時，根據第i個區域的stats中優化過的位置信息，自動進行圖像的標注，更精確地貼合實際車輛區域，達到精準檢測車輛的同時誤檢測到行人的可能性最小的目的。

3 實驗結果

根據文中對異常車輛的定義，本文研究的實驗場景包括：行人與車輛相鄰程度較大，即異常車輛周圍行人較多時；行人與車輛相鄰程度較小；車輛品種不唯一，即人群中既出現汽車又出現自行車；只有行人沒有車輛，此場景可用于驗證本文算法是否會誤將行人檢測為車輛。仿真環境采用Matlab 2014a平臺。從UCSD_Anomaly_Dataset數據庫中挑選出具有上述場景的3個測試集對本文算法的準確率和檢測標注的準確度進行驗證，這3個測試集分別為Test020、Test019和Test004，前2者共包含400幅圖像，后者包含180幅圖像，其中有354幅圖像是包含檢測車輛的。

對上述3個測試集進行背景建模，并與傳統混合高斯建模進行對比，結果如圖2所示。從圖2中可以看出，傳統算法檢測的目標重影十分明顯，而本文算法可以有效抑制重影，檢測到的前景目標也很完整，減少了空洞現象。表明改進的背景建模算法能為后續進行異常車輛檢測提供更精確的背景信息。

通過在權值更新時引入指數函數來獲得動態的學習速率，即在模型建立之初，得到較快的更新速度，從而獲得較大的學習速率；一段時間以后，模型趨于穩定，學習速率維持在較小值。 通過與傳統混合高斯模型進行實驗對比，對ped1中Test020測試集中的200幅圖像進行建模，得到的建模時間對比如表1所示。從表1中可以看出，平均每幅圖像的建模時間降低了15.3%。經過實驗可知，改進的權值更新公式對學習率迭代沒有影響。

連通域閾值的選取一般根據被檢測目標物的實際情況進行設定，圖3給出了當閾值選取為550,600,650時檢測效果對比圖。從圖3中可以看出，當閾值為550時(即圖3a)，可以發現此時出現了誤檢測現象；當閾值為600時(即圖3b)，可以精確地檢測到異常車輛，沒有漏檢測和誤檢測的現

Table 1 Comparison of modeling time 表1 建模時間對比表 s

象；當閾值為650時(即圖3c)，可以發現此時出現了漏檢測現象。通過實驗驗證，當連通域中像素數大于600時，即閾值選取為600時，根據第i個區域的stats中優化過的位置信息，自動進行圖像的標注，可以實現異常車輛的精確檢測。

Figure 3 Detection effect comparison under different thresholds圖3 不同閾值時的檢測效果對比

圖4為采用本文算法進行異常檢測得到的效果圖，共檢測到5種出現異常車輛的情況。圖4a顯示行人和車輛在圖像中緊挨著；行人和車輛相鄰程度不大且異常車輛的周圍人群密度小時，如圖4b所示；異常車輛周圍行人較多且距離車輛較近時，如圖4c和圖4d所示；人群中既出現汽車又出現自行車時，如圖4e所示。在這5個場景中，本文算法可以準確檢測出異常車輛，對于既出現汽車又出現自行車的情況，可以同時將自行車和汽車都檢測出來，且又不會誤檢測到行人。

Figure 4 Abnormal detection effect圖4 異常檢測效果圖

Figure 5 Abnormal detection effect comparison between the proposed algorithm and traditional GMM圖5 本文算法與傳統混合高斯建模法的異常檢測效果對比圖

圖5為本文算法和傳統混合高斯建模法進行異常檢測得到的效果對比圖。圖5a和圖5b顯示當行人和車輛在圖像中緊挨著的時候，本文算法可以精確檢測到車輛，沒有誤檢測到挨著的行人。在行人和車輛相鄰程度不大且異常車輛的周圍人群密度小時(圖5c和圖5d)，本文通過結合邊緣信息并使用圖形句柄函數優化連通域檢測對異常車輛進行檢測，能夠準確地檢測到異常車輛，且物體標注邊框也更貼合實際車輛外形，標注區域更小。當異常車輛周圍行人較多且距離車輛較近時，如圖5e～圖5h所示，本文算法沒有誤檢測到行人，且標注框更小，檢測區域更精確。當人群中既出現汽車又出現自行車時，如圖5i和圖5j所示，本文算法可以同時將自行車和汽車都檢測出來，且又不會誤檢測到行人。所以，與未改進的傳統混合高斯建模檢測算法相比，本文算法對異常車輛檢測時誤檢測到行人的情況更少，且在標注區域大小方面也更優。

本文將所提算法與以下4種算法進行對比實驗，分別為：(1)在連通域進行異常檢測之后直接進行標注，即未使用圖形句柄函數對簡單標注進行優化，簡稱普通標注檢測算法；(2)直接采用Horn-Schunck光流法,利用像素間速度差異進行異常車輛檢測，簡稱Horn-Schunck光流法；(3)傳統混合高斯建模法[6]；(4)MDT[13]。

本文通過準確率A(Accuracy)和召回率又稱查全率TPR(True Positive Rate)對以上5種算法的準確度進行對比。準確率A從總體上衡量檢測性能，計算公式如式(15)所示；召回率TPR用來計算所識別出的正實例占所有正實例的比例，計算公式如式(16)所示。

A=(TP+TN)/(TP+FN+FP+TN)

(15)

TPR=TP/(TP+FN)

(16)

其中，如果實例是正樣本但被預測成正樣本，即為真正類TP(True Positive)；如果實例是負樣本但被預測成正樣本，稱之為假正類FP(False Positive)；如果實例是負樣本但被預測成負樣本，稱之為真負類TN(True Negative)；如果實例是正樣本但被預測成負樣本，則為假負類FN(False Negative)。

準確率反映了分類器系統對整體樣本的判定能力，即能將正樣本判定為正樣本，負樣本判定為負樣本的能力。根據圖4的異常車輛檢測結果，統計測試的580幅圖像中，含有354幅異常圖像，異常圖像被檢測為異常圖像的有318幅，異常圖像誤檢測成為正常圖像的有36幅，正常圖像被檢測為正常圖像的有206幅，正常圖像被檢測為異常圖像的有22幅。與采用混合高斯模型、Horn-Schunck光流法、MDT進行異常檢測的結果進行對比分析，表3給出了對選取的580幅測試樣本進行異常檢測的準確率A和召回率TPR。

Table 2 Accuracy and TPR comparison of five algorithms表2 5種算法的準確率、召回率比較 %

從表2中可看出，本文算法的TPR和A均高于其他對比算法的，說明其異常車輛檢測的準確度在這5種算法中是最優的；就TRP而言，本文算法是MDT算法的2倍多，而本文算法也均高于另外3種算法，說明另外3種算法對正樣本的誤檢測較高。本文算法的準確率為90.3%，Horn-Schunck光流法的準確率為77.2%，普通標注檢測法的準確率為70.2%,混合高斯建模法的準確率為68%，MDT算法的檢測準確率為44%，本文算法分別高出這4種算法13.1%，20.1%，22.3%和46.3%。實驗對比說明，在本文改進的混合高斯模型下進行背景建模，并采用圖形句柄函數優化連通域的算法進行異常車輛檢測，檢測準確率和查全率具有明顯優勢。

4 結束語

本文首先對傳統的混合高斯建模進行了改進，本文算法提高學習率的同時提出了非線性變化的權重，在權重計算時，引入了指數函數。本文算法提高了建模整體速度，加快了重影的消除；采用SSIM計算2幅圖像像素點間的相似度，在高斯建模后進行二次背景建模，再一次精確地設置了背景點；改進后的混合高斯建模較傳統的混合高斯建模很好地消除了重影問題，建模時間縮短了15.3%。之后采用圖形句柄函數對連通域進行異常車輛檢測和標注時的結果進行優化，可以實現程序自動調用函數，進而達到對標注框位置優化的目的， 消除了標注時易產生的冗余區域，使得標注區域更加貼合異常車輛區域。在采用相同前景預處理方法的情況下，本文算法與不采用圖形句柄函數的算法相比，提高了檢測的準確度，降低了誤檢測到人群的可能性。實驗結果顯示，本文算法在多運動目標下檢測異常車輛的準確率更高、效果更好、魯棒性更高。將異常圖像保存至本地節點，可為后續的異常上報至云端提供異常處理數據。