視頻監控中私自攬客違法行為檢測

張若楊 賈克斌 劉鵬宇

(北京工業大學信息學部 北京 100024)(先進信息網絡北京實驗室 北京 100024) (未來網絡科技高精尖創新中心 北京 100024)

0 引 言

近年來，隨著數字視頻技術的迅猛發展，道路交通管理非現場執法的應用率越來越高，不僅強化了道路交通的安全管理，還極大地緩解了執法人員不足與人情執法的問題，管理效果十分明顯。可以說，加大非現場執法工作的力度已經成為了破解道路交通管理工作難題最可靠、最有效的辦法之一，它在推進交通執法工作長足發展的過程中發揮著不可替代的作用。

出租車行業是交通運輸行業不可或缺的一部分，特別像北京地區，由于人口眾多、人流量大、公共交通分擔率偏低，使得公眾對于出租車需求量日益增長，這直接導致了出租車在運營過程中存在的問題日趨復雜。尤其在機場、火車站等人流量極大區域，出租車違規私攬導致挪車不及時，很容易造成擁堵、追尾甚至人員傷亡。因此對特殊區域私攬[1]行為的有效檢測和識別成為亟待解決的問題之一。

綜上所述，開展針對私攬行為的檢測識別有極大的應用價值，能使公共區域車輛人員的安全得到進一步保障。本文以檢測識別私攬行為為主要研究方向，針對人體行為識別展開深入研究，為私攬行為的檢測識別提供重要依據。

目前在文獻中還沒有針對出租車私自攬客行為自動檢測方法的報道。針對交通監控環境下背景相對靜態的特點，本文研究了一種基于交通視頻的私自攬客行為檢測方法，主要流程如圖1所示。首先進行出租車識別[2]并提取運動人體前景，判斷行人是否出現在出租車區域中；然后提取有上車可能的行人的多姿態特征，將其送入SVM分類器進行訓練；最后識別人體上車行為，確定監控視頻中是否存在私攬行為。

圖1 私攬檢測算法流程圖

針對靜止背景下的運動目標檢測一般有幀間差分法、背景差分法、光流法[3]等比較成熟的檢測算法。ViBe算法[4-5]是一種新穎、快速及有效的運動目標檢測算法，該算法思想簡單、運算效率高，且初始化背景建模無需訓練，可以快速對背景進行有效建模。但檢測結果中易出現鬼影，極大地影響到后續的人體特征提取的準確性。

本文針對傳統ViBe算法消除鬼影速度較慢的不足，提出了一種改進的ViBe算法，能夠快速消除鬼影，并針對人體上車行為識別難度大的特點，設計了一種基于多特征融合的識別方法。最后結合目標檢測與人體行為識別技術形成一套完整的私攬行為檢測方法。

1 出租車識別

在交通監控視頻中，場景具有一定復雜性，出租車與私家車相混合，而私攬行為指的是在道路的落客區域，出租車司機發生停車，允許乘客上車并最終駛離的行為過程。因此需要先對出租車進行識別，以區分出租車私攬違法行為和私家車正常接人行為。

本文提取出租車的Haar[6]特征，并將其送入Adaboost[7]分類器進行訓練，最后檢測視頻中的出租車。

Haar特征指的是一種矩形特征，其值表示為黑色矩形區域的灰度值與白色矩形區域的灰度值的差，以此來生成圖像特征矩陣。不同的Haar特征模型功能也不相同，常用的Haar特征模板如圖2所示。

圖2 常用Haar特征模板

Adaboost算法是一種改進的Boosting算法。該算法不需要弱分類器的先驗知識。它的核心是為相同的訓練集訓練不同的弱分類器，然后將這些弱分類器合成強分類器，最后將強分類器級聯成最終分類器。圖3是由分類器進行級聯和檢測出租車的過程。

圖3 出租車區域檢測結果

通過在圖像上使用不同大小的矩形窗口來進行多尺度掃描，并使用級聯分類器來判斷掃描的每個矩形窗口。如果一個矩形窗口特性通過了所有的級聯分類器，表明該區域是出租車區域，并獲取當前圖像中車輛的位置；否則，表示該區域不是出租車區域。

本文采用訓練集包含2 767張出租車區域正樣本和7 219張環境負樣本，正樣本統一歸一化為28×20大小，負樣本歸一化為480×360大小。同時設置每三個弱分類器構成一個強分類器，最終將訓練好的Haar-Adaboost分類器用交通監控視頻進行測試，實驗結果如圖3所示。實驗結果表明，本文方法能夠有效且實時檢測出租車，且能夠適應夜晚等較為復雜的環境。

2 出租車識別

行人是發生私攬行為時的主要目標，同時也是大量存在于交通監控視頻中的運動目標。在對傳統的檢測算法深入研究的基礎上，考慮到交通監控視頻中攝像頭的角度會時常發生變化，本文對初始化背景建模快的ViBe算法做出了改進，提取人體前景。

2.1 ViBe基本算法

ViBe算法是一種基于背景差分法的前景分離算法，該算法檢測效果較好，可以適應背景變化較大的場景，但容易造成檢測結果中出現鬼影。

ViBe算法主要包含三個步驟：背景建模、前景檢測和模型更新。

在背景建模過程中，該算法采用視頻第一幀來初始化背景模型，為每一個像素點創建一個樣本集存儲該像素點的背景模型，利用像素點極其鄰居像素點的像素值隨機填充樣本模型，完成初始化背景建模。

在前景檢測過程中，為了確定待分類像素是否屬于背景點，需同該像素點的背景模型做比較，檢測兩者間的相似度，具體方法為：定義一個以p(x)為中心，R為半徑的球體SR(p(x))，用U表示背景模型M(x)與球體SR(p(x))的交集，U表示一個相似度函數，當U大于一個給定的閾值Umin時，待分類像素p(x)與背景相似，分類為背景，其數學表達式如下：

U={SR(p(x))∩{p1,p2,…,pN}}

(1)

根據式(1)，計算p(x)與N個背景樣本的歐氏距離，判斷是否小于閾值R。在實際處理中，一旦找到Umin個樣本匹配時，就認為該像素點為背景。

在模型更新的過程中，ViBe算法不僅考慮當前像素與其歷史樣本之間的關系，還考慮到當前像素與其鄰居像素之間的關系，使每一個背景點有的概率更新自己的模型樣本值及其鄰居點的模型樣本值。算法的空間更新策略保證了背景圖像中空間信息的連續性，從而對相機的輕微抖動也有一定適應性。

2.2 改進ViBe算法

在原始ViBe算法前景檢測過程中使用簡單的歐式距離判斷像素點屬于前景或背景，并不能適用于所有情況，尤其對陰影的分類效果較差。因此本文使用Codebook[8-9]算法中的顏色扭曲度對前景像素點進行分析，旨在盡可能地消除陰影對真實運動目標的影響，具體過程如下：

1) 修改背景樣本集中向量pi為(Ri,Gi,Bi)。

2) 讀取當前幀像素點向量xt=(R,G,B)。

3) 要計算待分類像素與背景模型的相似度，比較條件為像素點的顏色扭曲度，如下所示：

(2)

式中：

(3)

4) 判斷相似度是否小于給定閾值，若滿足條件，則匹配次數加1。

5) 判斷匹配次數是否達到Umin，達到則認為該像素點為背景。

同時，為了改善鬼影消失過慢的不足，本文借鑒Codebook算法中6元組的思想。在原方法中每個像素點只建立了背景樣本集，使得在模型更新過程中所有樣本在同一時刻被更新概率相同，難以快速消除鬼影。故本文在原有基礎上引入背景樣本點未被更新時間，作為該樣本點更新概率的權值依據，具體改進方案如下：

1) 修改背景樣本集中向量(Ri,Bi,Gi)為(Ri,Bi,Gi,λi)。

2) 若將該像素點分類為背景點，則計算當前時刻所有樣本的被更新概率，保證未被更新時間越小的樣本點被更新概率越小，計算公式如下：

(4)

3) 依照計算得到的概率更新樣本背景。

4) 將最新被更新的樣本點的未被更新時間置為0，其余樣本點的未被更新時間加1。

下面通過一組視頻圖像分別按照三幀差分法、背景差分法、混合高斯法[10]、原始ViBe算法和本文的改進ViBe算法進行人物前景提取，得到前景提取結果如圖4所示。

(a) 原始圖像 (b) 三幀差分法

(c) 背景差分法 (d) 混合高斯方法

(e) ViBe方法 (f) 本文方法圖4 各運動目標檢測算法結果

由圖4可見：本文的算法對人物前景提取的效果最佳，準確性高；三幀差分法容易造成較大空洞；背景差分法和混合高斯方法在存在靜止目標突然運動時情況下效果較差；原始ViBe算法效果較好，但鬼影仍對真實目標提取有較大干擾。

其次，為了評估本文提出的ViBe算法消除鬼影的速度，分別使用混合高斯法、原始ViBe算法和本文算法對鬼影消失的幀數進行了統計，如表1所示。

表1 不同方法鬼影消失幀數

由表1可見：本文的算法消除鬼影所需要的幀數最少，速度最快；混合高斯法消除鬼影速度較慢；原始ViBe算法稍慢于本文算法。

在此基礎上，結合提取到的人體前景與識別出的出租車區域，計算人體質心與出租車中心的距離，當行人處于車輛區域范圍內時，則可以認為該行人與車輛有構成私攬違法行為的可能。實驗發現，所檢測出的人體質心存在于以出租車質心為圓心，到四角長度為半徑的一側扇形內時，檢測效果較好，如圖5所示。

圖5 人車位置關系

3 基于多特征融合的人體姿態識別

3.1 特征提取

乘客在上車過程中會逐漸從出租車遠處接近，在車門附近停頓，并伴有彎腰、拉車門、屈體等動作，與交通環境中的其他行為有明顯區別。本文基于私自攬客的特點對乘客的多種特征進行提取。

運動目標的標識方法取決于運動目標的區域形狀及其連通性，采用外接區域的方法能夠很直觀地反映出運動人體的輪廓。因此本文選取與人體擬合度更高的最小外接橢圓作為其中一個特征。

一個橢圓由其中心坐標、其方向以及其長短軸長度定義。在私攬行為發生過程中，行人會首先從遠處向出租車接近，這段時間私攬行為的人體特征與人體行走基本一致。當乘客走近出租車準備上車時，會停頓并打開車門，然后彎腰上車，在彎腰上車的過程中，人體豎直距離會降低，人體最小外接橢圓的長軸會減小，這是一個明顯區別于正常行走行為的特征。人體最小外接橢圓參數變化過程如圖6所示。

圖6 人體外接橢圓參數變化過程

人體最小外接橢圓的參數需要計算圖像的矩，對于連續圖像f(x,y)，矩的定義由如下：

(5)

橢圓的中心是通過計算具有零階一階空間矩的質心坐標得到的，其公式如下：

(6)

人體外接橢圓傾角由長軸與水平線之間的夾角確定，通過二階中心距計算：

(7)

為了確定橢圓的長軸與短軸，需要分別計算最小和最大慣性矩Imin和Imax，它們可以通過評估協方差矩陣的特征值得到，Imin和Imax計算如下：

(8)

然后，給出最佳擬合橢圓的長軸與短軸：

(9)

根據以上人體外接橢圓的確定方法求得特征向量E=[a,b,θ]。

第二個特征表示目標運動的劇烈程度，該特征利用MHI對運動運動劇烈程度進行量化。在乘客打開車門后上車的過程中，人體會在較短的時間內有一個急速下墜的動作，這就會使得這段時間人體的運動會更加劇烈，與上車前的運動程度有明顯區分。人體運動劇烈程度系數變化過程如圖7所示。

圖7 人體運動劇烈程度系數變化過程

表示運動劇烈程度的系數Cmotion計算公式如下：

(10)

式中:blob為前景閉包；Hτ(x,y,t)為運動歷史圖像。Cmotion∈[0%,100%]，Cmotion=0%表示沒有運動的像素點，Cmotion=100%表示區域內所有像素點都在運動。

綜合多種特征，從而得到了多特征融合的人體姿態特征向量Bi=[a,b,θ,Cmotion]。

3.2 姿態識別

由于判斷行人是否發生上車行為是一個二分類問題，因此提取人體特征后，我們選擇支持向量機[11]的分類器對人體行為進行建模和分類。該方法通過將數據非線性映射到高維空間做出非線性決策，使用較少樣本即可以訓練出效果較好的支持向量機模型。本文算法選用RBF核函數進行訓練。

4 實驗結果與分析

首先驗證乘客上車行為與其他行為在特征上的區別。本文提取了人體上車行為以及人體行走和跑步兩種交通監控視頻中的常見人體行為的人體姿態特征。人體多特征如圖8所示。

(a) 長軸變化

(b) 短軸變化

(c) 角度變化

(d) Cmotion變化圖8 不同行為特征變化

視頻進行到第30幀時行人準備上出租車，構成一起私攬行為。根據不同行為的多姿態特征可以看出，乘客上車行為在人體最小外接橢圓的長軸變化與短軸變化以及Cmotion變化上都與其他兩種行為有明顯區分，而通過橢圓角度變化則難以有效區分。因此本文在實驗過程中只對上述三種有明顯區分的特征進行了訓練。

實驗選取實際交通監控視頻進行測試。實際交通視頻集包括328段視頻，環境為首都機場執法大隊的非現場執法環境，如圖9所示。其中存在私攬違規行為的視頻共有97段，測試視頻時長皆為1～3 min。

圖9 實際環境視頻集

對所有待檢測視頻進行檢測,檢測結果標準為：屬于乘客上車行為并正確檢測的數目TB；屬于乘客上車行為并未正確檢測的數目FB；屬于其他行為并沒有錯誤報警的數目TO；屬于其他行為并誤報警的數目FO。則檢測乘客上車行為正確率可定義為：

(11)

檢測乘客上車行為的查全率定義為：

(12)

實驗中分別使用本文方法、形狀上下文方法[12]、原始ViBe方法以及多部位建模[13]方法對乘客上車行為進行檢測。其中使用本文方法對乘客上車行為進行檢測的結果如圖10所示，檢測到人車位置靠近時顯示“low”字樣，表示有發生私攬行為的可能；檢測到人車位置靠近并識別出人體上車行為時顯示“high”字樣，表示私攬行為發生可能性極高。

圖10 私攬行為檢測結果

表2給出了在實際環境中不同方法對乘客上車行為進行檢測的正確率和查全率。可以看出本文算法在實際視頻集下的檢測效果遠遠優于其他幾種方法。但由于實際環境較為復雜，人體與車輛之間時常會發生交叉、遮擋等現象，且有其他行人與車輛出現在監控視頻中，使得提取感興趣目標受到干擾，導致本文算法仍有不少誤檢與漏檢現象存在。

表2 不同方法下實際環境視頻集檢測結果

同時對算法處理時間進行了測試。表3給出了幾種方法的平均每幀處理時間和一幀最長處理時間。可以看出本文算法的處理時間與使用原始ViBe的方法無明顯區別，但較其他兩種方法略慢，不過平均每幀處理速度依然在40 ms以內，可以達到實時檢測的標準。

表3 不同方法下實際環境視頻集檢測結果

5 結 語

本文研究的出租車識別與私攬違章行為檢測方法是一種用于自動檢測交通違法違章私攬行為的方法。針對原始ViBe算法易產生鬼影的缺點做出了改進，使得鬼影可以快速消失，并結合人體前景與出租車區域判斷人車位置關系，初步判定私攬發生的可能性，后續提取人體上車過程中的多姿態特征，送入SVM分類器訓練，識別人體行為，準確判定私攬行為。本文方法能夠檢測一些特定場景下如機場、火車站、公交樞紐等地私攬行為是否存在，為交通安全預警，便于執法取證。因此，本文方法在智能交通領域具有廣闊的應用前景、廣泛的適用性和參考價值，為城市交通規范性建設和發展提供了保證。