公路收費站車輛跟蹤及抓拍算法研究與系統實現

摘要： 為保障公路收費站對車輛抓拍和車流統計的抗干擾能力，以靜止單孔攝像機獲取的檢票口車道視頻作為研究對象，提出了一種高效的易于擴展的抓拍判斷系統框架.在分析常見運動檢測方法優劣的基礎上，從實時性和魯棒性考慮，采用基于運動歷史圖像的改進的幀差法，以提高運動檢測的靈敏度；為緩解服務器的計算壓力，提出了一種高效的車輛矩形區域快速定位算法，并在此基礎上定義了基于時間和空間變化的規則，以排除攝影機前人和桿臂運動對鏡頭的遮擋，最終構成了抓拍判斷系統框架.此外，就多路車道在不同光照下并行地進行了實時抓拍實驗，結果顯示，在總時長5.5 h的測試樣例中，車輛計數平均準確度達87.8%，證明該框架可顯著減弱抬桿、落桿的遮擋以及光照變化的影響，提高抓拍的精度.

關鍵詞： 運動檢測；幀差法；車輛跟蹤；車輛抓拍；智能交通系統

中圖分類號： TP391.4文獻標志碼： AVideoBased Vehicle Tracking and Capturing System

隨著中國智能交通系統（intelligent transportation system， ITS）的發展，基于計算機視覺和圖像處理技術的數字視頻監控系統扮演著越來越重要的角色.基于視頻的公路收費站車輛跟蹤及抓拍系統屬于ITS的一部分，相對于磁感線圈和紅外傳感系統而言，該抓拍系統具有安裝調試容易、應用靈活、遠程數據讀取方便等諸多優勢，且在已建成的收費站上增設和維護成本較低.以拍照的形式記錄既解決了監控中心集中存儲視頻的網絡壓力和資源壓力，又可進一步作為車牌車型識別的重要輸入，總體而言具有所需儲存容量小、保存周期長、檢索方便等優點.

ITS需要解決的一個首要問題是車輛的檢測與跟蹤.近年來，針對該問題已有較為深入的研究[17].一般地，須首先提取道路背景，并自適應地更新以保持和環境變化協調一致[8]，然后進行背景差分以突出目標車輛[9]，接下來一一定位這些車輛，并分別進行跟蹤[5，7]，最后統計車流的數據[56].在這些研究中，攝像機通常固定地架設在道路上方高處，所受干擾較小，且拍攝的視頻畫面包含有大面積靜止背景.目前，針對公路收費站檢票口監控視頻進行車輛檢測的具體研究還較少，由于車輛通常排隊經過檢票口，車速緩慢、間距緊密、停靠頻繁，且攝影機距離車道近、高度低，特別是重型車輛經過攝影機時幾乎完全遮擋住鏡頭的整個可視區域，因此，視頻場景與普通交通監控尚有較大區別，傳統的檢測方法不再有效.

西南交通大學學報第48卷第2期夏創文等：公路收費站車輛跟蹤及抓拍算法研究與系統實現本文在保證多路運算實時性應用需求的前提下，針對收費站檢票口監控視頻，改進了運動檢測，提出了一種高效的車輛矩形區域快速定位算法，并在此基礎上研究拍照時機，進一步提出了基于時間和空間變化的抓拍判決規則，以排除鏡頭前人和桿運動的遮擋，最后通過實驗驗證了所提出算法的有效性.1運動車輛檢測考慮到并行多路實時抓拍的實際需求，運動檢測算法須保證非常高的效率.這不僅要求設計的算法能對視頻流進行實時處理，而且單處理線程必須盡可能少地占用處理器資源.在實時運動檢測方法中，背景差分法和幀間差分法是兩種常用的基本方法.

從運動的場景中有效地提取背景圖像是背景差分方法研究的主要問題之一，使用自適應背景差分方法必須首先解決被選作表示背景的特征（如像素灰度值、色度以及紋理等）.通常對于一處固定的位置，背景像素的出現頻率遠高于前景像素，因此，一種基本的背景提取方法的思想是對視頻在一段時間內的連續數幀求平均.但仔細觀察公路收費站檢票口場景，不難發現，車輛在停靠檢票口時已占據圖像中央大部分區域，恰好將車輛下方和后方的部分道路遮擋，尤其是遇到車輛排隊依次通過檢票口或者大型貨車停靠檢票口時，后方的道路幾乎長時間地被車輛全部遮擋.此時，對于檢票車道上被遮擋的位置，出現車輛前景的頻率往往遠大于出現道路背景的頻率，這違背了動態場景中提取靜態背景的基本原則，使背景提取方法在很大一部分圖像區域中無法正確區分出背景像素，如圖1所示.此外，由于提取出的背景幀被反復用于運動檢測，一旦提取錯誤，其影響會擴散到后續多幀.因此，本文基于幀差法進行運動檢測，并對其準確度和靈敏度進行優化.

幀差法是利用視頻幀間像素的時域相關性，用當前幀圖像與相鄰幀圖像求差來檢測目標的方法有諸多優越性：首先，因為幀差法的檢測僅考慮當前幀的相鄰幀或前數幀，具有無后效性的特點，因此它的性能穩定；其次，幀差法效率高，且對于動態變化的環境顯示出較強的自適應性[1]；此外，由于本文所討論的車輛跟蹤及抓拍只關注精確控制抓拍時機，無需準確識別車輛輪廓，因此，對于幀差法引入車尾鬼影造成檢測到的運動區域擴大可以忽略.但是，幀差法提取出的運動實體內部往往容易產生大量空洞.比如同一顏色的車身或者車頂相鄰像素之間的灰度值差異不大，加之前后兩幀車的位移量小，因而兩幀間這些位置的像素差異很小，這是空洞的主要成因.由于檢票口攝影機距離車輛近，空洞現象變得尤其嚴重，進一步導致檢測出的車輛被分隔成多個部分.

為了解決空洞造成的分裂，本文采用多種方法填補空洞區域.首先通過維護一個數幀大小的幀緩沖池，將幀差從相鄰幀求差擴展到允許間隔數幀求差，從而放大了車輛的位移，使得任何緩慢的運動都更容易被偵測到；然后，對二值化的前景像素采用中值濾波抑噪[1012]，以及形態學的閉運算操作先膨脹后腐蝕[13]，來增強區域的連通性；最后，使用運動歷史圖像（motion history image， MHI）[14]進一步充實車體.運動歷史疊加將一個連續的視頻運動序列逐幀疊加到運動歷史圖像中，并在每一次進行疊加的時候記錄該幀運動像素的當前時刻.運動歷史疊加可以設置一個消隱時間，超過該消隱時間的運動前景像素將從運動歷史圖像上刪除.

本文采用間隔3幀求差，以3×3的窗口大小進行中值濾波，以5×3的矩形作為閉運算結構化元素，將結構化元素的中心點選取為矩形中心，并迭代2次閉運算以強化效果.選取的結構化元素具有寬度大于高度的特點，這是考慮到具體的收費站檢票口1臺攝影機總是對應于單一車道.因此，前景圖像中，X方向上只考慮同一輛車，可以增強閉運算來增加連通性；而在Y方向上，可能出現前后2車間隔距離較近的情況，須減弱閉運算，避免將前后的車輛連接在一起.最后，設置運動歷史疊加的消隱時間th為0.4 s，以在空洞填補效果和車尾鬼影長度之間取得平衡.所采用的多種車身運動檢測空洞填補方法效果如圖2所示，經過對比可以顯見每種方法都在一定程度上進一步充實了車體，從而便于提高車身定位的精確度.

算法定位1幀圖像中多個連通的前景像素矩形區域僅需對圖像進行1次逐行掃描.其核心思想是對掃描到的前景像素點進行標號，并建立其矩形區域，對編號相同的點擴展其矩形區域，而對不同編號的連通域，則合并其所屬的矩形區域，但無需再逐一修改其編號，最終整理出這些矩形區域即可.

詳細的算法描述如下：

算法輸入：二值化后的運動檢測前景圖；

算法輸出：由相互鄰接的像素所覆蓋的矩形區域.

（1） 從圖像左上角第1個像素起，從左至右，從上至下，逐行進行掃描，直到圖像的所有像素被掃描完畢；

（2） 對每個被標記為前景的像素進行標號，標號規則是：

① 首先判決當前位置像素上方和左方的點是否已被標號，如果均未被標號，則為該像素建立新的編號，新編號的值由1開始依次累加，且新記錄一個覆蓋該像素的最小矩形區域，矩形區域由其四邊界的值確定，這時的四邊界與該點坐標重合；

② 如果只是上方的點已被標號，則該像素的編號取上邊的編號，并擴展已記錄有該編號的矩形區域邊界以覆蓋當前像素；

③ 如果只是左方的點已被標號，則該像素的編號取左邊的編號，并擴展已記錄有該編號的矩形區域邊界以覆蓋當前像素；

④ 如果上方的點和左方的點均已經被標號，則該像素的編號應選取上邊的編號值；2個不同編號的連通區域相遇時，除了為該像素選取編號外，還需要合并上方和左方2個點的編號所屬的矩形區域.

為了實現對指定矩形域的各種頻繁操作，例如刪除、合并和重排列，還須動態維護1個索引數組，其中的每個元素都指向1個矩形區域.當整幅圖像的像素全部掃描完畢時，就完成了多目標矩形區域定位.圖3是該算法的1個示例，前景圖像關注區域大小為8×16.

3.1存儲結構由于判決目標在時間和空間上的運動模式需要回顧、分析歷史的運動目標矩形區域，因此必須緩存歷史數據.考慮到每幀中可能出現多個目標矩形區域，因此將緩存數據結構分為2級.第1級是幀結構，每個單元包含3個信息：該幀的矩形域個數、該幀是否有目標進入拍照檢測區域以及1個指向第2級矩形域結構的指針；第2級是矩形域結構，每個單元包含1個矩形的特征信息.這種2級的存儲結構如圖5所示.顯然，這種分級結構同時具有很強的可擴展性，可以方便地增加其他便于利用的信息.

3.2基于時間的規則基于時間的拍照判決是針對2級緩沖結構的第1級（即基于幀的存儲結構）的.在每次拍照判決時將首先掃描第1級的幀歷史緩沖區，一旦發現歷史幀中有車輛出現在拍照檢測區域，則不進行拍照，這具有拍照延時的作用，避免大車經過時因車身大面積遮擋攝影機的可視區域帶來的噪聲干擾，延時時間由幀緩沖區大小決定.并且，該設計借助緩存歷史，實現了在前一輛車離開拍照檢測區之后才開始計算延時，而不是直接針對駛入拍照檢測區的每一輛車設置一個經驗性的通過時間，因而與車輛運動速度的快慢無關.所以，該方法對片狀噪聲有一定抵抗能力，且能適應于車輛以不同車速經過檢票口的情況，提升了拍照判決的魯棒性.3.3基于空間的規則基于空間幾何變化特征的規則是車輛抓拍判決的核心，且具有良好的可擴展性.

規則1根據透視圖性質，車輛到達拍照檢測區域的過程是一個連續的運動過程，因此，在車輛剛剛駛入拍照檢測區域時，回顧前幾幀的歷史應檢測到連續的運動出現.該規則的目的在于過濾拍照檢測區域中突發出現的片狀噪聲.此類噪聲的特征是引發視頻大面積灰度突變，在突變前幾幀檢測不到應有的符合車輛特征的運動矩形區域，因而得以將噪聲與車輛的特征區分開來.

規則2為了進一步過濾噪聲，特別是針對車輛靠近檢票口攝影機而引起的并發噪聲，算法禁止在車輛到達拍照檢測區域的前3幀出現運動矩形區域的突然變化.這是因為車輛靠近并駛過檢票口攝影機的過程在運動前景圖像上是運動矩形區域自右上角到左下角由小變大的過程，應當具有連續性，而出現躍變則考慮是噪聲干擾.

規則3在前2個關于噪聲過濾的規則完成之后，將對收費站升降桿臂運動和工作人員在攝影機前走動的情況進行識別.首先，仍假設車道位于攝影機左邊，收費站桿臂的運動軌跡和車輛的運動軌跡有明顯的區別.由于桿臂安裝在右側，因此桿臂在轉動時將檢測到緊靠右邊界對齊的運動矩形區域，這種矩形區域的直觀特征在于其右邊界貼近于鏡頭視野右邊界，而左邊界則離鏡頭視野左邊界有一定的距離.再次對比分析車輛逐漸靠近并駛過攝影機的運動模式，其表現在運動矩形區域變化上具有從右上角移動到左下角，并逐漸擴大的幾何特征，因此矩形的左邊界到鏡頭視野左邊界的距離是一個逐漸減小的過程，這正好與桿臂的矩形區域運動模式相反.基于這一點，可以區分出收費站桿臂的運動.

規則4考慮工作人員運動的識別.運動的人與運動的車在運動前景圖像上的最顯著區別在于人的運動矩形區域在寬度上明顯小于車的.因此，當人和車在設置為左下角的拍照檢測區域中出現時，車因寬度大，其矩形區域右邊界往往投在鏡頭視野的右半平面內，而人的右邊界往往在鏡頭視野的左半平面.基于這一點，可區分出收費站工作人員的運動.

4實驗結果本文以廣東省公路收費站所使用的服務器實際配置搭建實驗平臺，其CPU采用一顆四核的Xeon處理器，主頻2.26 GHz，內存4 GB，工作在Windows XP操作系統上.應用本文提出的系統框架，能實現8路車道并行的實時車輛跟蹤和抓拍，以及簡單的車流量和車型大小統計.

對廣東省3個公路收費站，共11組監控視頻進行了實驗.視頻總時長5.5 h，共包含494 871幀圖像，不連續地覆蓋了白天各個時間段的光照情況.實際通過車輛共1 156輛，其中誤檢83輛，誤檢率7.2%；漏檢224輛，漏檢率19.4%.車輛計數平均準確度87.8%.針對本文中提出的同時基于時間和空間變化規則的拍照判決算法，實驗結果表明，該算法總體上表現出較好的魯棒性.圖6展示了該算法對于兩種典型情況在車輛抓拍魯棒性上的明顯改進.圖6（b）是圖6（a）的檢測結果，可見桿臂運動的殘影形成連續前景區域被識別出來（大框），且該區域與左下角拍照區（小框）重疊，但通過規則3予以濾除，從而避免誤拍.圖6（d）是圖6（c）的檢測結果，同樣地，人的運動區域（大框）

4予以濾除.

另外，基于空間變化規則的引入大大增強了算法的可擴展性，在遇到新的問題影響抓拍判決時，只要該問題可以從空間幾何分布上予以識別和區分，就能夠添加到現有的過濾中.另一方面，該算法僅對每幀中的矩形區域進行記錄和緩沖，無需請求大的內存空間，并且每幀中的矩形區域數量有限，因而并不增加識別判決的時間復雜度.所以，無論在時間還是在空間復雜度上，該算法都有普遍優勢.在實驗的檢測結果方面，漏檢的情況種類多、原因復雜，致使漏檢率遠高于誤檢率，但總體看來尚在可接受的范圍內.

5結論本文中分析了基于視頻的公路收費站車輛跟蹤及抓拍系統，其主要的工作和成果如下：

（1） 討論了背景差分方法在收費站場景中應用的局限性，使用幀差法并進行了優化.具體地，首先引入了幀緩沖池進行間隔數幀求差以提高運動檢測靈敏度，然后分別使用中值濾波、形態學閉運算和運動歷史圖像，極大程度上解決了一般幀差運動檢測法在運動實體內部的空洞現象；

（2） 提出了一種高效的車輛矩形區域快速定位算法，算法定位一幀圖像中多個連通的前景像素矩形區域僅需對圖像進行一次逐行掃描，具有良好的計算性能，且內存開銷小；

（3） 進一步提出了同時基于時間和空間變化規則的拍照判決算法，該算法以噪聲過濾和解決收費站欄桿臂運動和工作人員在攝影機前走動的影響為目標，采取兩級緩存數據結構，在提高拍照判決穩定性的同時還具備很好的可擴展性.

目前，收費站升降桿臂的運動影響仍不能完全被排除，對于部分光照條件差、受路面積水反光影響嚴重的視頻序列，拍照時機的選擇仍有待改進，因此有必要進一步研究針對性的方法.

參考文獻：

[1]GUPTE S， MASOUD O， MARTIN R F K， et al. Detection and classification of vehicles[J]. IEEE Transactions on Intelligent Transportation Systems， 2002， 3（1）： 3747.

[2]MORRIS B T， TRIVEDI M M. A survey of visionbased trajectory learning and analysis for surveillance[J]. IEEE Transactions on Circuits and Systems for Video Technology， 2008， 18（8）： 11141127.

[3]KHAMMARI A， NASHASHIBI F， ABRAMSON Y， et al. Vehicle detection combining gradient analysis and AdaBoost classification[C]∥Proc. of the IEEE Conference on Intelligent Transportation Systems. Vienna： IEEE， 2005： 6671.

[4]Van LEEUWEN M B， GROEN F C A. Vehicle detection with a mobile camera： spotting midrange， distant， and passing cars[J]. IEEE Robotics Automation Magazine， 2005， 12（1）： 3743.

[5]HSIEH J W， YU S H， CHEN Y S， et al. Automatic traffic surveillance system for vehicle tracking and classification[J]. IEEE Transactions on Intelligent Transportation Systems， 2006， 7（2）： 175187.

[6]BAS E， TEKALP M， SALMAN F S. Automatic vehicle counting from video for traffic flow analysis[C]∥Proc. of the IEEE Intelligent Vehicles Symposium. Istanbul： IEEE， 2007： 392397.

[7]XIE Lei， ZHU Guangxi， WANG Yuqi， et al. Realtime vehicles tracking based on kalman filter in a videobased ITS[C]∥Proc. of IEEE Conf. on Communications， Circuits and Systems. Hongkong： IEEE， 2005， 2： 883886.

[8]曾艷，于濂. 一種新的道路交通背景提取算法及研究[J]. 中國圖象圖形學報，2008，13（3）： 593599.

ZENG Yan， YU Lian. A new background subtraction method for on road traffic[J]. Journal of Image and Graphics， 2008， 13（3）： 593599.

[9]SHI Peijun， JONES E G， ZHU Qiuming. Median model for background subtraction in intelligent transportation system[C]∥Proc. of SPIE， Imaging Processing： Algorithms and Systems Ⅲ. San Jose： SPIE， 2004， 5298： 168176.

[10]張天瑜. 基于改進型中值濾波算法的圖像去噪[J]. 長春工業大學學報，2009，30（1）： 4952.

ZHANG Tianyu. Image denoising based on improved median filter[J]. Journal of Changchun University of Technology， 2009， 30（1）： 4952.

[11]董付國，原達，王金鵬. 中值濾波快速算法的進一步思考[J]. 計算機工程與應用，2007，43（26）： 4849.

DONG Fuguo， YUAN Da， WANG Jinpeng. Study on fast algorithm of median filtering[J]. Computer Engineering and Applications， 2007， 43（26）： 4849.

[12]YUAN Shiqiang， TAN Yonghong. The solutions of equationbased noise detector for an adaptive median filter[J]. Pattern Recognition， 2006， 39（11）： 22522257.

[13]RICHARD A P. A new algorithm for image noise reduction using mathematical morphology[J]. IEEE Transactions on Image Processing， 1995， 4（3）： 554568.

[14]屈楨深，于萌萌，姜永林，等. 用小波模歷史圖像的運動車輛視頻檢測[J]. 西南交通大學學報，2012，47（3）： 8995.

QU Zhenshen， YU Mengmeng， JIANG Yonglin， et al. Visionbased detection of moving vehicles using wavelet modulus history images[J]. Journal of Southwest Jiaotong University， 2012， 47（3）： 8995.