基于智能相機(jī)的混合交通流檢測(cè)方法

魏 巍，李志慧，趙永華，曲昭偉，江 晟，柴婷婷

（1.吉林大學(xué) 交通學(xué)院，長(zhǎng)春 130022；2.吉林大學(xué) 計(jì)算機(jī)公共教學(xué)中心，長(zhǎng)春 130022）

0 引 言

目前，交通視頻監(jiān)控通常利用道路兩側(cè)的攝像頭獲取道路圖像信息，傳輸?shù)浇煌ūO(jiān)控中心集中分析處理，形成了巨大的通信量，增加了多路圖像信息集中并發(fā)處理的困難。混合交通是我國(guó)交通的重要組成部分，但目前尚缺乏混合交通流參數(shù)檢測(cè)的方法和設(shè)備。為了降低交通監(jiān)控過(guò)程巨大通訊量和滿(mǎn)足高效便捷的混合交通流參數(shù)檢測(cè)的需要，研發(fā)面向混合交通流檢測(cè)的智能相機(jī)分布式設(shè)備，實(shí)現(xiàn)單點(diǎn)攝像機(jī)圖像信息處理，直接應(yīng)用于交通信號(hào)控制的設(shè)備或交通監(jiān)控中心尤為重要。

嵌入式設(shè)備具有高效、便捷、低能耗等優(yōu)點(diǎn)，近年來(lái)國(guó)內(nèi)外研究人員開(kāi)展了將嵌入式技術(shù)應(yīng)用在交通監(jiān)控領(lǐng)域的研究。如:Bramberger等［1－2］采用LM－9618CMOS傳感器與雙TMS320DM642DSP芯片等構(gòu)建智能相機(jī)硬件框架體系與原型，利用高斯背景差分和前景閾值分割檢測(cè)車(chē)輛；Arth［3］等利用三個(gè)TMS320C6414DSP芯片與外置攝像頭構(gòu)建智能相機(jī)框架體系與原型，通過(guò)中值背景估計(jì)、前景差分分割、攝像機(jī)參數(shù)映射、Viola－Jones檢測(cè)、CAMShift預(yù)處理和Kalman跟蹤等算法檢測(cè)與跟蹤運(yùn)動(dòng)車(chē)輛；Wei等［4］利用圖像捕獲單元、FPGA視頻分析處理單元、圖像顯示單元構(gòu)建智能相機(jī)框架體系與原型檢測(cè)車(chē)輛信息，其中FPGA視頻分析處理單元由Harris交點(diǎn)檢測(cè)、局部二進(jìn)制模式分類(lèi)與分析等構(gòu)成；Houben［5］等利用CMOS傳感器、FPGA和嵌入式工業(yè)PC構(gòu)建智能相機(jī)原型，采用Harris交點(diǎn)和邊緣信息進(jìn)行3D重構(gòu)、聚類(lèi)和跟蹤檢測(cè)運(yùn)動(dòng)車(chē)輛；Macesic［6］等利用OMAP平臺(tái)，通過(guò)Kalman濾波器跟蹤車(chē)輛，獲取物體的軌跡，檢測(cè)異常軌跡，實(shí)現(xiàn)交通事件預(yù)警。上述相關(guān)研究促進(jìn)了嵌入式智能相機(jī)技術(shù)在交通監(jiān)控領(lǐng)域的發(fā)展，但這些研究仍局限于交通車(chē)輛單一交通流形態(tài)的檢測(cè)，缺乏混合交通流檢測(cè)的研究，無(wú)法滿(mǎn)足我國(guó)混合交通的應(yīng)用需要。

針對(duì)目前缺乏混合交通視頻檢測(cè)智能設(shè)備的問(wèn)題，本文利用CCD傳感器與DSP芯片構(gòu)建了智能相機(jī)框架體系和硬件原型系統(tǒng)，采用背景初始化、背景模型與前景獲取、物體分割、特征提取、多目標(biāo)識(shí)別分類(lèi)、攝像機(jī)參數(shù)標(biāo)定等視頻圖像處理技術(shù)，構(gòu)建了混合交通流檢測(cè)軟件方法體系，開(kāi)發(fā)了相應(yīng)的嵌入式算法系統(tǒng)，實(shí)現(xiàn)了混合交通流參數(shù)檢測(cè)。

1 智能相機(jī)硬件架構(gòu)

為降低道路監(jiān)控?cái)z像頭向監(jiān)控中心傳輸?shù)臄?shù)據(jù)量，實(shí)現(xiàn)圖像采集后直接分析處理，處理數(shù)據(jù)傳輸至監(jiān)控中心或交通信號(hào)控制機(jī)等。本文構(gòu)建了圖1所示的混合交通流智能相機(jī)硬件體系結(jié)構(gòu)。圖2為智能相機(jī)硬件原型系統(tǒng)。

圖1 混合交通視頻檢測(cè)智能相機(jī)硬件體系結(jié)構(gòu)框圖Fig.1 Block diagram of the hardware architecture

圖2 混合交通視頻檢測(cè)智能相機(jī)硬件系統(tǒng)原型Fig.2 Prototype of the embedded DSP vision platform

2 混合交通流檢測(cè)軟件框架體系

混合交通流智能檢測(cè)設(shè)備軟件系統(tǒng)的體系結(jié)構(gòu)框圖，如圖3所示。

2.1 背景模型

通常利用背景差分獲取視頻場(chǎng)景中的運(yùn)動(dòng)前景，即實(shí)現(xiàn)行人、自行車(chē)、機(jī)動(dòng)車(chē)檢測(cè)，如式（1）所示:

式中:Ft為當(dāng)前時(shí)刻前景；It為當(dāng)前視頻幀；Bt－1為前一時(shí)刻背景。

背景模型作為前景物體檢測(cè)的關(guān)鍵，受外界光照、環(huán)境等變化影響明顯。為有效獲取混合交通背景，本文采用了基于對(duì)象選擇更新的混合高斯背景模型［7］，如式（2）所示:

圖3 混合交通視頻智能檢測(cè)設(shè)備檢測(cè)算法框圖Fig.3 Software Framework of Smart Device on Mixed Traffic Detection

其中F（Bt－1）為混合高斯背景模型更新過(guò)程，參見(jiàn)文獻(xiàn)［8］。該模型對(duì)存在感興趣運(yùn)動(dòng)物體的區(qū)域不更新，否則參照混合高斯背景模型選擇性更新。由式（2）可以看出，背景模型需要初始背景作為其零啟動(dòng)，為獲取零啟動(dòng)背景，本文采用基于聚類(lèi)識(shí)別的背景初始化方法［9］獲取初始背景，該方法可滿(mǎn)足場(chǎng)景內(nèi)包括運(yùn)動(dòng)前景物體或前景物體靜止遮擋率大于50%的應(yīng)用環(huán)境。

2.2 攝像機(jī)參數(shù)標(biāo)定

攝像機(jī)參數(shù)實(shí)現(xiàn)了圖像坐標(biāo)與交通場(chǎng)景位置坐標(biāo)的映射變換。為方便獲取攝像機(jī)內(nèi)外參數(shù)，本文采用了黑箱攝像機(jī)標(biāo)定方法［10］計(jì)算映射關(guān)系。通常圖像坐標(biāo)與空間位置關(guān)系可表達(dá)為

式中:p矩陣表示攝像機(jī)內(nèi)外參數(shù)。根據(jù)已知圖像坐標(biāo)與空間位置坐標(biāo)點(diǎn)對(duì)，利用最小二乘法估計(jì)求解映射變換p矩陣。為簡(jiǎn)化p矩陣求解，令p9＝1，則需要n（n≥4）對(duì) ｛（xi，yi） ，（ui，vi）｝對(duì)應(yīng)點(diǎn)對(duì)構(gòu)成2n個(gè)線(xiàn)性方程求解p矩陣，該方程組表達(dá)為

根據(jù)式（4），可利用最少4對(duì)參照點(diǎn)計(jì)算求解映射變換p矩陣，獲取空間坐標(biāo)與圖像坐標(biāo)之間的映射關(guān)系。該方法與傳統(tǒng)方法相比，僅需一幅模板圖像，降低了特征點(diǎn)與模板個(gè)數(shù)，簡(jiǎn)化了計(jì)算，且具有穩(wěn)定性強(qiáng)、計(jì)算精度高的特點(diǎn)。

2.3 前景物體識(shí)別分類(lèi)

由于混合交通個(gè)體運(yùn)動(dòng)過(guò)程受形變、遮擋等影響，根據(jù)行人、機(jī)動(dòng)車(chē)、自行車(chē)的幾何輪廓特點(diǎn)，本文構(gòu)建了交通個(gè)體中心距向量特征表達(dá)方法，該方法具有較好的旋轉(zhuǎn)、伸縮、平移不變性。

為構(gòu)建交通物體旋轉(zhuǎn)、伸縮、平移不變的特征，首先獲取物體重心G（xc，yc），其表達(dá)式為

式中:mpq為區(qū)域的pq階矩。

其次，選取區(qū)域邊緣上距離重心最遠(yuǎn)點(diǎn)作為區(qū)域主方向，令重心作為極坐標(biāo)中心，在［0，2π］范圍內(nèi)按照逆時(shí)針?lè)较蛐D(zhuǎn)，在每間隔θ角的方向上選取區(qū)域外邊緣點(diǎn)，獲取相應(yīng)點(diǎn)與極坐標(biāo)中心的距離，作為中心距l(xiāng)i，則構(gòu)成N維中心距向量l＝ ［l1，l2，…，ln］；最后，令中心距向量l除以中心距最大值l1，獲取歸一化的中心距向量l′＝，實(shí)現(xiàn)混合交通個(gè)體特征提取與表達(dá)。

支持向量機(jī)（SVM）［11－13］作為基于統(tǒng)計(jì)學(xué)習(xí)的經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原則的一種監(jiān)督式機(jī)器學(xué)習(xí)，其分類(lèi)模式中利用相應(yīng)的分類(lèi)核函數(shù)將輸入向量映射到一個(gè)高維空間，然后根據(jù)最優(yōu)化理論尋求分類(lèi)器的范化誤差最小，獲取最優(yōu)分類(lèi)超平面，實(shí)現(xiàn)不同模式的分類(lèi)識(shí)別。在訓(xùn)練學(xué)習(xí)階段，本文選取行人、自行車(chē)、機(jī)動(dòng)車(chē)與非交通個(gè)體樣本圖像訓(xùn)練學(xué)習(xí)，訓(xùn)練過(guò)程采用Ado boosting算法［14］對(duì)SVM的強(qiáng)、弱分類(lèi)器分配不同權(quán)重系數(shù)加快樣本空間學(xué)習(xí)，建立其分類(lèi)超平面，實(shí)現(xiàn)混合交通物體的分類(lèi)識(shí)別。

3 實(shí)驗(yàn)結(jié)果

本文利用圖2所示的智能相機(jī)原型系統(tǒng)采集交通視頻圖像，采用本文構(gòu)建的軟件算法對(duì)不同交通狀況下的混合交通流進(jìn)行檢測(cè)實(shí)驗(yàn)，其中圖4給出了運(yùn)動(dòng)背景與前景物體的檢測(cè)結(jié)果。圖5給出了不同混合交通物體的矩向量特征表示曲線(xiàn)形式，圖6給出了混合交通物體分類(lèi)識(shí)別結(jié)果。從給定的實(shí)驗(yàn)結(jié)果圖像可以看出，本文算法可以較好地獲取交通視頻的運(yùn)動(dòng)背景、前景、混合物體特征表達(dá)與識(shí)別分類(lèi)。同時(shí)，為了檢驗(yàn)本文算法的檢測(cè)性能，對(duì)不同交通狀態(tài)下的1400個(gè)混合交通物體識(shí)別分類(lèi)準(zhǔn)確度進(jìn)行了測(cè)試，本文算法的識(shí)別準(zhǔn)確度大于95%，反映了本文構(gòu)建的混合交通流智能檢測(cè)相機(jī)具有較好的性能，可應(yīng)用于混合交通流檢測(cè)。

圖4 長(zhǎng)春市人民大街交通視頻處理結(jié)果Fig.4 Processing Result at Renmiing street site in Changchun

圖5 混合交通個(gè)體矩向量表達(dá)曲線(xiàn)圖Fig.5 Moment Vector Represent Curves of Mixed traffic object

圖6 混合交通個(gè)體識(shí)別分類(lèi)結(jié)果Fig.6 Classification Results of Mixed Traffic Object

4 結(jié) 論

針對(duì)目前缺乏混合交通視頻檢測(cè)智能設(shè)備的問(wèn)題，本文利用CCD傳感器與DSP芯片構(gòu)建了智能相機(jī)框架體系和硬件原型系統(tǒng)，采用背景初始化、背景模型與前景獲取、物體分割、特征提取、多目標(biāo)識(shí)別分類(lèi)、攝像機(jī)參數(shù)標(biāo)定等視頻圖像處理技術(shù)，構(gòu)建了混合交通流檢測(cè)軟件方法體系，開(kāi)發(fā)了相應(yīng)的嵌入式算法系統(tǒng)，實(shí)現(xiàn)了混合交通流參數(shù)檢測(cè)。不同交通狀態(tài)下的測(cè)試結(jié)果反映了該系統(tǒng)具有良好的性能，可實(shí)現(xiàn)混合交通流參數(shù)檢測(cè)。本方法可為混合交通流智能相機(jī)的研發(fā)提供借鑒和參考。

［1］Bramberger M，Brunner J，Rinner B，et al.Real－time video analysis on an embedded smart camera for traffic surveillance［C］∥In:Real－Time and Embedded Technology and Applications Symposium，2004Proceedings RTAS 200410th IEEE，2004:174－181.

［2］Bramberger M，Roman P Pflugfelder，Maier Arnold，et al.A smart camera for traffic surveillance［C］∥Proceedings of the First Workshop on Intelligent Solutions in Embedded Systems；2003；Vienna University of Technology，Austria；2003:153－164.

［3］Arth C，Bischof H，Leistner C.TRICam－an embedded platform for remote traffic surveillance［C］∥Computer Vision and Pattern Recognition Workshop，2006 CVPRW＇06Conference on，2006:125.

［4］Wei Bei－na，Shi Yu，Ye Ge－tian ，et al.Developing a smart camera for road traffic surveillance［C］∥Multimedia Signal Processing，2008IEEE 10th Workshop on，2008:826－831.

［5］Houben Q，Czyz J，Diaz J C Tocino，et al.Featurebased stereo vision using smart cameras for traffic surveillance［C］∥Fritz M，Schiele B，Piater JH，eds.Computer Vision Systems，Proceedings；2009:144－153.

［6］Macesic M，Jelaca V，Nino－Castaneda J O.et al.Realtime detection of traffic events using smart cameras［C］∥In:Proceedings of SPIE－IS and T Electronic Imaging－Intelligent Robots and Computer Vision XXIX:Algorithms and Techniques，Burlingame，CA，United states，2012.

［7］李志慧，張長(zhǎng)海，曲昭偉，等.交通流視頻檢測(cè)中背景模型與陰影檢測(cè)算法［J］.吉林大學(xué)學(xué)報(bào):工學(xué)版，2006，36（6）:993－997.Li Zhi－h(huán)ui，Zhang Chang－h(huán)ai，Qu Zhao－wei，et al.Background extraction model and shadow detection algorithm in traffic flow video detection［J］.Journal of Jilin University（Engineering and Technology Edition），2006，36（6）:993－997.

［8］Stauffer Chris，Grimson W E L.Adaptive background mixture models for real－time tracking［J］.Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition，1999，2（Compendex）:246－252.

［9］李志慧，張長(zhǎng)海，曲昭偉，等.交通流視頻檢測(cè)中背景初始化算法［J］.吉林大學(xué)學(xué)報(bào):工學(xué)版，2008，38（1）:148－151.Li Zhi－h(huán)ui，Zhang Chang－h(huán)ai，Qu Zhao－wei，et al.Background initialization algorithm in traffic flow video detection［J］.Journal of Jilin University（Engineering and Technology Edition），2008，38（1）:148－151.

［10］曲昭偉，陳紅艷，李志慧，等.基于單模板的二維場(chǎng)景重建方法［J］.吉林大學(xué)學(xué)報(bào):工學(xué)版，2007，37（5）:1159－1163.Qu Zhao－wei，Chen Hong－yan，Li Zhi－h(huán)ui，et al.2D view reconstruction method based on single calibration pattern［J］.Journal of Jilin University（Engineering and Technology Edition），2007，37（5）:1159－1163.

［11］Cortes Corinna，Vapnik Vladimir.Support－vector networks［J］.Machine Learning，1995，20（3）:273－297.

［12］Scholkopf B，Smola A J，Williamson R C，et al.New support vector algorithms［J］.Neural Computation，2000，12（5）:1207－1245.

［13］Scholkopf B，Platt J C，Shawe－Taylor J，et al.Estimating the support of a high－dimensional distribution［J］.Neural Computation，2001，13（7）:1443－1471.

［14］Rangel Pedro，Lozano Fernando，Garcia Elkin.Boosting of support vector machines with application to editing［C］∥ICMLA 2005:4th International Conference on Machine Learning and Applications，Los Angeles，CA，United States:Inst of Elec and Elec Eng Computer Society，2005:374－379.