基于車路協(xié)同與機(jī)器視覺的行人防碰撞系統(tǒng)*

呂能超 曠 權(quán) 程啟超 王自豐 郭彥剛

(武漢理工大學(xué)智能交通系統(tǒng)研究中心1) 武漢 430063) (水路公路交通安全控制與裝備教育部工程研究中心2) 武漢 430063) (武漢理工大學(xué)能源與動力工程學(xué)院3) 武漢 430063) (武漢理工大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院4) 武漢 430063)

基于車路協(xié)同與機(jī)器視覺的行人防碰撞系統(tǒng)*

呂能超1,2)曠 權(quán)3)程啟超3)王自豐4)郭彥剛3)

(武漢理工大學(xué)智能交通系統(tǒng)研究中心1)武漢 430063) (水路公路交通安全控制與裝備教育部工程研究中心2)武漢 430063) (武漢理工大學(xué)能源與動力工程學(xué)院3)武漢 430063) (武漢理工大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院4)武漢 430063)

為了提高行人防碰撞系統(tǒng)的預(yù)警效果，提出在車路協(xié)同環(huán)境下結(jié)合機(jī)器視覺開展行人防碰撞.車載和路側(cè)模塊分別采用機(jī)器視覺算法檢測行人，采用道路構(gòu)造點(diǎn)渠化法來快速獲取局部道路地圖，通過多源融合實(shí)現(xiàn)同質(zhì)傳感器條件下行人數(shù)據(jù)的融合處理，并搭建實(shí)物實(shí)驗(yàn)平臺，基于C++開發(fā)了行人防碰撞系統(tǒng)并進(jìn)行了行人檢測及預(yù)警實(shí)地實(shí)驗(yàn).結(jié)果表明，系統(tǒng)可以檢測到多個(gè)行人，并在車載端進(jìn)行數(shù)據(jù)融合識別碰撞風(fēng)險(xiǎn)，并做出及時(shí)預(yù)警.

車路協(xié)同；行人防碰撞系統(tǒng)；數(shù)據(jù)融合；構(gòu)造點(diǎn)渠化；機(jī)器視覺

0 引 言

從道路交通事故的成因來看，駕駛員是導(dǎo)致交通事故的主要因素，而行人是交通事故中主要的受害群體.在2012年，我國因交通意外而死亡的行人人數(shù)占全部交通事故死亡人數(shù)的29.81%；因交通事故而受傷的人數(shù)占全部交通事故受傷人數(shù)的21.32%[1].為了有效地保護(hù)行人的安全，各國均圍繞此開展了多種研究，行人防碰撞系統(tǒng)被認(rèn)為是識別碰撞風(fēng)險(xiǎn)、減少行人傷亡的有效裝備.車路協(xié)同系統(tǒng)(cooperative vehicle-infrastructure system，CVIS)是以路側(cè)設(shè)備為中心，通過和通信區(qū)域內(nèi)車輛進(jìn)行通信，在路側(cè)設(shè)備與車輛節(jié)點(diǎn)的高速移動中為用戶提供安全預(yù)警等各種服務(wù)的系統(tǒng)[2].隨著技術(shù)的發(fā)展，車路協(xié)同技術(shù)開始逐漸的應(yīng)用在主動安全交通上，行人防碰撞便是其中的一個(gè)研究熱點(diǎn)，如Yamaguch等[3]、Becker等[4]、Ma等[5]均提出將車路協(xié)同應(yīng)用于碰撞風(fēng)險(xiǎn)識別.上述系統(tǒng)雖然取得了一定實(shí)驗(yàn)效果，但由于沒有考慮到多個(gè)傳感器條件下行人數(shù)據(jù)的融合，實(shí)際使用時(shí)虛警較多，預(yù)警效果不理想.

機(jī)器視覺已成為安全輔助駕駛中信息獲取手段的主要途徑[6-7].針對以上問題，本文提出一種基于車路協(xié)同與機(jī)器視覺的行人防碰撞系統(tǒng).車載、路側(cè)模塊均采用機(jī)器視覺檢測行人；同時(shí)結(jié)合道路構(gòu)造點(diǎn)渠化法來快速獲取局部道路地圖，實(shí)現(xiàn)行人、車輛在同一個(gè)地圖上進(jìn)行地圖匹配；分別在路側(cè)模塊、車載模塊多地點(diǎn)、多方法進(jìn)行多傳感器條件下的行人數(shù)據(jù)融合，實(shí)現(xiàn)多源數(shù)據(jù)環(huán)境下的數(shù)據(jù)融合和碰撞風(fēng)險(xiǎn)識別.最后基于實(shí)物平臺，采用C++開發(fā)了行人防碰撞系統(tǒng)，并進(jìn)行實(shí)地行人檢測及預(yù)警實(shí)驗(yàn).基于以上思路提出的行人防碰撞系統(tǒng)，能夠提高系統(tǒng)整體預(yù)警效果.

1 基于車路協(xié)同和及其機(jī)器視覺的防碰撞系統(tǒng)設(shè)計(jì)

1.1 系統(tǒng)構(gòu)架

基于車路協(xié)同與機(jī)器視覺的行人防碰撞系統(tǒng)，系統(tǒng)組成框圖如圖1所示.

圖1 系統(tǒng)構(gòu)架

1.2 信息處理流程

1) 路側(cè)信息獲取 路側(cè)一體化集成模塊通過多個(gè)路側(cè)攝像機(jī)檢測行人，經(jīng)坐標(biāo)轉(zhuǎn)換獲取行人數(shù)量與位置信息.隨后，在路側(cè)信息處理模塊上進(jìn)行行人數(shù)據(jù)融合.同時(shí)，存儲在路側(cè)信息處理模塊中的局部道路渠化代碼被發(fā)送至路側(cè)通信模塊.

2) 車載信息獲取 車載一體化集成模塊通過車載前向攝像頭檢測行人并經(jīng)過坐標(biāo)轉(zhuǎn)換獲取行人的數(shù)量與位置信息，同時(shí)借助車載傳感器獲取車輛狀態(tài)、操作信息.通過車路通信設(shè)備建立車載、路側(cè)模塊間的實(shí)時(shí)數(shù)據(jù)連接.

3) 信息融合處理 多源信息被發(fā)送至中央處理模塊上，進(jìn)行車載行人信息與路側(cè)行人信息的融合，得到最終的行人信息并作為風(fēng)險(xiǎn)判別的依據(jù).同時(shí)根據(jù)車輛狀態(tài)信息與車輛操作信息得到車輛的運(yùn)動狀態(tài).將車輛運(yùn)動信息、多個(gè)行人的運(yùn)動信息進(jìn)行組合，得到二者的相對運(yùn)動信息.通過局部道路渠化代碼的重構(gòu)快速得到局部道路地圖，根據(jù)行人車輛相對運(yùn)動信息實(shí)現(xiàn)二者在同一個(gè)局部道路地圖下的匹配.

4) 風(fēng)險(xiǎn)判別處理 將得到的行人車輛相對運(yùn)動信息與預(yù)先設(shè)定的安全閥值進(jìn)行比較，若風(fēng)險(xiǎn)參數(shù)超過安全閥值，則系統(tǒng)會發(fā)送預(yù)警控制指令給顯示與控制模塊采取主動預(yù)警和輔助控制措施.若沒有超過安全閥值，則當(dāng)前為安全狀態(tài)，系統(tǒng)不采取措施，繼續(xù)行車.

2 數(shù)據(jù)融合與地圖獲取

2.1 行人-車輛相對坐標(biāo)求解

國內(nèi)外在基于機(jī)器視覺的行人檢測方法上已開展了大量研究，并形成了相對成熟的算法，如基于梯度直方圖(HOG)特征的識別算法.因此，本文不再深入討論行人檢測算法，僅考慮對已檢測到的數(shù)據(jù)進(jìn)行使用.在機(jī)器視覺使用過程中，很重要的一個(gè)環(huán)節(jié)是像素坐標(biāo)到世界坐標(biāo)的轉(zhuǎn)換及必須的攝像機(jī)標(biāo)定，通過此轉(zhuǎn)換方可將圖像中識別到的行人坐標(biāo)轉(zhuǎn)換到俯視圖下的平面二維坐標(biāo).將攝像機(jī)模型簡化為圖示小孔成像模型,見圖2.

圖2 坐標(biāo)轉(zhuǎn)換模型

圖中:物體成像過程要經(jīng)過從世界坐標(biāo)(XW,YW,ZW)到攝像機(jī)坐標(biāo)(XC，YC，ZC)到圖像坐標(biāo)(X，Y)到像素坐標(biāo)(u，v)的轉(zhuǎn)換.根據(jù)張正友標(biāo)定法的運(yùn)算過程，采用齊次坐標(biāo)與矩陣形式表示的轉(zhuǎn)換過程如下.

(1)

此外，車輛、車載設(shè)備識別的行人目標(biāo)、路側(cè)設(shè)備識別的行人目標(biāo)、道路局部地圖等幾個(gè)要素需要在統(tǒng)一的坐標(biāo)下進(jìn)行處理.因此，路側(cè)設(shè)備識別的行人和局部地圖，需要經(jīng)過平面坐標(biāo)轉(zhuǎn)換才能統(tǒng)一到相對于車輛的坐標(biāo).通過高斯投影將經(jīng)緯度轉(zhuǎn)換為高斯平面坐標(biāo)；再采用仿射變化進(jìn)行坐標(biāo)強(qiáng)制轉(zhuǎn)換，建立高斯投影坐標(biāo)系和局部坐標(biāo)系間的映射關(guān)系，以實(shí)現(xiàn)相互間的坐標(biāo)轉(zhuǎn)換.在分別得到行人、車輛相對于路側(cè)攝像機(jī)的坐標(biāo)后，便可以進(jìn)行坐標(biāo)的矢量運(yùn)算，進(jìn)而可以得到行人在局部坐標(biāo)系下相對車輛的位置信息.

2.2 行人數(shù)據(jù)融合

由于本文的方法將使用多個(gè)同質(zhì)視覺傳感器的行人檢測結(jié)果，但傳感器本身誤差和系統(tǒng)工作誤差會導(dǎo)致獲取的行人數(shù)據(jù)存在不同程度的偏差，嚴(yán)重影響風(fēng)險(xiǎn)預(yù)警.因此，需要對多個(gè)傳感器獲取的行人數(shù)據(jù)進(jìn)行融合處理.根據(jù)數(shù)據(jù)融合在多傳感器信息處理層次中的抽象程度的不同，可以分為像素級、特征級和決策級融合.由于本文的數(shù)據(jù)融合結(jié)果直接為風(fēng)險(xiǎn)判別提供依據(jù)，所以為決策級融合層次.它需要在車載、路側(cè)多個(gè)地點(diǎn)上進(jìn)行融合，同時(shí)本文所涉及的行人防碰撞研究對于系統(tǒng)的魯棒性、實(shí)時(shí)性和靈活性要求較高，所以需要多方法融合處理，具體的過程可以分為以下3步.

步驟1 對行人坐標(biāo)進(jìn)行分類匹配，確定每一個(gè)行人被多個(gè)攝像機(jī)檢測所得到的多個(gè)坐標(biāo)——誤差判別法：由于多個(gè)路側(cè)攝像機(jī)檢測行人所得到的坐標(biāo)偏差較小，所以本文提出了一種誤差判別法：以編號最小的路側(cè)攝像機(jī)所得到的行人坐標(biāo)為圓心建立一個(gè)半徑為30 cm的誤差判別圓，若其他攝像機(jī)獲取的行人坐標(biāo)在此圓內(nèi)或者圓上，則判定這幾個(gè)路側(cè)攝像機(jī)所獲取的行人坐標(biāo)為同一個(gè)行人的坐標(biāo)，否則，便為不同行人的坐標(biāo).

步驟2 同一行人的多個(gè)路側(cè)坐標(biāo)的融合——相同噪聲方差下的最優(yōu)加權(quán)平均法：分別給各攝像機(jī)加權(quán)，所加的權(quán)是根據(jù)限定條件計(jì)算得到的，具有較高的精確度和準(zhǔn)確度.坐標(biāo)分x和y進(jìn)行處理，因?yàn)槎鄠€(gè)路側(cè)攝像機(jī)的精度和構(gòu)造基本相同，所以它們量測噪聲的方差基本相同，由加權(quán)平均數(shù)據(jù)融合法中待估狀態(tài)X的最優(yōu)估計(jì)X^是存在的而且是唯一的，可知它們所加的權(quán)一樣.所以最后它們得到的坐標(biāo)就是各坐標(biāo)的平均數(shù)，精度為原來單個(gè)傳感器的n倍.

步驟3 路側(cè)數(shù)據(jù)與車載數(shù)據(jù)的融合——不同噪聲方差下的最優(yōu)加權(quán)平均法：首先通過行人特征判別實(shí)現(xiàn)多個(gè)坐標(biāo)的分類匹配，即將同一個(gè)行人的坐標(biāo)放置在一起進(jìn)行比較.由于路側(cè)攝像機(jī)和車載攝像機(jī)的性能和構(gòu)造不太相同，所以二者所量測的噪聲方差也不同，所賦的最優(yōu)的權(quán)也不同.同樣對x和y分別進(jìn)行加權(quán)平均操作.設(shè)路側(cè)和車載測量同一目標(biāo)所得的橫坐標(biāo)分別為x1，x2，目標(biāo)真實(shí)橫坐標(biāo)為x0，量測噪聲分別為y1，y2，那么可以得到第i個(gè)傳感器的量測方程為：xi=x0+yi(i=1,2)

(2)

(3)

(4)

(5)

其次，要使融合后輸出精度最高，即下式要最小：

(6)

根據(jù)拉格朗日條件極值求法，構(gòu)造函數(shù)

(7)

當(dāng)上述函數(shù)值最小時(shí)，可得最優(yōu)權(quán)系數(shù)：

(8)

代入數(shù)據(jù)就可以得到各加權(quán)系數(shù)αi，進(jìn)而分別與對應(yīng)的坐標(biāo)相乘求和得到最終的行人坐標(biāo).

2.3 地圖獲取

當(dāng)前，電子地圖廣泛應(yīng)用于導(dǎo)航駕駛.但現(xiàn)有電子地圖在智能車路系統(tǒng)方面存在以下不足：(1) 不能對車輛、行人在同一個(gè)地圖上實(shí)行地圖匹配；(2) 信息存儲量大，獲取速度慢.針對這種情況，呂能超等[8]提出了局部道路地圖獲取的概念，但沒有精確考慮到交叉口每個(gè)方向的車道個(gè)數(shù)以及車道寬度，而且編碼時(shí)沒有考慮編碼余量，這在當(dāng)下我國城市道路不定期新建的情況下會引起編碼錯(cuò)誤和大規(guī)模變動的問題.

考慮到上述背景，本文提出通過道路構(gòu)造點(diǎn)渠化法來快速獲取局部道路地圖實(shí)現(xiàn)人、車在同一個(gè)地圖上的地圖匹配：以交叉口編號最小的路側(cè)攝像機(jī)所在位置點(diǎn)為原點(diǎn)，建立局部道路坐標(biāo)系，從而確定其他點(diǎn)的坐標(biāo)，進(jìn)而預(yù)先給定重要路段和設(shè)施的代碼得到道路渠化信息并存儲在路側(cè)模塊中，當(dāng)車輛行駛至路側(cè)模塊通信范圍內(nèi)便發(fā)送給車載模塊進(jìn)以此來根據(jù)構(gòu)造點(diǎn)代碼快速重構(gòu)渠化，實(shí)現(xiàn)局部道路地圖的快速獲取.具體代碼規(guī)則見表1.

表1 交叉口道路構(gòu)造點(diǎn)代碼規(guī)則

為了區(qū)分不同類別的道路構(gòu)造點(diǎn)信息以及保留構(gòu)造點(diǎn)代碼的惟一性，采用數(shù)字與字母混合型的代碼：以每個(gè)構(gòu)造點(diǎn)英文釋義的首字母開命名，如路側(cè)攝像機(jī)為road-side camera，定義交叉口東南角的路側(cè)攝像機(jī)編號為1，則其代碼為RSC1，其他以此類推.由于道路新建或廢棄會導(dǎo)致代碼增加或刪減的從而引起局部地圖所有道路構(gòu)造點(diǎn)代碼均需要調(diào)整[9]，所以需要根據(jù)城市發(fā)展規(guī)劃情況來預(yù)留一定代碼余量：每條主干道之間預(yù)留3個(gè)代碼，每條支干道之間預(yù)留2個(gè)代碼.通過上述編碼，可以實(shí)現(xiàn)局部道路渠化信息的快速傳輸和重構(gòu)，在車載終端上很容易顯示精細(xì)化的道路渠化結(jié)構(gòu).

3 系統(tǒng)開發(fā)及試驗(yàn)

通過實(shí)驗(yàn)車輛與路側(cè)終端的結(jié)合搭建了車路協(xié)同實(shí)驗(yàn)平臺，采用VC++開發(fā)了行人防碰撞系統(tǒng).該系統(tǒng)自動檢測前方多個(gè)行人，以實(shí)時(shí)、事件記錄方式，采集本車及前方行人運(yùn)動參數(shù)，建立實(shí)時(shí)動態(tài)數(shù)據(jù)庫，與預(yù)先設(shè)定好的安全閥值進(jìn)行比較來評估行車安全并針對危險(xiǎn)行人及時(shí)采取預(yù)警措施.當(dāng)系統(tǒng)判斷駕駛?cè)嗽谖ｋU(xiǎn)情況下沒有采取措施時(shí)會自動做出降速或剎車反應(yīng)，從而提高行車安全性.另外，為了適應(yīng)不同的駕駛?cè)藢囕v操控和危險(xiǎn)行駛認(rèn)識的差異性，駕駛?cè)丝勺约赫{(diào)整危險(xiǎn)情景.

在實(shí)際道路環(huán)境下進(jìn)行行人檢測與預(yù)警的實(shí)地實(shí)驗(yàn).其中，車載模塊采用單目攝像頭，路側(cè)模塊在交叉口不同位置布置兩個(gè)攝像頭.通過車載、路側(cè)共同檢測行人得到行人位置信息，并通過上述數(shù)據(jù)融合方法對多個(gè)攝像頭得到的行人數(shù)據(jù)進(jìn)行融合.地圖匹配和信息融合后可以實(shí)現(xiàn)在統(tǒng)一坐標(biāo)下下的行人碰撞風(fēng)險(xiǎn)識別.測試表明，在同質(zhì)多傳感器條件下通過多地點(diǎn)、多方法的數(shù)據(jù)融合，目標(biāo)行人總體數(shù)量、危險(xiǎn)行人總體數(shù)量均得到降低，實(shí)現(xiàn)了虛假目標(biāo)的有效剔除.因此減少了設(shè)備誤差和工作誤差帶來的冗余報(bào)警，為系統(tǒng)進(jìn)行風(fēng)險(xiǎn)判別提供了精確的數(shù)據(jù)信息.

4 結(jié) 論

1) 分析了現(xiàn)有行人防碰撞系統(tǒng)在數(shù)據(jù)融合方面的不足，提出了一種基于車路協(xié)同與機(jī)器視覺的行人防碰撞系統(tǒng)并對其構(gòu)造及工作原理做出了說明，在車載模塊、路側(cè)模塊采用多地點(diǎn)、多方法對行人數(shù)據(jù)進(jìn)行融合處理，通過道路構(gòu)造點(diǎn)渠化法快速獲取局部道路地圖，實(shí)現(xiàn)人、車在同一個(gè)坐標(biāo)系下的地圖匹配.實(shí)驗(yàn)結(jié)果表明，系統(tǒng)可以檢測多個(gè)行人并及時(shí)預(yù)警，實(shí)現(xiàn)了預(yù)警效果的整體提高.

2) 文中所開發(fā)的系統(tǒng)當(dāng)前一次性監(jiān)控行人個(gè)數(shù)有限，后期如何實(shí)現(xiàn)一次性監(jiān)控更多行人并對多個(gè)行人數(shù)據(jù)進(jìn)行更高效、更準(zhǔn)確地融合，進(jìn)一步提高防碰撞系統(tǒng)的預(yù)警功能是值得進(jìn)一步研究的內(nèi)容.

[1]張 陽,劉偉銘,吳義虎.面向車載輔助駕駛系統(tǒng)的快速行人檢測方法[J].公路交通科技,2013(11):131-138.

[2]王東柱,宋向輝,朱書善,等.基于車路協(xié)同的高速公路合流區(qū)安全預(yù)警控制方法[J].公路交通科技,2012(S1):50-56,63.

[3]YAMAGUCHI R, IKEDA D, NAKANISHI Y, et al. A cooperative reflect transmission scheme using road infrastructure in vehicle-pedestrian communications[J]. Vehicular Technology Conference, VTC 2008-Fall. IEEE 68th ,2008,5(1):21-24.

[4]BECKER D, SCHAUFELE B, EINSIEDLER J, et al. Vehicle and pedestrian collision prevention system based on smart video surveillance and C2I communication[J]. Intelligent Transportation Systems (ITSC),2014 IEEE 17th International Conference.2014:3088,3093.

[5]MA Guosheng, ZHU Tong, YANG Xiaoguang. Prediction of potential pedestrian-to-vehicle conflict at unsignalized intersection based on VII[C]. IEEE International Conference on Intelligent Computing and Intelligent Systems,2009:632-635.

[6]彭 軍,王江鋒,王 娜.基于機(jī)器視覺的智能車輛避撞預(yù)警算法[J].公路交通科技,2011(S1):124-128.

[7]YONEDA R, OKUDA K, UEMURA W. A tight curve warning system using FSK visible light and road-to-vehicle communication[C].IEEE Third International Conference on Consumer Electronics,2013,3(1):9-11.

[8]LV Nengchao, WU Chaozhong, QIU Zhijun, et al. Pedestrian collision avoidance method based on cooperative vehicle infrastructure systems[C].Proceedings of Annual Conference-Canadian Society for Civil Engineering,2012:1757-1766.

[9]何 波,陳旭梅,于 雷,等.城市道路編碼標(biāo)準(zhǔn)與編碼方法研究綜述[J].道路交通與安全,2009(5):27-31.

Pedestrian-vehicle Collision Avoidance System Based on Cooperative Vehicle Infrastructure System and Machine Vision

LV Nengchao1,2)KUANG Quan3)CHENG Qichao3)WANG Zifeng4)GUO Yangang3)

(IntelligentTransportationSystemsResearchCenter,WuhanUniversityofTechnology,Wuhan430063,China)1)(EngineeringResearchCenterforTransportationSafety,MinistryofEducation,Wuhan430063,China)2)(SchoolofEnergyandPowerEngineering,WuhanUniversityofTechnology,Wuhan430063,China)3)(SchoolofComputerScienceandTechnology,WuhanUniversityofTechnology,Wuhan430063,China)4)

In order to improve warning effects of pedestrian anti-collision system, pedestrian anti-collision based on the Cooperative Vehicle Infrastructure System (CVIS) and machine vision was proposed. Pedestrian is detected based on the machine vision of vehicle module and road-side module. Combining with geometrical transformation and coordinate transformation, the coordinate of pedestrian relative to vehicle is gotten. The fusion processing of pedestrian data is realized through fusion of multiple locations and multiple methods on the environment of same characters multi-sensor. And using road structure point canalization method, a local road map is gotten quickly. The physical test platform was established, and pedestrian anti-collision system based on the VC++ were developed. Experiment result indicates that, the system can detect multiple pedestrians and record their motion parameters, then make timely warning aiming at dangerous pedestrian.

CVIS; pedestrian anti-collision system; data fusion; sttructure point canalization; machine vision

2015-03-20

*國家自然科學(xué)基金項(xiàng)目(批準(zhǔn)號：51208401)、交通運(yùn)輸部應(yīng)用基礎(chǔ)研究項(xiàng)目(批準(zhǔn)號：2014319811200)、中央高校基本科研業(yè)務(wù)費(fèi)專項(xiàng)基金項(xiàng)目(批準(zhǔn)號：133244003)、武漢理工大學(xué)自主創(chuàng)新研究基金項(xiàng)目(批準(zhǔn)號：146805014)資助

U491.5-9

10.3963/j.issn.2095-3844.2015.04.006

呂能超(1982- )：男，博士，副研究員，主要研究領(lǐng)域?yàn)榻煌ò踩?/p>