基于雷視融合技術(shù)的全域車輛感知方案應(yīng)用研究

韋樂香,黎琮瑩

(廣西交通設(shè)計(jì)集團(tuán)有限公司,廣西 南寧 530029)

0 引言

隨著國(guó)家新基建戰(zhàn)略的深入推進(jìn),加快新型基礎(chǔ)設(shè)施建設(shè)成為交通領(lǐng)域發(fā)展關(guān)鍵,在國(guó)務(wù)院印發(fā)的《“十四五”數(shù)字經(jīng)濟(jì)發(fā)展規(guī)劃》中明確提到,有序推進(jìn)基礎(chǔ)設(shè)施智能升級(jí),是提升交通領(lǐng)域數(shù)字化的發(fā)展方向。其中交通領(lǐng)域數(shù)字化轉(zhuǎn)型的關(guān)鍵技術(shù)之一,是交通狀態(tài)感知的數(shù)字化。

在高速公路領(lǐng)域,傳統(tǒng)交通感知的手段通常采用基于視頻圖像方案對(duì)路段交通狀態(tài)進(jìn)行人工查看和事件檢測(cè),其主要特點(diǎn)為:可視范圍廣、成像效果直觀、目標(biāo)可辨別度高以及硬件成本低等;其缺點(diǎn)為:易受周邊氣象和光照影響、提取數(shù)據(jù)精度不高以及有效感知距離不足等,不能形成深度精確感知,無法對(duì)交通狀態(tài)進(jìn)行實(shí)時(shí)連續(xù)識(shí)別。

而毫米波雷達(dá)具有波長(zhǎng)短、頻帶寬、穿透能力強(qiáng)等特點(diǎn),因而具備抗干擾能力強(qiáng)、識(shí)別精度較高、探測(cè)感知距離遠(yuǎn)等優(yōu)點(diǎn),已廣泛應(yīng)用于汽車和路段檢測(cè)各領(lǐng)域[1]?；诶滓暼诤霞夹g(shù)的全域路況感知方案采用毫米波雷達(dá)+視頻數(shù)據(jù)融合模式,具備實(shí)時(shí)目標(biāo)檢測(cè)、目標(biāo)類型精確識(shí)別、車流量統(tǒng)計(jì)、車速檢測(cè)、目標(biāo)位置連續(xù)跟蹤等能力,可獲取車輛實(shí)時(shí)軌跡,并通過模型算法的跟蹤傳遞,達(dá)到道路的全域軌跡跟蹤,實(shí)現(xiàn)全路段的交通信息有效感知,實(shí)時(shí)掌控交通態(tài)勢(shì)。

1 系統(tǒng)構(gòu)成

基于雷視融合技術(shù)的全域車輛感知系統(tǒng)由毫米波雷達(dá)傳感器、數(shù)據(jù)邊緣計(jì)算單元、高清視頻監(jiān)控設(shè)備(高清槍式、球型攝像機(jī))、中心管理計(jì)算服務(wù)器、管理工作站以及通信網(wǎng)絡(luò)構(gòu)成,如圖1所示。

圖1 全域車輛感知系統(tǒng)構(gòu)成示意圖

1.1 毫米波雷達(dá)設(shè)備

毫米波雷達(dá)設(shè)備主要負(fù)責(zé)對(duì)檢測(cè)區(qū)域內(nèi)所有的目標(biāo)進(jìn)行實(shí)時(shí)跟蹤定位檢測(cè),并對(duì)每個(gè)目標(biāo)物體的類型進(jìn)行精準(zhǔn)區(qū)分。目標(biāo)類型主要包括:車輛、行人、障礙物體等。雷達(dá)傳感器對(duì)每個(gè)目標(biāo)進(jìn)行實(shí)時(shí)跟蹤定位檢測(cè)并判斷其運(yùn)動(dòng)狀態(tài)和位置信息。

毫米波雷達(dá)傳感器主要由高頻發(fā)射單元、信號(hào)接收單元、數(shù)據(jù)處理單元和通信單元等組成,其核心數(shù)據(jù)處理單元采用多線程高速處理器,能夠同時(shí)對(duì)檢測(cè)區(qū)域內(nèi)的目標(biāo)物體進(jìn)行實(shí)時(shí)跟蹤定位。雷達(dá)檢測(cè)器能夠獲取每個(gè)目標(biāo)物體的獨(dú)立信息,包括即時(shí)速度、運(yùn)動(dòng)方向、所在車道、目標(biāo)類型(大型車輛、中型車輛、小型車輛、行人、障礙物)、經(jīng)緯度、目標(biāo)尺寸、ID編號(hào)、方向角等重要信息。

1.2 高清視頻監(jiān)控設(shè)備

高清視頻監(jiān)控設(shè)備與毫米波雷達(dá)配合使用,與毫米波雷達(dá)同址設(shè)置,主要用于提取車輛的各類信息。毫米波雷達(dá)觸發(fā)抓拍,利用圖像識(shí)別技術(shù)來獲取年輛的特征信息。車輛的特征信息包括:車牌、車標(biāo)、車系、車型、顏色、車速信息等。

高清視頻監(jiān)控設(shè)備主要包括高清槍式攝像機(jī)和高清球形攝像機(jī)兩類。

1.3 數(shù)據(jù)邊緣計(jì)算單元

數(shù)據(jù)邊緣計(jì)算單元主要為前端數(shù)據(jù)處理和跟蹤服務(wù)處理模塊,負(fù)責(zé)完成雷達(dá)設(shè)備與車輛高清抓拍卡口設(shè)備數(shù)據(jù)的采集、分析、處理、雷達(dá)設(shè)備與攝像機(jī)同步觸發(fā)抓拍、被跟蹤目標(biāo)丟失補(bǔ)償、目標(biāo)軌跡修正、軌跡再現(xiàn)、多雷達(dá)之間目標(biāo)信息數(shù)據(jù)相互傳遞、雷達(dá)目標(biāo)動(dòng)態(tài)數(shù)據(jù)與車牌抓拍獲取的車輛特征數(shù)據(jù)深度融合、被跟蹤目標(biāo)信息回溯、數(shù)據(jù)格式轉(zhuǎn)化、目標(biāo)定位實(shí)時(shí)解析輸出高精度經(jīng)緯度信息等多種功能。外場(chǎng)感知設(shè)施設(shè)置示意圖如圖2所示。

圖2 外場(chǎng)感知設(shè)施設(shè)置示意圖

數(shù)據(jù)邊緣計(jì)算單元與毫米波雷達(dá)采用同址設(shè)置,每個(gè)點(diǎn)位設(shè)置1套數(shù)據(jù)邊緣計(jì)算單元。數(shù)據(jù)邊緣計(jì)算單元實(shí)現(xiàn)以下功能:

1.3.1 目標(biāo)跟蹤數(shù)據(jù)采集

數(shù)據(jù)邊緣計(jì)算單元采用網(wǎng)絡(luò)連接方式與雷達(dá)傳感器進(jìn)行互聯(lián),獲取雷達(dá)傳感器視場(chǎng)范圍內(nèi)所有目標(biāo)的原始數(shù)據(jù)信息,并按照預(yù)先設(shè)定的各種條件和參數(shù)來對(duì)原始數(shù)據(jù)進(jìn)行分析、處理、融合。數(shù)據(jù)邊緣計(jì)算單元采用網(wǎng)絡(luò)連接方式與視頻監(jiān)控設(shè)備進(jìn)行互聯(lián),獲取、分析、處理獲取抓拍的車輛特征信息。經(jīng)過數(shù)據(jù)邊緣計(jì)算單元處理后的雷達(dá)數(shù)據(jù)可以實(shí)時(shí)推送目標(biāo)跟蹤數(shù)據(jù)和報(bào)警數(shù)據(jù)到車牌抓拍服務(wù)端。對(duì)收集到的車輛類型的目標(biāo)數(shù)據(jù)進(jìn)行實(shí)時(shí)記錄,為目標(biāo)建立系統(tǒng)中唯一編碼作為該目標(biāo)唯一標(biāo)識(shí),并納入持續(xù)跟蹤列表。

1.3.2 目標(biāo)跟蹤數(shù)據(jù)補(bǔ)充與軌跡修正

當(dāng)系統(tǒng)判定目標(biāo)數(shù)據(jù)完全丟失時(shí),系統(tǒng)會(huì)啟動(dòng)該功能并繼續(xù)運(yùn)行目標(biāo)跟蹤數(shù)據(jù)補(bǔ)充和軌跡修正服務(wù),降低目標(biāo)數(shù)據(jù)受影響程度。

轉(zhuǎn)眼到了柚子的采摘期，可能是因?yàn)槟悄晗某鯐r(shí)分的氣溫過低，人們把柚子采摘下來一看，傻眼了，這些柚子的皮足有三四厘米厚，柚瓤卻又小又瘦。往年一到這個(gè)時(shí)候，外地水果商販們都會(huì)一車接一車地把柚子收購(gòu)去，但今年，雖然水果商們同樣一批又一批地來到這里，但最終卻又一批又一批地?fù)u頭離去。果農(nóng)們?yōu)榱税谚肿淤u出去，不斷主動(dòng)壓低價(jià)格，但這同樣沒有讓商販們心動(dòng)，商人們深知，東西不好再便宜也沒用。

1.3.3 雷達(dá)觸發(fā)攝像機(jī)抓拍及融合

當(dāng)雷達(dá)檢測(cè)到被跟蹤的車輛進(jìn)入到高清攝像機(jī)最佳抓拍區(qū)域時(shí),雷達(dá)會(huì)發(fā)出同步觸發(fā)捕捉的命令觸發(fā)攝像機(jī)抓拍,以保證將同一輛被跟蹤定位的車輛的動(dòng)態(tài)數(shù)據(jù)信息以及被車輛精準(zhǔn)監(jiān)控卡口設(shè)備獲得的車輛的特征信息進(jìn)行綁定及融合,并進(jìn)行數(shù)據(jù)輸出。

1.3.4 多雷達(dá)目標(biāo)連續(xù)跟蹤

要想實(shí)現(xiàn)目標(biāo)全路徑的跟蹤定位,在保持目標(biāo)能夠被連續(xù)跟蹤的同時(shí)更要實(shí)現(xiàn)兩個(gè)相鄰雷達(dá)傳感器之間數(shù)據(jù)有效的相互傳遞。當(dāng)目標(biāo)運(yùn)行至兩個(gè)雷達(dá)重疊檢測(cè)區(qū)域時(shí),系統(tǒng)會(huì)自動(dòng)啟動(dòng)目標(biāo)融合算法,對(duì)被兩個(gè)雷達(dá)同時(shí)跟蹤的同一車輛進(jìn)行融合匹配[2]。實(shí)現(xiàn)目標(biāo)從第一個(gè)雷達(dá)檢測(cè)區(qū)域平滑過渡到第二個(gè)雷達(dá)檢測(cè)區(qū)域內(nèi),并保持目標(biāo)唯一身份信息不變。

1.3.5 數(shù)據(jù)融合共享

通過上述服務(wù),達(dá)到對(duì)雷達(dá)目標(biāo)數(shù)據(jù)的持續(xù)跟蹤,并完成車牌抓拍數(shù)據(jù)與雷達(dá)目標(biāo)跟蹤數(shù)據(jù)的融合。將兩種數(shù)據(jù)按照預(yù)定規(guī)則格式進(jìn)行封裝,建立數(shù)據(jù)共享服務(wù),實(shí)時(shí)與中心管理計(jì)算服務(wù)器進(jìn)行通訊,共同完成異常事件和交通控制措施的聯(lián)動(dòng)運(yùn)行。

1.4 中心管理服務(wù)器

中心管理服務(wù)器主要用于承載系統(tǒng)平臺(tái)的相關(guān)應(yīng)用。平臺(tái)通過與外場(chǎng)路側(cè)的數(shù)據(jù)邊緣計(jì)算單元進(jìn)行通信,獲取數(shù)據(jù)邊緣計(jì)算單元上傳的數(shù)據(jù)信息、報(bào)警信息、圖像信息等,并對(duì)其下發(fā)控制指令、參數(shù)設(shè)定指令、與其他相關(guān)系統(tǒng)的聯(lián)動(dòng)指令等。

2 系統(tǒng)方案

南寧沙井至吳圩高速公路是交通運(yùn)輸部在廣西開展的交通強(qiáng)國(guó)試點(diǎn)工程。該項(xiàng)目融合多維度交通運(yùn)行數(shù)字化感知、北斗高精度定位、車路協(xié)同云管控工程、全生命周期高精度多模態(tài)空間數(shù)據(jù)工程等技術(shù)方案,創(chuàng)新試點(diǎn)先進(jìn)技術(shù)的應(yīng)用,建立車路協(xié)同示范應(yīng)用等一系列創(chuàng)新設(shè)計(jì)場(chǎng)景。項(xiàng)目全線長(zhǎng)度約為26 km,設(shè)計(jì)采用在主線范圍進(jìn)行道路全域部署感知設(shè)施方案,以支撐基于車路協(xié)同的智能駕駛相關(guān)應(yīng)用。

2.1 系統(tǒng)設(shè)置方案

項(xiàng)目按照350 m的間隔設(shè)置定向毫米波雷達(dá)傳感器、高清監(jiān)控?cái)z像機(jī)。雷達(dá)探測(cè)器與高清攝像機(jī)設(shè)置于道路中央分隔帶立桿上,邊緣計(jì)算單元設(shè)于道路路側(cè),視距不良的特殊路段采用加密方式布設(shè)。

毫米波雷達(dá)探測(cè)器采用定向探測(cè)傳遞方案,安裝高度為6 m,探測(cè)距離為400 m。為保障雷達(dá)探測(cè)器的數(shù)據(jù)有效性,在視野開闊的直線路段上的布設(shè)間距為350 m,對(duì)于彎道視距不良路段,對(duì)探測(cè)器設(shè)置間距進(jìn)行加密。

2.2 系統(tǒng)工作流程(圖3)

圖3 毫米波雷達(dá)和攝像機(jī)探測(cè)方案示意圖

當(dāng)車輛駛?cè)牒撩撞ɡ走_(dá)傳感器所覆蓋的檢測(cè)區(qū)域,毫米波雷達(dá)傳感器通過實(shí)時(shí)掃描的方式來獲取車輛的初始數(shù)據(jù),該數(shù)據(jù)通過本地網(wǎng)絡(luò)傳至路側(cè)邊緣計(jì)算單元,路側(cè)邊緣計(jì)算單元再通過對(duì)雷達(dá)傳感器上傳的數(shù)據(jù)進(jìn)行實(shí)時(shí)分析和處理,獲取雷達(dá)傳感器所覆蓋的檢測(cè)區(qū)域內(nèi)每一個(gè)目標(biāo)車輛的實(shí)時(shí)動(dòng)態(tài)信息。主要包括以下內(nèi)容:目標(biāo)車輛的經(jīng)緯度信息、運(yùn)行速度信息、運(yùn)行方向信息、所在位置信息,并生成檢測(cè)區(qū)域內(nèi)唯一ID數(shù)字標(biāo)識(shí)信息等。

當(dāng)系統(tǒng)通過雷達(dá)傳感器跟蹤并定位到車輛進(jìn)入預(yù)先設(shè)定的抓拍觸發(fā)檢測(cè)區(qū)域時(shí),系統(tǒng)會(huì)將觸發(fā)信息通過邊緣計(jì)算單元傳輸給高清監(jiān)控?cái)z像機(jī),觸發(fā)高清監(jiān)控?cái)z像機(jī)對(duì)駛?cè)氲能囕v進(jìn)行圖像抓拍,然后將抓拍的圖像數(shù)據(jù)傳至邊緣計(jì)算單元,由其進(jìn)行圖像AI結(jié)構(gòu)化,實(shí)時(shí)提取該車輛的特征信息,主要包括車輛的顏色、車型、品牌、商標(biāo)、車牌、類別等信息。

邊緣計(jì)算單元將雷達(dá)傳感器和攝像機(jī)所獲取同一輛車輛的動(dòng)態(tài)信息與車輛特征信息進(jìn)行融合,融合的每輛車輛將具備唯一的完整數(shù)據(jù)信息,并采用車輛身份信息編制原則在系統(tǒng)中生成唯一的車輛身份信息。

雷達(dá)傳感器通過數(shù)據(jù)處理后可精準(zhǔn)跟蹤定位每一個(gè)目標(biāo)車輛所在位置,定位精度達(dá)到車道級(jí)。因此,為防止車輛并行、遮擋而導(dǎo)致高清監(jiān)控?cái)z像機(jī)誤觸發(fā),進(jìn)而導(dǎo)致對(duì)于同一車輛獲取車輛特征信息與動(dòng)態(tài)信息錯(cuò)誤匹配和錯(cuò)誤融合,應(yīng)按照實(shí)際車道數(shù)量安裝車牌抓拍攝像機(jī)以及設(shè)置對(duì)應(yīng)的觸發(fā)抓拍區(qū)域,以保證雷達(dá)傳感器、邊緣計(jì)算單元、高清監(jiān)控?cái)z像機(jī)協(xié)同工作完成車輛同步觸發(fā)抓拍、精準(zhǔn)數(shù)據(jù)融合。

3 系統(tǒng)功能

3.1 實(shí)現(xiàn)道路全域連續(xù)感知

通過在主線布設(shè)的毫米波雷達(dá)設(shè)備和高清攝像機(jī),系統(tǒng)可對(duì)道路全域進(jìn)行連續(xù)感知。通過在監(jiān)控中心對(duì)道路狀態(tài)進(jìn)行實(shí)時(shí)全域展示,解決了視頻監(jiān)控?zé)o法對(duì)道路進(jìn)行連續(xù)查看的情況,達(dá)到了對(duì)道路的全程連續(xù)檢測(cè),且避免了惡劣天氣和光線的影響,實(shí)現(xiàn)全天候?qū)崟r(shí)感知。

3.2 實(shí)現(xiàn)精準(zhǔn)檢測(cè),報(bào)警數(shù)據(jù)有效化

系統(tǒng)采集毫米波雷達(dá)數(shù)據(jù)和高清攝像機(jī)的視頻圖像數(shù)據(jù),并通過在路側(cè)部署的數(shù)據(jù)邊緣計(jì)算單元中進(jìn)行數(shù)據(jù)分析,形成“雷視融合”,篩選二者數(shù)據(jù)中的優(yōu)質(zhì)數(shù)據(jù),排除二者由于不利因素分別帶來的低質(zhì)量數(shù)據(jù),實(shí)現(xiàn)精準(zhǔn)檢測(cè)。系統(tǒng)采用同時(shí)間、同位置、同類型、同時(shí)分析的邏輯報(bào)警方式,從而提高道路數(shù)據(jù)的質(zhì)量,減少誤報(bào)警。

系統(tǒng)能夠?qū)Ω鞣N路段(單向多車道、雙向多車道、橋梁)進(jìn)行可靠的事件檢測(cè),檢測(cè)類型包括:車輛停駛、車輛擁堵、車輛排隊(duì)、車輛逆行、車輛慢行、行人以及特定區(qū)域的非法入侵等異常事件,對(duì)異常事件快速形成報(bào)警信息予以提示。當(dāng)系統(tǒng)檢測(cè)到異常事件時(shí),能夠聯(lián)動(dòng)與雷達(dá)配套的高清槍式攝像機(jī)或者距離事件最近的高清球形攝像機(jī)對(duì)異常車輛、行人或事故現(xiàn)場(chǎng)持續(xù)自動(dòng)跟蹤、定位和查看,降低監(jiān)控人員的勞動(dòng)強(qiáng)度。

3.3 實(shí)現(xiàn)全面采集和全方位掌控

通過前端感知設(shè)備的采集數(shù)據(jù),不僅可以得到單個(gè)車輛的動(dòng)態(tài)信息和報(bào)警數(shù)據(jù),同時(shí)可以得到覆蓋范圍內(nèi)的交通路況信息和交通狀態(tài)信息:道路流量信息、車輛平均速度信息、區(qū)域內(nèi)車輛數(shù)量信息、車型統(tǒng)計(jì)信息、道路通行狀態(tài)信息等。道路運(yùn)營(yíng)管理者以此信息為依據(jù),可清楚地了解當(dāng)前道路交通狀況,并根據(jù)不同交通狀況和事件,采取不同的管理措施,對(duì)道路形成全方位的掌控。

3.4 實(shí)現(xiàn)系統(tǒng)數(shù)據(jù)互聯(lián)互通

系統(tǒng)在路側(cè)部署邊緣計(jì)算單元,通過光纖連接通信,將路側(cè)各個(gè)單元節(jié)點(diǎn)、邊緣計(jì)算單元、中心監(jiān)控平臺(tái)之間的通信鏈路打通,數(shù)據(jù)傳輸協(xié)議打通,使整個(gè)系統(tǒng)的各個(gè)節(jié)點(diǎn)形成系統(tǒng)性關(guān)聯(lián),各設(shè)備之間的數(shù)據(jù)互聯(lián)互通。系統(tǒng)支持將更多感知設(shè)施和邊緣處理單元集成進(jìn)來形成統(tǒng)一的系統(tǒng),避免形成信息孤島,造成重復(fù)建設(shè)和數(shù)據(jù)資源的浪費(fèi)。

4 結(jié)語(yǔ)

通過基于雷視融合技術(shù)的全域車輛感知方案,可實(shí)現(xiàn)多場(chǎng)景、多功能的應(yīng)用,包括交通事件檢測(cè)、目標(biāo)實(shí)時(shí)跟蹤、路況信息、交通流量信息、車輛實(shí)時(shí)信息等,多個(gè)感知設(shè)備之間實(shí)現(xiàn)數(shù)據(jù)互通、融合、智能分析。本文提出的方案彌補(bǔ)了傳統(tǒng)視頻監(jiān)控系統(tǒng)存在的不足,并可根據(jù)不同的路況與需求進(jìn)行多種功能的實(shí)現(xiàn)與拓展,為車路協(xié)同與智慧交通等各類應(yīng)用場(chǎng)景提供可靠的基礎(chǔ)支撐。