基于AI機(jī)器視覺的公路交通感知關(guān)鍵技術(shù)研究及應(yīng)用

摘要 文章針對傳統(tǒng)公路交通行業(yè)管理低效模式，依托廣泛覆蓋的路網(wǎng)視頻監(jiān)測設(shè)施，研究基于AI視覺的公路交通感知技術(shù)，重點研究解決復(fù)雜環(huán)境下公路交通視頻數(shù)據(jù)采集與分析性能提升難題，研究公路交通涉及車、路、環(huán)境全要素特征的提取技術(shù)，研發(fā)基于AI機(jī)器視覺的公路交通感知應(yīng)用平臺，實現(xiàn)路網(wǎng)運行監(jiān)測、路產(chǎn)路權(quán)監(jiān)測多樣化公路交通事件智能檢測。經(jīng)推廣應(yīng)用實踐證明，可為公路交通行業(yè)管理提供低成本、廣覆蓋、精準(zhǔn)化智能感知手段。

關(guān)鍵詞 公路交通感知；AI機(jī)器視覺；路網(wǎng)視頻監(jiān)測設(shè)施；路網(wǎng)運行監(jiān)測；路產(chǎn)路權(quán)監(jiān)測

中圖分類號 U495 文獻(xiàn)標(biāo)識碼 A 文章編號 2096-8949（2023）08-0007-03

0 引言

傳統(tǒng)公路交通行業(yè)管理多依靠“車載人走”“人盯屏幕”方式開展路網(wǎng)運行監(jiān)測、路產(chǎn)路權(quán)狀態(tài)檢查，存在勞動強(qiáng)度大、漏檢風(fēng)險高、主觀判斷強(qiáng)等問題，不利于公路交通行業(yè)管理提質(zhì)增效[1]。由此加強(qiáng)公路交通感知技術(shù)升級，為行業(yè)管理提供智能化、數(shù)字化手段成為研究熱點和發(fā)展趨勢。在眾多的公路交通感知手段中，視頻圖像包含廣域的、豐富的交通細(xì)節(jié)信息，因此，有效結(jié)合AI機(jī)器視覺技術(shù)，將為公路交通感知提供智能化、精準(zhǔn)化的檢測手段。

目前的研究多聚焦于公路交通流參數(shù)、基礎(chǔ)設(shè)施信息采集及資產(chǎn)管理等具體領(lǐng)域AI機(jī)器視覺應(yīng)用。國外美國、日本和澳大利亞等率先將機(jī)器視覺技術(shù)應(yīng)用于路面狀態(tài)檢測領(lǐng)域，但多基于車載視頻圖像識別，比如進(jìn)入我國市場的美國Waylink數(shù)字式高速公路多功能檢測車、澳大利亞ARRB多功能監(jiān)測車等，在車載終端安裝高清攝像頭、相關(guān)補(bǔ)光設(shè)備以及定位系統(tǒng)，可實時進(jìn)行路面狀態(tài)自動檢測識別。該類型設(shè)備檢測較為穩(wěn)定、準(zhǔn)確性較高，但存在購置成本較高、難以適應(yīng)大范圍路面狀態(tài)檢測難題[2]。國內(nèi)路面狀態(tài)自動檢測技術(shù)研究也取得了顯著成果，典型的路面檢測系統(tǒng)有南京理工大學(xué)的JG-1檢測車、武漢大學(xué)的SINC-RTM檢測車等，武漢理工大學(xué)章先陣等也開展了基于視頻圖像的公路設(shè)施狀態(tài)檢測研究。國內(nèi)外現(xiàn)有研究成果涉及應(yīng)用場景范圍較窄，與公路巡查業(yè)務(wù)缺乏有效結(jié)合，存在成本較高、難以大規(guī)模推廣應(yīng)用等問題。

我國自“十二五”開始逐步建設(shè)、加密公路網(wǎng)視頻監(jiān)控體系，為公路交通感知提供良好基礎(chǔ)，但是目前AI機(jī)器視覺技術(shù)應(yīng)用于路網(wǎng)視頻監(jiān)控體系尚存在廣度和深度不足問題。因此，該文重點研究解決復(fù)雜環(huán)境導(dǎo)致公路交通事件感知準(zhǔn)確率低、泛化性能不足等共性技術(shù)問題，研究復(fù)雜環(huán)境下公路交通全要素特征提取及分析技術(shù)，進(jìn)而研發(fā)面向基于AI機(jī)器視覺的公路交通感知應(yīng)用平臺，實現(xiàn)路網(wǎng)運行監(jiān)測、路產(chǎn)路權(quán)狀態(tài)監(jiān)測多場景下多樣化公路交通事件精準(zhǔn)感知并大范圍推廣應(yīng)用。

1 總體思路

項目面向路網(wǎng)運行監(jiān)測、路產(chǎn)路權(quán)狀態(tài)監(jiān)測行業(yè)需求，針對復(fù)雜環(huán)境下公路交通事件視頻分析難題，研究公路交通視頻數(shù)據(jù)采集與分析的性能提升技術(shù)、全要素特征提取及分析技術(shù)，開發(fā)系列AI機(jī)器視覺的公路交通感知應(yīng)用映泰，并進(jìn)行研發(fā)成果轉(zhuǎn)化與產(chǎn)業(yè)化推廣應(yīng)用。研究技術(shù)路線如圖1所示。

2 技術(shù)研究

2.1 研究公路交通視頻數(shù)據(jù)采集與分析的性能提升技術(shù)

針對公路交通事件復(fù)雜、隨機(jī)性強(qiáng)、視頻圖像干擾因素多樣等特點，通過公路視頻采集優(yōu)化技術(shù)、交通事件圖像樣本擴(kuò)展技術(shù)、視頻圖像深度學(xué)習(xí)技術(shù)，提升基于視頻機(jī)器視覺的交通感知準(zhǔn)確性和泛化性能，形成公路交通視頻圖像采集及處理的共性技術(shù)成果[3]。

該文首先研究公路網(wǎng)關(guān)鍵路段及節(jié)點辨識技術(shù)，提出公路網(wǎng)視頻監(jiān)測點優(yōu)化布局原則，為公路網(wǎng)異常事件的及時發(fā)現(xiàn)、處置提供功能適用、經(jīng)濟(jì)合理的最優(yōu)方案；在關(guān)鍵路段及節(jié)點辨識的基礎(chǔ)上，進(jìn)一步研究公路事件視頻圖像采集技術(shù)要求，以保證復(fù)雜公路環(huán)境下的圖像采集效率及質(zhì)量；最后研究公路交通視頻云端一體化管理，在滿足公路管理者使用需求的基礎(chǔ)上，進(jìn)一步滿足社會公眾的高并發(fā)訪問，實現(xiàn)視頻秒播。

2.1.1 公路交通視頻數(shù)據(jù)采集優(yōu)化技術(shù)

在資源有限的情況，公路網(wǎng)視頻監(jiān)測點位的布局應(yīng)根據(jù)路網(wǎng)拓?fù)浣Y(jié)構(gòu)、交通流特性以及歷史事件數(shù)據(jù)等，綜合考慮事件發(fā)生后對路網(wǎng)的影響、事件發(fā)生的概率以及事件的惡劣程度，根據(jù)這兩個因素找到關(guān)鍵路段和節(jié)點并進(jìn)行優(yōu)先考慮，從而盡可能降低事件發(fā)生后對整體路網(wǎng)的影響程度。該文創(chuàng)新性地提出基于成本和事件檢測效果的路網(wǎng)監(jiān)測點位布設(shè)方法，運用路網(wǎng)動態(tài)配流模型，結(jié)合道路條件，分析視頻監(jiān)測點位布局與交通擁堵、低速緩行等路網(wǎng)事件檢測效率之間的相關(guān)性，獲得路網(wǎng)異常事件檢測效率與成本效益最優(yōu)的監(jiān)測點布局策略。研究視頻監(jiān)控安裝高度H與檢測范圍L的關(guān)系，得出L=15×H。通過此研究結(jié)論，提出攝像機(jī)安裝高度在8 m以上，推薦選用8 m、10 m和12 m的安裝高度，若攝像機(jī)的安裝高度低于8 m，則會造成檢測性能下降。

2.1.2 小樣本下的公路交通機(jī)器視覺精度提升技術(shù)

目前機(jī)器視覺精度提升多依賴大量樣本學(xué)習(xí)，制約了公路交通機(jī)器視覺應(yīng)用。由于采集的公路視頻圖像數(shù)據(jù)庫，包含單個公路路產(chǎn)組成的圖像和多個公路路產(chǎn)組成的圖像，隨機(jī)剪裁、適當(dāng)旋轉(zhuǎn)并不會影響其屬性，因此采用隨機(jī)縮放、旋轉(zhuǎn)圖像、鏡像翻轉(zhuǎn)、添加椒鹽噪聲等多種幾何變換以補(bǔ)充數(shù)據(jù)集，解決數(shù)據(jù)集樣本數(shù)量不足的問題。創(chuàng)新應(yīng)用深度卷積生成對抗神經(jīng)網(wǎng)絡(luò)（DCGAN）進(jìn)行數(shù)據(jù)增強(qiáng)，相同公路交通應(yīng)用場景下相同模型的訓(xùn)練樣本數(shù)量要求降低35%以上，深度學(xué)習(xí)模型識別精度提升5%以上；提出結(jié)合公路知識圖譜監(jiān)督學(xué)習(xí)的深度學(xué)習(xí)網(wǎng)絡(luò)優(yōu)化方法，融合雨雪條件下機(jī)器視覺算法精度提升技術(shù)，提高公路異常事件、靜態(tài)交通車輛識別精度5%以上。

2.1.3 復(fù)雜公路交通環(huán)境下的機(jī)器視覺算法泛化性能提升技術(shù)

目前機(jī)器視覺模型多依賴特定樣本學(xué)習(xí)，只能針對具體應(yīng)用場景，難以適應(yīng)真實、多變的公路交通環(huán)境，易受雨雪等環(huán)境因素影響。該文提出視頻數(shù)據(jù)結(jié)構(gòu)化方案，將非結(jié)構(gòu)化視頻數(shù)據(jù)轉(zhuǎn)化為批量標(biāo)準(zhǔn)化數(shù)據(jù)，提高樣本學(xué)習(xí)模型的通用性和識別精確性；研究批量正則化的復(fù)雜機(jī)器視覺模型構(gòu)建方法，進(jìn)一步優(yōu)化學(xué)習(xí)模型泛化性能[4]。研究雨雪條件下交通事件視頻檢測算法精度提升技術(shù)，結(jié)合雨雪的物理特性，運用亮度平均、卡爾曼濾波等方法排除雨雪干擾因素，提高雨雪天氣情況下公路交通機(jī)器視覺數(shù)據(jù)采集的精度，顯著提高公路交通機(jī)器視覺數(shù)據(jù)的質(zhì)量。

2.2 研究基于視頻圖像的公路交通全要素特征提取及分析技術(shù)

為避免單一交通要素感知帶來的信息失真問題、突破交通多要素識別效能低等技術(shù)難題，結(jié)合多源信息融合，研究基于公路視頻的車、路、環(huán)境各交通要素特征提取與分析技術(shù)，構(gòu)建不同對象、不同特征、不同場景下的復(fù)雜目標(biāo)檢測與特征辨識能力。

2.2.1 基于多維特征的車輛檢測及跟蹤技術(shù)

采用統(tǒng)計特征分析及深度學(xué)習(xí)相結(jié)合的方法，實現(xiàn)車輛目標(biāo)的檢測與判別，并通過背景建模等方式，降低光線、天氣等環(huán)境變化所造成的干擾。研究基于部分確定軌跡的多假設(shè)跟蹤算法，解決多目標(biāo)連續(xù)跟蹤難題，利用連續(xù)多幀圖像間的關(guān)聯(lián)信息，生成多種假設(shè)軌跡，并計算每一種假設(shè)的先驗概率，結(jié)合表觀和運動信息進(jìn)行預(yù)測，同時引入顏色信息進(jìn)行匹配，提高關(guān)聯(lián)精度，實現(xiàn)動態(tài)多目標(biāo)的跟蹤。利用多幀關(guān)聯(lián)信息，優(yōu)化檢測結(jié)果，并通過軌跡分析及當(dāng)前狀態(tài)檢測，實現(xiàn)路段、路口、匝道等多場景下的車流量、平均車速、車頭間距、車頭時距、車道空間占有率等信息綜合感知提取及結(jié)構(gòu)化分析，解決多車道、相互遮擋下多目標(biāo)連續(xù)檢測跟蹤技術(shù)難題。

2.2.2 基于機(jī)器視覺的公路交通事件檢測技術(shù)

路面病害是公路養(yǎng)護(hù)的重點內(nèi)容。該文采用像素級語義分割的背景建模方法分離路面，創(chuàng)新運用基于Tamura紋理特征及深度學(xué)習(xí)的路面病害檢測技術(shù)，首先根據(jù)粗糙度、對比度、方向度等紋理特征，初步判斷大概率具有路面病害檢測的區(qū)域，進(jìn)一步結(jié)合YOLO、Fast-CNN卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行路面病害定位檢測，顯著提升檢測精度。

2.2.3 基于機(jī)器視覺的路域環(huán)境異常檢測技術(shù)

傳統(tǒng)的路面濕滑狀況判別技術(shù)為人工或運用路面?zhèn)鞲衅鬟M(jìn)行檢測，公路能見度的檢測也多依靠光學(xué)儀器，造價成本高、易受外界環(huán)境干擾因素影響。該文創(chuàng)新性地提出基于RBF神經(jīng)網(wǎng)絡(luò)的濕滑道路圖像判別方法，通過路面的灰度、形狀和紋理特征分析，智能檢測干燥路面、潮濕路面、水膜路面、淤泥路面、冰雪路面、松雪路面、積雪路面、水冰路面等8種濕滑路面的檢測。創(chuàng)新性地提出基于深度學(xué)習(xí)的公路交通能見度視頻檢測技術(shù)，以路側(cè)交通標(biāo)志為參考物，提取公路視頻監(jiān)控場景內(nèi)交通標(biāo)志對比度特征，融合溫濕度、交通視頻數(shù)據(jù)，運用D-S證據(jù)理論，從駕駛?cè)说囊暯敲舾袡z測能見度變化。

3 應(yīng)用效果

創(chuàng)新應(yīng)用公路視頻圖像采集與處理、特征提取技術(shù)，面向公路交通管理業(yè)務(wù)需求，提供基于AI機(jī)器視覺的公路交通運行監(jiān)測、路產(chǎn)路權(quán)異常檢測等系統(tǒng)功能，并進(jìn)行推廣應(yīng)用。

3.1 基于AI機(jī)器視覺的交通運行態(tài)勢分析系統(tǒng)

依托高速公路、國省干線廣泛覆蓋的路側(cè)視頻監(jiān)控，該文基于AI機(jī)器視覺的交通運行態(tài)勢分析系統(tǒng)提供交通運行監(jiān)測、路網(wǎng)事件時空規(guī)律分析。基于機(jī)器視覺技術(shù)，實現(xiàn)大范圍路網(wǎng)全局性的交通流、路網(wǎng)管理事件、養(yǎng)護(hù)事件、公路環(huán)境監(jiān)測。該系統(tǒng)在此基礎(chǔ)上，基于機(jī)器視覺的精細(xì)化交通流檢測技術(shù)，提供公路交通擁擠度、交通組成特征、交通運行指數(shù)、路網(wǎng)服務(wù)水平等多維度運行指標(biāo)分析，基于GIS平臺可視化展現(xiàn)路網(wǎng)綜合運行狀態(tài)[5]。

該系統(tǒng)如圖2所示，自2019年以來在南京、連云港等普通國省干線開展示范應(yīng)用，創(chuàng)新運用Faster R-CNN卷積神經(jīng)網(wǎng)絡(luò)，實現(xiàn)復(fù)雜交通流環(huán)境下的目標(biāo)車輛快速識別、精準(zhǔn)定位，機(jī)動車識別準(zhǔn)確率可達(dá)96.1%；結(jié)合高清地圖、已有交調(diào)數(shù)據(jù)，提供實時的、現(xiàn)實場景映射下的交通流全視角、多過程運行狀態(tài)監(jiān)測；在天氣、視距良好、無視覺干擾、無背光或反光情況下，對機(jī)動車識別準(zhǔn)確率為96.1%，對非機(jī)動車識別的準(zhǔn)確率達(dá)到95.8%，對行人識別的準(zhǔn)確率達(dá)到96.2%。

3.2 基于AI機(jī)器視覺的路產(chǎn)路權(quán)異常檢測系統(tǒng)

該文基于公路交通視覺數(shù)據(jù)關(guān)鍵技術(shù)、全要素特征提取及判別分析技術(shù)，開發(fā)基于AI機(jī)器視覺的路產(chǎn)路權(quán)異常檢測系統(tǒng)，包括公路養(yǎng)護(hù)與路網(wǎng)管理移動應(yīng)用、平臺兩類應(yīng)用，實現(xiàn)現(xiàn)場養(yǎng)護(hù)巡查、路政執(zhí)法稽查與后臺監(jiān)管、任務(wù)派發(fā)、統(tǒng)計分析的聯(lián)動。巡查平臺實現(xiàn)養(yǎng)護(hù)巡查、路政執(zhí)法、超限超載事件管理與統(tǒng)計分析，支撐公路交通基礎(chǔ)設(shè)施、沿線附屬設(shè)施的可視化管理，支持多部門人員協(xié)同調(diào)度與聯(lián)合執(zhí)法，提高公路養(yǎng)護(hù)與路政協(xié)同巡查工作效率。

該系統(tǒng)如圖3所示，自2019年以來在南通、徐州等普通國省干線開展示范應(yīng)用，結(jié)合深度卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測、像素級語義分割的背景建模、改進(jìn)的圖像多維特征提取技術(shù)，實現(xiàn)了公路客運上下客流及行人精確檢測，為公路客運沿途帶客管理、公路打谷曬場、違法設(shè)攤、未經(jīng)批準(zhǔn)的現(xiàn)場施工等典型公路事件提供了智能檢測手段，實現(xiàn)公路客運違法上下客檢測準(zhǔn)確率86%以上、違法設(shè)攤檢測準(zhǔn)確率96.43%、違法施工現(xiàn)場檢測準(zhǔn)確率96.77%、打谷曬場檢測準(zhǔn)確率92%。

4 結(jié)論

該文依托廣泛覆蓋的路網(wǎng)視頻監(jiān)測設(shè)施，解決復(fù)雜環(huán)境導(dǎo)致公路交通事件感知準(zhǔn)確率低、泛化性能不足等共性技術(shù)問題，研究公路交通涉及車、路、環(huán)境全要素特征提取技術(shù)，研發(fā)基于AI機(jī)器視覺的公路交通感知應(yīng)用平臺，實現(xiàn)路網(wǎng)運行監(jiān)測、路產(chǎn)路權(quán)監(jiān)測多樣化公路交通事件智能檢測。

突破AI機(jī)器視覺與交通行業(yè)管理深度融合應(yīng)用難題，賦能國省干線公路已有視頻資源，在南京、無錫、南通、徐州、連云港等多地部署應(yīng)用，實現(xiàn)了人工巡查向智能巡查的轉(zhuǎn)變，極大地提升了公路交通行業(yè)管理效率，為公路交通提供低成本、廣覆蓋、精準(zhǔn)化智能感知手段。

參考文獻(xiàn)

[1]何彥霖， 萬劍， 謝斌. 基于固定視頻的公路智能化巡查系統(tǒng)設(shè)計[J]. 交通科技， 2019（4）： 109-113.

[2]張羽西， 馮剛. 基于北斗衛(wèi)星定位的高速公路異物檢測[J]. 中國交通信息化， 2019（1）： 127-128+134.

[3]孫周， 曹愛輝. 基于三維視覺的高速公路視頻檢測技術(shù)[J]. 數(shù)字技術(shù)與應(yīng)用， 2018（11）： 74-76.

[4]傅福林， 晉勝國. 基于物聯(lián)網(wǎng)的智能交通檢測與應(yīng)急管理系統(tǒng)[J]. 中國公共安全， 2016（12）： 45-54.

[5]黃亮. 高清與智能在高速公路視頻監(jiān)控中的應(yīng)用[J]. 中國公共安全（綜合版）， 2011（3）： 138-141.