基于人工智能的公路智能養(yǎng)護巡查系統(tǒng)研究

陳 瑜 薛紅軍 ＊ 謝 斌 黨 倩

（1.南通市公路事業(yè)發(fā)展中心，江蘇南通 226000；2.華設(shè)設(shè)計集團股份有限公司，江蘇南京 210000）

交通強國建設(shè)要求大力推進新一代信息技術(shù)與交通運輸?shù)纳疃热诤稀９佛B(yǎng)護是保通暢、保民生、保發(fā)展的關(guān)鍵舉措之一，積極引入人工智能等新型感知技術(shù)和手段，逐步實現(xiàn)事件信息從人工監(jiān)控到自動識別的轉(zhuǎn)變，已成為未來發(fā)展趨勢及行業(yè)需求熱點。

目前公路養(yǎng)護仍主要依靠人工步查和車查以及視頻人工輪詢方式，難以適應(yīng)大范圍路網(wǎng)養(yǎng)護管理。為了提高公路養(yǎng)護效率，國內(nèi)開展了公路養(yǎng)護信息采集與分析技術(shù)研究。

石會龍等[1]開發(fā)了內(nèi)蒙古地區(qū)的橋梁養(yǎng)護信息化管理系統(tǒng)，通過手機巡查App將巡查信息上傳信息系統(tǒng)，提供橋梁健康狀態(tài)預(yù)警及技術(shù)狀況評定。

齊紅元[2]研究道路巡查養(yǎng)管系統(tǒng)開發(fā)應(yīng)用，采用PDA智能采集終端上報養(yǎng)護事件，包括事件現(xiàn)場圖片以及詳細(xì)的相關(guān)信息。

章先陣等[3]研究基于機器視覺的公路交通設(shè)施信息采集系統(tǒng)，通過在巡查車上搭載圖像、地理信息采集裝備，識別并采集交通設(shè)施以及經(jīng)緯度信息。

由此可見，當(dāng)前國內(nèi)公路養(yǎng)護巡查配備使用手機巡查App實現(xiàn)數(shù)字化、標(biāo)準(zhǔn)化信息采集成為應(yīng)用熱點[4]，但該種方法仍然依靠人工步查和車查方式，無法有效降低一線養(yǎng)護人員勞動強度。在此背景下，國內(nèi)已出現(xiàn)利用機器視覺技術(shù)實現(xiàn)交通設(shè)施信息采集系統(tǒng)，但主要依靠車載移動視頻，易受到車載視頻觀測視角的制約，難以適應(yīng)隨機性強、發(fā)生頻率高的路面拋灑物、路側(cè)堆積物事件檢測。

1 需求分析

南通市自“十三五”期間開展公路網(wǎng)監(jiān)測體系建設(shè)，主要國省干線視頻監(jiān)控點位密度較高、建設(shè)應(yīng)用條件相對完善，但公路養(yǎng)護巡查主要依靠人工，視頻應(yīng)用多停留在視頻圖像獲取、調(diào)看等基本功能，仍主要采用“盯屏幕”、人工輪詢方式輔助監(jiān)測。

隨著南通市國省干線規(guī)模的日益增長以及縣道、農(nóng)村公路養(yǎng)護管理要求的日益提高，對公路交通行業(yè)管理部門養(yǎng)護巡查提出了更高要求。

公路日常巡查內(nèi)容繁多，主要包括路基路面狀態(tài)（路面拋灑、病害）、沿線設(shè)施狀態(tài)、綠化修剪、橋梁健康狀態(tài)等內(nèi)容。路面拋灑物、路側(cè)堆積物等隨機性強、影響公路交通運行安全的養(yǎng)護事件，成為導(dǎo)致交通事故的重要隱患，是公路交通養(yǎng)護巡查的重點。

（1）路面拋灑物事件。

事件描述：路面拋灑物事件指物體從行駛車輛上遺落，影響車道正常通行，且狀態(tài)持續(xù)時間不小于某一閾值的交通事件。

功能邊界：由于固定視頻存在分辨率、有效檢測范圍等因素的制約，僅可實現(xiàn)大型拋灑物事件檢測；拋灑物類型較多，僅對較為典型的砂石、紙箱、雜草等類型進行識別。

（2）路側(cè)堆積物事件。

事件描述：路側(cè)堆積物事件多發(fā)于道路施工現(xiàn)場、居民生活區(qū)、農(nóng)田附近道路，多為施工材料、生活垃圾、晾曬谷物，侵占公路、公路用地。

功能界面：主要檢測施工材料、生活垃圾、晾曬谷物類型等。

2 總體設(shè)計

基于人工智能的公路智能養(yǎng)護巡查系統(tǒng)主要包括應(yīng)用平臺端和視頻分析端，應(yīng)用平臺端包括實時檢測報警、報警信息確認(rèn)、事件統(tǒng)計分析及事件處置協(xié)同功能，視頻分析端包括公路監(jiān)控視頻接入模塊、視頻預(yù)處理模塊、路面拋灑物事件檢測模塊、路側(cè)堆積物事件檢測模塊組成。應(yīng)用平臺端通過標(biāo)準(zhǔn)數(shù)據(jù)接口，與南通公路協(xié)同巡查系統(tǒng)、南通公路輔助決策支持系統(tǒng)等已有的業(yè)務(wù)系統(tǒng)實時共享事件檢測結(jié)果并告警，推送至移動巡查App，便于采用最優(yōu)化的養(yǎng)護人員調(diào)度方案。視頻分析端通過標(biāo)準(zhǔn)接口對接公路監(jiān)控視頻地址列表、視頻流數(shù)據(jù)，便于自定義檢測的路段及范圍。

系統(tǒng)總體架構(gòu)如圖1所示。

圖1 系統(tǒng)總體架構(gòu)

本系統(tǒng)設(shè)計采用業(yè)務(wù)應(yīng)用與算法模型解耦的、可拓展的、分布式處理框架。應(yīng)用平臺面向行業(yè)應(yīng)用，與視頻分析平臺通過以太網(wǎng)、公路行業(yè)內(nèi)網(wǎng)進行通信，兩者可采用分布式部署。

視頻分析平臺可部署于區(qū)縣公路管理站，通過數(shù)據(jù)接口接受應(yīng)用平臺的調(diào)用指令，對接入的公路監(jiān)控視頻經(jīng)過路面拋灑物事件、路側(cè)堆積物事件檢測模型分析，自動檢測相應(yīng)事件并通過數(shù)據(jù)接口推送至應(yīng)用平臺。

應(yīng)用平臺可部署于市級公路行業(yè)管理部門，為行業(yè)管理者提供算法模型配置、調(diào)用，并可自定義選取重點路段的視頻，設(shè)置重點檢測區(qū)域；接收視頻分析平臺的檢測結(jié)果及報警信息，輔助人工確認(rèn)、糾錯；接收的檢測結(jié)果同步推送到南通公路協(xié)同巡查系統(tǒng)以及移動巡查App，及時進行協(xié)同處置；對上報的檢測結(jié)果進行統(tǒng)計，反映路面拋灑、路側(cè)堆積物事件發(fā)生的時空規(guī)律，為行業(yè)管理提供決策支撐。

視頻分析平臺物理架構(gòu)如圖2所示。

圖2 視頻分析平臺物理架構(gòu)

本項目采用算法模型接口標(biāo)準(zhǔn)化和系統(tǒng)功能模塊化，采用視頻巡查業(yè)務(wù)應(yīng)用與事件檢測算法模型解耦分離，實現(xiàn)算法模型的“插件式”更新與擴展，可滿足多樣化公路事件自動檢測與未來擴展的需求。提出分布式系統(tǒng)架構(gòu)，將市級路網(wǎng)中心視頻巡查任務(wù)拆分前推至各區(qū)（縣）處理節(jié)點，顯著減少對網(wǎng)絡(luò)傳輸帶寬的要求，提高事件檢測響應(yīng)速度，可滿足省、市、區(qū)（縣）公路行業(yè)不同層次的多級應(yīng)用需要。

3 開發(fā)與應(yīng)用實例

本項目使用前后端分離的方式，視頻分析平臺主要使用SpringCloud+MyBatis進行分布式開發(fā)，形式采用MVC（數(shù)據(jù)模型、業(yè)務(wù)控制器、接口封裝）三層分離開發(fā)。應(yīng)用平臺基于VUE的服務(wù)端渲染框架NUXT對項目進行開發(fā)，以保證最大的瀏覽器兼容。

（1）視頻分析平臺。

視頻分析平臺是公路智能養(yǎng)護巡查系統(tǒng)的基礎(chǔ)，承擔(dān)了視頻接入、預(yù)處理以及事件檢測的任務(wù)。

①公路監(jiān)控視頻接入模塊。

制定統(tǒng)一的路側(cè)固定視頻接入技術(shù)規(guī)范，實現(xiàn)外場固定監(jiān)控視頻流標(biāo)準(zhǔn)化接入，基于rtsp協(xié)議將視頻流傳輸至視頻處理服務(wù)器并解碼，支撐多路視頻自動輪詢。

②視頻預(yù)處理模塊。

重點解決接入視頻因路側(cè)固定視頻拍攝角度不一致、復(fù)雜環(huán)境干擾以及樣本集不足等問題，提升視頻采集質(zhì)量。

③路面拋灑物事件檢測模塊。

首選基于日常養(yǎng)護巡查記錄，分析路面拋灑物事件類型及特點。分割路面并建立路面區(qū)域的背景模型，根據(jù)路面拋灑物事件特點，提取路面拋灑視頻圖像特征，實現(xiàn)路面拋灑物事件檢測及定位。

④路側(cè)堆積物事件檢測模塊。

基于已有數(shù)據(jù)分析路側(cè)堆積物事件類型及特征，對視頻圖像進行歸一化處理，自動檢測堆積物區(qū)域并提取相應(yīng)特征。利用深度學(xué)習(xí)yolov4方法，實現(xiàn)路側(cè)堆積物類型及位置的實時檢測。

（2）應(yīng)用平臺。

面向公路行業(yè)管理部門，提供路面拋灑、路側(cè)堆積物事件的實時檢測報警、報警信息確認(rèn)、事件統(tǒng)計分析以及處置協(xié)同的可視化應(yīng)用，適應(yīng)大范圍路網(wǎng)養(yǎng)護巡查、養(yǎng)護事件信息共享交換、輔助養(yǎng)護決策及協(xié)同處置需求。

①實時檢測報警。

根據(jù)公路行業(yè)管理部門設(shè)置的監(jiān)測區(qū)域，運行智能檢測算法，對路面拋灑、路側(cè)堆積物事件實時檢測并報警，提供拋灑事件取證圖像及時間、樁號信息。

路面拋灑物事件實時檢測報警如圖3所示。

圖3 路面拋灑物事件實時檢測報警

②報警信息確認(rèn)，

路面拋灑及路側(cè)堆積物檢測結(jié)果，以可視化的方式提供給行業(yè)管理人員，接收人工審核結(jié)果，完成事件檢測信息的存儲及向已有業(yè)務(wù)系統(tǒng)的共享推送。

報警信息確認(rèn)如圖4所示。

圖4 報警信息確認(rèn)

③事件統(tǒng)計分析。

根據(jù)需求對路面拋灑、路側(cè)堆積物事件信息進行統(tǒng)計分析，挖掘事件發(fā)生的時空規(guī)律，為公路行業(yè)管理提供精細(xì)化決策支持。

④事件處置協(xié)同。

應(yīng)用平臺通過標(biāo)準(zhǔn)數(shù)據(jù)接口與南通公路協(xié)同巡查系統(tǒng)移動端與PC端共享路面事件檢測結(jié)果，及時向事件所在轄區(qū)養(yǎng)護工作人員推送告警信息，提升事件協(xié)同處置效率，并對處置的及時性及效果進行監(jiān)督。

（3）示范應(yīng)用。

系統(tǒng)示范應(yīng)用場景如圖5所示。

圖5 系統(tǒng)示范應(yīng)用場景

協(xié)同巡查系統(tǒng)即手機短信告警如圖6所示。

圖6 協(xié)同巡查系統(tǒng)及手機短信告警

智能養(yǎng)護巡查系統(tǒng)在G328國道啟東段試點應(yīng)用，經(jīng)過不斷優(yōu)化，拋灑物檢測準(zhǔn)確率達(dá)85.47%，晾曬漁網(wǎng)、建筑垃圾等路側(cè)堆積物事件檢測準(zhǔn)確率達(dá)到84.23%。

從養(yǎng)護巡查成本方面進行分析，按照200 km100路視頻計算，相較于車查+視頻人工輪巡模式，每年的成本約為8～2 000 000元；采用自動輪巡+智能檢測模式，成本包括設(shè)備采購運維費用約220 000～300 000元左右，相比之下節(jié)約經(jīng)濟成本70%以上。

從時間成本方面分析，四路并發(fā)情況下輪巡100路視頻，自動輪巡時間1 min/路，共花費25 min；人工視頻輪巡100路視頻，輪巡事件0.5 min/路，共花費50 min，節(jié)約時間50%以上。

智能養(yǎng)護巡查系統(tǒng)提供路面拋灑物、路側(cè)堆積物事件的智能檢測與主動聲光報警，有效降低了視頻人工輪詢的勞動強度。系統(tǒng)與南通市公路協(xié)同巡查系統(tǒng)實現(xiàn)事件信息共享，及時推送路面拋灑物、路側(cè)堆積物事件告警，包括事件類型、樁號及現(xiàn)場圖片。系統(tǒng)支持將事件檢測信息以短信的形式，第一時間推送到相應(yīng)巡查人員手機，有效提升巡查人員處置效率。

4 結(jié)語

（1）基于人工智能與公路交通深度融合，改變傳統(tǒng)養(yǎng)護巡查方式，提供路面拋灑物、路側(cè)堆積物事件自動檢測，并通過向已有業(yè)務(wù)系統(tǒng)實時推送事件告警信息，構(gòu)建實時性強、漏檢率低的協(xié)同處置模式。

（2）基于算法模型與業(yè)務(wù)應(yīng)用解耦分離、“插件式”框架，提供分布式系統(tǒng)結(jié)構(gòu)，將視頻分析處理的任務(wù)拆解到各區(qū)（縣）處理節(jié)點，降低視頻傳輸壓力，滿足省、市、區(qū)（縣）各級業(yè)務(wù)部門應(yīng)用需要，易于復(fù)制推廣應(yīng)用。

（3）根據(jù)公路管理業(yè)務(wù)的需求，進一步挖掘公路業(yè)務(wù)與人工智能結(jié)合的方式，提高人工智能技術(shù)在公路管理業(yè)務(wù)應(yīng)用中的穩(wěn)定性與成熟度。