機器視覺技術(shù)在公路管理中的應(yīng)用研究

陳瑜 管浩杰

摘 要：本文首先從國內(nèi)外發(fā)展現(xiàn)狀調(diào)研入手，重點從兩方面分析了機器視覺技術(shù)在公路管理中的應(yīng)用，一是基于車載移動視頻的路面病害智能檢測技術(shù)研究。研究開發(fā)的路面病害智能檢測系統(tǒng)利用卷積神經(jīng)網(wǎng)絡(luò)分析車載移動視頻，具有低成本優(yōu)勢，識別準(zhǔn)確率超過85%，檢測路面病害超過日常病害總數(shù)的86.14%。二是基于固定視頻的路域環(huán)境養(yǎng)護事件智能巡查技術(shù)研究。研究開發(fā)的路域環(huán)境養(yǎng)護事件智能巡查系統(tǒng)融合應(yīng)用傳統(tǒng)圖像處理、深度學(xué)習(xí)方法構(gòu)建AI檢測模型，深化應(yīng)用路側(cè)固定視頻監(jiān)控資源，實現(xiàn)路面拋灑滴漏檢測準(zhǔn)確率達(dá)80%。本研究應(yīng)用實現(xiàn)了機器巡查、自主識別、準(zhǔn)確記錄、閉環(huán)處置的全鏈?zhǔn)街悄芄芾恚剿鞒鲆粭l人工智能在公路管理中融合應(yīng)用的新路子。

關(guān)鍵詞：機器視覺;公路管理;智能巡查

中圖分類號：TP391.41;U491 文獻標(biāo)識碼：A

0 引言

國內(nèi)外基于圖像處理、機器視覺、深度學(xué)習(xí)等技術(shù)，開展了較多的路面病害、路域環(huán)境養(yǎng)護事件檢測技術(shù)及應(yīng)用研究。在路面病害事件檢測方面，國外自從20世紀(jì)80年代，即開展道路病害檢測技術(shù)研究，比如加拿大RoadWare公司研制的WiseCrax系統(tǒng)、日本Komatsu財團開發(fā)的路面破損調(diào)查車、美國Arkansas大學(xué)開發(fā)的路面裂縫檢測系統(tǒng)DHDV、英國TRL開發(fā)的HARRIS系統(tǒng)、澳大利亞公路研究所ARRB研制的路面信息檢測系統(tǒng)，一般是采用移動巡查方式，造價成本高;相較國外發(fā)達(dá)國家的同類檢測設(shè)備，我國的產(chǎn)品還不是很成熟且真正得到商業(yè)應(yīng)用的還很少，主要還依賴于國外進口。由于進口成本高、對復(fù)雜路況及環(huán)境條件適應(yīng)能力差，難以廣泛應(yīng)用。路面拋灑物、路側(cè)堆積物等頻發(fā)路域環(huán)境養(yǎng)護事件多作為交通事件的一種，20世紀(jì)90年代起，美國、英國、日本等開始研究基于視頻圖像的交通事件檢測方法。2010年Gao P[1]等研究了光流法（Optical flow），但計算量較大、抗干擾能力較弱;2011年MenDI E[2]等研究了基于背景差分法進行拋灑物檢測，但是抗干擾能力較差且背景模型的建立較為復(fù)雜。國內(nèi)對交通事件視頻檢測技術(shù)的研究起步較晚，21 世紀(jì)早期才開始研究基于視頻圖像的交通事件檢測[3]。2011—2014年浙江大學(xué)、中南大學(xué)團隊改進了光流法和基于背景差分的檢測方法[4]、2019年李清瑤[5]等針對基于車載視頻的幀間差分自適應(yīng)方法，在一定程度上提高了方法的性能;2017年南京大學(xué)團隊提出一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的路面遺留物檢測方法[6]，將深度學(xué)習(xí)引入路面事件識別并加以改進。由此可見，針對路域環(huán)境養(yǎng)護事件視頻檢測技術(shù)研究成果多停留在實驗室階段，傳統(tǒng)圖像處理、模式識別方法存在計算復(fù)雜、抗干擾能力差等問題，而公路環(huán)境復(fù)雜、事件檢測樣本不足等矛盾又制約深度學(xué)習(xí)、機器學(xué)習(xí)等方法應(yīng)用，成為公路交通事件視頻檢測技術(shù)應(yīng)用亟需突破的關(guān)鍵難題。

結(jié)合國內(nèi)外發(fā)展趨勢，面向公路行業(yè)管理需要，有必要建立一套經(jīng)濟性優(yōu)的、基于車載移動視頻的路面病害智能檢測系統(tǒng)，滿足大范圍路網(wǎng)路面病害檢測;有必要利用已有路側(cè)固定視頻資源，結(jié)合傳統(tǒng)圖像處理、模式識別以及深度學(xué)習(xí)方法優(yōu)勢，形成一套低成本、廣覆蓋的路域環(huán)境養(yǎng)護事件智能巡查系統(tǒng);在此基礎(chǔ)上，服務(wù)于公路行業(yè)管理提質(zhì)增效，進一步構(gòu)建一套智能管理業(yè)務(wù)流程。

1 總體思路

國務(wù)院《交通強國建設(shè)綱要》提出大力發(fā)展智慧交通，推動大數(shù)據(jù)、人工智能等新技術(shù)與交通行業(yè)深度融合。《江蘇省交通運輸科技創(chuàng)新三年行動計劃》的通知中指出要開展基于人工智能等技術(shù)的基礎(chǔ)設(shè)施健康監(jiān)測、交通運行狀況實時檢測監(jiān)測等。可見，人工智能與交通行業(yè)深度融合已成必然趨勢，在交通信息感知領(lǐng)域，利用機器視覺，實現(xiàn)人工向自動識別轉(zhuǎn)變將是未來發(fā)展方向。一方面，一線養(yǎng)護管理單位對于路況檢測主要依賴于車查人走模式，存在效率低、檢測主觀性強、標(biāo)準(zhǔn)不統(tǒng)一、無法量化及可視化等問題。另一方面，公路管理主要依靠業(yè)務(wù)員上路巡檢或者查看路網(wǎng)中心監(jiān)控視頻的方式進行公路日常養(yǎng)護巡查，路面拋灑、路側(cè)堆積物等影響路網(wǎng)安全通行的公路養(yǎng)護事件發(fā)生頻率非常高，亟須通過智能化的手段為公路交通事件檢測、輔助取證以及協(xié)同處置提供支持。

近年來，交通信息化建設(shè)讓我們認(rèn)識到，機器視覺技術(shù)相對于其他傳統(tǒng)手段，具有信息量大、多維度、寬尺度和可取證、可校核的獨特優(yōu)勢。同時，行業(yè)主管部門也在鼓勵應(yīng)用公路病害智能化自動識別系統(tǒng)，加大對全車道路面技術(shù)狀況檢測頻率。

因此，我們依托省中心安排的應(yīng)用項目，開展了機器視覺技術(shù)在公路養(yǎng)護路面病害、路域環(huán)境管理的應(yīng)用研究。目前我們做到，路面病害識別準(zhǔn)確率達(dá)85%，路面拋灑滴漏檢測準(zhǔn)確率達(dá)80%，初步實現(xiàn)機器巡查、自主識別、準(zhǔn)確記錄、閉環(huán)處置的全鏈?zhǔn)街悄芄芾恚剿鞒鲆粭l人工智能在公路養(yǎng)護管理中融合應(yīng)用的新路子。

2 基于車載移動視頻的路面病害智能檢測技術(shù)研究及應(yīng)用

該研究應(yīng)用內(nèi)容主要包括三部分：“一套經(jīng)濟性優(yōu)的路面檢測快速采集裝置”;“一套識別精度高的路面檢測數(shù)據(jù)自動識別算法”;“一套路面快檢數(shù)據(jù)智能化管理、分析系統(tǒng)”。

2.1 比選“一套經(jīng)濟性優(yōu)的路面檢測快速采集裝置”

研究過程中，比選確定一種快速采集終端，選取成像速度快的運動相機gopro6-8，同時具有高精定位、定時拍攝、防抖預(yù)處理、大容量存儲等功能;可在現(xiàn)有養(yǎng)護巡查車輛上便捷搭載、快速采集;影像包含GPS位置信息，便于病害、定位信息疊加，與GIS地圖進行關(guān)聯(lián)處理。

2.2 建立“一套識別精度高的路面檢測數(shù)據(jù)自動識別算法”

由于路面坑槽、裂縫類型多樣，圖像采集易受光照、降雨等天氣因素影響，為了提高模型檢測的適應(yīng)性，我們采集各類場景下的樣本達(dá)20萬張，標(biāo)注橫縱向、塊狀、龜裂、坑槽、修補等各種形式病害數(shù)量超過4.6萬處，基于101層卷積神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)訓(xùn)練，經(jīng)過模型反復(fù)迭代、結(jié)構(gòu)調(diào)優(yōu)，形成輕量化、高精度路面病害目標(biāo)檢測算法模型。區(qū)別于傳統(tǒng)圖像處理，采用卷積神經(jīng)網(wǎng)絡(luò)，既可以達(dá)到像素級識別，又可并行提取多尺度特征，使得細(xì)小裂縫檢測更加精確，支持識別更多類型路面病害。經(jīng)優(yōu)化，AI檢測模型檢測一張圖像僅用0.5～1 s，識別準(zhǔn)確率超過85%，檢測路面病害超過日常病害總數(shù)的86.14%。

2.3 開發(fā)“一套路面快檢數(shù)據(jù)智能化管理、分析系統(tǒng)”

在便攜式快速采集終端發(fā)現(xiàn)問題、AI檢測模型分析問題的基礎(chǔ)上，我們研發(fā)出一套數(shù)據(jù)管理系統(tǒng)，實現(xiàn)對路面病害信息的分析研判和科學(xué)管理。系統(tǒng)包括檢測結(jié)果一張圖、識別任務(wù)、智能分析，系統(tǒng)管理等模塊，識別任務(wù)模塊可新增識別列表，查看識別進度、識別結(jié)果并進行人工復(fù)檢。

3 基于固定視頻的路域環(huán)境養(yǎng)護事件智能巡查技術(shù)研究

該研究應(yīng)用內(nèi)容主要包括技術(shù)調(diào)研、公路視頻圖像采集及預(yù)處理、公路養(yǎng)護事件視頻圖像分析模型建立以及公路智能養(yǎng)護巡查系統(tǒng)研發(fā)及應(yīng)用。

3.1 研究一套可行的路側(cè)固定視頻接入方式

目前，江蘇省內(nèi)國省道路側(cè)固定視頻從設(shè)備端直接接入各區(qū)縣公路分中心存儲，并向省公路事業(yè)發(fā)展中心視頻共享平臺共享視頻地址列表。為了高效獲取數(shù)據(jù)來源，我們遵循行業(yè)視頻對接協(xié)議，按照路線、樁號、時間等條件編制視頻自動輪詢接口，通過公路內(nèi)網(wǎng)從各區(qū)縣公路分中心獲取視頻流，改變手動調(diào)看、“盯屏幕”的低效方式。

3.2 建立路側(cè)拋灑物和堆積物AI檢測模型

路面拋灑物AI檢測模型建立過程，首先基于高斯動態(tài)背景建模以及顏色空間變換，降低光照變化、移動物體陰影影響，達(dá)到剔除機動車輛、非機動車輛目標(biāo);進一步采用卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)像素級語義分割，分割道路路面，同時，檢測區(qū)別于路面區(qū)域的拋灑物，并進行類別識別。路側(cè)非法堆積物AI檢測模型通過大量的路側(cè)堆積物圖像樣本，訓(xùn)練R-CNN、fast R-CNN、yolov3等卷積神經(jīng)網(wǎng)絡(luò)，精確定位路側(cè)堆積物并識別其類型。

3.3 研發(fā)路域環(huán)境養(yǎng)護事件智能巡查系統(tǒng)

該系統(tǒng)支持大范圍路網(wǎng)路側(cè)固定視頻自動輪巡、事件自動檢測、事件可視化展現(xiàn)，提供視頻的路線、樁號以及輪巡時段的自定義配置選擇，以可視化方式提供拋灑物、路側(cè)堆積物事件現(xiàn)場圖片、樁號以及聲光警報。為業(yè)務(wù)人員提供檢測事件報警確認(rèn)審核窗口，審核之后的事件檢測圖片進一步作為模型的訓(xùn)練樣本，支持不斷在線優(yōu)化升級。系統(tǒng)同時提供標(biāo)準(zhǔn)的數(shù)據(jù)共享接口，可與南通公路協(xié)同巡查系統(tǒng)實時共享事件類型、事件發(fā)生的樁號，可自動匹配事件所屬轄區(qū)責(zé)任人，實現(xiàn)事件信息精準(zhǔn)推送。

4 全鏈?zhǔn)街悄莛B(yǎng)護業(yè)務(wù)路程

在路面病害智能檢測系統(tǒng)、路域環(huán)境養(yǎng)護事件智能巡查系統(tǒng)的支撐下，養(yǎng)護管理信息采集端由傳統(tǒng)的人工發(fā)現(xiàn)事件、手動拍照、紙質(zhì)臺賬記錄轉(zhuǎn)化為巡查車車載、路側(cè)固定視頻的機器巡查、智能檢測、主動報警、自動取證登記的標(biāo)準(zhǔn)化、數(shù)字化模式;養(yǎng)護管理后臺決策由傳統(tǒng)的人工經(jīng)驗、人工分析轉(zhuǎn)化為基于多維度歷史養(yǎng)護數(shù)據(jù)的分析挖掘、可視化展現(xiàn)模式，結(jié)合AI人工智能由定性檢測到定量識別，同時為養(yǎng)護處置效果評價提供智能化手段。但再好的技術(shù)和系統(tǒng)不投入具體的生產(chǎn)實踐是無法發(fā)揮出應(yīng)有的效益，為了加大智能養(yǎng)護技術(shù)的推廣應(yīng)用力度，我們摸索建立了一套養(yǎng)護業(yè)務(wù)流程。首先，在養(yǎng)護管理信息采集、后臺分析決策、處置結(jié)果評價等不同階段制定相應(yīng)的操作規(guī)程，明確包括巡查車行駛速度、路側(cè)固定視頻自動輪巡設(shè)置、事件觸發(fā)閾值、事件報警審核確認(rèn)等要求;其次，建立與已有公路協(xié)同巡查系統(tǒng)數(shù)據(jù)共享機制，打通養(yǎng)護業(yè)務(wù)的“巡、查、處”的業(yè)務(wù)流程;同時，研究編制事件處置結(jié)果評價標(biāo)準(zhǔn)，建立檢查考核機制，進一步促進2套軟件在內(nèi)部業(yè)務(wù)部門全面運用。

5 應(yīng)用效果

路面病害智能檢測系統(tǒng)2019年初啟動，8月份開始試運行，2020年4月通過驗收正式上線運行。從如東、通州、海門等縣市一年多的應(yīng)用效果看，前端采集便捷高效，檢測全過程自動拍攝，無需人工干預(yù)，平均每車道1公里采集數(shù)據(jù)不到2分鐘，工作效率比純?nèi)斯z查提高8至10倍，廣大一線養(yǎng)護人員經(jīng)過簡短培訓(xùn)后即可快速上手。系統(tǒng)支持所見即所得，能夠基于公路行業(yè)GIS地圖，按宏觀、中觀、微觀不同層次，將路面病害檢測結(jié)果可視化展示。路面坑槽裂縫AI檢測模型不僅支持定性識別，同時根據(jù)《公路技術(shù)狀況評定標(biāo)準(zhǔn)》指標(biāo)體系，定量計算，量化測算檢測結(jié)果，自動生成數(shù)據(jù)報表，數(shù)據(jù)準(zhǔn)確率85%以上，與實際情況高度匹配，系統(tǒng)可用性高。

路域環(huán)境養(yǎng)護事件智能巡查系統(tǒng)目前在啟東等縣區(qū)公路分中心試點應(yīng)用，經(jīng)過半年多的不斷優(yōu)化，拋灑物、路側(cè)堆積物事件檢測準(zhǔn)確率達(dá)到80%以上。從養(yǎng)護巡查成本上看，相較于車查+視頻人工輪巡模式，按照200公里100路視頻計算，成本一年約80至200萬元;而采用自動輪巡+智能檢測模式，成本包括設(shè)備采購運維費用約22萬至30萬元左右，相比之下節(jié)約經(jīng)濟成本70%以上。從時間成本上看，四路并發(fā)情況下輪巡100路視頻，自動輪巡時間1分鐘/路，共計花費25分鐘;人視頻輪巡100路視頻，輪巡事件0.5分鐘/路，共計花費50分鐘，節(jié)約時間50%以上。

6 結(jié)論

機器視覺技術(shù)在公路管理中的應(yīng)用研究主要有以下幾點創(chuàng)新：一是融合創(chuàng)新，以人工智能應(yīng)用于巡查車車載視頻、路側(cè)固定視頻，形成路面病害、路域環(huán)境養(yǎng)護事件智能巡查系統(tǒng)，拓展了現(xiàn)有資源的挖掘應(yīng)用范圍;二是應(yīng)用創(chuàng)新，有效支持養(yǎng)護事件歷史數(shù)據(jù)挖掘，提供可視化報表，為養(yǎng)護決策提供數(shù)據(jù)驅(qū)動。下一步我們將對機器技術(shù)深入研究，并對系統(tǒng)進行改進。強化對歷史采集數(shù)據(jù)的比對分析，強化系統(tǒng)預(yù)警，持續(xù)優(yōu)化算法，進一步擴大病害檢測范圍，對公路機器巡查技術(shù)進行深入研究及應(yīng)用。

參考文獻：

[1]GAO P，SUN X J，WANG W.Moving object detection based on Kirsch operator combined with optical flow[C].IEEE.Proceedings of 2010International Conference on Image Analysis and Signal Processing （IASP）.New York：IEEE，2010：620-624.

[2]MENDI E，BAYRAK C，MILANOVA M.A video quality metric based on frame differencing[C].IEEE.2011IEEE International Conference on Information and Automation （ICIA）.New York：IEEE，2008：829-832.

[3]DONG G H，AN X J，F(xiàn)ANG Y Q，etal.Contributions to Horn-Schunck optical flow equations-PartⅠ：Stability and rate of convergence of classical algorithm[J].Journal of Central South University，2013（7）：1909-1918.

[4]HAN Y X，ZHANG Z S，CHEN F，etal.An efficient approach for shadow detection based on Gaussian mixture model[J].Journal of Central South University，2014（4）：1385-1395.

[5]李清瑤.基于視頻流的高速公路拋灑物檢測[D].長春理工大學(xué)，2019

[6]中國專利.CN201710059678.0，基于深度卷積網(wǎng)絡(luò)的路面遺留物檢測方法[P].

[7]陳媛，胡娜，余秋月.融合背景差分法和幀間差分法的運動目標(biāo)檢測[J].現(xiàn)代計算機，2019（34）：50-53.

[8]李偉，成軍，張江州，等.人工智能在道路交通管理中的應(yīng)用探究[J].中國公共安全，2020（4）：90-92.