基于深度學習技術的路面隱患排查應用與實踐

呂偉杰　許基獻　斯錦偉　王佳　李家偉

摘要 隨著公路建設事業的快速發展，道路隱患排查管理任務伴隨而來，特別是前期建設的一批高速公路已逐步進入中修或大修期，相關管理部門越來越重視道路通行隱患監測數據的收集和分析。為了增強基于機器視覺數字圖像處理的道路隱患排查識別效率和準確性，在目標檢測技術中引入卷積神經網絡CNN算法，快速識別帶邊界的隱患目標類型、位置和區域，并基于CNN通過隱患目標輪廓網絡CCN方法進行定位和提取病害形狀。在CCN算法中引入道路隱患類型識別準確率、召回率和方差比值即F值指標，來評價算法模型，根據最大F值劃分和確定隱患目標相應的輪廓區域。工程驗證結果表明，文章所提出的隱患識別效率和準確率較高，可用性強。置信度閾值取最優值后，準確率、召回率、F值可達到91.8%、86.1%和84.6%。

關鍵詞 數字圖像處理；卷積神經網絡；隱患目標；CCN

中圖分類號 U445.4文獻標識碼 A文章編號 2096-8949（2023）24-0015-04

0 引言

隨著社會經濟的不斷發展，公路交通在國民經濟和人們生活中發揮著越來越重要的作用，在我國公路交通領域表現的更加突出，全國縱橫覆蓋格局已成規模效應。在高速公路的長期運營過程中，會發生各種類型的路面通行隱患。公路服役周期內，路面表觀病害對行駛安全、行駛平穩性、路基安全造成多種風險，為公路養護和隱患排查帶來諸多不確定挑戰，快速檢測病害、定位病害成為研究的重要內容[1-4]。在當前從國家到地方的道路檢測和評價的框架下，普遍采用的多功能車在一定范圍和周期內解決了這一問題，然而巡查頻率、隱患排除效率、管控效果均急需提高，需要改變依靠多功能車采集、利用人力視覺篩查標簽的傳統方式，而形成真正意義的隱患發現、識別、排除半自動化作業。顯然，隱患確認關鍵動作需要人工干預，這樣一來既釋放了被大量占用的人工，同時也增強了隱患發現處置能力。即便如此，基于視覺分析技術的隱患識別方法包括自適應閾值分割法、邊緣檢測法、形態學AI法、小波分析等算法，仍難以克服多域多候背景誤差、臨界近似度、參數復雜精度低問題。并且，對于車道動態跟蹤、安全隱患目標的快速檢索、重定位、清晰度和數字圖像處理，均對路面隱患的及時發現、及時處置造成一定的技術滯后。

基于圖像解析深度學習技術的持續發展[5]，卷積神經網絡在工業、空間、設計包括交通領域已經獲得廣泛應用。近年來，部分學者試圖將CNN應用于土木工程結構的表觀隱患排查。例如，Cha等[6]將CNN與滑動窗口技術相結合應用于裂縫識別，其訓練數據設定為40 000張圖片（256×256像素），測試圖片大小為5 888×3 584像素，測試持續時間為4.5 s，最終驗證準確率約為98%。Dorafshan等[7]構建了SDNET 2018裂紋圖像數據庫，方便檢測人員和技術人員測試和驗證，在此基礎上靈活架構識別方法，包括采用CNN檢測識別裂縫和坑槽，這一思路與邊緣計算方法明顯不同。

在眾多識別方法比較中，將CNN和邊緣計算快速識別相結合，形成前后臺相互促進的檢測策略，取得了較好效果[8]。Ni等[9]通過基于卷積自動處理明顯結構裂縫的CNN框架，達到特征融合和像素級分類效果。但這些方法需要算力保證，識別計算過程要求高，并且帶來與CNN目標檢測結果相違背的識別錯誤。后續處理仍需要采用其他方法。為了解決上述問題，Girshick等[10]使用CNN作為內核并將其與選擇性搜索算法相結合。HeK等[11]提出了空間金字塔池化（SPP-Net），其使用全圖像卷積共享特征圖方法來減少R-CNN的訓練和測試時間，并且目標檢測精度也有所提高。顯然，人工識別算法在交通領域尤其公路行業越來越多地被應用到生產作業和養護管理環節，樣本持續增長、算法模型不斷創新演進，包括算法與算法之前的集成研發，都促成了新技術、新裝備、新方法大量涌現，以CNN為基礎結合CCN創新模式大幅提高行業應用的實用性和普及率，在車載及機載算力限制條件下，令檢測識別效果更理想。

該文介紹了基于CNN和CCN方法的路面隱患定位及形狀提取，計算帶邊界的提取隱患區域的位置和面積。針對該方法的評價，介紹了準確率（P）、召回率（R）和F值指數，并驗證了所提方法的有效性。

1 路面隱患檢測識別技術原理

路面隱患檢測識別技術主要包括軟件層面的神經網絡圖像識別和硬件環境層面的車載或機載邊緣計算智能設備。路面隱患識別的過程如圖1所示。目前，路面圖像的采集方式是巡檢車等攝像機，特殊情況下也伴飛無人機空中視角抓拍，形成單目多目多視角等識別要求，算法模型大小、集成度、精度須根據不同搭載進行配置。一致的過程是，前端邊緣負責采集、預處理、基礎數據加載、回傳，算力越強對圖像清晰度敏感性越低，目標越小則對圖像清晰度要求越高，后端負責數據匯集、分類整理、二次檢測、綜合分析。具體識別過程可劃分為按預定規則的快速抽幀，使用圖像分割、一致化、色階值、區域增強等數字圖像處理技術進行預處理，必要情況下，通過小樣本變換增加輸入；通過專業人員根據行業應用要求進行經驗標注，形成人為定義的隱患特征庫；初始化CNN識別網絡，設定初步參數，進行初次訓練，重復流程，進行規模化調參，達到分級化置信度；訓練完成，通過驗證集實測路面隱患識別排查的效果，如裂縫、坑槽、交安破損，根據邊界框尺寸信息，評估實際檢測效果和置信度指數。對于水平和垂直隱患目標，在邊界框確定后，提取區域目標形狀并得到隱患面積，通過反向色差隱患目標表征信息更豐富、更準確。

在硬件環境層面，具備了深度學習技術準備后，需要對當前的巡查車做智能化升級，使之適配于新型業務模式下的路面隱患排查任務：①運用5G技術構造前端車載邊緣計算；②新增高清攝像頭，加載前端采集和識別模型；③組件優化和匹配，最小化功耗和最大化分類圖像處理性能。具體需做的升級改動包括：通過技術選型采用成熟的邊緣主機、智能攝像頭、5G移動通信模塊和北斗雙模系統實現系統化智能巡查車硬件環境的升級，邊緣主機和通信模塊安裝于駕駛室側壁，攝像頭安裝于車頂向前方向，視野覆蓋路面和兩側交安，北斗雙模系統天線則需安裝在車頂或駕駛室外部后側，并確保其上方沒有遮擋。在此智能硬件基礎上，加載邊緣計算系統軟件，包括圖像預處理模塊、樁號和坐標對應模塊、快速識別模塊，與中心管理系統形成云邊協同的隱患識別，基于快速識別模塊可將病害圖像賦值車道線標識、左右幅標識，與樁號互為對應，從而準確定位和溯源路面隱患和病害的時空位置，方便工程人員快速化現場確認和隱患排除?；跓o人機的路面隱患檢測主要采用車機協同飛控作業系統、航線預設、定點復拍、新型無人機載遙感技術等實現多視角聯動，與路政巡查車伴飛配合。利用無人機的空中視角和航線定制，實現道路外側、特殊結構物、車載和人員視角觀察不到位置的隱患巡查工作。同樣，通過無人機機載邊緣計算設備將預處理的圖像分析結果通過5G模塊或中繼網絡同步傳輸至中心管理系統，從而達到同一時空車載和機載不同路徑的隱患排查協同效果。

2 路面隱患檢測技術實現方法

2.1 卷積模型架構技術流程

CNN模型架構通常包括對輸入圖像的一簇堆疊層（如卷積、激活和極化）進行特征提取，以及通過全連接層進行分類，以輸出每個類的分值。每一層負責不同的功能，并使用前一層的結果作為后一層的輸入。

對于機器視覺任務，CNN網絡需要：①從原始圖像中提取特征；②使用分配有初始隨機權重和偏差的過濾器將特征向前饋送，以預測類別；③計算預測分值與基本事實之間的損失；④應用反向傳播來調整濾波器權重并不斷置信，最終獲得優化模型。

已經有一些研究試圖將深度學習方法應用于土木工程結構，例如基于CNN的混凝土機架檢測方法，并且所提出的模型相對于傳統圖像處理技術的優勢已經得到證明。此外，CNN還應用于高效隧道檢查和內壁裂縫檢測。然而，CNN在基礎設施檢查中的應用仍處于起步階段，使用CNN進行結構損傷檢測的研究仍在持續發展中。

2.2 模型訓練、驗證和測試

在模型訓練特征提取方面，路面隱患排查工作場景主要在野外、公路沿線和兩側，視頻圖像采集受氣候、光線、環境等影響，導致每次巡查拍攝源圖像都存在差異。為準確識別分析造成一定的難度，需要對含有干擾信息的源圖像進行灰度、對比度及極值化預處理，利用小波變換濾波方法確保分析處理后的豐富細節。模型通過調配神經網絡分支類型、層級參數、置信度等不斷迭代和訓練，生成高可靠高可用性的隱患識別網絡。在對多份隱患病害圖像樣本分析后，不難發現，塊狀、網狀、條狀、變形、缺失等隱患病害不同特征的呈現形式，利用向量機分類器對其特征進行統計歸類，從而幫助管理人員在大量巡查圖像中自動獲取有價值的分析結果。在經過海量樣本訓練成熟后，該模型可確保巡查采集和分析效果的連續性和可靠性，方便管理人員對巡查路段做出準確評估。

以常見隱患路面裂縫為例，裂縫來自智能巡查車實際采集的道路圖片，大小為2 048×2 000像素。通過圖像切片、旋轉、鏡像等獲得訓練樣本集，其中有裂紋的樣本數為15 235，無裂紋的樣本數為21 642。之后，使用預訓練網絡進行遷移學習，所有數據輪換50個紀元，最終識別精度值可以達到95%以上。CNN關鍵參數分別為：訓練時間50 s，軌距32，訓練率10?4，衰減系數10?6，如圖2所示，顯示了使用上述參數獲得的準確率性能。

3 應用實例

在浙江省甬莞高速公路等工程項目中，通過動態抽幀采集數百公里的路面圖像集，對完整和受損的路面進行了系統化CNN特征圖的訓練、驗證和測試，路面背景的處理方法則采用雙值圖像處理方法進行處理。在典型實例中可以看出，背景噪點很難去除，效果也不容忽視。因此，一些傳統的圖像處理算法很難破解。研究將有意義的圖像組件突出出來，進行一系列基于形狀的圖像演算處理，以表達和描繪區域形狀構造，識別和表征目標對象最本質的形狀特征，如輪廓和對象區域。典型的CCN方法用于處理路面圖像時，廣泛結合數字圖像處理技術，根據邊界框區域中的最小灰度值重現塊狀裂縫形狀。

主要步驟如下：

（1）塊狀裂縫的特征之一，是與路面背景存在灰度級差異，最暗的像素一般屬于裂紋，提取裂紋區域（CNN處理）。

（2）由于路面的灰色背景，第一步的提取容易產生噪聲，例如局部黑噪聲。在該文中，這些區域中的像素被濾除（局部黑噪聲被去除）。

（3）第二步降噪后，需恢復路面像素的詳細過程：①高斯模糊（卷積核為9×9），生成新像素；②執行低閾值二值化（閾值為0），極化像素使裂縫沿路面像素擴展；③使用大模板（7×7）侵蝕細化裂縫；④使用小模板（3×3）膨脹以平滑裂縫；⑤再次使用小模板（3×3）。

根據灰度骨架和裂紋原點像素細化裂紋形狀，灰度值均差超過一定范圍予以刪除。從而過濾掉一些背景像素，這些像素在形態處理過程中被誤認為是隱患目標。

進一步使用輪廓檢測，在圖像中定位和鎖定隱患目標的區域邊界，如圖3所示。在所提出的路面隱患檢測和識別方法中，也可以嘗試更多的數字圖像處理方法。

在該工程實踐中，經過大量隱患目標識別排查測試和驗證，對標計算真陽性率（TPR）、真陰性率（TNR）、假陽性率（FPR）和假陰性率（FNR），4個指標經統計分析，得到準確率（P%）、回歸率（R%）和F值（F%）。工程驗證表明，P%、R%和F%于實際隱患排查識別中整體性能相應達到91.8%、86.1%和84.6%。

4 結語

該文提出了基于深度學習模型的路面隱患檢測方法框架。引入目標檢測中的CNN算法，快速識別帶邊界的被提取隱患區域的類型、位置和區域，CNN基于CCN方法用于定位和提取病害形狀。從測試結果中可以得出以下結論：

（1）基于CCN的CNN集成方法可以在路檢車采集的圖片上有效地搜索定位隱患，準確提取坑槽、車轍、裂縫形狀。

（2）測試結果表明，該檢測方法工作效率高，漏檢率較低，雖存在少量誤檢，仍可直接應用于路面隱患的自動檢測。

（3）引入準確率（P）、召回率（R）、F值等指標對算法進行評估，根據最大F值確定隱患框對應的輪廓區域，整體性能達到91.8%，86.1%和84.6%。

顯然，不足和需要加強之處在于，需通過后臺幾何學習法進行進一步誤檢篩查。

參考文獻

[1]Mohebian P， Aval SBB， Noori M，et al. Visible Particle Series Search Algorithm and Its Application in Structural Damage Identification[J]. Sensors. 2022（3）：1275.

[2]Li Z.， Noori M.， Altabey W. A.，et al. A multi-objective optimization algorithm for Bouc–Wen–Baber–Noori model to identify reinforced concrete columns failing in different modes[C]， Proceedings of the Institution of Mechanical Engineers， Part L： Journal of Materials： Design and Applications，2021（9）： 2165-2182.

[3]Altabey， W.A. Applying Deep learning and Wavelet Transform for Predicting the Vibration behavior in Variable Thickness Skew Composite Plates with Intermediate Elastic Support[J]， Vibroengineering， 2021（4）： 770-783.

[4]Altabey， W.A. Prediction of Natural Frequency of Basalt Fiber Reinforced Polymer （FRP） Laminated Variable Thickness Plates with Intermediate Elastic Support Using Artificial Neural Networks （ANNs） Method[J]， Vibroengineering，2017（5）：3668-3678.

[5]Wang T.， Altabey W. A.， Noori M.，et al. A Deep Learning Based Approach for Response Prediction of Beam-Like Structures[J]， Structural Durability and Health Monitoring，2020（4）： 315-338.

[6]Cha Y. J.， Choi W. O. Deep Learning - based Crack Damage Detection Using Convolutional Neural Networks[J]. Computer-aided Civil and Infrastructure Engineering，2017（5）， 361-378.

[7]Dorafshan S.， Thomas R. J.， Maguire M. Comparison of Deep Convolutional Neural Networks and Edge Detectors for Image - based Crack Detection in Concrete[J]. Construction and Building Materials， 2018，186， 1031-1045.

[8]Dorafshan S.， Thomas R. J.， Maguire M. An Annotated Image Dataset for Non-contact Concrete Crack Detection Using Deep Convolutional Neural Networks[J]. Data in Brief，2018， 21， 1664-1668.

[9]Ni F. T.， Zhang J.， Chen Z. Q. Pixel-level Crack Delineation in Images with Convolutional Feature Fusion[J]. Structural Control and Health Monitoring， 2018.

[10]Girshick R.， Donahue J.， Darrell T. Rich Feature Hicrarchies for Accurate Object Detection and Semantic Segmentation[C]， IEEE. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2014.

[11]He K.， Zhang X.， Ren S.. Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition[C]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2015（9）， 1904 -1916.