基于機器視覺的路橋裂縫病害自動檢測技術

洪衛星，吳 羨，陳貴海,3，郭丹桂，毛明潔

（1.南京智行信息科技有限公司，江蘇 南京 211100；2.江蘇前沿交通研究院，江蘇 南京 211100；3.上海交通大學，上海 200030；4.廣東博大高速公路有限公司博深分公司，廣東 惠州 516100）

0 引言

裂縫是路橋表面最常見的病害，更是其他類型病害的主要誘因，但針對裂縫的自動化檢測技術發展較為緩慢，傳統的人工檢測則存在檢測效率低、主觀性強、檢測人員人身安全及設備安全難以得到保證等問題。隨著科技的進步，機器視覺技術在自動化檢測領域發揮著越來越重要的作用。從裂縫病害檢測這一角度探索機器視覺技術在路橋病害自動檢測中的應用，研究關鍵算法執行力和輕量化的平衡機制，促進機器視覺檢測技術在道路病害檢測中的高效利用具有重要的現實意義[1-2]。

國內外目前對于裂縫等路面破損類病害的檢測技術已經從傳統的人工檢測階段過渡到自動識別檢測階段，主要采用圖像檢測技術和機器識別技術[3]。從20 世紀70 年代開始，英美等發達國家便開始將檢測車作為裂縫病害的主要檢測設備，但是該方法自動化程度不高，往往只能用于裂縫病害的數據采集，仍需投入大量的人力進行病害分析[4-6]。我國也研發出多種型號的病害檢測車，但同樣存在自動化水平不高的問題。Zakeri等[7]針對基于圖像進行裂縫病害的識別技術，系統梳理并總結出了需要開展的五個階段工作，即圖像的預處理、分割、特征提取、特征選擇、檢測和分類。針對圖像的預處理，Yao等[8]開發了一種新的成像系統，能夠在不使用任何人工照明的情況下解決路面圖像中的噪聲和偽影，用于顯著減輕陰影對圖像的影響。Tasi 等[9]比較了包括回歸閾值、邊緣檢測、裂紋種子驗證、小波、迭代裁剪技術和動態優化在內的6 種分割技術，以定量評估各種圖像分割方法的性能，測試結果表明，基于動態優化的技術在所有圖像上都表現出比其他方法更好的性能。在特征提取和選擇方面，離散傅立葉變換、哈爾變換、曲波變換、脊波變換、剪切波變換和不變矩等方法在特征提取過程中較為常用且應用效果較好；支持向量機（Support vector machine,SVM）是許多應用程序中使用的最佳特征選擇算法之一[10]。在病害檢測和分類方面，研究人員基于機器學習提出了多種方法來區分路面圖像中不同類型的病害，主要可以分成三種：有監督學習、無監督學習和半監督學習[11-12]。我國的學者在病害識別算法和系統集成研發等領域也開展了探索性的研究，通過不斷改進算法和系統測試，提出了例如小波變換、分塊處理等方法來解決裂縫數據的獲取問題[13-17]。從國內外已有的研究成果來看，這些方法有的側重于算法的持續創新[18]，有的側重于應用的持續創新，都比較注重個別場景和對特征的檢測[19]，但缺乏以機器視覺技術為基礎的裂縫病害檢測的研究。

目前道路裂縫病害巡檢工作由于受到技術限制，主要存在以下問題：①以人工檢測為主，僅少部分采用了智能化巡檢設備，但設備功能單一、智能化程度低[20]；②道路技術狀況檢測車成本高，檢測周期長，平均一年一次左右，無法適應病害常態化巡檢要求[21-22]。

本文將在已有研究的基礎上，從以下方面進行探索，旨在快速構建操作簡便、流程完整的道路病害自動檢測系統，充分發揮機器視覺技術在道路養護和管理領域的優越性：①通過視頻采樣+機器視覺檢測技術，利用邊緣設備對視頻圖像進行分析比對，識別道路裂縫病害特征；②運用特征檢測模型算法，實現對病害樣本的快速采集、分析和判斷，從而提高公路設施健康巡查管理效率；③依托工程項目，形成一套基于機器視覺的路橋裂縫病害識別分析系統。

1 基于機器視覺的路橋裂縫病害檢測技術

路橋日常病害巡查一般是利用無人機、巡查車輛對路橋病害進行自動巡查。本研究通過對無人機、巡查車輛的改造，配備相應的智能化設備，如邊緣計算主機、高清攝像頭、北斗雙模系統等，實現對路橋裂縫病害的自動化巡查。

1.1 應用流程

路橋裂縫病害自動檢測主要是利用能夠精準識別樁號及傳輸數據的無人機和巡查車輛對路橋進行自動巡檢，對采集的裂縫病害視頻圖像進行預處理，將車道信息、位置信息、時間信息、圖片視頻信息等傳輸至后臺，由后臺對路橋裂縫病害進行檢測與分類，計算其寬度、長度和面積，最終由病害綜合管理及派單系統對需要管養的裂縫病害進行結果輸出。路橋裂縫病害自動檢測應用流程如圖1所示。

圖1 路橋裂縫病害自動檢測應用流程

1.2 基于智能巡查車的裂縫病害檢測

基于智能巡查車的裂縫病害檢測主要是基于現有智能化設備，如邊緣主機、智能攝像頭和北斗雙模系統，對相應車道的裂縫進行識別和量化檢測。

智能巡查車通過攝像頭采集路橋環境信息，將視頻流或視頻幀傳輸到服務器端，病害檢測分類算法對接收到的數據進行分析，并輸出結果到裂縫病害綜合管理系統。其中，輸出的結果包括但不限于裂縫發現時間、裂縫發現地點經緯度、裂縫類型以及巡查車輛編號等信息。巡查車智能化提升改造措施如圖2所示。

圖2 巡查車智能化提升

1.3 基于無人機的裂縫病害檢測

基于無人機的裂縫病害檢測主要是利用具備最新飛控系統、智能控制技術的無人機，針對路橋巡檢中人工不易到達的危險位置，根據結構檢測點制定自動巡航線路，自動對檢測點進行拍攝，同時利用搭載的分析模塊對裂縫病害進行實時分析，并將分析結果疊加在視頻流上通過5G模塊或自組網同步傳輸至指揮中心。智能養護巡檢無人機具有自定義航線、定時巡檢、實時傳輸和本地邊緣計算等特點，可與地面巡檢車輛多元聯動。無人機智能化升級情況如圖3所示。

圖3 無人機智能化升級

1.4 技術原理

路橋裂縫病害檢測主要是利用卷積神經網絡技術進行目標識別與檢測。卷積神經網絡的整體架構如圖4所示。

圖4 卷積神經網絡整體架構圖

通過實踐，對傳統的目標檢測網絡Faster RCNN（Faster Region-Convolutional Neural Network）進行修改，采用MobileNet進行深度可分離卷積，利用Faster R-CNN 進行路橋表面病害深度學習和應用訓練，設定和調試不同的參數包以滿足路橋裂縫病害檢測要求。

基于Faster R-CNN 路橋病害檢測器的檢測訓練過程如圖5所示。

圖5 病害檢測訓練過程

2 基于機器視覺的路橋裂縫病害檢測算法模型

2.1 算法模型的選取和優化

系統根據實際場景訓練學習，調整優化檢測模型，選擇更適合路橋特征病害自動檢測的識別算法，尋求快速化與執行精度之間的最佳平衡。系統選取目標檢測模型，通過路橋裂縫病害檢測實踐，確定模型算法。

對傳統的目標檢測網絡Faster R-CNN 進行修改，替換特征提取網絡。使用深度可分離卷積MobileNet 進行卷積，從而減少網絡模型的參數量，提高計算速度，基于3× 3 的卷積核，參數量可以減少至原來的1/8。路橋裂縫病害識別模型主要由兩個卷積神經網絡組成，即獲取興趣區域的區域生成網絡（Region Proposal Network,RPN）和提取區域特征的Fast R-CNN。

2.2 病害特征的提取算法

路橋檢測的工作場地一般在戶外，影響攝像機采集的因素很多，如光照、天氣等。首先，為減少圖片原始數據量和后續處理時的計算量，要對采集的圖片進行灰度與增強處理。然后通過濾波算法對圖片去噪，選取小波變換濾波方法保證在去噪的同時較好地保持圖像的細節。之后用面積剔除法對圖像進行分割，獲取裂縫的信息。由于拍攝角度、光線強度、灰塵殘留等因素的影響，裂縫在圖像中并非呈連續狀態，最后基于KD 樹（K-dimensional Tree）算法對圖像中裂縫的零碎片段進行連接，從而獲得完整的裂縫。整個算法流程如圖6所示。

圖6 目標分割算法流程

2.3 病害目標特征識別

按照類型的不同，裂縫可分為橫向裂縫、縱向裂縫、塊狀裂縫和網狀裂縫。這4 類裂縫特征各不相同，可根據其特征減少機器學習中的維度訓練時間，有助于提高分類精度。在完成多份路橋裂縫圖像樣本分析后，以裂縫的統計特征作為主要的分類依據，再利用向量機分類器對路橋裂縫圖像進行分析歸類。

（1）統計特征

分析大量樣本圖像發現，橫向裂縫與縱向裂縫的圖像占用面積遠小于塊狀裂縫與網狀裂縫。橫向裂縫和縱向裂縫皆保持連貫狀態，且不存在連續長距離分叉的現象，故以線統計特征與塊統計特征為依據對裂縫進行分類。

首先，用水平線與豎直線將圖像等距地分割成若干個等寬等長的小方格，裂縫與水平線交叉的次數記做Nhor，與豎直線交叉的次數記做Nper。對大量樣本進行統計分析可知，橫向裂縫與豎直線相交次數多于與水平線相交次數（即橫向裂縫：Nper＞Nhor）；縱向裂縫與水平線相交次數多于與豎直線相交次數（即縱向裂縫：Nhor＞Nper）；塊狀裂縫與水平線及豎直線均有相交，次數相近，且次數之和大于橫向裂縫（或縱向裂縫）與水平線及豎直線相交次數之和；網狀裂縫與水平線及豎直線均有相交，次數相近，且次數之和大于塊狀裂縫與水平線及豎直線相交次數之和。線統計特征如圖7所示。

圖7 線統計特征

然后，按照一定的比例，將檢測后得到的裂縫圖像分割為m×m的等高等寬小方格，記含有裂縫的小方格個數為M，如圖8所示。

圖8 塊統計特征

（2）特征向量分析

基于現有建立的裂縫樣本庫，提取4 種裂縫樣本圖各100張，圖9為提取出的部分樣本圖像。

圖9 裂縫樣本

對圖像統計特征進行分析，結果如圖10～圖12所示。

圖10 裂縫與水平線交點數

圖11 裂縫與豎直線交點數

圖12 含有裂縫區域的小塊數目

由圖10 和圖11 可知，以等距等寬的水平線和豎直線將圖像均分為若干個小方格，塊狀裂縫和網狀裂縫與水平線及豎直線相交次數較多，橫向裂縫與豎直線相交次數大于與水平線相交次數；縱向裂縫與水平線相交次數大于與豎直線相交次數。

由圖12可知，將圖像分割成若干個等寬等高的小方格，統計發現網狀裂縫占據小方格數量最多，其次為塊狀裂縫，橫向裂縫與縱向裂縫較少。

綜上所述，與豎直線相交次數大于與水平線相交次數且方格數較少的為橫向裂縫；與水平線相交次數大于與豎直線相交次數且方格數較少的為縱向裂縫；與水平線及豎直線相交次數較多且方格數最多的為網狀裂縫；與水平線及豎直線相交次數較多且方格數次多的為塊狀裂縫。

2.4 病害量化計算

獲取裂縫病害目標的面積、長度、寬度等幾何特征，有助于提高系統的預警效率。基于機器視覺的病害測量方法如下。

（1）量化標定

系統設定單位像素和實際單位（mm）之間的換算關系，同時設定量化標定物。圖13所示病害量化標定物為邊長30mm 的菱形，左邊菱形中間為直徑12mm的圓，右邊菱形中間為邊長，高為12mm 的等邊三角形，圓心與等邊三角形中心距為20mm。

圖13 病害量化標定物

按照拍攝條件的不同設定不同的系數，圓直徑對應像素為αpixel，圓直徑為βmm，則標定系數μ為：

（2）面積測量

采用像素點法進行裂縫面積測量，即統計裂縫邊緣及其內部封閉像素點的總數。裂縫圖像經分割后形成二值圖像，假設A是二值圖像目標的區域面積，即目標區域包含的像素數，M×N代表寬×長，圖像中只含有灰度值為0 和1 的像素點，目標裂縫灰度值f(x,y)=1，背景像素灰度值為0，通過統計f(x,y)=1 的個數，得到裂縫區域面積A為：

（3）長度測量

采用中心線法測量裂縫長度。首先找到裂縫的中心線位置，然后計算中心線長度，所得的中心線長度即為裂縫長度。具體步驟如下：

①以M×N的矩陣存儲裂縫二值圖像并對其掃描，確定左右邊緣的坐標，分別標定為(xL,yL)和(xR,yR)，且yL=yR。其中，xL為左邊緣橫坐標；yL為左邊緣縱坐標；xR為右邊緣橫坐標；yR為右邊緣縱坐標。

②計算每行中心點坐標(x0,y0)，x0為每行中心點橫坐標，y0為每行中心點縱坐標。其中：

③依次統計各相鄰兩中心點之間的距離，將各距離相加，記作裂縫長度L。

（4）寬度測量

裂縫形狀不規則，各個部分寬度不一，按平均寬度計，計算公式如下：

式（5）中：W為裂縫平均寬度；A為裂縫區域面積；L為裂縫長度。

3 應用實例

自2019 年9 月起，本文研究成果在廣東省8條高速進行了實際應用。截至2021 年1 月，共排除安全隱患8 760 多起，及時發現、修復路橋裂縫病害2 300余處。

相比傳統人工方法費時費力地逐一檢查，基于機器視覺的橋梁病害檢測技術只需對采集到的圖片加以處理分析，即可快速檢測并判別病害的位置與等級，病害識別準確率達到95%以上，巡檢效率提升10倍。圖14～圖15為實際路橋巡檢中的裂縫實時檢測畫面。

圖14 實際檢測中的病害量化標定物

圖15 基于機器視覺的路橋病害檢測系統界面

4 結語

路橋裂縫病害的檢測調查是公路日常養護工作的重要內容，對保持路面良好的技術狀況，保障行車安全和舒適性具有重要意義。本文以機器視覺技術、圖像處理技術在路橋裂縫病害檢測工作中的而應用為主要研究對象，重點針對利用機器視覺技術實現對病害特征提取、特征識別和量化計算算法進行了比較研究，提出并研發了一種路橋裂縫病害的自動檢測方法。通過實際工程應用驗證和模型優化，實現了對路面裂縫病害的自動化檢測和95%的識別準確率。研究認為，采用基于機器視覺的自動檢測技術能夠保證養護維修的及時性、有效性，有助于提升路橋管養部門養護科學化決策水平。本文僅針對路橋的裂縫類病害進行了研究，下一步可拓展研究對象范圍，針對其他類型病害的檢測開展相關研究。隨著目標檢測算法的不斷更新和發展，以YOLO為代表的一階段目標檢測算法的應用越來越廣泛，后續可針對算法優化方面開展進一步的研究，提升算法的識別效率和準確率。隨著機器視覺檢測技術的普及應用，“一模多檢”的應用也將成為一個研究方向。