基于深度學習的道路表面裂縫檢測方法

張世瑤， 賀玉彬， 周新志*

(1.四川大學電子信息學院， 成都 610065； 2.國能大渡河大數(shù)據服務有限公司， 成都 610041)

隨著中國基礎建設的大力踐行，道路建設發(fā)展迅速，目前中國公路通車總里程已經位居世界前列[1]。在快速進行道路建設的同時，道路得高效保養(yǎng)、維護以及安全性檢測成為了一項亟待解決得問題。其中裂縫作為道路的常見病害，對道路安全構成了潛在的威脅，同時在裂縫早期做好及時的健康評測能大幅減少道路維護成本，延長道路使用壽命，保障行車安全，具有重要的現(xiàn)實意義。傳統(tǒng)的裂縫檢測主要依靠人工使用度量工具進行測量，耗費大量人力物力，同時存在勞動強度大、效率低下、測量結果存在人的主觀誤差等問題，因此對裂縫進行準確、高效、自動地檢測成為了當下研究的熱點。

目前中外學者對道路表面裂縫檢測做了許多的研究，如基于傳統(tǒng)的圖像處理方法進行道路表面裂縫檢測，此類研究主要方向有基于形態(tài)學的識別與灰度差異的閾值分割[2-6]，但這些研究中存在對于復雜背景下或裂縫與背景灰度差異小的場景下只能給出裂縫的大體位置, 準確度不高, 易受背景雜波影響, 誤檢和漏檢率較高。隨著計算機技術的發(fā)展，機器學習技術被提出，一些基于機器學習技術實現(xiàn)對裂縫的自動提取的研究被提出，如使用K均值進行裂縫提取[7-9]，使用布谷鳥搜索算法優(yōu)化K均值的裂縫提取算法[10]，使用聚類算法的橋梁裂縫提取[11]，此類算法相較于傳統(tǒng)的圖像處理的方法，精度有所提升，但其本質仍然是對圖像的灰度特征的提取，使用的圖像特征有限，容易受到雜物、油污、陰影及光照等因素影響，且檢測速度慢，對設備硬件性能要求高。近些年隨著深度學習技術在圖像識別領域的廣泛的應用，像素級的目標檢測的方法上取得了比較大的進展。一系列優(yōu)秀的網絡模型被提出，例如FCN(fully convolutional network)、U-Net、NestNet、U-Net++等卷積神經網絡[12-16]，它們在醫(yī)療圖像分割上都表現(xiàn)處理良好的分割效果，同時被應用到多個領域。在裂縫檢測領域，如基于U-Net的橋梁裂縫檢測[17]，基于FCN的大壩裂縫檢測[18]，基于DenseNet的隧道裂縫檢測[19]等，這些研究表明基于深度學習的裂縫檢測方法可以在復雜背景下仍然能取得很好的分割效果，較好地保留了裂縫的紋路信息，并具有更好的魯棒性。因此深度學習在裂縫檢測領域具有極大的應用前景，值得繼續(xù)深入研究。

在道路表面裂縫檢測的研究中，如基于Faster R-CNN 的道路裂縫識別[20]，BP(back propagation)改進算法的路面裂縫檢測[21]，此類方法側重于對于裂縫位置的標記或者分類，未實現(xiàn)對裂縫的分割提取以及定量衡量裂縫；此外基于張量投票法的裂縫分割[22]，此類研究實現(xiàn)了裂縫像素級的分割，可以實現(xiàn)對于裂縫像素尺寸的計算，但未轉化為實際的物理尺寸，缺乏現(xiàn)實意義。

針對現(xiàn)有的道路表面裂縫檢測研究存在的問題，現(xiàn)提出一種基于卷積神經網絡的像素級道路表面裂縫檢測方法。

1 圖像數(shù)據獲取

對于圖像數(shù)據的獲取，為了計算得到裂縫的實際物理尺寸，在采集拍攝裂縫圖像的樣本的同時，需要得到像素尺寸與實際物理尺寸的比例尺。采用放置綠色標志物在裂縫旁的方式，每一張樣本圖像，都會包含裂縫與標志物塊。綠色的正方形物塊方便于分割出標志物的二值化圖像，通過標志物實際面積與像素面積比就可以較為簡單的計算出比例尺。

共計拍攝得到36張原始裂縫圖像，圖像大小為1 280×1 711，并對其進行像素級的標注，對每一張原始裂縫圖像分成24張320×320大小的子塊，按照2∶1劃分為訓練數(shù)據集和測試數(shù)據集，樣本統(tǒng)計情況如表1所示。部分樣本示例如圖1所示。

表1 樣本數(shù)量統(tǒng)計

圖1 數(shù)據集樣例Fig.1 sample of dataset

2 系統(tǒng)結構

本文所提系統(tǒng)的結構可劃分為裂縫分割模塊與比例尺計算模塊，系統(tǒng)結構如圖2所示。

圖2 系統(tǒng)結構Fig.2 System structure

在裂縫分割模塊中，輸入圖像尺寸會影響卷積神經網絡中隱藏層的參數(shù)數(shù)量，圖像尺寸越大對顯存和內存需求也越大，為了降低系統(tǒng)對計算機設備硬件資源的消耗，以及對設備硬件性能的要求，將原始的大尺寸(1 280×1 711)裂縫圖像和本文標注圖像劃分為小尺寸(320×320)的子塊圖像作為數(shù)據集。采用卷積神經網絡模型對裂縫進行分割提取，各個子塊圖像經過卷積神經網絡模型得到子塊區(qū)域像素分割結果的概率值，對于子塊中存在的重疊區(qū)域，本文采用分割結果的概率平均的策略對子塊進行拼接合成，最終得到大尺寸圖像的裂縫分割結果。

在比例尺計算模塊中，對于綠色標志物采用(HSVCC Hue, Saturation, Value)顏色模型進行顏色特征的分割，HSV顏色型對顏色特征十分敏感，能快速且準確地分割出綠色標志物。通過計算標志物的像素數(shù)與標志物實際物理面積的比值即可得到像素比例尺。

2.1 裂縫圖像分割方法

基于深度學習的主要像素級圖像分割模型有FCN、U-Net、NestNet、U-Net++等，此類卷積神經網絡模型均由編碼網絡和解碼網絡組成，在編碼網絡中，卷積層用來提取輸入圖像的特征，池化層用來減小特征圖像大小，降低運算量并且提高網絡的魯棒性。在解碼網絡中，使用反卷積層將特征映射并且恢復到原始圖像的大小，并輸出預測結果。編碼網絡和解碼網絡的高度對稱性，既利用了稀疏的特征映射，又利用了密集的特征映射。

在本文所提系統(tǒng)中卷積神經網絡的分割精度很大程度決定了最終的測量精度，因此對于神經網絡模型的選擇與優(yōu)化對于整個系統(tǒng)尤為重要。選用公共數(shù)據集CRACK500對FCN、U-Net、NestNet和U-Net++卷積神經網絡進行訓練與測試，并且通過Precision、Recall、IoU、F1-score對網絡模型進行評估，將訓練好的模型使用本文標注的數(shù)據集再次進行訓練與測試，根據測試結果選擇較優(yōu)的模型，作為系統(tǒng)中的裂縫分割模型。

精確率(Precision)就是被準確分類為正類的樣本數(shù)與所有被分類為正類的樣本數(shù)之比，即

(1)

式(1)中：TP(true positive)表示將正樣本預測為正樣本；FP(false positive)表示將負樣本預測為正樣本；FN(false negative)表示將正樣本預測為負樣本。

F1分數(shù)(F1-score)同時考慮了精確率和召回率(Recall)，是精確率和召回率的調和平均數(shù)，表示精確率與召回率同樣重要。

(2)

(3)

交并比(intersection-over-union, IoU)是指實際類別樣本和預測類別樣本的交集和并集之比，即分類準確的正類樣本數(shù)和分類準確的正類樣本數(shù)與被錯分類為負類的正類樣本數(shù)以及被錯分類為正類的負類之和的比值。

(4)

使用VGG16作為這些網絡的backbone，F(xiàn)ocal Loss為loss函數(shù)得到結果如表2所示。

表2 公共數(shù)據集CRACK500測試結果

在此基礎上進行遷移學習，使用本文所標注的數(shù)據集對模型繼續(xù)進行訓練。使用測試集對訓練得到的網絡模型進行測試得到測試結果如表3所示。

表3 本文數(shù)據集測試結果

根據實驗結果可以發(fā)現(xiàn)，U-Net++在CRACK500公共數(shù)據集以及本文標注的數(shù)據集的實驗結果都相較于其他模型擁有更好的數(shù)據指標，表明U-Net++模型能克服數(shù)據集變化所引入的干擾，如光照、遮擋以及路面材料不同等干擾，反映了U-Nnet++相較于其他模型具有更好的魯棒性，故選用U-Net++作為圖像分割網絡，來提取裂縫圖像。裂縫分割效果如圖3所示。

圖3 裂縫圖像分割結果Fig.3 Crack image segmentation results

2.2 標志物圖像分割方法

通過標志物的顏色特征來對標志物進行提取，目前的顏色模型可分為面向硬件的與面向對象的顏色模型。其中面向硬件的顏色模型適合計算機對圖像數(shù)據的存儲和顯示系統(tǒng)的顯示，直觀且容易理解。面向對象的顏色模型，如HSV是根據顏色的直觀特性來創(chuàng)建的一種顏色模型，會從顏色的類別、顏色的深淺、明暗方面來獲取信息，所以在HSV顏色空間中，其對顏色的表述更加符合人類對一種顏色的認知與判定。因此本文采用HSV顏色模型對標志物進行分割。標志物分割效果如圖4所示。

圖4 標志物分割結果Fig.4 Marker segmentation result

2.3 分割結果優(yōu)化

分別得到裂縫與標志物的分割結果后，由于所采用的分割方法為像素級的分割，也就是對每個像素進行判定分割，分割錯誤的像素會形成孔洞或者背景雜波。如圖5(a)和圖6(a)所示，分割結果背景中存在一些散落的背景雜波，分割對象內部也存在一些孔洞。然而實際的裂縫和標志物在空間上具有連續(xù)的特征，這些背景雜波和孔洞是由于光照、遮擋等干擾因素所導致的錯誤分割，因此需要對分割后的圖像進行優(yōu)化處理，去除背景雜波和孔洞。

根據分割結果可以看出背景雜波與孔洞在空間上具有連續(xù)性差并且其像素面積較小等特征。依據這些特征采用基于計算機圖像處理技術的形態(tài)學處理方法中的開操作和閉操作[23]來進行優(yōu)化處理。采用5×5大小的窗，對分割后的圖像先進行開操作處理，消除細小、孤立的背景雜波，再進行閉操作處理填補分割對象內部孔洞。如圖5(b)和圖6(b)所示，采用形態(tài)學的處理方法后取得了較好的優(yōu)化效果。

圖5 裂縫圖像分割結果優(yōu)化Fig.5 Optimization of crack image segmentation results

圖6 標志物分割結果優(yōu)化Fig.6 Optimization of marker segmentation results

3 裂縫量化計算

3.1 量化方法

分別得到裂縫與標志物的二值圖像后，需要對裂縫進行定量的評估，采用計算裂縫的面積、長度和平均寬度的方式來定量評估裂縫。對于像素比例尺的計算，采用的標志物大小為296 mm×227 mm的綠色矩形卡紙，通過計算實際標志物面積與標志物二值圖像中的像素面積S的比值得到像素比例尺。計算公式為

(5)

分別統(tǒng)計裂縫像素數(shù)量與骨架像素數(shù)量，得到裂縫像素面積與裂縫像素長度，再與比例尺相乘就可以得到實際面積與長度，平均寬度為面積與裂縫長度的比值。

采用K3M[24]算法提取裂縫骨架，提取效果如圖7所示 。

圖7 骨架提取Fig.7 Skeleton extraction

3.2 結果

為了驗證本文測量方法的性能，在不考慮因人為標記數(shù)據集存在的誤差情況下，以人工標記的裂縫圖像尺寸為真實的物理尺寸。

本文所提系統(tǒng)在測試集的測試結果如表4所示，測試結果表明本文的裂縫檢測系統(tǒng)具有較高的精度，其中測試樣本面積測量平均精度達到0.93，長度測量平均精度0.92，平均寬度測量精度0.89。詳細樣本誤差占比情況如圖8所示。

表4 各項指標結果

圖8 誤差占比柱狀圖Fig.8 Error percentage histogram

4 結論

針對現(xiàn)有道路檢測中存在的精度低，未能定量衡量裂縫等問題，文中構建的基于深度學習的道路表面裂縫檢測系統(tǒng)，分別通過U-Net++卷積神經網絡模型與HSV顏色模型分割得到像素級的裂縫分割圖像與像素比例尺，使用裂縫面積、長度、平均寬度等指標對裂縫量化測量，并轉化為實際的物理尺寸。經實驗驗證本文所提方法對裂縫面積測量準確率達到93%，長度測量準確率達到92%，平均寬度測量準確率達到89%，擁有較高的測量精度，并且大幅提高了裂縫檢測效率。