基于語義分割的瀝青路面裂縫智能識別

楊燕澤，王萌，劉誠，徐慧通，張小月

(1.北京交通大學 土木建筑工程學院，北京 100044；2.中路高科交通檢測檢驗認證有限公司，北京 100088)

截至2021 年末，全國公路通車總里程達到528.07 萬 km，是1984 年末的5.7 倍，其中高速公路通車量達16.91 萬 km，總里程規模位居世界第一.瀝青公路憑借養護便捷、行車舒適的優點，在高速公路里程中占比超過 90%[1-2].隨著運營年限的增加，運營維護問題突顯，瀝青公路整體面臨長期、繁重的監測診斷與維護任務.傳統的路面檢查方式以人工為主，存在工作環境危險、檢測效率低、過于依賴人的主觀經驗等問題，難以保證結果的全面與精確[3].根據現行《JTG 5210-2018公路技術狀況評定標準》[4]以及《JTGT E61-2014 公路瀝青路面技術狀況自動化檢測規程》[5]，對公路技術狀況的檢測提出具體要求：檢測評價內容包括路面損壞.裂縫作為主要路面損壞特征，是路面技術狀況檢測的重點之一.不同于普通混凝土、水泥路面圖像，瀝青路面圖像的多紋理性、多噪點性、光強多變性，導致圖像中的裂縫信息微弱，增加了自動識別技術的挑戰性[6].交通運輸部頒布的《交通運輸科技“十三五”發展規劃》中明確闡述對高速公路的智能化管理，如何實現高速公路運維的自動化、智能化是當下的研究熱點[7-9].

深度學習方法是計算機在無人工干預的情況下自主學習對象的特征.卷積神經網絡（convolutional neural network，CNN）也被證明是計算機視覺領域中先進的技術，在應用上主要分為3 類[10]：圖像分類、目標檢測、語義分割.其中語義分割方法能夠根據圖像的紋理、場景和其他高層語義特征得出圖像本身需要表達的信息，因此在裂縫檢測中，語義分割能夠在像素級別分割出裂縫的本身形態，有利于裂縫參數的量化計算[11].

眾多學者基于語義分割地進行路面裂縫檢測研究，不斷提升裂縫檢測精度及效率.翁飄等[7]提出改進的全卷積神經網絡(fully convolutional networks, FCN)，并基于自建的路面數據集對改進前后的網絡分別進行測試，一定程度上提升了復雜環境下路面裂縫的檢測精度.李剛等[12]提出改進輕量級全局卷積網絡的路面裂縫圖像分割模型，在公開路面裂縫數據集上對比測試并驗證其精度.陳澤斌等[13]基于自建路面裂縫數據集，運用改進后的U-net 模型實現對路面裂縫圖像自動識別并驗證其識別精度.闕云等[14]為了解決現有路面裂縫圖像采集數量不足的問題，提出以改進型U-Net 網絡模型為基礎的路面裂縫語義分割算法.Zhang 等[15]基于提出 CrackNet-R 遞歸神經網絡(recurrent neural network, RNN)算法，并采用該算法對測試瀝青路面裂縫圖像進行識別.Xiang 等[16]提出新的路面裂縫檢測方法，是基于端到端（endto-end）、可訓練的深度卷積神經網絡，在公開數據集上進行訓練和測試，結果表明它可以準確識別裂紋特征.Yang 等[17]提出用于路面裂縫檢測的特征金字塔分層增強網絡，運用特征金字塔融合上下文信息，可以準確識別裂縫.

針對瀝青路面裂縫檢測的相關領域，仍存在以下問題：1）大多路面裂縫識別的研究并未區分具體路面場景，針對瀝青路面研究及應用少，普通路面主要分為水泥混凝土、瀝青路面，兩者圖像背景特征差別大，混合檢測會影響自動識別結果的精度；基于語義分割的裂縫檢測研究多分布在混凝土結構表面[18-21]，針對瀝青路面場景下的應用研究較少.2）缺乏公開瀝青路面裂縫數據集.訓練卷積神經網絡需要大量標簽樣本，分割數據集獲取難度高，雖然已有學者開展瀝青路面裂縫識別相關研究，但是公開數據集仍然較少，裂縫標簽樣本數據匱乏.3）缺乏針對瀝青路面裂縫智能識別及量化的整體解決方案.對于裂縫自動識別的研究通常是基于文章中的特定數據集、網絡結構開展，多數方法及模型尚未開源不便于實用，因此很難對不同研究進行復現，得到統一的性能評估.基于裂縫提取結果，滿足實際應用需求的裂縫參數自動量化研究開展較少.

基于以上問題，提出適用于瀝青路面裂縫、基于語義分割的智能識別及量化的整體解決方案.通過對開源的語義分割方法進行優化，得到兼顧效率及精度的瀝青路面裂縫自動識別模型，便于實際應用需求.為了滿足不同訓練需求，分別針對較大規模數據集及較小規模數據集提供優選方案及對應模型.基于北京六環高速公路瀝青路面，建立瀝青路面裂縫分割數據集 R-Crack，對提出的智能識別方案進行應用檢驗.通過對比分析人工、自動化檢測方式獲得的裂縫參數量化結果，為瀝青路面場景下的裂縫自動化檢測實踐提供參考依據.

1 基于深度學習的語義分割方法

Csurka 等[22]提出語義分割（image semantic segmentation，ISS），目標是圖像中的每個像素進行分類，并將其標記為不同的語義類別.與傳統的圖像分割相比，ISS 的特點是為圖像中的目標加上一定的語義信息[11].在瀝青路面檢測中，對裂縫目標進行像素級的分割，有利于裂縫參數（長度、寬度）的計算.常用語義分割算法的優勢及存在的問題總結如表1 所示.

表1 常用語義分割算法總結[11]Tab.1 Summary of common semantic segmentation algorithms

2 語義分割模型對比研究

對語義分割算法的統一性能評價僅在包含多類目標的公開數據集（例如PASCAL VOC2012[23]、COCO[24]、Cityscapes[25]）上開展過.在對裂縫自動識別的眾多研究中，模型的評估通常是基于特定的數據集、網絡結構等開展，并且多數方法及模型尚未開源，不便于實用，因此很難對不同研究進行復現，從而得到統一的性能評估.基于相同的實驗室條件，綜合考慮數據集規模、網絡結構、損失函數種類的影響，開展針對瀝青路面裂縫，基于開源語義分割方法的對比研究，得到一套兼顧效率與精度的瀝青路面裂縫自動識別模型的優選方案.

2.1 數據集信息

選用公開瀝青裂縫分割數據集 CRACK500 和GAPS384[17,26]，裂縫分別來自天普大學主校區瀝青路面和德國瀝青路面，數據集信息及示例如表2和圖1 所示.表2 中N為圖片數量，R為分辨率，Bit 為位深度.將原始圖像及標簽圖劃分成訓練集、驗證集和測試集.如表3 所示.由于2 個數據集裂縫圖像特點存在差異，為了保證測試的公平性，從2 個數據集中分別挑選約60 張共同作為試驗測試集.

圖1 訓練裂縫數據集的示例Fig.1 Example of training crack datasets

表2 訓練裂縫數據集的基本信息Tab.2 Basic information of training crack datasets

表3 語義分割比選試驗的數據集劃分情況Tab.3 Dataset partitioning of semantic segmentation comparison experiments

2.2 對比方案設計

選擇表1 所示的4 種語義分割算法U-Net、DeeplabV3、PSPNet、DeeplabV3+，同時綜合考慮數據集訓練規模、算法種類、訓練網絡種類及深度、訓練損失函數的影響，開展瀝青路面裂縫自動化檢測模型的對比研究如圖2 所示.

圖2 語義分割模型的對比方案Fig.2 Comparative schemes for semantic segmentation models

2.3 試驗參數設置

模型訓練的硬件設備是基于實驗室的Linux操作系統，采用的是PyTorch-1.9.1 深度學習框架、CUDA10.2 和python3.8 的運行環境，在NVIDIA Tesla V100-SXM2-16GB 上完成網絡的訓練與測試.優化算法選擇隨機梯度下降法[27]（stochastic gradient descent, SGD）來最小化目標函數D，批量大小（batch-size）設置為16，迭代訓練共400 次.在訓練過程中，學習率根據訓練情況動態調整，采用Poly 指數變換策略[28]，使得學習率不斷衰減.在本試驗中，初始學習率為0.001，控制曲線形狀的權重值W為0.9.

式中： lrnew為 新的學習率； lrbase為 基準學習率；epoch為迭代次數；Emax為最大迭代次數；W值為控制曲線的形狀（通常大于1）、人為設定的超參數.

1）模型訓練流程及各關鍵步驟的邏輯關系如圖3 所示.對輸入的數據集通過統一的預處理，增廣數據及特征信息.2）采用統一數據集格式完成對不同算法的訓練，訓練迭代完成后.3）得到的語義分割模型，并在測試集上檢驗訓練效果.

圖3 語義分割模型訓練的流程圖Fig.3 Flowchart of semantic segmentation model training

2.4 評估指標

為了衡量不同語義分割模型的作用及貢獻建立混淆矩陣，其中TP 為模型預測是裂縫且真實值也是裂縫的像素個數、FP 為模型預測是裂縫但是真實值不是裂縫的像素個數、FN 為模型未預測是裂縫但是真實值是裂縫的像素個數、TN 為模型未預測是裂縫且真實值的確不是裂縫的像素個數.基于TP、FP、FN、TN，采用模型評價指標包括交并比（intersection over union, IOU）、準確率Acc、召回率Re、F1 分數、精確率Pr[5]，其定義及計算公式如表4 所示.

表4 試驗評估指標的匯總Tab.4 Summary of evaluation indicators for experiment

3 試驗結果及分析

在訓練結束后，各數據集基本信息如表5 所示.表中加粗部分的模型為較小規模數據集.由于分割數據集構建成本大，缺乏足夠的數據量，而且不同研究所采用的數據集規模不一，需要考慮數據集規模對模型訓練的影響.將訓練數據集大于1 000 張的CRACK500[17]作為較大規模數據集，小于1 000 張的GAPS384[26]作為較小規模數據集，通過分別訓練及測試，考慮不同的訓練因素（網絡結構、損失函數），針對較大規模數據集及較小規模數據集分別提供優選方案及對應模型.

表5 訓練模型的基本參數Tab.5 Basic parameters of training model

3.1 訓練數據集規模及算法的影響

在不同數據集規模下，不同算法訓練得到的模型1～4 和9～12 的損失函數曲線及準確率曲線，如圖4 所示.隨著迭代次數增加，模型損失函數值均隨迭代次數不斷下降，沒有出現過擬合、欠擬合的情況，表明試驗超參數選擇合理.模型3、4、11、12 訓練過程穩定，特點在于準確率高，損失函數值低，特征學習能力強.PSPNet 和DeepLabV3+算法在模型學習中，調用金字塔模塊，兼顧裂縫目標物淺層和深層的特征融合，促進局部信息的上下文的獲取.

圖4 不同算法模型的準確率和損失曲線Fig.4 Accuracy and loss curves of different algorithm models

在訓練結束后，模型測試結果對比如表6 所示.模型1～4 的交并比、準確率、F1 分數遠大于模型9～12，說明較大規模的數據有助于模型的表征學習，從而提高裂縫的預測精度.模型1、9 測試交并比最低，分別為57.78%和69.59%，表明裂縫的預測結果圖與原標簽圖重合度最低，這是由于U-Net 在獲取圖像的上下文信息和保證定位準確性上是不兼得的，因此識別效果較差.模型3、4 及11、12 的準確率、F1 分數均較高且相差不大.在圖像的所有像素點中，準確率最高為86.76%，表明最高有86.76%的像素被正確預測.在保證精度的前提下，模型3、11 的FPS 值最大，分別為0.85、0.71 幀/s.PSPNet 算法得到的模型在檢測精度和效率上有較好的性能.

表6 不同算法模型的測試結果Tab.6 Test results of different algorithm models

在裂縫可視化結果中，將模型9、12 分割結果的誤識別（FN）、漏識別（FP）面積進行對比，如圖5 所示，在測試集上準確率最高的模型12 “FN+FP”總面積比準確率最低的模型9 小得多，表明DeepLabV3+漏識別、誤識別像素點更少，分割結果與人工標簽圖更吻合，分割效果更好.圖中中間部分FN 為被誤識別為背景的實際裂縫區域，上下部分FP 為被識別在裂縫范圍內實際沒有裂縫的區域.模型9～12 的裂縫分割結果可視化結果如圖6所示，通過對比，模型11、12 分割出的裂縫，邊緣輪廓更精確，連續性更好，表明DeepLabV3+和PSPNet 對瀝青路面裂縫的分割確實有更好的效果.

圖5 模型9、12 模型分割結果誤識別（FN）、漏識別（FP）面積對比Fig.5 Area comparison of false identification (FN) and missing identification (FP) of model segmentation results

圖6 模型9～12 裂縫分割結果可視化Fig.6 Model 9～12 visualization of crack segmentation results

通過批量對比模型9～12 在檢測集中其余所有的裂縫分割結果圖，得到分割結果中產生FP 區域（模型預測為裂縫但是真實值不是裂縫的像素個數）的2 個主要原因.1）裂縫周圍部分區域存在類似于裂縫的劃痕、樹枝陰影、標線等特征物被模型誤識別.2）模型對于裂縫目標邊緣的分割不夠精確，導致識別到的裂縫稍寬于實際裂縫，產生誤識別的裂縫像素.

3.2 不同損失函數的影響

選用交叉熵（cross-entropy loss）、骰子（dice loss）、Focal 損失函數（focal loss）[29-30]分別作為模型訓練的損失函數，對比訓練及測試結果.選用交叉熵（cross-entropy loss）、骰子（dice loss）、Focal 損失函數（focal loss）[29-30]分別作為模型訓練的損失函數，對比訓練及測試結果.交叉熵損失函數是一種主要用于度量2 個概率分布間的損失函數；骰子損失函數由Dice 系數衍生而來，是一種區域相關的損失函數；Focal 損失函數是一種通過對交叉熵損失增加權重，在一定程度上解決正負樣本分布不均衡問題的損失函數.

訓練結束后，損失函數、準確率曲線如圖7 所示，測試結果如表7 所示.在小數據集上，模型2、3 的訓練準確率更高，表明運用交叉熵損失函數模型訓練效果更好，檢測精度更高.在大數據集上，模型10、11、13、14 訓練效果相近，運用交叉熵損失函數和Focal 損失函數都獲得了較好的訓練及檢測效果.但模型7、8、15、16 訓練曲線整體波動幅度大，且準確率較低，表明不論在大數據集上還是小數據集上，使用骰子損失函數訓練的模型學習效果較差，訓練過程不穩定且學習不充分.從原理上看，由于交叉熵函數是對所有樣本的損失函數值求平均，而骰子損失函數在裂縫檢測的應用中（“背景”和“裂縫” 2 類像素），小目標“裂縫”作為正樣本，一旦有部分像素預測錯誤，便會導致骰子損失函數值發生大幅度的變動以及梯度的劇烈變化.由于模型沒有得到充分的學習，交并比與其他模型相比低3%～6%，識別結果與標簽圖重合度低.

圖7 不同損失函數模型的準確率曲線Fig.7 Accuracy curves of different loss function models

表7 不同損失函數模型測試結果Tab.7 Test results of different loss function models

3.3 不同網絡深度及種類的影響

裂縫檢測任務首要滿足的應是模型識別精度，選擇3.2 節中精度更高的交叉熵損失函數作為對不同網絡深度及種類影響研究中的不變量，由于較小規模數據集訓練所得的模型識別精度低，因此不再進一步開展不同網絡深度及種類的影響研究.ResNet[31]是深度學習領域十分常用的特征提取網絡，由何凱明團隊于2015 年提出.它主要通過構建殘差塊解決了堆疊式的傳統深層網絡帶來的模型識別準確度“退化”問題.在裂縫自動化檢測的實際應用中，大多數會使用移動或者嵌入式設備，因此對輕量級網絡的研究十分必要.Google 團隊在2018 年提出深度可分離卷積網絡MobileNet V2[32]，引入線性瓶頸 (linear bottleneck)和逆殘差 (inverted residual)來提高網絡的表征能力，在計算量與內存占用上遠小于標準卷積.

選用ResNet101、ResNet50、ResNet18 以及更輕量化的MobileNetV2[32-33]4 種網絡結構開展對比研究，訓練損失函數、準確率曲線如圖8 所示，模型測試結果如表8 所示.在相同的試驗條件下，運用不同種類和深度的網絡進行模型訓練，獲得不同的訓練效果.隨迭代次數增加，模型18、21 分別與模型10、17 和模型11、20 相比，訓練準確率低，損失函數值高，更深的特征提取網絡（ResNet50、ResNet101）能夠讓模型獲取更好的訓練效果.原因是網絡深度的增加能夠增加網絡的非線性映射次數，使得網絡能夠提取具有更好判決信息的特征，從而提升模型性能.簡單地增加網絡的深度并不會自動提高模型的精度，例如模型10、17 和模型11、20，分別采用50 層的ResNet 網絡和101 層ResNet 網絡，但準確率與損失函數值接近，訓練效果相差不大.因此在數據集數量小且條件有限的情況下，運用淺層網絡例如ResNet-50、ResNet18，也能達到較好的訓練效果.模型19、22 與其他模型相比，訓練速度最快，內存占用少.此外，在對測試集圖像的推理中，分別達到了3.50 和4.56 幀/s 速度，遠快于其他模型.表明采用輕量級的深度可分離卷積網絡MobileNetV2 訓練得到的模型，在損失一定精度的同時，訓練時間、檢測速度以及內存占用等方面均占有較大優勢，能夠滿足實時檢測的場景需求.

圖8 不同網絡結構的準確率和損失曲線Fig.8 Accuracy and loss curves of different network structures

表8 不同網絡結構模型的測試結果Tab.8 Test results of different network structure models

3.4 語義分割模型優選方案

基于對比結果，提出分別適用于較大規模數據集及較小規模數據集的優選智能識別方案及對應模型如圖9 所示，供高速公路等場景下瀝青路面裂縫的自動化檢測實踐提供參考.在沒有計算資源等條件的限制下，檢測精度最高的兩個優選方案模型分別是DeepLabV3+_R101_CROSS 和PSPNet_R101_CROSS.

4 基于語義分割模型的應用檢驗

基于北京六環高速公路檢測車數據，構建裂縫分割數據集R-Crack.對提出的智能識別解決方案在實際的瀝青路面裂縫上開展應用檢驗.并基于檢驗結果及實際檢測需求，完成裂縫參數的量化與對比分析.

4.1 瀝青路面裂縫智能識別應用整體方案

瀝青路面語義分割的裂縫自動化識別及量化整體解決方案如圖10 所示.利用裂縫數據集進行語義分割模型訓練，將所得模型應用于已有路面數據的檢測中，分析測試結果及裂縫參數的量化結果、精度及效率是否滿足實際工程需求.若是滿足，所得模型可以用于生產檢測；若是不滿足，則需要通過改進算法、數據集質量及規模等方式循環優化模型，直到滿足為止.

圖10 瀝青路面裂縫自動化識別及量化整體解決方案的流程圖Fig.10 Flowchart of integrated solution for automatic identification and quantification of asphalt pavement cracks

4.2 瀝青路面裂縫數據集構建

在語義分割模型的訓練過程中，模型的訓練質量與預測結果的準確率與所選數據集質量息息相關[23].公開的路面裂縫分割數據集如CRACK-500、GAPS 等[17,26]，圖像數量少，需要采用旋轉、鏡像等圖像處理操作來增廣數據集.由于不同地區拍攝條件、路面環境不同，同樣是瀝青路面，但裂縫特征存在明顯差異.因此本文針對現有公開數據集不足的問題，結合北京六環高速公路的實際數據，制作瀝青路面裂縫分割數據集R-Crack，數據集構建流程如圖11 所示，收集共有路面采集車原始圖像有4 479 張，通過540 p×640 p（長寬分配根據實際裂縫形態確定）的滑動窗口滑動篩選并裁剪出形態不一、且包含不同特征物的裂縫，得到共 468 張清晰的裂縫圖像.通過圖像標注軟件Labelme 制作人工標簽，人工判斷并選取較為準確的裂縫區域，對于裂縫的邊緣像素，本著“疑有從無”的原則進行添補，得到更為精確的裂縫標簽，保證檢測精度.將裂縫像素標記為255，背景像素標記為0，得到自制瀝青路面裂縫數據集R-Crack，數據集標注結果如圖12 所示.

圖11 瀝青路面裂縫分割數據集R-Crack 構建的流程圖Fig.11 Flowchart of asphalt pavement crack segmentation dataset R-Crack construction

圖12 “R-Crack”數據集標注示例Fig.12 Example of "R-Crack" dataset annotation

4.3 裂縫參數計算

基于實際應用需求，對識別結果進行參數量化的計算與分析，包括提取裂縫中軸骨架、裂縫長度、寬度的計算.

4.3.1 裂縫骨架提取 采用Zhang-Suen 迭代算法[34]得到裂縫中軸骨架如圖13 (a)所示，將連通區域細化成像素的寬度如圖13 (b)所示，有利于進行裂縫參數的具體量化.

圖13 裂縫骨架提取的示意圖Fig.13 Sketch map of crack skeleton extraction

4.3.2 裂縫長度計算 裂縫長度的計算參考文獻[35]中的像素統計法，對于局部曲率大、反復折疊的裂縫，利用骨架線的像素總和計算裂縫長度，要比利用骨架線上某幾個點之間的距離之和計算更為準確.

4.3.3 裂縫寬度計算 裂縫寬度的計算采用“最大內切圓”的計算方法.當輸入裂縫分割二值圖像后尋找裂縫邊緣，輸出圖像中按照真實的情況建立等級關系的所有輪廓.對輪廓內的區域像素化，進而得到裂縫輪廓內每一個像素點與邊緣的距離，采用二分法搜索這些距離中符合條件的點作為內切圓圓心，遍歷所有像素點中的最大值，其內切圓的直徑就是該條裂縫的最大寬度，通過遍歷圖片中的所有裂縫得到最大裂縫寬度，運用這種方法可以完成對簡單裂縫和復雜裂縫的寬度計算.其中應用二分法搜索內接圓半徑的方法如圖14，基本步驟是對每一個像素點.1) 確定小半徑SR（OA），其所形成的的圓在輪廓內（含切）；2) 確定大半徑BR（OB），其所形成的的圓在輪廓外；3) 不斷迭代BR 和SR，使得|BR-SR|≤a（a 為設定的精度值）；4) 停止迭代，得到輪廓內最大內切圓半徑.

圖14 最大內切圓裂縫寬度計算原理的示意圖Fig.14 Schematic diagram of calculation principle of maximum inscribed circle crack width

4.4 語義分割模型應用檢驗

基于圖9 中所得瀝青路面裂縫自動化檢測優選模型方案，在R-Crack 上進行測試，結果如表9所示.運用所提的優選模型對瀝青路面裂縫的識別可以達到83.45%的準確率，能夠相對準確地對實際路面裂縫進行像素級別的檢測，其中不同環境及形態的裂縫檢測結果結果如圖15 所示.

圖15 北京六環瀝青路面裂縫檢測結果Fig.15 Crack detection results of sixth ring road in Beijing

表9 優選模型的應用檢驗結果Tab.9 Application test results of optimized model

基于前述裂縫參數計算方法，自R-Crack 的應用檢測結果中隨機選取裂縫檢測結果作整體誤差分析如圖16 所示，m為圖像序號，Δ為與人工相比的絕對誤差像素值.結果表明，自動化檢測得到的裂縫參數與人工標簽圖相比，裂縫長度平均相對誤差為2.84%，寬度為2.39%，滿足實際檢測應用需求，表明提出的語義分割優選模型在實際瀝青路面檢測的應用實踐及量化上具有可行性.

圖16 裂縫參數自動化提取絕對誤差Fig.16 Extraction results of crack skeleton

5 結 語

綜合考慮數據集規模、算法種類、網絡種類及深度、損失函數類型的影響，針對較大規模、較小規模數據集分別提供模型訓練的優選方案，得到兼顧效率與精確度的語義分割模型，提出適用于瀝青路面裂縫、基于語義分割的智能識別及參數量化的整體解決方案.基于北京六環高速公路瀝青路面，構建裂縫分割數據集“R-Crack”，對提出的智能識別方案進行應用檢驗，并自動量化裂縫參數（裂縫長度、寬度）.通過對比分析人工及自動化檢測方式獲得的裂縫參數計算結果，說明利用本研究優選方案可以相對準確地完成實際瀝青路面裂縫檢測，驗證了提出的自動化方法在實際瀝青路面裂縫檢測工作中應用的可行性.