基于注意力機制的YOLOv5路面裂縫檢測與識別

周雙喜 楊丹 潘 遠 丁建新 丁楊

摘要：【目的】針對傳統路面裂縫檢測實時性差、準確率低的問題。【方法】利用深度學習網絡在目標檢測方面的優勢，提出一種改進的YOLOv5算法，稱為YOLOv5s-attention，以實現路面裂縫自動化檢測與識別。首先，對采集到的裂縫圖片用LabelImg標注軟件進行手工標記，然后通過改進YOLOv5網絡訓練得到網絡模型參數。最后，利用所建立的模型對裂縫進行驗證和預測。除此之外，采用綜合評價指標（F1-measure，F1）和平均精度均值（mean average precision，mAP）這兩個指標來比較原YOLOv5s、YOLOv5s-attention模型在路面裂縫上檢測與識別的性能。【結果】經YOLOv5s與YOLOv5s-attention比較發現，YOLOv5s-attention檢測準確率（Precision）提高1.0%，F1提高0.9%，mAP提高了1.8%。【結論】由此可知，該網絡在實現道路裂縫自動化識別上具有一定的現實意義。

關鍵詞：道路養護；路面裂縫；目標檢測；YOLO；注意力機制；圖像處理

中圖分類號：TU528；U416 文獻標志碼：A

文章編號：1005-0523（2024）02-0056-08

Detection and Recognition of YOLOv5 Pavement Cracks Based

on Attention Mechanism

Zhou Shuangxi1，2， Yang Dan2， Pan Yuan2， Li Jianxing1， Ding Yang3

（1. School of Civil Engineering and Management， Guangzhou Maritime University， Guangzhou 510765， China; 2. School of Civil

Engineering and Architecture， East China Jiaotong University， Nanchang 330013， China; 3. School of Civil Engineering，

Hangzhou City University， Hangzhou 310015， China）

Abstract： 【Objective】Aiming at the problem of poor real-time performance and low precision of traditional pavement crack detection. 【Method】This paper uses the advantages of deep learning network in target detection，and proposes an improved YOLOv5 algorithm， which is called YOLOv5s-attention in this paper， to realize the automatic detection and recognition of pavement cracks. Firstly， the collected crack images are manually labeled with LabelImg annotation software， and then the network model parameters were obtained by improving the YOLOv5 network training. Finally， the model is used to verify and predict the cracks. In addition， F1 and mAP are used to compare the performance of the original YOLOv5s and YOLOv5s-attention models in detecting and identifying pavement cracks. 【Result】The comparison between YOLOv5s and YOLOv5s-attention showed that the precision of YOLOv5s attention increased by 1.0%， F1 increased by 0.9%， and mAP increased by 1.8%. 【Conclusion】 It can be seen that the network has certain practical significance in realizing the automatic recognition of road cracks.

Key words： maintenance; pavement cracks; object detection; YOLO; attention mechanism; image processing

Citation format： ZHOU S X， YANG D， PAN Y， et al. Detection and recognition of YOLOv5 pavement cracks based on attention mechanism[J]. Journal of East China Jiaotong University， 2024， 41（2）： 56-63.

【研究意義】隨著計算機技術的迅速發展，機器學習（machine learning，ML）已經成為當今的熱門，許多領域都與其相結合研究，特別是最近幾年也多應用于道路裂縫檢測上，產生了許多基于機器視覺自動化檢測算法。根據最近流行的機器學習技術，基于深度學習結合神經網絡，本研究提出基于注意力機制的YOLOv5路面裂縫檢測與識別算法，該研究具有提高道路維護效率、降低交通事故風險、推動智慧交通發展，并促進深度學習算法的發展等重要的研究意義。

【研究進展】基于深度學習的目標檢測分為兩大類，第一類是單階段目標檢測，不使用區域候選框進行篩選，而是直接通過主干提取網絡提取出目標物體的類別和位置信息，代表的網絡有你僅看一次（you only look once，YOLO）系列和單步多框目標檢測（single shot multibox detector，SSD）等；第二類是兩階段目標檢測，第一步是通過卷積神經網絡提取物體區域候選框，第二步是對區域候選框進行卷積神經網絡（convolutional neural network，CNN）分類識別，代表網絡有RCNN系列和SPPNet等[1-3]。

Faster-RCNN目前是應用在路面裂縫中最多的一個兩階段目標檢測法，徐康等[4]對瀝青路面因復雜背景難以檢測提出了用VGG16、Mobile Net-V2和ResNet50替換主干特征提取網絡，并在添加進的ResNet50中引入了注意力機制，實驗表明，改進后的Faster-RCNN裂縫檢測精準度達到85.64%，且能識別出瀝青路面的細微裂縫。Hao等[5]以機場跑道裂縫為研究背景，采用Faster-RCNN網絡檢跑道的裂縫，并進入MobileNet2替換Faster-RCNN網絡的主干網絡，以及在里面加入注意力機制，實驗表明，改進后的Faster-RCNN網絡準確率提高了6.4%。此類算法精度雖然達到80%以上，但訓練速度小于單步目標檢測算法[6]。

YOLO系列是最流行的單級檢測方法之一，在一階檢測模型中實現了快速檢測速度和高檢測精度之間的良好平衡，并且已經廣泛應用到農業、地質、遙感和醫學等領域。此外，它還廣泛應用于交通運輸，如交通標志、車流、路面坑洼、視覺裂縫等檢測[7-10]。

【創新特色】本文研究基于深度學習建立卷積網絡來實現路面裂縫自動化檢測與識別。【關鍵問題】為了解決提高裂縫檢測速度的問題，本文選擇YOLOv5s算法應用到路面裂縫檢測與識別上。

1 初始準備工作

1.1 數據集處理

本次研究目的是能利用最新的目標檢測算法來自動識別道路裂縫，因此需要采集比較多的裂縫。本文的裂縫圖片取自公開文獻中提供的裂縫數據[11-12]，制作成一個新的數據集，新的數據集收集了3 022個樣本，將自建的數據集以7∶2∶1的比例隨機分為訓練集、驗證集和測試集，得訓練集2 115張、測試集605張、驗證集302張。像素密度分別為300 dpi和96 dpi，數據集中圖片的尺寸不一，但由于YOLO網絡中輸入照片尺寸一般設置為32的倍數。因此，在搭建網絡時通過程序將裂縫圖片尺寸自動修改成640×640像素。在輸入裂縫圖片之前，我們將數據集中所有的照片用標注軟件LabelImg進行標注，類別為HCrack（橫向裂縫）、30°Crack、45°Crack、LCrack（縱向裂縫）、HoneyCrack（龜裂裂縫），標注類型保存為txt格式。標注步驟為先建立數據集存放的文件夾，一共在文件夾datasets下建立兩個子文件夾，分別為images、labels，且images和labels文件夾中又包括train、test、val三個文件夾。其中images用于存放需要使用的裂縫圖片，labels中存放對應的標注文件和索引文件classes。然后在Pytorch-GPU環境下打開LabelImg標注軟件，對裂縫照片畫矩形框進行標注。

1.2 設備與軟件準備

用于搭建基于YOLOv5算法的深度學習道路裂縫自定識別模型的硬件CPU為英特爾Intel（R） Xeon（R） Platinum 8260，內存為128 G，顯卡（GPU）為NVIDIA GeForce RTX 2080 Ti，內存為75 G。

2 YOLOv5算法介紹

2.1 目標檢測算法

目標檢測模型主要分為兩大類：

1） 第一類是One-stage，是直接基于anchors進行分類和同時調整邊界框。主要的網絡有SSD、YOLO系列。

2） 第二類是Two-stage，首先通過專門的模塊生成區域候選框（region proposal network，RPN），尋找前景（Foreground）以及調整基于anchors的邊界框，然后基于之前生成的區域候選框RPN進一步分類以及調整基于Proposals的邊界框。這一類主要的網絡有Faster-RCNN。

這兩類網絡都有自己各自的優點，One-stage檢測速度快，Two-stage檢測更準確。本文是研究關于道路裂縫的自動識別，在前人研究了許多神經網絡模型的情況下，對于道路識別精度已經達到比較好的一個精度了，因此這次為了使得檢測速度更加快一點，選擇將YOLO算法與道路裂縫結合在一起進行研究。

2.2 YOLOv5網絡算法

YOLOv5算法有4個組成部分，分別是：輸入（Input），主干特征提取網絡（Backbone），特征金字塔網絡（feature pyramid networks，FPN）和檢測頭（YOLOHead）。

YOLOHead是YOLOv5的分類器與回歸器。詳細信息如圖1所示。

與廣泛應用的YOLOv3相比，YOLOv5在以下幾個部位進行了改進：

1） 數據增強，其中包括Mosaic數據增強和Mosaic利用了4張圖片進行拼接實現數據增強。它最大的優點是可以豐富檢測物體的背景，且當進行標準歸一化BN計算的時候可以直接計算出四張圖片的數據。

2） 多正樣本匹配。在之前的YOLO系列里面，在訓練時每一個真實框對應一個正樣本，即在訓練時，每一個真實框僅由一個先驗框負責預測。YOLOv5中為了加快模型的訓練效率，增加了正樣本的數量，在訓練時，每一個真實框可以由多個先驗框負責預測。

[7]? ?GUO G， ZHANG Z. Road damage detection algorithm for improved YOLOv5[J]. Scientific Reports， 2022， 12（1）： 1-12.

[8]? ?周清松， 董紹江， 羅家元， 等. 改進YOLOv3的橋梁表觀病害檢測識別[J]. 重慶大學學報， 2022， 45（6）： 121-130.

ZHOU Q S， DONG S J， LUO J Y， et al. Bridge apparent disease detection based on improved YOLOv3[J]. Journal of Chongqing University， 2022， 45 （6）： 121-130.

[9]? ?ZHANG J， QIAN S， TAN C. Automated bridge crack detection method based on lightweight vision models[J]. Complex & Intelligent Systems， 2023， 9（2）： 1639-1652.

[10] HU G X， HU B L， YANG Z， et al. Pavement crack detection method based on deep learning models[J]. Wireless Communications and Mobile Computing， 2021， 220： 1-13.

[11] LIU Y H， YAO J， LU X H， et al. Deep crack：A deep hierarchical feature learning architecture for crack segmentation[J]. Neurocomputing， 2019， 338（21）： 139-153.

[12] YU G， ZHOU X. An improved YOLOv5 crack detection method combined with a bottleneck transformer[J]. Mathematics， 2023， 11（10）： 2377.

[12] LI L F， MA W F， LI L， et al. Research on detection algorithm for bridge cracks based on deep learning[J]. ACTA Automatica Sinica， 2019， 45（9）： 1727-1742.

第一作者：周雙喜（1973—），男，教授，博士，博士生導師，南昌市521學術技術帶頭人，研究方向為混凝土材料與檢測技術。E-mail：green.55@163.com。

通信作者：楊丹（1997—），女，碩士研究生，研究方向為混凝土材料與檢測技術。E-mail：gryangdan@163.com。