基于改進(jìn)YOLOv5模型的智能立體車(chē)庫(kù)結(jié)構(gòu)裂縫識(shí)別算法研究

趙怡豪?劉勇?岳仁峰?孔令鑫

摘要：針對(duì)立體車(chē)庫(kù)中明暗變化顯著、目標(biāo)尺寸差異大等現(xiàn)象導(dǎo)致的裂縫識(shí)別準(zhǔn)確度不高的問(wèn)題，提出了一種基于改進(jìn)YOLOv5網(wǎng)絡(luò)的識(shí)別算法模型。該模型通過(guò)優(yōu)化特征提取層和增加注意力機(jī)制，提高了對(duì)不同尺寸目標(biāo)的識(shí)別能力，通過(guò)改進(jìn)的特征融合層結(jié)構(gòu)和檢測(cè)層輸出框尺寸，提升了識(shí)別精度。在立體車(chē)庫(kù)結(jié)構(gòu)裂縫數(shù)據(jù)集上的試驗(yàn)驗(yàn)證表明，該網(wǎng)絡(luò)收斂速度快，在目標(biāo)識(shí)別率和圖像識(shí)別準(zhǔn)確率方面都有所提升，識(shí)別精度高達(dá)95.4%，實(shí)現(xiàn)了立體車(chē)庫(kù)結(jié)構(gòu)裂縫的精準(zhǔn)檢測(cè)和定位，為高速、高精度的結(jié)構(gòu)裂縫檢測(cè)提供了理論基礎(chǔ)，具有工程應(yīng)用價(jià)值。

關(guān)鍵詞：裂縫檢測(cè)；YOLOv5；深度學(xué)習(xí)；目標(biāo)識(shí)別

一、前言

裂縫作為結(jié)構(gòu)損傷的表觀呈現(xiàn)，既是耐久性不足的預(yù)警，也是結(jié)構(gòu)被破壞的先兆。在立體車(chē)庫(kù)中，結(jié)構(gòu)裂縫反映了立體車(chē)庫(kù)地基等支撐結(jié)構(gòu)的受力狀態(tài)、耐久性及安全性。在現(xiàn)場(chǎng)檢測(cè)時(shí)，裂縫的檢測(cè)需要人為判斷，存在很大的主觀因素，加之復(fù)雜惡劣的檢測(cè)環(huán)境，導(dǎo)致裂縫檢測(cè)存在效率低、測(cè)不準(zhǔn)、檢不全等缺點(diǎn)，無(wú)法滿足立體車(chē)庫(kù)裂縫檢測(cè)高精度的需求。因此，急需研究高效、高精度的結(jié)構(gòu)裂縫自動(dòng)化檢測(cè)技術(shù)。

近年來(lái)，隨著計(jì)算機(jī)技術(shù)的飛速發(fā)展，使得開(kāi)發(fā)性能令人滿意的網(wǎng)絡(luò)模型成為可能。根據(jù)應(yīng)用目的的不同，結(jié)構(gòu)裂縫自動(dòng)檢測(cè)技術(shù)大致可分為兩類(lèi)：一是圖像像素級(jí)裂縫檢測(cè)，在分析結(jié)構(gòu)表面紋理狀況的基礎(chǔ)上，分析裂縫分布等特征，為結(jié)構(gòu)健康狀況評(píng)估提供精確參數(shù)。二是塊級(jí)路面裂縫檢測(cè)，類(lèi)似于給定圖像中的目標(biāo)檢測(cè)，如Faster R-CNN[1]和YOLO系列[2]等方法，識(shí)別速度較快，能夠滿足實(shí)時(shí)檢測(cè)要求，得到廣泛的應(yīng)用。此外，通過(guò)深度學(xué)習(xí)實(shí)現(xiàn)結(jié)構(gòu)表面裂縫識(shí)別的方法，具有更好的遷移性和魯棒性，結(jié)果更加客觀、可靠，在減少了人工成本的同時(shí)，大大提高檢測(cè)效率，具有廣闊的應(yīng)用前景。

在現(xiàn)階段的研究中，徐國(guó)整等[3]提出HU-RseNet卷積神經(jīng)網(wǎng)絡(luò)模型識(shí)別混凝土表面裂縫。李良福[4]基于改進(jìn)PSPNet，實(shí)現(xiàn)像素級(jí)的裂縫區(qū)域識(shí)別。顧書(shū)豪等[5]設(shè)計(jì)了一種將注意力機(jī)制和語(yǔ)義增強(qiáng)相結(jié)合的特征模塊，有效地融合了語(yǔ)義信息和裂縫特征。可以發(fā)現(xiàn)，現(xiàn)有的深度學(xué)習(xí)檢測(cè)算法雖然解決了傳統(tǒng)算法識(shí)別精度低、漏檢率高的問(wèn)題，在識(shí)別精度上有所提升，但仍然存在對(duì)暗環(huán)境下，小目標(biāo)識(shí)別困難的問(wèn)題。

YOLOv5[6]采用了更輕量的網(wǎng)絡(luò)結(jié)構(gòu)，在靈活性上遠(yuǎn)強(qiáng)于YOLOv4，在模型的快速部署上具有極強(qiáng)優(yōu)勢(shì)。YOLOv5包括四個(gè)版本，分別為YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x，在結(jié)構(gòu)上復(fù)雜度依次提升，可以根據(jù)識(shí)別目標(biāo)的復(fù)雜度選擇不同版本。檢測(cè)目標(biāo)為裂縫，其目標(biāo)結(jié)構(gòu)簡(jiǎn)單，背景單一，因此選擇在網(wǎng)絡(luò)結(jié)構(gòu)相對(duì)簡(jiǎn)單的YOLOv5s進(jìn)行改進(jìn)。針對(duì)立體車(chē)庫(kù)結(jié)構(gòu)裂縫圖像中明暗變化明顯、目標(biāo)尺寸差異大等問(wèn)題，增加了YOLOv5網(wǎng)絡(luò)注意力機(jī)制，改變了特征融合層結(jié)構(gòu)，并利用訓(xùn)練好的模型，進(jìn)行了對(duì)比分析。結(jié)果表明此方法具有較高的魯棒性，對(duì)不同環(huán)境、不同形狀的裂縫均能較好識(shí)別，在確保高檢測(cè)精度的基礎(chǔ)上兼顧檢測(cè)速度。

二、基于改進(jìn)YOLOv5的多尺度檢測(cè)算法

立體車(chē)庫(kù)背景復(fù)雜，結(jié)構(gòu)性裂縫往往存在光暗變化明顯、裂縫尺寸差異大的問(wèn)題，原YOLOv5模型無(wú)法滿足該背景下的裂縫檢測(cè)需求，存在框取不全、重復(fù)識(shí)別、誤檢、漏檢等情況。針對(duì)原YOLOv5模型存在的不足，提出了改進(jìn)的YOLOv5網(wǎng)絡(luò)模型，通過(guò)引入注意力機(jī)制模塊，提高網(wǎng)絡(luò)的細(xì)節(jié)特征提取能力，減弱光暗變化對(duì)目標(biāo)檢測(cè)的影響。根據(jù)立體車(chē)庫(kù)結(jié)構(gòu)裂縫大小不一的特點(diǎn)，改進(jìn)了特征融合層結(jié)構(gòu)，增加了多尺度檢測(cè)層的檢測(cè)尺度，使模型能夠準(zhǔn)確地檢測(cè)不同大小的裂縫目標(biāo)，增加了算法的健壯性。網(wǎng)絡(luò)的主體結(jié)構(gòu)包含特征提取層、特征融合層、多尺度檢測(cè)層，如圖1所示。

（一）特征提取層

在兼顧網(wǎng)絡(luò)檢測(cè)速度的前提下，針對(duì)立體車(chē)庫(kù)環(huán)境復(fù)雜、采集的圖像清晰度低的問(wèn)題，改進(jìn)了YOLOv5網(wǎng)絡(luò)的特征提取層，在Bottleneck CSP模塊中引入了注意力機(jī)制，提出CBAM_ Bottleneck CSP模塊，通過(guò)對(duì)通道信息的充分利用，增強(qiáng)網(wǎng)絡(luò)的特征提取能力。CBAM_Bottleneck CSP由CBAM_ Bottleneck和CSP兩部分組成，其結(jié)構(gòu)如圖2所示。

CBAM_Bottleneck基于殘差結(jié)構(gòu)特征提取模塊，能夠充分利用特征映射的信息冗余特點(diǎn)，提高特征提取能力。CSP是一種基于殘差結(jié)構(gòu)的局部、全局特征融合模塊，可以增加卷積層特征提取的效率，減少計(jì)算量，提高模型的學(xué)習(xí)能力。

（二）特征融合層

特征融合層作為網(wǎng)絡(luò)的路徑聚合模塊，負(fù)責(zé)將特征提取層輸出的特征信息與上采樣的信息進(jìn)行融合。YOLOv5使用FPN（Feature Pyramid Networks）與PAN（Perceptual Adversarial Network）相結(jié)合增強(qiáng)網(wǎng)絡(luò)特征提取能力，自上而下進(jìn)行特征融合，在實(shí)現(xiàn)強(qiáng)語(yǔ)義特征傳遞的同時(shí)，準(zhǔn)確保留空間信息，并傳遞到預(yù)測(cè)層，實(shí)現(xiàn)強(qiáng)定位特征傳遞，對(duì)像素進(jìn)行適當(dāng)定位以形成掩模，提高小目標(biāo)檢測(cè)能力。

針對(duì)立體車(chē)庫(kù)裂縫目標(biāo)尺寸差異大的問(wèn)題，通過(guò)增加FPN特征金字塔結(jié)構(gòu)，在PAN中增加上采樣操作，提高特征信息的融合量，并增加160×160融合層，最終為檢測(cè)層輸出160×160、80×80、40×40和20×20四個(gè)尺度的特征圖。具體結(jié)構(gòu)如圖1中特征融合層所示。

（三）多尺度檢測(cè)層

采用多尺度檢測(cè)層對(duì)圖像特征進(jìn)行預(yù)測(cè)，將輸出的四個(gè)尺度特征圖，用于檢測(cè)不同尺寸的物體，生成預(yù)測(cè)框并預(yù)測(cè)類(lèi)別。網(wǎng)絡(luò)輸出4個(gè)預(yù)測(cè)框信息，包含預(yù)測(cè)框的位置信息和置信度，由于輸出的預(yù)測(cè)框存在較多的重復(fù)冗余，使用非極大值抑制NMS（Non-Maximum Suppression）算法[7]，保留置信度最高的預(yù)測(cè)框位置信息，精確完成目標(biāo)檢測(cè)。

三、實(shí)驗(yàn)與分析

（一）數(shù)據(jù)采集及預(yù)處理

數(shù)據(jù)源自某立體車(chē)庫(kù)路面裂縫，共1000張圖片，每張圖片至少有一處裂縫，背景復(fù)雜、明暗變化且噪聲較大。實(shí)驗(yàn)采用Mosaic數(shù)據(jù)增強(qiáng)方法對(duì)圖片進(jìn)行增強(qiáng)，確保不同的圖片都能得到充分的訓(xùn)練，使模型學(xué)習(xí)到更深層的特征信息，增強(qiáng)模型泛化能力。通過(guò)對(duì)圖像角度、對(duì)比度等屬性進(jìn)行不同程度的調(diào)整將數(shù)據(jù)擴(kuò)充到8000張，增加算法的魯棒性，提高檢測(cè)精度。采用labelimg工具對(duì)數(shù)據(jù)進(jìn)行框選標(biāo)注，最終整理出6400張標(biāo)注的圖片作為訓(xùn)練集、800張標(biāo)注的圖片作為驗(yàn)證集和800張標(biāo)注的圖片作為測(cè)試集。

（二）實(shí)驗(yàn)環(huán)境及參數(shù)設(shè)置

實(shí)驗(yàn)環(huán)境搭建的計(jì)算機(jī)配置為：Intel（R） Core（TM） i5-7400 CPU @ 3.00GHz、NVIDIA GeForce GTX1050顯卡、3 GB內(nèi)存，并配置使用 CUDA10.1版本和CUDNN7.6版本。深度學(xué)習(xí)框架平臺(tái)為Pytorch1.8.0版本。模型訓(xùn)練時(shí)的超參數(shù)為：初始學(xué)習(xí)率0.001、動(dòng)量0.98。模型輸入3通道的720×720像素圖像，受GPU顯存的限制batchsize設(shè)為6，優(yōu)化器采用隨機(jī)梯度下降法SGD，總共設(shè)置迭代1000個(gè)epoch。損失函數(shù)采用交叉熵?fù)p失函數(shù)，評(píng)價(jià)指標(biāo)為預(yù)測(cè)精度、召回率、mAP。

（三）實(shí)驗(yàn)結(jié)果及分析

在對(duì)模型進(jìn)行評(píng)估時(shí)，首先需選取適當(dāng)?shù)脑u(píng)價(jià)指標(biāo)。選取召回率Recall、平均精度均值mAP和精確率Precision作為模型算法的評(píng)價(jià)指標(biāo)，召回率能夠反映檢測(cè)器漏檢目標(biāo)的問(wèn)題，平均精度均值能夠反映識(shí)別網(wǎng)絡(luò)預(yù)測(cè)框精準(zhǔn)度的情況，精確率能夠反映出網(wǎng)絡(luò)模型檢測(cè)器誤檢的情況。改進(jìn)前后網(wǎng)絡(luò)各評(píng)價(jià)指標(biāo)的對(duì)比見(jiàn)表1，改進(jìn)后的網(wǎng)絡(luò)預(yù)測(cè)精度提高了8%，召回率提高了4%，mAP提高了1.87%。

在訓(xùn)練過(guò)程中記錄觀察模型的損失函數(shù)曲線如圖3所示。原模型損失函數(shù)曲線見(jiàn)圖3（a），損失函數(shù)波動(dòng)較大，下降緩慢，說(shuō)明原網(wǎng)絡(luò)對(duì)簡(jiǎn)單背景下小目標(biāo)的特征提取能力較弱。改進(jìn)后模型損失曲線見(jiàn)圖3（b），損失函數(shù)曲線下降較原模型更快，波動(dòng)較少，在訓(xùn)練到第500個(gè)epoch時(shí)損失值達(dá)到了0.01，預(yù)測(cè)邊框的平均精度均值mAP更高，收斂速度更快。

測(cè)試集中部分圖片的識(shí)別結(jié)果如圖4所示，其中方框?yàn)轭A(yù)測(cè)框，左上角的標(biāo)簽代表這張圖片識(shí)別的種類(lèi)和置信度。改進(jìn)后的模型對(duì)于橫向裂縫、縱向裂縫、斜向裂縫以及光暗變化明顯處的裂縫都比原網(wǎng)絡(luò)識(shí)別得更精準(zhǔn)，具有更好的魯棒性。

四、結(jié)論

針對(duì)立體車(chē)庫(kù)結(jié)構(gòu)裂縫檢測(cè)，提出了一種改進(jìn)的 YOLOv5 網(wǎng)絡(luò)模型，主要的改進(jìn)有利用CBAM_Bottleneck模塊改進(jìn)了骨干網(wǎng)絡(luò)，增強(qiáng)模型特征提取能力，以及針對(duì)裂縫大小差異大的問(wèn)題，改進(jìn)了特征融合層結(jié)構(gòu)，增加了多尺度檢測(cè)層的檢測(cè)尺度，選擇20×20、40×40、80×80、160×160尺度檢測(cè)層，增加了網(wǎng)絡(luò)對(duì)不同尺寸目標(biāo)框取的精度。實(shí)驗(yàn)結(jié)果表明，改進(jìn)后的YOLOv5模型在召回率、平均精度、檢測(cè)精確度上均得到了不同程度的提升。

參考文獻(xiàn)

[1]Shaoqing Ren， Kaiming He， Girshick Ross， et al. Faster R-CNN： Towards Real-Time Object Detection with Region Proposal Networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（6）： 1137-1149.

[2]Joseph Redmon， Ali Farhadi. YOLO9000： Better， Faster， Stronger[C]. 30TH IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION （CVPR 2017）， 2017： 6517-6525.

[3]徐國(guó)整，廖晨聰，陳錦劍，等.基于HU-Res Net的混凝土表觀裂縫信息提取[J].計(jì)算機(jī)工程，2020，46（11）：279-285.

[4]李良福，王楠，武彪，等.基于改進(jìn)PSPNet的橋梁裂縫圖像分割算法[J].激光與光電子學(xué)進(jìn)展，2021，58（22）：101-109.

[5]顧書(shū)豪，李小霞，王學(xué)淵，等.增強(qiáng)語(yǔ)義信息與多通道特征融合的裂縫檢測(cè)[J].計(jì)算機(jī)工程與應(yīng)用，2021，57（10）：204-210.

[6]Dihua Wu， Shuaichao Lv， Mei Jiang， et al. Using channel pruning-based YOLO v4 deep learning algorithm for the real-time and accurate detection of apple flowers in natural environments[J]. Computers & Electronics in Agriculture， 2020， 178： 105742.

[7]Han H， Gu J， Zheng Z， et al. Relation Networks for Object Detection[C]. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition， IEEE， 2018： 3588-3597.

基金項(xiàng)目：濟(jì)南市科技計(jì)劃（后補(bǔ)助）項(xiàng)目社會(huì)民生專項(xiàng)（項(xiàng)目編號(hào)：202131009）

責(zé)任編輯：張津平、尚丹