基于深度學(xué)習(xí)的城市道路瀝青路面病害智能檢測仿真實驗

楊盼盼，郭楊成

摘要：為提高城市道路瀝青路面病害檢測精度，提出一種基于深度學(xué)習(xí)的智能檢測方法。方法以Faster R-CNN網(wǎng)絡(luò)為基礎(chǔ)檢測模型，通過對采用擬合值填充方式優(yōu)化Faster R-CNN網(wǎng)絡(luò)卷積層，提升網(wǎng)絡(luò)對目標檢測的準確性，實現(xiàn)了Faster R-CNN網(wǎng)絡(luò)的改進；然后利用改進后的Faster R-CNN網(wǎng)絡(luò)對城市道路瀝青路面病害進行檢測，實現(xiàn)了瀝青路面病害的智能檢測。仿真結(jié)果表明，所提的改進Faster R-CNN網(wǎng)絡(luò)可有效檢測城市道路瀝青路面坑槽、裂縫病害，且具有較高的檢測精度，平均精確度的均值達到為90.26%。相較于標準Faster R-CNN網(wǎng)絡(luò)和ResNet、U-Net目標檢測算法，在平均精確度的均值和單張圖像的檢測速度指標上具有明顯優(yōu)勢，可用于實際城市道路瀝青路面病害檢測。

關(guān)鍵詞：路面病害檢測；深度學(xué)習(xí)；Faster R-CNN網(wǎng)絡(luò)；擬合值填充

中圖分類號：TP391

文獻標志碼：A文章編號：1001-5922（2023）11-0174-05

An intelligent detection and simulation experiment for urban road?asphalt pavement diseases based on deep learning

YANG Panpan1，GUO Yangcheng2

（1.Nanjing Tech University Pujiang Institute，School of Civil and Architectural Engineering，Nanjing 210000，China；2.China Design Group，Nanjing 210000，China）

Abstract：To improve the accuracy of urban road asphalt pavement disease detection，an intelligent detection method based on deep learning was proposed.The method was based on the Faster R-CNN network as the detection model.By optimizing the convolutional layer of the Faster R-CNN network using fitting value filling，the accuracy of target detection was improved，and the improvement of the Faster R-CNN network was achieved.Then，the improved Faster R-CNN network was used to detect asphalt pavement diseases on urban roads，achieving intelligent detection of asphalt pavement diseases.The simulation results showed that the proposed improved Faster R-CNN network could effectively detect potholes and cracks on asphalt pavement of urban roads，and has high detection accuracy，with an average accuracy of 90.26%.Compared to the standard Faster R-CNN network，ResNet，and U-Net object detection algorithms，it has significant advantages in average accuracy and detection speed indicators for single images，and can be used for actual urban road asphalt pavement disease detection.

Key words：road surface disease detection;deep learning;faster R-CNN network;fit value filling

城市道路是城市發(fā)展的主要動力，對生產(chǎn)要素的流動和城鎮(zhèn)體系的發(fā)展發(fā)揮著至關(guān)重要的作用。隨著經(jīng)濟的不斷發(fā)展，城市道路網(wǎng)逐漸密集，為人民生活提供了極大的便利。但由于交通壓力的增大，城市道路瀝青路面面臨著不同程度的病害，可能威脅到人們的出行安全。因此，有必要對城市道路瀝青路面病害進行檢測，并根據(jù)檢測結(jié)果對存在的病害開展維修和保養(yǎng)工作。城市道路病害檢測中最原始的檢測方法是人工檢測，該方法存在效率低、成本高、易造成交通擁堵等問題，且難以準確評估路面狀況。近年來，隨著人工智能的發(fā)展，基于深度學(xué)習(xí)的目標檢測算法廣泛應(yīng)用于各個領(lǐng)域，并取得了優(yōu)異的成績。如提出一種基于深度學(xué)習(xí)的光學(xué)遙感影響在軌目標檢測方法，通過在YOLOv3特征提取網(wǎng)絡(luò)中引入深度可分離卷積壓縮模型參數(shù)和推理計算量，有效提升了算法對目標檢測的精度和速度，實現(xiàn)了飛機、艦船、車輛等典型目標的檢測，檢測精度達到90%；通過對RFBNet網(wǎng)絡(luò)進行結(jié)構(gòu)化剪枝，提出一種輕量化目標檢測算法，在保證網(wǎng)絡(luò)檢測精度的同時有效地減小了網(wǎng)絡(luò)模型的尺寸，提高了RFBNet網(wǎng)絡(luò)目標檢測精度；設(shè)計并實現(xiàn)了YOLOV3&MobileNetV3輕量化網(wǎng)絡(luò)，提出一種基于深度學(xué)習(xí)的遙感圖像艦船目標檢測算法，可實現(xiàn)快速有效的船艦?zāi)繕藱z測。通過上述研究可以發(fā)現(xiàn)，基于深度學(xué)習(xí)的目標檢測算法實現(xiàn)了目標的智能檢測，這為城市道路瀝青路面智能檢測提供了參考。本研究基于深度學(xué)習(xí)中典型的目標檢測網(wǎng)絡(luò)Faster R-CNN，通過對采用擬合值填充方式優(yōu)化Faster R-CNN網(wǎng)絡(luò)卷積層，提升其對目標檢測的準確性，提出一種基于改進Faster R-CNN的城市道路瀝青路面病害智能檢測方法。

1基本算法

1.1Faster R-CNN網(wǎng)絡(luò)簡介

Faster R-CNN網(wǎng)絡(luò)是一種典型的目標檢測神經(jīng)網(wǎng)絡(luò)，其基本結(jié)構(gòu)如圖1所示，主要分為CNN特征提取層、RPN生成候選區(qū)域?qū)印OI池化層、分類回歸層4個階段。特征提取層負責(zé)對輸入網(wǎng)絡(luò)的圖像進行特征提取，并輸出其特征；RPN生成候選區(qū)域?qū)迂撠?zé)初步劃分感興趣區(qū)域，產(chǎn)生建議窗口；ROI池化層負責(zé)對不同輸入圖像進行轉(zhuǎn)換并輸出固定大小的ROI Pooling；分類回歸層負責(zé)精確定位每個圖像中的候選特征，并輸出特征類別同時加以定位。

Faster R-CNN網(wǎng)絡(luò)中，卷積層獲取的特征圖像尺寸會隨著卷積進行逐漸減小。當(dāng)網(wǎng)絡(luò)層數(shù)較深時，特征圖像尺寸越來越小，導(dǎo)致輸出的圖像與原始圖像大小不一致，進而影響最終分類檢測結(jié)果，降低檢測結(jié)果的準確性。因此，為解決該問題，提高城市道路瀝青路面病害檢測精度，研究對Faster R-CNN網(wǎng)絡(luò)進行了改進，并利用改進的Faster R-CNN網(wǎng)絡(luò)檢測城市道路瀝青路面病害。

1.2Faster R-CNN網(wǎng)絡(luò)改進

標準Faster R-CNN網(wǎng)絡(luò)卷積層中是直接對輸入圖像進行卷積操作，未使用任何填充導(dǎo)致了輸出圖像大小與原始圖像大小不一致。因此，本研究嘗試通過對卷積層進行填充，以優(yōu)化Faster R-CNN網(wǎng)絡(luò)。目前，卷積層中的填充方式主要包括補零填充卷積、真實值填充卷積和擬合值填充卷積3種方式。

補零填充卷積即在圖像四周進行補零操作，以使通過卷積后的圖像與原始圖像大小一致；真實值填充即利用原始圖像信息對圖像四周進行填充，使輸出圖像與原始圖像大小一致；擬合值填充即使用線性擬合方法，通過擬合計算填充圖像的像素值，對圖像進行填充。其中，補零填充方式由于該方法輸出四周信息與中心信息差異較大，不利于后續(xù)城市道路瀝青路面病害檢測精度的提升，通常不采用該方式進行卷積層填充；真實值填充雖然可獲取最理想的結(jié)果，但由于實際操作中通常難以獲取圖像周邊的真實值，通常不采用該方式進行卷積層填充。因此，本研究選用擬合值填充方式對Faster R-CNN網(wǎng)絡(luò)卷積層進行優(yōu)化。

基于擬合值填充的Faster R-CNN網(wǎng)絡(luò)卷積層卷積方式的具體操作是，假設(shè)計算填充圖像上方一行的某個點x，其所在列的前5個像素值分別為y1、y2、y3、y4、y5，然后基于這5個像素值進行曲線擬合，并計算第6個點的值，最后根據(jù)擬合結(jié)果進行填充，即實現(xiàn)了卷積層填充方式優(yōu)化。

y=a0+a1x+a2x2（1）

Ax=b→（2）

ATAx=ATb→（3）

2基于深度學(xué)習(xí)的城市道路瀝青路面病害智能檢測

根據(jù)上述改進的Faster R-CNN網(wǎng)絡(luò)，研究將城市道路瀝青路面病害智能檢測流程設(shè)計。

（1）圖像采集與預(yù)處理。利用相機采集城市道路瀝青路面圖像，并進行灰度化處理、去噪處理和數(shù)據(jù)增強處理；

（2）數(shù)據(jù)集劃分。按一定比例將預(yù)處理后的圖像劃分為訓(xùn)練集、測試集、驗證集；

（3）改進Faster R-CNN網(wǎng)絡(luò)模型構(gòu)建。基于Pytorch深度學(xué)習(xí)框架搭建并訓(xùn)練改進Faster R-CNN模型。首先，訓(xùn)練RPN網(wǎng)絡(luò)生成Region Proposed，然后訓(xùn)練Faster R-CNN網(wǎng)絡(luò)生成模型，再使用模型對Region Proposed進行調(diào)優(yōu)，并再次優(yōu)化Region Proposed，得到改進Faster R-CNN網(wǎng)絡(luò)模型；

（4）圖像分類識別。將待分類識別圖像輸入訓(xùn)練好的改進Faster R-CNN網(wǎng)絡(luò)模型中，判斷是否存在路面病害，若存在，則輸出病害種類。

3仿真實驗

3.1實驗環(huán)境

本次實驗基于Pytorch深度學(xué)習(xí)框架進行開發(fā)，在Windows10系統(tǒng)上運行，利用Python語言進行編程。系統(tǒng)配置Intel i9-7980xe處理器，NVIDIA GeForce RTX 2080Ti顯卡，RAM 32 GB。

3.2數(shù)據(jù)來源與預(yù)處理

本次實驗數(shù)據(jù)來自利用線陣相機自主采集的城市道路瀝青路面圖像，包括坑槽、裂縫2類病害各520、480張。采集相機參數(shù)：幀率330 fps、拍攝寬度1 000 mm、最高采集頻率18.5 kHz，濾光特性808 nm帶通，光源特性808 nm±3 nm，分辨率0.5 nm。

為盡可能簡化圖像數(shù)據(jù)，增強重要特征檢測，研究采用最大值法對圖像進行了灰度化處理。同時，考慮到所采集到的瀝青路面圖像存在噪聲。為消除噪聲，提高檢測精度，實驗前研究采用均值濾波對圖像進行了處理。均值濾波通過選擇濾波范圍內(nèi)像素灰度平均值作為區(qū)域中心像素灰度，可明顯抑制高斯噪聲，避免圖像模糊。因此，本研究選用均值濾波對所采集的圖像進行去噪處理。均值濾波器數(shù)學(xué)表達式：

f（x，y）=19∑x+1i=x-1∑y+1j=y-1f（i，j）（4）

式中：f（x，y）表示對應(yīng)位置像素值。

此外，考慮到圖像采集過程中光線變化引起的不同瀝青路面圖像和不同區(qū)域的灰度差異明顯，可能影響后續(xù)圖像檢測。因此，研究采用直方圖均衡化對圖像進行了處理，其處理方法如式（2）：

sk=（L-1）×∑kj=0p（rk），k=0，1，…，L-1 （5）

式中：sk表示變換后像素灰度值；rk表示灰度值。

最后，考慮到所采集的瀝青路面圖像用于神經(jīng)網(wǎng)絡(luò)訓(xùn)練和識別整體偏少，研究對通過濾波處理和直方圖均衡化處理的圖像進行旋轉(zhuǎn)、縮放等操作，以擴充數(shù)據(jù)樣本量。最終得到坑槽圖像1 024張、裂縫圖像960張，并按3∶1∶1比例劃分為訓(xùn)練集、驗證集、測試集。

3.3評價指標

為檢驗所提改進Faster R-CNN網(wǎng)絡(luò)對城市道路瀝青路面病害智能檢測的性能，研究選用平均精確度的平均值（MAP）和檢測速度作為評價指標對所提算法性能進行評估。其中，平均精確度的平均值計算方法如式（3）：

MAP=AP1+AP2+…+APii（6）

式中：APi表示數(shù)據(jù)集中類別的平均精確度。其計算方法：

AP=∫10p（r）dr （7）

式中：p表示準確率；r表示召回率，計算方法：

p=TPTP+FP（8）

r=TPTP+FN（9）

式中：m為成功分類的正樣本，n、w分別表示錯誤分類的正樣本和負樣本。

3.4參數(shù)設(shè)置

本次實驗參數(shù)通過config.py文件進行配置，通過不斷更新模型權(quán)重參數(shù)獲取最佳分類模型。為尋找最佳初始學(xué)習(xí)率，設(shè)置不同初始學(xué)習(xí)率對Faster R-CNN網(wǎng)絡(luò)進行訓(xùn)練，具體結(jié)果如表1所示。

由表1可知，當(dāng)初始學(xué)習(xí)率為0.001時，F(xiàn)aster R-CNN網(wǎng)絡(luò)的平均精確度均值最高，為85.36%。因此，本次實驗設(shè)置Faster R-CNN網(wǎng)絡(luò)的初始學(xué)習(xí)率為0.001。

3.5結(jié)果與分析

3.5.1算法驗證

（1）算法改進驗證：

為驗證所提改進Faster R-CNN網(wǎng)絡(luò)采用擬合值填充方式的有效性，研究分析了使用擬合值填充、補零填充、不使用任何填充時，一個3層Faster R-CNN網(wǎng)絡(luò)訓(xùn)練過程中的準確率對比，結(jié)果如圖2所示。

由圖2可知，相較于使用補零填充方式和未使用任何填充的Faster R-CNN網(wǎng)絡(luò)，使用擬合值填充方式的Faster R-CNN網(wǎng)絡(luò)準確率更高。由此說明，所提改進Faster R-CNN網(wǎng)絡(luò)通過使用擬合值填充有效提升了Faster R-CNN網(wǎng)絡(luò)訓(xùn)練準確率，且具有一定的優(yōu)勢，改進有效。

為驗證所提改進Faster R-CNN網(wǎng)絡(luò)的有效性，實驗對比了改進前后網(wǎng)絡(luò)的檢測性能，結(jié)果如圖3所示。

由圖3可知，相較于改進前Faster R-CNN網(wǎng)絡(luò)，改進后的Faster R-CNN網(wǎng)絡(luò)通過對卷積層填充方式進行優(yōu)化，有效提升了Faster R-CNN網(wǎng)絡(luò)對瀝青路面病害智能檢測的平均精確度的平均值，但由于改進的Faster R-CNN網(wǎng)絡(luò)額外增加了卷積運算量，降低了網(wǎng)絡(luò)對單張瀝青路面病害圖像的檢測速度，因此相較于改進前，改進后網(wǎng)絡(luò)的檢測速度減慢。不過從整體來看，改進前后網(wǎng)絡(luò)的檢測速度較為接近。由此說明，所提的改進Faster R-CNN網(wǎng)絡(luò)具有更優(yōu)異的檢測性能，改進有效。

（2）算法性能驗證：

為驗證所提改進Faster R-CNN網(wǎng)絡(luò)對城市道路瀝青路面病害智能檢測的性能，采用所提改進Faster R-CNN網(wǎng)絡(luò)對實驗數(shù)據(jù)集進行檢測，部分檢測結(jié)果如表2所示。

由表2可知，所提改進Faster R-CNN網(wǎng)絡(luò)對縱向裂縫的檢測效果較好，誤差接近0.30 cm；對坑槽檢測誤差接近2.50 cm2;對橫向裂縫的檢測誤差接近2.50 cm。雖所提網(wǎng)絡(luò)對坑槽和橫向裂縫的檢測精度相較于縱向裂縫存在一定的改進空間，但滿足當(dāng)下對瀝青路面病害的檢測需求，因此可用于檢測城市道路瀝青路面病害。由此說明，本研究提出的改進Faster R-CNN網(wǎng)絡(luò)可實現(xiàn)城市道路瀝青路面的病害檢測，且具有一定的有效性。

3.5.2算法對比

為進一步驗證所提改進Faster R-CNN網(wǎng)絡(luò)對城市道路瀝青路面病害智能檢測性能，研究對比了所提算法與常用檢測方法ResNet算法和CrackIT算法在實驗數(shù)據(jù)集上的各項性能指標，結(jié)果如表3所示。

由表3可知，相較于ResNet算法和CrackIT算法，所提改進Faster R-CNN網(wǎng)絡(luò)對城市道路瀝青路面病害檢測的平均準確率更高，平均精確度的平均值為90.26%，分別提高了7.48%和5.20%，且在對單張圖像的檢測速度指標上具有明顯優(yōu)勢，為9.65 s，分別提升了11.36 s和9.00 s。由此說明，所提的改進Faster R-CNN網(wǎng)絡(luò)具有一定的有效性和優(yōu)越性。

3.5.3實例驗證

為檢驗所提改進Faster R-CNN網(wǎng)絡(luò)對城市道路瀝青路面病害的實際智能檢測效果，采用所提算法對實際采集的城市道路瀝青路面進行檢測，結(jié)果如圖4所示。

由圖4可知，所提的改進Faster R-CNN網(wǎng)絡(luò)可有效、準確檢測識別出城市道路瀝青路面病害的種類，且檢測范圍可圈出瀝青路面病害的位置。

4結(jié)語

綜上所述，所提的改進Faster R-CNN網(wǎng)絡(luò)通過采用擬合值填充方式改進網(wǎng)絡(luò)卷積層，有效提升了Faster R-CNN網(wǎng)絡(luò)對目標檢測的精度，可實現(xiàn)對瀝青路面坑槽、橫向裂縫、縱向裂縫的檢測。其中，所提改進Faster R-CNN網(wǎng)絡(luò)對縱向裂縫的檢測效果較好，誤差接近0.30 cm;對坑槽檢測誤差接近2.50? cm2;對橫向裂縫的檢測誤差接近2.50 cm，具有一定的有效性。相較于改進前標準Faster R-CNN網(wǎng)絡(luò)和其他常用目標檢測方法ResNet算法和U-Net算法，所提改進后的Faster R-CNN網(wǎng)絡(luò)對城市道路瀝青路面病害檢測的準確性更高，平均精確度的均值達到90.26%，且對單張圖像的檢測速度更快，為9.65 s，可用于實際城市道路瀝青路面病害檢測。

【參考文獻】

[1]璩澤旭，方火能，肖化超，等.一種基于深度學(xué)習(xí)的光學(xué)遙感影像在軌目標檢測方法.空間控制技術(shù)與應(yīng)用，2022，48（5）：105-115.

[2]田青，李遷遷，張正，等.基于深度學(xué)習(xí)的輕量化目標檢測方法研究.工業(yè)控制計算機，2023，36（8）：108-110.

[3]黃澤賢，吳凡路，傅瑤，等.基于深度學(xué)習(xí)的遙感圖像艦船目標檢測算法綜述.光學(xué)精密工程，2023，31（15）：2295-2318.

[4]李波，楊慧，石實，等.基于改進Faster R-CNN的吸煙檢測算法研究.現(xiàn)代信息科技，2023，7（15）：69-72.

[5]岑霄.融合空洞卷積和特征金字塔的Faster R-CNN柑橘害蟲檢測方法.中國農(nóng)學(xué)通報，2023，39（22）：158-164.

[6]韓光，楊晟偉，袁培森，等.基于改進Faster R-CNN的新能源電池炸點缺陷檢測分析.自動化與儀器儀表，2023（7）：113-117.

[7]宋雯琦，趙榮彩，姜旭，等.基于Faster R-CNN的肺炎目標檢測.計算機工程與設(shè)計，2023，44（7）：2087-2092.

[8]田秀霞，劉正，劉秋旭，等.一種改進Faster R-CNN的圖像篡改檢測模型.計算機工程與科學(xué)，2023，45（6）：1030-1039.

[9]韓俊玲，李博，康曉東，等.綜合應(yīng)用Faster R-CNN和U-net的心臟MRI圖像分割.計算機科學(xué)，2023，50（S1）：313-321.

[10]陳新果.基于改進Faster R-CNN的石化裝置火災(zāi)增強識別方法.安全、健康和環(huán)境，2023，23（6）：42-50.

[11]胡浩特，徐建，黃營，等.基于改進的Faster R-CNN輸電鐵塔絕緣子缺陷檢測.信息技術(shù)與信息化，2023（7）：63-66.

[12]俞進，唐建華，神祥凱，等.基于Faster R-CNN的海底管道智能檢測方法.中國安全科學(xué)學(xué)報，2023，33（6）：80-87.

[13]鄧姍姍，黃慧，馬燕.基于改進Faster R-CNN的小目標檢測算法.計算機工程與科學(xué)，2023，45（5）：869-877.

[14]楊青青，邵鐵鋒，孫衛(wèi)紅，等.基于改進Faster R-CNN緒下繭形態(tài)識別與計數(shù)方法的研究.中國計量大學(xué)學(xué)報，2023，34（2）：224-230.

[15]羅鋒，陳鋒，吳航，等.基于Faster R-CNN的損害控制手術(shù)器械檢測方法研究.醫(yī)療衛(wèi)生裝備，2023，44（6）：1-6.

[16]李東璐，蔡喜昌，謝國棟，等.基于YOLOv5模型改進技術(shù)的仿真結(jié)果對比.粘接，2023，50（5）：147-151.

[17]趙瑋瑋.基于深度學(xué)習(xí)的路面病害檢測系統(tǒng).鄭州：鄭州大學(xué)，2020.

[18]王家曜，馬亮亮，王飛，等.一種基于改進ResNet的疲勞檢測方法.自動化與儀表，2023，38（11）：66-70.

[19]張靖，俞錫光，鄭東旭，等.基于GAN-UNet++的汽車鋁鑄件圖像缺陷分割算法研究.模具工業(yè)，2023，49（11）：6-11.

[20]毛磊磊.基于深度學(xué)習(xí)的路面病害檢測系統(tǒng)設(shè)計與實現(xiàn).西安：長安大學(xué)，2022.