基于改進(jìn)YOLOv5-DeepSORT算法的公路路面病害智能識別

高明星,關(guān)雪峰,范井麗,姚立慧

(1.內(nèi)蒙古農(nóng)業(yè)大學(xué) 能源與交通工程學(xué)院,呼和浩特 010018;2.內(nèi)蒙古路橋集團(tuán)有限責(zé)任公司,呼和浩特 010051;3.赤峰市公路管護(hù)與運輸保障中心,赤峰 024000)

0 引言

裂縫與坑洞是路面中出現(xiàn)較多的病害類型,其嚴(yán)重影響路面結(jié)構(gòu)的強度及駕駛安全,因此快速準(zhǔn)確檢測路面病害信息并清晰直觀傳達(dá)給養(yǎng)護(hù)作業(yè)人員具有重要的工程意義。傳統(tǒng)的公路養(yǎng)護(hù)檢測方式大多采用人工作業(yè),由于作業(yè)周期長、主觀性強和影響交通等,很難適應(yīng)公路養(yǎng)護(hù)快速發(fā)展的需求。對于公路檢測車這種路面病害檢測方式,只能獲取行駛車道上病害的局部特征,且采集質(zhì)量與路況呈現(xiàn)正相關(guān),在顛簸路面采集的照片往往存在大量失焦與運動模糊情況。近年來,結(jié)合無人機(UAV)與機器視覺的檢測方法受到大量關(guān)注[1-3]。

傳統(tǒng)機器視覺的道路病害檢測方法是通過人工提取單一病害的相應(yīng)特征進(jìn)行檢測,容易受多種干擾因素影響,普適性較差,如程玉柱等[4]基于布谷鳥算法搜索路面裂縫,通過得到分割閾值實現(xiàn)裂縫識別,但由于實際情況中背景復(fù)雜,導(dǎo)致閾值的泛化性較差,實際工程價值較低。唐偉等[5]結(jié)合改進(jìn)MASK勻光與K-means聚類方法實現(xiàn)對橋梁裂縫的提取,改善亮度對提取效果的影響,但該方法考慮的影響因素較少,普適性較差。

隨著近年來深度學(xué)習(xí)技術(shù)高速發(fā)展,各種道路病害檢測方法得到了井噴式的研究和應(yīng)用[6-8]。Zhang等[9]將深度卷積神經(jīng)網(wǎng)絡(luò)用于裂縫信息提取的研究中,該算法展現(xiàn)出比傳統(tǒng)方法更高的準(zhǔn)確度。Mandal等[10]研究了CSPDarknet53、Hourglass-104和EfficientNet 等不同骨干模型對裂縫識別的效果,最后YOLO模型取得最佳效果,得到了59%準(zhǔn)確率和57.3%召回率。李海東[11]利用二階段目標(biāo)檢測算法Faster R-CNN模型檢測路面破損,獲得了較高的準(zhǔn)確率和召回率,但其無法滿足實時性的要求。章世祥等[12]采用Mask R-CNN實現(xiàn)對路面裂縫的檢測與分割,但只能對單幀圖片中的病害做出實例分割。斯新華等[13]基于YOLOv4實現(xiàn)對橋梁鋼結(jié)構(gòu)表面病害的檢測,但檢測精度只達(dá)到70.8%,精度較低。羅暉等[14]基于Focal loss改進(jìn)YOLOv4進(jìn)行路面病害檢測,與其他目標(biāo)檢測方法相比,檢測精度較高。廖延娜等[15]通過熱力圖改進(jìn)YOLOv4解決檢測框重疊及定位問題,這種方法可以解決裂縫在一張圖片中被重復(fù)檢測的問題,但當(dāng)同一裂縫在不同照片中重復(fù)出現(xiàn)時,仍會被重復(fù)檢測。李永上等[16]通過改進(jìn)YOLOv5s網(wǎng)絡(luò)與DeepSORT網(wǎng)絡(luò)實現(xiàn)對監(jiān)控視頻下的車流量計數(shù),但其未驗證在運動場景下的檢測性能。

通過對研究現(xiàn)狀分析發(fā)現(xiàn),目前大多數(shù)利用深度神經(jīng)網(wǎng)絡(luò)檢測病害的方法研究了路面復(fù)雜紋理及表面干擾對病害識別的影響,針對排除圖像中路域以外干擾信息的研究較少。實際檢測過程中為快速收集路面病害信息,通常會采取錄制視頻或是設(shè)定拍攝間隔閾值進(jìn)行拍照采集,因此在連續(xù)幀圖像中會出現(xiàn)大量重復(fù)的病害信息,傳統(tǒng)的檢測算法只可根據(jù)類別信息對檢測到的病害分類保存,無法進(jìn)一步區(qū)分重復(fù)出現(xiàn)的病害,造成大量冗余的檢測結(jié)果,導(dǎo)致檢測人員進(jìn)行篩選耗時較長,實際工程價值較低。多數(shù)研究側(cè)重于獲得病害在圖片中的形位信息,忽略了檢測路段總體的病害數(shù)量信息。檢測車通常只能采集其行駛路線上的局部病害信息,不能獲取待檢公路的全局病害信息。

綜合以上問題,為保證在多尺度與復(fù)雜背景情況下檢測路面病害的準(zhǔn)確性與實時性,本研究提出一種基于改進(jìn)YOLOv5-DeepSORT與無人機系統(tǒng)的路面病害檢測與重識別方法。改進(jìn)的檢測算法與主流檢測算法相比,在保持輕量高效的同時,能準(zhǔn)確檢測出路面病害,構(gòu)建的病害重識別二級檢測機制實現(xiàn)對病害的重識別與量化統(tǒng)計,較原模型的計數(shù)精度有較大提升。

1 理論基礎(chǔ)

1.1 YOLOv5目標(biāo)檢測算法

在目標(biāo)檢測任務(wù)中,模型通常分為單階段與雙階段2種,YOLO模型是一種高效準(zhǔn)確的單階段目標(biāo)檢測模型[17-20],雙階段目標(biāo)檢測算法則以R-CNN系列為代表,YOLOv5算法在檢測無人機采集的數(shù)據(jù)時精度及速度達(dá)到了較好的平衡[21],因此本研究選擇YOLOv5算法作為多尺度道路病害檢測任務(wù)的基準(zhǔn)模型。其網(wǎng)絡(luò)結(jié)構(gòu)大致分為3個部分:Input輸入端、Backbone主干網(wǎng)絡(luò)、Head輸出端。第一部分輸入端控制著檢測的類別數(shù)(nc)、通道的縮放系數(shù)(depth_multiple)、C3模塊層的縮放系數(shù)(width_multiple)及錨框(anchors)個數(shù),并在訓(xùn)練階段使用自適應(yīng)錨框計算和馬賽克(Mosaic)數(shù)據(jù)增強等方法;第二部分主干網(wǎng)絡(luò)實現(xiàn)特征提取功能,包括Focus模塊、Conv模塊、C3模塊和空間金字塔池化(SPP)[22]模塊;第三部分Head分為2個結(jié)構(gòu),結(jié)構(gòu)1是基于PANet的特征融合模塊,結(jié)構(gòu)2為檢測頭部分,負(fù)責(zé)提取模型檢測結(jié)果,結(jié)構(gòu)如圖1所示。

圖1 YOLOv5模型網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 YOLOv5 model network structure

1.2 基于DeepSORT的病害統(tǒng)計

在檢測車或無人機采集的道路視頻畫面中,由于畫面的連續(xù)性,同一個病害會出現(xiàn)在不同幀的畫面中,這往往需要大量時間剔除重復(fù)出現(xiàn)的病害,而傳統(tǒng)的目標(biāo)檢測算法無法對重復(fù)出現(xiàn)的病害進(jìn)行判斷,因此本研究利用多目標(biāo)跟蹤算法(DeepSORT)提取視頻中出現(xiàn)的路面病害特征,并對每個目標(biāo)進(jìn)行軌跡跟蹤及ID分配,通過OpenCV模塊構(gòu)建計數(shù)單元與效果可視化,實現(xiàn)快速直觀篩查重復(fù)病害并統(tǒng)計檢測路段中的病害數(shù)量信息。

DeepSORT算法為SORT算法的改進(jìn)版本,SORT算法首先使用卡爾曼濾波算法(Kalman filetr)來預(yù)測目標(biāo)的運動狀態(tài),然后將軌跡預(yù)測框與目標(biāo)檢測網(wǎng)絡(luò)輸出預(yù)測框的IOU 值作為匹配因素,通過匈牙利算法(Hungarian algorithm)完成數(shù)據(jù)匹配,實現(xiàn)目標(biāo)跟蹤,SORT算法運算較快,但當(dāng)病害被車輛遮擋后重新出現(xiàn)時會存在病害ID變化的問題。DeepSORT在SORT基礎(chǔ)上對新產(chǎn)生的軌跡進(jìn)行篩選,將新軌跡分為確定態(tài)和不確定態(tài),對于確定態(tài)的軌跡,其在和預(yù)測框連續(xù)失配30次后被刪除,而不確定態(tài)的軌跡,必須和預(yù)測框連續(xù)匹配3次才能轉(zhuǎn)為確定態(tài)。DeepSORT算法結(jié)合運動特征和外觀特征來計算代價矩陣,其通過引入神經(jīng)網(wǎng)絡(luò)提取的目標(biāo)特征信息作為匹配準(zhǔn)則,利用目標(biāo)檢測預(yù)測框與軌跡預(yù)測框之間的馬氏距離(Mahalanobis distance)表示目標(biāo)的運動特征,計算目標(biāo)框與軌跡框之間的余弦距離作為目標(biāo)的外觀特征,并對兩者加權(quán)求和得到代價矩陣,進(jìn)而根據(jù)該代價矩陣使用匈牙利算法進(jìn)行目標(biāo)的匹配。其利用級聯(lián)匹配解決目標(biāo)被遮擋時的 ID 切換問題,級聯(lián)匹配根據(jù)丟失目標(biāo)的次數(shù)對軌跡進(jìn)行優(yōu)先級排序,對更活躍的軌跡進(jìn)行優(yōu)先級排序可以顯著減少 ID 切換。即該算法主要分為軌跡跟蹤模塊和數(shù)據(jù)匹配模塊,其中軌跡跟蹤模塊通過匹配軌跡和目標(biāo)框進(jìn)行卡爾曼濾波預(yù)測和更新,數(shù)據(jù)匹配模塊利用級聯(lián)匹配和IOU匹配將軌跡框與目標(biāo)框關(guān)聯(lián)。

OpenCV(Open Source Computer Vision Library)是一款常用的處理計算機視覺問題的開源軟件庫,本研究通過該軟件庫中的函數(shù)將DeepSORT的跟蹤與病害計數(shù)結(jié)果可視化。

2 改進(jìn)的YOLOv5路面病害檢測算法

針對公路路面病害檢測過程中存在病害尺度變化大、無人機視角下存在過多的路域復(fù)雜背景和檢測框精度差等問題,本研究對YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)提出3點改進(jìn),命名為ECB-YOLOv5,結(jié)構(gòu)如圖2所示。一是通過構(gòu)建ECIoU損失函數(shù)替換GIoU損失函數(shù),本研究將EIOU[23]的寬高損失和CIOU[24]的橫縱比引入GIoU損失函數(shù)中,提升預(yù)測框的預(yù)測結(jié)果,加快模型的回歸速度;二是在原PANet[25]的特征融合網(wǎng)絡(luò)結(jié)構(gòu)上結(jié)合BiFPN[24]網(wǎng)絡(luò)結(jié)構(gòu)的思想,將Backbone第6層輸出的中等尺度特征與中等尺度的檢測頭之間添加了新的特征融合通路,以構(gòu)建新的重復(fù)多尺度特征融合模塊,使得模型融合更多尺度的特征信息,提升模型對多尺度病害的檢測能力;三是將坐標(biāo)注意力機制(Coordinate Attention)[27]加入Backbone第10層,使模型更加關(guān)注病害特征,減少模型對路域外的物體做出誤檢,并提升檢測精度。

圖2 ECB-YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 ECB-YOLOv5 network architecture

2.1 損失函數(shù)的改進(jìn)

YOLOv5用以計算預(yù)測框(predicted box,PB)和真實框(ground truth,GT)差距的函數(shù)為GIoU損失函數(shù)表示,其原理是找到最小封閉矩形A,從而計算損失,見式(1)和式(2)。

(1)

LGIoU=1-GIoU。

(2)

式中:GIoU為表示廣義交并比;LGIoU為GIoU損失函數(shù);IOU為預(yù)測框與真實框的交并比;SA、SPB和SGT分別表示各框的面積。

GIoU通過重疊面積計算損失,但當(dāng)檢測框包含真實框時則會導(dǎo)致GIoU失效。目前多數(shù)研究將GIoU損失改進(jìn)為CIoU損失,其通過計算中心點距離和縱橫比,提升了模型的檢測精度并加快了收斂速度,見式(3),其中縱橫比計算因子見式(4)和式(5)。

(3)

(4)

(5)

式中:b和bgt為PB和GT中心點坐標(biāo);ρ為上述2點的歐式距離;c為能夠同時包含PB和GT的最小外接框的對角線距離;α·v代表預(yù)測框縱橫比擬合真實框縱橫比的因子;α代表權(quán)重函數(shù);v代表長寬比;w、wgt和h、hgt分別表示PB和GT的寬度和高度。

但縱橫比描述的是相對值,并不能精確表達(dá)預(yù)測框長寬與真實框長寬的差距。本研究提出一種新的損失函數(shù)ECIoU,該損失函數(shù)與CIoU相比精確地計算了寬度損失及高度損失,見式(6)。

(6)

式中:LECIoU為ECIoU損失函數(shù);Cw和Ch表示覆蓋PB和GT的最小外接框的寬度和高度。

相比于GIoU損失函數(shù)ECIoU損失函數(shù)進(jìn)一步增強損失函數(shù)的表達(dá)并加速模型收斂,提升模型的預(yù)測精度。

2.2 基于注意力機制的改進(jìn)

注意力機制目前在神經(jīng)網(wǎng)絡(luò)中的應(yīng)用非常廣泛,其可使模型關(guān)注關(guān)鍵區(qū)域,即強化重要信息并抑制無效信息,同時起到結(jié)合全局信息的作用。本研究通過合理的添加注意力機制提升模型在復(fù)雜背景中準(zhǔn)確定位病害位置的能力。主流的注意力算法會同時計算通道注意力與空間注意力,這會大大降低YOLOv5s這種輕量模型的計算速度。坐標(biāo)注意力機制(Coordinate Attention,CA)將位置信息嵌入到了通道注意力中,從而快速獲取對方向和位置敏感的特征圖,增加模型的檢測精度,使網(wǎng)絡(luò)能在避免大量計算開銷的前提下參與較大的區(qū)域特征計算,結(jié)構(gòu)如圖3所示。

圖3 CA模塊Fig.3 Coordinate Attention module

(7)

(8)

(9)

對于坐標(biāo)注意力生成部分,首先級聯(lián)(concat)之前模塊生成的2個特征圖,依次使用1×1卷積(Conv2d)、歸一化模塊(BN)和非線性激活函數(shù)(Act)生成中間特征圖f,接下來沿著水平和豎直將f切分(Split)成2個單獨的張量,再次使用1×1卷積(Conv2d)和激活函數(shù)(sigmoid)變換將2個張量變換為具有相同通道數(shù)的注意力圖,最終將2個注意力圖與輸入特征圖相乘來形成對方向和位置敏感的注意力權(quán)重。

2.3 特征融合網(wǎng)絡(luò)的改進(jìn)

YOLOv5的特征融合模塊為路徑聚合網(wǎng)絡(luò)(PANet),如圖4(a)所示,首先通過一條自上而下的通路進(jìn)行特征融合,獲得具有更高語義信息的特征圖,有利于物體分類;其次通過一條自下而上的通路,獲得具有更多位置信息的特征圖,有利于物體定位。EfficientDet中提出的雙向特征金字塔網(wǎng)絡(luò)(BiFPN)結(jié)構(gòu)如圖4(b)所示,其中虛線部分可使模型重復(fù)獲取初始特征信息,其使用的帶權(quán)重的特征融合機制一定程度上提升了網(wǎng)絡(luò)獲取特征的能力,但增加了模型計算復(fù)雜度。

圖4 特征融合網(wǎng)絡(luò)Fig.4 Feature fusion network

本研究構(gòu)建的重復(fù)特征融合網(wǎng)絡(luò)結(jié)構(gòu)如圖4(c)所示,為簡化模型結(jié)構(gòu)并降低計算量,在PANet網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上增加一條傳遞初始特征信息的通路,增強了模型對特征的提取能力,并使用級聯(lián)融合作為新結(jié)構(gòu)的特征融合機制,減少加權(quán)帶來的計算復(fù)雜度。

3 試驗與分析

3.1 數(shù)據(jù)集建立

目前公開的路面病害數(shù)據(jù)集均由手持設(shè)備或是道路檢測車拍攝,只包含局部的路面病害信息。為獲得完整的公路病害信息,本研究利用無人機采集病害的宏觀信息并結(jié)合道路檢測車獲取病害微觀信息,以此來構(gòu)建具有多尺度病害及復(fù)雜背景的路面病害數(shù)據(jù)集。在采集階段為保證采集質(zhì)量、飛行安全、交通安全且綜合考慮光照條件、拍攝角度和偏移距離等因素,設(shè)定無人機勻速飛行并垂直向下拍攝,使用的無人機型號為DJI Mini2,采集效果如圖5所示。

圖5 無人機采集的病害圖片F(xiàn)ig.5 Disease pictures collected by UAV

為對所提出的ECB-YOLOv5網(wǎng)絡(luò)進(jìn)行訓(xùn)練驗證,構(gòu)建了1個含有940張圖片的公路路面病害數(shù)據(jù)集。該數(shù)據(jù)集由自行采集的700張病害圖片及部分公開數(shù)據(jù)集[28]中收集的240張圖片構(gòu)成,按照8.5∶1.5的比例劃分為訓(xùn)練集和驗證集,并進(jìn)行統(tǒng)一的細(xì)粒度標(biāo)注。本研究直接在訓(xùn)練階段進(jìn)行數(shù)據(jù)增強,因此未使用增強方式對數(shù)據(jù)集進(jìn)行擴(kuò)充。

3.2 模型訓(xùn)練及評價標(biāo)準(zhǔn)

模型訓(xùn)練均基于云平臺,其顯卡為Tesla V100 GPU,32.0 GB內(nèi)存,試驗?zāi)Ｐ突赑ython3.8計算機語言及PyTorch深度學(xué)習(xí)框架構(gòu)建[29]。因本研究對YOLOv5模型結(jié)構(gòu)進(jìn)行了修改,為保證訓(xùn)練結(jié)果具有可比較性,均不使用預(yù)訓(xùn)練權(quán)重訓(xùn)練,且在訓(xùn)練時使用統(tǒng)一的超參數(shù)。參與網(wǎng)絡(luò)進(jìn)行訓(xùn)練的單個批次圖片示例如圖6所示,超參數(shù)數(shù)值與數(shù)據(jù)增強方式概率見表1。

表1 超參數(shù)配置Tab.1 Hyperparameters

圖6 參與訓(xùn)練的圖片F(xiàn)ig.6 Take part in the training picture

在訓(xùn)練階段,模型訓(xùn)練效果良好,損失函數(shù)曲線如圖7所示,其中box_loss為ECIoU損失函數(shù)均值,該數(shù)值代表檢測框的準(zhǔn)確程度。obj_loss判斷每個網(wǎng)格是否存在物體,該數(shù)值代表目標(biāo)檢測準(zhǔn)確程度。cls_loss為分類損失均值,該數(shù)值代表分類準(zhǔn)確程度。經(jīng)過300輪訓(xùn)練后,box_loss、obj_loss、cls_loss均低于0.03,逐漸趨于穩(wěn)定,說明在訓(xùn)練階段ECB-YOLOv5網(wǎng)絡(luò)模型各項超參數(shù)設(shè)置合理,學(xué)習(xí)效果較為理想。

圖7 訓(xùn)練中各損失數(shù)值Fig.7 The value of each loss in training

采用mAP50、FPS(Frames Per Second)、F1分?jǐn)?shù)和GFLOPs等指標(biāo)作為模型性能的評價指標(biāo)。mAP50表示IoU閾值為0.5時模型裂縫與坑槽的平均檢測精度,反映模型對不同類別目標(biāo)的綜合識別能力,以mAP表示;FPS是指模型每秒推斷幀數(shù),用于衡量模型的速度指標(biāo),試驗結(jié)果基于本地平臺GTX960M顯卡計算得出;F1分?jǐn)?shù)為P(精確率,Precision)和R(召回率,Recall)的調(diào)和平均值,可以為類別數(shù)量不均衡情況下模型的性能提供綜合評價;GFLOPs為1時代表每秒10億次的浮點運算,用于衡量訓(xùn)練模型時的計算復(fù)雜度。

3.3 模塊性能驗證

為驗證本研究提出的損失函數(shù)的有效性,分別訓(xùn)練以GIOU、EIOU及ECIOU作為損失函數(shù)的YOLOv5s模型,訓(xùn)練結(jié)果見表2。試驗結(jié)果表明使用ECIOU損失函數(shù)的mAP相較于使用GIOU的YOLOv5s模型提升0.32%,較EIOU損失函數(shù)提升0.14%。GFLOPs值未改變,說明模型的復(fù)雜度基本不變。因此證明ECIoU有更好的性能,在后續(xù)的試驗中均使用ECIoU作為模型的損失函數(shù)。

表2 不同損失函數(shù)訓(xùn)練結(jié)果Tab.2 Results of different loss function training

2)注意力模塊性能驗證

通過對比TR[30]自注意力模塊(Transformer),CBAM[31](Convolutional Block Attention Module)注意力模塊及CA注意力模塊驗證注意力機制對提升病害檢測能力的有效性,試驗結(jié)果見表3。模型1為基準(zhǔn)網(wǎng)絡(luò)的訓(xùn)練結(jié)果,模型2在基準(zhǔn)網(wǎng)絡(luò)基礎(chǔ)上加入了CA注意力機制,與基準(zhǔn)模型相比GFLOPs值未改變,mAP提升1.21%,FPS降低0.78幀/s,說明CA注意力模塊可以有效提升模型對于病害的檢測精度,但檢測幀率有所下降。在基準(zhǔn)網(wǎng)絡(luò)加入CBAM的模型3相較于基準(zhǔn)模型,GFLOPs增大0.2,mAP降低1.43%,FPS降低3.23幀/s,模型4在基準(zhǔn)模型增加TR模塊后GFLOPs增大0.3,mAP降低5.14%,FPS降低3.68幀/s,說明CBAM與Transformer模塊在基于YOLOv5s的無人機多尺度路面病害檢測任務(wù)中不能合理分配注意力權(quán)重,且占用更多的計算資源;在模型5和模型6訓(xùn)練結(jié)果中mAP分別降低0.86%、2.97%,且網(wǎng)絡(luò)計算復(fù)雜度進(jìn)一步加大,mAP值與單獨使用CA及CBAM的模型相比較低,說明注意力機制與自注意力機制的結(jié)合并不能增強YOLOV5s模型對路面病害的檢測效果。綜合分析試驗結(jié)果,CA注意力機制可以提升模型對病害的檢測精度且FPS降低程度最小,可以滿足精確度與實時性的要求,因此本研究選擇CA注意力機制對YOLOv5s模型改進(jìn)。

表3 注意力模塊選擇試驗Tab.3 Attention module selection experiment

3.4 改進(jìn)模型消融試驗

為驗證提出的ECB-YOLOV5模型的有效性,本研究逐步累加改進(jìn)方法對模型進(jìn)行性能驗證,試驗結(jié)果見表4。在消融試驗中:試驗2結(jié)果表明,使用ECIOU損失函數(shù)替換GIOU損失函數(shù),mAP提升0.32%,GFLOPs未增加,FPS保持不變;試驗3表明,CA注意力機制與ECIOU損失函數(shù)的結(jié)合在未增加大量計算量的情況下,模型性能提升較大,mAP較試驗2增加了1.53%;試驗4在試驗3基礎(chǔ)上加入了改進(jìn)重復(fù)特征融合網(wǎng)絡(luò),mAP比基準(zhǔn)模型提升3.11%,比試驗3提升1.58%,GFLOPs增加0.3,模型復(fù)雜度略微提升,F1分?jǐn)?shù)增加了2.49%,表明改進(jìn)模型在處理病害數(shù)量分布不均勻的數(shù)據(jù)集時預(yù)測效果更好。由上述試驗可見,隨著模塊逐漸加入,mAP逐步提升,F1分?jǐn)?shù)總體呈現(xiàn)上升趨勢,驗證了本研究改進(jìn)的模型對于公路路面病害檢測的有效性。FPS在加入注意力機制和新的特征融合網(wǎng)絡(luò)之后略微下降,但仍能滿足實時檢測的要求。

表4 改進(jìn)模型消融試驗Tab.4 Improved model ablation experiment

訓(xùn)練結(jié)果證明了建立的改進(jìn)模型的有效性,與基準(zhǔn)模型的mAP隨著訓(xùn)練輪次的變化曲線如圖8所示,由圖8可明顯看出迭代輪次在0～70時,mAP提升速度較快,隨后增長速率放緩;迭代輪次在240后,mAP逐漸趨于平穩(wěn),模型訓(xùn)練情況穩(wěn)定。在mAP快速增長階段,達(dá)到同樣的mAP改進(jìn)模型所需的訓(xùn)練輪次更短,在mAP緩慢增長階段,改進(jìn)模型達(dá)到了更高的mAP值。

(1) 該3-面為(3,3,7)-面,由R2.1和R3.3得3-面和面上的3-點最多從7-點拿走的權(quán)值為

圖8 mAP變化曲線Fig.8 mAP change curve

3.5 經(jīng)典算法對比試驗

為驗證本文的改進(jìn)網(wǎng)絡(luò)相對于目前主流目標(biāo)檢測算法的優(yōu)勢,選擇mAP與FPS作為評價指標(biāo)并將改進(jìn)模型與主流目標(biāo)檢測網(wǎng)絡(luò)模型在本研究構(gòu)建的數(shù)據(jù)集中進(jìn)行對比試驗,其中FPS統(tǒng)一由RTX A5000 GPU計算得出。試驗結(jié)果見表5。

表5 經(jīng)典算法對比Tab.5 Comparison of classical algorithms

本研究改進(jìn)YOLOv5模型的平均檢測精度最高,與Faster R-CNN、SSD、CentNet、RetinaNet、Efficientdet、YOLOv3、YOLOv4相比,改進(jìn)模型的mAP分別提升了21.33%、11.63%、13.75%、41.94%、55.67%、21.13%、44.42%;FPS分別提升了63.36、41.49、18.88、42.92、56.23、38.37、48.88。

各模型平均檢測精度與檢測速度的關(guān)系如圖9所示,X軸從左至右檢測速度遞減,Y軸從下至上檢測精度遞增,可見改進(jìn)模型處于圖中左上角位置,與其余主流算法相比,本研究改進(jìn)算法在檢測速度與平均檢測精度均達(dá)到最值。該模型計算復(fù)雜度低可在低算力平臺部署,便于在實際工程環(huán)境中運用。

圖9 幀率與平均檢測精度Fig.9 FPS with mAP

4 病害檢測與統(tǒng)計驗證

4.1 實際場景下病害檢測效果

為評估改進(jìn)算法在實際場景中對不同尺度病害的檢測性能,在5種典型場景中對YOLOv5模型與ECB-YOLOv5模型進(jìn)行檢測效果對比,如圖10所示,圖中實線框為模型檢測結(jié)果,白色虛線框為對檢測不準(zhǔn)確位置進(jìn)行的人工標(biāo)注。

圖10(a)是在無人機高空拍攝場景下的檢測效果對比,該場景中病害尺度較小,道路周圍背景復(fù)雜,原模型在白框處對同一病害做出重復(fù)檢測,改進(jìn)后的算法準(zhǔn)確檢測出所有目標(biāo)病害,說明改進(jìn)模型能夠精準(zhǔn)識別小目標(biāo)并有效降低誤檢。圖10(b)是模型在光照不良圖像中對病害的檢測效果對比,圖中白框為原模型預(yù)測框相較改進(jìn)模型預(yù)測框冗余的部分,通過計算2個模型預(yù)測框與標(biāo)注框的交并比得出,改進(jìn)模型的預(yù)測框精度提升了23.3%,說明改進(jìn)模型在低光照強度情況下預(yù)測框更加精確。圖10(c)是在路面存在干擾情況下的檢測效果對比,見圖中白框,原模型未能排除車道線的干擾,只識別出局部裂縫,改進(jìn)模型預(yù)測框精度較原模型提升了22.2%。圖10(d)中由于無人機高速飛行導(dǎo)致采集的圖像產(chǎn)生運動模糊的情況且存在小目標(biāo),改進(jìn)模型準(zhǔn)確檢測出所有病害,而原模型在白框處誤檢1處病害,說明改進(jìn)算法在無人機高速飛行情況下具有較好的魯棒性。圖10(e)為相機失焦情況下的檢測對比,2種模型均可以檢測出路面病害。結(jié)合5種典型情況下的病害檢測結(jié)果分析,本研究的改進(jìn)算法對復(fù)雜背景下的多尺度病害具有更好的檢測能力。

4.2 病害跟蹤統(tǒng)計

為實現(xiàn)對病害的全局檢測與重識別,通過無人機獲取路面信息,并基于YOLOv5-DeepSORT算法提取每個病害的全局特征信息并賦予唯一編號,實現(xiàn)對病害的重識別。通過編號信息與類別信息的雙重限定,即可快速準(zhǔn)確剔除重復(fù)的病害信息。

為實現(xiàn)上述效果,建立了基于YOLOv5-DeepSORT的二級檢測器結(jié)構(gòu)。病害計數(shù)過程如圖11所示,首先通過獲取目標(biāo)檢測器檢測框的左下角坐標(biāo)作為標(biāo)記點,其次通過OpenCV軟件庫在無人機檢測畫面的下方設(shè)置2條檢測帶,隨著無人機向前飛行,當(dāng)標(biāo)記點被上方藍(lán)色檢測帶感應(yīng)到時,該編號病害將被儲存在緩存空間中,若繼續(xù)前進(jìn)使標(biāo)記點被第2條檢測帶捕獲,該編號病害將會被記錄并根據(jù)病害類型及編號進(jìn)行分類儲存,總病害數(shù)顯示在畫面左上角。

圖11 病害計數(shù)過程Fig.11 Disease counting process

病害數(shù)量統(tǒng)計測試數(shù)據(jù)由5段無人機拍攝的路面視頻拼接而成,對采集的路面病害視頻進(jìn)行人工統(tǒng)計并與模型檢測結(jié)果進(jìn)行對比,模型對病害量的統(tǒng)計結(jié)果如圖12所示。圖12(a)為原模型的最終檢測結(jié)果,其檢測出38處病害,發(fā)生20處漏檢,且有4處誤檢情況,但因檢測框不穩(wěn)定未被病害計數(shù)器檢出,說明檢測過程中原模型的檢測框不穩(wěn)定,計數(shù)精度較差;圖12(b)為改進(jìn)模型最終檢測結(jié)果,其檢測出54處病害,存在4處漏檢及1處誤檢。病害量分類統(tǒng)計結(jié)果見表6,從左至右分別代表檢測到的裂縫數(shù)量、坑洞數(shù)量及病害總數(shù),改進(jìn)算法的統(tǒng)計準(zhǔn)確率達(dá)到91.38%,較原模型統(tǒng)計準(zhǔn)確度提升25.86%,說明改進(jìn)模型計數(shù)精度較高,可以有效降低漏檢率,適合作為實現(xiàn)道路病害檢測的算法。

表6 病害量統(tǒng)計試驗結(jié)果Tab.6 Results of disease statistics experiment

圖12 病害量統(tǒng)計結(jié)果Fig.12 Statistical results of disease amount

在實際檢測中可能出現(xiàn)病害被車輛遮擋而后重新出現(xiàn)的情況,導(dǎo)致病害出現(xiàn)ID變化造成重復(fù)檢測或漏檢。通過實際場景可視化驗證,改進(jìn)模型的魯棒性更強,如圖13和圖14所示,圖13為坑洞被遮擋的前一幀,改進(jìn)算法檢測出2個坑洞:ID-114和ID-3,原模型僅檢測出一處坑洞,隨后病害被車輛遮擋而消失,圖14為7幀之后該病害重新出現(xiàn),病害ID-3恢復(fù)編號,目標(biāo)重識別成功,ID-114則被車輛陰影遮擋導(dǎo)致ECB-YOLOv5漏檢;而原算法則在車輛遮擋后完全丟失病害及編號。

圖13 病害遮擋前Fig.13 Before the disease is occluded

圖14 病害ID恢復(fù)Fig.14 Disease ID recovery

5 結(jié)論

本研究針對路面常見的裂縫及坑洞病害構(gòu)建了基于YOLOv5-DeepSort框架的病害檢測與重識別模型,為實際養(yǎng)護(hù)過程中在復(fù)雜背景下的病害檢測任務(wù)及篩選冗余病害信息提供了新的思路與方法。

在構(gòu)建的無人機多尺度道路病害數(shù)據(jù)集上進(jìn)行的試驗證明了本研究改進(jìn)方法的有效性,其中ECIoU損失函數(shù)使得模型mAP較基準(zhǔn)模型提升0.32%,加入CA注意力機制后mAP進(jìn)一步提升1.21%,改進(jìn)特征提取網(wǎng)絡(luò)后的模型mAP達(dá)到89.19%,相較于基準(zhǔn)模型提升3.11%,F1分?jǐn)?shù)較基準(zhǔn)模型提升2.49%達(dá)到0.8514。與其他檢測算法相比,性能提升明顯。FPS在本地平臺達(dá)到26.39幀/s,滿足無人機圖檢測病害實時檢測要求。

通過實際檢測效果對比,發(fā)現(xiàn)基于無人機的檢測方法可快速準(zhǔn)確地獲取全局病害信息,并且通過構(gòu)建YOLOv5-DeepSORT方法實現(xiàn)對病害的重識別與統(tǒng)計。該方法在病害量統(tǒng)計試驗中表現(xiàn)出良好的準(zhǔn)確率,相比于原始網(wǎng)絡(luò)模型,模型統(tǒng)計準(zhǔn)確率提升25.86%,達(dá)到91.38%,誤檢率由6.9%下降1.72%,魯棒性強。未來的工作將豐富模型檢測病害的種類,完善病害被車輛陰影遮擋時產(chǎn)生漏檢的情況以及優(yōu)化追蹤網(wǎng)絡(luò)的性能。