改進YOLOv5的路面井蓋病害檢測

孔天宇,戴激光

(遼寧工程技術大學 測繪與地理科學學院,遼寧 阜新 123000)

0 引言

近年來,路面井蓋事故受到了人們的廣泛關注,2017—2019年期間媒體報道窨井“吃人、傷人”事件已達到70余件[1]。加大城市路面井蓋巡檢,是避免井蓋事故的有效途徑。早期的路面井蓋監管主要依靠人工巡查和硬件傳感設備,這不僅費時費力,而且巡查人員在檢查路面井蓋時還存在一定的安全隱患[2]。計算機視覺技術的發展,為路面井蓋的巡查及管理帶來了新的方式[3]。Wei等[4]將支持向量機與具有對稱特征的方向梯度直方圖相結合,分別利用激光點云和激光圖像的梯度圖像以及拍攝的路面影像,實現了井蓋的檢測和分類。喬瑞萍等[5]提出了一種多特征融合的方法,該方法利用先驗知識劃定檢測范圍,然后利用邊緣的連通性鎖定候選區域,通過多特征判定確定井蓋的具體位置。相比于早期方法,傳統的圖像檢測技術可以客觀、快速地對大量數據進行分析處理,在道路背景簡單的場景下表現良好。但傳統的檢測算法主要依賴于根據先驗知識建立的特征[6],當道路上井蓋的紋理顏色與路面相似時,表面特征與周圍路面難以區分,傳統的圖像檢測技術在檢測時容易出現漏檢或錯檢。

深度學習在目標檢測及圖像分割任務中被廣泛應用且表現出色,這給井蓋的巡檢提供了新的解決方案[7]。與基于先驗特征的傳統算法相比,深度學習網絡具有強大的學習和特征表達能力,并且特征表示具有非常強的泛化能力[8]。趙文劍等[9]使用ResNet模型對車載智能手機拍攝到的路面影像進行井蓋識別的同時,結合手機采集到的車輛經過沉陷井蓋時產生的加速度,可對井蓋進行塌陷分析。Zhou等[10]提出了一種基于卷積神經網絡的分類方法,該方法從智能手機采集影像中檢測井蓋,結合車載傳感器數據得到不同塌陷程度的井蓋。從以上研究結果來看,將深度學習技術應用到井蓋病害檢測,可以實現道路區域范圍內的自動化檢測,但目前工作著重于檢測塌陷井蓋,忽略了井蓋周圍路面破損問題,因而檢測結果并不完善。另外受限于手機拍攝方式難以避免受到行人、車輛對井蓋檢測的干擾,降低了井蓋病害的檢測精度。

針對上述問題,本文提出改進YOLOv5的路面井蓋病害檢測方法。本文主要研究內容包括:針對城市道路上的各種井蓋病害,制定了路面井蓋的分類標準,制作了井蓋病害數據集;選取YOLOv5作為基礎模型,在主干部分及網絡中加入注意力機制,提出了針對井蓋病害的檢測模型AT-YOLO(Attention-YOLO),有效提升了模型對于路面井蓋病害的檢測效果。

1 研究方法

1.1 井蓋病害分類

井蓋作為城市道路的附屬構造,在長期的車輛載荷以及自身材料、設計、施工等原因的多重作用下,井蓋或周圍路面會發生沉陷、破損等病害[11]。如圖1所示,由于井蓋病害成因因素眾多,井蓋也會出現復合病害問題,即多種病害同時出現在同一個井蓋上。北京市《數字化城市管理信息系統部件和事件處置》(DB11/T 932—2012)中,規定了由部件質量引發的監管案例,表1中列舉了正常井蓋、井周破損和塌陷井蓋等不同井蓋類別及其對比分析。

表1 不同井蓋狀態對比

圖1 井蓋對比

結合表1與圖1中的井蓋實例可以看出,正常井蓋與路面沒有明顯高差,且周圍路面完好無裂縫或坑槽,對車輛行駛不存在影響。井周破損的井蓋包括井蓋周圍保護圈的破壞和井周路面的破損,表現為從裂縫到坑洼的不同程度破損,且在行駛車輛的持續作用下井周破壞會逐漸增長擴大。塌陷井蓋從影像中可以看到與路面存在明顯的高差,塌陷嚴重的井蓋會影響到行駛車輛的穩定性和舒適性。

1.2 面向病害井蓋的AT-YOLO網絡

在復雜多變的街景影像中,路面上的井蓋及其病害在不同的時間、光照條件和成像角度影響下,呈現出差異性的表面紋理特征,在影像中出現視覺形態上的區分,而視覺特征信息是基于街景影像進行路面井蓋及其病害檢測的主要依據。因此,本文在前文總結的井蓋病害表征特點的基礎上,提出了針對路面井蓋病害的目標檢測模型AT-YOLO。AT-YOLO模型結構圖如圖2所示,其網絡結構分為backbone(主干)、neck(頸部)和detect(檢測層) 3個部分。

圖2 AT-YOLO網絡結構

在網絡的backbone中,AT-YOLO采用了本文提出的TAC3(triplet attention C3)作為網絡backbone中特征提取模塊的基本單元,其基本結構為CSP結構。網絡backbone中的SPP(spatial pyramid pooling)為空間金字塔池化模塊,可以將任意大小的特征圖轉換成固定大小的特征向量。本文在網絡backbone中添加convolutional block attention module(CBAM)[12]作為單獨的處理單元,來弱化由于背景信息及其他物體造成的干擾,減少誤檢率。

網絡的neck部分使用了特征金字塔網絡(feature pyramid networks,FPN)結構對相同尺度的特征進行融合處理。除使用FPN的結構,在傳統的自頂向下路徑之外,自底向上的路徑可以有選擇地融合不同層次的特征,以更有效的方式捕獲各種尺度井蓋特征的語義變化。

網絡detect部分由3個輸出特征層來決定最終的檢測結果。在網絡的neck部分,來自不同模型深度的特征經過融合以及上采樣操作后,輸出3個不同深度、不同大小的特征。對應網絡resize(分辨率重構)后的輸入圖像大小為N,輸出特征大小分別為N/8、N/16和N/32。

1)主干網絡。在不同場景下采集到的影像受影像清晰度、路面光照強度、路面干燥程度和附帶干擾物等因素影響,使得部分井蓋沒有被網絡檢測到。從網絡設計來看,這是因為YOLOv5主干網絡特征提取能力相對不足,在特征分辨上存在困難,從而導致了井蓋和病害的漏檢。在檢測路面井蓋病害時不僅要檢測到井蓋的位置,還要根據井蓋和井蓋周圍路面的狀態判斷病害類別,這需要網絡具有較強的特征提取能力。因此本文對YOLOv5主干網絡基礎模塊BottleneckCSP進行了改進,提出了新的主干網絡TAC3,并利用混合注意力機制增強網絡對特征的提取能力。

如圖3所示,本文提出的TAC3相對于YOLOv5原主干網絡基本單元BottleneckCSP,標準卷積模塊中的激活函數由Leaky Relu更換為Silu,改善了網絡訓練過程中梯度爆炸的問題。將分支中的卷積層修改為卷積歸一化層,從而加速網絡收斂,提升網絡訓練速度。為了加強主干網絡對特征的提取能力,在輸出特征前增加了triplet attention module[13](三重注意模塊)。經過整個主干網絡模塊輸出的特征圖的大小與輸入大小相同。

圖3 TAC3(上)與BottleneckCSP(下)

三重注意模塊不是從單一通道對特征進行處理,而是在計算注意力權重時捕獲跨維度間的信息,結合通道注意力與空間注意力,在關注井蓋病害視覺表面特征的同時,對井蓋所處的空間位置表現更多的關注。三重注意模塊結構如圖4所示。三重注意模塊有3個分支,給定一個輸入特征圖X,每個分支都可捕獲來自H、W和C的任意兩個維度之間的跨維度交互信息。

圖4 triplet attention module

三重注意模塊強調捕捉跨域交互的重要性,而不是單獨計算空間注意和通道注意,這有助于獲取豐富的區域特征表示。由于其結構簡單而高效,在加入AT-YOLO的主干網絡后,只是增加了微小的計算量,卻可以有效增強網絡提取到的特征中空間和通道維度上的特征,提升模型主干網絡的特征提取能力,能夠獲取有代表性的特征表示。

2)convolutional block attention module。街景影像中包含許多干擾因素,包括地面文字標記、圓形交通標識和水漬等,這些地物在特征提取過程中會產生特征污染,導致檢測井蓋時出現誤檢測問題。另一方面,路面病害中的龜網裂、瀝青橫縱向裂縫及坑槽/洞等幾類病害[14]的視覺表征與路面井蓋的病害存在相似部分,這容易導致誤檢測問題。為減少背景因素影響而產生的誤檢測,本文在網絡中添加注意力機制,通過對不同重要程度的特征分配不同大小的權重,弱化干擾特征,使網絡模型更加專注于與路面井蓋及其病害相關的特征,從而提升模型的檢測精度。

本文采用的注意力模塊是混合注意力CBAM,由通道注意力和空間注意力串聯組成,該模塊將通道注意圖和空間注意圖解耦以提高計算效率,并通過引入全局池化層來利用空間全局信息,CBAM結構如圖5所示。CBAM有兩個順序連接的子模塊,按順序依次為通道注意力(channel attention model,CAM)與空間注意力(space attention model,SAM)。給定通道注意力模塊輸入特征圖X∈RC×W×H,依次推斷出1D通道注意力向量Sc∈RC和2D空間注意圖SS∈RW×H。

圖5 CBAM模塊

通道注意力與空間注意力分別在通道維度和空間維度上對應學習注意的目標和位置[15],增加的模塊通過學習強調與路面井蓋有關的特征,抑制與井蓋不相關的其他特征,有效地幫助信息在網絡中流動。CBAM的加入使AT-YOLO網絡相比于YOLOv5基礎網絡更有效地聚焦于目標對象及目標對象所處的位置,在一定程度上降低了影像中背景及其他物體對檢測造成的干擾,減少了誤檢。

2 實驗與結果分析

2.1 實驗數據及實驗設置

本文實驗使用的影像均為移動數據采集車采集的影像,共計121 730張,包含遼寧省沈陽市及阜新市,共計240 km的路面影像,涵蓋了商業街、林蔭道等不同場景,圖像大小均為3 200像素×1 800 像素。從中挑選出包含病害井蓋的影像共計2 700張制作實驗數據集。以往勾畫樣本標注框緊貼目標邊緣,但本文在勾畫井蓋病害數據集時,使正常井蓋標注框也包含周圍一定范圍內的路面,提供更多的信息以更好地判斷井蓋病害。破損井蓋則是以井周破損路面區域的最大外接矩形為標注區域。實驗將數據集劃分為3個部分,訓練集包含2 232幅圖像,驗證集包含254幅圖像,測試集包含214幅圖像。

由于訓練集規模較小,模型只訓練300個epoch,前5個epoch作為warmup_epochs。依據訓練經驗,將初始學習率設置為0.01,動量與重量衰減分別設置為0.937和0.000 5,batch size(批次)設置為2。

2.2 評價指標

以現有研究工作[16]作為參考,本文選取precision(精確率)、recall(召回率)和F1-score(調和平均值)作精度評價指標。precision表示檢測結果中檢測正確的比例,recall表示檢測結果查全率,F1-score是準確率與召回率的調和平均數,綜合了準確率與召回率兩個指標,其取值范圍為從0到1,1表示模型的檢測結果最好,0表示結果最差。

2.3 實驗與討論

為了驗證本文所提出的AT-YOLO網絡在路面井蓋及井蓋病害檢測上的優越性,本文在實驗數據集上使用Retinanet[17]、Efficientdet[18]等目標檢測網絡進行了對比實驗,具體的對比結果顯示在圖6中。

圖6 對比模型精度對比

在圖6的對比結果中可以看出,本文提出的AT-YOLO模型在總體上體現了最高的檢測精度,對不同類別的井蓋病害檢測的具體精度略有不同。AT-YOLO在圖6(a)全部井蓋和圖6(d)正常井蓋中的檢測結果整體優于其他網絡,表明本文方法檢測到的井蓋更加全面,檢測到的井蓋正確率更高,且漏檢情況更少。

在圖6(b)檢測塌陷井蓋的精度對比中,本文方法在相比于其他方法取得了絕對領先。由于塌陷井蓋在數據集實例中的占比較少,其他對比網絡均出現了precision和recall相差懸殊的問題,說明其他的方法雖然檢測到的結果準確率高,但檢測到的塌陷井蓋較少,漏檢情況嚴重。本文方法的基礎網絡YOLOv5的綜合精度高于其他網絡,本文方法相比YOLOv5又有了進一步的提高,說明AT-YOLO在檢測塌陷井蓋方面取得極大的精度提升。

在檢測出現井周路面破損的井蓋方面,圖6(c)顯示本文方法檢測結果中,precision和F1-score數值略低于SSD[19]、YOLOv4[20]等對比網絡,recall指標與其他對比方法基本持平,但從整體檢測來說AT-YOLO仍然是最優的路面井蓋病害檢測模型。出現這一情況原因在于,SSD、YOLOv4等模型結構較復雜且參數量較多,而AT-YOLO網絡參數量更少,注重檢測速度與精度的均衡。結果表明AT-YOLO能夠檢測出井周路面破損的井蓋,檢測井周破損病害的準確性還有很大的提升空間。

在不同的自然條件下進行檢測可以驗證模型方法的穩定性。針對本文檢測的幾種井蓋病害,圖7列舉了上述實驗的幾種模型在大規模街景影像上的檢測結果。

圖7 對比模型效果對

模型在進行井蓋病害檢測時,不僅要檢測影像中井蓋是否存在,還需要根據井蓋周圍路面的表現狀態及路面與井蓋的位置關系來判定井蓋類別。圖7第一列展示了各實驗網絡對井周出現破損的井蓋的檢測結果,可以看出本文方法對該類問題具有很好的適用性。對比實驗模型在檢測圖中井周出現破損時,只有SSD網絡檢測到了影像中井蓋,但未獲取準確的類別信息,并且出現了多個類別檢測框。相比之下,AT-YOLO具有更強的特征提取能力,在檢測到影像中井蓋的同時也正確判斷了井蓋的分類。

在圖7第2列對比圖中,圖中的右上方正常井蓋顏色相比于路面顏色較深,與路面背景之間的光譜差異明顯,所有網絡均檢測到了圖中的正常井蓋。但左下方出現塌陷問題的井蓋由于覆蓋塵土等雜物,只露出部分井蓋。塵土的干擾使得井蓋與路面背景極為相似,從而增加了檢測難度。第3列中的井蓋部分被綠化帶遮擋,并且表面覆蓋落葉等雜物,對比實驗的網絡模型均未檢測到該井蓋。由于AT-YOLO相比于其他網絡的抗干擾能力得到了增強,減少了在特征提取過程中干擾地物造成的特征污染,本文方法很好地檢測到了井蓋的位置,并且預測框準確地貼合在井蓋邊緣。

第4列及第5列中的井蓋均位于人行道內。井蓋表面被斑馬線白色涂料覆蓋,這使得井蓋與路面背景之間的光譜差異被減弱了,井蓋與路面背景極為相似,白色涂料的存在對井蓋周圍的坑洼的識別也存在一定的干擾。從檢測結果對比中可看出,即使井蓋被涂料覆蓋,本文方法也可以檢測到對應特征,檢測到了其他幾種網絡模型未檢測到的井蓋,并且準確地將其分類。

3 結束語

針對現有路面井蓋分類體系不完備以及檢測精度低等問題,本文基于YOLOv5,提出了一種路面井蓋病害檢測模型AT-YOLO,實現了街景影像中路面井蓋病害的快速檢測。在本文方法中,主要改進了網絡模型的backbone部分,在網絡backbone中應用不同的混合注意力機制,增強了網絡的特征提取能力,并且減少由于背景信息干擾而引發的誤檢測。實驗在自制數據集上進行,通過大量影像證明了本文方法相對于其他方法的優越性和穩定性,路面井蓋病害整體檢測精度達到93%以上。在未來的工作中,本文一方面將繼續提升AT-YOLO模型對路面井蓋病害的檢測精度以及檢測速度,另一方面將探究如何建立長效的路面井蓋監管預警機制。