基于改進YOLO 的雙網絡橋梁表觀病害快速檢測算法

彭雨諾 劉 敏 萬 智 蔣文博 何文軒 王耀南

中國橋梁數量位居世界首位[1],大量的橋梁改善了交通狀況,同時,為保障橋梁的安全運營,需要對橋梁進行定期的檢查和養護.橋梁在建造以及使用的過程中,受到施工材料、建筑工藝、極端天氣、車輛超載等因素的影響,不可避免地出現結構性或非結構性的損傷,進而形成蜂窩、漏筋、孔洞、裂縫等表觀病害.若是能夠及時地對橋梁進行檢查并修復損傷,將大大減少橋梁的維護成本,延長橋梁的使用壽命.到目前為止,橋梁健康狀況的評估大多仍是由人工目視進行[2],工人在升降裝置的協助下,到達橋梁各個位置對病害進行測量和統計.然而,這種傳統方法檢測效率低下且結果受到工人主觀經驗的影響,因此,實現橋梁表觀病害的自動化檢測具有重要意義.

隨著人工智能技術的發展,近年來越來越多的機器人被用于橋梁的自動化檢查中,文獻[3-4]利用無人機獲取橋梁和鋼索的高清圖像并進行病害的檢測,文獻[5]使用移動機器人對橋梁進行檢查,在文獻[6]開發了一種水下機器人對橋墩的水下部分進行檢測.由湖南橋康智能科技有限公司研發的輕量化橋梁智能檢測機器人BIR-X-LITE,可海量地采集橋梁底部的高分辨率表觀圖像數據.為了高效且準確地評估橋梁健康狀況,需要利用橋梁表觀病害檢測算法對圖像進行快速有效的分析.過去許多傳統病害檢測算法中,邊緣檢測器[7]和閾值檢測方法[8-9]被用于裂縫檢測.文獻[10] 利用基于局部熵的閾值算法檢測橋梁蜂窩病害.如果病害具有高對比度以及良好的連續性,傳統算法可實現高精度的檢測.但在實際應用中,受到光照強度變化、噪聲、背景干擾等因素的影響,部分病害圖像特征不明顯,從而導致傳統算法無法實現準確地病害檢測.

近年來,深度學習在計算機視覺等領域表現出了良好的性能[11-14],利用該技術在復雜條件下對橋梁表觀病害圖像進行檢測已成為現實.在文獻[15]利用卷積神經網絡(Convolutional neural networks,CNN)對16×16 像素的圖像進行分類,來判斷該圖像中是否存在裂縫病害.而Kim 等[16]將區域卷積神經網絡(Region-CNN,R-CNN)與形態學后處理相結合,以檢測和分割橋梁裂縫病害.但是大部分深度學習方法只針對一種類型的病害進行檢測,不能對橋梁的健康狀況進行全面地評估.

隨著多尺度檢測網絡的發展,橋梁多病害檢測算法被相繼提出.Zhang 等[17]利用YOLO (You only look once)網絡實現了對橋梁裂縫、剝落、蜂窩和漏筋4 種病害的檢測.該方法在YOLOv3 的基礎上,引入了遷移學習方法和批量正則化等方法.Li 等[18]基于Dense-net 網絡和遷移學習方法,提出了新的全卷積神經網絡(Fully convolutional networks,FCN),對裂縫、蜂窩、風化和孔洞4 種病害進行檢測和分割.然而,在上述網絡訓練所使用的數據集中,各類病害從不相等的距離被拍攝,從而縮小了不同病害間的大小差異.

在實際應用中,如Yang 等[19]、Mundt 等[20]和Hüthwohla 等[21]指出,不同類型的病害外觀差異顯著,且病害之間可能發生重疊,利用單個網絡完成所有橋梁表觀病害的檢測或分類是一個巨大的挑戰.針對上述問題,文獻[19]通過引入距離加權系數對蜂窩和裂縫病害圖像進行縮放對齊;文獻[20]在224×224 像素步長的滑動窗口上對橋梁多病害進行分類,但可能導致大型病害整體結構信息的丟失;文獻[21]提出了三階段分類器,可將不健康的橋梁區域分為特定病害類型,以不同步長的滑動窗口對圖像進行了多次的分類,提高了分類的準確性.

不同類型的病害外觀差異顯著,且病害之間可能發生重疊,加上光照強度變化、噪聲、背景干擾等影響,現有的目標檢測算法無法在固定步長的滑動窗口上實現橋梁多病害的快速魯棒檢測.針對上述問題,本文對YOLO[22-23]進行了改進,提出了YOLOlump 和YOLO-crack,以提高網絡檢測多病害的能力,進而形成基于雙網絡的橋梁表觀病害快速檢測算法.1) YOLO-lump 在1 280×1 280 像素步長的滑動窗口上實現塊狀病害(包括蜂窩、漏筋和孔洞病害)的檢測,針對長寬比和大小多變的塊狀病害,提出了混合空洞金字塔模塊,采用空間金字塔池化[24]的并行采樣結構,并在不同的通道上利用混合空洞卷積[25]提取不同尺度的特征.該模塊可用于提取稀疏的多尺度特征,能在不顯著增加計算復雜度的情況下擴展網絡的感受野,同時可以避免空洞卷積造成的局部信息丟失.2) YOLO-crack 在640×640 像素步長的滑動窗口上實現裂縫病害的檢測,由于常規的下采樣方法可能會導致裂縫像素損失,受文獻[26-27]啟發,提出了下采樣注意力模塊,其在額外的下采樣通道中,利用1×1 卷積和3×3 分組卷積分別解耦特征的通道相關性和空間相關性[28],以找到特征中重要的信息,然后疊加到原始的下采樣結果上.該模塊能夠增強下采樣過程中裂縫的前景響應,有利于裂縫細節特征的保留.為了提高網絡的檢測速度,基于文獻[29-30]對YOLO-crack進行了輕量化的調整.此外,為了進一步提升本文算法的性能,條件生成式對抗網絡[31]被用于生成新的訓練樣本以提升病害檢測的魯棒性.而focal loss損失函數[32]被用于解決正負樣本不平衡的問題以優化網絡訓練過程.本文提出的算法可配合BIR-XLITE 機器人實現橋梁多病害的快速魯棒檢測,算法整體流程如圖1所示.綜上所述,本文主要貢獻如下:

圖1 雙網絡橋梁表觀病害快速檢測算法整體框架Fig.1 Overview of the dual deep network for fast bridge surface defect detection

1)建立了橋梁表觀圖像數據庫,共有169 621張高分辨率圖像,包括蜂窩、漏筋、孔洞和裂縫4 種常見病害類型.

2)提出了混合空洞金字塔模塊,結合了混合空洞卷積和空間金字塔池化,能有效擴展網絡的感受野并保護特征連續性,提高網絡的多尺度檢測性能.

3)提出了下采樣注意力模塊,利用1×1 卷積和3×3 分組卷積分別解耦特征的通道相關性和空間相關性,能加強下采樣階段病害的前景響應,減少空間信息損失.

4)根據橋梁病害的實際情況,提出了雙網絡橋梁表觀病害快速檢測算法,其雙網絡分別為YOLOlump 和YOLO-crack 網絡,配合BIR-X-LITE 機器人可實現橋梁多病害的檢測.實驗結果證明,在本文數據集上,該算法性能優于其他最新方法,且檢測一張5 120×5 120 像素的圖像僅花費0.995 秒.

1 基于GAN 網絡的數據增廣

橋梁健康狀況評估是多階段的工作[33],由于橋梁機器人可海量地采集橋梁底部的高分辨率表觀圖像數據,為了提高橋梁健康狀況評估效率,首先需要利用檢測網絡快速地篩除出病害區域.因此,檢測階段的性能會極大地影響橋梁健康狀況評估的結果.為了全面準確地掌握橋梁健康狀況,需要實現魯棒性高的病害檢測.在圖像采集的過程中,受到光照強度變化、噪聲、機械振動等因素的影響,少部分圖像成像質量不佳從而形成困難樣本,導致病害檢測性能下降.為了增強網絡的魯棒性,提高網絡對于困難樣本的檢測能力,利用生成式對抗網絡[34](Generative adversarial networks,GAN)自動生成困難樣本以對訓練數據進行增廣.近年來,GAN網絡被廣泛應用于各類圖像處理任務中.劉建偉等[35-39]通過實驗證明,GAN 網絡生成的數據具有一定的實用性.

利用條件GAN 網絡[31]對橋梁病害圖像進行數據增廣,該網絡可以將橋梁表觀病害語義分割圖像合成為真實病害圖像.原始數據集包含597 張塊狀病害圖像和516 張裂縫病害圖像以及對應的語義分割圖像.網絡的訓練參數設置如下:初始學習率設置為0.0001,動量設置為0.5,使用的優化器為Adam,批量大小設置為1,訓練迭代次數為100 輪.在新生成的病害圖像中,挑選出444 張塊狀病害圖像以及427 張裂縫病害圖像,部分生成圖像見圖2.

圖2 GAN 網絡生成的橋梁表觀病害圖像Fig.2 Bridge surface defect images generated by GAN network

2 雙網絡橋梁表觀病害快速檢測算法

2.1 混合空洞金字塔模塊

橋梁病害的長寬比及大小差異顯著,其中,漏筋病害特征細長,而蜂窩病害的尺寸幾乎可以任意變化,不同的蜂窩病害其面積差異可達到10 倍以上.由于YOLO 需要根據聚類結果先行設定錨框,然后網絡在特征圖上以設定好的錨框對目標進行搜索與檢測.橋梁病害長寬比及大小的差異對聚類結果的準確性造成了影響,當目標的長寬比及大小與聚類結果相差較大時,會影響檢測網絡的定位準確性.為解決上述問題,需要增強網絡的多尺度檢測性能,使網絡能夠更好地提取和識別不同橋梁病害的特征.

在過去工作中,空洞空間金字塔池化[40](Atrous spatial pyramid pooling,ASPP)被用于解決分割領域物體尺度變化大的問題,將空洞卷積添加到空間金字塔池化的框架中,以有效地提取多尺度上下文信息,但是空洞卷積的膨脹系數設置過大,不利于橋梁病害的檢測.為了對橋梁病害多尺度特征進行提取,將ASPP 中高膨脹系數的空洞卷積分解為多個低膨脹系數的空洞卷積,空洞卷積膨脹系數的設置與文獻[25],這樣可以避免空洞卷積級聯后造成的局部信息丟失.為了減少計算量,在空洞卷積之前額外加入了1×1 卷積來減少特征通道數量.另一方面,由于1×1 卷積后引入了Mish 激活函數[41],可以增強模塊的非線性表達,提升其特征提取能力.本文提出的混合空洞金字塔模塊如圖3所示,其中r代表空洞卷積的膨脹系數.

圖3 混合空洞金字塔模塊Fig.3 The hybrid dilated pyramid module

在混合空洞金字塔模塊中,輸入特征被采樣到4 條相互獨立的通道之中,組成空間金字塔進行并行采樣.首先,經過1×1 卷積將特征通道數減少至輸入特征通道數的1/4.在第1 條通道內,特征圖不進行額外的處理.而在另外3 條通道內,通過不同數量和膨脹系數的空洞卷積疊加,提取包含不同感受野的特征圖.從整體上看,每條特征提取通道內的空洞卷積都只與輸入特征的一部分相連接,這有助于提取特征級的稀疏信息,提高特征的多樣性.最后,將4 條通道中的特征圖進行合并,然后經過1×1卷積,得到稀疏的多尺度輸出特征.此外,批量歸一化和Mish 激活函數被添加到每一次卷積操作之后.

2.2 下采樣注意力模塊

在深度神經網絡中,常使用步長為2 的3×3 卷積實現圖像的下采樣,這在一定程度上丟失了上下文中包含的特征,造成特征圖分辨率的降低和病害空間信息的損失.為了減少下采樣過程中的信息損失,利用注意力機制加強病害的前景響應.

擠壓與激發(Squeeze and excitation,SE)[26]注意力模塊和卷積塊注意力模塊(Convolutional block attention module,CBAM)[27]是典型的包含注意力機制的模塊設計.在這些注意力模塊內,首先利用全局池化將全局信息編碼到通道維度上或者是空間維度上,然后利用多層感知器和3×3 卷積分別解耦特征的通道相關性和空間相關性.但是全局池化的使用壓縮了特征的維度,造成細節信息的丟失,這不利于裂縫病害注意力特征圖的提取.為此,本文提出了下采樣注意力模塊.

文獻[28]指出,常規的卷積層在三維空間中學習提取特征,為了簡化任務,可以利用1×1 的卷積和3×3 分組卷積分別映射特征的通道相關性和空間相關性.受此啟發,本文在原有的下采樣通道上,額外的增加了一條通道,在該通道內,通過1×1 卷積和3×3 分組卷積實現特征間通道相關性和空間相關性的解耦,以判斷特征內不同通道及空間位置信息的重要性;然后在原采樣特征的基礎上,對信息進行增強,來加強裂縫的前景響應.下采樣注意力模塊可以方便地添加到任何網絡框架下,其結構如圖4 所示.

圖4 下采樣注意力模塊Fig.4 The downsampling attention module

在注意力通道內,先使用2×2 最大池化對特征進行下采樣,之后通過兩個連續的1×1 卷積和3×3 分組卷積分別實現特征間通道相關性和空間相關性的解耦.在解耦特征相關性的過程中,每次卷積操作后均不添加批量歸一化,同時使用線性激活函數,以避免破壞興趣流形[42].最后,將注意力通道的下采樣結果和原始的下采樣結果合并,得到下采樣注意力模塊的輸出.

2.3 雙網絡橋梁表觀病害檢測算法

在實際應用中,首先利用BIR-X-LITE 機器人對橋梁表觀圖像進行采集.該機器人由車身主體、相機裝置和控制室組成,分別如圖5(a1)～(a3)所示,工作方式如圖5(b)所示,典型橋梁表觀病害見圖5(c).

圖5 BIR-X-LITE 機器人數據采集過程Fig.5 The process of data acquisition by the BIR-X-LITE robot

由于不同病害以相等的距離進行拍攝,部分病害如蜂窩和裂縫,在圖像內表現出巨大的外觀差異.如圖6 所示,在5 120×5 120 像素的高分辨率圖像上,僅有巨大的蜂窩病害可被觀察到;在1 280×1 280 像素的子圖像上,蜂窩和漏筋病害表現出明顯的特征,但裂縫病害仍不能被很好地識別;在640×640 像素的子圖像上,裂縫病害可以被更好地觀察到,但這有可能導致蜂窩病害整體結構信息的丟失.為了對橋梁多病害進行快速魯棒地檢測,本文對YOLO進行了改進,提出了YOLO-lump 和YOLO-crack網絡,進而形成基于雙網絡的橋梁表觀病害快速檢測算法.

圖6 不同病害之間大小比較Fig.6 Comparison of defects with different sizes

2.3.1 YOLO-lump 網絡

YOLO-lump 在1 280×1 280 像素步長的滑動窗口上實現蜂窩、漏筋和孔洞3 種病害的檢測.YOLO-lump 由特征提取網絡CSPDarknet-53[23]和特征融合網絡PANet[43]組成.混合空洞金字塔模塊被添加到網絡第3 個下采樣層之前,用于提取稀疏的多尺度特征.正常情況下,正負樣本的比例應該是比較接近的,現有的檢測模型正是基于這一假設.然而在橋梁表觀病害檢測問題中,病害前景的區域(即正樣本)是遠小于橋梁背景的區域(即負樣本)的.負樣本的梯度累計,可能會掩蓋病害前景的作用,使得網絡在訓練中無法充分學習到病害的特性信息.為了解決這一問題,focal loss 損失函數被用于計算置信度損失以及分類損失.

2.3.2 YOLO-crack 網絡

YOLO-crack 在640×640 像素步長的滑動窗口上實現裂縫病害的檢測,在這一過程中將產生大量的滑窗圖像,網絡無法實現高效率地檢測.因此本文對網絡進行了輕量化調整,以實現檢測精度和檢測速度的平衡.YOLO-crack 由特征提取網絡CSPDarknet-39 和跨階段局部特征金字塔(Cross stage partial feature pyramid networks,CSPFPN)特征融合網絡組成.與CSPDarknet-53 相比,CSPDarknet-39 網絡的深度減少了25%,特征通道數減少了19%.而對于標準的CNN 網絡來說,下采樣是必不可少的,常規的下采樣方法可能會造成裂縫空間信息的丟失,本文提出的下采樣注意力模塊,被添加到每一個下采樣階段,以加強裂縫的前景響應,減少空間信息的損失.

為了進一步減少網絡參數,本文使用特征金字塔網絡[44](Feature pyramid networks,FPN)作為YOLO-crack 的特征融合網絡,并在FPN 中1×1卷積和3×3 卷積級聯的部分增加了跳躍連接[30],改進后的網絡被稱為CSP-FPN.這可以將具有更多細節信息的底層特征和更多語義信息的高層特征融合,加強了特征的復用,有利于保留裂縫細節特征.在網絡輸入大小為640×640 像素時,YOLO-crack的計算量相比YOLOv4 減少了52%.此外,YOLOcrack 的損失函數與YOLO-lump 一致.

3 實驗結果與分析

本節首先介紹實驗設定、數據集和評價指標,然后對實驗結果進行展示和分析.實驗共分為4 個部分.第1 部分為改進前后塊狀病害檢測網絡性能對比實驗,比較YOLO-lump 與其他目標檢測算法在塊狀病害檢測上的性能差異;第2 部分用于驗證本文提出的改進對于裂縫病害檢測的有效性,比較YOLO-crack 與其他模型在裂縫病害檢測上的性能差異;第3 部分驗證了YOLO-lump 和YOLOcrack 的實際應用性能,在高分辨率圖像上對檢測結果進行了分析.第4 部分用于驗證雙網絡算法對于解決塊狀病害與裂縫病害差異過大問題的有效性.

3.1 實驗說明

3.1.1 實驗設定

本文實驗程序運行環境為Ubuntu18.04,深度學習顯卡為NVIDIA RTX 2080Ti,CUDA 版本為11.1.訓練過程中所有網絡均不使用預訓練模型,初始學習率設置為0.0005,動量設置為0.94,衰減系數設置為0.0005,使用的優化器為SGD,批量大小設置為2,訓練迭代次數為100 輪.使用的數據增強方法有HSV 隨機變換、縮放變換、旋轉變換和翻轉變換.

3.1.2 數據集介紹

本文使用的數據由BIR-X-LITE 機器人以統一標準采集得到.所建立的橋梁表觀圖像數據庫中,包含不同地區共計10 座橋梁的表觀圖像數據,其中有5 120×5 120 像素的高分辨率圖像共169 621張,總計大小792.7 GB,具體如表1 所示.由于大多數橋梁健康狀況良好,僅有少數圖像中包含了橋梁病害,從上述圖像中,挑選出1 151 張塊狀病害圖像和643 張裂縫病害圖像,并人工對病害位置進行了標注.

表1 橋梁表觀圖像數據庫Table 1 Dataset of the bridge surface images

實驗中使用806 張塊狀病害圖像、450 張裂縫病害圖像和118 735 張無病害圖像進行網絡的訓練和性能驗證,剩下的高分辨率圖像用于網絡性能的測試.然而受到計算資源的限制,無法在網絡中直接訓練高分辨率圖像.為了對網絡進行訓練,依據前文所做的分析,將高分辨率圖像中的塊狀病害裁剪為1 280×1 280 像素大小的子圖像,將裂縫病害裁剪為640×640 像素大小的子圖像,建立的數據集見表2.部分訓練數據見圖7,圖像經不同比例縮放以方便展示.圖7(a)為大型蜂窩病害,圖7(b)為小型蜂窩病害,圖7(c)為孔洞病害,圖7(d)為漏筋和蜂窩病害,圖7(e)為嚴重漏筋病害,圖7(f)為小型筋病害,圖7(g)為顯著裂縫,圖7(h)為細小裂縫,圖7(i)為潮濕裂縫,圖7(j)～ (k)為背景.

圖7 訓練數據示例Fig.7 Examples of the training dataset

表2 訓練/驗證/測試數據集Table 2 Training/validation/testing datasets

3.1.3 評價指標

本實驗中,評價指標采用召回率、準確率、F1(F1 Score)和mAP[45](Mean average precision).其中,召回率用于描述正確檢測到的病害數占應該被正確檢測到的病害數的比例,準確率用于描述正確檢測到的病害數占所有檢測到的病害數的比例,F1 為召回率和準確率二者加權調和平均,mAP 體現了目標檢測網絡的綜合性能.

3.2 塊狀病害檢測實驗分析

3.2.1 網絡輸入大小對比實驗

網絡輸入大小通常會對塊狀病害檢測結果有較大影響,在YOLOv4 網絡的訓練階段,本文將塊狀病害子圖像縮放到不同大小,縮放大小分別設置為416×416 像素、512×512 像素、608×608 像素和704×704 像素.表3 為不同輸入大小下塊狀病害的檢測結果.由表3 可知,受到網絡設計的限制,網絡往往具有感受野上限,當檢測物體分辨率過大時,網絡無法捕捉到物體的全局信息.而過低的輸入分辨率會導致細節信息的丟失,這都會造成塊狀病害檢測性能的下降.當輸入大小為512×512 像素時,塊狀病害檢測mAP 為88.6%,相比于輸入大小為608×608 像素時mAP 降低了0.6%,但是檢測時間縮短為了18.8 ms,僅為后者的76.1%,因此綜合考慮檢測效率和檢測性能,本文選擇將塊狀病害圖像縮小至512×512 像素進行檢測.

表3 不同輸入大小下塊狀病害檢測結果對比Table 3 Results of lump defect detection with different input sizes

3.2.2 YOLO-lump 網絡結構消融實驗

YOLO-lump 網絡結構消融實驗,驗證了本文提出的模塊和改進對于塊狀病害檢測網絡性能的影響.以YOLOv4 網絡為基礎,基于GAN 網絡生成新的樣本加入網絡訓練中,得到的網絡被稱為YOLO-lump-A.將YOLO-lump-A 網絡的損失函數修改為focal loss,所得到的網絡被稱為YOLOlump-B.然后將ASPP 模塊加入到YOLO-lump-B 網絡中,得到的網絡被稱為YOLO-lump-C.將膨脹系數全部設置為3 的混合空洞金字塔模塊添加到YOLO-lump-B 網絡中,得到的網絡被稱為YOLO-lump-D.將膨脹系數依次設置為1、2、5 的混合空洞金字塔模塊添加到YOLO-lump-B 網絡中,得到的網絡被稱為YOLO-lump.實驗結果如表4 和圖8 所示.

圖8 不同塊狀病害檢測網絡的PR 曲線Fig.8 Precision-recall curves of different detectors on the lump dataset

表4 YOLO-lump 網絡消融實驗Table 4 Ablation experiment on the YOLO-lump

通過YOLOv4 和YOLO-lump-A 的結果對比可知,利用GAN 網絡生成的困難樣本可以提升網絡的魯棒性.由YOLO-lump-A 與YOLO-lump-B的結果對比可知,focal loss 損失函數能夠有效解決塊狀病害檢測中正負樣本不平衡的問題,提升網絡性能.由YOLO-lump-B 與YOLO-lump-C 的結果對比可知,ASPP 中每條通道上空洞卷積膨脹系數過大,使得ASPP 在檢測網絡底層結構中不能很好地提取特征,導致了網絡性能下降.由YOLO-lump-B 與YOLO-lump-D 的結果對比可知,在混合空洞金字塔模塊內使用同一膨脹系數的空洞卷積,會導致局部信息的丟失和特征連續性的破壞,進而造成病害檢測性能的下降.由YOLO-lump-D 與YOLOlump 的結果對比可知,膨脹系數設置合理的混合空洞金字塔模塊可以增強網絡獲取多尺度信息的能力,并避免了空洞卷積造成的局部信息丟失,能有效提高塊狀病害的檢測性能.最終本文提出的YOLO-lump 網絡,在塊狀病害檢測上mAP 達到了92.7%.

此外,在YOLO-lump 的基礎上加入下采樣注意力模塊,得到的網絡被稱為YOLO-lump-E.由YOLO-lump 與YOLO-lump-E 的結果對比可知,下采樣注意力模塊可以增強下采樣過程中塊狀病害的前景響應,提升檢測性能.然而YOLO-lump 不是輕量化的網絡,隨著下采樣注意力模塊中分組卷積數量的增加,計算效率也是成倍的下降.YOLOlump-E 檢測時間相較YOLO-lump 增加了19.1%,且塊狀病害檢測更依賴于多尺度的全局信息,下采樣注意力模塊對YOLO-lump 網絡性能提升相對有限.因此在YOLO-lump 網絡中使用下采樣注意力模塊不利于實現檢測精度和檢測速度的平衡.根據實際問題需求,本文使用YOLO-lump 檢測塊狀病害.

3.2.3 塊狀病害檢測算法對比

本實驗將YOLO-lump 網絡的性能與SSD[46]、Faster-RCNN[47]、RetinaNet[32]、FCOS[48]、Efficient-Det[29]、YOLOv3、Improved-YOLOv3[17]以及YOLO-v4 網絡進行了比較.實驗結果如表5 所示.在對比的網絡內,本文算法有最好的性能,mAP 相比其他網絡至少保持著3.1%的領先,同時檢測時間相較于YOLOv4 僅增加了1.6 ms.

表5 塊狀病害檢測網絡對比實驗Table 5 Comparison of different detectors on the lump dataset

圖9 為不同網絡在橋梁表觀圖像上的檢測結果.圖像Ⅰ～Ⅳ是指大型蜂窩病害圖像、蜂窩和漏筋病害圖像、細長漏筋病害圖像、蜂窩和孔洞病害圖像.其中,A 代表蜂窩病害,B 代表漏筋病害,C 代表孔洞病害,D 代表裂縫病害.由圖9 可知,SSD和Faster-RCNN 網絡在塊狀病害檢測中出現了較多漏檢和誤檢目標框,且定位準確度不高,說明其在特征區分度上低其他算法;而RetinaNet、FCOS和EfficientDet 網絡在檢測與正樣本相似的背景干擾時,可能會出現錯誤檢測現象,例如將圖Ⅴ中墻面的黑色痕跡錯誤地識別為漏筋病害;在YOLO網絡(YOLOv3、Improved-YOLOv3、YOLOv4)上的檢測結果顯示,相比于以上算法,YOLO 網絡能夠更好地識別背景干擾,但是在部分場景下對大型蜂窩病害的定位不夠準確,如在圖像Ⅱ中,當蜂窩與漏筋病害發生重疊時,網絡對蜂窩病害進行檢測時丟失了左右兩側的信息;而本文提出的YOLOlump 網絡與YOLO 網絡相比,有更強的多尺度性能和更大的感受野,因此在大型塊狀病害的檢測上有更好的表現,同時,能夠較準確地識別背景干擾.

圖9 本文方法和其他方法在不同橋梁表觀圖像上的測試結果Fig.9 Results of the proposed method and other methods on various bridge surface images

3.3 裂縫病害檢測實驗分析

3.3.1 YOLO-crack 網絡結構消融實驗

通過YOLO-crack 網絡結構消融實驗,驗證了本文提出的模塊和改進對于裂縫病害檢測網絡性能的影響.以YOLOv4 網絡為基礎,基于GAN 網絡生成新的樣本加入網絡訓練中,得到的網絡被稱為YOLO-crack-A.將YOLO-crack-A 網絡的損失函數修改為focal loss,得到的網絡被稱為YOLOcrack-B.對YOLO-crack-B 進行輕量化調整,使用CSPDarknet-39 作為特征提取網絡,使用FPN 作為特征融合網絡,得到的網絡被稱為YOLO-crack-C.將YOLO-crack-C 的特征融合網絡改進為CSPFPN,得到的網絡被稱為YOLO-crack-D.在YOLO-crack-D 中加入下采樣注意力模塊,提出的網絡被稱為YOLO-crack.實驗結果如表6 和圖10所示.

圖10 不同裂縫病害檢測網絡的PR 曲線Fig.10 Precision-Recall curves of different detectors on the crack dataset

表6 YOLO-crack 網絡消融實驗Table 6 Ablation experiment on the YOLO-crack

通過YOLOv4 和YOLO-crack-A 的結果對比可知,利用GAN 網絡生成的困難樣本可以提升網絡的魯棒性和網絡對正負樣本的識別能力,YOLO-crack-A 在裂縫病害檢測上準確率最高.由YOLO-crack-A 和YOLO-crack-B 的結果對比可知,在YOLO-crack-A 中加入focal loss 損失函數后,網絡在正樣本上獲得充分的訓練,能夠更全面地檢測裂縫病害,同時背景干擾信息也更容易被誤判為正樣本,YOLO-crack-B 在裂縫病害檢測上召回率最高.由YOLO-crack-B 與YOLO-crack-C 的結果對比可知,輕量化的網絡在不顯著降低裂縫檢測性能的前提下,大幅減少了檢測時間,有利于實現檢測精度和檢測速度的平衡.由YOLO-crack-C與YOLO-crack-D 的結果對比可知,CSP-FPN 相較于FPN,可以將具有更多細節信息的底層特征和更多語義信息的高層特征融合,加強了特征的復用,有利于裂縫病害的檢測.由YOLO-crack-D 與YOLO-crack 的結果對比可知,本文提出的下采樣注意力模塊可以減少下采樣過程中的信息損失,加強裂縫的前景響應,提高裂縫檢測的性能.最終本文提出的YOLO-crack 網絡在裂縫病害檢測上mAP 達到了86.2%.分析F1 和mAP 指標可知,YOLO-crack-B 和YOLO-crack 在裂縫病害檢測上綜合性能優于其他網絡,但是YOLO-crack 檢測時間僅為YOLO-crack-B 的59.3%,可以實現高精度高效率的裂縫病害檢測.根據實際問題,本文使用YOLO-crack 檢測裂縫病害.

此外,在YOLO-crack 網絡的下采樣注意力模塊內,使用批量歸一化和非線性激活函數,得到的網絡被稱為YOLO-crack-E.由YOLO-crack 與YOLO-crack-E 的結果對比可知,在解耦通道注意力和空間注意力過程中,使用批量歸一化和非線性激活函數會破壞興趣流形,造成下采樣注意力模塊性能的下降.

3.3.2 注意力模塊對比實驗

為驗證本文提出的下采樣注意力模塊的有效性,本文將YOLO-crack-D 網絡與注意力模塊有SE 注意力模塊、CBAM 注意力模塊、下采樣注意力模塊進行對比實驗.實驗結果如表7 所示,此外,利用Grad-CAM++[49]算法生成了網絡的激活熱力圖見如圖11.

圖11 Grad-CAM++可視化結果Fig.11 Grad-CAM++visualization results

表7 注意力模塊對比實驗Table 7 Comparison of different attention modules

Grad-CAM++算法可以清晰地展示網絡關注的區域.由實驗結果可知,YOLO-crack-D 加下采樣注意力模塊的組合在裂縫病害檢測上有最好的性能.對比SE 和CBAM 注意力模塊,下采樣注意力模塊不需要對特征進行全局池化,因此能夠更好地保留細節信息.加入下采樣注意力模塊后,能夠更有效地減少裂縫像素在下采樣階段的損失,有助于裂縫邊緣輪廓信息的保留,增強網絡對裂縫附近特征信息的提取.

3.3.3 裂縫病害檢測算法對比

YOLO-crack 與SSD、Faster-RCNN、RetinaNet、FCOS、EfficientDet、YOLOv3、Improved-YOLOv3、YOLOv4 和YOLOv4-crack 進行對比實驗,實驗結果如表8 所示.本文提出的模型有著最高的精度和最快的檢測速度,相較于其他的目標檢測算法,YOLO-crack 在mAP 上至少保持著1.7%的領先,檢測時間僅需要17.6 ms.這是因為與其他網絡中采用的常規下采樣方法相比,本文提出的下采樣注意力模塊能增強裂縫的前景響應,有助于提升裂縫檢測的性能.而輕量化調整可以有效減少網絡參數,提高檢測速度.

表8 裂縫病害檢測網絡對比實驗Table 8 Comparison of different detectors on the crack dataset

圖9 中圖像V 和VI 是指顯著裂縫病害圖像和細小裂縫病害圖像,裂縫病害位置用字母D 標記.由圖9 可知,SSD 和Faster-RCNN 網絡在裂縫檢測上表現相對較差,出現較多的錯誤檢測案例,同時在單個病害上有多個重疊的檢測框;對于RetinaNet、FCOS 和EfficientDet 網絡,在背景干擾與裂縫較為相似時,網絡可能不能做出準確地識別,如在圖像Ⅱ中,有一小段外漏的細鋼絲,而上述3 個網絡將其錯誤識別成裂縫病害.YOLO 網絡的檢測結果顯示,其能有效減少裂縫病害的錯誤檢測現象,但YOLO 網絡可能會丟失細小裂縫的信息從而導致漏檢;而本文對YOLO 進行改進,提出了YOLOcrack 網絡,能減少下采樣階段裂縫空間信息的損失,更完整地提取裂縫的細節特征,因此在裂縫病害檢測上有更好的表現.

3.4 實際應用性能測試

為了評估本文所提出的雙網絡算法在實際應用中的性能,對345 張塊狀病害圖像、193 張裂縫病害圖像和50 886 張無病害圖像的高分辨率圖像進行檢測.在檢測過程中,利用TensorRT 對YOLOlump 和YOLO-crack 網絡進行了部署,Tensor-RT 是一個高性能的深度學習前向傳播優化器,可以有效加快檢測速度.由于正負樣本的極度不平衡(1:189),相較于準確率,召回率能更好地反映算法性能,因此在實驗結果中,本文主要對召回率進行計算,并對誤檢區域面積與檢測圖像總面積的比值進行了統計.實驗結果統計見表9 中,其中GT代表圖像中包含病害的總數量,TP代表被網絡檢測到并正確分類的病害數量,FN代表屬于病害但是沒有被正確檢測出來的病害數量,FP代表被錯誤識別成病害的背景區域數量.

表9 實際應用測試結果Table 9 Results of the practical application

由實驗結果可知,在高分辨率橋梁表觀圖像上,本文算法能夠在1 s 以內完成橋梁多病害的檢測,配合BIR-X-LITE 機器人可實現病害的實時檢測.同時,對塊狀病害和裂縫病害檢測的平均召回率達到95%以上.而在沒有病害的圖像上,誤檢區域面積僅占檢測圖像總面積的1.655%.實驗結果證明,本文算法可以實現高召回率的橋梁表觀病害檢測,并能夠在海量的橋梁表觀圖像中快速篩除大面積的無病害區域,提高橋梁健康狀況評估的效率.

3.5 雙網絡算法與單網絡性能對比實驗

在本文的雙網絡算法中,使用了不同的滑窗大小,分別對塊狀病害和裂縫病害進行檢測.實驗重新訓練了YOLOv4 網絡使其能檢測所有橋梁表觀病害,以驗證雙網絡算法對于檢測性能的影響.為了使單網絡檢測過程中病害尺度保持一致,將高分辨率圖像中的塊狀與裂縫病害均裁剪為640×640像素大小的子圖像.雙網絡算法與單網絡檢測的實驗結果見表10.

表10 雙網絡算法與單網絡性能比較Table 10 Comparison of performance between the dual deep network and the single network

由表10 分析可知,與單網絡檢測相比,雙網絡算法在蜂窩、漏筋、孔洞和裂縫病害的檢測上,mAP 分別提高了6.1%、5.4%、4.3%和4.4%.這是因為,塊狀病害體積較大,以640×640 像素對圖像進行滑窗時,往往無法得到完整的病害圖像,這可能會造成病害整體結構信息的丟失,導致塊狀病害檢測性能的下降.比如高分辨率蜂窩病害的內部看起來可能像是健康的混凝土表面.此外,在雙網絡算法中,塊狀病害和裂縫病害錨框的平均值分別為320×304像素和178×225 像素.在單網絡算法中,錨框的平均值為338×336 像素.錨框的變化會對裂縫病害檢測性能造成較大的影響.而雙網絡算法在不同的滑窗大小下對塊狀病害和裂縫病害進行檢測,可以更加有效地提取不同病害的特征.同時,雙網絡算法可以針對不同病害分別設定錨框,可以有效解決塊狀病害與裂縫病害差異過大的問題.在速度方面,雙網絡算法檢測病害所用的加權平均時間相比單網絡僅多了4.5 ms.總之,雙網絡算法能夠提升橋梁表觀病害檢測的性能.

4 結束語

本文基于改進YOLO 提出了一個雙網絡橋梁表觀病害快速檢測算法,其雙網絡分別為YOLOlump 和YOLO-crack,配合BIR-X-LITE 機器人可實現橋梁多病害的自動魯棒檢測.首先本文利用機器人對數十座橋梁進行拍攝,建立了一個橋梁表觀圖像數據庫.針對長寬比和大小多變的塊狀病害,提出了混合空洞金字塔模塊,該模塊可以有效提高網絡的多尺度性能,擴展網絡感受野.而針對細小的裂縫病害,提出了下采樣注意力模塊,通過對特征相關性的解耦,能減少裂縫在下采樣階段的信息損失.將本文算法與目前最新方法進行對比,實驗結果證明了本文方法的有效性,并適合移植到工業檢測環境.在未來的工作中,可從雙網絡之間的特征共享角度做適當改進,進而達到更好的檢測結果.