基于深度分類(lèi)的格網(wǎng)化公路橋梁裂縫檢測(cè)技術(shù)研究

胡德輝

(佛山市公路橋梁工程監(jiān)測(cè)站有限公司,廣東 佛山 528000)

0 引 言

基于深度學(xué)習(xí)的橋梁裂縫檢測(cè)技術(shù)需要使深度卷積神經(jīng)網(wǎng)絡(luò)能夠識(shí)別出橋梁裂縫圖像中屬于裂縫的目標(biāo)區(qū)域并將其在圖片上標(biāo)注出來(lái)。但是由于橋梁裂縫的無(wú)規(guī)則性和連續(xù)性,當(dāng)前基于深度學(xué)習(xí)的目標(biāo)檢測(cè)模型候選框選取策略不適用于橋梁裂縫檢測(cè)任務(wù),直接應(yīng)用時(shí)會(huì)存在嚴(yán)重的誤檢和漏檢現(xiàn)象,故通過(guò)對(duì)橋梁裂縫的線性特征和基于深度學(xué)習(xí)的圖像識(shí)別與目標(biāo)檢測(cè)的工作原理進(jìn)行研究,設(shè)計(jì)適用于橋梁裂縫檢測(cè)的深度學(xué)習(xí)檢測(cè)方法。

1 基于深度學(xué)習(xí)的圖像識(shí)別算法模型分析

1.1 AlexNet模型

AlexNet模型是基于深度學(xué)習(xí)的圖像識(shí)別模型,識(shí)別準(zhǔn)確率遠(yuǎn)超使用傳統(tǒng)圖像識(shí)別算法的模型,該模型相對(duì)傳統(tǒng)模型在結(jié)構(gòu)上進(jìn)行了改進(jìn)與調(diào)整。該模型將ReLU激活函數(shù)引入到卷積神經(jīng)網(wǎng)絡(luò)中,同時(shí)驗(yàn)證了ReLU激活函數(shù)度模型梯度消失問(wèn)題的緩解效果;在GPU上進(jìn)行卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練,大幅度縮短了訓(xùn)練時(shí)長(zhǎng);在訓(xùn)練過(guò)程中隨機(jī)拋棄部分神經(jīng)元,有效提高模型訓(xùn)練效率,抑制模型過(guò)擬合;針對(duì)小樣本數(shù)據(jù)集使用數(shù)據(jù)增強(qiáng)方法,如圖像旋轉(zhuǎn)、圖像加噪等,緩解模型的過(guò)擬合問(wèn)題;增大響應(yīng)大的值與反饋小的值之間差距,增加模型的泛化性能。AlexNet相對(duì)最原始的卷積神經(jīng)網(wǎng)絡(luò)LeNet在性能方面有所提升,但模型參數(shù)量極為龐大,存儲(chǔ)成本較高[1]。

1.2 VGGNet模型

VGGNet模型在圖像識(shí)別任務(wù)中的識(shí)別準(zhǔn)確率高達(dá)92.7%,主要包括VGG16和VGG19兩種卷積神經(jīng)網(wǎng)絡(luò)模型。其中,VGG16模型包括3層全連接層與13層卷積層,神經(jīng)網(wǎng)絡(luò)層次共計(jì)16層,故將其命名為VGG16。VGG16模型刪除了AlexNet中11×11,7×7,5×5尺寸的卷積核,全部使用3×3的小尺寸卷積核進(jìn)行代替。在相同感受野的情況下,使用小尺寸卷積核層數(shù)更深,對(duì)圖像特征提取的更完全,模型參數(shù)量也顯著降低。

1.3 ResNet模型

隨著網(wǎng)絡(luò)的加深,VGGNet模型的精確性會(huì)有所提升,但在達(dá)到飽和后,模型的精確度會(huì)迅速下降,并且這種退化并不是由過(guò)擬合造成的。某淺層模型輸入為x,輸出目標(biāo)值為F(x),在深度持續(xù)增加的過(guò)程中,因淺層模型用于傳遞而非運(yùn)算,因此誤差不會(huì)變化。ResNet模型的基本單元?dú)埐顗K便是根據(jù)這一原理構(gòu)建的,一個(gè)殘差塊有兩條路徑F(x)和x,F(x)為擬合路徑操作流程與傳統(tǒng)卷積過(guò)程一致,x為恒等映射,在輸入激活函數(shù)之前兩者要進(jìn)行與運(yùn)算。

2 基于深度學(xué)習(xí)的目標(biāo)檢測(cè)

圖像識(shí)別模型能夠識(shí)別整幅圖像的類(lèi)別,難以對(duì)圖像內(nèi)部進(jìn)行目標(biāo)識(shí)別定位,目標(biāo)檢測(cè)模型則具備相應(yīng)功能。目標(biāo)檢測(cè)模型根據(jù)其檢測(cè)階段數(shù)的不同可以分為單階段目標(biāo)檢測(cè)模型和兩階段目標(biāo)檢測(cè)模型,重點(diǎn)研究這兩類(lèi)目標(biāo)檢測(cè)算法中較先進(jìn)的檢測(cè)算法FasterRCNN與YOLOv4的工作原理[2]。

2.1 FasterRCNN

圖像輸入后,該模型借助卷積神經(jīng)網(wǎng)絡(luò)獲取特征圖;然后,利用RPN來(lái)生成候選框,在特征圖中投影候選框以此拉生成特征矩陣;基于ROIpooling層將各特征矩陣縮放到特征圖(尺寸7×7),展平特征圖后利用全連接層獲取預(yù)測(cè)結(jié)果。

2.2 YOLOv4

YOLOv4是在YOLOv3的基礎(chǔ)上提出的,其檢測(cè)準(zhǔn)確率更高,檢測(cè)速度更快。YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)主要分為了輸入層、骨干網(wǎng)絡(luò)、頸部以及頭部這4部分,其中輸入層,主要負(fù)責(zé)輸入待檢測(cè)的特征圖像,骨干網(wǎng)絡(luò)為CSPDarknet結(jié)構(gòu)主要負(fù)責(zé)特征提取工作,頸部主要包含了SPPNet和PANet,主要負(fù)責(zé)對(duì)主干網(wǎng)絡(luò)提取到的特征信息進(jìn)行池化下采樣以及特征融合操作,頭部則為YOLOv4網(wǎng)絡(luò)的輸出層,負(fù)責(zé)對(duì)檢測(cè)結(jié)果進(jìn)行輸出的作用。當(dāng)圖像輸入進(jìn)YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)時(shí),網(wǎng)絡(luò)首先會(huì)把圖像的大小調(diào)整為416×416的大小,再將調(diào)整后的圖像進(jìn)行分割,劃分為13×13、26×26以及52×52的網(wǎng)格。當(dāng)圖像中需要被檢測(cè)的特征信息的中心點(diǎn)在某一個(gè)網(wǎng)格上時(shí),那么就由這個(gè)網(wǎng)格來(lái)完成對(duì)該特征信息的檢測(cè)[3]。

3 格網(wǎng)化處理與裂縫檢測(cè)方法

該方法應(yīng)用過(guò)程中,需要重采樣原始圖像,為確保所劃分網(wǎng)格能夠?qū)⒄鶊D涵蓋在內(nèi),需要將原始圖像轉(zhuǎn)化為正方形。圖像采樣變換后,利用n×n的正方形網(wǎng)格將圖像均勻分割,每個(gè)網(wǎng)格的位置定義為Pij,其中i,j為橫縱坐標(biāo),借助位置代號(hào)對(duì)圖像中公路橋梁裂縫的分布進(jìn)行規(guī)范化管理。最后,在分類(lèi)模型中輸入格網(wǎng)化處理的圖像,識(shí)別并標(biāo)注裂縫所在網(wǎng)格的位置,實(shí)現(xiàn)對(duì)裂縫位置的快速檢測(cè)[4]。在公路橋梁圖像格網(wǎng)化處理過(guò)程中,n的取值不同,最終模型的應(yīng)用效果也有所不同,為確保所選n值的合理性,可以通過(guò)遍歷正整數(shù)區(qū)間的方式進(jìn)行綜合評(píng)估。一般而言,如果n值較小,在定位圖像中裂縫位置時(shí)將存在精度不足的問(wèn)題;如果n值過(guò)大,則大幅度增加模型運(yùn)算量,工作效率將難以滿足用戶(hù)需求。因此,建議將n的遍歷正整數(shù)區(qū)間設(shè)定為[5,10]。為確定n的最優(yōu)取值,可以應(yīng)用Sn準(zhǔn)確率公式對(duì)最優(yōu)取值進(jìn)行評(píng)定,準(zhǔn)確率計(jì)算公式如下

式中:n為網(wǎng)格行列數(shù),n為正整數(shù)且取值范圍為[5,10],T為模型能準(zhǔn)確區(qū)分背景圖像與裂縫圖像的數(shù)量。

在橋梁裂縫檢測(cè)之前,工作人員需要對(duì)公路橋梁圖像格網(wǎng)化處理,將圖像均勻分割為n×n個(gè)正方形網(wǎng)格,并為每個(gè)網(wǎng)格定義位置代碼。在此基礎(chǔ)上,將各網(wǎng)格圖像作為輸入量利用深度分類(lèi)模型進(jìn)行處理,模型提出圖像特征并在樣本標(biāo)記空間映射所提取特征,確定背景或裂縫區(qū)域的概率。最終,根據(jù)預(yù)先分配的位置信息在原始圖像中標(biāo)記裂縫位置,實(shí)現(xiàn)橋梁裂縫檢測(cè)。

4 圖像分類(lèi)模型與目標(biāo)檢測(cè)模型實(shí)驗(yàn)分析

4.1 實(shí)驗(yàn)準(zhǔn)備

(1)數(shù)據(jù)集采集

初始數(shù)據(jù)集是使用的高清照相機(jī)在某廣東公路橋梁區(qū)域采集,采集時(shí)調(diào)整相機(jī)鏡頭與橋梁裂縫表面近似平行,保持拍攝高度在30 cm左右,為保證采集到的橋梁裂縫圖片易于被深度學(xué)習(xí)模型訓(xùn)練與學(xué)習(xí),挑選光照良好且裂縫特征明顯的位置拍攝采集,拍攝存在裂縫區(qū)域的公路橋梁高分辨率照片500張,通過(guò)數(shù)據(jù)增強(qiáng)方法擴(kuò)充數(shù)據(jù)集,最終得到裂縫圖像40 000張作為實(shí)驗(yàn)數(shù)據(jù)集[5]。

(2)評(píng)價(jià)指標(biāo)

為精準(zhǔn)評(píng)估深度分類(lèi)格網(wǎng)化公路橋梁裂縫檢測(cè)模型的應(yīng)用效果,在模型評(píng)價(jià)過(guò)程中應(yīng)用的多種指標(biāo),分別為模型結(jié)構(gòu)復(fù)雜度、模型參數(shù)量、F1得分、召回率R、精確度P。其中,召回率R與精確度P計(jì)算公式為

式中:TP為正確樣本正確識(shí)別數(shù),FN為正確樣本錯(cuò)誤識(shí)別數(shù),FP為錯(cuò)誤樣本錯(cuò)誤識(shí)別數(shù)。

F1得分是一種兼顧召回率R與精確度P的指標(biāo),其計(jì)算公式為

(3)實(shí)驗(yàn)環(huán)境

使用深度學(xué)習(xí)模型進(jìn)行裂縫檢測(cè)任務(wù)時(shí),因算法結(jié)構(gòu)復(fù)雜,為方便程序運(yùn)行需要調(diào)用開(kāi)源的第三方庫(kù),實(shí)驗(yàn)所用的軟硬件環(huán)境配置如表1所示。

表1 軟硬件配置數(shù)據(jù)

4.2 實(shí)驗(yàn)分析

(1)圖像分類(lèi)識(shí)別算法模型對(duì)比分析

基于深度學(xué)習(xí)的格網(wǎng)化橋梁裂縫檢測(cè)技術(shù)主要依靠圖像識(shí)別模型對(duì)其中分屬不同格網(wǎng)的圖像進(jìn)行識(shí)別來(lái)展開(kāi)的工作,所以圖像識(shí)別模型的選擇對(duì)于整個(gè)檢測(cè)過(guò)程的實(shí)施十分重要,分別對(duì)當(dāng)前具有代表性的圖像識(shí)別模型AlexNet,VGG16,ResNet34進(jìn)行實(shí)驗(yàn),根據(jù)檢測(cè)結(jié)果精確度,模型參數(shù)量,結(jié)構(gòu)復(fù)雜度對(duì)模型性能進(jìn)行綜合分析,選擇最適用于橋梁裂縫檢測(cè)的模型作為格網(wǎng)化橋梁裂縫檢測(cè)模型的深度分類(lèi)模型。

實(shí)驗(yàn)期間,初始學(xué)習(xí)率設(shè)定為0.0002,每批次樣本訓(xùn)練數(shù)量為32,應(yīng)用Adam優(yōu)化器,進(jìn)行50次迭代處理。使用預(yù)先準(zhǔn)備分類(lèi)完成的40 000張橋梁裂縫數(shù)據(jù)集,劃分其中75%作為數(shù)據(jù)集,15%作為測(cè)試集,分別訓(xùn)練和測(cè)試AlexNet,VGG16,ResNet34t。實(shí)驗(yàn)結(jié)果如表2所示。

表2 深度學(xué)習(xí)圖像分類(lèi)算法模型對(duì)比

由表2可以看出,在精確度方面AlexNet模型的精確度最低,僅為87.1%,VGG16模型在橋梁裂縫圖像識(shí)別任務(wù)中精度最高,達(dá)到了97.6%,在參數(shù)量方面AlexNet的參數(shù)量最小僅為54.64 mB是其中參數(shù)量最大的模型VGG16的1/5,但是AlexNet由于其結(jié)構(gòu)過(guò)于簡(jiǎn)單對(duì)于圖像特征提取不完全導(dǎo)致圖像識(shí)別的精確度較低。VGG16模型數(shù)據(jù)結(jié)構(gòu)堆積位置明顯,在對(duì)模型進(jìn)行優(yōu)化時(shí)操作簡(jiǎn)便,通過(guò)輕量化處理改進(jìn)后可以在保持精確度不變的情況下,大幅減少模型參數(shù)。綜上所述,考慮模型識(shí)別精度,參數(shù)量,結(jié)構(gòu)復(fù)雜度,建議選擇VGG16模型為基于深度學(xué)習(xí)的格網(wǎng)化橋梁裂縫檢測(cè)中的深度分類(lèi)模型。

(2)目標(biāo)檢測(cè)模型對(duì)比分析

為研究分析所提出基于深度分類(lèi)的格網(wǎng)化公路橋梁裂縫檢測(cè)算法模型的應(yīng)用效果,選擇將該模型與YOLOv4單階段目標(biāo)檢測(cè)以及FasterRCNN兩階段目標(biāo)檢測(cè)這兩種模型進(jìn)行對(duì)比,從F1得分、模型參數(shù)量、召回率、精確度幾個(gè)方面進(jìn)行綜合評(píng)比。在對(duì)比研究過(guò)程中,選擇應(yīng)用6 000張?zhí)崆皹?biāo)注完畢的目標(biāo)分類(lèi)與檢測(cè)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)測(cè)試,數(shù)據(jù)集中的1/4用作測(cè)試集,3/4用作數(shù)據(jù)集,對(duì)比三種算法模型的幾種指標(biāo)。模型訓(xùn)練期間,設(shè)定初始學(xué)習(xí)率為0.000 2,分別進(jìn)行50次迭代。格網(wǎng)化處理方法應(yīng)用過(guò)程中,隨著n×n網(wǎng)格中n取值的增加,網(wǎng)格分割的精細(xì)化程度將進(jìn)一步增加,但大量劃分網(wǎng)格或減少各網(wǎng)格圖像中裂縫特征量,進(jìn)而對(duì)精度造成影響,而且大量網(wǎng)格也會(huì)導(dǎo)致計(jì)算量大幅度增加。n取值如果較小,則會(huì)影響圖像中裂縫的定位精細(xì)化程度,本次實(shí)驗(yàn)選擇n取值為10進(jìn)行分析,得到數(shù)據(jù)對(duì)比結(jié)果如表3所示。

表3 橋梁裂縫檢測(cè)模型數(shù)據(jù)對(duì)比

由表3可知,精確度P和召回率R都遠(yuǎn)高于基于深度學(xué)習(xí)的目標(biāo)檢測(cè)模型,識(shí)別精度相較于FasterRCNN高了3.3%,比YOLOv4更是高了25.9%。在召回率方面,M_model的召回率相較于FasterRCNN高了44.1%,相較于YOLOv4高了63.9%。證明了設(shè)計(jì)的格網(wǎng)化處理方法相比于目標(biāo)檢測(cè)模型的先驗(yàn)框選取策略更適合應(yīng)用在橋梁裂縫檢測(cè)任務(wù)中,為更客觀的評(píng)價(jià)設(shè)計(jì)模型,應(yīng)用F1得分指標(biāo)對(duì)模型效果進(jìn)行對(duì)比。結(jié)果表明,格網(wǎng)化算法模型的F1得分為0.97,遠(yuǎn)高于其余兩種模型,進(jìn)一步驗(yàn)證了所提出算法的實(shí)用性。

5 結(jié) 語(yǔ)

綜上所述,對(duì)ResNet34、VGG16、AlexNet三種常見(jiàn)的深度學(xué)習(xí)圖像識(shí)別算法模型與YOLOv4、FasterRCNN兩種目標(biāo)檢測(cè)算法模型的原理進(jìn)行了研究分析,提出了針對(duì)公路橋梁裂縫檢測(cè)的深度分類(lèi)格網(wǎng)化算法模型,通過(guò)試驗(yàn)對(duì)比的方式驗(yàn)證了VGG16模型在圖像識(shí)別中的應(yīng)用優(yōu)勢(shì),驗(yàn)證了基于VGG16模型、格網(wǎng)化處理進(jìn)行橋梁裂縫檢測(cè)的可行性。此外,研究期間,工作人員發(fā)現(xiàn)VGG16模型存在模型參數(shù)量較大的問(wèn)題,在實(shí)際應(yīng)用過(guò)程中需要對(duì)其進(jìn)行輕量化改造,進(jìn)一步提升算法模型的實(shí)用性。