混合擴(kuò)張卷積和注意力機(jī)制的路面裂縫檢測(cè)

瞿 中，李 明

(重慶郵電大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，重慶 400065)

0 引 言

路面裂縫檢測(cè)對(duì)延長(zhǎng)路面壽命和保證路面結(jié)構(gòu)安全具有重要的意義。近年來(lái)，國(guó)內(nèi)外學(xué)者已提出了一系列自適應(yīng)的裂縫檢測(cè)算法。早期裂縫檢測(cè)算法大多都基于數(shù)字圖像處理技術(shù)。Zhou等[1]提出一種基于小波變換的裂縫檢測(cè)算法。Li等[2]提出了一種基于K-means聚類的路面裂縫分割算法。Qu等[3]提出了一種基于改進(jìn)遺傳規(guī)劃的裂縫檢測(cè)算法。但是對(duì)于數(shù)字圖像處理技術(shù)來(lái)說(shuō)，絕大多數(shù)方法對(duì)于特征提取的處理都采用手工提取，其針對(duì)性較強(qiáng)，泛化能力較弱，不能很好適配所有噪聲情況下的裂縫圖像。

近年來(lái)一些基于深度學(xué)習(xí)的裂縫檢測(cè)算法層出不窮。Yang等[4]提出一種基于特征金字塔的裂縫檢測(cè)算法。Qu等[5]提出了一種基于注意力機(jī)制和多特征融合的裂縫檢測(cè)算法。Zhou等[6]提出一種高精度的裂縫檢測(cè)模型，該模型使用條形池化減少特征損失并使用注意力機(jī)制提高模型識(shí)別精度。基于深度學(xué)習(xí)的裂縫檢測(cè)算法會(huì)隨著網(wǎng)絡(luò)層數(shù)的增加導(dǎo)致分辨率降低，可供提取的有效局部和全局特征變少，成為精度提升的瓶頸。

本文提出了一種基于混合擴(kuò)張卷積和空間-通道注意力機(jī)制的路面裂縫檢測(cè)算法。該算法基于改進(jìn)的U-Net[7]網(wǎng)絡(luò)，在編碼階段，使用空間-通道注意力機(jī)制增強(qiáng)裂縫特征，抑制非裂縫特征。混合擴(kuò)張卷積可以在保持輸入圖像分辨率不變的前提下擴(kuò)大網(wǎng)絡(luò)模型感受野，而在卷積神經(jīng)網(wǎng)絡(luò)深層部分，由于不斷對(duì)圖像進(jìn)行降采樣操作來(lái)擴(kuò)大感受野，造成了圖像在獲取特征時(shí)大量局部特征信息丟失。因此在深層網(wǎng)絡(luò)階段使用混合擴(kuò)張卷積來(lái)擴(kuò)大感受野，提取圖像的全局特征。在解碼階段引入深監(jiān)督學(xué)習(xí)融合多尺度特征，使最終預(yù)測(cè)結(jié)果更接近路面真實(shí)情況。

1 混合擴(kuò)張卷積和注意力機(jī)制的路面裂縫檢測(cè)

在進(jìn)行裂縫檢測(cè)時(shí)，需要被識(shí)別的類別只有裂縫和非裂縫兩種，故可以對(duì)每個(gè)像素點(diǎn)進(jìn)行類別區(qū)分，即二分類的操作。對(duì)于輸入的圖像，經(jīng)過(guò)裂縫檢測(cè)網(wǎng)絡(luò)后都能輸出相應(yīng)的預(yù)測(cè)圖。在預(yù)測(cè)圖中，裂縫像素為白色，非裂縫(背景)像素為黑色。

1.1 網(wǎng)絡(luò)模型

本文提出的裂縫檢測(cè)網(wǎng)絡(luò)模型結(jié)構(gòu)如圖1所示，該網(wǎng)絡(luò)采用改進(jìn)的U-Net網(wǎng)絡(luò)作為主干網(wǎng)絡(luò)。在編碼階段，使用空間-通道注意力機(jī)制(spatial-channel attention mechanism，scSE)增強(qiáng)對(duì)裂縫特征的關(guān)注。該模塊結(jié)合了空間注意力機(jī)制(spatial attention mechanism，sSE)和通道注意力機(jī)制(Channel attention mechanism，cSE)，能夠有效的增強(qiáng)裂縫特征，抑制非裂縫特征。在網(wǎng)絡(luò)中間部分，采用混合擴(kuò)張卷積模塊(hybrid dilated convolution，HDC)來(lái)提取更多的裂縫特征。混合擴(kuò)張卷積對(duì)于輸入圖像并沒(méi)有進(jìn)行降采樣的操作，其卷積核大小要比一般的卷積核要大很多，既可以在保持輸入圖像分辨率不變的前提下擴(kuò)大模型感受野，獲取到更多的全局特征，又不會(huì)增加模型的參數(shù)量。在解碼階段，使用深監(jiān)督學(xué)習(xí)獲取多尺度裂縫特征，并經(jīng)過(guò)卷積核大小為1×1的卷積進(jìn)行處理。最終，使用多尺度特征融合模塊(multi-scale feature fusion，MFF)對(duì)提取的裂縫特征進(jìn)行融合，使最終的預(yù)測(cè)結(jié)果更接近路面的真實(shí)狀況。在訓(xùn)練網(wǎng)絡(luò)模型時(shí)，輸入一張大小為256×256的裂縫圖像，輸出一張同樣大小的裂縫預(yù)測(cè)圖，并使用概率值來(lái)確定該像素屬于裂縫或非裂縫。概率值為1代表該像素屬于裂縫，概率值為0代表該像素屬于非裂縫。

圖1 裂縫檢測(cè)網(wǎng)絡(luò)模型結(jié)構(gòu)

1.2 混合擴(kuò)張卷積

由于網(wǎng)絡(luò)模型頻繁的下采樣操作，降低了輸入圖像的分辨率，導(dǎo)致隨著模型深度的加深，圖像的局部特征信息也被逐漸丟失。當(dāng)前主流的裂縫檢測(cè)算法都采用卷積神經(jīng)網(wǎng)絡(luò)的方式來(lái)進(jìn)行特征的提取，但隨著網(wǎng)絡(luò)層數(shù)的增加，能夠提取到的特征也變得越來(lái)越少，造成隨著網(wǎng)絡(luò)的逐步加深，模型的參數(shù)量越來(lái)越大，但對(duì)模型精度的提升并沒(méi)有明顯幫助甚至降低模型的檢測(cè)精度和速度。為了避免該現(xiàn)象的發(fā)生，一些裂縫檢測(cè)算法引入空洞卷積來(lái)解決感受野變小的問(wèn)題。空洞卷積可以減少下采樣的使用，避免部分細(xì)節(jié)特征的丟失。雖然空洞卷積的引入避免了感受野的減小，但是也帶來(lái)了新的問(wèn)題-棋盤問(wèn)題。所謂棋盤問(wèn)題就是連續(xù)的卷積層使用相同空洞率(Dilated Rate，r)，如圖2(a)所示(三層卷積核大小為3×3的連續(xù)卷積層，空洞率都為2)，部分像素將不參與中心像素的計(jì)算，整體呈網(wǎng)格狀向外擴(kuò)張，破壞特征信息的連續(xù)性。對(duì)于裂縫檢測(cè)而言，裂縫圖像背景復(fù)雜，裂縫拓?fù)浣Y(jié)構(gòu)多變，如果連續(xù)的卷積層都使用相同的空洞率，盡管在低層卷積層中使用空洞卷積擴(kuò)大網(wǎng)絡(luò)的感受野可以提取更多的裂縫特征，但是隨著網(wǎng)絡(luò)層次的加深，頂層的卷積層會(huì)變的過(guò)于稀疏，造成無(wú)法檢測(cè)細(xì)裂縫的同時(shí)寬裂縫的局部特征也會(huì)丟失，使得檢測(cè)準(zhǔn)確率大大降低。

圖2 空洞卷積問(wèn)題

為了解決該問(wèn)題，引入了混合擴(kuò)張卷積[8]，如圖2(b)所示(三層卷積核大小為3×3的連續(xù)卷積層，空洞率分別為1、2、3)。混合擴(kuò)張卷積的目的是為了讓最后的感受野覆蓋整個(gè)區(qū)域。混合擴(kuò)張卷積需滿足以下條件：①疊加的卷積層空洞率不能有大于1的公約數(shù)；②每組空洞率按照從小到大的方式排列，下組采用相同模式，即[1、2、3、1、2、3]循環(huán)結(jié)構(gòu)；③N個(gè)卷積核大小為K×K的空洞卷積，其空洞率為[r1、r2……ri……rn]，定義兩個(gè)非零點(diǎn)之間最大距離如式(1)所示

Mi=max[Mi+1-2ri，Mi+1-2(Mi+1-ri)，ri]

(1)

Mn=rn， 需滿足M2≤K。 例如卷積核大小為K=3，r=[1、2、5]，M2=2， 滿足M2≤K。 混合擴(kuò)張卷積在不增加額外的模塊的情況下自然地?cái)U(kuò)大網(wǎng)絡(luò)的感受野，而且能夠自然地融入網(wǎng)絡(luò)的原始層中，可以穩(wěn)健地提取上下文語(yǔ)義信息和不同類型的裂紋特征。

本文中提出的混合擴(kuò)張卷積模塊如圖3所示，由3部分組成，每部分空洞卷積空洞率為1、2、5。每部分包括兩層1×1的卷積，一層卷積核大小為3×3的空洞卷積和一層大小為3×3的卷積，每層卷積后進(jìn)行批量歸一化操作。本文將混合擴(kuò)張卷積模塊引入編碼-解碼網(wǎng)絡(luò)的中間部分，該模塊能夠自然融入網(wǎng)絡(luò)中，能夠有效地在保證擴(kuò)大網(wǎng)絡(luò)的感受野的同時(shí)減少局部和長(zhǎng)距離裂縫特征的丟失。混合擴(kuò)張卷積模塊不僅能夠解決傳統(tǒng)空洞卷積存在的問(wèn)題，還能自然而然融入到網(wǎng)路模型中，減少了網(wǎng)絡(luò)模型的參數(shù)量。

圖3 混合擴(kuò)張卷積模塊

1.3 注意力機(jī)制

注意力機(jī)制被廣泛應(yīng)用到卷積神經(jīng)網(wǎng)絡(luò)上，雖然卷積神經(jīng)網(wǎng)絡(luò)可以通過(guò)卷積操作來(lái)獲取圖像的裂縫特征，但是由于裂縫圖像本身裂縫像素較少，且存在大量的冗余噪聲，因此模型可能關(guān)注點(diǎn)會(huì)被這些噪聲所干擾，而注意力機(jī)制恰好可以使得模型在提取特征時(shí)定位到感興趣區(qū)域，降低噪聲對(duì)模型特征提取的影響。本文中使用的空間-通道注意力機(jī)制模塊[9]如圖4所示，該模塊結(jié)合了通道注意力機(jī)制和空間注意力機(jī)制，可以更好增強(qiáng)裂縫特征，抑制非裂縫特征，減少噪聲的影響。

圖4 空間-通道注意力機(jī)制模塊

空間注意力機(jī)制主要是對(duì)目標(biāo)的定位，之后對(duì)定位到的目標(biāo)進(jìn)行選擇，選擇正確的定位點(diǎn)并排除錯(cuò)誤的目標(biāo)定位點(diǎn)，之后將注意力關(guān)注到正確的位置，降低模型對(duì)非必要像素的關(guān)注和檢測(cè)，保留圖像的關(guān)鍵信息。通道注意力機(jī)制的操作是對(duì)圖像的各個(gè)通道進(jìn)行興趣點(diǎn)的關(guān)注，學(xué)習(xí)圖像各個(gè)通道維度的信息特征。兩者的區(qū)別在于在不同維度和角度來(lái)關(guān)注圖像的裂縫特征信息，通道注意力機(jī)制分為Squeeze和Excitation操作。Squeeze操作將各通道的全局特征作為該通道的表示，使用全局平均池化生成各通道的統(tǒng)計(jì)量。Excitation操作通過(guò)在通道維度上提取裂縫的有效性息，計(jì)算各個(gè)通道上對(duì)于裂縫的關(guān)注程度。空間-通道注意力機(jī)制模塊就是將空間注意力機(jī)制和通道注意力機(jī)制相加，能夠得到更精準(zhǔn)的特征圖。

對(duì)于裂縫檢測(cè)而言，由于路面復(fù)雜的背景以及裂縫拓?fù)浣Y(jié)構(gòu)的多變性，空間-通道注意力機(jī)制能夠更好增強(qiáng)裂縫特征，抑制非裂縫特征，提取更多的裂縫特征。本文將空間-通道注意力機(jī)制模塊運(yùn)用在編碼的下采樣階段，每個(gè)下采樣階段使用該模塊可以減少下采樣時(shí)裂縫特征的丟失，有效增強(qiáng)裂縫特征，抑制非裂縫特征。

1.4 多尺度特征融合

在許多檢測(cè)工作中，不同深度和尺度的特征圖所包含的有效信息各不相同，對(duì)檢測(cè)精度都有著不同程度的影響。在卷積神經(jīng)網(wǎng)絡(luò)中，低層特征包含更多的局部信息特征，包含更多的細(xì)節(jié)，但是語(yǔ)義較低，噪聲較大。高層特征語(yǔ)義信息較強(qiáng)，但是分辨率很低，由于頻繁的下采樣操作丟失了許多局部細(xì)節(jié)特征。對(duì)于裂縫檢測(cè)而言，由于裂縫本身的結(jié)構(gòu)特性與周圍噪聲特性較為相似，即使是人眼檢測(cè)也難以很好將其和背景噪聲分開，因此這一特性是當(dāng)前裂縫檢測(cè)領(lǐng)域所遇到的難點(diǎn)。在裂縫檢測(cè)網(wǎng)絡(luò)中，低層的卷積層可以提取到較多的裂縫特征，但是這些特征圖受路面復(fù)雜背景環(huán)境的影響會(huì)存在很多的噪聲、黑斑和污垢等。在經(jīng)過(guò)多層的卷積層和池化層處理之后，高層的卷積可以從這些低層卷積層提取的特征圖中提取到更高級(jí)特征，其噪聲、黑斑和污垢也會(huì)隨之減少，但是隨著網(wǎng)絡(luò)層次的加深許多細(xì)小的裂縫就會(huì)丟失，這樣就造成高層提取的特征圖丟失過(guò)多的細(xì)節(jié)特征，導(dǎo)致檢測(cè)的結(jié)果與路面真實(shí)情況相差甚遠(yuǎn)。由此可以看出，不同卷積層得到的特征圖有各自的優(yōu)缺點(diǎn)，但是不同層之間可以相互補(bǔ)充，將低層提取的特征圖與高層提取的特征圖進(jìn)行融合來(lái)提高裂縫檢測(cè)的精度。

為了解決該問(wèn)題，本文提出了多尺度特征融合，如圖5所示。每一層輸出的特征圖使用卷積核大小為1×1的卷積進(jìn)行處理，再上采樣到輸入圖像的大小，最后融合不同層次特征圖得到最終的預(yù)測(cè)圖。多尺度特征融合模塊融合多尺度和多層次的特征使最終的預(yù)測(cè)圖更接近路面真實(shí)狀況。

圖5 多尺度特征融合模塊

2 實(shí) 驗(yàn)

2.1 數(shù)據(jù)集

(1)DeepCrack：Liu等[10]建立了一個(gè)名為DeepCrack的公共路面數(shù)據(jù)集。該數(shù)據(jù)集由537張人工標(biāo)注的路面裂縫圖像，其中300張用來(lái)訓(xùn)練，237張用來(lái)測(cè)試。對(duì)于一些光滑的路面裂縫圖像，裂縫和背景之間有明顯的區(qū)分，這種類型的裂縫比較容易檢測(cè)[11]。對(duì)于一些粗糙的路面裂縫圖像，裂縫有明顯的遮擋，亮度不均勻，甚至有些裂縫表面有污漬，因此裂縫和背景之間的區(qū)分度相對(duì)而言并不明顯，即使是人眼也很難對(duì)其進(jìn)行區(qū)分，這類裂縫成為了當(dāng)前裂縫檢測(cè)領(lǐng)域的檢測(cè)難點(diǎn)。為了更好訓(xùn)練本文的模型，訓(xùn)練數(shù)據(jù)集的規(guī)模大小是至關(guān)重要的影響點(diǎn)，但由于當(dāng)前公開的裂縫檢測(cè)數(shù)據(jù)集規(guī)模都比較小，會(huì)對(duì)模型的訓(xùn)練造成一定程度的精度降低，因此在訓(xùn)練前對(duì)數(shù)據(jù)集采用數(shù)據(jù)增強(qiáng)的方式進(jìn)行了擴(kuò)充。對(duì)當(dāng)前DeepCrack訓(xùn)練數(shù)據(jù)集中的每幅圖像進(jìn)行8次角度旋轉(zhuǎn)以及水平旋轉(zhuǎn)，旋轉(zhuǎn)角度為[45°、90°、135°、180°、225°、270°、315°、360°]，最終每幅圖像都擴(kuò)充為16幅，即將數(shù)據(jù)集擴(kuò)充到16倍大小。同時(shí)，為了使得模型能夠快速訓(xùn)練并收斂，將訓(xùn)練數(shù)據(jù)集中的圖像縮放到比例為256×256大小。數(shù)據(jù)集的擴(kuò)充只是為了能夠增強(qiáng)模型的精確度和泛化能力，因此在測(cè)試階段并沒(méi)有對(duì)測(cè)試數(shù)據(jù)集進(jìn)行數(shù)據(jù)的擴(kuò)充操作。

(2)CFD：CFD數(shù)據(jù)集[12]由118張480×320像素的圖像組成。每張圖像都有手動(dòng)標(biāo)記的裂紋輪廓。本文采用該數(shù)據(jù)集作為測(cè)試集對(duì)模型進(jìn)行測(cè)試。

(3)CRACK500：Yang等[4]提出了一個(gè)名為CRACK500的路面裂縫數(shù)據(jù)集。該數(shù)據(jù)集由1124張尺寸大小為640×360的路面裂縫圖像組成，每張圖像有較為復(fù)雜的背景。本文使用該數(shù)據(jù)集作為測(cè)試集來(lái)驗(yàn)證所提出的網(wǎng)絡(luò)。

2.2 對(duì)比實(shí)驗(yàn)

為了驗(yàn)證所提出的裂縫檢測(cè)算法的有效性，將所提出的裂縫檢測(cè)算法與現(xiàn)有的裂縫檢測(cè)、邊緣檢測(cè)以及圖像分割算法進(jìn)行對(duì)比。本文的對(duì)比實(shí)驗(yàn)在相同的實(shí)驗(yàn)參數(shù)配置以及硬件環(huán)境條件下進(jìn)行，考慮到數(shù)據(jù)集訓(xùn)練時(shí)間以及效果的因素，本文采用DeepCrack訓(xùn)練數(shù)據(jù)集進(jìn)行訓(xùn)練，并在3個(gè)公開的數(shù)據(jù)集DeepCrack、CFD和Crack500上進(jìn)行了測(cè)試。在訓(xùn)練期間，將每個(gè)輸入圖像都縮放為256×256大小進(jìn)行訓(xùn)練，并將學(xué)習(xí)率設(shè)置為le-4，且最終的側(cè)邊損失權(quán)重固定為[0.5、0.75、1、0.75、0.5]，并采用動(dòng)態(tài)調(diào)整學(xué)習(xí)率的方式來(lái)進(jìn)行訓(xùn)練，在每100個(gè)epoch的時(shí)候?qū)W(xué)習(xí)率設(shè)置為之前的0.1倍，權(quán)重衰減為2e-4，epoch設(shè)置為700，并且每50個(gè)epoch保存一次模型。所有實(shí)驗(yàn)均在配備Tesla-V100-SXM2-32 GB GPU和4核Inter(R)Xeno(R)Sliver 4214 CPU的服務(wù)器上進(jìn)行的。

(1)HED：整體邊緣檢測(cè)網(wǎng)絡(luò)(holistically-nested edge detection，HED)[13]是一種新的邊緣檢測(cè)算法，裂縫的檢測(cè)可以被視為邊緣檢測(cè)任務(wù)，定位裂縫的邊緣細(xì)節(jié)特征，并將其識(shí)別出來(lái)。

(2)DeepCrack：DeepCrack[10]網(wǎng)絡(luò)模型使用VGG16作為骨干網(wǎng)絡(luò)，同時(shí)使用深監(jiān)督模型訓(xùn)練的方式來(lái)提高網(wǎng)絡(luò)的精確度和泛化能力，該模型具有5個(gè)側(cè)邊網(wǎng)絡(luò)，其損失函數(shù)的最終值為所有側(cè)邊網(wǎng)絡(luò)損失值權(quán)重和。

(3)DeepCrackT：DeepCrackT[14]采用SegNet作為模型的骨干網(wǎng)絡(luò)，SegNet網(wǎng)絡(luò)是一種端到端的語(yǔ)義分割網(wǎng)絡(luò)模型，將裂縫檢測(cè)任務(wù)使用語(yǔ)義分割算法來(lái)進(jìn)行解決，因?yàn)槭菍?duì)單個(gè)像素點(diǎn)進(jìn)行預(yù)測(cè)，因此可以很好提高網(wǎng)絡(luò)模型的檢測(cè)精度，將模型的檢測(cè)提升到毫米級(jí)別。因?yàn)樵撍惴ㄅcDeepCrack重名，為了區(qū)分它們，將該算法命名為DeepCrackT。

(4)FPHBN：特征金字塔和分層提升網(wǎng)絡(luò)(feature pyramid and hierarchical boosting network，F(xiàn)PHBN)[4]是基于HED網(wǎng)絡(luò)改進(jìn)的裂縫檢測(cè)網(wǎng)絡(luò)，其最主要的創(chuàng)新是將特征圖金字塔模型和分層推進(jìn)模型納入到網(wǎng)絡(luò)模型中，提高了網(wǎng)絡(luò)模型的檢測(cè)精度和泛化能力。

(5)DeepLab v3+：DeepLab v3+[15]在原有的DeepLab v3的基礎(chǔ)上增加了一個(gè)簡(jiǎn)單有效的解碼器來(lái)修正分割結(jié)果，尤其是目標(biāo)的邊界。

(6)CrackSegNet：CrackSegNet[16]由骨干網(wǎng)絡(luò)、擴(kuò)張卷積、空洞金字塔池化和跳躍連接模塊組成。這些模塊可以用于高效的多尺度特征提取、聚合和分辨率重建，增強(qiáng)了網(wǎng)絡(luò)的分割能力。

(7)CrackW-Net：CrackW-Net[17]通過(guò)卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)跳躍級(jí)往返采樣塊結(jié)構(gòu)，從而構(gòu)建了一種新的像素級(jí)別的語(yǔ)義分割網(wǎng)絡(luò)用于裂縫檢測(cè)。

2.3 評(píng)估指標(biāo)

在深度學(xué)習(xí)中通常需要建立各種網(wǎng)絡(luò)模型來(lái)解決具體問(wèn)題，但是對(duì)于模型的好壞以及其性能需要一定的評(píng)估指標(biāo)來(lái)進(jìn)行評(píng)估。因此為了評(píng)估裂縫檢測(cè)的效果以及所提出的網(wǎng)絡(luò)模型的好壞，本文使用準(zhǔn)確率(Precision，P)、召回率(Recall，R)和F-score(F)作為評(píng)估指標(biāo)。

準(zhǔn)確率主要針對(duì)預(yù)測(cè)結(jié)果而言，代表所有被預(yù)測(cè)為正的樣本中實(shí)際為正樣本的概率。召回率主要針對(duì)原樣本而言，代表實(shí)際為正的樣本中被預(yù)測(cè)為正樣本的概率。在實(shí)際的檢測(cè)中，希望得到高準(zhǔn)確率、高召回率的預(yù)測(cè)結(jié)果，但是通常情況下可以發(fā)現(xiàn)精確率高的模型往往召回率會(huì)降低，當(dāng)提高召回率的時(shí)候，精確率又會(huì)降低。因此需要平衡兩者來(lái)度量模型的好壞，同時(shí)還可以通過(guò)精確率和召回率的最終預(yù)測(cè)數(shù)值來(lái)對(duì)模型進(jìn)行分析，判斷模型精度降低的原因，并針對(duì)具體問(wèn)題和具體問(wèn)題產(chǎn)生的原因來(lái)采取相應(yīng)的措施。F-score結(jié)合了準(zhǔn)確率和召回率，當(dāng)兩者達(dá)到最高時(shí)取得平衡。此外，檢測(cè)結(jié)果中被正確檢測(cè)并判斷為裂縫像素點(diǎn)個(gè)數(shù)的稱為真正例(true positives，TP)，檢測(cè)結(jié)果中將背景像素誤檢為裂縫像素點(diǎn)個(gè)數(shù)的稱為假正例(false positives，F(xiàn)P)，檢測(cè)結(jié)果中被正確檢測(cè)并判斷為背景像素的個(gè)數(shù)稱為真反正例(true negatives，TN)，檢測(cè)結(jié)果中將裂縫像素誤檢為背景像素點(diǎn)個(gè)數(shù)稱為假反正例(false negatives，F(xiàn)N)。綜上所述，Precision、Recall、F-score如式(2)、式(3)、式(4)所示

Precision=TPTP+FP

(2)

Recall=TPTP+FN

(3)

F-score=2×Precision×RecallPrecision+Recall

(4)

由于F-score結(jié)合了準(zhǔn)確率和召回率，能夠很好平衡兩者之間關(guān)系，故本文使用F-score作為最終結(jié)果。

2.4 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證所提出網(wǎng)絡(luò)的有效性，將本文提出的網(wǎng)絡(luò)以及HED、DeepCrack、DeepCrackT、FPHBN、DeepLab v3+、CrackSegNet、CrackW-Net固定在同一硬件環(huán)境及參數(shù)初始化條件，并使用DeepCrack訓(xùn)練集進(jìn)行訓(xùn)練之后，分別在DeepCrack、CFD和CRACK500數(shù)據(jù)集測(cè)試，在DeepCrack、CFD和CRACK500這3個(gè)數(shù)據(jù)集上不同網(wǎng)絡(luò)的檢測(cè)結(jié)果圖像如圖6所示。此外，本文使用所提出的評(píng)估指標(biāo)對(duì)不同的算法進(jìn)行評(píng)估，對(duì)比實(shí)驗(yàn)評(píng)估結(jié)果評(píng)估結(jié)果見(jiàn)表1，在DeepCrack、CFD和CRACK500數(shù)據(jù)集上的準(zhǔn)確率-召回率曲線如圖7所示。

表1 對(duì)比實(shí)驗(yàn)評(píng)估結(jié)果

圖6 自上而下分別是在DeepCrack、CFD和CRACK500這3個(gè)數(shù)據(jù)集上不同網(wǎng)絡(luò)的檢測(cè)結(jié)果圖像

圖7 在DeepCrack、CFD和CRACK500數(shù)據(jù)集上的準(zhǔn)確率-召回率曲線

(1)在DeepCrack上的實(shí)驗(yàn)結(jié)果：從表1中和圖7(a)可以看到在相同的實(shí)驗(yàn)條件下，本文所提出的算法優(yōu)于其它算法，達(dá)到了最高的F-score值。相比較于HED、DeepCrack、DeepCrackT、FPHBN、DeepLab v3+、CrackSegNet、CrackW-Net分別提高10.76%、1.13%、4.41%、8.07%、8.19%、7.03%、3.51%

(2)在CFD上的實(shí)驗(yàn)結(jié)果：從表1中和圖7(b)可以看到在相同的實(shí)驗(yàn)條件下本文所提出的算法優(yōu)于其它算法，達(dá)到了最高的F-score值相比較于HED、DeepCrack、DeeCrackT、FPHBN、DeepLab v3+、CrackSegNet、CrackW-Net分別提高了15.02%、1.81%，4.61%、7.37%、10.35%、9.19%、12.84%。

(3)在CRACK500上的實(shí)驗(yàn)結(jié)果：從表1中和圖7(c)可以看到在相同的實(shí)驗(yàn)條件下本文所提出的算法優(yōu)于其它算法，達(dá)到了最高的F-score值，相比較于HED、DeepCrack、DeepCrackT、FPHBN、DeepLab v3+、CrackSegNet、CrackW-Net分別提高了15.87%、2.78%、5.25%、13.34%、10.78%、15.62%、0.74%。F-score值在該數(shù)據(jù)集上相對(duì)于其它兩個(gè)數(shù)據(jù)集有所下降。

從視覺(jué)角度出發(fā)，根據(jù)圖6可知，本文算法提取的裂縫細(xì)節(jié)保存完整，預(yù)測(cè)結(jié)果受噪聲影響較小，與路面真實(shí)情況較為接近。從客觀角度出發(fā)，由表1和圖7可以看出，本文所提出的算法的各項(xiàng)評(píng)估指標(biāo)高于其它算法。因此，無(wú)論從視覺(jué)角度還是評(píng)估指標(biāo)來(lái)看，本文所提出的算法在復(fù)雜的背景下能夠?qū)α芽p特征進(jìn)行準(zhǔn)確的提取，具有較好的檢測(cè)效果。

2.5 消融實(shí)驗(yàn)

本文使用增減引入的模塊并在DeepCrack數(shù)據(jù)集上進(jìn)行消融實(shí)驗(yàn)來(lái)驗(yàn)證模塊有效性。消融實(shí)驗(yàn)評(píng)估結(jié)果見(jiàn)表2，其中U-Net表示使用最原始的U-Net網(wǎng)絡(luò)去提取裂縫，U-Net+HDC表示在U-Net基礎(chǔ)上引入混合擴(kuò)張卷積模塊，U-Net+HDC+scSE表示U-Net+HDC基礎(chǔ)上引入空間-通道注意力機(jī)制模塊，本文算法表示在U-Net+HDC+scSE的基礎(chǔ)上使用多尺度特征融合。由表2可知，本文所提出的模塊都能提高裂縫檢測(cè)的準(zhǔn)確率，當(dāng)結(jié)合混合擴(kuò)張卷積，空間-通道注意力機(jī)制結(jié)合和多尺度特征融合時(shí)，達(dá)到的效果最好。

表2 在DeepCrack數(shù)據(jù)集上的消融實(shí)驗(yàn)評(píng)估結(jié)果

3 結(jié)束語(yǔ)

本文提出了一種基于混合擴(kuò)張卷積和空間-通道注意力機(jī)制的路面裂縫檢測(cè)算法，解決了復(fù)雜背景下路面裂縫檢測(cè)困難的問(wèn)題。首先將空間-通道注意力機(jī)制融入主干網(wǎng)絡(luò)來(lái)提取裂縫特征。其次在網(wǎng)絡(luò)的中間部分引入混合擴(kuò)張卷積模塊，實(shí)現(xiàn)在增加網(wǎng)絡(luò)的感受野的同時(shí)減少局部特征的丟失。最后使用多尺度特征融合對(duì)提取的裂縫特征進(jìn)行融合，使最終預(yù)測(cè)結(jié)果更接近路面真實(shí)情況。最終本文算法在公開數(shù)據(jù)集上預(yù)測(cè)的F-score值充分地驗(yàn)證了本文算法的有效性。