基于通道注意力機(jī)制的裂縫檢測研究

賈睿JIA Rui；趙紅巖ZHAO Hong-yan

（遼寧省交通高等專科學(xué)校，沈陽 110122）

1 研究背景

交通在國民經(jīng)濟(jì)建設(shè)和國防建設(shè)等領(lǐng)域起著重要作用，且與人民群眾的日常生活息息相關(guān)。近年來，我國交通建設(shè)取得了長足進(jìn)步，其中道路交通作為最基本的交通方式，在里程總量和通行速度上都實(shí)現(xiàn)了跨越式發(fā)展。由于路面荷載作用以及外部環(huán)境的影響，道路路面因其不斷使用而表現(xiàn)出不同程度的裂縫、坑槽、車轍甚至翻漿等路面常見的病害。

其中裂縫是一種常見的路面缺陷種類，當(dāng)裂縫病害沒有得到有效地養(yǎng)護(hù)時(shí)會(huì)影響行駛舒適度及危害交通運(yùn)輸安全，因此通過定期的道路路面巡檢，及時(shí)發(fā)現(xiàn)裂縫等各類病害，制定適合的道路養(yǎng)護(hù)計(jì)劃，是交通安全領(lǐng)域中重要的研究方向，具有重要的研究價(jià)值[1]。傳統(tǒng)的裂縫檢測是由道路養(yǎng)護(hù)部門安排人員進(jìn)行實(shí)地檢測，存在耗時(shí)長、易受主觀性影響，已不再是道路裂縫檢測的首選方案。人工檢測結(jié)果取決于檢測人員的能力水平，為了降低人工因素帶來的主觀差異性，國內(nèi)外研究機(jī)構(gòu)提出基于計(jì)算機(jī)圖像處理的自動(dòng)檢測方法，包括邊緣和輪廓檢測、平滑處理、形態(tài)學(xué)處理、閾值分割算法等[2]，但這些方法多采用人工設(shè)計(jì)的裂縫特征算子，易受光照、陰影和路面障礙等環(huán)境因素影響，檢測準(zhǔn)確率不高，難以應(yīng)對(duì)復(fù)雜多變的不同道路裂縫[3]。

近年來，隨著計(jì)算機(jī)視覺領(lǐng)域的發(fā)展，深度學(xué)習(xí)和卷積神經(jīng)網(wǎng)絡(luò)被應(yīng)用至道路智能養(yǎng)護(hù)領(lǐng)域，取得了良好表現(xiàn)。不同于傳統(tǒng)圖像處理中需要人為設(shè)計(jì)特征的模式，深度卷積神經(jīng)網(wǎng)絡(luò)具有特征自動(dòng)發(fā)現(xiàn)功能，低級(jí)卷積層能從高分辨率圖像中學(xué)習(xí)局部特征和細(xì)節(jié)信息，高級(jí)卷積層能從低分辨率圖像中學(xué)習(xí)全局特征和語義信息，兩者結(jié)合就能從圖像中定位物體邊界和識(shí)別物體分類[4]。

目前將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于裂縫檢測的主要方式有：利用圖像分類進(jìn)行裂縫分類、利用圖形分割進(jìn)行裂縫識(shí)別，其中利用圖像分割技術(shù)的檢測方法更加符合裂縫檢測業(yè)務(wù)，是當(dāng)前的主流研究方向。采用圖像分割技術(shù)進(jìn)行路面裂縫檢測是從道路原始圖像中分割出裂縫區(qū)域，以像素點(diǎn)為單位，區(qū)分各像素點(diǎn)屬于裂縫還是非裂縫。圖像分割模型一般采用編碼器-解碼器（Encoder-Decoder）結(jié)構(gòu)，編碼器通過逐層卷積操作提取各級(jí)特征，實(shí)現(xiàn)從局部特征到全局特征的發(fā)現(xiàn)，解碼器通過反置卷積操作將高層全局特征逐步還原，從而與原始圖像尺寸相等的特征圖，并進(jìn)行像素級(jí)分類，得到最終裂縫分割結(jié)果。

2 國內(nèi)外研究現(xiàn)狀

近年來，隨著人工智能和深度神經(jīng)網(wǎng)絡(luò)的高速發(fā)展，相關(guān)技術(shù)在交通巡檢養(yǎng)護(hù)領(lǐng)域中也得到了廣泛應(yīng)用。使用基于深度學(xué)習(xí)的圖像分割模型進(jìn)行裂縫檢測時(shí)，結(jié)合裂縫特征提取和裂縫圖像上下文信息，使裂縫識(shí)別更加精準(zhǔn)。Yang[5]使用FCN 網(wǎng)絡(luò)模型進(jìn)行裂縫檢測，采用反卷積層進(jìn)行上采樣，但FCN 網(wǎng)絡(luò)缺少底層細(xì)節(jié)信息，導(dǎo)致檢測結(jié)果準(zhǔn)確率不高。Ronneberger 等人提出U-Net 模型[6]，其采用編碼器和解碼器模式，兩者呈對(duì)稱結(jié)構(gòu)，并通過跳躍連接方式來結(jié)合底層細(xì)節(jié)信息和高層語義信息，逐層恢復(fù)圖像信息。曹錦剛提出了一種基于注意力機(jī)制的裂縫檢測網(wǎng)絡(luò)ACNet[7]，在編碼器和解碼器間加入基于注意力機(jī)制的特征模塊，以利用全局信息和增加對(duì)檢測不同尺度裂縫的魯棒性，更好地提取裂縫特征和位置。顧書豪提出了一種增強(qiáng)語義信息與多通道特征融合的裂縫自動(dòng)檢測算法，在編碼器部分引入擴(kuò)張卷積模塊，增強(qiáng)特征語義表達(dá)能力，在解碼器部分引入通道注意力機(jī)制進(jìn)行特征融合，利用高層全局注意力信息指導(dǎo)高層語義特征與低層細(xì)節(jié)特征的逐級(jí)融合[8]。

目前大多數(shù)裂縫分割模型都通過改進(jìn)U-Net 模型來實(shí)現(xiàn)，但U-Net 模型的特征識(shí)別和學(xué)習(xí)的能力有限，存在裂縫細(xì)節(jié)丟失、無法很好區(qū)分裂縫和背景的問題，同時(shí)UNet 中解碼器中使用上采樣層，造成裂縫細(xì)節(jié)信息丟失，易造成細(xì)小裂縫漏檢的現(xiàn)象。

3 基于通道注意力機(jī)制的裂縫檢測方法

3.1 U-Net 網(wǎng)絡(luò)

U-Net 網(wǎng)絡(luò)采用編碼器-解碼器結(jié)構(gòu)，包含編碼器、解碼器和跳躍連接三部分，其中編碼器用于特征提取，解碼器用于上采樣，跳躍連接用于信息融合。編碼器（Encoder）用于圖像特征提取，包含兩個(gè)3×3 卷積層和一個(gè)2×2 最大池化層，在每次下采樣運(yùn)算后，卷積核通道數(shù)會(huì)翻倍，最后將卷積運(yùn)算結(jié)果運(yùn)送到對(duì)應(yīng)解碼器中。解碼器（Decoder）用于從對(duì)特征圖進(jìn)行上采樣操作，包含一個(gè)2×2 轉(zhuǎn)置卷積，將特征圖尺寸擴(kuò)張兩倍，并將通道數(shù)縮小為一半，然后再運(yùn)行兩個(gè)3×3 卷積層進(jìn)一步計(jì)算特征。跳躍連接（Skip Connection）將底層圖像特征和高層語義特征相連接，兩者一起參與解碼器運(yùn)算，獲取更準(zhǔn)確的圖像語義信息，提升最終結(jié)果準(zhǔn)確率。

3.2 CA U-Net 網(wǎng)絡(luò)

為了更好地使用U-Net 對(duì)裂縫圖像進(jìn)行分割，讓模型關(guān)注重要的裂縫特征，抑制不重要的背景特征，提出一種基于通道注意力的路面裂縫分割網(wǎng)絡(luò)CA U-Net（Channel Attention U-Net），采用編碼器-解碼器結(jié)構(gòu)，其網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示。

其中，CBR 由卷積層+批量歸一化層+激活層組成，包含兩個(gè)3×3 標(biāo)準(zhǔn)卷積核、ReLU 激活函數(shù)和最大池化模塊。在編碼器中引入通道注意力模塊，提升裂縫特征語義表達(dá)能力，利用高語義層注意力權(quán)重信息來優(yōu)化特征融合，弱化非裂縫背景和噪聲對(duì)于模型帶來的影響，從而解決UNet 在圖像特征提取過程中依賴固定權(quán)重的問題。

通道注意力模塊采用SE Block，通過學(xué)習(xí)的方式來自動(dòng)學(xué)習(xí)到各個(gè)特征通道的重要程度，對(duì)各通道進(jìn)行加權(quán)運(yùn)算，使模型更加關(guān)注信息量最大的特征通道，抑制那些不重要的特征通道，從而提升模型分割準(zhǔn)確度。同時(shí)，將增加注意力權(quán)重后的特征通過跳躍連接傳遞至解碼器，融合高語義低分辨率全局特征和低語義高分辨率細(xì)節(jié)特征，顯式地建模不同層級(jí)裂縫特征之間的相互依賴關(guān)系，增加多尺寸裂縫檢測的魯棒性，更好地提取裂縫特征和定位裂縫位置。

4 實(shí)驗(yàn)結(jié)果與分析

4.1 實(shí)驗(yàn)數(shù)據(jù)

實(shí)驗(yàn)采用的數(shù)據(jù)集為Crack500 與CrackForest，兩者是裂縫檢測領(lǐng)域主流開源數(shù)據(jù)集。Crack500 裂縫數(shù)據(jù)集，包含1896 張訓(xùn)練圖像、348 張驗(yàn)證圖像、1123 張測試圖像，所有圖片經(jīng)過預(yù)處理后分辨率調(diào)整為640×360；CrackForest裂縫數(shù)據(jù)集，包含118 張裂縫圖像，分辨率為480×320。兩個(gè)裂縫數(shù)據(jù)集中都包含多類型裂縫圖像，既有清晰的裂縫圖像，也有帶陰影、油漬、車轍等噪聲的裂縫圖像。

4.2 模型評(píng)估

為了評(píng)估裂縫分割的性能，并考慮到裂縫數(shù)據(jù)集中存在類別分布不平衡的情況，僅僅使用準(zhǔn)確率和召回率作為評(píng)價(jià)指標(biāo)不公平，因此本文采用F1 分?jǐn)?shù)（F1-score）、平均交并比（mIoU）、裂縫分割精準(zhǔn)率（Crack Acc）和裂縫分割召回率（Crack Recall）來進(jìn)行模型評(píng)估。F1 分?jǐn)?shù)用于評(píng)估模型對(duì)于裂縫與非裂縫的區(qū)分準(zhǔn)確性，同時(shí)兼顧考慮精確率和召回率兩項(xiàng)指標(biāo)；平均交并比是用于評(píng)估模型對(duì)于裂縫與非裂縫的分割效果，對(duì)前景和背景類別分別計(jì)算交并比，并取平均值。F1 分?jǐn)?shù)和平均交并比這兩項(xiàng)指標(biāo)越高，代表模型對(duì)裂縫智能識(shí)別和檢測準(zhǔn)確度越高，綜合性能越好。

4.3 實(shí)驗(yàn)結(jié)果

為驗(yàn)證算法有效性，綜合比較各圖像分割模型對(duì)裂縫檢測性能，分別在隧道裂縫數(shù)據(jù)集Crack500 和Crack Forest 上進(jìn)行了實(shí)驗(yàn)，將提出的模型結(jié)構(gòu)與FCN-48、UNet 等圖像分割網(wǎng)絡(luò)模型進(jìn)行實(shí)驗(yàn)比較，在同一運(yùn)行環(huán)境下進(jìn)行對(duì)比分析。

從表1 中可以看出，在Crack500 和CrackForest 數(shù)據(jù)集上，本文提出的CA U-Net 分割模型明顯優(yōu)于其他對(duì)比分割模型，mIoU 分別達(dá)到75.12%、76.12%，F(xiàn)1-Score 分別達(dá)到84.08%、84.45%，Crack Acc 分別達(dá)到69.04%、66.27%，Crack Recall 分別達(dá)到70.9%、72.65%，對(duì)比基礎(chǔ)U-Net 模型，mIoU 和F1-Score 分別提升了2.97%、2.26%。實(shí)驗(yàn)數(shù)據(jù)表明此分割模型具有很好的泛化性能，可以推廣到其他裂縫檢測任務(wù)上。

表1 不同裂縫數(shù)據(jù)集上分割模型性能指標(biāo)對(duì)比

為了更直觀的對(duì)比上面三種分割模型的效果，對(duì)三種分割模型的分割結(jié)果進(jìn)行可視化對(duì)比，結(jié)果如圖2 所示。在分割結(jié)果對(duì)比圖中，可以看出對(duì)于簡單的裂縫，三種檢測模型的檢測結(jié)果都比較理想，能夠檢測出大部分裂縫，但對(duì)于裂縫邊緣，F(xiàn)CN 和U-Net 兩種模型檢測效果一般，而CA U-Net 模型能夠很好檢測出裂縫輪廓和邊緣；對(duì)于復(fù)雜的裂縫（包含橫向裂縫、縱向裂縫、裂縫寬度不同），F(xiàn)CN 和U-Net 兩種模型檢測效果不好，容易受到各種噪聲影響，很多裂縫沒有被檢測出，漏檢現(xiàn)象明顯，裂縫邊緣不夠清晰準(zhǔn)確，而CA U-Net 模型對(duì)復(fù)雜、細(xì)小的裂縫能夠進(jìn)行很好的檢測，漏檢的情況相對(duì)比較少，精準(zhǔn)率和召回率有提升，能夠獲得與Ground Truth 相似的分割結(jié)果。

5 結(jié)束語

本文針對(duì)路面裂縫圖像的特點(diǎn)，提出一種CA U-Net圖像分割模型，該模型引入通道注意力檢測模塊，將其融入U(xiǎn)-Net 中，顯式地建模不同層級(jí)裂縫特征之間的相互依賴關(guān)系，自主學(xué)習(xí)各個(gè)特征通道權(quán)重，讓模型關(guān)注重要的裂縫特征，弱化背景和噪聲帶來的影響。采用Dice 損失函數(shù)來應(yīng)對(duì)裂縫圖像前后背景不平衡問題，提升分割性能，增加不同尺度裂縫檢測的魯棒性。

實(shí)驗(yàn)結(jié)果表明，本文提出的分割模型在Crack500 和CrackForest 兩個(gè)數(shù)據(jù)集上都得到了很好的裂縫識(shí)別分割，并且在平均交并比和F1 得分兩個(gè)綜合評(píng)價(jià)指標(biāo)上證明了該模型有效性，mIoU 分別達(dá)到75.12%、76.12%，F(xiàn)1-Score分別達(dá)到84.08%、84.45%，對(duì)比基礎(chǔ)U-Net 模型分別提升了2.97%、2.26%。實(shí)驗(yàn)數(shù)據(jù)表明本分割模型具有很好的泛化性能。在后續(xù)的工作中可近一步提升模型特征提取能力，優(yōu)化裂縫檢測速度，降低模型計(jì)算量，進(jìn)一步提高模型效率、準(zhǔn)確率和泛化能力。