基于注意力融合的三維探地雷達(dá)道路病害檢測(cè)

韓海航，莫佳笛，周春鵬，王洋洋2,，于 智，顧靜軍

(1.浙江省交通運(yùn)輸科學(xué)研究院 道路工程研究所，浙江 杭州 310039；2.浙江大學(xué) 工程師學(xué)院，浙江 杭州 310015；3.浙江大學(xué) 計(jì)算機(jī)學(xué)院 浙江省服務(wù)機(jī)器人重點(diǎn)實(shí)驗(yàn)室，浙江 杭州 310027)

0 引 言

及時(shí)發(fā)現(xiàn)并識(shí)別道路存在的病害問(wèn)題對(duì)于延長(zhǎng)道路使用年限和確保車輛安全行駛至關(guān)重要[1]。為此，研究人員必須定期檢查和評(píng)估道路性能，并使用宏觀和微觀的分析方法來(lái)對(duì)材料進(jìn)行分析[2]。由于采集到的道路雷達(dá)數(shù)據(jù)量大而病害問(wèn)題難以分辨，使得傳統(tǒng)的道路病害人工檢測(cè)方法效率低下且耗時(shí)費(fèi)力，故實(shí)現(xiàn)一個(gè)能高效精準(zhǔn)的自動(dòng)化檢測(cè)算法來(lái)替代人工檢測(cè)是目前道路雷達(dá)病害檢測(cè)領(lǐng)域的研究重點(diǎn)。

本文以交通道路檢測(cè)領(lǐng)域中的三維探地雷達(dá)圖譜數(shù)據(jù)為研究對(duì)象，其主要任務(wù)為應(yīng)用機(jī)器視覺(jué)方法進(jìn)行道路病害類別的自動(dòng)識(shí)別。因此，其中核心問(wèn)題是能否有效地識(shí)別出雷達(dá)數(shù)據(jù)其俯視圖(水平斷面)和主視圖(垂直斷面)中的病害特征信息。根據(jù)道路探測(cè)經(jīng)驗(yàn)可得，主視圖利于發(fā)現(xiàn)空洞問(wèn)題，而俯視圖利于發(fā)現(xiàn)層間脫空、裂縫問(wèn)題，所以傳統(tǒng)方案采用兩個(gè)分類器解決各自的問(wèn)題。其主要存在的問(wèn)題為：僅使用單視圖信息訓(xùn)練單視圖上的分類器，多視圖數(shù)據(jù)無(wú)法得到充分利用。然而，本文發(fā)現(xiàn)俯視圖的特征是有利于發(fā)現(xiàn)空洞問(wèn)題；主視圖特征也對(duì)發(fā)現(xiàn)層間脫空、裂縫問(wèn)題有幫助，因此應(yīng)該采用將兩種視圖進(jìn)行融合的方式來(lái)充分利用三維探地雷達(dá)多視圖數(shù)據(jù)，從而提高道路病害分類的準(zhǔn)確率。

1 研究背景

相較于傳統(tǒng)機(jī)器學(xué)習(xí)需要針對(duì)數(shù)據(jù)進(jìn)行大量的特征工程，深度學(xué)習(xí)因其能夠自動(dòng)提取特征同時(shí)又具有極其優(yōu)異的性能，而在近些年得到了快速發(fā)展，被廣泛應(yīng)用于圖像分類、目標(biāo)檢測(cè)等領(lǐng)域。何凱明等提出了一種在網(wǎng)絡(luò)層的輸入和輸出之間添加恒等映射的殘差網(wǎng)絡(luò)(ResNet)[3]以解決較高的網(wǎng)絡(luò)層數(shù)對(duì)模型效果的負(fù)面影響，使深度模型的層數(shù)能夠進(jìn)一步提高。為了解決在殘差網(wǎng)絡(luò)中對(duì)特征重用逐漸減少的問(wèn)題，Sergey等增加了殘差塊的寬度，提出了Wide ResNet[4]。為了確保獲取網(wǎng)絡(luò)中各層之間的最大信息流，Gao等通過(guò)級(jí)聯(lián)來(lái)連接不同層的特征替換了傳統(tǒng)的通過(guò)求和來(lái)連接各網(wǎng)絡(luò)層，提出了DenseNet[5]網(wǎng)絡(luò)結(jié)構(gòu)。

另外，由于在雷達(dá)圖譜中道路受損病害特征難以區(qū)別于普通正常路基，非常依賴于專家的經(jīng)驗(yàn)知識(shí)，近些年深度學(xué)習(xí)方法逐漸被引入到道路領(lǐng)域中以規(guī)避復(fù)雜的特征工程[6]。由于使用不同傳感器可采集到不同的道路結(jié)構(gòu)病害信息，道路病害檢測(cè)方法可根據(jù)其所用設(shè)備技術(shù)、呈現(xiàn)形式與數(shù)據(jù)特征進(jìn)行劃分。Pauly等使用手機(jī)拍攝的圖片數(shù)據(jù)提出了基于卷積神經(jīng)網(wǎng)絡(luò)的裂縫識(shí)別，但其分類較為單一且受環(huán)境因素影響較大[7]。而后，為了克服不同采集環(huán)境以及拍攝設(shè)備差異帶來(lái)的影響，Cha等引入滑動(dòng)窗口實(shí)現(xiàn)自動(dòng)裂縫分類，提高了模型的魯棒性[8]。針對(duì)三維瀝青路表圖像信息，Zhang等提出了基于卷積神經(jīng)網(wǎng)絡(luò)的像素級(jí)自動(dòng)裂縫識(shí)別網(wǎng)絡(luò)CrackNet[9]。針對(duì)探地雷達(dá)采集到的二維圖譜數(shù)據(jù)，沙愛(ài)民等利用3個(gè)卷積神經(jīng)網(wǎng)絡(luò)模型實(shí)現(xiàn)了路表病害識(shí)別、裂縫特征提取以及坑槽特征提取[10]。然后，為了實(shí)現(xiàn)自動(dòng)化道路路基病害識(shí)別，沙愛(ài)民等建立了包含兩個(gè)卷積神經(jīng)網(wǎng)絡(luò)的級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)，分別用于識(shí)別高、低分辨率的探地雷達(dá)圖譜[11]。然而，上述方法都是基于單輸入的二維圖像信息進(jìn)行實(shí)現(xiàn)的，不適用于目前常見(jiàn)的三維探地雷達(dá)收集到的多視圖數(shù)據(jù)信息，目前針對(duì)更復(fù)雜的三維路基病害暫無(wú)好的自動(dòng)解決方案[2]。同時(shí)，深度學(xué)習(xí)算法模型通常包含著大量需要訓(xùn)練的參數(shù)，需要大量帶標(biāo)注的樣本數(shù)據(jù)來(lái)對(duì)網(wǎng)絡(luò)參數(shù)值進(jìn)行更新，才能達(dá)到較高準(zhǔn)確率。但由于道路雷達(dá)圖譜數(shù)據(jù)的缺乏標(biāo)注，道路工程領(lǐng)域的研究受到了很大的限制[12]。因此在樣本數(shù)量較小的情況下充分利用信息從而進(jìn)行道路病害的準(zhǔn)確識(shí)別也是目前急需解決的問(wèn)題。

本文主要研究對(duì)象為交通道路檢測(cè)領(lǐng)域中的三維探地雷達(dá)圖譜數(shù)據(jù)。三維探地雷達(dá)相較于其它二維檢測(cè)手段能更為準(zhǔn)確地檢測(cè)出道路內(nèi)部隱藏的病害信息，因此被廣泛應(yīng)用于高速公路、市政道路[13]的道路狀態(tài)檢測(cè)。其收集到的數(shù)據(jù)呈多視圖顯示，結(jié)合水平斷面(俯視圖)和沿行進(jìn)方向的垂直斷面(主視圖)分析單視圖上所呈現(xiàn)的病害特征信息即可判斷道路所屬病害類別，以主視圖為主、俯視圖為輔的傳統(tǒng)病害類別決策器如圖1所示。根據(jù)俯視圖和主視圖的病害特征，道路病害可以分為3類：空洞、層間脫空和裂縫。

圖1 道路病害類別判別流程

為了解決傳統(tǒng)算法流程(如圖2(a)所示)存在的問(wèn)題，本文提出了一種可利用三維探地雷達(dá)多視圖數(shù)據(jù)的雙塔網(wǎng)絡(luò)模型，將視圖特征融合和自注意力機(jī)制相結(jié)合，實(shí)現(xiàn)道路病害的端到端檢測(cè)與識(shí)別，其整體結(jié)構(gòu)如圖2(b)所示。首先，以DenseNet為基礎(chǔ)改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)，提出了基于雙視圖的雙塔模型，將俯、主視圖兩種圖像信息分別作為輸入在單視圖上訓(xùn)練特征提取器，用于提高網(wǎng)絡(luò)對(duì)于不同視圖中病害特征的表達(dá)能力。其中，為了進(jìn)一步提高特征表達(dá)能力，在病害特征提取的過(guò)程中，應(yīng)用通道間的注意力機(jī)制提取通道間權(quán)重關(guān)系，抑制無(wú)用通道信息。然后，針對(duì)每個(gè)樣本信息，運(yùn)用注意力機(jī)制學(xué)習(xí)視圖間的權(quán)重關(guān)系，選取對(duì)當(dāng)前病害類別判斷更關(guān)鍵的信息，減少對(duì)與類別決策無(wú)關(guān)的信息的關(guān)注。同時(shí)，為了增強(qiáng)模型預(yù)測(cè)的穩(wěn)定性以及減少輸出的方差，引入多頭注意力機(jī)制。最后，將兩個(gè)視圖特征圖進(jìn)行帶權(quán)融合，經(jīng)過(guò)多層感知機(jī)和Softmax歸一化操作后，輸出道路病害類別預(yù)測(cè)結(jié)果。實(shí)驗(yàn)結(jié)果表明，在三維探地雷達(dá)多視圖數(shù)據(jù)上，本文模型對(duì)于道路病害分類的準(zhǔn)確率較高且穩(wěn)定性較好。由于人工標(biāo)注雷達(dá)圖譜數(shù)據(jù)較為復(fù)雜而且道路病害問(wèn)題在實(shí)際道路中所占比重較小，病害樣本數(shù)量不足。為了進(jìn)一步提升病害分類精度，使用數(shù)據(jù)增強(qiáng)的方法擴(kuò)充樣本數(shù)量。

圖2 算法流程

2 基于注意力融合的多視圖病害分類

三維探地雷達(dá)主要采用步進(jìn)頻率技術(shù)對(duì)道路進(jìn)行檢測(cè)，以獲得針對(duì)不同深度的最佳分辨率，最終呈現(xiàn)出多視圖信息[13]。為了更好提取其呈現(xiàn)的沿行進(jìn)方向的垂直斷面(主視圖)與水平斷面(俯視圖)這兩個(gè)視圖中的重要特征信息從而充分利用數(shù)據(jù)，也能從一定程度上緩解可用樣本數(shù)量少帶來(lái)的過(guò)擬合問(wèn)題，本文提出了針對(duì)三維探地雷達(dá)多視圖數(shù)據(jù)的基于注意力融合的雙塔模型(Dual-AttFusioNet)。下面將從4個(gè)部分對(duì)本文算法進(jìn)行介紹：端到端的雙塔模型、通道間的自注意力機(jī)制、視圖間的注意力機(jī)制，以及道路病害類別預(yù)測(cè)模塊。

2.1 端到端雙塔模型

利用單一視圖信息可識(shí)別出二維空間信息下的病害特征，然后同時(shí)結(jié)合俯、主視圖兩種視圖信息即可判斷道路病害類別，如圖1流程所示。然而，只使用單一視圖存在無(wú)法充分利用雷達(dá)圖譜數(shù)據(jù)的弊端。因此，首先采用3D探地雷達(dá)采集到的雙視圖數(shù)據(jù)作為輸入，在兩個(gè)視圖上分別訓(xùn)練兩個(gè)特征提取器，然后融合雙視圖特征進(jìn)行端到端的道路病害分類，如圖3所示。其中，對(duì)單視圖信息進(jìn)行特征提取時(shí)，使用通道間自注意力機(jī)制來(lái)學(xué)習(xí)通道間權(quán)重分布；利用視圖間注意力機(jī)制針對(duì)每個(gè)樣本學(xué)習(xí)俯、主視圖的重要程度，從而進(jìn)行加權(quán)相加的特征融合。

圖3 本文算法框架

本文使用DenseNet-121網(wǎng)絡(luò)作為基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)，來(lái)提取每個(gè)視圖的信息。兩個(gè)視圖上呈現(xiàn)的病害特征信息差異較大，為了針對(duì)單視圖進(jìn)行更好的特征表達(dá)，在單個(gè)視圖上訓(xùn)練單獨(dú)的特征提取器，且兩個(gè)特征提取器不進(jìn)行參數(shù)共享。單視圖特征提取器的網(wǎng)絡(luò)結(jié)構(gòu)如表1所示，主要包含4個(gè)最大化利用特征的密集塊(Dense Block)，用于降維的過(guò)渡層(Transition Layer)，以及融合雙視圖特征圖的表征層。其中，密集塊包含多次卷積操作并引入卷積核為1×1的卷積操作提高運(yùn)算效率。過(guò)渡層采用卷積、通道間自注意力機(jī)制、池化等操作降低通道數(shù)，減小圖片尺寸。表征層由通道間自注意力機(jī)制、全局平均池化、雙視圖特征融合、全連接、Softmax等操作組成，最終輸出道路病害預(yù)測(cè)結(jié)果。

為了更好提取每個(gè)視圖中的病害特征信息，同時(shí)抑制無(wú)用信息(例如圖像噪聲等)在模型中的表達(dá)，本文在DenseNet網(wǎng)絡(luò)各block之間的過(guò)渡層(Transition Layer)和最終分類層中引入通道間的注意力機(jī)制來(lái)學(xué)習(xí)通道間的權(quán)重分布，如表1所示。隨后，再次結(jié)合注意力機(jī)制用于實(shí)現(xiàn)雙視圖特征的帶權(quán)融合。最終，在雙塔模型的分類層中聯(lián)合雙視圖特征圖進(jìn)行道路病害分類。將上述兩種注意力機(jī)制應(yīng)用于雷達(dá)圖譜數(shù)據(jù)的具體方式將在2.2節(jié)與2.3節(jié)中介紹，病害類別預(yù)測(cè)模塊將在2.4節(jié)中介紹。

表1 改進(jìn)后的DenseNet-121網(wǎng)絡(luò)結(jié)構(gòu)

2.2 通道間注意力機(jī)制

三維探地雷達(dá)采集到的雷達(dá)圖譜數(shù)據(jù)中不僅包含病害特征，還存在其它噪聲對(duì)病害識(shí)別產(chǎn)生影響，如：硬件設(shè)備、干擾信號(hào)等[14]。為了減少特征提取器對(duì)其它無(wú)關(guān)信息的關(guān)注，而更多關(guān)注于提取雷達(dá)圖譜數(shù)據(jù)中的利于病害分類的道路特征信息，因此本文采用通道間自注意力機(jī)制(channel-wised attention)來(lái)學(xué)習(xí)不同通道間的權(quán)重大小，并將學(xué)習(xí)到的通道特征中重要程度分布去對(duì)原始特征見(jiàn)校準(zhǔn)，以體現(xiàn)不同通道的重要性。

若給定某個(gè)視圖，將特征提取過(guò)程的中間特征圖U∈RC×H×W作為輸入，整個(gè)通道間自注意力過(guò)程可以表示為

(1)

圖4 基于Inception的Squeeze-and-Excitation(SE)結(jié)構(gòu)

首先，SE模塊對(duì)輸入特征圖進(jìn)行Squeeze操作，使用全局平均池化(global average pooling)操作將單個(gè)通道上的全部空間特征編碼為一個(gè)基于通道關(guān)系的全局特征向量v∈RC。 若給定空間維度為C×H×W的輸入特征圖U，將其對(duì)應(yīng)的第c個(gè)特征圖記為uc，通過(guò)Squeeze操作后，通道間全局特征v的第c個(gè)元素可表示為

(2)

M=σ(W2ReLU(W1v))

(3)

(4)

由于SE結(jié)構(gòu)簡(jiǎn)單參數(shù)設(shè)定少、計(jì)算量較小，且可添加到不同網(wǎng)絡(luò)結(jié)構(gòu)中，因此本文將SE模塊添加到DenseNet的過(guò)渡層(Transition Layer)以及分類層中，如圖5所示，以提高網(wǎng)絡(luò)對(duì)于道路病害信息的表達(dá)能力，同時(shí)抑制無(wú)用特征。

圖5 SE-DenseNet模塊

2.3 視圖間注意力機(jī)制

從圖1中可以看出，不同病害類別對(duì)于主視圖與俯視圖的信息所偏重程度也是不同的，例如：空洞病害更多的是需要依賴主視圖呈現(xiàn)高亮的病害信息進(jìn)行可判斷，而裂縫問(wèn)題則需要同時(shí)依賴主視圖呈現(xiàn)雙曲線且俯視圖呈現(xiàn)長(zhǎng)條狀的兩種病害信息才可判斷。因此，在進(jìn)行特征融合時(shí)，為了給不同樣本賦予不同融合權(quán)重值，首先使用視圖間注意力機(jī)制，即元素間注意力(element-wised attention)學(xué)習(xí)到不同視圖的重要性，增強(qiáng)重要視圖的權(quán)重值，減小不重要視圖的權(quán)重值[16]，得到每個(gè)樣本關(guān)于視圖間融合的權(quán)重值。隨后，根據(jù)計(jì)算得出的俯、主視圖權(quán)重值對(duì)俯、主視圖進(jìn)行帶權(quán)相加，實(shí)現(xiàn)對(duì)兩個(gè)視圖特征的自適應(yīng)帶權(quán)融合。雙視圖特征融合過(guò)程如圖6所示。

圖6 視圖間注意力特征融合

若給定分別在俯視圖、主視圖上提取到的特征圖分別為A∈RN×d和B∈RN×d，N表示批處理大小(batch size)。利用帶權(quán)相加進(jìn)行視圖融合的完整過(guò)程可表示為

F=αA+βB

(5)

式中：F∈RN×d表示融合兩種視圖后的特征，對(duì)于視圖間的注意力權(quán)重值α,β∈RN由視圖注意力機(jī)制得出，其具體的計(jì)算過(guò)程如下

(6)

(7)

(8)

(9)

(10)

式中：⊕表示為張量拼接操作。引入多頭注意力機(jī)制后得到的視圖融合特征圖維度增加到原注意力機(jī)制維度的k倍。

2.4 病害類別預(yù)測(cè)

(11)

(12)

其中，權(quán)重值Whid,Wout與偏差值bhid,bout是MLP中的參數(shù)，通過(guò)模型訓(xùn)練得到。

(13)

式中：L表示訓(xùn)練集， #C表示樣本類別數(shù)量。在訓(xùn)練過(guò)程中，利用上述的交叉熵?fù)p失函數(shù)進(jìn)行反向梯度傳播，來(lái)更新雙塔模型中所有的可學(xué)習(xí)參數(shù)，包括特征提取器，注意力機(jī)制等等。

3 實(shí)驗(yàn)結(jié)果及分析

3.1 多視圖雷達(dá)圖譜數(shù)據(jù)集

為了驗(yàn)證提出的雙塔模型的有效性和準(zhǔn)確率，本文對(duì)該模型進(jìn)行了大量的實(shí)驗(yàn)。首先，在實(shí)驗(yàn)中所采用的道路圖像數(shù)據(jù)來(lái)源于在浙江省城市道路中使用3D探地雷達(dá)采集的結(jié)果，采集到的原始數(shù)據(jù)中，每一例道路樣本包含兩張圖像數(shù)據(jù)，分別為320×320像素的主視圖灰度圖像和320×230像素的俯視圖灰度圖像。

表2 俯視圖與主視圖的道路病害特征統(tǒng)計(jì)

圖7 預(yù)處理后道路病害類型的效果

表3 道路雷達(dá)數(shù)據(jù)類別統(tǒng)計(jì)

3.2 實(shí)驗(yàn)設(shè)置

本文的實(shí)驗(yàn)采用Pytorch框架，使用的GPU是一塊RTX 3090，運(yùn)行環(huán)境為Python3.8。所有實(shí)驗(yàn)的批處理大小設(shè)置均為32，實(shí)驗(yàn)輪數(shù)(epoch)設(shè)置為80輪，并且使用自適應(yīng)矩估計(jì)(Adam)優(yōu)化器對(duì)參數(shù)進(jìn)行優(yōu)化。實(shí)驗(yàn)中只使用訓(xùn)練集進(jìn)行參數(shù)更新，同時(shí)取在驗(yàn)證集上效果最好的模型，報(bào)告其在測(cè)試集上的準(zhǔn)確度(Accuracy)平均值、標(biāo)準(zhǔn)差。相同實(shí)驗(yàn)設(shè)置重復(fù)10次。因?yàn)椴煌悇e樣本數(shù)量差異較大，也計(jì)算了加權(quán)平均查全率(Recall)以及加權(quán)平均F1分?jǐn)?shù)評(píng)價(jià)模型。若給定預(yù)測(cè)為正類的正樣本TP，預(yù)測(cè)為負(fù)類的負(fù)樣本TN，預(yù)測(cè)為正類的負(fù)樣本FP，預(yù)測(cè)為負(fù)類的正樣本FN，單次實(shí)驗(yàn)各評(píng)價(jià)指標(biāo)計(jì)算方式如下

(14)

(15)

(16)

(17)

實(shí)驗(yàn)中進(jìn)行了對(duì)比方法的設(shè)置。對(duì)于方案一，分別使用6層簡(jiǎn)單卷積神經(jīng)網(wǎng)絡(luò)(CNN-6)、殘差網(wǎng)絡(luò)(ResNet18)、DenseNet121作為分類器與本文的雙塔模型(Dual-AttFusioNet)進(jìn)行對(duì)比，其主要過(guò)程如圖2(a)所示，單獨(dú)訓(xùn)練兩個(gè)分類器，根據(jù)兩個(gè)分類器的輸出得到最終的病害預(yù)測(cè)類別。對(duì)于方案二，分別采用CNN-6、ResNet、DenseNet作為特征提取器，其主要過(guò)程如圖2(b)所示。同時(shí)考慮不同特征融合方式，使用特征拼接(Concatenate)、相加(Add)以及殘差門(mén)控融合(text image residual gating，TIRG融合)[18]等融合方法進(jìn)行對(duì)比實(shí)驗(yàn)。其中，方案二中所有模型均在兩個(gè)視圖上訓(xùn)練兩個(gè)非共享參數(shù)的特征提取器來(lái)提取單視圖上的病害特征信息。另外，將TIRG融合方法引入到道路病害識(shí)別時(shí)，需要指定一類視圖作為主要信息，并且將另一類作為輔助信息。因此，實(shí)驗(yàn)中分別測(cè)試了將主、俯視圖作為主要視圖的兩種不同方案設(shè)置，分別記為T(mén)IRG-主視圖和TIRG-俯視圖。TIRG融合中也可以使用卷積神經(jīng)網(wǎng)絡(luò)(CNN)代替中間多層感知機(jī)進(jìn)行視圖上的特征融合，將該變種記為T(mén)IRG-CNN。

3.3 原始數(shù)據(jù)實(shí)驗(yàn)結(jié)果

上述所有的方案在真實(shí)數(shù)據(jù)上的實(shí)驗(yàn)結(jié)果匯總見(jiàn)表4。

從表4中可知，在同一測(cè)試集下，相較于在不同視圖訓(xùn)練不同分類器的分步預(yù)測(cè)方法(方案一)，使用不同融合方式的端到端預(yù)測(cè)方法(方案二)由于能夠充分利用兩種視圖數(shù)據(jù)，總體上性能有著較大的提升。例如，在方案二中使用簡(jiǎn)單的CNN-拼接方案的各項(xiàng)指標(biāo)是優(yōu)于方案一中的所有對(duì)比方法，包括使用DenseNet121的分類器。更進(jìn)一步，本文所提出的基于注意力融合的雙塔模型(Dual-AttFusioNet)在方案二中的取得了最高的性能，在原始數(shù)據(jù)集上分類精度達(dá)到94.62%，相較于以DenseNet為基礎(chǔ)結(jié)構(gòu)的分步預(yù)測(cè)方法準(zhǔn)確度提升約8.67%，同時(shí)Dual-AttFusioNet的輸出穩(wěn)定性也較好，分類準(zhǔn)確率對(duì)應(yīng)的方差最低。相對(duì)于方案二的其它對(duì)比方案，由于Dual-AttFusioNet采用了多種注意力機(jī)制，包括了特征提取時(shí)的通道間注意力和特征融合時(shí)的視圖間注意力，其能更好地提取樣本數(shù)據(jù)中重要的病害特征信息以及針對(duì)每個(gè)樣本數(shù)據(jù)實(shí)現(xiàn)針對(duì)性的融合，達(dá)到了加強(qiáng)融合的效果，因此本文模型在病害分類任務(wù)上的各項(xiàng)指標(biāo)都是較優(yōu)的。該結(jié)果說(shuō)明了本文方案的有效性。

表4 原始數(shù)據(jù)對(duì)比實(shí)驗(yàn)結(jié)果

3.4 數(shù)據(jù)增強(qiáng)與結(jié)果

上述的實(shí)驗(yàn)是在原始的雷達(dá)道路數(shù)據(jù)上進(jìn)行的測(cè)試，但從表2的數(shù)據(jù)統(tǒng)計(jì)中可以發(fā)現(xiàn)，原始數(shù)據(jù)集的總體樣本數(shù)量是較少的，這對(duì)于訓(xùn)練深度學(xué)習(xí)模型是不利的。另外類別分布是非常不均勻的，例如，在俯視圖中，標(biāo)簽為1的暗斑數(shù)據(jù)集的數(shù)量為129張，而標(biāo)簽為2的亮斑數(shù)據(jù)的數(shù)量?jī)H為46張，標(biāo)簽1和標(biāo)簽2的數(shù)量遠(yuǎn)小于其它類型的數(shù)據(jù)，數(shù)據(jù)不均衡導(dǎo)致模型更傾向于輸出類別多的標(biāo)簽并影響訓(xùn)練的準(zhǔn)確性。

為了解決真實(shí)數(shù)據(jù)中存在帶標(biāo)注樣本少以及病害類別分布不均衡問(wèn)題，進(jìn)一步提高模型的表現(xiàn)，本文在原始數(shù)據(jù)集的基礎(chǔ)上同時(shí)進(jìn)行數(shù)據(jù)增強(qiáng)處理和上采樣處理。由于俯視圖類別較多且病害特征分布更為不均衡，因此首先依據(jù)俯視圖類別分布對(duì)數(shù)據(jù)進(jìn)行上采樣操作，使得俯視圖中每個(gè)類別分布均衡，然后其對(duì)應(yīng)的主視圖數(shù)據(jù)也相應(yīng)進(jìn)行上采樣操作。經(jīng)過(guò)上采樣的操作后，再使用數(shù)據(jù)增強(qiáng)操作進(jìn)行擴(kuò)充。測(cè)試多種數(shù)據(jù)增強(qiáng)方式后，最終選取亮度變換與翻轉(zhuǎn)操作對(duì)均衡后的數(shù)據(jù)集進(jìn)行3倍擴(kuò)充。最終得到了經(jīng)過(guò)上采樣和數(shù)據(jù)增強(qiáng)后的道路雷達(dá)數(shù)據(jù)集，其俯視圖的統(tǒng)計(jì)分布情況見(jiàn)表5。

表5 針對(duì)俯視圖數(shù)據(jù)增強(qiáng)道路病害數(shù)據(jù)

將上述經(jīng)過(guò)處理后的雷達(dá)數(shù)據(jù)(簡(jiǎn)稱增強(qiáng)數(shù)據(jù))重新對(duì)本文的模型進(jìn)行測(cè)試采用訓(xùn)練集訓(xùn)練模型，同時(shí)也對(duì)比了表4中的方法。各種方法在增強(qiáng)數(shù)據(jù)集上的測(cè)試實(shí)驗(yàn)結(jié)果匯總見(jiàn)表6。

表6 增強(qiáng)數(shù)據(jù)對(duì)比實(shí)驗(yàn)結(jié)果

從表6中可以發(fā)現(xiàn)，在增強(qiáng)數(shù)據(jù)集上，方案二總體上相對(duì)于方案一依然具有較大的優(yōu)勢(shì)。同時(shí)，較為深層的神經(jīng)網(wǎng)絡(luò)模型效果對(duì)比原始數(shù)據(jù)集提升明顯，準(zhǔn)確率與穩(wěn)定性均有所提升，其原因是增強(qiáng)數(shù)據(jù)在一定程度上緩解了訓(xùn)練樣本少和樣本不均衡問(wèn)題。本文所提出的Dual-AttFusioNet模型依然取得了最優(yōu)的性能，在增強(qiáng)數(shù)據(jù)集上效果進(jìn)一步提升，準(zhǔn)確率達(dá)到95.78%，查全率為95.87%，F(xiàn)1-score為95.78%，精度相較于原始數(shù)據(jù)提升1.16%。該結(jié)果進(jìn)一步說(shuō)明了方案的有效性。

3.5 消融實(shí)驗(yàn)

為了驗(yàn)證本文提出的Dual-AttFusioNet模型中各模塊的作用和存在的必要性，進(jìn)行了關(guān)于模型的消融實(shí)驗(yàn)，分別對(duì)Dual-AttFusioNet模型中的模塊進(jìn)行去除。進(jìn)行驗(yàn)證的模塊包括通道間注意力(SEnet)、視圖間注意力融合(Attfusion)、深度特征提取器(DenseNet)、非共享參數(shù)視圖特征提取(Separate Encoder)。本次實(shí)驗(yàn)在原始道路數(shù)據(jù)集上進(jìn)行測(cè)試，其它實(shí)驗(yàn)設(shè)置與之前保持一致。其中，為了驗(yàn)證通道間注意力機(jī)制的有效性，移除特征提取時(shí)采用的通道間注意力機(jī)制；為了驗(yàn)證視圖間注意力機(jī)制的有效性，變更視圖融合時(shí)采用的視圖間注意力機(jī)制為簡(jiǎn)單相加融合方式；為了驗(yàn)證深度特征提取器，變更特征提取器DenseNet121為ResNet18；為了驗(yàn)證非共享參數(shù)視圖特征提取，使用兩個(gè)共享網(wǎng)絡(luò)參數(shù)權(quán)重的特征提取進(jìn)行實(shí)驗(yàn)。消融實(shí)驗(yàn)結(jié)果如圖8所示，橫坐標(biāo)表示原始Dual-AttFusioNet模型中被去除的模塊，縱坐標(biāo)表示在測(cè)試集上的分類準(zhǔn)確率。從結(jié)果中可以看出，原始Dual-AttFusioNet模型的性能是最好的，去除掉模型中任何的模塊都會(huì)對(duì)分類性能產(chǎn)生影響。

圖8 消融實(shí)驗(yàn)結(jié)果

3.6 參數(shù)分析

為了驗(yàn)證模型中超參數(shù)對(duì)于最終病害分類效果的影響，本文在原始數(shù)據(jù)集上進(jìn)行參數(shù)敏感性分析，主要的參數(shù)包括Dropout系數(shù)與L2正則權(quán)重衰退系數(shù)(weight decay)。將Dropout系數(shù)設(shè)為0,0.1,…,0.5進(jìn)行6組對(duì)比實(shí)驗(yàn)，測(cè)試其對(duì)于模型準(zhǔn)確度的影響，每組進(jìn)行10次重復(fù)實(shí)驗(yàn)并取平均，結(jié)果見(jiàn)表7。隨著Dropout系數(shù)的增加，模型性能整體呈下降趨勢(shì)，先緩慢下降而后快速下降。實(shí)驗(yàn)結(jié)果表明，本文提出的模型對(duì)于Dropout參數(shù)較為敏感，訓(xùn)練過(guò)程中刪去的特征越多，模型的精度越差。

表7 Dropout實(shí)驗(yàn)結(jié)果

為了測(cè)試權(quán)重衰退系數(shù)對(duì)于模型準(zhǔn)確度的影響，將衰退系數(shù)分別設(shè)置設(shè)為0,1e-06,…,1e-02，即每次變化一個(gè)數(shù)量級(jí)進(jìn)行6組對(duì)比實(shí)驗(yàn)。每組進(jìn)行10次重復(fù)實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果取平均值，結(jié)果見(jiàn)表8。從總體上來(lái)看，隨著衰退系數(shù)的變化，模型性能整體變化不大，說(shuō)明對(duì)于權(quán)重衰退系數(shù)不敏感。當(dāng)衰退系數(shù)取值為1e-03時(shí)，模型的分類準(zhǔn)確率最佳。

表8 衰退系數(shù)實(shí)驗(yàn)結(jié)果

4 結(jié)束語(yǔ)

本文在三維探地雷達(dá)收集到的多視圖雷達(dá)圖譜數(shù)據(jù)集上，針對(duì)道路病害類別預(yù)測(cè)任務(wù)，提出了同時(shí)利用兩種視圖的端到端深度注意力雙塔模型。首先，針對(duì)兩種視圖信息訓(xùn)練分別兩個(gè)不同參數(shù)的特征提取器，可提高網(wǎng)絡(luò)對(duì)于單一視圖的表征能力。并且在特征提取時(shí)引入通道間注意力機(jī)制學(xué)習(xí)通道間權(quán)重關(guān)系，進(jìn)一步提高網(wǎng)絡(luò)的特征表達(dá)能力。最后，再次利用注意力機(jī)制逐元素學(xué)習(xí)融合兩個(gè)視圖時(shí)的權(quán)重關(guān)系，增強(qiáng)重要視圖的權(quán)重值，提高預(yù)測(cè)精度。實(shí)驗(yàn)結(jié)果表明，本文算法在雷達(dá)圖譜數(shù)據(jù)集上取得較優(yōu)的預(yù)測(cè)效果，預(yù)測(cè)精度高于基于病害識(shí)別流程分布預(yù)測(cè)約8%。通道間與視圖間的兩次注意力機(jī)制的應(yīng)用可有效提高模型對(duì)于道路病害信息的表征能力，減少特征信息的丟失，提高圖像信息處理的準(zhǔn)確性。未來(lái)，計(jì)劃從數(shù)據(jù)、模型兩個(gè)方面對(duì)本文算法進(jìn)行改進(jìn)。現(xiàn)有雷達(dá)圖譜數(shù)據(jù)集中帶標(biāo)注的樣本數(shù)量較小，考慮使用基于深度學(xué)習(xí)的數(shù)據(jù)增強(qiáng)方法來(lái)擴(kuò)增數(shù)據(jù)。同時(shí)可使用小樣本學(xué)習(xí)對(duì)目前的模型進(jìn)行增強(qiáng)，如：小樣本度量學(xué)習(xí)、元學(xué)習(xí)等。