基于多尺度注意力和空間通道重構(gòu)卷積的沖擊回波頻譜圖像分類

中圖分類號(hào)TP391.4文獻(xiàn)標(biāo)志碼A

收稿日期2024-07-19

資助項(xiàng)目河北省自然科學(xué)基金（E2012209025）；河北省創(chuàng)新能力提升計(jì)劃（20557605D）；教育部產(chǎn)學(xué)合作協(xié)同育人項(xiàng)目（230806528022738）；華北理工大學(xué)研究生創(chuàng)新項(xiàng)目（2023047）

作者簡(jiǎn)介

崔博，男，博士，副教授，研究方向?yàn)樾盘?hào)與信息處理、智能信息處理.mikecui @ ncst.edu. cn

武冰冰（通信作者），女，碩士生，研究方向?yàn)橛?jì)算機(jī)視覺計(jì)算.563842105@qq.com

0 引言

沖擊回波法是一種基于應(yīng)力波的無損檢測(cè)技術(shù)，它在結(jié)構(gòu)厚度評(píng)估、高爐內(nèi)部耐火襯里[1]、混凝土[2]、橋梁[3-4]、軌道[5]等結(jié)構(gòu)的內(nèi)部缺陷和裂縫深度檢測(cè)方面發(fā)揮著關(guān)鍵作用.該技術(shù)在結(jié)構(gòu)表面產(chǎn)生沖擊波并捕捉其反射波，通過分析反射波所形成的沖擊回波信號(hào)頻譜圖的波形信息，來確定缺陷的位置和大小以及被測(cè)物的剩余厚度[.頻譜圖波形的差異是進(jìn)行材料缺陷和厚度檢測(cè)的關(guān)鍵，目前，對(duì)于頻譜圖波形的分類主要依賴人工識(shí)別.然而，人眼的識(shí)別無法保證判斷結(jié)果的準(zhǔn)確性，同時(shí)存在檢測(cè)效率低的問題.

沖擊回波信號(hào)頻譜圖等信號(hào)波形圖像分類方法主要分為傳統(tǒng)方法和深度學(xué)習(xí)方法兩大類.傳統(tǒng)方法包括 K? 均值聚類[]、專家系統(tǒng)[8]、支持向量機(jī)[9]等機(jī)器學(xué)習(xí)方法，這些方法依賴手工設(shè)計(jì)的特征提取過程.這要求研究人員具備深入的領(lǐng)域知識(shí)和大量的實(shí)驗(yàn)調(diào)整，而且特征提取的過程復(fù)雜且準(zhǔn)確率無法保證.相較之下，深度學(xué)習(xí)模型通過層次化的特征提取能力，能夠自動(dòng)學(xué)習(xí)最優(yōu)的特征表示，避免了手動(dòng)設(shè)計(jì)特征提取器的需求.Bi等[10]提出一種結(jié)合深度卷積神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)的自動(dòng)識(shí)別微地震波形的方法，該方法首先使用深度卷積神經(jīng)網(wǎng)絡(luò)從多通道波形中提取特征，然后利用支持向量機(jī)對(duì)這些特征進(jìn)行分類.Li等[1]使用VGG16、ResNet18、AlexNet及其集成模型，對(duì)微地震波形圖像和波譜圖進(jìn)行識(shí)別和分類，實(shí)驗(yàn)結(jié)果表明，ResNet18和集成模型獲得了最高的分類精度.余刃等[12]提出一種深度學(xué)習(xí)和遷移學(xué)習(xí)相結(jié)合的InceptionV3模型訓(xùn)練方法，用于軸承振動(dòng)信號(hào)波形圖像的分類.Ullah等[13]設(shè)計(jì)了由4個(gè)卷積層和4個(gè)池化層組成的二維卷積神經(jīng)網(wǎng)絡(luò)模型，用于將心電信號(hào)分為8類.Jia等[14]使用VGG16卷積神經(jīng)網(wǎng)絡(luò)對(duì)5種牽引網(wǎng)絡(luò)過電壓時(shí)域波形圖像分類.Peng等[15]基于DCNN-Inception模型用于微震數(shù)據(jù)識(shí)別，該模型在已有的卷積神經(jīng)網(wǎng)絡(luò)模型中加入了Inception結(jié)構(gòu).深度學(xué)習(xí)方法使得信號(hào)波形圖像的分類變得更高效和精確.然而，現(xiàn)有深度學(xué)習(xí)方法依賴局部卷積核進(jìn)行卷積操作，主要關(guān)注信號(hào)波形圖像的局部特征.頻譜波形圖像在不同尺度上包含不同的重要信息，傳統(tǒng)的單尺度卷積核因其感受野固定，難以同時(shí)處理這些不同尺度的特征，從而限制了特征提取能力[1.此外，頻譜波形圖像在視覺上較為簡(jiǎn)單，且呈現(xiàn)相似的圖像特征.由于卷積層的權(quán)重共享和多層卷積的疊加，相似特征在不同區(qū)域可能被重復(fù)檢測(cè)，導(dǎo)致特征冗余，增加了模型的計(jì)算成本.

深度學(xué)習(xí)是一種數(shù)據(jù)驅(qū)動(dòng)的方法，其中數(shù)據(jù)的質(zhì)量和數(shù)量對(duì)于模型訓(xùn)練至關(guān)重要.然而，在實(shí)際工程結(jié)構(gòu)中，大多數(shù)區(qū)域完好，僅少數(shù)區(qū)域存在缺陷，同時(shí)受到信號(hào)質(zhì)量和環(huán)境因素的影響.這導(dǎo)致沖擊回波信號(hào)頻譜圖像數(shù)據(jù)集中單峰頻譜圖像的數(shù)量遠(yuǎn)多于多峰頻譜圖像和干擾頻譜圖像，形成類別不平衡問題，這種不平衡限制了少數(shù)類樣本的分類精度，從而降低了分類模型的整體準(zhǔn)確性.常用的解決數(shù)據(jù)類別不平衡問題的方法之一是重采樣，包括過采樣和下采樣.盡管這些方法簡(jiǎn)單易行，但容易導(dǎo)致模型過擬合，影響模型在實(shí)際應(yīng)用中的表現(xiàn).另一種方法是使用專門針對(duì)類別不平衡問題的損失函數(shù).Fo-calLoss是常用于解決樣本類別不平衡的損失函數(shù)，它在交叉熵?fù)p失的基礎(chǔ)上引入一個(gè)調(diào)整因子，降低了容易分類的樣本的權(quán)重，從而使模型更加關(guān)注難以分類的樣本[17].然而，固定的調(diào)整因子難以適應(yīng)訓(xùn)練過程中樣本難度的動(dòng)態(tài)變化，并且存在樣本選擇偏差.Li等[18]提出的Gradient Harmonizing Mecha-nism（GHM）Loss在FocalLoss的基礎(chǔ)上引入梯度密度來衡量樣本難度，并動(dòng)態(tài)調(diào)整樣本權(quán)重，克服了FocalLoss的缺點(diǎn).然而，在類別不平衡嚴(yán)重的數(shù)據(jù)集上，GHMLoss仍存在不足.Cao 等[19]提出的La-bel-Distribution-AwareMargin（LDAM）Loss根據(jù)樣本類別數(shù)量調(diào)整模型對(duì)各類別的決策邊距，從而改善模型對(duì)少數(shù)類的泛化能力，但對(duì)樣本難度的考慮較少.每種損失函數(shù)在應(yīng)對(duì)樣本不平衡問題時(shí)都有其優(yōu)點(diǎn)和局限性.

基于上述情況，本文提出一種用于沖擊回波頻譜圖像分類的卷積神經(jīng)網(wǎng)絡(luò)模型：MHA-SCConvNet（Multi-scale Hybrid Attention and Spatial Channel Re-constructionConvolutionalNeuralNetwork），其結(jié)構(gòu)及功能如下：

1）設(shè)計(jì)一種多尺度混合注意力（Multi-scaleHy-bridAttention，MHA）模塊，該模塊能夠提取不同尺度的圖像特征，同時(shí)增加模型對(duì)不同尺度特征中關(guān)鍵信息的關(guān)注，提高模型對(duì)沖擊回波信號(hào)頻譜圖像的特征提取能力.

2）引入空間通道重構(gòu)卷積（SpatialandChannelReconstructionConvolution，SCConv）模塊，該模塊通過減少空間和通道的冗余特征來減少計(jì)算成本，同時(shí)提高模型的分類性能

3）設(shè)計(jì)新的混合損失函數(shù)（GradientandDistri-butionHarmonizedMarginLoss，GDHMLoss），它融合了GHMLoss和LDAMLoss的優(yōu)點(diǎn)，并動(dòng)態(tài)調(diào)整兩者的權(quán)重比例，從而提高模型對(duì)少數(shù)類樣本和分類困難樣本的關(guān)注度，解決樣本不平衡問題.

1 MHA-SCConvNet模型

MHA-SCConvNet模型主要由MHA模塊、SCCo-nv模塊、卷積層、池化層和全連接層組成.模型的整體結(jié)構(gòu)如圖1所示.在模型中，輸入圖像首先經(jīng)過兩個(gè)順序排列的 3×3 卷積層和一個(gè)最大池化層進(jìn)行處理，提取淺層的圖像特征.其次，通過MHA模塊提取多個(gè)不同尺度的關(guān)鍵特征信息.然后，經(jīng)過SCConv模塊減少圖像中的特征冗余.接下來，再次輸入到兩個(gè) 3×3 卷積層，獲取深層的圖像特征并再次經(jīng)過SCConv模塊，減少深層圖像特征中的信息冗余.經(jīng)過這一系列處理后，特征通過一個(gè)平均池化層加工，然后通過全連接層轉(zhuǎn)換成一維向量.最后，該向量輸入Softmax分類器，用以準(zhǔn)確預(yù)測(cè)沖擊回波信號(hào)頻譜圖像的類別.

圖1MHA-SCConvNet模型結(jié)構(gòu)Fig.1MHA-SCConvNet model structure

1.1 MHA模塊

在傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)中，每個(gè)卷積核只能捕獲一定范圍內(nèi)的特征，導(dǎo)致不同尺寸的卷積核提取的特征包含的信息各異.在處理頻譜波形圖像分類任務(wù)時(shí)，卷積核的大小對(duì)于最終的分類性能有著顯著影響.同時(shí)，在頻譜波形圖像中，關(guān)鍵波形特征通常只占據(jù)圖像的小部分，而大多數(shù)區(qū)域?yàn)榭瞻?這一特性導(dǎo)致卷積神經(jīng)網(wǎng)絡(luò)在濾波處理時(shí)，會(huì)對(duì)大量無關(guān)的圖像區(qū)域進(jìn)行處理.為了解決這兩個(gè)問題，提升模型對(duì)頻譜波形圖像中有效信息的捕捉能力，提高分類精度，本研究提出一種多尺度混合注意力（MHA）模塊，其結(jié)構(gòu)如圖2所示.

MHA模塊采用一種并行策略，在同一網(wǎng)絡(luò)層內(nèi)使用多種尺寸的卷積核進(jìn)行操作.具體而言，模塊同時(shí)執(zhí)行3種不同尺寸的卷積操作，分別為 3×3.5×5 7×7 ，以及一個(gè) 3×3 的最大池化操作，用于多尺度特征提取.隨后，將提取后的特征映射通過一個(gè) 1×1 的卷積層，統(tǒng)一不同尺度特征的通道數(shù)，得到子特征{F_n，n∈{3×3，5×5，7×7，p}} ，其中， p 表示 3×3 池化.接著，通過注意力機(jī)制突出圖像中的關(guān)鍵區(qū)域[20].由于頻譜波形圖像具有顯著的局部時(shí)序和頻域特征，通道和空間維度上的特征相關(guān)性較弱，而串行結(jié)構(gòu)的空間和通道注意力（如CBAM模塊）會(huì)因?yàn)橄忍幚淼淖⒁饬C(jī)制削弱某些特征維度的信息，使得后續(xù)的注意力機(jī)制難以充分發(fā)揮作用，導(dǎo)致信息丟失.因此，在MHA模塊中采用空間注意力和通道注意力的并行結(jié)構(gòu)，使通道和空間特征能夠獨(dú)立優(yōu)化處理，通過3個(gè)不同的分支對(duì)不同尺度的子特征進(jìn)行注意力機(jī)制的特征處理，

其中，一層分支將不同尺度的卷積核所提取的子特征 {F_n，n∈{3×3，5×5，7×7}} 經(jīng)過空間注意力機(jī)制（SpatialAttentionMechanism，SAM），獲得空間注意圖，其結(jié)構(gòu)如圖3所示.輸入的特征分別通過大小為 3×3 最大池化層和平均池化層，可以表示為 {F_MAX，F(xiàn)_AVG} .通過逐點(diǎn)卷積將池化層輸出的特征映射通道數(shù)從 C_h 減至1.利用連接操作合并兩組特征映射，得到尺寸為 H^′×W^′×2 的特征圖.然后，經(jīng)過 3×3 卷積層和Sigmoid激活函數(shù)處理，將 H^′× W^′×2 特征圖轉(zhuǎn)換為 H^′×W^′×1 特征圖，生成空間重要性權(quán)重 A_w .最后，將 A_w 與子特征進(jìn)行逐元素相乘操作得到該層分支的輸出結(jié)果 F₁ .表達(dá)式如下：

圖2MHA模塊結(jié)構(gòu)Fig.2MHA module structure

A_?w=σ（f_conv^3×3（Concat（F_?MAX，F(xiàn)_?AVG））），

F₁=A_w×F_n.

式中： σ 表示Sigmoid激活函數(shù)； f_conv^3×3（ξ） 表示卷積核大小為 3×3 的卷積操作.

圖3SAM結(jié)構(gòu)Fig.3SAM structure

另一個(gè)分支是將子特征 {F_n，n∈{3×3，5×5 經(jīng)過通道注意力機(jī)制（ChannelAttentionMechanism，CAM），獲得通道注意圖，其結(jié)構(gòu)如圖4所示.輸入特征經(jīng)過兩條路徑處理：一條通過全局平均池化和 1×1 卷積（Sigmoid激活），另一條通過全局最大池化和 1×1 卷積（Sigmoid激活），分別獲得尺寸為 1×1×C_h 的特征圖.兩者連接后通過兩個(gè)全連接層（ReLU激活）和一個(gè) 1×1 卷積（Sigmoid激活），生成尺寸為 1×1×2C_h^′ 的通道注意力圖.得到的 A_w^′ 表示通道重要性權(quán)重，最后將 A^′_w 與子特征進(jìn)行逐元素相乘操作得到該層分支的輸出結(jié)果 F₂ 表達(dá)式如下：

式中： 為兩個(gè)全連接層各自的權(quán)重； σ 表示Sigmoid激活函數(shù)； δ（ξ） 表示ReLU激活函數(shù); 表示一維卷積； a_j^AVG 和 a_j^?MAX 分別表示全局平均池化和全局最大池化生成的第 j 個(gè)通道的全局權(quán)重； a_j 表示第 j 個(gè)通道的全局權(quán)重.

為了確保不丟失特征圖中的局部相關(guān)信息，在第三個(gè)分支中，將輸入的特征矩陣通過 1×1 卷積層，得到 F₃ ，補(bǔ)償這一信息損失，同時(shí)也增強(qiáng)網(wǎng)絡(luò)的維度.隨后將3個(gè)分支的輸出連接起來，得到 {F_n^′

n∈{3×3，5×5，7×7}}.

F_Ωn^′=Concat（F₁，F(xiàn)₂，F(xiàn)₃）.

最后，將MHA模塊中4個(gè)分支所獲得的特征進(jìn)行連接，得到FMHA·

F_MA=Concat（F_3×3^′，F(xiàn)_5×5^′，F(xiàn)_7×7^′，F(xiàn)_P）.

1. 2 SCConv模塊

由于頻譜波形圖像的特征圖存在一定的相似性，標(biāo)準(zhǔn)的卷積操作往往會(huì)在特征提取過程中產(chǎn)生大量的冗余特征，這不僅增加了模型的計(jì)算負(fù)擔(dān)，還會(huì)導(dǎo)致模型容易出現(xiàn)過擬合，降低模型的學(xué)習(xí)效果.為了解決這一問題，模型引人SCConv模塊，該模塊將空間重構(gòu)單元（SpatialReconstructionUnit，SRU）與通道重構(gòu)單元（ChannelReconstructionUnit，CRU）以串聯(lián)方式結(jié)合.首先通過SRU處理空間特征，隨后通過CRU處理通道特征，這種設(shè)計(jì)方案在不增加模型復(fù)雜度的前提下，能夠減少冗余特征，從而提升模型的分類精度和計(jì)算效率[21].SCConv 模塊結(jié)構(gòu)如圖5所示.

SRU是將空間上那些信息豐富的特征圖和信息較少的特征圖分離，從而抑制特征的冗余[22]，進(jìn)而減少空間上的冗余特征數(shù)量.它通過對(duì)輸入的特征數(shù)據(jù)進(jìn)行分離和重構(gòu)處理，以增強(qiáng)模型對(duì)空間信息的捕捉能力.SRU結(jié)構(gòu)如圖6所示，其表達(dá)式如下：

圖4CAM結(jié)構(gòu)

Fig.4CAM structure

圖5SCConv結(jié)構(gòu)

Fig.5SCConv structure

圖6SRU結(jié)構(gòu)Fig.6SRU structure

式中： C_h 是通道數(shù)； λ 是可以訓(xùn)練的仿射變換； W₁ 和W₂ 分別為通過群歸一化和門控邏輯得出的權(quán)重； ⑧ 表示元素乘法； X₁^w，X₂^w 表示經(jīng)過權(quán)重處理得到的分割后的特征圖； X₁₁^w，X₂₂^w 分別是經(jīng)過權(quán)重處理后特征圖 X₁^w，X₂^w 的前半部分、后半部分； X₂₁^w，X₁₂^w 則分別是特征圖 X₂^w，X₁^w 的前半部分、后半部分； 表示元素加和；U表示特征圖的連接操作.

CRU可以減少通道維度的特征冗余.輸入特征圖 X^w 首先被分裂成兩部分 X_UP 和 X_L0W ，兩個(gè)分支的特征分別通過組卷積和點(diǎn)卷積進(jìn)行變換，生成兩組特征 Y₁ 和 Y₂ ：這兩組特征分別進(jìn)行池化操作并通過SoftMax激活函數(shù)處理得到兩個(gè)注意力權(quán)重 β₁ 和β₂ .最后，原始特征圖與這兩個(gè)注意力圖先進(jìn)行乘法操作，再進(jìn)行加法操作融合，得到通道優(yōu)化特征 Y CRU結(jié)構(gòu)如圖7所示，表達(dá)式如下：

Y=β₁×Y₁+β₂×Y₂.

式中： M^G 表示分組卷積的權(quán)重矩陣； 和 表示點(diǎn)卷積的權(quán)重矩陣.

1.3 GDHM Loss

沖擊回波信號(hào)的二維頻譜圖像數(shù)據(jù)集中存在樣本類別不平衡的問題.現(xiàn)有損失函數(shù)各有優(yōu)缺點(diǎn)，如GHMLoss通過衡量樣本難度來調(diào)整樣本權(quán)重，但在類別不平衡嚴(yán)重的情況下仍顯不足；LDAMLoss則根據(jù)類別樣本數(shù)量調(diào)整決策邊界，但對(duì)樣本難度考慮較少.為此，本文提出一種新的混合損失函數(shù)

圖7 CRU結(jié)構(gòu)Fig. 7 CRU structure

GDHMLoss.該損失函數(shù)通過每個(gè)樣本被正確分類的概率，動(dòng)態(tài)調(diào)整LDAMLoss和GHMLoss之間的權(quán)重比例，優(yōu)化神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程.GDHMLoss不僅能夠結(jié)合LDAMLoss和GHMLoss兩個(gè)損失函數(shù)的優(yōu)點(diǎn)，還通過動(dòng)態(tài)調(diào)整權(quán)重使模型能夠自適應(yīng)地優(yōu)化每個(gè)樣本的表現(xiàn)，從而提高模型在各類樣本上的分類準(zhǔn)確性.其計(jì)算公式如下：

L_GDHM=γL_LDAM+（1-γ）L_GHM.

式中： γ 是一個(gè)動(dòng)態(tài)調(diào)整的參數(shù)，該參數(shù)通過網(wǎng)絡(luò)的前向傳播計(jì)算得到，其計(jì)算公式為

式中： z_y 是網(wǎng)絡(luò)輸出層對(duì)于真實(shí)類別 y 的logit（未標(biāo)準(zhǔn)化的預(yù)測(cè)分?jǐn)?shù)）； C_l 是類別總數(shù).式（16）將logits轉(zhuǎn)換為一個(gè)概率分布，其中，每個(gè)類別的概率是其對(duì)應(yīng)logit的指數(shù)與所有類別logits指數(shù)總和的比值.因此，通過 α 可以獲得模型對(duì)樣本預(yù)測(cè)為不同類別的概率值.式（17）中 y_Label 表示樣本的真實(shí)類別（0表示單峰頻譜圖像、1表示干擾頻譜圖像、2表示多峰頻譜圖像），從 α 中選擇出該樣本被預(yù)測(cè)為真實(shí)類別的概率作為 γ ，因此， γ 表示樣本分類的難易程度.式（15）中：當(dāng) γ 較低時(shí)，表明該樣本更難以分類，GHMLoss將分配更高的權(quán)重，使其更加關(guān)注難分類的樣本，抑制極端難分類樣本的權(quán)重；當(dāng) γ 較高時(shí)，表明樣本較易分類，LDAMLoss則會(huì)分配更高的權(quán)重，使得GDHMLoss更加關(guān)注類別數(shù)量少的樣本.在此過程中，由于每個(gè)樣本的正確分類概率值不同，因此由每個(gè)樣本所獲得的損失也各不相同.

式（15）中，LDAMLoss根據(jù)樣本類別的分布調(diào)整決策邊距，為少數(shù)類設(shè)定更大的邊距，以提高其在分類模型中的權(quán)重[19].LDAMloss計(jì)算公式如下：

式中： x 是輸入的特征； y 是真實(shí)的類別標(biāo)簽 _;f 是模型； z=f（x） 是模型對(duì)輸入 x 的輸出logits; z_y 是模型輸出中對(duì)應(yīng)真實(shí)類別 y 的logit值; Δ_?y 是類別 y 計(jì)算的裕度調(diào)整項(xiàng)； C_y 是一個(gè)超參數(shù)，用于控制裕度調(diào)整項(xiàng)的大??； n_j 是訓(xùn)練集中屬于類別 j 的樣本數(shù)量.

式（15）中GHMLoss通過使用梯度調(diào)和機(jī)制，有效降低了易分類樣本和極端難分類樣本的損失貢獻(xiàn)[18]，同時(shí)顯著增強(qiáng)了對(duì)難分類樣本的關(guān)注.GHMLoss計(jì)算公式如下：

式中： L_CE（p_i，p_i^*） 是交叉熵?fù)p失函數(shù)，用于分類任務(wù)中計(jì)算第 i 個(gè)樣本的預(yù)測(cè)概率 p_i 與真實(shí)標(biāo)簽 p_i^* 之間的差異； GD（g_i） 是第 i 個(gè)樣本的梯度密度； N 是樣本總數(shù)； C_ι 是類別的總數(shù) ?_μi，c 是一個(gè)指示變量（如果樣本 i 屬于類別 ∣c∣ ，則為1，否則為0）； p_i，c 是模型預(yù)測(cè)樣本 i 屬于第 c 類的概率； g 是特定的梯度范圍值； g_k 是第 k 個(gè)樣本的梯度范數(shù)； δ_ε 是一個(gè)指示函數(shù)（如果 g_k 在 g 的 ε 鄰域內(nèi)，則該函數(shù)值為1，否則為0）； 是確保在邊界條件下的正確歸一化長度.

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)設(shè)置

本研究的實(shí)驗(yàn)是在PyTorch庫中進(jìn)行的，硬件配置為12thGenIntel（R）Core（TM）i7-12700H @ 2.30GHz 處理器和NVIDIARTX3060GPU（12GB顯存）.實(shí)驗(yàn)的epoch數(shù)為50，批量大小為16，操作系統(tǒng)為Windows 11 23H2 .優(yōu)化器選用Adam，其參數(shù)設(shè)定為 β₁=0.9，β₂=0.999 ，學(xué)習(xí)率為 1×10^-4

2.2 數(shù)據(jù)集的劃分

目前尚無公開的沖擊回波信號(hào)頻譜圖像數(shù)據(jù)集.因此，本研究通過實(shí)驗(yàn)和現(xiàn)場(chǎng)檢測(cè)獲取了沖擊回波信號(hào)數(shù)據(jù)，并使用檢測(cè)分析儀器將信號(hào)轉(zhuǎn)換為頻譜圖.通過截圖的方式收集了2937張頻譜圖像，構(gòu)建了一個(gè)數(shù)據(jù)集（數(shù)據(jù)可向通信作者獲?。?根據(jù)沖擊回波信號(hào)頻譜圖像中不同波形所包含的信息，該數(shù)據(jù)集被分為3類：?jiǎn)畏孱l譜圖像、多峰頻譜圖像和干擾頻譜圖像.為了確保實(shí)驗(yàn)的準(zhǔn)確性和公正性，數(shù)據(jù)集被劃分為3個(gè)互不重疊的子集：訓(xùn)練集、驗(yàn)證集和測(cè)試集.由于訓(xùn)練集中各類別樣本數(shù)量存在極度不平衡的情況，干擾和多峰類別的樣本進(jìn)行了重采樣.最終，各個(gè)子集中的樣本數(shù)量如表1所示.

表1數(shù)據(jù)集樣本類別數(shù)量

Table1Number of sample categories in datasel

2.3 數(shù)據(jù)預(yù)處理

采集到的沖擊回波頻譜圖像（圖8）存在大量無關(guān)區(qū)域，這些區(qū)域?qū)?huì)干擾分類模型的準(zhǔn)確率，增加模型的計(jì)算量.為了改變這種不利的影響，突出波形區(qū)域，將頻譜圖像進(jìn)行預(yù)處理，去除圖像當(dāng)中除波形數(shù)據(jù)之外的其他干擾圖形，獲得只有波形的純凈圖像.

1）波形提取.由于圖像中的波形信息主要集中于藍(lán)色區(qū)域，因此使用OpenCV中的指定顏色提取的方法將波形區(qū)域提取出來.

2）邊緣檢測(cè).為了突顯波形的輪廓信息，采用Canny算子對(duì)頻譜圖像進(jìn)行邊緣檢測(cè).Canny算子結(jié)合了邊緣檢測(cè)的準(zhǔn)確性和低錯(cuò)誤率，能夠檢測(cè)到子像素級(jí)別的邊緣.

3）數(shù)據(jù)擴(kuò)充.為了提高模型的泛化能力，防止過擬合，對(duì)所有數(shù)據(jù)集進(jìn)行平移和水平方向的翻轉(zhuǎn)，擴(kuò)充數(shù)據(jù)集的數(shù)量.

預(yù)處理完成后的圖像如圖9所示，

2.4 評(píng)估指標(biāo)

本實(shí)驗(yàn)中，采用單類分類精度（Single-classAc-curacy，SA）精確率（Precision， P ）、召回率（Recall，R ）、特異度（Specificity， s ）、F1_Score（ F₁ ）、準(zhǔn)確率（Accuracy，A）來評(píng)估模型的分類性能.指標(biāo)的計(jì)算公式如下：

式中： Π_K 表示某一類中正確分類的圖片數(shù)量； LA_K 表示某一類的圖片總數(shù)；TP表示正樣本被正確預(yù)測(cè)為正樣本的數(shù)量；FP表示負(fù)樣本被錯(cuò)誤預(yù)測(cè)為正樣本的數(shù)量;FN表示正樣本被錯(cuò)誤預(yù)測(cè)為負(fù)樣本的數(shù)量；TN表示負(fù)樣本被正確預(yù)測(cè)為負(fù)樣本的數(shù)量，

2.5 實(shí)驗(yàn)結(jié)果分析

2.5.1 消融實(shí)驗(yàn)

為了驗(yàn)證MHA-SCConvNet中各個(gè)模塊的有效性和合理性，設(shè)計(jì)了一系列的實(shí)驗(yàn)來探討不同模塊對(duì)模型性能的具體影響.實(shí)驗(yàn)結(jié)果匯總于表2，從中可以明顯觀察到各模塊對(duì)性能提升的貢獻(xiàn).表2中：A表示MHA模塊；B表示SCConv模塊;C表示GDHMLoss.

圖8圖像預(yù)處理前的沖擊回波信號(hào)頻譜圖像

Fig.8Spectrum images of impact echo signals before image preprocessing

圖9圖像預(yù)處理后的沖擊回波信號(hào)頻譜圖像

Fig.9Spectrum images of impact echo signals after image preprocessing

表2消融實(shí)驗(yàn)結(jié)果Table 2Ablation experiment results %

初始實(shí)驗(yàn)采用基礎(chǔ)的淺層卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)，未引入任何額外模塊.在此基礎(chǔ)配置下，單峰類別的SA達(dá)到了 89.60% ，干擾類別的SA為 74.23% ，多峰類別的SA為 76.10% ，而準(zhǔn)確率為 83.43% 引人MHA模塊后，可以觀察到各類別的SA分別提升7.30、8.09和6.31個(gè)百分點(diǎn)，同時(shí)準(zhǔn)確率也提升5.67個(gè)百分點(diǎn).由此可以證明，MHA模塊通過對(duì)不同尺度的圖像特征中關(guān)鍵信息的關(guān)注，可以有效提高模型的分類精度.隨著SCConv模塊、GDHMLoss等進(jìn)一步集成到模型中，SA和準(zhǔn)確率指標(biāo)逐步提高，各類別的SA最終達(dá)到 97.35% （單峰） ?91.33% （干擾） .92.20% （多峰），準(zhǔn)確率為 94.58% .從表2中可以看出，SCConv通過優(yōu)化特征表述，提高了模型的分類精度.而GDHMLoss通過動(dòng)態(tài)調(diào)整LDAMLoss和GHMLoss的權(quán)重比例，可以有效提高模型對(duì)干擾頻譜、多峰頻譜兩個(gè)少數(shù)類別的分類精度.

2.5.2 對(duì)比實(shí)驗(yàn)

為了探究注意力機(jī)制的效果，將已經(jīng)融合SC-Conv模塊的卷積神經(jīng)網(wǎng)絡(luò)（SCConvCNN）在相同數(shù)據(jù)集、相同損失函數(shù)（GDHMLoss）的情況下進(jìn)行不同注意力機(jī)制的對(duì)比實(shí)驗(yàn)，將MHA模塊與CBAM^[23] ） BAM^[24] 、EPSA[25]注意力模塊進(jìn)行對(duì)比，將SCConvCNN與各個(gè)注意力模塊相結(jié)合，并進(jìn)行10次運(yùn)行取平均值.實(shí)驗(yàn)結(jié)果如表3和圖10所示.

從表3和圖10可以看出，在不使用任何注意力機(jī)制的情況下，SCConvCNN的準(zhǔn)確率為 85.08% .引入不同的注意力機(jī)制后，模型各項(xiàng)指標(biāo)都有所提升，其中提升幅度最大的是MHA模塊.MHA模塊使得模型的精確率、召回率、特異度、F1_Score、準(zhǔn)確率分別提升13.00、13.97、3.34、13.48和9.50個(gè)百分點(diǎn)，各個(gè)類別的單類分類精度分別提升4.15（單峰）、14.79（多峰）和15.03個(gè)百分點(diǎn)（干擾）.這證明了本文提出的MHA模塊優(yōu)于表3中其他注意力機(jī)制，并顯示了MHA模塊在進(jìn)行沖擊回波信號(hào)頻譜圖像分類時(shí)的有效性.

表3不同注意力模塊的實(shí)驗(yàn)結(jié)果對(duì)比 Table 3Comparison of experimental results between

圖10不同注意力模塊的單類分類精度Fig.10Single-class classfication accuracy ofdifferentattentionmodules

本研究選取 AlexNet^[26] 、VGGNet[26]GoogLeNet[27] ResNeSt^[28] 和 ResNeXt^[29] 模型，將其與MHA-SCConvNet模型在使用相同數(shù)據(jù)集、相同損失函數(shù)（GDHMLoss）的情況下進(jìn)行對(duì)比實(shí)驗(yàn)，每個(gè)分類模型運(yùn)行10次并取平均值，實(shí)驗(yàn)結(jié)果如表4所示，準(zhǔn)確率變化曲線如圖11所示.

從表4和圖11中可知，在使用相同的損失函數(shù)情況下，MHA-SCConvNet模型在各項(xiàng)指標(biāo)中均是最高.其中，分類準(zhǔn)確率為 94.58% ，比對(duì)比模型高出6.45～11.24 個(gè)百分點(diǎn).實(shí)驗(yàn)結(jié)果表明，MHA-SCCon-vNet在沖擊回波信號(hào)頻譜圖像分類中能夠高效捕捉和利用數(shù)據(jù)中的關(guān)鍵特征.此外，該模型參數(shù)量最小，計(jì)算效率較高.

表4不同分類模型的實(shí)驗(yàn)結(jié)果對(duì)比 Table 4Comparison of experimental results between differentclassification models

圖11不同分類模型準(zhǔn)確率變化曲線Fig.11Accuracyvariation curves ofdifferentclassificationmodels

圖12不同損失函數(shù)的單類分類精度 Fig.12Single-class classification accuracy of different loss functions

此外，本研究還對(duì)比了針對(duì)樣本類別不平衡問題的不同損失函數(shù)的訓(xùn)練效果.選取Cross-Entropy（CE）Loss、GHM Loss、FocalLoss、LDAMLoss，在MHA-SCConvNet模型當(dāng)中進(jìn)行訓(xùn)練，每個(gè)損失函數(shù)運(yùn)行10次并取平均值，結(jié)果如表5和圖12所示.

表5不同損失函數(shù)的實(shí)驗(yàn)結(jié)果對(duì)比

Table5Comparison of experimental results

通過表5和圖12中可以看出，GHDMLoss在干擾和多峰兩個(gè)少數(shù)類別的單類分類精度優(yōu)于對(duì)比的損失函數(shù)，精確率、召回率、特異度、F1_Score、準(zhǔn)確率等其他評(píng)估指標(biāo)上均是最優(yōu).這證明了本文提出的GHDMLoss通過動(dòng)態(tài)調(diào)整LDAMLoss和GHMLoss的權(quán)重比例，可以有效提高少數(shù)類別的分類精度.而GHDMLoss優(yōu)于LDAMLoss、GHMLoss的分類效果，證明了GHDMLoss能夠很好融合兩個(gè)損失函數(shù)的優(yōu)勢(shì)，更好地提升模型整體的性能.

3 結(jié)束語

本文提出了MHA-SCConvNet模型，用于實(shí)現(xiàn)沖擊回波信號(hào)頻譜圖像的自動(dòng)分類.設(shè)計(jì)的MHA模塊增強(qiáng)了模型對(duì)不同尺度圖像特征的關(guān)注，通過SC-Conv模塊有效減少了特征在空間和通道維度上的冗余.在自制的沖擊回波信號(hào)頻譜圖像數(shù)據(jù)集上進(jìn)行消融實(shí)驗(yàn)和多組對(duì)比實(shí)驗(yàn)，結(jié)果表明，MHA-SCCo-nvNet模型進(jìn)行沖擊回波信號(hào)頻譜圖像的分類準(zhǔn)確率為 94.58% ，總體性能優(yōu)于AlexNet、VGGNet、GoogLeNet、ResNeSt等分類模型.此外，本文提出的GHDMLoss能夠有效提升少數(shù)類別的分類精度，其性能優(yōu)于FocalLoss、LDAMLoss、GHMLoss等損失函數(shù).該模型能夠提高沖擊回波信號(hào)頻譜圖像分類的準(zhǔn)確性，同時(shí)，在自動(dòng)化分類過程中減少了人工干預(yù)，提高了沖擊回波信號(hào)頻譜圖像分析的效率.

參考文獻(xiàn)References

[1]Commandeur C，Sprik R，Stolk C，et al.Observations and

improvements on the impact-echo method used for blast furnace hearth refractory measurement[J]. Ironmaking amp; Steelmaking，2023，50（1） ：30-43

[2]Xu JC，Yu X.Detection of concrete structural defects using impact echo based on deep networks[J].Journal of Testing and Evaluation，2021，49（1） ：109-120

[3]Dorafshan S，Azari H.Deep learning models for bridge deck evaluation using impact echo[J]. Construction and BuildingMaterials，2020，263：120109

[4] Sengupta A，Ilgin Guler S，Shokouhi P. Interpreting impact echo data to predict condition rating of concrete bridge decks：a machine-learning approach[J]. Journal of Bridge Engineering，2021，26（8） ：04021044

[5] 羅煒，薛亞東，賈非，等.基于深度學(xué)習(xí)的無砟軌道砂 漿層脫空病害識(shí)別[J].現(xiàn)代隧道技術(shù)，2021，58（增刊 1） ：129-136 LUO Wei，XUE Yadong，JIA Fei，et al. Identification of void disease of mortar layer in ballastless track based on deep learning[J]. Modern Tunnelling Technology，2021， 58（sup1） ：129-136

[6］耿豪喆，劉榮桂，蔡?hào)|升，等.沖擊回波法檢測(cè)混凝土 構(gòu)件內(nèi)部缺陷大小研究[J].混凝土，2021（11）：150- 154，160 GENG Haojie，LIU Ronggui，CAI Dongsheng，et al. Study on quantitative detection of defects of concrete members by impact-echo method[J]. Concrete，2021（11）：150- 154，160

[7]Ida Y，F(xiàn)ujita E，Hirose T. Classification of volcano-seismic events using waveforms in the method of k-means clustering and dynamic time warping[J]. Journal of Volcanology and Geothermal Research，2022，429：107616

[8] TehseenR，F(xiàn)arooq MS，Abid A.Earthquakeprediction using expert systems：a systematic mapping study[J]. Sustainability，2020，12（6） ：2420

[9］孫波，楊磊，郭秀梅，等.基于CNN和 SVM混合模型 的心電信號(hào)識(shí)別方法［J].山東農(nóng)業(yè)大學(xué)學(xué)報(bào)（自然 科學(xué)版），2020，51（2）：283-288 SUNBo，YANG Lei，GUO Xiumei，et al.A novel method for ECG signal recognition based on CNN and SVM hybrid model[J].Journal of Shandong Agricultural University（Natural Science Edition），2020，51（2）：283-288

[10] Bi L，Xie W，Zhao JJ.Automatic recognition and classification of multi-channel microseismic waveform based on DCNN and SVM[J]. Computers amp; Geosciences，2019， 123：111-120

[11]LiJM，TangSB，LiKY，etal.Automatic recognition and classification of microseismic waveforms based on computer vision[J]. Tunnelling and Underground Space Technology，2022，121：104327

[12] 余刃，謝旭陽，王天舒，等.基于深度學(xué)習(xí)波形圖像識(shí) 別的軸承故障診斷方法[J].海軍工程大學(xué)學(xué)報(bào)， 2021，33（4） ：76-82 YU Ren，XIE Xuyang， WANG Tianshu，et al. Fault diagnosis method for bearing based on deep learning waveform image recognition[J]. Journal of Naval University of Engineering，2021，33（4） ：76-82

[13]UllahA，AnwarSM，Bilal M，et al.Classification of arrhythmia by using deep learning with 2-D ECG spectral mage represenauon[J」.nemote sensig，zUzv，1Z （10） ：1685

[14]JiaJY，Wu ML，Wang Q.A recognition method for timedomain waveform images of electric traction network overvoltage based on deep learning[J].IOP Conference Series：Earth and Environmental Science，2021，645 （1） ：012073

[15] Peng G L，Tuo X G，Shen T，et al. Recognition of rock micro-fracture signal based on deep convolution neural network inception algorithm[J].IEEE Access，2021，9： 89390-89399

[16] 夏景明，邢露萍，談玲，等.基于MDM-ResNet的腦腫 瘤分類方法[J].南京信息工程大學(xué)學(xué)報(bào)（自然科學(xué) 版），2022，14（2） ：212-219 XIA Jingming，XING Luping，TAN Ling，et al. Brain tumors classificationbased on MDM-ResNet[J]. Journal of Nanjing University of Information Scienceamp; Technology（Natural Science Edition），2022，14（2） ：212-219

[17] 張凱琳，閻慶，夏懿，等.基于焦點(diǎn)損失的半監(jiān)督高光 譜圖像分類[J].計(jì)算機(jī)應(yīng)用，2020，40（4）：1030-1037 ZHANG Kailin， YAN Qing， XIA Yi，et al. Semi-supervised hyperspectral image classification based on focal loss[J].Journal of Computer Applications，2020，40（4）： 1030-1037

[18]LiBY，LiuY，WangXG.Gradient harmonized singlestage detector[J].Proceedings of the AAAI Conference on Artificial Intelligence，2019，33（1） ：8577-8584

[19] Cao K，Wei C，Gaidon A，et al.Learning imbalanced datasets with label-distribution-aware margin loss [C]// 33rd Intermational Conference on Neural Information Processing Systems（NeurIPS 2019）. December 8-14，2019， Vancouver，Canada. IEEE，2019：1567-1578

[20]劉忠洋，周杰，陸加新，等.基于注意力機(jī)制的多尺度 特征融合圖像去雨方法[J].南京信息工程大學(xué)學(xué)報(bào) （自然科學(xué)版），2023，15（5）：505-513 LIU Zhongyang，ZHOU Jie，LU Jiaxin，et al. Image rain removal via multi-scale feature fusion based on attention mechanism[J]. Journal of Nanjing University of Information Science amp; Technology（Natural Science Edition）， 2023，15（5） ：505-513

[21]Li JF，Wen Y，He L H. SCConv：spatial and channel reconstruction convolution for feature redundancy [C]/1 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition（CVPR）. June 17-24，2023，Vancouver，BC，Canada.IEEE，2023：6153-6162

[22] 宰清鵬，徐楊.融合空間與通道重構(gòu)卷積和注意力的 輕量型動(dòng)物姿態(tài)估計(jì)[J].計(jì)算機(jī)工程與應(yīng)用，2025， 61（6） ：282-294 ZAI Qingpeng，XU Yang.Lightweight animal pose estimation with integrated spatial and channel reconstructive convolutions and attention[J].Computer Engineering and Applications，2025，61（6） ：282-294

[23] Woo S，Park J，Lee JY，et al. CBAM：convolutional block atention module[M]//Lecture Notes in Computer Science.Cham：Springer International Publishing，2018：3-19

[24] ParkJ，Woo S，Lee JY，etal.BAM：botleneck attention module[J].arXiv e-Print，2018，arXiv：1807.06514

[25] Zhang H，Zu K K，LuJ，etal. EPSANet：an efficient pyramidsqueeze attention block on convolutional neural network[M]//Lecture Notes in Computer Science.Cham： SpringerNature Switzerland，2023：541-557

[26] 季長清，高志勇，秦靜，等.基于卷積神經(jīng)網(wǎng)絡(luò)的圖像 分類算法綜述[J].計(jì)算機(jī)應(yīng)用，2022，42（4）： 1044-1049 JI Changqing，GAO Zhiyong，QIN Jing，et al.Review of imageclassification algorithms based on convolutional neural network[J].Journal of Computer Applications， 2022，42（4）：1044-1049

[27] 梁雪慧，程云澤，張瑞杰，等.基于卷積神經(jīng)網(wǎng)絡(luò)的橋 梁裂縫識(shí)別和測(cè)量方法[J].計(jì)算機(jī)應(yīng)用，2020，40 （4）：1056-1061 LIANGXuehui，CHENGYunze，ZHANGRuijie，etal. Bridge crack classification and measurement method based on deep convolutional neural network[J].Journal of Computer Applications，2020，40（4） ：1056-1061

[28] ZhangH，WuCR，ZhangZY，etal.ResNeSt：split-attentionnetworks[C]//2022IEEE/CVFConferenceon Computer Vision and Pattern Recognition Workshops （CVPRW）. June 19-20，2022，New Orleans，LA，USA. IEEE，2022：2735-2745

[29] HitawalaS.EvaluatingResNeXt model architecture for imageclassification[J].arXive-Print，2O18，arXiv： 1805.08700

Impact echo spectral image classification based on multi-scale attention and spatial channel reconstruction convolution

CUI Bo^1，2 WU Bingbing1 CHEN Wei2MENG Qinghong'WANG Xiao1HUANG Qixiang' 1College of Artificial Intelligence，North China Universityof Science and Technology，Tangshan O63210，China 2College of Metalurgyand Energy，North China University of Science and Technology，Tangshan O63210，China

AbstractTo address the challenges of insuffcient feature extraction capability and class imbalance in datasets faced by traditional convolutional neural networks when clasifying spectrum images of impact echo signals，we propose a model of Multi-scale HybridAtentionand Spatial Channel Reconstruction Convolutional Neural Network （MHA-SCConvNet）.The model initiates with a Multi-scale Hybrid Atention（MHA）module that extracts spectral featuresat diversescales，significantlyenhancing thefocus onessential waveform information.This is folowedbyhe integration of a Spatial and Channel Reconstruction Convolution（SCConv） module，designed to optimize the representationof imagefeaturesand efectivelyreduceredundancy.Furthermore，we introduce theGradient and DistributionHarmonized Margin Loss（GDHMLoss），adynamic hybrid loss function tailored toaddress thechallnges of clasifying both hard-to-classifyand minority class samples.Rigorous evaluation of the proposed MHA-SCConvNet on a proprietary dataset demonstrates a remarkable accuracy of 94.58% ，outperforming established models such as AlexNet，VGGNet，and GoogLeNet.These experimental results validate the MHA-SCConvNet'ssuperior capability in enhancing the accuracy and efficiency of impact echo spectral image classification.

Key wordsspectral image classification;multi-scale attention module;convolutional neural network（CNN）;mixed loss function；spatial and channel reconstruction convolution