基于深度學習的材料超聲回波衰減預測方法

劉 驍 沙正驍 梁 菁

(1 中國航發北京航空材料研究院 北京 100095)

(2 航空材料檢測與評價北京市重點實驗室 北京 100095)

(3 中國航空發動機集團材料檢測與評價重點實驗室 北京 100095)

0 引言

航空發動機盤件因其高溫、高速、高負荷的惡劣工作環境，導致其在制造過程中產生的夾雜等缺陷嚴重威脅航空發動機的安全運行[1?2]。因此對盤件質量進行超聲無損評價至關重要。為保證航空發動機的安全運行，近年來關于航空發動機盤件的超聲檢測研究越來越多。

材料超聲波衰減是超聲波通過材料傳播過程中出現聲壓或聲能隨距離的增大逐漸減小的現象。材料超聲衰減蘊含著豐富的信息。因此在實際檢測工作中，常會利用材料超聲衰減來評價材料的均勻一致性，也會依據底面回波衰減調整缺陷檢測的增益補償。材料超聲波衰減在材料檢測研究多個方面都得到了廣泛的研究和應用，但零件復雜結構常導致無法通過底面回波衰減評價。因此如何在不利用零件底面回波的情況下，實現對材料超聲波衰減進行評價，已成為工程應用中材料無損檢測研究的熱點和難點。

近年來，國內外學者對材料超聲波衰減和背散射波進行了深入的研究。Willems 等[3]利用衰減系數實現了使用背散射技術的超聲衰減測量。Thompson 等[4]引入了基于從晶粒到晶粒的各向同性速度波動的二維模型，以說明晶粒散射在具有雙相微觀結構的鈦合金中一系列復雜波傳播現象中的作用。Li等[5]建立了具有一般橢圓體形狀的非等軸晶粒的多晶超聲波衰減和背散射模型。現有的背散射波-材料超聲衰減之間關系的研究，主要是通過對原始超聲背散射波進行預處理、特征提取和特征評價3 個步驟完成的。其中，預處理是將背散射信號調整至特定的延遲、范圍以及增益；特征提取是指通過傅里葉變換、小波變換等手段提取背散射波信號中的特征；特征評價是利用支持向量機、神經網絡等手段研究提取所得到的特征與材料超聲衰減之間的關系。在這個系列過程中，背散射波中何種特征被提取得到并被選擇應用于最終的特征評價階段將直接影響評估的準確性及其泛化能力。因此，特征提取以及特征評價的質量將直接決定最終評估質量。同時，由于特征提取和特征評價需要大量具有專業知識的人員來實現，其效率往往不能得到保證。

如何減少特征提取和特征評價對于評估精度、可靠性以及效率的影響，從而提高最終評價的準確性和效率，是背散射波-材料超聲衰減評價中亟需解決的問題。但目前關于直接使用超聲背散射波信號對材料超聲衰減進行評估的研究很少。如果能利用超聲背散射波進行直接評估，而無需額外由人工進行特征提取和特征評價，那么，利用背散射波進行復雜形狀的材料超聲衰減評估的能力、效率和可靠性都將得到顯著提升。

近年來基于表示學習的深度學習技術的發展為材料超聲衰減評估提供了新方法。表示學習是一種機器通過輸入數據自動發現檢測或分類所需表示的方法。深度學習是具有多層級的表示學習，通過組合非線性的層將原始數據表示轉換為更抽象的數據表示。深度學習模型中靠近輸入的層表示數據的低級特征，靠近輸出的更高層表示更抽象的特征。對于分類任務，更高層表示放大了輸入數據中對區分重要的特征表示，并抑制不相關的變化。傳統的人工特征與深度神經網絡區別在于，傳統的特征是由人工根據相關領域專業知識設計特征函數實現數據特征提取；而深度學習是利用反向傳播算法從數據中學習得到特征提取器從而實現數據特征提取，通過學習得到的特征提取器在具有更強的提取能力的同時通常難以進行解釋。相比于由人工設計的特征工程方法，利用深度學習技術在犧牲可解釋性的同時可以得到更精確的模型[6]。因此本文以高溫合金超聲背散射波和超聲底面回波衰減作為研究對象，構建了不同超聲衰減的高溫合金超聲波樣本數據庫，并建立基于深度學習的超聲背散射波-超聲波衰減預測網絡框架。提出一種基于深度學習通過直接利用背散射波信號預測材料超聲衰減的方法，其中所采用的模型具有直接從超聲背散射波中提取信號幅度及相位特征而不需要由人工進行特征提取并分析的特點，模型中用于特征提取及分析的參數是通過反向傳播算法直接從背散射波信號中學習得到的。使用時僅需將背散射波信號輸入到訓練好的模型便可直接得到材料超聲衰減的預測結果。

1 實驗材料與方法

1.1 構建樣本數據庫

1.1.1 超聲檢測數據采集

具有不均勻組織的鎳基高溫合金試樣是本研究的實驗對象。樣品是230 mm×60 mm×50 mm矩形塊，樣品的入射面和底面平行。樣品表面粗糙度小于Ra 0.8 μm。

實驗采用PAC-UPK-T24 超聲水浸C 掃描系統進行。水浸超聲探頭為TLC IS1010GA點聚焦探頭，頻率為10 MHz。掃描水距為50 mm，掃描采樣間距為0.2 mm，全波采集頻率為100 MHz，采集超聲背散射波信號為射頻(Radio frequency,RF)信號形式。圖1 為鎳基高溫合金試樣超聲C掃描結果，其中圖1(a)為以增益38 dB 采集的底面回波衰減C掃描成像結果，圖1(b)為以增益80 dB 采集的背散射波C掃描成像結果。

1.1.2 背散射波-回波衰減數據集建立

原始采集數據為包含243×52個點位的超聲背散射波和底面回波衰減數據。背散射波-回波衰減數據集由部分區域的原始采集數據選取制作，其中包含有衰減數據集和背散射波數據集。其中衰減數據集作為訓練標簽，背散射數據集作為輸入的訓練樣本。同時利用RF 波格式的超聲背散射波信號得到了正全波信號格式的超聲背散射波信號。最終形成高溫合金超聲背散射波-回波衰減(RF 信號)數據集和高溫合金超聲背散射波-回波衰減(正全波信號)數據集。

圖2(a)為衰減數據集的選取位置，根據回波幅度衰減不同選取典型的6 個區域，其中實線區域為訓練集和驗證集的選取區域，虛線區域為測試集的驗證區域。圖2(b)為所選取區域的典型波形，底面回波幅度分別為75%、65%、55%、45%、35%、15%，被分別定義為5 類(黃色)、4 類(綠色)、3 類(紅色)、2 類(藍色)、1 類(黑色)、0 類(灰色)。每類回波包含160 組數據。回波幅度衰減分布的多樣性意味著材料微觀結構存在差異。

背散射數據集的選取位置與衰減數據集相對應，其中訓練集有864個訓練數據、96個驗證數以及960個測試數據。測試數據在實驗開始時是分開的，不用于任何模型訓練。散射數據集的橫截面選擇在衰減數據集的同一區域，散射數據集的每個數據點都是一個時間序列數據，包含1250個時間步長。如圖2(c)和圖2(d)所示，分別為背散射波(RF 波)和背散射波(正全波)數據集的典型背散射波形圖，其中的黑色虛線位置為輸入網絡進行模型訓練的背散射波數據。圖3 為衰減數據集和背散射波數據集的核密度估計(Kernel density estimation,KDE)。散射幅度分布有很大的重疊范圍。對于幾乎所有類別，背散射波幅度分布幾乎完全重疊，但回波幅度衰減分布可以清楚地區分。數據集的KDE所示，僅依靠背散射波幅度不能直接評估多晶材料中的超聲衰減。

圖3 衰減數據集和背散射波數據集的KDEFig.3 The KDE of attenuation data set and backscattered wave data set

數據增強技術通過對訓練數據進行一系列隨機更改來生成相似但不同的訓練示例，從而擴大了訓練數據集的規模。隨機改變訓練樣例可以減少模型對某些屬性的依賴，從而提高其泛化能力。本文中，數據增強包括以下操作：在?8 到+8 時間步長范圍內的隨機值時移。數據增強后的訓練集數據樣本數為7602。

1.1.3 編程和訓練機器學習模型環境

在本文中，所有編程都在Python 中完成，機器學習方面使用Scikit-learn 和PyTorch 框架實現[7?8]。本研究中所采用的神經網絡模型采用Adam 優化器進行優化[9]，采用交叉熵作為損失函數，在每個卷積層之后都使用ReLU 激活[10]。在最終輸出層將softmax 應用于模型輸出以進行結果預測。

1.2 超聲衰減分類識別網絡框架搭建

1.2.1 分類識別網絡的選擇

近年來隨著計算機算力、深度學習框架以及數據采集能力的飛速發展，深度學習作為一種多級表示學習在面對各類表示學習問題時顯示了強大的處理能力。各類深度學習神經網絡模型在相關領域也取得了令人矚目的成果，如前饋神經網絡(Artificial neural network,ANN)[11]、遞歸神經網絡[12]、卷積神經網絡(Convolutional neural network,CNN)[6]以及近年熱門的基于注意力機制(Transformer)[13]等。其中CNN 因其能利用卷積核進行多通道的互相關運算，從圖像中直接提取特征圖，實現高效利用模型內參數，使得其在計算機視覺及自然語言處理領域均取得優異的表現[14?15]。

典型的CNN 由多個神經網絡層所組成，包含卷積層、池化層、全連接層等，各層中的參數通過反向傳播算法學習得到。卷積層利用其內部的多個卷積核進行互相關運算(cross-correlation)，輸入張量和卷積核張量通過互相關運算得到輸出張量，卷積層的作用多為檢測步進維度上的特征。池化層的作用則是降低位置的敏感性、降低對空間降采樣的敏感性以及正則化。全連接層實現最終分類識別概率的計算。因此，卷積層與池化層往往組合使用。最終利用全連接層將所提取得到的特征轉換為分類識別的結果。采用CNN 作為材料超聲背散射波識別模型有著諸多優勢。首先，CNN 通過參數共享，僅采用較小的參數量也能夠有效地提取各個時域范圍內超聲背散射波的特征；其次，CNN 不需要人工設計的特征提取器來進行數據特征的提取，而是采用學習算法直接從訓練數據集中學習得到。

處理圖像數據的二維CNN 所具有的局部性和平移不變性在一維CNN 對序列數據進行處理時也同樣有效[16]。時間可以被視作為一個空間維度，類比于二維圖像中的高度和寬度。圖4為一維CNN中卷積層的工作原理圖。一維CNN 中的一維卷積層通過一維卷積核從序列中提取局部一維序列段(即子序列)。這種一維卷積層可以識別序列中的局部模式。因為對每個序列段執行相同的輸入變換，所以在背散射波中某個位置學到的波形特征可以在其他位置被識別，這使得一維CNN 具有平移不變性(對于時間平移而言)。由一維卷積層疊加組成的一維CNN 可以學習到特征的時間層次結構。模型所具有的層次結構使CNN 能夠有效地學習數據中更復雜和抽象的特征。

圖4 一維CNN 中卷積層單步處理輸入序列段Fig.4 The convolutional layer of 1D CNN processes the input sequence segments in a single step

超聲波在金屬材料中的傳播衰減是超聲波傳播路徑上每個局部區域的衰減之和。已有的研究表明，當彈性波在復雜的微結構介質中傳播時，會出現許多復雜的波傳播現象。彈性波的振幅和相位被調制[4]。因此，為了實現利用背散射波預測材料的超聲衰減，需要聲束傳播路徑中每個局部區域內背散射波幅度和相位變化都被檢測到。

本文中設計的CNN 最淺層只關注局部區域的背散射波幅度及相位變化，而不考慮遠端區域的背散射波變化。卷積層的局部性原理確保可以聚合局部區域的背散射波幅度及相位變化，以對超聲波在的整個傳播路徑的衰減進行預測。卷積層的平移不變性可以檢測傳播路徑內任何區域的低級背散射模式。其他更高層的卷積層可以學習背散射波信號的高層次表示。卷積層中輸入和輸出的通道允許模型在傳播路徑的每個空間位置捕獲背散射波信號中多種類型的幅度及相位變化。最后，將卷積網絡得到的高層次表示輸入到全連接神經網絡中，以搜索更高層次背散射波的幅度及相位特征與衰減特性之間的關系。

1.2.2 背散射波分類識別網絡模型

本文針對超聲背散射波檢測時的實際情況，在序列數據分類檢測研究中常用的一維CNN 基礎上，提出一種通過材料超聲背散射波檢測材料超聲波衰減的算法。

圖5 和表1 為網絡架構圖以及超參數設置。模型的層數設置需要考慮輸入數據維度及訓練數據集體量，本文中輸入數據為1250×1，訓練數據864條。考慮到本文中所采用的數據集體量較小，為有效對訓練數據進行學習的同時盡量減少模型過擬合，模型構架采用7 個學習層組成——4 個一維CNN層(每兩個CNN層后跟一個池化層，通過1×2最大池化進行下采樣)和2 個全連接層，由1346622個可訓練參數組成。將原始背散射波作為輸入數據輸入網絡。第一CNN 層對原始序列數據進行初步的特征提取，對于CNN 層來說卷積核的尺寸影響其空間維度上提取特征的范圍，過小的卷積核尺寸會導致其無法有效提取空間維度上的特征變化，而過大的卷積核尺寸則可能會導致一些微小的特征變化被忽視，因此將第一CNN 層卷積核大小設置為1×8；同時為盡量提取底層特征將卷積核通道數與卷積核尺寸相等，通道數為8，第一CNN 層輸出數據維度為622×8。第二CNN 層進行更深層次的特征提取，為提取時間維度上更大范圍內的特征組合，將這層的卷積核尺寸仍設置為1×8，通道數為2，第二CNN層輸出數據維數為308×16。第三和第四CNN 層對序列進行更深層次的特征提取，隨著模型深度的增加需要相應減少單個卷積核提取特征的時間范圍，因此將卷積核的尺寸設置為1×4。在第二CNN 層和第四CNN 層后分別設置池化層進行下采樣，池化核大小為1×2，步長為2，通過降低時間維度上的分辨率來獲得空間不變性和正則化，同時減少運算量。在池化層后設置一個dropout層，之后使用展平層展平輸入至2層全連接(FC)層，每個層具有1152和1152個隱藏單元，依次到達6 個單元的最終softmax 輸出(預測)層。整流線性單元(ReLU)函數用作每個卷積層和密集(FC)層的激活函數。為了解決過擬合問題，在卷積層和全連接層之間添加了dropout 層。使用的dropout 百分比為50%。

圖5 背散射波分類識別網絡結構Fig.5 Classification and recognition network structure of backscattering waves

2 結果與分析

為驗證本文所提出的材料超聲波衰減分類識別方法的可行性與準確性，從2 方面進行了實驗驗證：(1) 基于一維CNN 的材料超聲波衰減分類識別檢測算法與實際檢測結果的對比；(2) 采用不同形式背散射波進行超聲波衰減分類識別的性能驗證。

2.1 基于一維CNN 的材料超聲波衰減分類識別模型的訓練及評價

利用高溫合金超聲波衰減-背散射(RF 信號)數據集的訓練集總共7602 個樣本對材料超聲波衰減分類識別網絡模型進行訓練。學習率從0.0001開始。單個批量包含8 個樣本，每輪訓練批量數量為300 個。圖6 為模型訓練的損失和準確率的曲線圖，至第10輪時模型訓練的損失及準確率已無明顯變化。訓練曲線圖中驗證損失低于訓練損失，驗證準確率優于訓練準確率。兩個因素導致這一現象：(1) 在驗證時dropout層是關閉的，因此驗證精度提高；(2) 訓練準確率是在每個批量后產生，驗證準確率則是在每個訓練輪數后產生，時間上存在滯后性，因此驗證精度相對要提高。經過10 輪訓練，最終在訓練集上準確率達到0.941。

圖6 RF 波模型分類識別網絡訓練曲線圖Fig.6 RF wave model classification recognition network training curve

本文研究的高溫合金超聲波衰減-背散射樣本數據集數量相對較小，因此最后訓練所得的模型可能會是過擬合的；同時，在量化評價一個模型的預測性能時，訓練過程中的所記錄的準確率及損失函數僅能作為參考，主要用于訓練過程中監測的訓練情況，而通過訓練過程發現泛化模式才是機器學習的根本問題。因此需要確定模型真正發現了一種泛化模式，而不是簡單記住進行訓練時所用到的數據。通常會利用未被用于訓練的數據集作為測試集，通過網絡模型在測試集上的準確率來驗證網絡模型的泛化能力，測試集在模型上的準確率越高，意味著實際任務中可以取得更好的效果。

為驗證采用RF 信號形式訓練數據集進行訓練所得模型的泛化能力，本文利用RF 信號形式測試數據集對模型泛化能力進行實驗。常用于量化基于分類的機器學習框架泛化性能的標準方法是通過混淆矩陣。圖7 為RF 波測試數據集(總共960 個樣本)的混淆矩陣。測試數據集的整體識別準確率為0.919，其中0類的準確率為0.86，1類的準確率為0.92，2類的準確率為0.90，3類的準確率為0.96，4類的準確率為0.90，5 類的準確率為0.98。從混淆矩陣中可以清楚地看出，大部分分類是正確的，而那些預測錯誤的通常只差一個類。因此，類別的邊緣有可能被錯誤分類。

圖7 RF 波數據集測試集進行預測所得的混淆矩陣Fig.7 Confusion matrix obtained from prediction of RF wave data set and test set

2.2 不同格式背散射波信號進行超聲波衰減分類識別的性能驗證

在實際無損檢測過程中，除了RF 波形式的超聲波信號外，還經常利用正全波形式的超聲波信號進行檢測。因此本文利用正全波形式的高溫合金超聲波衰減-背散射數據集對材料超聲波衰減分類識別網絡模型進行訓練。利用背散射(正全波信號)數據集的訓練集總共7602 個樣本對材料超聲波衰減分類識別網絡模型進行訓練。學習率從0.0001 開始。單個批量中包含8個樣本，每輪訓練批量數量為300個，總共進行10輪訓練，最終在訓練集上準確率達到0.845。圖8為正全波模型訓練的損失和準確率的曲線圖，訓練至第10輪時模型損失和準確率已相對穩定。

圖8 正全波模型分類識別網絡訓練曲線圖Fig.8 Positive full-wave model classification recognition network training curve

為驗證采用正全波形式訓練數據集進行訓練所得模型的泛化能力，本文利用正全波形式測試數據集對模型泛化能力進行實驗。圖9 為正全波形式測試數據集(總共960 個樣本)的混淆矩陣。測試數據集的整體識別準確率為0.808，0 類的準確率為0.51，1類的準確率為0.93，2類的準確率為0.85，3類的準確率為0.82，4 類的準確率為0.79，5 類的準確率為0.96。相比于采用RF信號進行訓練的模型，在采用相同超參數進行訓練的情況下，利用正全波信號進行的測試結果無論是整體識別準確率還是單類別識別準確率均明顯劣于采用RF 波信號的測試結果，預測錯誤最多可以達到兩個類。特別是0 類(底面回波幅度15%)，識別準確率僅0.51，有49%的0類背散射波信號被錯誤的分類識別為1類。

圖9 正全波數據集測試集進行預測所得的混淆矩陣Fig.9 Confusion matrix obtained from prediction of positive full wave data set and test set

為驗證訓練所得模型對于實際檢測數據的分類識別表現，利用訓練所得的模型對于1.1.1節中所采集的背散射波進行分類識別，得到圖10所示的結果。圖11 為提取圖8 中第40 行數據的背散射波分類識別結果、實際底面回波幅度衰減以及背散射波幅度對比結果，其中黑色曲線為該行背散射波幅度，紅色曲線為該行底面回撥幅度，灰色為該行掃描結果的實際超聲波衰減分類結果，藍色曲線為利用分類識別模型得到的超聲波衰減分類識別結果。采用模型進行的分類識別結果與實際檢測所得的底面回波衰減變化趨勢有較好的一致性，利用RF 信號模型所得到的分類識別結果更接近實際底面回波衰減情況。從圖11 的對比曲線結果中也可以看到，采用正全波信號模型的分類識別結果在類別上出現明顯的震蕩，而利用RF 信號模型所得的分類識別結果和真實的分類結果有更好的一致性。

圖10 預測結果與實際底波衰減C 掃對比Fig.10 Comparison between predicted results and actual bottom wave attenuation C-scan

圖11 第40 行數據的背散射波分類識別結果、實際底面回波幅度衰減以及背散射波幅度的曲線對比圖Fig.11 Curve comparison of backscattered wave classification and recognition results,actual bottom echo amplitude attenuation and backscattered wave amplitude of line 40 data

3 討論

實驗表明，利用高溫合金超聲波衰減-背散射(RF 信號)數據集訓練的材料超聲波衰減分類識別網絡可以實現利用背散射波信號分類識別得到材料超聲波衰減情況分類。說明了基于深度學習的材料超聲波衰減分類識別方法的可行性。作為對比實驗，利用正全波信號數據集訓練得到的材料超聲波衰減分類識別網絡的分類識別準確率出現了較大幅度的下降。采用相同訓練超參數和相同的網絡結構，可排除訓練超參數以及網絡結構差異所帶來的影響。因此可確定導致其分類識別準確率差異的主要因素來自其所采用訓練數據集。

圖12 為材料中超聲波傳播模型示意圖。超聲波探頭發射超聲波進入材料，超聲波在材料中的傳播路徑可以細分為n個區域，其中區域i代表這n個區域中的其中之一(i=1,2,···,n)。超聲波在通過區域i后相應的會有Bi(t)超聲波背散射信號被超聲波探頭接收。如果超聲波傳播路徑區域i的材料組織存在差異，相應的材料聲阻抗會發生變化，超聲波信號的幅度和相位特征也相應會發生變化。材料中的超聲波衰減是受到整個傳播路徑區域影響的，時域信號中的幅度及相位變化都會最終在超聲波回波幅度衰減上體現。材料超聲波衰減分類識別網絡模型利用底層的卷積層實現對于超聲波傳播路徑上的幅度及相位變化進行監測。之后利用池化層降低局部區域敏感性，提高模型的泛化能力。最后利用全連接層實現材料背散射波特征映射到材料超聲波回波衰減。正全波信號因缺失相位特征，使得在分類識別的準確率上劣于RF信號。

4 結論

本研究以高溫合金材料的超聲波衰減以及超聲背散射信號作為研究對象，結合了CNN 等方面的知識，提出了一種基于深度學習的材料超聲衰減識別網絡檢測算法，經實驗驗證主要得出以下結論：

(1) 利用所建立的高溫合金超聲波衰減-背散射(RF 信號)數據集進行實驗，利用訓練后的材料超聲波衰減分類識別網絡在訓練集上分類識別準確率可達0.941，在與訓練集同源的測試集上的識別準確率可以達到0.919，說明本文的材料超聲波衰減分類識別方法具有良好的泛化能力。

(2) 利用高溫合金超聲波衰減-背散射(正全波信號)數據集進行對比實驗，發現通過利用具有相同結構的深度學習模型訓練，采用正全波信號形式的數據集在其對應的測試集上的分類識別準確率為0.808，相比于RF 信號訓練所得的模型識別準確率出現了較明顯的下降。正全波信號缺失相位信息是導致二者在分類識別準確率上存在差異的重要原因。

(3) 通過實驗論證了基于深度學習的材料超聲波衰減分類識別方法的可行性。所采用的方法無需額外由人工進行特征提取和特征評價，而可以直接實現對于材料超聲衰減的分類識別。該方法為復雜結構航空發動機盤件的底面超聲回波衰減評價提供了一種可行的技術解決方案。