基于Mixup數據增強的CNN-GRU深度學習電火花線切割放電狀態識別

葉之騫，鐘紫鵬，鄧永聰，張永俊，蘇國康

基于Mixup數據增強的CNN-GRU深度學習電火花線切割放電狀態識別

葉之騫，鐘紫鵬，鄧永聰，張永俊，蘇國康

（廣東工業大學 機電工程學院，廣東 廣州 510000）

針對電火花線切割放電狀態識別中，數據集樣本較少導致訓練模型準確率不高的問題，提出基于Mixup數據增強的CNN-GRU網絡算法。該算法首先使用Mixup數據增強對原始的電火花波形數據進行數據增強，通過線性插值對數據進行混合，得到新的擴容之后的數據集；隨后使用增強的數據集訓練CNN-GRU模型，并用該模型進行分類。經實驗表明，使用Mixup數據增強的CNN-GRU模型能有效的識別出數據中的“時序特征”與“局部特征”，且模型的準確率達到了96%。

電火花線切割；放電狀態識別；數據增強；神經網絡

電火花線切割在加工過程中工具與工件并不直接接觸，其通過脈沖電壓擊穿工具（電極絲）與工件的“間隙距離”產生脈沖火花放電，火花放電瞬間的高溫與爆炸產生的沖擊將融化并且蝕除工件表面的材料。這種加工方式可以有效避開傳統切削加工因收到宏觀切削力而無法高效加工高硬度材料這個缺點，同時電火花線切割加工由于其不受傳統加工應力影響，其自身工具損耗小。由于自身的特殊性，電火花線切割加工技術在航空航天領域被廣泛的應用，是生產制造部門的重要制造手段[1]。國內特有的快走絲線切割加工方式，其加工時的諸多參數如電參數等對加工質量有較大的影響，其間隙放電狀態能反應出當前的加工狀態。通過監測并識別加工時的電火花放電狀態，可為機床的實時控制提供依據，進而提升加工質量[2]。

國內外對放電狀態的檢測進行了深入的研究。間隙電壓與電流的波形是當前檢測電火花線切割放電狀態的主要依據，不同的放電狀態對于加工的質量以及穩定性有顯著的影響[3]。霍孟友等[4]按照電火花加工過程中的電壓電流波形規律，將電脈沖分為空載，正常放電，穩定電弧，過度電弧以及短路物種狀態。李立青等[1]設計了一種“浮動閾值法”，即測量間隙電流以及檢測和間隙峰值電流成比例變化的電壓閾值。但是電火花線切割加工過程是一個相對而言較為復雜的過程，閾值選取更多基于專家的經驗，這都阻礙了閾值法進一步提高其對火花狀態的判斷準確性。

隨著數字技術尤其是計算機技術的進步，數據成為新的生產資料，新一代人工智能技術為制造賦能是大勢所趨[5]。大數據、深度學習、知識圖譜與數字孿生等成為新一代人工智能發展的核心推動力。把新技術加持之下的人工智能控制技術應用到往復走絲電火花線切割過程中，智能算法開始走入人們的視野中，不斷受到關注。J. Y. KAO等[6]將神經網絡與早期的傳統檢測方法進行比較，證明了神經網絡可以有效識別電火花放電狀態，隨后將其成功應用于電火花加工脈沖檢測上；TARNG等[7]采用模擬退火算法構造模糊脈沖鑒別器的隸屬函數，對放電脈沖進行快速且精準的分類；李云龍等[8-10]分別將MLP、PNN以及粒子群算法用于放電狀態的檢測，實驗表明，這些算法可有效提高工藝指標；劉長紅[11]基于通過高速攝影儀監控電火花線切割加工時的圖像，隨后將圖像輸入神經網絡之中并通過操控私服系統，有效提高了加工質量。隨著技術的進步，尤其是信息技術的進步，以及隨之帶來的數據分析能力的提升，機器學習這種以數據驅動的智能算法越來越受到研究人員的關注，這類智能算法可以挖掘數據中的信息來為智能控制系統的狀態檢測模塊服務。

時間序列是用按時間順序排列的變量來表示事件的序列[12]。電火花放電波形是典型的時間序列數據，其非平穩性和非線性的特征，通過對其頻域特征的分析可以從信號本質的角度分辨其放電狀態。對此，本文使用了時間序列數據處理中常用的循環神經網絡的變體GRU（Gated Recurrent Unit，門控循環單元）網絡作為模型的一部分以提取時域特征，模型另外一部分選用卷積神經網絡提取序列中的局部特征，最后將兩個網絡并行進行特征融合。

對電火花狀態檢測的研究中，幾乎大多都是從算法、模型的角度出發，通過使用不同的算法、不同的模型，從電火花放電的數據中提取高質量的特征序列，從而提高準確率，但從數據本身著手研究的案例較少。現實中不少應用的數據存在局限性[13]，數據量的稀少、類別分布的不均衡等因素都會影響模型的分類性能。

數據增強是深度學習中常用的技術手段，因為訓練模型的數據集通常是有限的，數據增強其通過某些技術手段擴充數據集，進而提高模型的性能。數據增強技術已經在圖像處理領域取得了廣泛的應用于良好的效果[14]。圖像處理領域常用的添加隨機噪聲[15]，隨機變形等方法可以有效地擴充有限的數據集，以提升模型的泛化能力，但其相似的手段卻無法在時間序列數據取得良好的效果[16]。

Mixup是一種在圖像領域被廣泛應用的技術增強手段，能有效擴展訓練數據的分布空間，從而提升訓練模型的性能。本文將Mixup應用于電火花放電狀態的數據集中，并且結合CNN-GRU網絡，提出基于Mixup數據增強的CNN-GRU網絡模型。該模型在訓練時會先用Mixup方法從原始數據中不斷提取被增強的時間序列數據，并用這些增強的新數據進行網絡訓練，隨后進行分類。

1 數據的分析及增強

1.1 波形數據分析

圖1給出了電火花線切割加工過程中的放電狀態，放電狀態有空載、火花放電、過渡電弧、穩定電弧以及短路五種類型。波形數據是典型的時間序列數據，這類數據具備時間連續性，可以反映隨時間變化過程的評率、幅度和趨勢等信息。通過訓練深度網絡模型，使得模型具有提取波形特征的能力，從而判別當前的加工狀態并以此為依據對設備進行操控。為了使得分類更為簡單以及高效，本次數據劃分中將過度電弧與穩定電弧一同歸類于電弧放電中，最終的分類為空載、火花放電、電弧放電以及短路四大類。

圖1 電火花放電狀態波形圖

1.2 數據的采集

數據源自于實驗室自主研發的但火花線切割連桿切槽機床加工中產生的數據。此設備與通用的電火花線切割機床沒有本質上的差別，因此在機床上采集數據具有一定的通用性。加工時采用的脈沖電源最大電壓為250 V，平均加工電流為7.2 A；數據采集期間，脈沖電源脈寬設置為30 μs，占空比為1:4，峰值電流為25 A；采用的電極絲為直徑0.12 mm的鉬絲；采集過程中全過程用Tektronix示波器進行電壓和電流波形數據的采集。本文將保留整個放電脈沖波形的樣本點，數量為375個。最后，為了保持模型對于各個類別的識別的準確性，各類別的采樣數量相差不應太多，最終的波形樣本數據的統計信息如表1所示。

表1 波形數據統計

Mixup是一種基于領域風險原則的數據增強方法，該方法的主要思想把經驗狄拉克分布轉化為經驗鄰域分布。Mixup利用線性插值的方式對原有的數據集中2個不同的樣本及樣本的標簽進行混合，從而產生一個新的樣本，這種方法在原有數據集的基礎上，在不添加新的樣本量的前提下擴展了數據集規模，從而擴展了訓練數據的分布空間，進而提高模型的泛化能力。Mixup算法首先從訓練集中隨機抽取兩個不同的數據（d,l）與（d,l），是數據樣本，是該樣本的標簽，且≠。且標簽都是獨熱編碼（one-hot）標簽，隨后利用這些隨機抽取的數據計算并生成一個全新的樣本：

式中：∈[0,1]為服從于∈(,)分布的超參數，其作用是控制插值的強度；的大小與插值強度成正比關系，會對數據的混合程度產生影響，當＝0時，Mixup失效。

實驗中，首先將300個原有的訓練數據全部打亂后從中隨機抽取個樣本組成樣本集：

隨后將這個取出的樣本集再打亂且隨機排序，此時得到的樣本集順序與之前的不同：

兩個樣本集中每一個索引相同的樣本都符合下式：

隨后利用式（1）、式（2）對這兩個樣本進行計算，并得到一個新的樣本，這些新的樣本由此組合成一個新的樣本集：

這些新組合而成的訓練集將會代替選本的訓練集組成mini_batch訓練模型。大致流程如圖2所示。

圖2 數據增強流程圖

2 模型的搭建與訓練

2.1 模型搭建與訓練

編程語言選擇Python，深度學習框架選擇當前市面上主流的框架之一Pytorch，進行模型的搭建與訓練，模型的具體結構如圖3所示。本文分別嘗試了卷積層與循環網絡的并行與串行結構，實驗發現并行結構訓練更容易收斂，準確度也更高，因此最后選擇并行結構作為網絡的結構。

圖3 模型結構圖

因為使用了Mixup數據增強，理論上來說訓練數據量被無限的進行了擴充，這使得可以使用更深層的網絡結構。

本文使用了兩層一維卷積神經網絡來提取放電波形的局部特征。一維卷積結構如圖4所示，其常用于自然語言處理中，適用于本實驗的數據形式，其卷積核大小分別是5*1與3*1，每層卷積網絡后方接Relu激活函數，當數據流出第二層卷積層時進入最大池化層將數據進一步提純以縮小數據規模進而減小模型的參數，池化層輸出整個卷積模塊提取的局部特征。

圖4 一維卷積核結構

為了解決這些問題，學術界提出了各種各樣的方法，“長短期記憶”（Long-Short-Term- Memory，LSTM）是最早被提出來用于解決梯度消失的一種循環網絡結構。GRU是一個稍微簡化的變體，通常能夠提供同等的效果，但比起LSTM，GRU的計算速度明顯更快。門控循環單元以其獨特的結構用以支持隱狀態的控制，這是它與普通循環神經網絡的最關鍵的區別。“門控”機制的存在，使得模型有專門的機制來確定隱狀態的更新以及重置，并且這些機制是可以通過數據來進行學習的。

GRU具體結構如圖5所示，GRU有兩個“門”，分別是重置門R與更新門Z重置門允許模型控制“可能還想記住”的過去狀態的數量；更新門允許模型更新狀態中有多少個是舊狀態的副本。兩者的計算如下：

式中：、為權重參數；bh為偏置項。

使用tan非線性激活函數是為了使得候選隱狀態的值保持在(-1, 1)的區間內，不造成數值的急速擴張。當重置門R中的值接近1時，整個GRU網絡恢復為一個通常的RNN網絡。當R接近0時，候選隱狀態是以X作為輸入的輸出結果。此時任何預先存留的隱狀態中的信息，都會被重置為默認值。

2.2 實驗與分析

實驗首先分別采用了DNN、CNN以及RNN（LSTM與GRU）四種不同的單一網絡進行訓練。其中DNN網絡（深度神經網絡）由兩層神經網絡組成，其中輸入層有375個神經元，隱藏層有200個神經元，其激活函數為Relu激活函數，輸出層為4對應電火花放電的四個分類。CNN網絡（卷積神經網絡）分別由兩層5*1與3*1大小的卷積核的卷積層構成，每層卷積層過Relu激活函數且第二層卷積層后增加一層最大池化層以壓縮數據和提取數據中的特征。LSTM網絡（長短期記憶網絡）則是由2層LSTM網絡構成，每層有16個Hidden_size，設置Drop_out為0.8以防止模型過擬合，分類器是與其他網絡一樣，是一個輸出為4的全連接網絡。GRU網絡（門控循環單元網絡）由2層GRU層組成，每層有16個Hidden_size，Drop_out同樣設置為0.8從而方便與LSTM網絡進行比較，分類器同樣與LSTM網絡相同。同時，經過反復的比較實驗，并且為了更利于網絡性能的對比，四組網絡選用相同的交叉熵損失函數與Adam優化器。此外，為了使得訓練時過程中更容易“跳出”局部最小值，試驗中采取了學習率衰減的訓練策略，即當訓練損失函數在迭代30次后任然沒有下降時，那么學習率會“衰減”為當前學習率的0.9倍，這個衰減會一直伴隨到整個迭代周期結束。這樣的設計使得整個訓練過程的“隨機性”更強，訓練的“不確定性”更高，但訓練過程整體任然是可控的。本文的實驗均采用小批量梯度下降的樣本進行模型的訓練，這使得模型的訓練速度更快。其中單輪批次數量（Mini_batch）大小為32，每個數據集訓練500次（epoch為500）。

從圖6可知，DNN、CNN、LSTM以及GRU網絡分別取得了82.6%、85%、89.5%與88.3%的準確率。其中LSTM憑借其復雜的門控機制準確識別出了數據中的時域特征，其準確率最高。GRU網絡緊隨其后，準確率為88.3%，但是相比起LSTM網絡，GRU網絡擁有更少的參數。DNN與CNN網絡相較于RNN網絡來說準確率較低，因為兩者無法提煉出數據中的“時序特征”，只能識別出“局部特征”（即“結構特征”）。而電火花放電的波形有較強的“時序特征”，因此能有效識別其特征的LSTM與GRU取得了相對較高的準確率。CNN網絡因為能比DNN更好地捕捉數據中的“局部特征”所以準確率相比起DNN更高。

圖6 單一結構模型比較

為了提升分類的準確率，將數據的“時序特征”與“局部特征”進行特征融合，在時間結構與空間結構上對樣本進行分析。在此基礎上，將CNN與RNN網絡組合，形成CNN-RNN網絡模型，對電火花放電波形進行分類。在RNN網絡類型中，選擇參數較小的GRU網絡以降低模型的復雜性從而更好的適配小樣本數據集。同時，為了有效的適配更為復雜的模型，對原本的數據集進行了Mixup數據增強，其具體原理如上文所述。模型結構如圖3所示，整個模型包含了兩個并行的網絡通道，分別為CNN網絡模塊與GRU網絡模塊，數據輸入網絡時會同時經過 CNN與GRU模塊，兩個模塊分別輸出數據的“結構特征”與“時域特征”，隨后將數據的“局部特征”與“時序特征”進行特征融合，融合過后的數據結構同時擁有數據的時域特征與結構特征，使得模型泛化能力更強。圖7是模型的訓練損失值下降情況，可以看出訓練過程存在一定的波動，這與數據、模型以及訓練方式等都存在某種關系，并且在訓練過程中為了克服訓練樣本小的缺點而使用了數據增強技術，這在一定程度上增加了“不穩定性”，但總體來看，整體呈現去一種下降的趨勢，并且走勢明顯，這說明所訓練的模型比較精確的擬合了數據的分布，模型取得了較好的泛化能力，這說明模型與數據集適配良好。

本文進行了對比實驗以驗證模型結構與數據增強對模型分類準確率提升的作用。驗證了三種模型在相同數據集下的分類準確率，GRU網絡、CNN-GRU網絡以及基于Mixup的CNN-GRU網絡分別取得了88.3%、92.1%和96.7%的分類準確率。將CNN模塊與GRU模塊并行組合之后，模型的準確率從88.3%提升到了92.1%，因為多重特征提取的模型可以從不同的角度提取數據中的“規律”，識別其中的“模式”。CNN-GRU網絡有效地提取了電火花波形數據中的“時序”與“局部”兩種不同的特征，從而有效提升了模型的分類準確率。但是受限于數據集的規模、數據的稀缺性以及人工標注時存在的誤差等無關于模型的情況，使得模型的復雜性受限，并且通過修改模型的結構以提升分類準確率的收益不斷降低，提升極為有限。

圖8 不同結構模型比較

在模型角度獲取收益有限的情況下，本文將Mixup數據增強運用到了電火花波形數據中。電火花放電波形屬于小樣本數據，其分布情況比較稀疏，無法充分的反應數據真實的分布情況，這不利于模型提取數據中的“規律”。利用Mixup數據增強可以有效填充原始數據中的空白的分布空間，從而使模型更充分的學習數據中的分布情況從而更好地估計區分邊界，提升模型的泛化能力，進而提升分類準確率。其中Mixup自帶的超參數，經過多次實驗后選定為0.00125。此時訓練穩定性最好，且對于模型分類的準確率提升也有較大的提升，基于Mixup的CNN-GRU模型有96%的準確率，相比CNN-GRU模型提升了3.9%。這表示Mixup數據增強產生的新數據有效提升了CNN-GRU網絡在小樣本數據集上泛化能力。

3 結論

本文針對電火花放電狀態波形數據集樣本小以及樣本自身是時間序列數據的特點，提出了基于Mixup的CNN-GRU分類模型。該模型首先使用Mixup對原始數據進行增強，隨后使用增強后的數據集訓練CNN-GRU網絡，并進行電火花狀態識別任務。實驗的結果表明：

（1）Mixup可以有效地運用于電火花放電狀態波形數據集，并且有效地提高了CNN-GRU模型的分類準確率；

（2）CNN-GRU網絡可以有效識別數據中“時序特征”與“局部特征”，提升模型的分類準確率。

[1]李立青，郭艷玲，白基成，等. 電火花加工技術研究的發展趨勢預測[J]. 機床與液壓，2008（2）：174-178.

[2]潘伯郁. 往復走絲電火花線切割機床智能自適應采樣控制系統和納秒級高頻電源的研發及應用[J]. 電加工與模具，2020（6）：25-28.

[3]劉志東，王振興，張艷，等. 高速走絲電火花線切割高效切割技術研究[J]. 中國機械工程，2011，22（4）：385-389.

[4]霍孟友，張建華，艾興. 電火花放電加工間隙狀態檢測方法綜述[J]. 電加工與模具，2003（3）：17-19.

[5]陳吉紅，胡鵬程，周會成，等. 走向智能機床[J]. Engineering，2019，5（4）：186-210.

[6]Kao J Y，Tarng Y S. A neutral-network approach for the on-line monitoring of the electrical discharge machining process[J]. Journal of Materials Processing Technology，1997，69（1-3）：112-119.

[7]TARNG Y S，TSENG C M，CHUNG L K. A fuzzy pulse discriminating system for electrical discharge machining[J]. International Journal of Machine Tools and Manufacture，1997，37（4）：511-522.

[8]李云龍. 基于粒子群算法的線切割放電狀態檢測研究[D]. 哈爾濱：哈爾濱理工大學，2014.

[9]閆雯雯. 基于神經網絡的電火花線切割加工放電狀態檢測研究[D]. 哈爾濱：哈爾濱理工大學，2013.

[10]唐琦. 基于PNN算法的電火花線切割間隙放電狀態檢測研究[D]. 哈爾濱：哈爾濱理工大學，2018.

[11]劉長紅. 基于聲光信號和深度學習的電火花線切割伺服控制系統研究[D]. 廣州：廣東工業大學，2022.

[12]沈旭東. 基于深度學習的時間序列算法綜述[J]. 信息技術與信息化，2019（1）：71-76.

[13]WEN Q，SUN L，YANG F，et al. Time series data augmentation for deep learning: A survey[J]. arXiv preprint，2020：12478.

[14]SHORTEN C，KHOSHGOFTAAR T M. A survey on imagedata augmentation for deep learning[J]. Journal of big data，2019，6（1）：1-48.

[15]FIELDS T，HSIEH G，CHENOU J. Mitigating drift intimeseries data with noise augmentation[C]. 2019 International Conference on Computational Science and Computational Intelligence (CSC), IEEE，2019：227-230.

[16]IWANA B K，UCHIDA S. Time series data augmentation for neural networks by time warpingwith a discriminative teacher[C]. 2020 25th International Conference on Pattern Recognition (ICPR), IEEE，2021：3558-3565.

CNN-GRU Deep Learning WEDM Discharge State Recognition Based on Mixup Data Enhancement

YE Zhiqian，ZHONG Zipeng，DENG Yongcong，ZHANG Yongjun，SU Guokang

( School ofElectromechanical Engineering,Guangdong University of Technology, Guangzhou 510000, China)

In order to solve the problem of low accuracy of training models due to small sample data in the recognition of discharge state of WEDM, a CNN-GRU network algorithm based on Mixup data enhancement is proposed. In this algorithm, the original EDM waveform data is enhanced by Mixup data enhancement, and the data is mixed by linear interpolation to obtain a new expanded data set. The CNN-GRU model is then trained using the enhanced data set, and the model is used for classification. The experiment show that the CNN-GRU model trained by Mixup data enhancement can effectively identify the "temporal features" and "local features" of the data, and the accuracy of the model reaches 96%.

WEDM；discharge state recognition；data enhancement；neural network

TH164；TP181

A

10.3969/j.issn.1006-0316.2023.009.002

1006-0316 (2023) 09-0008-08

2023-03-13

國家自然科學基金面上項目（51275098）

葉之騫（1996－），男，江蘇蘇州人，碩士研究生，主要研究方向為特種加工工藝及設備的研發，E-mail：yzqyzqyzq1996@qq.com。

蘇國康（1994－），男，廣東云浮人，博士研究生，主要研究方向為特種加工工藝研究及裝備，E-mail：su_guokang@163.com。