自適應(yīng)變分模態(tài)分解與RCNN-3結(jié)合的揚(yáng)聲器異常聲分類方法

周靜雷,賀家琛,王曉明,崔 琳

(西安工程大學(xué) 電子信息學(xué)院,陜西 西安 710048)

0 引 言

隨著智能設(shè)備的快速發(fā)展,以聲音作為人機(jī)交互渠道的切入點,滿足了消費(fèi)者的需求,并促進(jìn)智能音箱等相關(guān)設(shè)備的快速發(fā)展。相對應(yīng)的,故障的揚(yáng)聲器數(shù)量也隨之增加,給電聲企業(yè)揚(yáng)聲器生產(chǎn)線測試增加了困難。傳統(tǒng)揚(yáng)聲器異常聲檢測主要是靠人工聽音的方式來判斷,這種方法容易受聽音員的專業(yè)水平、工作狀態(tài)等諸多不確定性因素的影響,導(dǎo)致傳統(tǒng)檢測方法無法保證揚(yáng)聲器異常聲分類的精度及效率,難以滿足工廠發(fā)展的需求。因此,提高揚(yáng)聲器異常聲檢測的效率、質(zhì)量和加快自動化進(jìn)程,對揚(yáng)聲器產(chǎn)業(yè)的發(fā)展具有十分重要的意義[1]。

揚(yáng)聲器在大信號激勵下,聲響應(yīng)信號是非線性、非平穩(wěn)的[2-3],所以一般采用時頻分析的方式,去獲取較為全面的特征[4]。在實際測試環(huán)境中,檢測過程極易受到外界環(huán)境噪聲的干擾,為提高揚(yáng)聲器異常聲分類的準(zhǔn)確率,需要對獲取的聲響應(yīng)信號進(jìn)行降噪。張文義等用卡爾曼濾波、共振稀疏分解和最大相關(guān)峭度解卷積等進(jìn)行降噪[5],但這些方法在處理非線性、非平穩(wěn)信號時,會造成性能衰退[6];周曉東等采用短時傅里葉變換(short-time Fourier transform,STFT)進(jìn)行異常聲信號處理[7],但STFT分解率比較單一,缺少自適應(yīng)性。為了解決分解單一問題,文獻(xiàn)[8-9]利用經(jīng)驗?zāi)B(tài)分解(empirical mode decomposition,EMD)進(jìn)行處理,但仍存在模態(tài)混疊等問題。文獻(xiàn)[10-11]采用集合經(jīng)驗?zāi)B(tài)分解(ensemble empirical mode decomposition,EEMD)對響應(yīng)信號進(jìn)行分解,一定程度上解決了模態(tài)混疊問題,但如果參數(shù)選擇不合適,仍會出現(xiàn)這一現(xiàn)象;而VMD與EMD相反,是從低頻到高頻逐一進(jìn)行分解出各模態(tài)分量,其抑制模態(tài)混疊的情況優(yōu)于EMD,并且其降噪效果更加理想[12]。傳統(tǒng)的揚(yáng)聲器異常聲分類網(wǎng)絡(luò)中,大多采用支持向量機(jī)(support vector machine,SVM)算法[13-15]、K最近鄰(K-Nearest Neighbor,KNN)算法[16]等,但是此類方法分類效果相對較差。近年來,深度學(xué)習(xí)廣泛應(yīng)用于故障診斷領(lǐng)域。文獻(xiàn)[17-20]采用CNN進(jìn)行不同故障類型的分類,取得良好效果。神經(jīng)網(wǎng)絡(luò)模型的深度是獲得好的訓(xùn)練結(jié)果的重要因素,但隨著網(wǎng)絡(luò)模型深度的提升,“梯度消失、爆炸”與網(wǎng)絡(luò)退化現(xiàn)象越來越嚴(yán)重。針對以上不足,康玉祥等采用殘差網(wǎng)絡(luò)對滾動軸承進(jìn)行故障診斷,并取得很好的診斷效果[21]。

本文針對揚(yáng)聲器異常聲信號特征提取困難以及識別準(zhǔn)確率較低等問題,提出了一種基于AVMD與RCNN-3相結(jié)合的揚(yáng)聲器異常聲分類方法。首先以平均包絡(luò)譜特征因子作為衡量VMD分解好壞的標(biāo)準(zhǔn),通過GWO算法優(yōu)化VMD,找到合適α和K,后又通過RF-RFE算法對VMD所提取的特征做進(jìn)一步篩選,提取最優(yōu)特征子集;最后用 RCNN-3模型進(jìn)行分類;RCNN-3模型可以有效防止網(wǎng)絡(luò)退化,提高分類的準(zhǔn)確率和效率。

1 理論分析

1.1 揚(yáng)聲器異常聲特征提取理論

揚(yáng)聲器異常聲分類中,直接對音頻數(shù)據(jù)進(jìn)行分類,難度較大,主要原因有:①在大信號驅(qū)動下,揚(yáng)聲器聲響應(yīng)信號是非線性、非平穩(wěn)的,直接分類,難以有效獲取異常聲特征;②聲響應(yīng)信號數(shù)據(jù)量較大,若直接分類,模型訓(xùn)練速度慢,模型損失函數(shù)值下降困難,導(dǎo)致分類精度不高。所以,本文采用VMD提取聲頻數(shù)據(jù)中的特征。VMD以各模態(tài)帶寬最小和原則,采用非遞歸方法進(jìn)行信號分解,可以有效解決模態(tài)混疊現(xiàn)象,且分解后,各模態(tài)能量相對集中,方便后續(xù)提取異常聲特征。但VMD分解過程中,二次懲罰因子和模態(tài)分解數(shù)對分解結(jié)果影響較大,又沒有確定的數(shù)值,其參數(shù)選擇一般根據(jù)實際應(yīng)用場景來自行選擇,受人主觀判斷影響較大,所以本文用包絡(luò)譜特征因子(EFF)來衡量VMD分解好壞,以GWO算法作為尋優(yōu)算法,確定VMD中的最優(yōu)參數(shù)組合。設(shè)X(t)為VMD后的時間序列分量之一,其經(jīng)Hilbert解調(diào)后的包絡(luò)譜的頻譜為E(f),EFF[22]的公式如式(1)所示。

(1)

式中:fc表示最大幅值故障頻率點;RMS為均方根。

GWO算法[23]是MIRJALILI等于2014年提出的一 種元啟發(fā)式優(yōu)化算法,通過模仿自然界中灰狼群的等級制度與捕食策略以迭代計算的方式實現(xiàn)對獵物(最優(yōu)值)的搜索。通過GWO算法優(yōu)化VMD,確定好VMD中α和K后, 就可進(jìn)行特征提取。主要提取特征為能量熵、時頻熵、峰峰值等。但提取的這些特征中有些對揚(yáng)聲器異常聲分類影響較大,有些對揚(yáng)聲器異常聲分類影響較小,甚至有些特征不利于后續(xù)分類。所以,有必要對特征進(jìn)行篩選,提取出最優(yōu)的特征子集。特征篩選方法為RF-RFE算法。其進(jìn)行特征選擇包含特征重要性計算和遞歸特征消除2個部分。特征重要性計算是RF算法內(nèi)嵌的功能,以袋外(out-of-bag,OOB)數(shù)據(jù)分類準(zhǔn)確率為評價準(zhǔn)則。

本文所提出的自適應(yīng)變分模態(tài)分解是基于GWO算法, VMD和RF-RFE算法3種模型的特征提取方法。整體步驟如下:

1) 選取正常和每種異常音頻數(shù)據(jù)各20條,作為數(shù)據(jù)樣本,以平均包絡(luò)譜特征因子作為衡量VMD分解好壞的標(biāo)準(zhǔn);

2) 通過GWO算法優(yōu)化VMD,確定最優(yōu)二次懲罰因子和模態(tài)分解數(shù);

3) 對原始音頻數(shù)據(jù)進(jìn)行VMD,并提取能量熵,時頻熵,峰峰值等特征;

4) 用RF-RFE算法對上一步提取的特征進(jìn)行尋優(yōu),確定最優(yōu)特征子數(shù)據(jù)集。

1.2 揚(yáng)聲器異常聲分類模型理論

傳統(tǒng)分類方法(如SVM,XGBoost等)在揚(yáng)聲器異常聲分類方面,準(zhǔn)確率相對較低,主要是因為傳統(tǒng)方法難以有效提取揚(yáng)聲器響應(yīng)信號中的異常聲特征,更無法發(fā)掘較深層次特征,進(jìn)而導(dǎo)致模型性能退化,準(zhǔn)確率降低。近些年來,深度學(xué)習(xí)廣泛應(yīng)用于故障診斷領(lǐng)域,取得了不錯的成果。其中,卷積神經(jīng)網(wǎng)絡(luò)在特征提取方面有著優(yōu)良的效果,本文分類模型主要由2個卷積層,1個池化層,3個殘差塊結(jié)構(gòu),2個卷積層,1個池化層,1個全局平均池化層,1個全連接層構(gòu)成,最后通過SOFTMax函數(shù)實現(xiàn)分類。

在實驗中發(fā)現(xiàn)2個卷積層加1個池化層這一固定結(jié)構(gòu)有利于提取更深層次的異常聲特征,表示為結(jié)構(gòu)1(見圖1)。

圖1 結(jié)構(gòu)1

結(jié)構(gòu)1中激活函數(shù)統(tǒng)一使用RELU,其使用仿生物學(xué)原理,有效的加快梯度下降,防止梯度爆炸,簡化計算過程,提高效率。填充方式為0填充,不改變原數(shù)據(jù)格式,且0填充減小了引入的誤差干擾。

雖然使用單一的卷積神經(jīng)網(wǎng)絡(luò)可以有效提高準(zhǔn)確率,但在分類準(zhǔn)確率的穩(wěn)定性方面存在較大波動,主要是因為單一的卷積神經(jīng)網(wǎng)絡(luò)難以有效提取更深層次特征,相當(dāng)于一個淺層網(wǎng)絡(luò)。所以本文引入了ResNet結(jié)構(gòu),用來提高模型的平均準(zhǔn)確率和降低波動,提高模型魯棒性。ResNet在預(yù)防神經(jīng)網(wǎng)絡(luò)退化方面有著良好的效果,是目前使用最多的深度學(xué)習(xí)網(wǎng)絡(luò)中的一種。CNN的網(wǎng)絡(luò)層數(shù)對其訓(xùn)練的效果有著決定性作用。CNN的網(wǎng)絡(luò)層數(shù)加深意味著可以更充分地提取更深層次的特征,提取到的特征維度越高,獲取的信息就越多,但隨著網(wǎng)絡(luò)層數(shù)的不斷加深,出現(xiàn)了梯度消失等現(xiàn)象,從而導(dǎo)致模型訓(xùn)練準(zhǔn)確率下降。HE等提出用殘差網(wǎng)絡(luò)解決這一問題,其結(jié)構(gòu)如圖2所示[24]。

圖2 殘差結(jié)構(gòu)塊

圖2中:n×n×M1、n×n×M2是M1、M2個n×n大小的卷積核;BN為歸一化操作;RELU為激活函數(shù);輸入x在經(jīng)過卷積、批歸一化、激活函數(shù)等變換后得到映射函數(shù)f(x)。同時x經(jīng)過恒等映射(使得變換后的格式和f(x)獲得的格式具有相同尺寸)后和f(x)進(jìn)行累加操作得到輸出h(x),可表示為

h(x)=f(x)+x

(2)

通過在原有結(jié)構(gòu)上引入ResNet,可以有效提高模型魯棒性,提取揚(yáng)聲器異常聲更深層次的特征。通過實驗發(fā)現(xiàn)添加3個殘差塊結(jié)構(gòu),分類效果最佳。在殘差結(jié)構(gòu)中,每個卷積層后會加一個批量歸一化層,主要是解決在訓(xùn)練過程中,中間層數(shù)據(jù)分布發(fā)生改變的問題,防止梯度消失或爆炸,加快訓(xùn)練速度。本文分類模型損失(loss)函數(shù)為平均均方誤差,可表示為

(3)

本文參數(shù)選擇采用網(wǎng)格搜索優(yōu)化算法,主要搜索的參數(shù)為批大小、學(xué)習(xí)率、迭代次數(shù);最終優(yōu)化結(jié)果設(shè)置批處理樣本量為4;迭代次數(shù)為100;學(xué)習(xí)率為0.001。

2 實驗與結(jié)果分析

2.1 數(shù)據(jù)采集

實驗所用揚(yáng)聲器型號為3580-3型,激勵信號為1 800～20 Hz的從高頻到低頻連續(xù)對數(shù)掃頻信號[25]。本次實驗共采集了良品、異物、缺膠、碰圈、脫盆架、音小、紙盆聲7種主要類型的揚(yáng)聲器單元,每種類型的揚(yáng)聲器各14個。揚(yáng)聲器單元在大信號驅(qū)動下,聲響應(yīng)信號是非線性非平穩(wěn)的,每個揚(yáng)聲器單元只采集一條數(shù)據(jù)不能表征個體的所有特征,所以每個揚(yáng)聲器單元各采集20條數(shù)據(jù)作為樣本。異物是指在揚(yáng)聲器單元制作過程中由于工藝等原因?qū)е聝?nèi)部有小顆粒存在;缺膠是指防塵帽或壓邊處缺膠;碰圈是指音圈形變或支架不平導(dǎo)致與磁體發(fā)生碰撞;脫盆架是指盆架安裝松動;音小指支片沾有膠水;紙盆聲是紙盆破裂而導(dǎo)致等。數(shù)據(jù)采集平臺如圖3所示。

圖3 數(shù)據(jù)采集平臺

由圖3可知,數(shù)據(jù)采集流程為揚(yáng)聲器異常聲分析模塊先產(chǎn)生激勵信號,經(jīng)功率放大器后供給被測揚(yáng)聲器單元,同時傳聲器在消音箱內(nèi)采集聲響應(yīng)信號,后送給異常聲分析模塊進(jìn)行調(diào)理,最后由音頻分析儀進(jìn)行數(shù)據(jù)記錄。

2.2 揚(yáng)聲器異常聲特征提取實驗

用GWO算法優(yōu)化VMD是以平均包絡(luò)譜特征因子作為衡量標(biāo)準(zhǔn),良品音頻若以K為6進(jìn)行分解,那么良品音頻的平均包絡(luò)譜特征因子為6個分量EFF的平均值。VMD中的模態(tài)分解數(shù)、二次懲罰因子需要人為去設(shè)置。本文采用GWO算法優(yōu)化VMD得到最優(yōu)參數(shù)K=6,α=17 638。7種音頻經(jīng)VMD后的頻域如圖4所示。每個圖有6個分量,從上到下是VMF1到VMF6

(a) 良品

從圖4(a)可以看出,良品音頻經(jīng)VMD后,VMF1到VMF6中頻頻率依次為1 611、1 265、950、626、286、62 Hz,頻率間隔均勻,沒有出現(xiàn)中心頻率較為接近或一樣的情況,其他6種音頻中心頻率也均勻分開,與良品類似,所以變分模態(tài)分解可以將聲響應(yīng)信號自適應(yīng)的分解到不同頻帶上,不存在模態(tài)混疊現(xiàn)象。

在VMD分解后,每個音頻數(shù)據(jù)共提取能量熵,時頻熵,峰峰值等特征共108個,但是這些特征不一定全部有助于后續(xù)分類,所以需要用RF-RFE算法進(jìn)行特征篩選,以準(zhǔn)確率為評價標(biāo)準(zhǔn),最終選出的最優(yōu)特征子集,如圖5所示。

圖5 最優(yōu)特征子集

圖5中,所有特征重要度和為1,其中U2×8重要度最高,其代表VMD后分量2的第8個特征,為方差,其重要度為0.068;經(jīng)RF-RFE算法優(yōu)化后最優(yōu)特征子集有29個特征,相對于原來108個特征來說,剔除了79個不重要特征,降低了數(shù)據(jù)維度,提高了分類的準(zhǔn)確率和速度。

2.3 實驗參數(shù)設(shè)置

實驗中計算機(jī)CPU為AMD Ryzen7 3700X,8-Core Processor CPU@3.59GHz, GPU為NVIDIA GeForce GTX 1660 SUPER,16 GiB運(yùn)行內(nèi)存。編程語言為python3.6.10,深度學(xué)習(xí)框架為TensorFlow。

2.4 RCNN分類實驗

為了獲取最優(yōu)的網(wǎng)絡(luò)模型,選取不同殘差網(wǎng)絡(luò)的層數(shù)進(jìn)行實驗。將卷積神經(jīng)網(wǎng)絡(luò)與2層殘差神經(jīng)網(wǎng)絡(luò)、3層殘差神經(jīng)網(wǎng)絡(luò)、4層殘差神經(jīng)網(wǎng)結(jié)合,分別構(gòu)建RCNN-2, RCNN-3, RCNN-4模型,分別訓(xùn)練5次求其平均準(zhǔn)確率進(jìn)行對比,結(jié)果如表1所示,準(zhǔn)確率和損失函數(shù)值如圖6所示。

表1 不同殘差層數(shù)測試結(jié)果

從表1可以看出,RCNN-3準(zhǔn)確率高且損失函數(shù)值最低,分別為99.3%和0.003;RCNN-2次之,分別為91.6%和0.062;而RCNN-4準(zhǔn)確率相對較差,主要是隨著網(wǎng)絡(luò)深度的提高,網(wǎng)絡(luò)參數(shù)的增多,出現(xiàn)神經(jīng)網(wǎng)絡(luò)退化現(xiàn)象,導(dǎo)致在使用4層殘差網(wǎng)絡(luò)模型的過程中出現(xiàn)了精度低,損失值提高和收斂慢等現(xiàn)象。同樣在圖6中也可以看出,融合3層殘差結(jié)構(gòu)的RCNN-3分類模型效果最好,在準(zhǔn)確率和損失函數(shù)值收斂速度方面都要優(yōu)于其他分類模型,且在準(zhǔn)確率大小方面整體上也是最好的,因此選擇RCNN-3模型作為本文最優(yōu)模型。本文最優(yōu)模型參數(shù)設(shè)置如表2所示。

(a) 準(zhǔn)確率

表2 RCNN-3模型參數(shù)

表2中,卷積1層到卷積4層步長為1,殘差1層到殘差3層步長為2,填充方式統(tǒng)一是same,激活函數(shù)為RELU;池化1層和池化2層池化核大小為2;全連接層激活函數(shù)為SoftMax。數(shù)據(jù)輸入尺寸為(29,1),經(jīng)過結(jié)構(gòu)1尺寸變?yōu)?13,64),放大了感受視野,方便提取特征;殘差1層的輸入為(13,64),經(jīng)過3個殘差塊結(jié)構(gòu)輸出為(2,512),進(jìn)一步放寬了感受視野。后面再加上一個結(jié)構(gòu)1,目的是收縮視野,精煉重要特征,再通過全局平均池化層進(jìn)行降維操作,最后SoftMax實現(xiàn)高精度多種類揚(yáng)聲器異常聲分類。

2.5 揚(yáng)聲器異常聲分類對比實驗

揚(yáng)聲器異常聲檢測主要由特征提取與異常聲分類2個部分組成。為了驗證本文方法的優(yōu)勢,分別進(jìn)行了2組對比實驗。一組固定分類器為RCNN-3,在模態(tài)分解方面分別使用EMD,EEMD,WPD和AVMD進(jìn)行對比,其平均分類準(zhǔn)確率分別為85.6%、87.2%、96.7%和99.3%?？梢钥闯?使用AVMD模型分類效果最優(yōu),主要是因為使用VMD可以解決模態(tài)混疊問題,更有效提取特征,且使用RF-RFE算法對特征進(jìn)行了篩選,剔除了無效特征,只保留最優(yōu)特征子集,從而提高了分類準(zhǔn)確率。另一組固定模態(tài)分解方法為AVMD,在分類器方面分別使用SVM、XGBoost、GA-SVM(genetic algorithm-support vector machines)和RCNN-3進(jìn)行對比,準(zhǔn)確率依次為89.5%、92.9%、96.2%、99.3%;可以發(fā)現(xiàn),使用RCNN-3模型分類效果最優(yōu),主要是由于卷積神經(jīng)網(wǎng)絡(luò)和殘差結(jié)構(gòu)的結(jié)合,卷積神經(jīng)網(wǎng)絡(luò)相對于傳統(tǒng)分類方法學(xué)習(xí)特征能力更強(qiáng),殘差結(jié)構(gòu)引入可以使用更深層次網(wǎng)絡(luò)結(jié)構(gòu),有利于學(xué)習(xí)更多,更深層次的特征,這2方面的優(yōu)勢結(jié)合提高了平均分類準(zhǔn)確率。

為了驗證GWO算法,VMD模型引入的作用,做了3個實驗:實驗1不進(jìn)行特征提取,直接將音頻數(shù)據(jù)輸入分類器RCNN-3中進(jìn)行分類;實驗2使用VMD默認(rèn)參數(shù)進(jìn)行特征提取,然后送入RCNN-3中進(jìn)行分類;實驗3用GWO算法優(yōu)化VMD之后的參數(shù)進(jìn)行特征提取,最后送入RCNN-3進(jìn)行分類。實驗1到實驗3的分類準(zhǔn)確率分別為80.6%、93.8%和99.3%,可以發(fā)現(xiàn)VMD和GWO算法的引入準(zhǔn)確率都有一定提高,主要是因為VMD可以分離不同頻段數(shù)據(jù),更有效、有規(guī)律提取揚(yáng)聲器異常聲的重要特征,而GWO算法的引入,解決了VMD中α和K的最優(yōu)數(shù)值確定問題,便于VMD根據(jù)實際情況自適應(yīng)選擇參數(shù),達(dá)到特征提取的最優(yōu)效果,減少人為選擇參數(shù)的誤差。

綜上,融合殘差結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)模型與AVMD相結(jié)合在處理非線性、非平穩(wěn)的揚(yáng)聲器異常聲信號中具有極大優(yōu)勢。

3 結(jié) 論

本文針對揚(yáng)聲器的異常聲檢測精度低和特征提取困難等問題,提出了將自適應(yīng)變分模態(tài)分解和殘差卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合的方法。通過實驗對比,結(jié)論如下。

1) 在特征提取方面,AVMD中用GWO算法優(yōu)化VMD,可以將采集到的聲響應(yīng)信號自適應(yīng)的分解到不同頻帶上;有效解決了模態(tài)混疊、端點效應(yīng)等現(xiàn)象;此外,通過RF-RFE算法進(jìn)行特征選擇,可以挑選出最優(yōu)特征子集,減少數(shù)據(jù)輸入維度,提高模型分類精度。

2) 在分類模型方面,RCNN-3分類效果優(yōu)于SVM、XGBoost、GA-SVM;RCNN-3模型具有收斂速度快、分類精度高以及損失值低等優(yōu)勢。實驗充分驗證了本文所提方法在揚(yáng)聲器異常聲分類方面的優(yōu)勢。