試驗(yàn)環(huán)境水下聲信號的特征提取方法

王紅濱, 王永樂, 何鳴, 薛垚

(1.哈爾濱工程大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院, 黑龍江 哈爾濱 150001; 2.電子政務(wù)建模仿真國家工程實(shí)驗(yàn)室, 黑龍江 哈爾濱 150001)

水下聲音信號預(yù)處理技術(shù)隸屬于水聲學(xué)領(lǐng)域,隨著我國軍事需求的不斷攀升,其重要性也隨之提高。然而,水下檢測設(shè)備接收到的原始信號混入了環(huán)境噪聲、機(jī)械噪聲、螺旋槳噪聲、水動力噪聲等,再加上目前水下生態(tài)環(huán)境的復(fù)雜性,這些都給聲音預(yù)處理工作帶來了很大的困難。聽覺感知機(jī)制和聽覺模型對水下輻射噪聲處理工作有著較多貢獻(xiàn)。在聽覺機(jī)制下,聲信號的主觀描述特征很容易區(qū)分,但這與艦船目標(biāo)類型和聲源特征之間的關(guān)系還有待研究,所采用的算法也需要大量試驗(yàn)的支持。對于水下目標(biāo)的輻射噪聲特性有許多研究。KIM等[1]運(yùn)用短時傅里葉變換表示低頻音調(diào)向量,結(jié)合壓縮感知技術(shù)檢測水下目標(biāo)輻射噪聲,達(dá)到了良好的試驗(yàn)效果。董博文等[2]以復(fù)雜海洋環(huán)境中的艦船與水下航行器結(jié)構(gòu)的聲輻射、聲傳播研究作為基本出發(fā)點(diǎn),通過數(shù)值仿真方法,分析水下噪聲特性。對于水下試驗(yàn)環(huán)境反演方法的研究也有許多,Munk等[3]對射線模型在海水中聲傳播的時間展開研究,將該時間作為傳播準(zhǔn)確參量。Voronovich等[4-5]將海洋聲層析與絕熱簡正波理論緊密結(jié)合,并據(jù)此形成簡正波的傳播時間與相位和水平折射等多種方法。Skarsouli[6]則另辟蹊徑,利用接收信號到達(dá)的峰值抵達(dá)時間和聲速二者之間形成的擾動實(shí)現(xiàn)反演。劉福臣等[7]為了解決未知環(huán)境下聲速剖面表示的局限性,通過利用不同參數(shù)的多項(xiàng)式擬合計(jì)算和模信號反演相結(jié)合的方式,來對聲速剖面進(jìn)行反演。Bonnel 等[8]為了處理分解在淺水傳播的頻率低于500 Hz的低頻瞬態(tài)信號,提出了一種非線性的,基于物理的信號處理方法。竇雨芮等[9]通過運(yùn)用簡正波方法,研究不同聲速剖面對聲傳播最佳深度的影響。

目前,隨著深度學(xué)習(xí)的發(fā)展,各種對深度學(xué)習(xí)在音頻領(lǐng)域的相關(guān)研究也在不斷開展。Latif等[10]使用深度學(xué)習(xí)進(jìn)行心音異常心跳檢測。Mohammed 等[11]用卷積神經(jīng)網(wǎng)絡(luò)模型實(shí)現(xiàn)語音病理學(xué)的檢測和分類。Hemavathy等[12]提出了一種基于深度學(xué)習(xí)的DL-HDBT(deep learning-based hybrid dynamic biased track)方法,用來在水聲傳感器網(wǎng)絡(luò)中識別網(wǎng)絡(luò)的最佳中繼節(jié)點(diǎn)及跟蹤擁堵的節(jié)點(diǎn)。Shiliang等[13]總結(jié)了水聲信號的特征分析和提取方法、常用的水聲目標(biāo)分類方法以及識別方法。羅夏云等[14]使用MFCC處理船舶水下噪聲信號,將水聲信號轉(zhuǎn)換為MFCC特征向量。Tran等[15]提出了一種通過梅爾頻譜圖和尺度圖提取豐富的聲信號特征方法,并結(jié)合機(jī)器學(xué)習(xí)分類器對鉆孔機(jī)的鉆孔故障聲音進(jìn)行分類。陳文青[16]通過試驗(yàn)發(fā)現(xiàn)線性預(yù)測倒譜系數(shù)(linear predictive cepstral coefficient, LPCC)也是一種很好的研究信號時域特征的方法。曾賽等[17]利用水下目標(biāo)多模態(tài)深度學(xué)習(xí)分類識別法來完成水聲探測的分類任務(wù)。

目前,水下目標(biāo)聲信號的研究需要借助水下探測設(shè)備。設(shè)備接收到的原始信號是低信噪比信號,這些信號混入了環(huán)境噪聲,需要對這些信號進(jìn)行特征提取工作,使提取出的特征更加準(zhǔn)確的反映出信號的特點(diǎn)。本文提出了基于梅爾頻譜倒譜系數(shù)(mel-frequency cepstral coefficient,MFCC)及線性預(yù)測編碼(linear predictive coding, LPC)的特征加權(quán)組合的特征提取方法,在保留水下聲信號特性的同時極大地發(fā)揮了不同特征處理方法的優(yōu)勢。

1 特征加權(quán)組合方法模型架構(gòu)

LPC特征表示方法和MFCC特征表示方法可以進(jìn)行水下聲信號的特征提取。LPC特征表示方法具有計(jì)算量小、易于實(shí)現(xiàn)的優(yōu)點(diǎn),但其缺點(diǎn)是抗噪聲性能差。MFCC特征表示方法則能夠較好地反映出人耳的聽覺特性,在抗噪性方面要優(yōu)于LPC特征表示方法,但是其計(jì)算精度的要求要高于LPC特征表示方法。另外,在MFCC處理高頻聲音的時候,其精度會比沒有處理低頻聲音精準(zhǔn)。

基于以上2種方法的優(yōu)缺點(diǎn),本文提出了特征加權(quán)組合表示方法,水下聲信號同時用2個方法進(jìn)行處理,其中一個信號經(jīng)過預(yù)加重、分幀、加窗、快速傅里葉變換(fast fourier transform, FFT)、梅爾濾波器組的處理后得到MFCC特征表示,同樣的信號再經(jīng)過預(yù)加重、功率譜、臨界帶分析、自回歸模型處理后得到LPC特征表示。對2種矩陣使用特征加權(quán)組合方法進(jìn)行處理得到新的特征矩陣。然后把提取出的特征矩陣使用映射插值算法映射為行列大小相同的矩陣。特征加權(quán)組合方法的總體處理過程如圖1所示。

圖1 特征加權(quán)組合方法Fig.1 Combination of weighted feature method

1.1 MFCC+LPC的特征加權(quán)組合

LPC是基于線性預(yù)測理論的聲音識別特征參數(shù)之一。計(jì)算音頻信號的LPC的過程可以理解為求音頻信號的P階線性預(yù)測的過程,ai為預(yù)測系數(shù),s(n)為s(n-i)的估算值。其中心思想是對過去P個時刻音頻信號的采樣值進(jìn)行線性組合去逼近下一時刻的采樣值。評判的標(biāo)準(zhǔn)就是預(yù)測誤差,即下一時刻的具體采樣值取決于當(dāng)前的預(yù)測誤差是否已經(jīng)達(dá)到了極小值,如果達(dá)到了極小值,則下一刻的采樣值就可以用此時的預(yù)測值來代替,具體計(jì)算公式為:

(1)

線性頻率f與M頻率之間的轉(zhuǎn)換公式為:

M(f)=2 595lg(1+f/700)

(2)

式中:M代表梅爾(Mel)頻率;頻率f的單位是1 Hz,代表M頻率與以Hz為單位的實(shí)際物理頻率之間的參考點(diǎn)。將頻率轉(zhuǎn)換到Mel域后,可以根據(jù)特定頻帶中的臨界帶寬設(shè)計(jì)一個中心頻率在Mel頻域上同樣呈線性分布、通帶之間具有重疊部分的三角形帶通濾波器。由于這個帶通濾波器的中心頻率在物理頻域中是非線性的,因此它可以用來模擬人類耳蝸基底膜對實(shí)際物理頻率的非線性感知。假如將帶通濾波器組的中心頻率按Mel頻率刻度均勻分布,音頻信號的特征就可以被理解為帶通濾波器組中各個濾波器所釋放的信號能量,使用該特征再經(jīng)過進(jìn)一步計(jì)算,就可以將其轉(zhuǎn)化為后續(xù)聲音特征提取的輸入特征。對于其中的每個濾波器,在Mel頻率范圍內(nèi),具有相同的帶寬。三角濾波器組的作用是讓通過它們的聲音信號能夠去除掉關(guān)于諧波的干擾,變得更加平滑,同時,還對水下聲音信號中的共振峰有著突出顯示的作用。

本文對聲壓數(shù)據(jù)特征提取后,根據(jù)MFCC及LPC的不同權(quán)重,設(shè)計(jì)了若干試驗(yàn),利用各個特征處理方法的優(yōu)缺點(diǎn),探索出最適合目標(biāo)環(huán)境的權(quán)重值,將權(quán)重值與經(jīng)歸一化處理后的特征矩陣相乘,以達(dá)到對特征加權(quán)的目的。并將最終確定的MFCC及LPC所占的比例用于接下來的試驗(yàn)中。本文還發(fā)現(xiàn),不同階數(shù)的取值對特征提取也具有一定的影響,當(dāng)取較小的階數(shù)值時,兩者的融合效果較好。本文的試驗(yàn)中MFCC及LPC的階數(shù)選取為1,通常聲音數(shù)據(jù)的階數(shù)默認(rèn)選取為13,但由于處理聲音的特殊性,本文對階數(shù)進(jìn)行了調(diào)整,也可以根據(jù)不同的環(huán)境采取不同的階數(shù)值。同時,采樣率選取為1 MHz。該值與錄制水聲信號時的值一致。

1.2 映射插值算法

現(xiàn)有的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)對輸入為固定大小的圖像向量有著非常好的處理效果。受此啟發(fā),假設(shè)把音頻特征向量映射成最適合該網(wǎng)絡(luò)輸入的大小,那么在進(jìn)行模型訓(xùn)練的時候也會得到更高的準(zhǔn)確率。MFCC表示的特征矩陣為A,LPC表示的特征矩陣為B,由于它們的計(jì)算方式不同,所以A和B的2個維度并不相同。經(jīng)過維度統(tǒng)一后,A和B連接成了一個維度不均勻的特征矩陣。為了解決維度均勻的問題,本文使用了映射插值算法,該算法的目的是把A和B組成的特征矩陣統(tǒng)一映射為行數(shù)和列數(shù)都相同且矩陣中的元素均為0～255。

具體映射的方法如下:分別對MFCC方法表示的特征矩陣和LPC方法表示的特征矩陣進(jìn)行放縮,設(shè)放縮前的MFCC方法表示的特征矩陣為M,M經(jīng)坐標(biāo)映射后變?yōu)镸′,放縮前的LPC方法表示的特征矩陣為L,L經(jīng)坐標(biāo)映射后變?yōu)長′。m為映射后矩陣的長度,n為其寬度,具體為:

(3)

(4)

2 試驗(yàn)結(jié)果與分析

2.1 數(shù)據(jù)集與試驗(yàn)設(shè)置

本文中使用的是對河口水庫數(shù)據(jù)集,該數(shù)據(jù)集是2021年5月27日實(shí)驗(yàn)室在浙江省德清縣對河口水庫錄制的音頻數(shù)據(jù)。本文用到的樣本數(shù)約56 643條,按照0.15的劃分比例,其中訓(xùn)練集樣本數(shù)約48 146條,測試集樣本數(shù)約8 496條數(shù)據(jù),每條數(shù)據(jù)時長約為100 ms。

脈沖信號不僅是主動式水聲跟蹤及水聲通信系統(tǒng)的常用信號形式,也是魚雷聲自導(dǎo)信號的基本形式[18]。本文選取2種常用的脈沖信號類型,分別是單頻矩形脈沖信號(continuous wave, CW)及線性調(diào)頻信號(linear frequency modulation, LFM)。CW信號有CW90K、CW100K、CW110K 3種。LFM信號有LFM 80-90k、LFM 90-100k、LFM100-110k 3種。所有信號的脈沖寬度均為10 ms,脈沖周期為100 ms。

圖2為數(shù)據(jù)集中選取的1條CW及1條LFM信號的時域圖、頻譜圖及時頻譜圖,可以從頻譜圖中直觀地看到較亮的部分為水聲換能器發(fā)射的信號。

圖2 LFM90-100k的圖形Fig.2 LFM90-100k′s waveform

錄制水下聲信號的具體試驗(yàn)步驟如下:

1)母船在發(fā)射端深度x(取值1、3、5、7、9 m)處布放CTD(conductivity temperature depth)測量儀及水聲換能器,CTD儀會記錄深度及時間信息等。水聲換能器發(fā)射CW及LFM作為信號源。

2)目標(biāo)船開出距母船150 m處,并在水深y處布放水聽器,水聽器是將接收到的聲信號轉(zhuǎn)換成電信號的換能器。

3)母船發(fā)射3種LFM及3種CW信號。

4)目標(biāo)船接收聲信號,并將數(shù)據(jù)存儲到計(jì)算機(jī)中。

5)循環(huán)以上步驟直到遍歷完所有的發(fā)射端深度及發(fā)射信號類型。

試驗(yàn)具體態(tài)勢圖如圖3所示。

圖3 試驗(yàn)數(shù)據(jù)采集態(tài)勢Fig.3 Experimental data collection scheme

2.2 模型選擇

本文試驗(yàn)所采用的模型為ResNet18,該模型由8個殘差塊組成,每個殘差塊有2個卷積層,加上1個開始的卷積層共有17個卷積層。網(wǎng)絡(luò)末尾處有一個全連接層,組成了18層網(wǎng)絡(luò),也是模型名稱的由來。本文使用了ResNet18模型預(yù)訓(xùn)練參數(shù),對網(wǎng)絡(luò)的輸入及輸出等全連接層進(jìn)行了調(diào)整,以滿足本文的樣本輸入要求。

2.3 特征加權(quán)組合權(quán)重選擇試驗(yàn)

本文對聲壓數(shù)據(jù)進(jìn)行特征提取后,根據(jù)MFCC及LPC的不同權(quán)重比例,設(shè)計(jì)了若干試驗(yàn)。MFCC占比分別為0.9、0.8、0.7、0.6、0.5、0.4、0.3、0.2、0.1,與其對應(yīng)的LPC占比分別為0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8、0.9,共9組配比方案。

本文按照權(quán)重方案對CW110k在不同深度下錄制的信號進(jìn)行分類,9組試驗(yàn)的10輪模型擬合情況如圖4所示。其中,圖例中的m1l9代表MFCC占比0.1,LPC占比0.9,其他的標(biāo)識以此類推。折線圖中橫坐標(biāo)為10輪訓(xùn)練的索引,縱坐標(biāo)為測試集準(zhǔn)確率。

圖4 不同特征加權(quán)組合方法的試驗(yàn)比較Fig.4 Comparation of different combination method of weighted features

從圖4可以看出權(quán)重組合m1l9訓(xùn)練準(zhǔn)確率在第6輪次達(dá)到了最大值,且10輪次大多數(shù)的準(zhǔn)確率都高于其他折線。本文接下來的試驗(yàn)選取的也是該組權(quán)重組合。從權(quán)重的選擇來看,LPC方法更加適合處理本文試驗(yàn)環(huán)境下的水聲數(shù)據(jù),LPC在語音領(lǐng)域中能高效地提取聲道特性,語音參數(shù)的估計(jì)較為準(zhǔn)確,當(dāng)應(yīng)用到水聲數(shù)據(jù)時也展現(xiàn)了它的優(yōu)勢。權(quán)重值的選取是動態(tài)的,可根據(jù)不同的環(huán)境特性進(jìn)行選擇。但如果單獨(dú)使用LPC而不使用MFCC效果反而不好,試驗(yàn)結(jié)果說明兩者結(jié)合才能達(dá)到更好的特征提取能力。

2.4 特征提取試驗(yàn)結(jié)果比較

特征加權(quán)組合方法主要試驗(yàn)流程如下:

1)將水下聲音信號使用MFCC方法進(jìn)預(yù)處理后輸入ResNet網(wǎng)絡(luò)進(jìn)行分類試驗(yàn)。

2)將水下聲音信號使用LPC方法進(jìn)預(yù)處理后輸入ResNet網(wǎng)絡(luò)進(jìn)行分類試驗(yàn)。

3)對水下聲音信號采用端到端的方式輸入ResNet網(wǎng)絡(luò)進(jìn)行分類試驗(yàn)。

4)使用特征加權(quán)組合方法對聲音信號預(yù)處理,然后輸入到ResNet網(wǎng)絡(luò)中進(jìn)行分類試驗(yàn),

5)比較1)～4)分類的準(zhǔn)確率。

試驗(yàn)結(jié)果如下,其中環(huán)境1為14∶45—16∶28錄制的數(shù)據(jù),環(huán)境2為19∶03—18∶16錄制的數(shù)據(jù),基線(Base)代表聲音信號未做任何特征提取操作。

從表1可以看出MFCC+LPC特征權(quán)重組合方法對由CW組成的水下聲信號特征的提取質(zhì)量有提升。對于CW90k環(huán)境分類準(zhǔn)確率最低提升1.85%,最高提升2.13%。對于CW100k環(huán)境分類準(zhǔn)確率最低提升1.42%,最高提升2.76%。對于CW110k環(huán)境分類準(zhǔn)確率最低提升0.42%,最高提升3.42%。綜合來看,CW平均提升2%。

表1 不同深度的CW信號的試驗(yàn)比較Table 1 comparison of CW signals at different depths %

從表2可以看出MFCC+LPC特征權(quán)重組合方法對由CW組成的水下聲信號特征的提取質(zhì)量有提升。對于信號LFM80～90 kHz,環(huán)境分類準(zhǔn)確率最低提升2.82%,最高提升2.95%。對于信號LFM90～100 kHz,環(huán)境分類準(zhǔn)確率最低提升1.95%,最高提升2.66%。對于信號LFM100～110 kHz,環(huán)境分類準(zhǔn)確率最低提升0.14%,最高提升1.68%。綜合來看,LFM信號平均提升2.03%。

表2 不同深度的LFM信號的試驗(yàn)比較Table 2 comparison of LFM signals at different depths %

綜合表1及表2,本文提取的方法可以更好地描述水下聲信號的特征。兩者的特征加權(quán)組合方法是有效的。本文還發(fā)現(xiàn)LFM信號環(huán)境分類準(zhǔn)確率要高于CW信號環(huán)境分類準(zhǔn)確率,具體如圖5所示,橫坐標(biāo)為10輪訓(xùn)練的索引,縱坐標(biāo)為測試集準(zhǔn)確率。圖5中擬合程度最好的3條曲線均為LFM信號。說明LFM信號提取的特征更適合處理深度分類任務(wù),這也與LFM的特性有關(guān)。CW為測距脈沖,LFM為測深脈沖,更加適合反映目標(biāo)的深度信息。

圖5 LFM及CW特征提取試驗(yàn)比較Fig.5 Comparation of LFM and CW′s feature detection

3 結(jié)論

1) 為了解決維度均勻的問題,本文使用了映射插值算法,該算法的目的是把MFCC及LPC組成統(tǒng)一的特征矩陣。

2)本文選取了比較典型的單頻及調(diào)頻信號對特征提取方法進(jìn)行驗(yàn)證,特征提取的是否精準(zhǔn)無法進(jìn)行客觀評判,所以借助深度及環(huán)境分類試驗(yàn)進(jìn)行驗(yàn)證。本文利用ResNet18微調(diào)模型對水下聲信號進(jìn)行分析時,發(fā)現(xiàn)特征加權(quán)組合方法的操作是有必要的。它可以更好地對時頻譜中的有效特征進(jìn)行描述,而過濾掉噪聲信號。

3)本文還進(jìn)行了消融試驗(yàn),提出的特征提取方法普遍好于僅使用MFCC或LPC的特征處理方法。CW做深度分類任務(wù)時的準(zhǔn)確率平均提升2%,LFM做深度分類任務(wù)時的準(zhǔn)確率平均提升2.03%。試驗(yàn)結(jié)果表明方法是可做進(jìn)一步推廣的。

4)本文提出的特征提取方法對LFM信號在深度分類任務(wù)下處理的結(jié)果要好于CW信號處理的結(jié)果。再次說明了LFM要比CW更適合做深度分類任務(wù)。還可以在此基礎(chǔ)上做進(jìn)一步研究,提升CW的特征提取能力。