三種魚類發(fā)聲信號頻帶能量特征提取與分類研究

陳德昊，林建恒，衣雪娟，江鵬飛

(1. 中國科學(xué)院大學(xué)，北京100049；2. 中國科學(xué)院聲學(xué)研究所北海研究站，山東青島266114)

0 引 言

隨著人類對海洋漁業(yè)資源需求的日益增加，利用聲學(xué)技術(shù)開采海洋漁業(yè)資源越來越受到人們的重視。目前各國已經(jīng)廣泛采用各種主動聲吶技術(shù)探測、開發(fā)和利用海洋漁業(yè)資源。同時，被動聲學(xué)技術(shù)也成為海洋漁業(yè)資源評估和海洋生態(tài)系統(tǒng)監(jiān)測的重要手段和工具。

對于魚類發(fā)聲信號，可在時域、頻域或梅爾頻率倒譜域等變換域下進行分析。文獻[1-7]采用了帶通濾波技術(shù)、時域分析、頻域分析、時頻分析和混合神經(jīng)網(wǎng)絡(luò)算法等信號處理方式對魚類發(fā)聲信號進行分析。然而，傳統(tǒng)的時域或頻域分析無法同時兼顧頻域和時域信息，故無法全面地分析信號。陳功等[8]于2013年利用仿聲技術(shù)發(fā)現(xiàn)，可將魚類發(fā)聲信號類比說話人語音信號進行分析。他們將梅爾頻率倒譜系數(shù)(Mel Frequency Cepstrum Coefficient,MFCC) 作為魚類被動聲信號的特征信息，該特征具有維數(shù)少、區(qū)分度大、魯棒性強、計算量小的優(yōu)點。時頻分析雖可以同時兼顧時域和頻域，但選取的方法不同，結(jié)果會存在差異。常見的時頻分析方法有短時傅里葉變換(Short-Time Fourier Transform,STFT)、維格納分布(Wigner Distribution Function,WDF)、希爾伯特-黃變換(Hilbert-Huang Transform,HHT)以及小波變換(Wavelet Transform, WT)等。短時傅里葉變換計算簡單，但無法同時兼顧時域分辨率和頻域分辨率，不太適合處理具有瞬態(tài)非平穩(wěn)特性的魚類發(fā)聲信號。維格納分布會出現(xiàn)“交叉項效應(yīng)”，且復(fù)雜度較高。希爾伯特-黃邊換在檢測微弱突變信號具有一定優(yōu)勢，但其結(jié)果不具有解析形式[8-9]。對于小波變換，在選取合適的小波基條件下，它的優(yōu)勢才能更好地發(fā)揮出來，且其結(jié)果具有解析形式。小波包變換是小波變換的推廣，張靜遠(yuǎn)等[10]驗證了基于小波包變換的特征提取對主動探測水下目標(biāo)聲信號的有效性。Harakawa等[11]提出了一種在水下環(huán)境中自動檢測魚類聲音的方法，這種方法是結(jié)合K近鄰(K-Nearest Neighbor, KNN)、支持向量機(Support Vector Machine, SVM)和新型邏輯回歸(New Logistic Regression, NLR)的混合方法，他們表示這種混合分類方法性能優(yōu)于其中的單個分類方法，他們通過對部分石首魚類展開實驗，驗證了這種混合分類方法的有效性。文獻[12-14]中將深度學(xué)習(xí)中的深度卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于魚類圖像的分類識別。文獻[15-18]中采用了線性頻率倒譜系數(shù)(Linear Frequency Cepstrum Coefficient, LPCC)、梅爾頻率倒譜系數(shù)(MFCC)、香農(nóng)熵(Shannon Entropy, SE)、音節(jié)長度(Syllable Length, SL)、信號波形、信號時頻圖等特征，并結(jié)合了支持向量機、隨機森林(Random Forest, RF)、人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network, ANN)和深度卷積神經(jīng)網(wǎng)絡(luò)(Deep Convolutional Neural Networks, DCNN)等分類器，得出了不同分類方案下魚類發(fā)聲信號的分類結(jié)果。Lin等[19]對比了不同情況下有監(jiān)督和無監(jiān)督方案在魚類被動聲監(jiān)控中的應(yīng)用。焦奎奎[20]將小波包變換特征應(yīng)用到了淡水魚魚體回波信號的主動聲識別研究，得出了小波包變換特征在支持向量機分類器下的性能總體優(yōu)于反向傳播(Back Propagation, BP)神經(jīng)網(wǎng)絡(luò)的結(jié)論。綜上可知，對魚類發(fā)聲信號的分類識別已經(jīng)開始由傳統(tǒng)的智能分類方法逐步過渡到用人工神經(jīng)網(wǎng)絡(luò)分類甚至是深度學(xué)習(xí)方法。盡管如此，一些經(jīng)典的“特征提取+分類器”方法仍然在魚聲識別中發(fā)揮著重要作用。本文分別將黃花魚(yellow croaker)、大米魚(rice fish)和黃姑魚(yellow drum)三種魚類發(fā)聲信號經(jīng)過小波包變換得到的頻帶能量特征作為分類特征，嘗試分析了該特征在不同分類器下的有效性。

三種魚均屬于石首魚類，均是我國重要的發(fā)聲經(jīng)濟魚類，Ramcharitar等[21]介紹了部分石首魚類的生物聲學(xué)機制。對黃花魚、大米魚和黃姑魚的發(fā)聲信號進行特征提取與分類研究，可為改善這三種海洋魚類資源的開發(fā)和利用環(huán)境提供研究思路，同時也為其他魚類識別方法提供技術(shù)參考。

本文首先概述了小波變換和小波包變換的基本理論，然后說明了數(shù)據(jù)采集和預(yù)處理方法，分析了用小波包分解得到的實驗環(huán)境背景噪聲時頻圖和三種魚發(fā)聲信號時頻圖，嘗試?yán)眯〔ò纸馓崛∪N魚類發(fā)聲信號的頻帶能量特征并對其進行分類判別。最后依據(jù)總體準(zhǔn)確率和預(yù)測得分評判準(zhǔn)則對比分析了基于小波包分解的頻帶能量特征在不同分類器下的分類性能。

1 小波變換與小波包變換概述

小波變換作為一種經(jīng)典的時頻變換方法，實現(xiàn)了泛函分析、傅里葉分析、調(diào)和分析以及數(shù)值分析理論之間的緊密結(jié)合，成為繼傅里葉變換后，另一個重要的信號處理方式。小波變換中的多分辨分析具有良好的時頻局部化能力，能夠通過在時域或頻域逐步精細(xì)步長，實現(xiàn)對信號細(xì)節(jié)的聚焦，從而能更加全面細(xì)致地描述信號特征，尤其是非平穩(wěn)信號。魚類發(fā)聲信號作為一種典型的瞬態(tài)非平穩(wěn)信號，應(yīng)用小波變換有時要比傅里葉變換和短時傅里葉變換等一些傳統(tǒng)方法而言具有更顯著的優(yōu)勢。

小波變換分為連續(xù)小波變換和離散小波變換。考慮數(shù)字化，實際應(yīng)用通常采用離散小波變換。離散小波正變換和重構(gòu)逆變換可以表述為式(1)和式(2)，信號S的三層小波分解樹示意圖如圖1所示。

圖1 小波分解樹示意圖Fig.1 Schematic diagram of wavelet decomposition tree

小波包分解，又稱為小波包變換或最優(yōu)子帶樹結(jié)構(gòu)，是對小波變換的進一步優(yōu)化。小波包分解由于保留了小波分解舍棄的高頻細(xì)節(jié)分量信息，故相比小波分解具有更強的時頻分析能力。圖2給出了對信號S進行三層小波包分解的示意圖。小波包樹每一層的節(jié)點個數(shù)等于2n，n為分解層數(shù)。總的來說，小波包分解要比小波分解更加精細(xì)化。

圖2 小波包分解樹示意圖Fig.2 Schematic diagram of wavelet packet decomposition tree

2 數(shù)據(jù)采集與分析方法

2.1 數(shù)據(jù)采集與預(yù)處理

2.1.1 數(shù)據(jù)采集

本次實驗采集時間于秋季傍晚，采集地點位于中國東海的某養(yǎng)殖場網(wǎng)箱，具體細(xì)節(jié)如下：

黃花魚發(fā)聲信號的采集時間為 18:21:36～22:41:36。采集信號分為大黃花魚和小黃花魚發(fā)聲信號。小黃花魚魚齡為 4～5個月，體重不詳。大黃花魚體重和魚齡均不詳。

大米魚發(fā)聲信號的采集時間為 18:10:32～23:40:32。被測的大米魚重 1 000 g～1 500 g，魚齡20個月。黃姑魚發(fā)聲信號的采集時間是15:34:06～23:34:06。被測的黃姑魚重500 g左右，魚齡24個月。

2.1.2 預(yù)處理

對三種魚的發(fā)聲信號每間隔10 min采集一次，原始采樣率為 64 kHz。三種魚 10 min的時域信號樣本如圖3所示。由于魚類發(fā)聲信號主要分布在低頻，所以為了在低頻范圍內(nèi)觀察和分析信號，將每個采集到的原始10 min時域信號做降采樣處理，降采樣率設(shè)為4 000 Hz。

圖3 三種魚的時域發(fā)聲信號Fig.3 Time domain diagrams of the vocal signals of the three kinds of fishes

2.2 小波包分解與特征提取

2.2.1 小波包分解

將預(yù)處理后的三種魚發(fā)聲時域信號進行分幀，幀長設(shè)為 1 s，對每幀信號用“db6”小波基進行 7層小波包分解。在小波包分解樹的第7層將得到的128個節(jié)點按頻率段遞增的順序依次排序，形成128×600維的時頻分布矩陣，128表示7層小波包樹最底層節(jié)點的頻帶數(shù)、600表示時長。矩陣中的每一列表示每幀信號用7層小波包分解后，第7層節(jié)點對應(yīng)的128個頻帶在排序后各自的能量分布。在此基礎(chǔ)上得到不同樣本10 min的時頻圖，結(jié)果如圖4所示。其中，圖4(a)為魚聲稀疏條件下的實驗環(huán)境背景噪聲時頻圖，圖中的魚聲信息成分較少。圖4(b)給出了黃花魚密集發(fā)聲時的時頻圖，可見，黃花魚的發(fā)聲頻率主要集中在 300～800 Hz，且隨時間變化保持一致性。這和任新敏等[1]在利用快速傅里葉變換分析大黃魚發(fā)聲信號時所得出的“大黃魚發(fā)聲信號幅度峰值在 800 Hz”的結(jié)論相近。同時，本文的分析結(jié)果表明，大米魚和黃姑魚發(fā)聲信號的主要頻率范圍和黃花魚基本一致，結(jié)果如圖4(c)和 4(d)所示。

圖4 實測背景噪聲和三種魚類發(fā)聲信號的時頻分布圖Fig.4 Time-frequency maps of the measured background noise and vocal signals of the three kinds of fishes

2.2.2 特征提取方法

本文將基于小波包分解的頻帶能量作為三種魚發(fā)聲信號的分類特征。具體的提取方法為：在小波包分解時頻圖(或時頻分布矩陣)的基礎(chǔ)上，取每一行的均值，也就是每個頻帶在10 min內(nèi)的能量均值，從而得到128維的特征向量。將這128維的頻帶能量均值特征作為基于小波包分解的頻帶能量特征。

提取得到的3種魚各自所有樣本的頻帶能量特征分布如圖 5所示。以圖 5(a)為例，它表示了 27個黃花魚時域發(fā)聲信號樣本基于小波包分解的頻帶能量特征分布情況。在這3幅圖中，三種魚所有發(fā)聲信號樣本的頻帶能量特征分布差異較為明顯。具體來講，大米魚發(fā)聲信號的頻帶能量特征分布較為集中，黃花魚的次之，黃姑魚的最為分散。此外，由圖5(a)、5(b)、5(c)也可發(fā)現(xiàn)，三種魚的發(fā)聲信號在128個頻帶下的能量變化趨勢也有較大差異。因此，在有合適分類器的條件下，這些差異將有助于得到較好的分類效果。

圖5 三種魚發(fā)聲信號的頻帶能量特征分布圖Fig.5 Band energy distribution of the vocal signals of the three kinds of fishes

2.3 分類決策方法與分類結(jié)果

將這三種魚所有的特征樣本分為訓(xùn)練集和測試集。其中，訓(xùn)練集采用 15折交叉驗證，得到對應(yīng)的交叉驗證集。三種魚的特征樣本劃分方式如表1所示。

表1 大黃魚、大米魚、黃姑魚的特征樣本劃分Table 1 Feature sample division of the three kinds of fishes

將提取好的特征樣本輸入到8種分類器中進行分類。在分類過程中，為了進一步驗證分類結(jié)果的可靠性，本文將訓(xùn)練集和測試集進行了一次交換。交換前后采用相同的方法處理。兩次分類驗證得到如表2和表3所示的總體準(zhǔn)確率。

表2 輸出結(jié)果比較好的5種分類器及對應(yīng)的總體準(zhǔn)確率Table 2 Five classifiers with better output results and corresponding overall accuracy

表3 輸出結(jié)果比較差的3種分類器及對應(yīng)的總體準(zhǔn)確率Table 3 Three classifiers with worse output results and corresponding overall accuracy

在表2分類器的參數(shù)選擇上，線性判別(Linear discriminant)采用全協(xié)方差結(jié)構(gòu)(Full covariance structure)。隨機子空間維度設(shè)為64，學(xué)習(xí)器的數(shù)量設(shè)為30。支持向量機采用線性核(Linear kernel)和二次多項式核(Quadratic polynomial kernel)，多分類拆分策略采用一對一(one-versus-one)間接方案。

表 2、3中，交換后的總體準(zhǔn)確率用括號里的粗體數(shù)字表示。交換后的線性判別模型和隨機子空間判別模型在 46個測試集樣本中的預(yù)測得分分布如圖6所示。圖6是堆疊式的條形圖，每個條形段的高度代表判別模型輸出的每個樣本類別的預(yù)測得分，每個樣本所有類別的預(yù)測得分之和均為 1，預(yù)測得分最高的類別即為該模型最終預(yù)測的類別。其中，在橫坐標(biāo)對應(yīng)的樣本分布上，前8個樣本的真實類別是大米魚，第 9～19個是黃花魚，后 27個是黃姑魚。

圖6 線性判別模型和隨機子空間判別模型分類的預(yù)測得分Fig.6 Prediction scores of linear discriminant classifier and random subspace discriminant classifier

通過對比8種分類器在測試集的總體準(zhǔn)確率和預(yù)測得分分布可知，基于小波包分解的頻帶能量特征在表2中的線性判別和隨機子空間判別分類器表現(xiàn)出較好的分類性能。但通過進一步對比兩者的預(yù)測得分分布，得知隨機子空間判別的預(yù)測得分穩(wěn)定性相比線性判別較差，故可靠性不如線性判別。此外，表3中的三種分類器表現(xiàn)較差。將訓(xùn)練集和測試集交換后，仍然可得出相同的分類結(jié)果。

3 總 結(jié)

本文基于小波包分解提取了黃花魚、大米魚和黃姑魚三種魚發(fā)聲信號的頻帶能量特征，然后對該特征進行分類驗證。研究結(jié)果表明：三種魚發(fā)聲信號的主要頻率范圍在300～800 Hz之間；在已有的樣本數(shù)量和參數(shù)條件下，將基于小波包分解的頻帶能量特征作為分類特征，線性判別和隨機子空間判別分類器在交叉驗證集和測試集中均達到了 100%的總體準(zhǔn)確率，而由于隨機子空間判別相比線性判別預(yù)測得分不穩(wěn)定，故可靠性相比線性判別較差。即便如此，基于小波包分解的頻帶能量特征在結(jié)合線性判別分類器和隨機子空間判別分類器的情況下，仍均可實現(xiàn)三種魚發(fā)聲信號的有效分類。

本次研究是在信噪比相對較高的網(wǎng)箱環(huán)境下對指定的三種石首魚發(fā)聲信號進行特征提取與分類研究，沒有考慮海洋環(huán)境噪聲干擾，也沒有考慮不同魚齡、不同魚體行為和不同時間、不同海域的分類差異。這些內(nèi)容將成為下一步研究的重點。