基于Mel子帶參數化特征的自動鳥鳴識別

張賽花,趙 兆,許志勇,張 怡

南京理工大學 電子工程與光電技術學院, 南京 210094)(*通信作者電子郵箱zhaozhao@njust.edu.cn)

基于Mel子帶參數化特征的自動鳥鳴識別

張賽花,趙 兆*,許志勇,張 怡

南京理工大學 電子工程與光電技術學院, 南京 210094)(*通信作者電子郵箱zhaozhao@njust.edu.cn)

針對自然復雜聲學環境下基于鳥鳴的物種分類問題,提出了一種基于Mel子帶參數化特征的鳥鳴自動識別方法。采用高斯混合模型(GMM)擬合連續聲學監測數據分幀后的對數能量分布,選取高似然率的數據幀組成候選聲音事件完成自動分段。在譜圖域對相應片段采用Mel帶通濾波器組濾波處理,然后基于自回歸模型(AR)分別建模各個子帶輸出的隨時間變化的能量序列,得到能夠描述不同種類鳥鳴信號時頻特性的參數化特征。最后利用支持向量機(SVM)分類器進行分類識別。基于野外自然環境11種鳥鳴信號開展了自動分段與識別實驗,所提方法針對各類鳥鳴的查準率、查全率以及F1度量均不低于89%,明顯優于現有基于紋理特征的方法,更適用于野外鳥類連續聲學監測領域的自動數據分析需求。

鳥鳴;自動識別;Mel子帶;時間序列建模;支持向量機

0 引言

生物多樣性監測作為生態監測的重要組成部分,在研究物種資源與生態環境,發展資源科學、生態學等方面具有十分重要的意義。其中,鳥類作為一種對棲息地改變和環境變化反映極為敏感的環境指示生物,是生物多樣性評估與監測、生態環境影響評價的重要指標[1]。

自然環境下連續聲學監測數據中潛在鳴聲片段檢測與自動分段是開展相關生態學研究工作的前提。對于長時間跨度的連續監測數據,人工檢測方法在檢測效率、可行性等方面都有極大的局限性。借鑒語音活動性檢測(Voice Activity Detection, VAD)的研究成果,文獻[2]采用基于短時能量和短時過零率的雙閾值算法完成聲音事件檢測(Acoustic Event Detection, AED),但是在自然環境下由于風、雨、人造飛行物、農業活動等因素影響,監測數據中環境噪聲無法避免,此時該方法的檢測性能將顯著下降。文獻[3-4]比較了多種VAD方法,結果表明高斯混合模型(Gaussian Mixture Model, GMM)方法在噪聲環境下具有比較穩健的檢測性能。文獻[5]針對野外實測的鳳頭距翅麥雞(Vanellus chilensis)鳴聲數據進行實驗,結果也驗證了GMM檢測方法的有效性。

為了識別檢測出的潛在鳴聲片段對應物種,文獻[6-7]通過計算潛在鳴聲片段與特定物種鳴叫信號模板之間的譜圖互相關(Spectrogram Cross Correlation, SPCC)來實現自動物種識別。該方法雖然實現簡單,但是其判決閾值需要在實際應用時經過多次反復調整以避免閾值偏高時漏檢樣本顯著增多以及閾值偏低時誤判結果急劇增加。文獻[8]針對固定長度的鳴聲片段譜圖采用角度徑向變換(Angular Radial Transform, ART)提取了圖像域特征,然而該方法由于需要將譜圖與ART基函數進行卷積操作因此對環境噪聲較為敏感。文獻[9]提取了基于Mel尺度的小波包分解子帶倒譜系數(Wavelet Packet decomposition Subband Cepstral Coefficient, WPSCC)特征并結合支持向量機(Support Vector Machine, SVM)進行分類識別;文獻[10-11]分別基于灰度共生矩陣(Gray Level Co-occurrence Matrix, GLCM)以及和差統計法(Sum and Difference Histograms, SDH)提取了鳥鳴片段譜圖對應的紋理特征向量,并開展了識別實驗。需要指出的是,上述三種方法在實驗驗證時采用的數據樣本均為手工截取的長度固定為2 s的片段,并未涉及潛在鳴聲片段的自動檢測與提取。考慮到面向野外大時間跨度連續聲監測應用時,人工截取片段方式不具有可行性,因此針對自動檢測方法輸出且持續時長變化的潛在鳴聲片段,上述方法的性能還需要進一步研究和驗證。

認知科學領域的最新研究成果表明,多個不同頻帶的譜模式(spectrum pattern)信息對于鳥鳴的感知識別尤為重要[12]。受此啟發,本文提出了一種基于Mel子帶參數化特征的鳥鳴自動識別方法。在采用GMM完成連續聲監測數據的自動分段基礎上,基于自回歸(AutoRegressive, AR)模型分別建模鳴聲片段經過Mel帶通濾波后各個子帶輸出的能量序列,得到能夠描述不同種類鳥鳴信號譜模式信息的參數化特征，然后利用SVM分類器進行了分類識別。基于野外自然環境11種鳥鳴信號的實驗結果表明,本文方法識別性能明顯優于現有基于紋理特征的方法。

1 基于GMM的潛在鳴聲片段檢測

給定一條鳥鳴記錄時長為T,則該條記錄可記為s(t),0≤t≤T。經過分幀、加窗及短時傅里葉變換(Short-Time Fourier Transform, STFT)后相應功率譜圖可以表示成如下矩陣形式:

SP=[sp(1),sp(2),…,sp(L)]

(1)

其中L表示記錄中幀數目。第l幀(1≤l≤L)頻域向量為：

(2)

其中:T表示轉置;S(k,l)表示記錄s(t)在時頻點(k,l)處的STFT結果,k(0≤k≤N/2-1)為頻率序號,N為每幀信號進行快速傅里葉變換(Fast Fourier Transform, FFT)的點數。考慮到記錄中含有潛在鳴聲的數據幀通常能量較大,而環境噪聲幀能量通常相對較小,因此可以采用含有兩個高斯分量的GMM建模記錄中幀對數能量分布,分別表征潛在鳴聲幀以及環境噪聲幀,進而選取高似然率的數據幀組成候選聲音事件,完成潛在鳴聲片段檢測[3-5]。在計算幀對數能量時,由于很多鳥鳴信號相比語音而言頻率較高,且不同鳥類鳴聲的頻帶范圍也不同,考慮到野外開展聲學生態監測時通常需要考察多種不同鳥類,因此普遍采用在一個較寬頻帶范圍[fL,fH]內來分析數據幀。其中：fL通常設為1 kHz用于部分濾除普遍存在的風噪以及人類活動影響；fH則需要根據監測對象確定,最高可達20 kHz[5]。令NL和NH分別表示fL和fH對應的頻率序號,則第l幀的能量及其對數分別表示為:

(3)

le(l)=lg (e(l))

(4)

記錄s(t)對應的幀對數能量序列為:

le=[le(1),le(2),…,le(L)]T

(5)

假設le中樣本是由含有兩個高斯分量的GMM生成,則其概率密度函數可表示為:

(6)

圖1 棕頂雀鹀自動分段后的時頻譜圖

估計結果中的均值μm(m=1,2)依據大小可分別記為μH和μL,二者各自對應的高斯分量可分別近似為潛在鳴聲事件幀集合以及環境噪聲幀集合的概率密度函數。此時對于le中的每一幀,如果該幀屬于潛在鳴聲事件幀集合的后驗概率大于屬于環境噪聲幀集合的后驗概率,則判決該幀歸屬某個潛在鳴聲片段,與該幀時間上連續且同樣滿足上述條件的其他幀也歸屬為該片段。利用上述檢測方法輸出的潛在鳴聲片段集合記為D={AE1,AE2,…,AEK},其中K為片段個數。

如圖1所示,本文以一段野外實測的時長6s的棕頂雀鹀鳴聲數據為例來說明上述基于GMM的潛在鳴聲片段檢測與自動分段方法的有效性。其中：圖1(a)表示棕頂雀鹀鳴叫聲的原始時頻譜圖；圖1(b)表示經過上述自動分段方法后提取的潛在鳴聲片段的時頻譜圖。

2 Mel子帶參數化特征提取

針對集合D={AEi|1≤i≤K}中的各個候選片段,首先利用符合人耳聽覺特性的Mel濾波器組并行濾波,然后針對各個子帶輸出的隨時間變化的能量序列采用AR建模,從而得到能夠描述該事件的多個頻帶譜包絡特性的參數化特征。

以第i個候選事件AEi為例,設其包含的幀數目為Q,該事件相應的功率譜圖矩陣可表示為SPi=[spi(1),spi(2),…,spi(Q)],其中每一幀的頻域向量由式(2)定義。設置一個包含32個帶通濾波器的Mel濾波器組,其中第1個子帶的下限Mel頻率與第32個子帶的上限Mel頻率分別對應第1章中的物理頻率fL和fH,其轉換關系由式(7)定義：

fMel=1 127×ln(1+(f/700))

(7)

Mel濾波器組中第j個帶通濾波器離散化后在物理頻率域的頻率響應可以表示為:

h(j)=[hj(0),hj(1),…,hj(N/2-1)]T；j=1,2,…,32

(8)

需要注意的是,式(8)中非零的頻率響應僅存在于與[fL,fH]對應的[NL,NH]范圍內。相應濾波器組的頻率響應矩陣可表示為

H=[h(1),h(2),…,h(32)]T

(9)

候選事件AEi經過并行濾波后的輸出為：

Y=H·SPi

(10)

令

(11)

(12)

(13)

(14)

其中:M=10。當某個Mel子帶輸出序列uj對應模型階次Mj小于M時,對應的vj最后M-Mj個系數設置為零。

需要指出的是,當前已有相關研究采用Mel系數特征,通常處理過程是對每一幀數據提取Mel頻率倒譜系數(MelFrequencyCepstrumCoefficient,MFCC)特征,然后借助隱馬爾可夫模型(HiddenMarkovModel,HMM)等分類器進行識別,屬于幀級的特征提取與識別[13]。而本文方法是針對一個鳥鳴片段提取事件級特征,在提取過程中采用Mel帶通濾波器組用于近似模擬人耳聽覺特性,然后對每個鳥鳴事件的時頻特性進行AR建模,與已有研究明顯不同。

3 基于SVM的分類識別

SVM是基于統計學理論的機器學習方法,通常用于進行模式識別、分類以及回歸分析[14]。其基本思想是尋找一個滿足分類要求的超平面,使得訓練集中的樣本點與分類面距離盡可能遠。SVM在解決小樣本、非線性及高維度的模式識別問題中有獨特的優勢,已廣泛應用于圖像識別、文本分類、語音識別等領域。本文在提取式(13)所示的參數化特征后,采用基于“one-versus-one”策略[15]構造的多分類SVM實現潛在鳴聲片段的自動物種分類。

表1 實驗采用的物種明細

4 實驗與分析

4.1 實驗設計

實驗采用的11種鳥鳴數據均來自Xeno-canto鳥聲數據庫[16],相關物種明細如表1所示。該數據庫內含的鳥鳴數據均在野外自然復雜聲學環境下錄取,每條記錄時長數十秒至數十分鐘,且對應物種均已標記。為了便于后續信號處理,每條記錄均統一轉換為采樣率32kHz,采樣精度為16bit。實驗中譜圖計算所用參數為幀長10ms(320個采樣點),幀移5ms,海明(Hamming)窗加權,512點FFT。在第1章所述自動分段方法處理后經過人工檢查確定真實鳥鳴片段共2 762個。基于每個片段的起止時間信息,幀移減小為2ms重新計算該片段對應譜圖以便獲得更高的時間分辨率,進而提取相應的Mel子帶參數化特征(分類實驗中每個片段對應特征向量稱為一個樣本),并采用SVM分類器進行物種識別實驗。實驗采用LIBSVM工具箱[17],選用徑向基核函數(RadialBasisFunction,RBF),并采用自動尋優方式設置懲罰因子c和核參數g,最終對應參數為c=8,g=0.062 5。

需要指出的是,鳥類鳴聲(vocalization)包括鳴叫(call)和鳴唱(song),其中鳴唱相對較復雜,一般由多個音節(syllable)組成,并在一次鳴唱中多次重復出現。上述檢測出的每個鳥鳴片段即對應于一次鳴叫或一個音節。通過考察野外實測數據發現,同種鳥的鳴聲片段持續時長變化較為劇烈,如長嘴沼澤鷦鷯檢測出的鳴聲片段中最短持續時長為25ms,而最長可達595ms;歌帶鹀鳴聲片段中最短持續時長為50ms,最長則達400ms。而文獻[8-11]方法都是針對人工截取的固定長度的鳴聲片段,這對于野外長時間連續監測數據分析任務而言,上述方法的應用將受到極大限制。

實驗中,采用和差統計法提取紋理特征[11],然后采用SVM分類器進行分類識別,并與本文方法進行性能對比。兩種方法的物種識別實驗均進行了50次,每次實驗采用無放回方式從每類中隨機抽取60%樣本作為總體訓練集,余下每類40%樣本共同組成總體測試集,采用查準率precision、查全率recall和F1度量作為性能評價指標[18]。定義分別如下：

(15)

(16)

(17)

其中:TP和FP分別表示測試集中該類所有正例被正確和錯誤分類的數目;而FN則指測試集中該類所有負例被錯誤分類的數目。

4.2 結果分析

根據上述實驗設計進行50次物種識別實驗后,兩種方法的各類平均查準率、查全率以及F1度量結果分別如圖2～4所示。其中,為簡潔起見,圖中11種鳥依據表1所示分別簡記為C-C、M-M、C-P、G-T、S-P、S-A、A-H、C-B、B-C、H-M和P-C。

從圖2～3可以看出,本文方法對每一類鳥鳴聲識別的查準率和查全率均明顯優于基于紋理特征的方法。其中,本文方法對于各類鳥鳴的查準率結果中最高為99%,最低為89%,而紋理特征方法相應分別為89%和58%;查全率結果中本文方法最高為98%,最低為92%,紋理特征方法相應分別為90%和49%。尤其是對于每一類樣本而言,本文方法性能均明顯優于紋理特征方法。上述結果也在圖4所示的查準率與查全率的綜合性能評估指標F1度量中得到直觀體現,可以看出本文方法對于各類鳥鳴識別綜合性能較為均勻,且均不低于90%,而紋理特征方法則差異度比較明顯,最高可達90%,而最低則至僅55%,表明其適用鳥鳴范圍存在一定局限性。考慮到樣本中有多類鳥鳴片段的持續時長變化較為劇烈,上述實驗結果也說明本文所提參數化特征對于不同時長的鳴聲片段具有較好的普適性。此外,針對實驗中采用的野外實測記錄數據,本文方法并未事先進行去噪處理即可獲得良好的分類結果;而基于紋理特征的識別方法則還須通過音頻增強算法抑制噪聲影響[10-11]。綜上所述,本文方法更適用于野外自然環境下連續監測數據的自動分析。

圖2 11類鳥鳴各自的平均查準率

圖3 11類鳥鳴各自的平均查全率

圖4 11類鳥鳴各自的F1度量

需要指出的是,不同Mel子帶數量會影響鳴聲片段譜模式特性的建模效果。為了進一步研究Mel子帶數量對本文方法性能的影響,在不同Mel帶通濾波器數量情況下分別進行50次物種識別實驗,每次實驗中測試集和訓練集產生方式與前述實驗相同,得到的各類平均F1度量結果如圖5所示。可以看出,對于24和32個子帶情況,所有種類識別的綜合評價指標F1均不低于90%,而對于40個子帶情況,存在3類的綜合評價指標低于90%。總體而言,不同Mel子帶數目對于本文方法性能的影響有限,但是對比結果表明過多的子帶數目對于不同物種鳥鳴信號而言并不總是利于識別性能的提升。

5 結語

本文提出了一種基于Mel子帶參數化特征的鳥鳴自動識別方法。該方法首先利用基于GMM的AED處理過程提取潛在鳥鳴片段,然后針對每個片段各個Mel子帶輸出能量序列進行AR建模,提取能夠描述不同種類鳥鳴信號時頻譜模式特性的參數化特征,并采用SVM進行分類識別。基于野外鳥鳴數據的實驗結果表明,本文方法對不同類型的鳥類物種具有良好的識別性能,且明顯優于現有紋理特征方法。但是需要注意的是,考慮到自然環境下采集的鳴聲數據中不可避免地會出現并發多聲源情況,即有多只和/或多類物種同時鳴叫或鳴唱,此時直接使用本文提出的自動分段及識別方法并不合適,原因在于此時檢測出的潛在鳴聲片段會是上述多個不同鳴聲信號的合成結果,相應提取的參數化特征顯然不能正確表征相應物種的鳴聲。因此未來的研究工作可以考慮利用麥克風陣列進行多聲源分離后再使用本文提出的鳥鳴自動識別方法。

圖5 不同Mel子帶數量下的各類F1度量結果

)

[1]GREGORYRD,NOBLED,FIELDR,etal.Usingbirdsasindicatorsofbiodiversity[EB/OL]. [2016- 03- 10].http://ornis.hu/articles/OrnisHungarica_vol12-13_p11-25.pdf.

[2] 沈少青, 宮鵬, 程曉, 等.陸生動物聲音遙感:定位與誤差分析[J]. 遙感學報, 2011, 15(6): 1255-1275.(SHENSQ,GONGP,CHENGX,etal.Sound-basedremotesensingofterrestrialanimals:localizationanderroranalysis[J].JournalofRemoteSensing, 2011, 15(6): 1255-1275.)

[3]SAHIDULLAHM,SAHAG.Comparisonofspeechactivitydetectiontechniquesforspeakerrecognition[J].JournalofImmunotherapy, 2012, 33(33): 609-617.

[4]ALAMJ,KENNYP,QUELLETP,etal.Supervised/unsupervisedvoiceactivitydetectorsfortext-dependentspeakerrecognitionontheRSR2015corpus[EB/OL]. [2016- 03- 10].http://www.crim.ca/perso/patrick.kenny/Alam_odyssey2014.pdf.

[5]GANCHEVTD,JAHNO,MARQUESMI,etal.AutomatedacousticdetectionofVanelluschilensislampronotus[J].ExpertSystemswithApplications, 2015, 42(15/16): 6098-6111.

[6]SWISTONKA,MENNILLDJ.Comparisonofmanualandautomatedmethodsforidentifyingtargetsoundsinaudiorecordingsofpileated,pale-billed,andputativeivory-billedwoodpeckers[J].JournalofFieldOrnithology, 2009, 80(1): 42-50.

[7]EHNESM,FOOTEJR.Comparisonofautonomousandmanualrecordingmethodsfordiscriminationofindividuallydistinctiveovenbirdsongs[J].Bioacoustics, 2015, 24(2): 111-121.

[8]LEECH,HSUSB,SHIHJL,etal.ContinuousbirdsongrecognitionusingGaussianmixturemodelingofimageshapefeatures[J].IEEETransactionsonMultimedia, 2012, 15(2): 454-464.

[9] 張曉霞, 李應.基于能量檢測的復雜環境下的鳥鳴識別[J]. 計算機應用, 2013, 33(10): 2945-2949.(ZHANGXX,LIY.Birdsoundsrecognitionbasedonenergydetectionincomplexenvironments[J].JournalofComputerApplications, 2013, 33(10): 2945-2949.)

[10] 陳莎莎, 李應.結合時-頻紋理特征的隨機森林分類器應用于鳥聲識別[J]. 計算機應用與軟件, 2014, 31(1): 154-157.(CHENSS,LIY.Applyingrandomforestclassifiercombinedwithtime-frequencytexturefeaturestobirdsoundsrecognition[J].ComputerApplicationsandSoftware, 2014, 31(1): 154-157.)

[11] 魏靜明, 李應.利用抗噪紋理特征的快速鳥鳴聲識別[J]. 電子學報, 2015, 43(1): 185-190.(WEIJM,LIY.Rapidbirdsoundrecognitionusinganti-noisetexturefeatures[J].ActaElectronicaSinica, 2015, 43(1): 185-190.)

[12]SHANNONRV.Isbirdsongmorelikespeechormusic[J].TrendsinCognitiveSciences, 2016, 20(4): 245-247.

[13]VENTURATM,OLIVEIRAAG,GANCHEVTD,etal.Audioparameterizationwithrobustframeselectionforimprovedbirdidentification[J].ExpertSystemswithApplications, 2015, 42(22): 8463-8471.

[14]ZHUX,GONGP,ZHAOZ,etal.LearningsimilaritymetricwithSVM[C]//IJCNN2012:Proceedingsofthe2012InternationalJointConferenceonNeuralNetworks.Piscataway,NJ:IEEE, 2012: 3342-3349.

[15]HSUCW,LINCJ.Acomparisonofmethodsformulticlasssupportvectormachines[J].IEEETransactionsonNeuralNetworks, 2002, 13(2): 415-425.

[16]Naturalisbiodiversitycenter.Repositoryofsoundunderthecreativecommonslicense[EB/OL]. [2016- 03- 25].http://www.xeno-canto.org/.

[17]CHANGC,LINC.LIBSVM:alibraryforsupportvectormachines[CP/OL]. [2016- 04- 05].http://www.csie.ntu.edu.tw/～cjlin/libsvm/libsvm-3.18zip.

[18] 周志華.機器學習[M]. 北京:清華大學出版社, 2016: 30-32.(ZHOUZH.MachineLearning[M].Beijing:QinghuaUniversityPress, 2016: 30-32.)

ThisworkispartiallysupportedbytheNationalNaturalScienceFoundationofChina(61401203, 61171167),theNaturalScienceFoundationofJiangsuProvince(BK20130776).

ZHANG Saihua, born in 1993, M. S. candidate. Her research interests include signal processing, pattern recognition.

ZHAO Zhao, born in 1979, Ph. D., associate professor. His research interests include acoustic detection system, signal processing, time-frequency analysis.

XU Zhiyong, born in 1968, Ph. D., associate professor. His research interests include acoustic detection system, array signal processing.

ZHANG Yi, born in 1994, M. S. candidate. Her research interests include signal processing, pattern recognition.

Automatic bird vocalization identification based on Mel-subband parameterized feature

ZHANG Saihua, ZHAO Zhao*, XU Zhiyong, ZHANG Yi

(School of Electronic and Optical Engineering, Nanjing University of Science and Technology, Nanjing Jiangsu 210094, China)

Aiming at the vocalization-based bird species classification in natural acoustic environments, an automatic bird vocalization identification method was proposed based on a new Mel-subband parameterized feature. The field recordings were first divided into consecutive frames and the distribution of log-energies of those frames were estimated using Gaussian Mixture Model (GMM) of two mixtures. The frames with respect to high likelihood were selected to compose initial candidate acoustic events. Afterwards, a Mel band-pass filter-bank was first employed on the spectrogram of each event. Then, the output of each subband, i.e. a time-series containing time-varying band-limited energy, was parameterized by an AutoRegressive (AR) model, which resulted in a parameterized feature set consisting of all model coefficients for each bird acoustic event. Finally, the Support Vector Machine (SVM) classifier was utilized to identify bird vocalization. The experimental results on real-field recordings containing vocalizations of eleven bird species demonstrate that the precision, recall andF1-measure of the proposed method are all not less than 89%, which indicates that the proposed method considerably outperforms the state-of-the-art texture-feature-based method and is more suitable for automatic data analysis in continuous monitoring of songbirds in natural environments.

bird vocalization; automated identification; Mel-subband; time-series modeling; Support Vector Machine (SVM)

2016- 09- 14;

2016- 12- 26。

國家自然科學基金資助項目(61401203,61171167);江蘇省自然科學基金資助項目(BK20130776)。

張賽花(1993—),女,江蘇南通人,碩士研究生,主要研究方向:信號處理、模式識別; 趙兆(1979—),男,湖北襄陽人,副教授,博士,主要研究方向:聲探測系統、信號處理、時頻分析; 許志勇(1968—),男,江蘇南京人,副教授,博士,主要研究方向:聲探測系統、陣列信號處理; 張怡(1994—),女,江蘇蘇州人,碩士研究生,主要研究方向:信號處理、模式識別。

1001- 9081(2017)04- 1111- 05

10.11772/j.issn.1001- 9081.2017.04.1111

TP391.4

A