時頻特征的海豚發聲端點檢測方法研究*

楊昱皞 何瑞麟 戴陽 方亮 賀劉剛

(1 大連海洋大學航海與船舶工程學院 大連 116023)

(2 中國水產科學研究院東海水產研究所農業農村部漁業遙感重點實驗室 上海 200090)

(3 中國水產科學研究院南海水產研究所 廣州 510300)

0 引言

海豚是鯨類哺乳動物，廣泛生活于全球各大海域，在內海及入海口附近的咸淡水中也有分布，是我國國家重點保護野生動物之一。海豚的聲信號主要分為3 類：回聲定位信號(click)、脈沖信號(burst-pulse)、通訊信號(whistle)[1-2]，whistle 信號主要集中在8～15 kHz，burst-pulse 信號主要集中在15～30 kHz，click 信號主要集中在100～150 kHz[3]。其中click信號是海豚捕食、定位等主要活動的聲信號，是進行海豚生物特征以及種群資源調查的重要研究對象[4]。

海洋環境噪聲場是海洋環境中普遍存在而又不期望出現的背景聲場。它是由風浪、降雨、航船、海洋生物、人類工業活動等因素產生的，是主被動聲吶的主要聲學背景干擾[5]。雖然目前有許多研究通過繪制信號聲譜圖，將聲音問題轉化為圖像問題，再使用深度學習或機器學習等方式進行識別[6]，但無論是使用哪種方式，都包含大量噪聲的干擾，因此數據的預處理變得尤為重要。除海洋環境的噪聲干擾外，另一難點是海豚有3 種聲信號，其中click 信號的頻率往往超過人耳聽力范圍，聲音的傳播特性又使得高頻分量衰減得更加迅速，導致人工處理信號制作數據集變得困難，使用深度學習的方法識別難以進行[7]。

國內外對于海洋生物的聲音已經有不同程度的研究。在Hildebrand等[8]的海洋哺乳動物信號檢測和分類性能指標研究中，發現用于檢測的數據集受到干擾使得分析數據時非常耗時，說明要研究海洋中的目標生物聲音，如何降低噪聲及其他生物聲音的干擾是檢測海洋動物聲信號的必要條件。牛富強等[9-10]發現在不同的聲行為下，印度洋瓶鼻海豚(Tursiops aduncus)發出的click信號頻譜特性變化趨勢基本一致；黃龍飛等[11]對普里茲灣虎鯨(Orcinus orca) click 信號進行了檢測，發現click 脈沖間隔的范圍為10.5～183.5 ms；周韋崢嶸等[12]對中華白海豚(Sousa chinensis)的whistle信號進行了統計分析，得到了海豚whistle信號的諧波特性。上述研究表明海豚不同聲信號相對于海洋環境噪聲場都具有持續時間短、頻率高的特點，這些特征為檢測海豚聲信號提供了重要的基礎。Roch等[13]通過人工制作數據集根據時域變化訓練了回聲定位檢測，得到了良好的效果，說明時域上的特征可以用于識別海豚聲音；Gillespie等[14]在齒鯨類全自動檢測和物種分類方法中發現，當聲音中包含的物種從4 種提高至12 種時，準確率從94%下降至58.5%；Miller等[15]使用開源軟件PAMguard 對須鯨(Balaenoptera)叫聲進行跟蹤并驗證其功能，發現檢測難度隨著聲信號時間和帶寬的變化而升高。以上兩種研究表明，要更準確地識別出鯨豚類的聲信號，需要同時考慮海洋環境中包含的物種、時間、帶寬的信息。Frasier[16]在使用深度學習識別物種齒鯨信號的研究中，使用了無監督聚類的方法得到齒鯨的信號，通過齒鯨click 信號的聲譜形狀和分布間隔識別；王宸等[17]在中華白海豚(Sousa chinensis) click 信號識別的研究中，結合能源算子方法和濾波器對click信號實現自動檢測。以上研究表明，研究海豚的聲音需要海豚聲音的數據集，海洋環境中海豚的聲信號具有高頻、寬帶和短時的特點，海洋環境噪聲場具有物種復雜、持續時間長、頻率分布廣的特點。如果能夠獲得準確的海豚聲音數據集，海洋環境噪聲場干擾等問題可以相應解決。結合時域特征、噪聲環境特征、持續時間、頻域特征，本文提出一種基于時頻特征的海豚發聲端點檢測方法研究。

端點檢測是為了找到聲頻信號的開始和結束位置，對語聲和非語聲的區域進行區分。端點檢測已經廣泛應用于語聲識別、語聲增強和聲頻分類技術的前端，可以簡化語聲識別過程中的冗余數據，加快識別速度[18]。常用的檢測方法有：(1) 雙門限法端點檢測，利用短時能量和短時過零率設定兩個門限可以較好地區分濁音、清音和靜音，但是在海洋環境中噪聲場和其他生物發聲同樣會導致過零率產生變化，過零率不能作為海豚聲音檢測的參數；(2) 自相關法，使用自相關函數求出語聲波形序列的基音周期實現噪聲的區分，但是海豚的聲音和海洋環境的噪聲場都沒有規律，沒有穩定的基音周期，不足以分辨海豚聲音；(3) 譜熵法，是根據熵來表示信號的有序程度，而海洋環境中的所有聲信號都是無序的，熵不能夠在復雜環境中區分出目標生物的聲音；(4) 比例法等其他方法。這些方法在物種信息多、頻率范圍廣、能量大和無序性的海洋環境中并不適用。

本文提出的一種基于時頻特征的海豚發聲端點檢測方法研究，以海洋環境噪聲場和海豚叫聲作為研究主體，綜合時頻特征研究海豚發聲的端點檢測技術，為研究海豚發聲習性、海豚聲音識別及生物保護奠定基礎。

1 方法及原理

1.1 流程設計

首先對獲取的海洋聲音，按照一定長度存儲；再將每段聲頻按照海豚的發聲特征選擇合適的長度進行分幀，并計算出每一幀的短時能量；對每一幀信號做離散傅里葉變換，對不同的頻率范圍設計不同權重，求得加權后的譜質心；設置短時能量閾值、譜質心閾值、譜質心二階偏移率；將短時能量和譜質心超過閾值的部分作為備選有效聲段；再分別向備選有效聲段的兩端比較譜質心二階偏移率，譜質心二階偏移率超過閾值的部分，添加至備選有效聲段生成完整的有效聲段；輸出有效聲段。具體流程圖如圖1所示。

圖1 端點檢測流程圖Fig.1 Endpoint detection flow chart

1.2 信號預處理

由于數據集中聲頻長度不同，處理時長較長的聲頻需要大量計算并且輸出的聲譜圖不便于觀察持續時間很短的click信號，為了體現每一幀短時能量、譜質心的變化，將所有聲信號切割為時長1 s 的若干段，切割后不足1 s的樣本舍棄。

1.3 提取聲頻信號特征

通過尋找持續時間、聲頻能量符合目標發聲特點并且在頻域上符合目標發聲頻率范圍的聲段，即可從聲音文件中區分出目標聲音。由于獲取的聲音能量大小受聲信號種類和距離影響，用能量變化表示發聲具有不確定性，因此在分析時，更依賴于頻域特征，兩者互相驗證，這樣可以減少突發高頻噪聲和目標聲信號能量較弱對結果的影響。

1.3.1 信號分幀

海豚聲信號的特點是持續時間短、頻率高。如果每次處理的聲頻時間過長，在時域內能量變化會被平滑，在頻域內傅里葉變換反映出的是信號整體的功率譜特征，會掩蓋短暫發聲的信息，因此需要對信號進行分幀加窗處理。由于不需要對聲音進行時移疊加還原，不需要考慮旁瓣泄漏的問題，因此選擇使用方形窗，步長等于窗長的分析方法。加窗后做短時傅里葉變換將受到不確定性原理的約束，無法同時保證時間分辨率與頻率分辨率達到最優，因此窗長應根據實際情況選擇，加窗計算公式[19]如下：

其中，n表示采樣點序號，m表示幀序號，ωn表示分析窗，xn(m)表示第m幀內第n采樣點的信號振幅。

1.3.2 時域分析

時域分析是提取語聲信號的時域特征，短時能量、短時過零率、短時自相關系數和短時平均幅度差等是最基本的時域分析參數。短時能量是度量聲信號幅值變化的函數，對高電平非常敏感；短時過零率表示的是信號波穿過橫軸的次數，可以表達發生信號的頻次，由于噪聲以及其他生物的聲音也會使短時過零率增大，因此不適用于海洋環境中；短時平均幅度是一幀聲信號的幅度大小的表征，短時能量通過對信號振幅平方，將振幅的變化擴大，因此短時能量更能夠體現出信號的變化；短時自相關系數是衡量信號自身波形在時域上變化程度的指標，但是海洋環境噪聲場的構成很復雜，由于信號的無序性，短時自相關系數不適用處理海洋環境聲音。因此選擇短時能量作為參數，可以增大目標聲信號和噪聲之間的區分度，計算公式[19]如下：

式(3)中，Ei是第i幀的短時能量，N是單幀信號的采樣點數，m是采樣點序號，xn(m)是每一個采樣點的振幅大小。海洋環境中的噪聲大多比較平穩，能量波動范圍不大，當出現目標聲信號時，該時刻短時能量會增大，通過短時能量和持續時間可以一定程度區分目標聲音。

1.3.3 頻域分析

對聲音進行傅里葉變換，計算公式[6]如下：

對于非平穩信號來說，傅里葉變換一般是不合適的。傅里葉變換的全局積分導致變換結果無法提供頻率分量的時間信息。本文使用短時傅里葉變換進行數據處理，加窗后計算公式[6]如下：

式(4)～(5)中，X1表示第l幀的傅里葉變換，ωn表示分析窗，xn表示第n采樣點的信號振幅，窗長為N，l表示幀的序號，H表示窗與窗之間的步長，n表示采樣點序號，e-jωt表示復變函數。

利用譜質心表征頻譜分布情況，計算公式[19]如下：

式(6)中，Ci是第i幀的譜質心，N是單幀信號的采樣點數，Fk是短時傅里葉變換后的頻率分量，Xk是對應頻率分量的能量大小。

考慮到海豚聲音的頻率的特征，whistle 信號和burst-pulse 信號主要分布在8000 Hz～30 kHz，click 信號最高可以達到100～150 kHz，改進后的公式為

式(7)中，Q1是海豚聲音頻率范圍的權重；Q2是非海豚聲音頻率范圍的權重；N1是海豚聲音頻率范圍；N2是非海豚聲音頻率范圍。由于海洋環境噪聲場的低頻能量很大，海豚聲音對譜質心的提升不明顯，為了能夠更好地區分海豚發聲的聲段，設定海豚聲音頻率范圍的權重應當大于非海豚聲音頻率范圍的權重。同時由于海豚的click信號和burst-pulse信號是寬頻信號，所以不能不考慮非海豚聲音頻率范圍的分量。由于本文中使用的實驗數據較為純凈，低頻噪聲的能量不大，因此擬定Q1為0.6，Q2為0.4。在不同的環境或者數據中，Q1、Q2的值應做適當修改。

為了找到目標發聲的起始點和終止點，引入譜質心一階偏移率，即每一幀譜質心相對于上一幀譜質心的變化。譜質心二階偏移率，即譜質心變化的變化趨勢。圖2 是譜質心一階偏移率和二階偏移率的對比圖。

圖2 譜質心一階偏移率和二階偏移率對比圖Fig.2 Comparison diagram of first-order and second-order spectral centroid migration rates

觀察圖2 中的豎線可得，當某一時刻譜質心發生變化時，譜質心一階偏移率尚沒有發生變化，對于該變化的表達存在滯后性，而二階偏移率在該點已經達到峰值，可以表現出這一時刻譜質心的變化趨勢，以此可以精確檢測出發聲的起始點和終止點。

因為信號成分復雜、信號中的波形函數未知，無法建立函數表達式，而每一幀之間的時間間隔很小，所以通過每一幀的譜質心進行計算可近似得到二階偏移率，公式如下：

式(8)～(9)中，i表示幀序號，Ci是譜質心，Si是譜質心偏移率，Bi是譜質心二階偏移率。

1.3.4 擬定閾值

圖3 是中華白海豚(Sousa chinensis) click 信號、瓶鼻海豚(Tursiops aduncus) burst-pulse 信號和whistle信號的聲譜圖。

圖3 不同聲信號的聲譜圖Fig.3 Spectrogram of three kinds of dolphin sound signals

由圖3(a)可以看到，中華白海豚click 信號持續時間約為10 ms 左右，但頻率非常高，可以達到100 kHz 以上；由圖3(b)可以發現，瓶鼻海豚burst-pulse 信號持續時間相對于中華白海豚click信號較長，單次burst-pulse 信號約為0.3 s，頻率在10～20 kHz 之間；由圖3(c)可以發現，瓶鼻海豚whistle 信號持續時間約為1 s，頻率在8～20 kHz之間。三幅圖的聲音來自于不同海洋聲音環境，但是可以發現，噪聲分布均勻，并且噪聲的能量很大，在高頻率上也存在均勻分布的噪聲點。以上信息說明，目標聲音一般為短暫的突發事件，在時間軸上占比很少，在頻率軸上相對于噪聲的頻譜分布的范圍更高，在部分頻率范圍能量有明顯提升，因此，可根據噪聲分布的特性確定閾值。對一段2950 s的海洋環境聲音做散點圖如圖4所示。

圖4 海洋環境聲音振幅散點圖Fig.4 Scatter diagram of sound amplitude in marine environment

通過觀察圖4 可以發現，噪聲在時間軸上均勻分布，因此當出現目標聲信號時，該時刻能量一定大于噪聲能量的均值。圖4 中能量位于0～35000 范圍內均勻分布了大量的數據點，其中最明顯的分界線位于能量15000附近，以此反推能量在0～15000范圍內的數據占比，得到結果約為2/3。考慮到聲音的傳播特性，海豚聲音是一種高頻信號，高頻聲音衰減的速度更快，能量相對于低頻更小，能量的閾值應當低于譜質心的閾值。因此，擬定短時能量的閾值為整段信號的能量均值與短時能量2/3位數之和的一半，擬定譜質心以及譜質心二階偏移率的閾值為整段信號譜質心的2/3位數。

2 實驗與結果分析

2.1 實驗數據

實驗數據源來自于“Voice in the sea”(https://voicesinthesea.ucsd.edu/)、“Dolphins Underwater Sounds Database” (https://ieee-dataport.org/)、“whoi”(https://cis.whoi.edu/)國外數據集。本文實驗平臺為python 和Audition，選取了不同海豚3 種聲信號進行實驗?？紤]到海豚click 信號為10.5～183.5 ms，將聲頻統一切割為1 s。為了減少計算機的計算量，防止數據發生越界，以輸入的聲信號的最大振幅為1做歸一化處理。

2.2 實驗設計

(1) 比較不同窗長對檢測結果的影響。根據中華白海豚發聲時的聲譜圖可以發現中華白海豚聲音的音節持續時間為10 ms～0.1 s。結合窗長越長，時域分辨率越低、頻域分辨率越高的規律。而本文方法中對時域分辨率要求高于頻域分辨率要求，所以分別選擇了10 ms、20 ms、50 ms 窗長對比實驗，如圖5所示。

圖5 不同窗長的時頻特征Fig.5 Time frequency characteristics of different window lengths

通過對比圖5 可以發現，圖中曲線的平滑度隨著窗長增加而增加。說明窗長越短，短時能量和譜質心對信號的變化越敏感；窗長越長，短時能量和譜質心的變化越平穩。檢測海豚click 信號時需要在很短的時間內檢測出很大的變化，因此需要更高的時域分辨率、更高的靈敏度，窗長應當選取較小值；當檢測海豚burst-pulse信號和whistle信號時可以采用稍長的窗長，因為海豚的whistle 信號和burst-pulse信號的持續時間更長，相對click信號頻率變化更小。

(2) 當檢測海豚click 信號時，容易受到突發高頻噪聲的干擾，因此實驗不同閾值對端點檢測精度的影響。參考1.3.4 節，實驗選取了3 組不同的閾值：①短時能量的55%分界值、譜質心2/3 位數；②短時能量的均值與2/3 位數之的均值、譜質心2/3 位數；③短時能量的2/3 位數、譜質心2/3 位數與譜質心3/4 位數的均值。分別對同一段海洋環境下中華白海豚click 信號進行端點檢測如圖6 所示，圖中每兩條虛線表示一段有效聲頻的起始點和終止點。將不同閾值的檢測結果進行對比如表1、表2所示。

表1 不同閾值檢測結果Table 1 Test results of different thresholds

表2 不同閾值提取出的有效聲段Table 2 Effective segments extracted by different thresholds

圖6 不同閾值對檢測結果的影響Fig.6 Influence of different thresholds on detection results

通過觀察圖6、表1、表2 可以發現，第1 組閾值對信號的變化過于敏感，將信號切割得非常零散，第3 組閾值丟失了部分click 信號，最終選擇第2 組閾值作為檢測閾值，既能夠保證對聲音時頻變化的靈敏度，也不會丟失click 信號，并且提取的有效聲段包含最少的噪聲。

(3) 為了測試端點檢測的適應性，分別選擇了25 dB、-10 dB、-24 dB 信噪比的環境下的聲音進行實驗。實驗數據通過Audition 軟件篩選，分別為“voice in the sea”中的6102500Q、“whoi” 中的61025008、“whoi”中的61025004。為了避免提取出的聲段過短，設置最大靜音長度為5 幀，當有效聲頻之間間隔不超過5 幀時，將其合并為一個聲段。對信號的提取如圖7 所示，圖中每兩條虛線表示一段有效聲頻的起始點和終止點。檢測結果如表3所示。

表3 不同信噪比環境下檢測結果Table 3 Test results under different SNR environments

圖7 不同環境下端點檢測的結果Fig.7 Endpoint detection results in different environments

通過圖7、表3 可以發現，圖7(a)中0 s 和0.2 s附近出現的噪聲、圖7(b)中2.1～3 s 的噪聲和圖7(c)中0.3～0.41 s、0.6～0.75 s出現的突發噪聲經過本方法檢測后沒有加入有效聲段。說明本文使用的基于時頻特征的海豚發聲端點檢測方法研究，能夠降低突發噪聲的干擾。通過觀察表3 可以得出即使在低信噪比的環境下，檢測存在一定的丟失率，但依然能夠有良好的表現。

(4) 為了防止環境聲音突變造成的閾值偏差，程序設計了不斷記錄短時能量和譜質心的閾值，每10 幀做一次校核，當出現異常波動時，取平均值作為閾值和下一次校核的起始值。

(5) 與目前比較常用的門限法以及仿照文獻[6,20–21]提出的鳥類端點檢測改進的海洋哺乳動物算法進行對比，在-24 dB 條件下，采用相同的擬定閾值的方式，對同一段中華白海豚click 信號進行端點檢測如圖8 所示。3 種方法的檢測結果如表4所示。

表4 不同方法檢測結果對比Table 4 Comparison of test results by different methods

圖8 不同方法的端點檢測結果對比Fig.8 Comparison of endpoint detection results of different methods

通過表4 可以得到，當信噪比條件為-24 dB時，門限法的過零率閾值無法準確地區分噪聲和中華白海豚的聲信號，受到噪聲的干擾較大，需要穩定的噪聲來確定閾值，閾值確定之后不能夠適應噪聲的變化，如圖8(a)所示；仿照文獻[21]鳥類端點檢測法首先通過尋找振幅最大值，在最大值的基礎上向下尋找一定幅度變化的振幅作為檢測閾值，不能夠適應海洋中突發噪聲能量過高的情況，容易遺漏很多中華白海豚的聲信號，如圖8(b)所示；這兩種方法都不能適應海洋環境噪聲場復雜多變的情況。本文提出的方法在海洋環境下能夠避開一定程度的突發高頻噪聲，且準確地檢測出中華白海豚聲信號，如圖8(c)所示。

2.3 結果分析

實驗中，總共獲得400 個樣本，12 種海豚的3種聲信號，平均樣本時長為15 s。識別出的click 信號為2360 個，whistle 信號為1062 個，burst-pulse信號為1361 個，其中將噪聲識別為click 信號的有295個，丟失的click信號為141個，準確率如表5所示。

表5 端點檢測準確率Table 5 Endpoint detection accuracy

上述結果表明，本文提出的基于海豚時頻特性的端點檢測方法能夠滿足時效性、準確性、適應性的要求。相比于其他應用于海豚聲音端點檢測的方法，本方法具有計算量小、處理速度快的優點，在低信噪比的條件下對單一海豚依然能夠準確地提取其某一類聲信號。該方法存在突發高頻噪聲對檢測結果的影響這一問題，但是隨著輸入聲信號時間的增長，噪聲的閾值越來越穩定并且貼合噪聲與目標聲音的分界線，能夠提高檢測的準確率。

3 結論與討論

本文提出的基于時頻特征的海豚發聲端點檢測方法，結合聲音的短時能量、加權譜質心和譜質心二階偏移率特征進行檢測，通過對比試驗，發現可通過調整窗長和閾值設定來滿足海豚不同種類聲信號的檢測需求。本方法相比其他常用的端點檢測方法，在只有一種海豚的某一類聲信號的海洋環境聲場中，能夠減少海洋環境中的噪聲干擾，并且大幅提高準確率。但是仍然存在以下問題待解決：

(1) 完善不同頻率范圍的權重，目前對海豚聲音的樣本數量有限，特征了解不足，獲得更加精確的頻率范圍可以降低出現誤判的概率；

(2) 對于海洋噪聲以及海豚聲音的發聲機理認識不足，并且人耳聽力范圍有限，無法對超出聽力范圍的聲音人工檢驗；

(3) 需要大量不同環境下的數據進行實驗測試，目前本次實驗數據僅有3類典型的海豚聲信號，3種實驗環境，具有一定的局限性，而真實海洋環境中的數據更加復雜且獲取較為困難。

未來可以將此方法優化后應用于海洋環境中海豚的聲音識別以及聲音特征的研究，通過本方法提取不同海域的海豚聲信號，為海豚不同聲信號制作數據集。