基于子帶雙特征的自適應保留似然比魯棒語音檢測算法

何偉俊 賀前華 吳俊峰 楊繼臣

?

基于子帶雙特征的自適應保留似然比魯棒語音檢測算法

何偉俊 賀前華*吳俊峰 楊繼臣

(華南理工大學電子與信息學院 廣州 510641)

為了進一步提高低信噪比下語音激活檢測(VAD)的準確率，該文提出一種基于子帶雙特征的自適應保留似然比魯棒語音激活檢測算法。算法采用子帶歸一化最大自相關函數與子帶歸一化平均過零率雙重特征設置頻率分量似然比的保留權值，同時利用已過去固定時長的VAD判決結果及對應的子帶特征參數自適應地估計似然比的保留閾值。實驗結果表明，此算法的VAD檢測準確率相比原保留似然比算法在10 dB, 0 dB和-10 dB平穩白噪聲下分別提高了1.2%, 7.2%和8.1%，在10 dB和0 dB非平穩Babble噪聲下分別提高了1.6%和3.4%。當其被用于2.4 kbps低速率聲碼器系統時，合成語音的感知語音質量評價(PESQ)比原聲碼器系統在白噪聲下提高了0.098~0.153，在Babble噪聲下提高了0.157~0.186。

語音激活檢測；似然比；低信噪比；子帶過零率

1 引言

語音激活檢測(Voice Activity Detection, VAD)目的在于從信號中區分出語音信號與非語音信號。在語音識別系統中，準確的VAD判決可提高識別率并節省處理時間[1]。在低速率語音編碼系統(如ITU-T G.729, MELP)中，根據VAD判斷當前信號幀是否有語音采用不同的編解碼模式，從而在不影響合成語音質量的前提下降低編碼速率[2]。傳統的語音激活檢測主要是基于短時能量、過零率、譜熵、LPC參數、倒譜特征、高階統計量等語音特征參數的方法[3]，它們在高信噪比條件下具有令人滿意的效果。

為了解決低信噪比下VAD檢測問題，文獻[4]提出了基于似然比檢驗(Likelihood Ratio Test, LRT)的VAD算法，此算法利用高斯統計模型對信號的傅里葉變換系數按語音與非語音兩種假設進行建模，通過似然比檢驗法評估兩種統計模型與當前觀測數據的適配程度，從而作出VAD判決。文獻[5]在2001年提出基于平滑統計似然比的改進算法，文獻[6,7]在2005年和2007年相繼提出基于多觀測值的似然比VAD算法以及基于多假設多觀測值的似然比VAD算法，它們主要利用長時語音信息，借助連續多個獨立觀測值提高檢測性能。文獻[8]在似然比計算中引入權值，提出加權似然比VAD算法；文獻[9]在文獻[8]的基礎上使用聲學模型對權值進行優化，提出基于多聲學模型的加權似然比VAD算法，然而有限的權集合缺乏代表性，并且訓練得到的權值并未體現分量似然比與語音特征間的聯系。近兩年，研究者們嘗試使用機器學習類方法(例如深度神經網 絡[10,11]支持向量機[12]等)把似然比及計算似然比過程的相關參數作為特征融合起來提高算法魯棒性，然而該類算法復雜度較高并且效果受似然比計算準確率影響。文獻[13]在2015年提出了基于子帶保留似然比的VAD算法，在似然比綜合評估時通過保留權值保留具有明顯語音特征的頻率分量似然比，降低了非語音信號似然比虛高而導致的誤檢，提高了VAD的檢測準確率。

鑒于原保留似然比算法采用單一時域特征設置保留權值，容易丟棄周期性相對不明顯的語音信號(尤其是清輔音信號)的子帶頻率分量似然比，造成局部漏檢率增加，本文提出了一種基于子帶語音雙特征的自適應保留似然比魯棒語音激活檢測算法，在設置保留權值過程中引入對檢測清輔音信號更具魯棒性的歸一化子帶平均過零率特征，并利用近期過去固定時長內的VAD判決結果及對應的子帶特征參數自適應估計似然比的保留閾值，從特征和閾值雙角度進一步提高了算法在低信噪比下VAD的檢測準確率。

2 基于子帶保留似然比的語音激活檢測

在加性噪聲環境下，對帶噪聲語音存在如式(1)兩種假設：

3 基于子帶雙特征的自適應保留似然比語音激活檢測

語音由元音和輔音兩種音素組成，輔音根據聲帶是否振動分為濁輔音和清輔音。發元音和濁輔音時聲帶振動使信號具有周期性，原保留似然比算法利用歸一化最大自相關函數保留了周期性較強的元音與濁輔音信號，而清輔音信號不具有周期性，其分量似然比因子帶特征不明顯而容易被丟棄，被判為非語音，造成漏檢。若要進一步提高該類算法的檢測性能，需找到與歸一化最大自相關函數在表達清輔音信號上具有互補性質的魯棒語音特征。根據文獻[17]，清音相對濁音在高頻部分具有更多能量分布，衰減相對較少，因此清音具有較高的平均過零率，并且平均過零率在背景噪聲較大時對識別語音更有效。本文對一段信噪比為10 dB的帶非平穩噪聲(Babble噪聲)語音及其子帶歸一化最大自相關函數值與子帶歸一化平均過零率進行分析，發現兩類特征在語音前端或末端(虛線區域)對表示語音具有一定的互補關系，如圖1所示。

圖1 帶噪語音信號的子帶歸一化自相關函數與子帶歸一化平均過零率分析

鑒于以上分析，本文采用子帶歸一化最大自相關函數和子帶歸一化平均過零率雙重特征作為設置保留權值的依據，使具有任一特征的分量似然比都得以保留?？紤]到說話人語音特征及背景環境噪聲短時內一般不會突變，因此同時利用過去固定時長內的判決結果及相關子帶特征參數自適應地估計似然比的保留閾值。所提出方法主要包括雙特征設置保留權值、子帶歸一化平均過零率、自適應估計保留閾值3部分。

3.1雙特征設置保留權值

根據特征強度設置保留權值時，在子帶歸一化最大自相關函數值的基礎上增加子帶歸一化平均過零率，即采用雙重特征進行設置。由于語音在清輔音段的平均過零率高于非語音段，在濁輔音和元音段的平均過零率低于非語音段，因此采用上下雙門限對子帶平均過零率進行設置，具體定義為

子帶歸一化最大自相關函數值與子帶歸一化平均過零率的計算流程如圖2所示。

3.2子帶歸一化平均過零率

短時過零率表示一幀語音信號時域波形穿過橫軸(零電平)的次數，第個子帶的平均過零率通過對子帶語音信號計算獲得，定義為

最后，對歸一化子帶平均過零率進行平滑：

3.3自適應估計保留閾值

鑒于說話人語音特征及背景噪聲在短時內是穩定的，且非語音段的歸一化最大自相關函數低于元音或濁輔音段，而非語音段的平均過零率一般介于清輔音段與元音或濁輔音段之間。算法中以為時間間隔，利用過去時長內的VAD判決結果和對應的語音歸一化特征參數對閾值進行定時估計更新。首先，假設已過去最近一段時間內包含個VAD判決結果均為“0”的非語音段，第個非語音段中包含幀信號，則第子帶第個非語音段中第幀的歸一化自相關函數值和歸一化過零率分別定義為和,,，利用非語音段中各子帶特征參數的統計值估計當前分量似然比的保留閾值，即。其中，,和分別表示第子帶第個非語音段中所有幀的歸一化自相關函數最大值，歸一化平均過零率最大值和最小值。

圖2 子帶雙特征計算流程圖

4 實驗與結果分析

本文把實驗分為仿真實驗與現場錄音實驗兩部分。

4.1仿真實驗

4.1.1實驗設置 本文使用漢語普通話自然口語對話語料庫(Chinese Annotated Dialogue and Conversation Corpus, CADCC)和NOISEX-92噪聲數據庫評價各算法的VAD檢測性能。設置幀長為45 ms，幀移為22.5 ms。為模擬長時語音低信噪比的檢測環境，本文采用如下方法構造仿真環境：選擇多人對話樣本，總時長約為20 min 37.526 s，共含528個語音段。首先，把樣本從16 kHz降采樣到8 kHz；然后，對樣本進行人工標注，標注語音幀(包含元音和輔音)與非語音幀，其中語音幀約占75.03%，非語音幀約占24.97%。噪聲樣本包括高斯白噪聲(平穩噪聲)和Babble噪聲(非平穩噪聲)；最后，把語音與噪聲合成低信噪比樣本，信噪比分別為10 dB, 0 dB和-10 dB。平滑系數設置為0.5，保留閾值的更新時間間隔設置為18~33 s。將本文方法與文獻[2]，文獻[4]，文獻[5]，文獻[6]，文獻[13]等方法相比較，通過判決檢測參數[18]與接收機操作特性(Receiver Operating Characteristic, ROC)曲線圖[19]評估方法的性能。

4.1.2VAD檢測性能 為每種方法選擇相對最優的閾值，在這組固定的閾值下比較各種方法的判決檢測性能[18]，其中包括檢測準確率(CORRECT)、前端漏檢率(FEC)、后端漏檢率(BEC)、中段漏檢率(MSC)、靜音段誤檢率(NDS)、后端誤檢率(OVER)，

具體如表1和表2所示。

從表1和表2可看出，一方面，本文方法在大多數情況下檢測準確率(CORRECT)均高于其余方法，其中本文方法與文獻[13]原保留似然比方法相比，在10 dB, 0 dB和-10 dB白噪聲下分別提高了約1.2%,7.2%和8.1%，在10 dB和0 dB Babble噪聲下分別提高了約1.6%和3.4%；另一方面，在兩種背景噪聲下，本文方法相比文獻[13]的方法，在獲得接近或更低總誤檢率(即NDS+OVER)的情況下，FEC, MSC和BEC均有不同程度的降低，從而證明算法的有效性。另外，表2的結果顯示，在0 dB和-10 dB的Babble噪聲下檢測性能相比文獻[6]和文獻[13]方法略微下降，主要原因是部分語音段信號(例如語音與非語音段的始末過渡信號、較輕微或斷續的語氣信號)的雙特征受噪聲影響而變得不明顯，部分子帶似然比未得到保留而導致漏檢率略有上升。

4.1.3ROC曲線 圖3為10 dB, 0 dB和-10 dB 白噪聲和Babble噪聲下的ROC曲線圖。

從圖3(a)，圖3(b)和圖3(c)可看出，在10 dB 白噪聲下，本文方法當總誤檢率大于15%時語音檢測率均優于其余方法，即使總誤檢率小于15%，本文方法也能獲得接近于文獻[13]的檢測性能。在0 dB和-10 dB 白噪聲下，本文方法在總誤檢率大于5%時，語音檢測性能明顯優于其余方法。從圖3(d)，圖3(e)和圖3(f)可看出，一方面，在10 dB的Babble噪聲下，當誤檢率大于20%時，本文方法在語音檢測性能上優于其余方法。另一方面，在0 dB的Babble噪聲下，本文方法優于其余大部分方法，只相比文獻[6]方法略微下降；在-10 dB Babble噪聲下，本文方法的優勢雖逐漸變得不明顯，但依然保持與其余方法相近的水平。

表1 白噪聲條件下檢測性能對比(%)

表2 Babble噪聲條件下檢測性能對比(%)

4.2 現場錄音實驗

4.2.1實驗設置 現場錄制帶噪語音樣本，選擇工作單位辦公樓大堂(面積約為200~300 m2)作為錄制場地，場地中約有20~30人隨意活動和討論，以場地中人員活動和討論的聲音作為背景噪聲，噪聲類型近似于Babble噪聲，隨機錄制兩人對話語音，樣本總時長為8 min25.6 s，共含179個語音段。其中語音幀占79.61%，非語音幀占20.39%。對現場錄音樣本的測試比較方式與仿真實驗相同。

4.2.2VAD檢測性能 根據表3的檢測性能可知，本文方法在相近總誤檢率(NDS+OVER)下的總漏檢率(FEC+MSC+BEC)更低，因此檢測準確率(CORRECT)均優于其余方法，檢測準確率相比其余方法提高了1.11%~17.87%，其中，與文獻[13]原保留似然比方法相比提高了1.11%。

圖4的ROC檢測曲線顯示，在整體性能上，本文方法在總誤檢率(5%~45%)范圍內均優于其余方法，其中略優于文獻[13]的方法。

表3 檢測性能對比(%)

圖4 現場錄制帶噪語音的檢測ROC曲線

另外，實驗中發現本文方法在靜音段誤檢率(NDS)有略微增加跡象，主要原因是實驗中現場錄制帶噪語音以他人說話討論的嘈雜聲為背景，若算法檢測出靜音段噪聲的他人討論聲音存在明顯雙特征，容易造成算法誤檢。

4.3聲碼器性能測試

把本文方法應用于2.4 kbps低速率MELP聲碼器，測試聲碼器的編解碼性能，使用感知語音質量評價(Perceptual Evaluation of Speech Quality, PESQ)作為合成語音的質量評價標準。從表4可以看出，經由本文方法對VAD判決后再按原清濁模式進行編解碼，合成語音質量在多數情況下優于其余方法。相比原MELP聲碼器(文獻[2])中的方法，在10 dB, 0 dB和-10dB Babble噪聲下，PESQ值分別提高了0.159, 0.157和0.186；在10 dB, 0 dB和-10 dB白噪聲下，PESQ值分別提高了0.153, 0.098和0.103；現場錄制帶噪語音的PESQ則提高了0.142。

表4結果顯示，本文方法從總體上提升了聲碼器性能，然而在白噪聲環境下，相比文獻[6]的方法，聲碼器性能提升較少甚至略微有所降低，原因是本文方法相比非保留似然比方法對部分樣本(尤其是女聲樣本)的語音中段信號的漏檢率略有增加，而此現象主要是由局部語音信號(例如詞句始末端信號)的雙特征不明顯并受強噪聲影響而造成的。結合此節與4.1節的分析可知，本文方法雖然相對原保留似然比算法保留更多清輔音信號，提高了VAD檢測準確率，但對于極少數雙特征均不突出的語音信號，檢測性能仍略顯不足。

5 結束語

在此類VAD算法中，“似然比”本質上是觀測值與假設之間匹配度的一種評估，保留似然比算法的初衷是希望從時域角度把更準確或具明顯語音特征的評估值保留下來。本文遵循此思路提出一種基于子帶雙特征的自適應保留似然比魯棒語音激活檢測算法，利用歸一化平均過零率特征保留更多語音中清輔音的頻率分量似然比，同時采用已判決結果及特征信息自適應估計保留閾值，結果表明本文方法可在保持相近誤檢情況下減少漏檢，提高了低信噪比下VAD的檢測準確率。另外，本文方法被用于低速率聲碼器系統中，提升了系統在低信噪比環境中的魯棒性，是基于統計模型的似然比檢驗方法結合魯棒時域特征的再一次成功嘗試。

表4各種方法用于2.4 kbps聲碼器性能比較

信噪比(dB)PESQ 文獻[2]文獻[4]文獻[5]文獻[6]文獻[13]本文方法 10 (Babble)2.2562.3902.3692.3982.3632.415 0 (Babble)1.9712.0812.0912.1092.1202.128 -10 (Babble)1.8431.9702.0202.0172.0312.029 10 (White)2.5402.5822.5922.7002.6932.693 0 (White)2.3552.4432.4482.4492.4412.453 -10 (White)2.4332.4532.4882.4842.5292.536 現場錄制帶噪語音2.0852.1652.1752.1282.2142.227

[1] SREEKUMAR K T, GEORGE K K, ARUNRAJ KSpectral matching based voice activity detector for improved speaker recognition[C]. 2014 International Conference on Power Signals Control and Computations (EPSCICON), Thrissur, 2014: 1-4. doi: 10.1109/EPSCICON.2014.6887507.

[2] DUTA C L, GHEORGHE L, and TAPUS N. Real time implementation of MELP speech compression algorithm using Blackfin processors[C]. 2015 9th International Symposium on Image and Signal Processing and Analysis (ISPA), Zagreb, 2015: 250-255. doi: 10.1109/ISPA.2015. 7306067.

[3] CHUL Y I, HYEONTAEK L, and DONGSUK Y. Formant-based robust voice activity detection[J].,,,2015, 23(12): 2238-2245. doi: 10.1109/TASLP. 2015.2476762.

[4] JONGSEO S, NAM SOO K, and WONYONG S. A statistical model-based voice activity detection[J]., 1999, 6(1): 1-3. doi: 10.1109/97. 736233.

[5] DUK C Y, AL-NAIMI K, and KONDOZ A. Improved voice activity detection based on a smoothed statistical likelihood ratio[C]. 2001 IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP), Salt Lake City, 2001: 737-740. doi: 10.1109/ICASSP.2001.941020.

[6] RAMIREZ J, SEGURA J, BENITEZ CStatistical voice activity detection using a multiple observation likelihood ratio test[J].,2005, 12(10): 689-692. doi: 10.1109/LSP.2005.855551.

[7] RAMIREZ J, SEGURA J C, GORRIZ J MImproved voice activity detection using contextual multiple hypothesis testing for robust speech recognition[J].,,,2007, 15(8): 2177-2189. doi: 10.1109/TASL.2007.903937.

[8] ICK K S, HAING J Q, and HYUK C J. Discriminative weight training for a statistical model-based voice activity detection[J].,2008, 15: 170-173. doi: 10.1109/LSP.2007.913595.

[9] YOUNGJOO S and HOIRIN K. Multiple acoustic model-based discriminative likelihood ratio weighting for voice activity detection[J]., 2012, 19(8): 507-510. doi: 10.1109/LSP.2012.2204978.

[10] FERRONI G, BONFIGLI R, PRINCIPI E,A deep neural network approach for voice activity detection in multi-room domestic scenarios[C]. 2015 International Joint Conference on Neural Networks (IJCNN), Killarney, 2015: 1-8. doi: 10.1109/IJCNN.2015.7280510.

[11] INYOUNG H and JOON HYUK C. Voice activity detection based on statistical model employing deep neural network[C]. 2014 Tenth International Conference on Intelligent Information Hiding and Multimedia Signal Processing (IIH-MSP), 2014: 582-585. doi: 10.1109/IIH-MSP.2014.150.

[12] TAN Yingwei, LIU Wenju, WEI J,Hybrid SVM/HMM architectures for statistical model-based voice activity detection[C]. 2014 International Joint Conference on Neural Networks (IJCNN), Beijing, 2014: 2875-2878. doi: 10.1109/ IJCNN.2014.6889403.

[13] 何偉俊, 賀前華, 劉楊. 基于子帶保留似然比的魯棒語音激活檢測算法[J]. 華中科技大學學報(自然科學版),2015, 43(11): 78-82. doi: 10.13245/j.hust.151115.

HE Weijun, HE Qianhua, and LIU Yang. Sub-band reserved likelihood ratio-based robust voice activity detection[J].(), 2015, 43(11): 78-82. doi: 10.13245/ j.hust.151115.

[14] PEARLMAN W A and GRAY R M. Source coding of the discrete Fourier transform[J].,1978, 24(6): 683-692. doi: 10.1109/TIT. 1978.1055950.

[15] GERKMANN T and HENDRIKS R C. Unbiased MMSE-based noise power estimation with low complexity and low tracking delay[J].,,,2012, 20(4): 1383-1393. doi: 10.1109/TASL.2011.2180896.

[16] EPHRAIM Y and MALAH D. Speech enhancement using a minimum-mean square error short-time spectral amplitude estimator[J].,,1984, 32(6): 1109-1121. doi: 10.1109/ TASSP.1984.1164453.

[17] 趙力. 語音信號處理[M]. 第2版, 北京: 機械工業出版社, 2009: 38-39.

ZHAO Li. Speech Signal Processing[M]. Second edition, Beijing: China Machine Press, 2009: 38-39.

[18] MOUSAZADEH S and COHEN I. Voice activity detection in presence of transient noise using spectral clustering[J].,,, 2013, 21(6): 1261-1271. doi: 10.1109/TASL.2013.2248717.

[19] PETSATODIS T, BOUKIS C, and TALANTZIS F. Convex combination of multiple statistical models with application to VAD[J].,,,2011, 19(8): 2314-2327. doi: 10.1109/TASL.2011. 2131131.

Adaptively Reserved Likelihood Ratio-based Robust Voice Activity Detection with Sub-band Double Features

HE Weijun HE Qianhua WU Junfeng YANG Jichen

(,,510641,)

In order to improve the correct rate of Voice Activity Detection (VAD) in low Signal Noise Ratio (SNR) environment, the paper presents an adaptive reserved likelihood ratio VAD method, which is based on sub-band double features. The method employs sub-band auto correlate function and sub-band zero crossing rate in the process of setting reserved weight. Reserved threshold is estimated adaptively according to the passed VAD results and their sub-band feature parameters. The experiment shows its promising performance in comparison with similar algorithms, the VAD correct rate is improved by 1.2%, 7.2%, and 8.1% respectively in 10 dB, 0 dB, and -10 dB stationary white noisy environment, 1.6% and 3.4% respectively in 10 dB and 0 dB non-stationary Babble noisy environment. The method is also applied to 2.4 kbps low bit rate vocoder and the Perceptual Evaluation of Speech Quality (PESQ) is improved by 0.098~0.153 in white noisy environment, 0.157~0.186 in Babble noisy environment.

Voice Activity Detection (VAD); Likelihood ratio; Low signal noise ratio; Sub-band zero crossing rate

TN912.3

A

1009-5896(2016)11-2879-08

10.11999/JEIT160157

2016-02-04；改回日期：2016-06-27；

2016-09-08

賀前華 eeqhhe@scut.edu.cn

國家自然科學基金(61571192)，廣東省公益項目(2015A010103003)，中央高校基本科研業務費項目華南理工大學(2015ZM143)

The National Natural Science Foundation of China (61571192), The Science and Technology Foundation of Guangdong Province (2015A010103003), The Fundamental Research Funds for the Central Universities, SCUT (2015ZM143)

何偉俊： 男，1982年生，博士生，研究方向為語音信號處理與模式識別.

賀前華： 男，1965年生，教授，博士生導師，研究方向為語音處理、數字音頻處理、語音編碼、音頻事件分析及應用.

吳俊峰： 男，1992年生，碩士生，研究方向為語音信號處理.

楊繼臣： 男，1980年生，博士，研究方向為多媒體檢索.