基于Hilbert?Huang變換的語音合成基音標(biāo)注搜索新算法

李娟 張雪英 黃麗霞 孫慧霞 陳建玲

摘 要： 在TD?PSOLA語音合成系統(tǒng)中，基音標(biāo)注的準(zhǔn)確性是一個非常重要的因素。針對傳統(tǒng)的短時自相關(guān)函數(shù)和小波算法準(zhǔn)確性不高和沒有自適應(yīng)性的缺點(diǎn)，提出一種基于Hilbert?Huang變換的基音標(biāo)注方法。該算法通過Hilbert?Huang變換分析語音，具有自適應(yīng)性，根據(jù)自身情況選擇基函數(shù)，分解過程滿足條件自動停止。采用文中自適應(yīng)算法對整段非平穩(wěn)語音信號進(jìn)行基音標(biāo)注，其中濁音段、過渡段采用Hilbert?Huang變換進(jìn)行標(biāo)注，清音段、非語音段用相近基音周期插值。實(shí)驗(yàn)證明，相比自相關(guān)方法、小波方法，文中算法反映了一幀內(nèi)準(zhǔn)周期的細(xì)微變化，適應(yīng)性較好。對于頻率不同的男聲和女聲，準(zhǔn)確度可達(dá)到90%以上。

關(guān)鍵詞： 基音標(biāo)注; 語音合成; Hilbert?Huang變換; 基音周期; 小波變換; 自相關(guān)函數(shù); 自適應(yīng)性

中圖分類號： TN912.3?34 文獻(xiàn)標(biāo)識碼： A 文章編號： 1004?373X（2018）12?0153?04

Abstract： The pitch annotation accuracy is a very important factor in the TD?PSOLA speech synthesis system. In allusion to the shortcomings of low accuracy and lack of adaptability of the traditional short?term auto?correlation function and wavelet algorithm， a pitch annotation method based on Hilbert?Huang transformation is proposed. The algorithm analyzes the speech by means of Hilbert?Huang transformation， has adaptability， and selects basis functions according to its own conditions. The decomposition process of the algorithm stops automatically when the conditions are satisfied. The adaptive algorithm is adopted in this paper to conduct pitch annotation for the whole segment of non?stationary speech signals， in which the voiced speech segment and transition segment are marked by means of Hilbert?Huang transformation， and the voiceless speech segment and non?voice segment are interpolated with the similar pitch period. The experiment shows that in comparison with the auto?correlation method and wavelet method， the algorithm in this paper reflects the subtle variation of the quasi?period in a frame， has good adaptability， and has over 90% of accuracy degree for male and female voices with different frequencies.

Keywords： pitch annotation; speech synthesis; Hilbert?Huang transformation; pitch period; wavelet transformation; auto?correlation function; adaptability

0 引 言

基音周期是語音信號處理中的一個重要的特征參數(shù)，它的準(zhǔn)確性對語音壓縮編碼、語音合成、語音識別都具有至關(guān)重要的作用[1]。

基音標(biāo)注是在檢測出基音周期的基礎(chǔ)上對一整段語音的基音周期點(diǎn)做出標(biāo)記，包括有語音段（清音、濁音、過渡段）和非語音段，復(fù)雜度更高。在TD?PSOLA的語音合成系統(tǒng)中，基音標(biāo)注的準(zhǔn)確性很大程度上影響著合成語音的質(zhì)量。目前基音標(biāo)注方法分為基于非事件的方法和基于事件的方法[2]，基于非事件的檢測方法有傳統(tǒng)的自相關(guān)函數(shù)法（ACF）[3?4]、幅度差法（AMDF）[[5]]、倒譜法[6]，基于事件的檢測方法有小波變換[7?9]和Hilbert?Huang變換（HHT）[10?13]。

文獻(xiàn)[10?13]中的Hilbert?Huang變換相比文獻(xiàn)[3?4]中自相關(guān)方法優(yōu)點(diǎn)如下：第一、采用Hilbert?Huang變換方法時，語音分幀不用加窗，文中分幀是為了分段處理;第二、自相關(guān)算法只能求一幀信號的平均周期，而Hilbert?Huang變換可以計算一幀信號的每一個基音周期點(diǎn)[10]。

文獻(xiàn)[7?9]中小波分解可以反映一幀內(nèi)準(zhǔn)周期的細(xì)微變化，但是沒有自適應(yīng)性。首先，對于不一樣的信號，小波變換不能自適應(yīng)地選擇小波基，不能依據(jù)不同的需求構(gòu)建不同的小波基函數(shù);其次，對于一段信號，一旦決定了分解的尺度，分解后的信號就是某一固定頻段。

相比小波變換的缺點(diǎn)，Hilbert?Huang變換的特點(diǎn)是直接和自適應(yīng)。第一、因?yàn)镋MD分解由信號自身直接產(chǎn)生基函數(shù)，根據(jù)自身特點(diǎn)不同的信號生成不同的基函數(shù)，具有自適應(yīng)性[11?12];第二、不必根據(jù)頻率考慮分解層數(shù)的問題，因?yàn)榉纸庑盘枬M足經(jīng)驗(yàn)?zāi)B(tài)分解的兩個條件時，自動停止分解，具有自適應(yīng)的分解尺度[13]。

1 Hilbert?Huang變換理論

Hilbert?Huang變換包括有兩部分：Huang變換和Hilbert變換。Huang變換，又稱為經(jīng)驗(yàn)?zāi)B(tài)分解EMD，是一次篩選磨光過程，由有限個IMF（本征模態(tài)函數(shù)）組成[10]。

2 文中自適應(yīng)標(biāo)注算法步驟

一段語音的特點(diǎn)是包含有濁音、清音、清濁音的過渡段、非語音段的復(fù)雜情況。進(jìn)行基音標(biāo)注時，對于每一種情況都有不同的處理方法。濁音幀采用文中Hilbert?Huang變換進(jìn)行標(biāo)注;清音幀或非語音幀采用相鄰濁音幀的基音周期進(jìn)行等間隔標(biāo)注;過渡幀是較復(fù)雜的一種情況，因?yàn)樵搸幸徊糠譂嵋粲兄芷冢徊糠智逡艋蚍钦Z音段沒有周期，而且準(zhǔn)確找出清濁音的過渡幀也比較困難[14]。

本文自適應(yīng)標(biāo)注算法步驟如下：

1） 對語音信號進(jìn)行每幀220樣點(diǎn)的無重疊分幀。

2） 端點(diǎn)檢測，采用兩級判別法。第一級用短時能量判別，第二級用短時平均過零率判別。

3） 清濁音檢測，采用能量判別。根據(jù)判別準(zhǔn)則，濁音幀標(biāo)記為1，非語音幀、過渡幀、清音幀標(biāo)記為0。

4） 對于每個濁音段，起點(diǎn)幀號數(shù)字記錄到向量[p]，結(jié)束幀號數(shù)字記錄到向量[k]。

從結(jié)果可以看出，在濁音段使用本文算法準(zhǔn)確率較高，漏判和錯判都是出現(xiàn)在過渡幀。這是因?yàn)椋?/p>

1） 過渡幀附近的聲門脈沖能量過低，使用閾值對于過渡幀的判斷本身就容易有誤差;

2） 在過渡幀里，尤其語音段和非語音段的交界處，已經(jīng)不具有準(zhǔn)周期性。

如果進(jìn)一步用端點(diǎn)檢測提高清濁音邊界的判斷，調(diào)整選擇更優(yōu)的參數(shù)閾值，基音標(biāo)注的準(zhǔn)確率還可以再提高。

用文中自適應(yīng)算法對8段男聲女聲分別進(jìn)行基音標(biāo)注，如表1所示。從表1可以看出：使用本文自適應(yīng)算法的正確率都在90%以上;女聲比男生的準(zhǔn)確率低是因?yàn)榕暤念l率高，基音周期點(diǎn)多，情況更復(fù)雜。

另外在實(shí)際操作中還要考慮到運(yùn)算的實(shí)時性，需要用運(yùn)行時間來衡量。以樣本1“中國科學(xué)院”為例，使用自相關(guān)標(biāo)注的運(yùn)行時間是2.6 s;使用小波方法標(biāo)注的運(yùn)行時間是2.7 s;使用本文自適應(yīng)的方法標(biāo)注的運(yùn)行的時間是3.9 s;所以從這個角度來說，本文自適應(yīng)方法的運(yùn)行時間還需要進(jìn)一步縮短。

4 結(jié) 語

本文方法應(yīng)用于TD?PSOLA語音合成基音標(biāo)注中，利用Hilbert?Huang自適應(yīng)的特點(diǎn)對濁音、過渡段進(jìn)行標(biāo)注，拓展了Hilbert?Huang變換的應(yīng)用范圍。實(shí)驗(yàn)證明，相比自相關(guān)方法和小波算法，文中方法基本準(zhǔn)確地檢測出了一整段非平穩(wěn)語音信號的所有基音峰值點(diǎn)。但是在過渡幀，容易出現(xiàn)漏判和誤判，如果進(jìn)一步提高清濁音邊界的判斷，基音標(biāo)注的準(zhǔn)確率還可再提高。

參考文獻(xiàn)

[1] 潘崢嶸，戴芮，張寧.改進(jìn)的基音周期檢測算法研究[J].計算機(jī)工程與應(yīng)用，2015，51（10）：223?226.

PAN Zhengrong， DAI Rui， ZHANG Ning. Improved algorithm for pitch detection [J]. Computer engineering and applications， 2015， 51（10）： 223?226.

[2] 劉志剛.Hilbert?Huang變換及其在電力系統(tǒng)中的應(yīng)用[M].北京：科學(xué)出版社，2015：32?35.

LIU Zhigang. Hilbert?Huang transformation and its application in power system [M]. Beijing： Science Press， 2015： 32?35.

[3] 韓芳，王學(xué)春，靳宗信.基于ACF的基音檢測改進(jìn)算法[J].現(xiàn)代電子技術(shù)，2017，40（19）：71?74.

HAN Fang， WANG Xuechun， JIN Zongxin. Improved pitch detection algorithm based on ACF [J]. Modern electronics technique， 2017， 40（19）： 71?74.

[4] ZEREMDINI J， MESSAOUD M A B， BOUZID A. Multiple comb filters and autocorrelation of the multi?scale product for multi?pitch estimation [J]. Applied acoustics， 2017， 120： 45?53.

[5] 武良丹.基于小波變換與平均幅度差函數(shù)倒數(shù)的基音周期檢測算法[J].科學(xué)技術(shù)創(chuàng)新，2017（31）：114?115.

WU Liangdan. Pitch period detection algorithm based on wavelet transform and average amplitude difference function Reciprocal [J]. Scientific and technological innovation， 2017（31）： 114?115.

[6] 陳盼弟，黃華，何凌.基于自相關(guān)和倒譜法的基音檢測改進(jìn)算法[J].計算機(jī)應(yīng)用與軟件，2015，32（1）：163?166.

CHEN Pandi， HUANG Hua， HE Ling. Improved algorithm for pitch detection based on ACF and CEP [J]. Computer applications and software， 2015， 32（1）： 163?166.

[7] 吳興銓，周金治.基于改進(jìn)小波變換的語音基音周期檢測[J].自動化儀表，2017，38（6）：67?70.

WU Xingquan， ZHOU Jinzhi. Speech pitch period detection based on improved wavelet transform [J]. Process automation instrumentation， 2017， 38（6）： 67?70.

[8] 王晨，章小兵，劉美娟.提升小波加權(quán)自相關(guān)函數(shù)的基音檢測算法[J].應(yīng)用聲學(xué)，2018（2）：201?207.

WANG Chen， ZHANG Xiaobing， LIU Meijuan. Pitch detection based on lifting wavelet transform and weighted autocorrelation [J]. Applied acoustics， 2018（2）： 201?207.

[9] 孫婷婷，章小兵.一種基于小波包變換加權(quán)自相關(guān)的基音檢測算法[J].計算機(jī)工程與科學(xué)，2017，39（8）：1525?1529.

SUN Tingting， ZHANG Xiaobing. A weighted autocorrelation method for pitch detection based on wavelet packet transform [J]. Computer engineering and science， 2017， 39（8）： 1525?1529.

[10] 李德沖.基于改進(jìn)型Hilbert?Huang變換的旋轉(zhuǎn)機(jī)械故障診斷系統(tǒng)設(shè)計[D].天津：天津工業(yè)大學(xué)，2017.

LI Dechong. Design of fault diagnosis system for rotating machinery based on improved Hilbert?Huang transform [D]. Tianjin： Tianjin Polytechnic University， 2017.

[11] 楊振，鄒男，付進(jìn).Hilbert?Huang變換在瞬態(tài)信號檢測中的應(yīng)用[J].聲學(xué)技術(shù)，2015，34（2）：167?171.

YANG Zhen， ZOU Nan， FU Jin. The application of Hilbert?Huang transform in transient signal detection [J]. Technicalacoustics， 2015， 34（2）： 167?171.

[12] 周小龍，劉薇娜，姜振海，等.一種改進(jìn)的Hilbert?Huang變換方法及其應(yīng)用[J].工程科學(xué)與技術(shù)，2017，49（4）：196?204.

ZHOU Xiaolong， LIU Weina， JIANG Zhenhai， et al. An improved Hilbert?Huang transform method and its application [J]. Advanced engineering sciences， 2017， 49（4）： 196?204.

[13] 郭會芹.基于Hilbert?Huang的語音信號去噪算法研究[D].長春：長春理工大學(xué)，2016.

GUO Huiqin. Speech signal denoising algorithm research based on Hilbert?Huang [D]. Changchun： Changchun University of Science and Technology， 2016.

[14] 李樂，王玉英，李小霞.一種改進(jìn)的小波能量熵語音端點(diǎn)檢測算法[J].計算機(jī)工程，2017，43（5）：268?274.

LI Le， WANG Yuying， LI Xiaoxia. An improved wavelet energy entropy algorithm for speech endpoint detection [J]. Computer engineering， 2017， 43（5）： 268?274.