基于廣義回歸神經網絡的面罩語音矯正研究

王霞+劉婕+王光艷+王蒙軍

摘 要： 為了提高面罩語音的清晰度和可懂度，提出一種基于廣義回歸神經網絡（GRNN）對線譜對（LSP）參數進行非線性建模的面罩語音矯正方法。分別提取正常語音和面罩語音的LSP參數，其次利用LSP參數對GRNN進行訓練，得到矯正模型，將面罩語音的LSP參數通過矯正模型進行修正，并將結果作為參數用來合成新的語音。實驗結果表明，利用GRNN訓練出的矯正模型能夠有效地調整面罩語音的LSP參數，在一定程度上能夠恢復其頻譜分布。

關鍵詞： 面罩語音； 線譜對； 廣義回歸神經網絡； 語音合成

中圖分類號： TN912.3?34 文獻標識碼： A 文章編號： 1004?373X（2017）17?0060?04

Research on mask speech correction based on generalized regression neural network

WANG Xia1， LIU Jie1， WANG Guangyan2， WANG Mengjun1

（1. School of Electronics and Information Engineering， Hebei University of Technology， Tianjin 300401， China；

2. School of Information Engineering， Tianjin University of Commerce， Tianjin 300401， China）

Abstract： In order to improve the clarity and intelligibility of mask speech， a mask speech correction method based on generalized regression neural network （GRNN） for nonlinear modeling of line spectrum pair （LSP） parameters is proposed. The LSP parameters of normal speech and mask speech are extracted respectively， and then used to train GRNN to obtain the correction model. The LSP parameters of mask speech are modified based on the correction model， and its results are used as parameters for new speech synthesis. The experimental results show that the correction model trained by GRNN can adjust the LSP parameters of the mask speech effectively， and recover the spectral distribution of the mask speech to a certain extent.

Keywords： mask speech； LSP； GRNN； speech synthesis

0 引 言

消防員在佩戴防毒面具的情況下，由于面罩體積小和封閉的物理特性，發出的聲音通過面罩后變得發悶，帶有鼻音色彩和嗚嗚聲，稱之為“面罩語音”。面罩語音給人們的救援行動帶來了交流上的阻礙，由此出現了矯正面罩語音這一課題。

國內外針對面罩語音的研究較少，但其他類型的畸變語音（如氦語音、耳語音）的轉換方法同樣具有參考價值。在處理畸變語音的過程中，以合成語音模型為出發點，重點研究如何修正特征參數。文獻[1?2]利用線性預測模型恢復耳語音和氦語音。之后，人們為了使重建的語音更貼近實際語音，開始研究用各種非線性的方法來修正特征參數。文獻[3?4]嘗試用神經網絡對語音特征參數進行非線性建模。文獻[5]為了使矯正后的頻譜分布和共振峰帶寬更加符合語音實際轉換的非線性要求，加入擴展因子的雙線性變換函數分段處理耳語音的頻譜。文獻[6]提出一種完全參數化的雙線性頻率翹曲與振幅縮放結合的語音轉換方法，較傳統基于高斯混合模型的方法，轉換的語音質量有了顯著改善。文獻[7]以正常語音的頻譜包絡為轉換目標，將受限玻爾茲曼機作為譜估計模型，利用深度學習技術重建語音，實驗結果表明，深度學習技術能提高重建語音的質量。

本文選擇在合成語音模型中更為強健的LSP作為特征參數，利用具有強大非線性學習能力的GRNN模型對LSP進行修正。

1 面罩語音特性

面罩語音的產生是由于聲音在面罩腔體內傳播時發生了吸波、反射、共振等現象。本文從時域波形、短時能量、基音周期以及短時頻譜方面綜合觀察面罩語音的特性。

選用樣本語音“語音信號增強”，分別在正常環境下和佩戴封閉式面罩的條件下錄取正常語音和面罩語音。圖1，圖2是正常語音和面罩語音的時域分析和頻域分析的對比，其中，圖2用到的濁音幀和清音幀均從樣本語音中選取。

為了更好地研究面罩語音，將其特點歸結如下：

（1） 基音頻率不變。從時域波形和短時能量可以明顯看出面罩語音的有話段和無話段界限，并且與正常環境下的語音一致。從基音周期的對比中可以看出，面罩語音的基音頻率幾乎保持不變。

（2） 低頻分量增加，高頻分量減少。短時能量的下降解釋了面罩語音在聽覺上變得發悶的原因。從濁音幀和清音幀的頻譜分析中可以看出頻譜分量重新分配的特點是低頻分量增加，高頻分量減少。endprint

2 語音特征參數的提取

2.1 線譜對分析

線譜對（Line Spectrum Pair，LSP）是線性預測（LPC）系數在頻域中的另一種表達，也同樣包含了共振峰中心頻率和帶寬的信息，因此，可以通過調整LSP參數達到矯正語音的目的。其次，LSP小的系數偏差帶來的譜誤差只是局部的，能夠確保合成濾波器的穩定性。

2.2 LSP參數的求解

設階線性預測合成濾波器為：

（1）

線性預測逆濾波器的階對稱和反對稱實系數多項式如下：

（2）

（3）

設的零點為的零點為且滿足：

（4）

由式（1）～式（3）可得：

（5）

（6）

最后求出的和則是與LSP參數對應的線譜頻率（Line Spectrum Frequency，LSF），它們決定于已知的LPC系數。

聲道幅度譜的特性在一定程度上可以通過LSP參數來反映，在參數分布集中的地方幅度大，反之較小。一對通常代表一個共振峰，在調整某個LSF參數時，對應的頻譜只在附近與原始語音頻譜有差異，而在其他頻域變化很小[8]。這一性質為選擇LSP作為修正參數和重建語音參數提供了理論基礎。

3 基于GRNN神經網絡的LSP參數矯正模型

3.1 GRNN神經網絡

實際上，人的發音過程是十分復雜的，是非線性的。廣義回歸神經網絡（Generalized Regression Neural Network，GRNN）是由徑向基神經元和線性神經元組合而成的四層前向神經網絡，具有很強的非線性映射能力和高度的容錯性。相較BP和RBF神經網絡，GRNN的逼近能力和學習速度有更強的優勢，并且結果是全局收斂的，在樣本數據較少時，預測結果也較好[9]。

GRNN由四層神經元構成，分別為輸入層、模式層、求和層和輸出層。其中輸入層神經元的數目等于學習樣本中輸入向量的維數，即單樣本LSP的階數；模式層神經元數量與學習樣本數量相同，即取決于有多少幀LSP樣本，模式層傳遞函數為徑向基函數，常用的是高斯函數；求和層中使用兩種神經元分別進行相應算法的求和；輸出層將求和層的兩個結果相除，得到預測值。

GRNN模型的Matlab構建代碼為net=newgrnn（SPREAD）。其中，和分別為輸入向量、目標向量，SPREAD為徑向基函數的擴展系數。SPREAD值越小，網絡對樣本的逼近性能越強；系數值越大，逼近過程越光滑，但同時也會加大計算上的難度，可人為調節讓網絡達到最佳性能，針對本文的樣本，選擇最優SPREAD=0.2。

3.2 矯正模型的構建

本文引入GRNN模型構建面罩語音LSP參數的非線性矯正模型，進而恢復面罩語音。

訓練模型的流程圖如圖3所示，具體步驟如下：

（1） 對面罩語音和正常語音分別做預處理、端點檢測，找出有話段語音；

（2） 提取面罩語音和正常語音的LPC參數并轉換為LSP；

（3） 通過動態時間規整網絡，將LSP參數規整為統一幀數；

（4） 將面罩語音的LSP參數作為GRNN模型的輸入樣本，將正常語音的LSP參數作為GRNN模型的期望輸出樣本，試驗并設置最佳模型參數，訓練模型。

將面罩語音的LSP參數通過訓練好的面罩語音矯正模型得到矯正后的LSP參數，通過LSP參數合成濾波器重建語音，如圖4所示。

4 實驗過程和結果分析

在正常環境下錄取若干純凈語音，在佩戴封閉式防毒面具的條件下錄取對應的面罩語音，將這些正常語音和面罩語音作為實驗樣本。選用自錄單漢字語音作為實驗語音樣本，采樣頻率均為8 000 Hz，幀長為30 ms，幀移為10 ms，LSP階數為10，并且選取窗長為256點的漢明窗分析語音。

10個正常語音樣本經過動態時間規整后，得到400幀LSP參數，一幀包含10個LSF，將它們作為訓練模型的輸入，對應的面罩語音樣本經過同樣的處理作為輸出。通過圖5可以看出，矯正后LSP參數更接近正常值。

圖6是語音“受”的正常語音、面罩語音以及用本文方法矯正后語音的語譜圖。對比語譜圖可以看出，矯正后語音的頻譜分布發生改變，高頻分量部分適當增加，低頻分量部分適當減少。

用語音質量客觀評價方法來評判本文方法對面罩語音是否有矯正作用。分別計算矯正前、后語音與正常語音之間的對數譜距離（Log Spectral Dstance，LSD），計算結果取平均由1.756降低到1.522，表明矯正后語音的頻譜與正常語音的頻譜更相近。對數似然比測度（Log Likelihood Ratio Measure，LLR）也是一種頻譜距離的計算，主要強調對頻譜包絡相似度的評判，通過計算取平均的過程得出LLR從1.431降低到0.866，表明矯正后頻譜相似度提高，而在利用BP神經網絡模型構建矯正模型的實驗結果中，LLR僅降低到0.918。在收斂速度上，本文的方法也更快，僅需要10.9 s，而利用BP神經網絡模型的矯正方法需要150 s。

從結果分析中可以得出，利用GRNN模型調整LSP參數的方法不但可以有效得到矯正面罩語音，而且在效果和速度上都有一定的優勢。

5 結 語

本文以探索面罩語音的語音特性為起點，研究面罩語音的畸變規律，引入GRNN模型作為研究的工具。從語音質量客觀評價方法的比較中可以看出，矯正后語音的頻譜相似度明顯提高。從語譜圖上也可以看出，利用本文方法可以在一定程度上改變面罩語音的頻譜分布，但是矯正后語音的頻譜出現了誤差分量。最優的實驗樣本需要正常語音與畸變語音嚴格一致，包括聲調、語速、音調等，但是由于客觀條件，錄音時并不是同時進行，本文方法是應對動態規整實現這一需求，但對于后續合成語音并不是最佳的解決方式，并不能使本文方法的有效性達到最大化，這也是實驗中出現誤差的根本原因，歸根結底，研究并發現面罩語音的畸變規律才是解決面罩語音的根源，也是未來研究工作中的首要任務。endprint

參考文獻

[1] MORRIS R W， CLEMENTS M A. Reconstruction of speech from whispers [J]. Medical engineering & physics， 2002， 24（7）： 515?520.

[2] 張勇，趙曉群.基于線性預測模型的氦語音增強算法研究[J].聲學技術，2007，26（1）：111?116.

[3] 韓韜，陶智，顧濟華，等.基于BP神經網絡的耳語音轉換為正常語音的研究[J].通信技術，2009（2）：152?155.

[4] TAO Z， TAN X D， HAN T， et al. Reconstruction of normal speech from whispered speech based on RBF neural network [C]// Proceedings of 2010 the Third International Symposium on Intelligent Information Technology and Security Informatics. Jian， China： IEEE， 2010： 374?377.

[5] 陶智，趙鶴鳴，談雪丹，等.采用擴展型雙線性變換法將耳語音轉換為正常語音的研究[J].聲學學報，2012，37（6）：651?658.

[6] ERRO D， NAVAS E， HERNAEZ I. Parametric voice conversion based on bilinear frequency warping plus amplitude scaling [J]. IEEE transactions on audio speech & language processing， 2013， 21（3）： 556?566.

[7] LI J J， MCLOUGHLIN I V， DAI L R， et al. Whisper?to?speech conversion using restricted Boltzmann machine arrays [J]. Electronics letters， 2014， 50（24）： 1781?1782.

[8] 宋知用.Matlab在語音信號分析與合成中的應用[M].北京：北京航空航天大學出版社，2013.

[9] 賈義鵬，呂慶，尚岳全.基于粒子群算法和廣義回歸神經網絡的巖爆預測[J].巖石力學與工程學報，2013，32（2）：343?348.endprint