一種改進高斯混合模型均值項的語音轉換方法

趙義正

（合肥電子工程學院，安徽 合肥 230037）

語音轉換是指改變一個說話人（源說話人）的語音個性特征，使之具有另外一個說話人（目標說話人）的語音個性特征。語音轉換技術的主要應用場合包括計算機語音合成、計算機語音翻譯、語音編輯、廣播及多媒體等方面。現階段對語音的轉換主要包含對韻律和譜包絡的轉換。譜包絡轉換方法有很多種，其中以基于高斯混合模型（GMM）[1]的映射方法效果最好，也是當前的主流方法。但是基于GMM的譜包絡轉換存在一個嚴重缺陷，即導致轉換頻譜的過平滑[2-4]。它會造成轉換頻譜的共振峰峰值特性下降，造成轉換語音的聽覺感知特性下降，影響轉換效果。

對于造成過平滑的原因，一種觀點（Toda）[4]認為，過平滑是由GMM模型中的統計平均運算造成的，另一種觀點認為過平滑是由于轉換函數中GMM的協方差估計不準確造成的[5]，參考文獻[6]認為過平滑主要是由于轉換函數中的相關項引起的，并針對相關項進行改進以抑制過平滑現象。

由于GMM轉換的特征可以分為均值項和相關項兩部分，本文研究發現，過平滑產生是由兩者共同導致的，而且均值項的影響更大。因此提出一種基于修正均值的語音轉換方法，可更好地抑制過平滑現象。

1 基于高斯混合模型的語音轉換函數及其分解

基于高斯混合模型的語音轉換方法的轉換函數可表示為：

式（1）可以改寫成以下形式：

2 轉換特征的標準差分析

轉換后的頻譜之所以會出現過平滑現象，是因為轉換特征的離散程度較低，本文采用標準差來度量語音特征的離散度。為了分析均值項和相關項對轉換特征標準差的影響，圖1給出不同特征維數的目標語音、GMM轉換均值項和相關項的標準差分布，圖中GMM-mu表示均值項，GMM-sigma表示相關項。

圖1 不同維數轉換特征標準差

從圖1可見，均值項和相關項的標準差與目標語音特征相比都很小，意味著均值項和相關項都會導致過平滑現象。還可看出，相關項的標準差比均值項的要小，說明相關項的離散程度相對更低，以往文獻就此認為相關項是導致過平滑現象的主要原因。而本文認為，由于該結論沒有考慮到相關項和均值項在轉換函數中所占的比例，因此并不能得出該結論。事實上，相關項在轉換函數中的數值一般都很小[2]。

圖2給出了均值項和相關項的標準差變化對轉換特征標準差的影響。當均值項和相關項各自增加相同比例時，均值項所造成的轉換特征標準差的增加量要明顯大于相關項造成的增加量。而且隨著變化量的增大，差距逐漸增大，這說明均值項標準差的變化對整個轉換特征標準差的影響更大。因此若能減小均值項的標準差就能降低整個轉換特征的標準差，有效抑制過平滑現象。

3 修正均值算法

本文研究發現，碼本映射法所獲得的特征都是來自特征空間，且轉換過程不包含平均化處理，因此轉換特征的離散性更好。本文將其與GMM方法結合起來，先使用碼本映射法對均值項進行修正，然后將修正結果與GMM方法的轉換結果相結合，得到最終轉換結果。由于是對均值項進行修改，所以稱為修正均值法（Rmu-GMM）。整個轉換過程分為訓練和轉換兩個階段。

圖2 均值項和相關項標準差變化比較

訓練階段：

（1）訓練 GMM模型，得到模型參數和式（1）中的轉換函數；

（2）根據模型參數得到用于碼本訓練的均值項，該均值項等于總特征減去它們的相關部分。對齊的源與目標特征 z=[x，y]的均值項為：

（3）對均值項建立碼本映射規則 Fμ，利用統計直方圖建立兩者的加權轉換關系。

轉換階段：

（1）對于要轉換的特征矢量 x，使用 GMM轉換函數式（2）得到轉換特征相關項與均值項如下：

（2）計算得到用于碼本映射的均值項，稱為修正項：

利用訓練階段得到 Fμ的重新對 xμ進行轉換，得到碼本映射法轉換后的均值項：

（3）結合從步驟（1）得到的均值項和相關項，得到最終的轉換函數為：

其中，參數λ用于調節GMM法與碼本映射法所占比重，λ=0時表示僅使用 GMM法，λ=1時表示均值項全由碼本映射轉換所得，且相關項為GMM轉換所得。

4 算法應用流程

采用修正均值法的語音轉換原理如圖3所示。整個轉換過程分為訓練和轉換兩個階段，在訓練階段除了訓練原有轉換函數，還需要為碼本映射法訓練一個碼本映射準則。轉換階段通過轉換函數首先對特征矢量進行轉換，得到均值項、相關項與修正項三部分，利用碼本映射準則對修正項進行轉換，最后通過λ的加權與其他兩部分組成最終的轉換特征。

圖3 采用修正均值法的語音轉換原理框圖

5 實驗結果及其分析

實驗中采用通用語音庫中的語音數據，特征參數為16維LSF矢量，訓練特征為19 282幀，GMM階數為32階，測試特征為4 000幀，協方差矩陣為對角協方差陣，采用Kain的訓練方法。

采用客觀評價法衡量轉換后的譜與目標譜之間的相似性，并采用一種常用的相似度評價標準：

其中，M是LSF矢量的個數，p是LSF階數。m和i表示第 m 幀 LSF 矢 量的第 i維，t（n），t?（n），s（n）分別 為目標語音、轉換后語音和源語音的特征矢量?？陀^評測中，PLSF得分越高，表示轉換頻譜與目標譜越相似。

實驗一：λ的取值

圖4給出了λ的不同取值在各種GMM混合數目下的性能比較。從圖中可見，各混合數目下LSF得分先隨λ的增大而提高，然后又隨著λ的增大而降低。而且，混合數目越少，LSF達到最大值時對應的λ越大。這說明混合數目較少時GMM法的效果不如碼本映射法，需要較大的λ使得碼本映射轉換的部分特征在總體中所占比例較大。隨著GMM階數的提高，達到最大值時所需的λ較小。

實驗二：轉換方法性能比較

表1給出了GMM法、參考文獻[6]中的混合法（mix-GMM）和本文的修正均值法 （Rmu-GMM）這三種方法LSF得分的比較。從表中可見，在各種混合數目下，修正均值法的LSF得分都好于GMM法和混合法，說明修正均值法對總體特征的改善更好。從表1中還可看出，混合數目增加到一定程度后，導致訓練數據出現過適應，性能反而下降。因此在實際應用中，混合數目應根據實際情況確定。

圖4 不同λ值對應的LSF得分

表1 GMM法、mix-GMM與Rmu-GMM的LSF得分比較

基于GMM的語音轉換方法是當前語音轉換采用的主流方法，但其最大不足是導致轉換特征的過平滑，影響轉換效果。本文對此進行了研究，發現GMM轉換函數中的均值項與相關項標準差過小共同導致了過平滑現象，而均值項對轉換特征的過平滑有著更大的影響。為改善均值項標準差，本文提出一種修正均值法，實驗結果表明了該方法相對于其他方法的優越性。該方法可應用于計算機語音合成、計算機語音翻譯、語音編輯、廣播及多媒體等領域。

[1]BENISTY H，MALAH D.Voice conversion using GMM with enhanced global variance[C].INTERSPEECH 2011：669-672.

[2]HELANDER E， VIRTANENT， NURMINENJ， etal.Voice conversion using partial least squares regression[J].IEEE Transactions on Audio， Speech， and Language Processing， 2010， 18（5）： 912-921.

[3]DESAI S， BLACK A W， YEGNANARAYANA B， et al.Voice conversion using artificial neural networks[C].ICASSP 2009：3893-3896.

[4]呂聲，尹俊勛.基于高斯混合模型和殘差預測的說話人轉換系統[J].電聲技術，2004，33（4）：3-4.

[5]Chen Yining，Chu Min.Voice conversion with smoothed GMM and MAP adaption[C].Geneva， Switzerland： Proceedings of Eurospeech.2003：2413-2416.

[6]康永國，雙志偉.基于混合映射模型的語音轉換算法研究[J].聲學學報，2006，31（6）：555-562.