基于優化浮值掩蔽的監督性語音分離

夏莎莎 張學良 梁山

在語音信號處理領域,語音分離是一個重要并且充滿挑戰性的問題.語音分離是指從帶噪的混合語音中分離出感興趣的目標語音,主要應用于魯棒性語音識別(Automatic speech recognition,ASR)、助聽器設計和移動語音通信等方面.按照信號輸入的通道數劃分,語音分離分為單通道語音分離和多通道語音分離,單通道語音分離只利用了時域和頻域的信息,而多通道語音分離利用了時域、頻域和空域的信息,因此單通道語音分離的任務解決起來更為困難[1].本文針對單通道條件下的語音分離技術進行研究.

單通道語音分離技術一直是語音信號處理領域研究的難點,至今已出現許多有價值的分離方法.計算聽覺場景分析(Computational auditory scene analysis,CASA)[2]作為一項重要的語音分離技術,通過模擬人耳對聲音的處理機制來解決語音分離問題.計算聽覺場景分析提出了完成語音分離任務的計算目標,即理想二值掩蔽[3].在計算聽覺場景分析思想的基礎上,語音分離任務可以看作一個分類問題[2],通過將帶噪的混合信號分類為目標語音信號和噪聲信號來解決.具體來講,對每一個語音分離單位(時間頻率單元)作出分類決策,判斷是噪聲主導或目標語音主導.基于這種思想,語音分離問題可以通過監督性學習方法來解決[4],通過學習得到一個從混合信號到目標的映射.監督性語音分離算法的學習模型分為淺層學習模型(例如高斯混合模型、支持向量機等)和深層學習模型(例如深度神經網絡(Deep neural network,DNN)).相對于淺層學習模型,深層學習模型擅長處理高維數據,可以較好地挖掘語音信號上下文信息的時空結構.其中,最典型的深度神經網絡借助其深層非線性結構,可以設計出精細的非線性濾波器.同時作為數據驅動的方法,可以充分學習混合語音和純凈語音之間的復雜的非線性關系.此外,深度神經網絡能學習噪聲的模式,可以很好地抑制一些非平穩噪聲.目前許多針對基于深度神經網絡語音分離技術的研究成果[5?8]已經展示了這項技術的優良性能與研究價值.

對于監督性學習算法,計算目標是一個關鍵問題,對監督性學習算法的性能有著重要影響.一方面,計算目標體現了對真實目標語音的逼近程度;另一方面,不同計算目標估計的難易程度也不同.因此,設計計算目標時,要同時考慮對目標語音的近似程度和計算目標的估計難度.時頻掩蔽作為計算目標,其估計難度較低,而且能有效抑制噪音,提高目標語音的可懂度和感知質量[8?9],作為語音分離系統的前端處理模塊可以明顯提高語音分離性能[10].常用的時頻掩蔽有理想二值掩蔽(Ideal binary mask,IBM)和理想浮值掩蔽(Ideal ratio mask,IRM).IBM 簡易并能有效提高目標語音的可懂度,但通常會產生殘留的音樂噪聲.IRM 是理想二值掩蔽的平滑形式,在純凈語音與噪聲相互獨立的假設條件下對目標語音可懂估計語音質量都有顯著提升.近年來,新的研究表明相位信息有助于提升語音感知質量,復數域上的理想浮值掩蔽(Complex ideal ratio mask,cIRM)[11]同時估計實部和虛部的掩蔽,獲得了分離性能的進一步提升,但同時也增加了目標估計的難度.相敏掩蔽(Phase sensitive mask,PSM)[12]是在目標掩蔽中引入了語音的相位信息,并將計算目標限制在實數域上.我們之前提出的優化浮值掩蔽(Optimal ratio mask,ORM)[13]是對IRM的改進,它考慮到了真實環境中純凈語音與噪聲之間存在著一定相關性,在理論上能夠取得最小均方誤差意義下的最大信噪比增益[14].本文在之前的研究基礎之上[13],首次將ORM作為基于深度神經網絡語音分離系統的計算目標,在算法在多種噪聲環境及信噪比條件下進行了實驗,從語音可懂度和語音質量兩方面進行評估,并與其他幾種時頻掩蔽的分離效果進行了對比分析.結果表明,ORM對目標語音可懂度的提升效果理想,并且對目標語音感知質量的提升要優于其他計算目標.

本文組織結構如下:第1節介紹了基于深度神經網絡的單聲道語音分離系統框架與流程;第2節介紹了ORM的原理;第3節介紹四種用于實驗對比的常用時頻掩蔽;第4節是實驗與結果分析;第5節是總結.

1 基于深度神經網絡的語音分離

本文采用基于深度神經網絡的語音分離的系統框架[4,15].從混合語音信號中提取聲學特征作為神經網絡的輸入,為便于對比,實驗中采用固定特征組[16].混合信號首先通過64通道的伽馬通濾波器組,對每個通道的輸出進行分幀處理后得到時頻單元矩陣(耳蝸譜圖).對得到的時頻單元進行特征提取,得到的特征組包括振幅調制譜(Amplitude modulation spectrogram,AMS),感知線性預測(Relative spectral transform PLP,RASTA-PLP),梅爾頻率倒譜系數(Mel-frequency cepstral coefficient,MFCC)和伽馬通頻率(Gammatone feature,GF).使用自回歸與移動平均(Auto-regressive and moving average model,ARMA)模型[17]來平滑特征的時間軌跡.

其中,C(t)是第t幀的特征向量,是濾波后的特征向量,m是濾波器的階數.我們使用一個二階濾波器(m=2)以獲得低信噪比條件下分離性能的穩定提升.

深度神經網絡的結構包括三個隱層,每層1024個節點,激活函數為線性糾正函數(Rectified linear units,ReLU)[18].網絡訓練采用標準反向傳播算法與Dropout技術[19](丟失率0.2).神經網絡采用隨機初始化權值.自適應梯度下降[20]與一個動量項作為優化手段,前五次迭代動量變化率為0.5,剩余迭代動量變化率為0.9.神經網絡的訓練采用均方誤差作為代價函數,輸出層為線性輸出.訓練目標為帶有上下文信息(前后各兩幀)的計算目標,最終的預測是各幀的平均值,如圖1所示.與預測單幀目標相比,這樣做能夠產生小幅但穩定的性能提升[9].

2 優化浮值掩蔽

傳統的IBM與IRM均是在假設純凈語音與噪聲相互獨立的前提條件下,而ORM考慮了純凈語音與噪聲之間相關性.

對于混合語音信號y(t),x(t)和n(t)分別為純凈語音信號和噪聲信號.

語音分離的目標是從混合信號y(t)中估計得到純凈語音信號x(t).而純凈語音信號的估計可以由離散短時傅里葉變換(Discrete short-time Fourier transform,DSTFT)系數重構得到[21],即

圖1 基于ARMA模型的深度神經網絡Fig.1 ARMA based DNN architecture

求導得到ORM表達式

圖2 純凈語音與噪聲的相關系數Fig.2 Spectral correlation of clean speech and noise

ORM是取值范圍在(?∞,+∞)上的實數,取值范圍較大,本文利用雙曲正切函數對其進行范圍限制.

壓縮后ORM的取值范圍被限制在[?K,K]內,C控制陡度.實驗發現當K=10,C=0.1時神經網絡學習的效果最佳.相應地,對目標信號進行波形合成前需通過下式將信號還原:

其中,O為神經網絡的輸出.圖3為在混合語音信噪比為0dB工廠噪聲環境下計算得到的ORM.

3 其他時頻掩蔽目標

本文選用以下四種時頻掩蔽作為對比對象.假定輸入信號采樣率為16kHz,分析窗長20ms,幀移為10ms.圖4是在混合信號信噪比為0dB工廠噪聲環境下分別計算得到的四種時頻掩蔽.

3.1 傅里葉變換域的理想二值掩蔽(FFT Ideal Binary Mask,IBM_FFT)

計算聽覺場景分析將語音分離的計算目標定義為IBM.IBM_FFT是頻域的IBM.在一個聲音信號的時頻表示上,IBM_FFT是一個二值矩陣,矩陣的兩個維度分別是時間和頻率,其中每個值對應一個時頻單元,取值為1表示目標語音的能量高于背景噪聲的能量,取值為0表示相反的情況.

其中,S(t,f)和N(t,f)分別是目標語音和噪聲在時頻單元(t,f)上的能量,Θ為局部信噪比指標,一般設為0dB.訓練時采用二值目標,測試時使用神經網絡的后驗概率代表純凈語音優勢的概率作為合成的軟掩蔽,這樣可以提高語音分離質量.

圖3 工廠噪聲信噪比0dB條件下的ORMFig.3 ORM with factory noise at 0dB SNR

3.2 傅里葉變換域的理想浮值掩蔽(FFT Ideal Ratio Mask,IRM_FFT)

IRM_FFT是傅里葉域的IRM.IRM_FFT的定義為

其中,S(t,f)和N(t,f)分別代表純凈語音信號和噪聲信號的短時傅里葉變換(Short-time Fourier transform,STFT)系數,Ps(t,f)和Pn(t,f)分別是對應的能量密度,β是可調因子,一般設為0.5.與IBM一樣,IRM假定純凈語音與噪聲相互獨立.IRM-FFT是取值范圍在[0,1]上的實數.

3.3 復數域的理想浮值掩蔽(Complex Ideal Ratio Mask,cIRM)

傳統的語音分離系統通常是作用于帶噪語音的STFT系數上,增強幅值譜,保持相位譜不變.然而近年來有研究表明,相位信息對于語音感知質量同樣具有重要影響[22],基于此結論Williamson等[11]提出了cIRM.cIRM是定義在復數域上的IRM,深度神經網絡經過訓練得到cIRM的實數部分與虛數部分的估計,通過這種方式同時增強幅值和相位譜.

cIRM 的定義:混合信號的STFT系數在經cIRM作用后可得到純凈語音信號的STFT系數,即給出混合信號的復數頻譜Y,可得到純凈語音信號的復數頻譜S,于是有

其中,?定義復數乘法操作,Mt,f代表時間幀為t頻率為f的時頻單元的cIRM.注意到S,M,Y取值均為復數,將其表示為矩陣形式后推導得到cIRM的表達式為

其中,Yr和Sr分別代表Y和S的實部,Yi和Si分別代表Y和S的虛部.注意到cIRM在形式上與維納濾波相似,即都是純凈語音與帶噪語音的交叉能量與帶噪語音的能量譜的復數比值[23].

由于Yr,Sr,Yi,Si的數值都是實數,cIRM的實部與虛部可能會在(?∞,+∞)上取到很大的值.而IRM取值在[0,1]范圍內,便于神經網絡的收斂,cIRM 取值較大會使估計變得困難,因此需采用雙曲正切函數對cIRM進行范圍限制.

3.4 相敏掩蔽(Phase Sensitive Mask,PSM)

使用浮值掩蔽作為計算目標時,重構出的目標信號中帶有混合信號中的相位信息,相位誤差與振幅會相互影響,重構出的信噪最大增益目標信號的振幅與純凈語音的振幅信息是不同的.PSM采用了一個基于包含振幅誤差與相位誤差的復數譜上的相位敏感目標函數.這使得估計出的振幅信息補償了混合信號的相位信息.按照這種思想,PSM表達式為

其中,θ=θs?θy,S與Y分別是純凈語音與帶噪信號的DSTFT系數.PSM取值范圍較大不容易被學習,需采用雙曲正切函數限制取值范圍.

4 實驗設計與分析

4.1 語音與噪聲的分離

4.1.1 實驗設置

實驗采用IEEE語音庫[24]男性說話者720句語音中的600句語音作為訓練集的純凈語音,另外120句語音作為測試集的純凈語音.使用SSN(Speech-shaped noise)噪聲以及來自NOISEX噪音庫[25]的三種噪聲:Factory,Babble,Engine噪音作為訓練集與測試集的噪聲,噪聲時長均為4分鐘,除SSN噪聲外,其他三種噪聲均是非平穩噪聲.實驗中使用的噪聲類型均為加性噪聲,我們通過以下方式得到混合語音信號:從噪聲的前半段中隨機切分出噪聲段與訓練集中的純凈語音疊加,得到信噪比分別為?3dB,0dB,3dB的混合信號,這樣訓練集中共有72000(600個信號×4種噪聲×10次切分×3個信噪比)條混合語音信號.從噪聲的后半段隨機切分出噪聲段與測試集中的純凈語音混合,得到信噪比分別為?3dB,0dB,3dB的混合信號,這樣測試集中共有1440(120個信號×4種噪聲×3個信噪比)條混合語音信號.將噪聲分為前后兩部分分別進行切分保證了訓練階段與測試階段使用的噪聲不同.

神經網絡的輸入采用了四種特征的補充特征集.從混合信號中提取出互補特征后,對其減均值除方差進行歸一化處理.經驗證明將自回歸滑動平均濾波(Auto-regressive and moving average model,ARMA)作用于特征組能夠提升語音識別性能[17],這是因為ARMA濾波平滑每個特征維度來減少背景噪音的干擾.此外,ARMA濾波能夠提升語音的分離效果[26].綜上,我們在均值和方差歸一化后將ARMA濾波作用于特征集.ARMA濾波后當前幀的特征向量是當前幀的前兩個濾波后幀和后兩個未濾波幀的平均.一個窗長5幀(前2幀與后2幀)的上下文窗口將ARMA濾波后特征拼接為特征向量.

4.1.2 實驗結果與分析

語音分離系統以提高分離語音的可懂度和感知質量為目標,本文采用短時客觀可懂度評分(Shorttime objective intelligibility,STOI)[27]和語音質量評估(Perceptual evaluation of speech quality,PESQ)[28]作為評價指標.STOI用來衡量客觀可懂度,短時客觀可懂度代表了短時時間包絡內干凈分離語音的相關度,經證明與人類語音的可懂度評分高度相關.PESQ用來評估客觀語音質量.短時客觀可懂度與語音質量評估都是通過比較純凈語音與目標語音,短時客觀可懂度取值在0～1之間,而語音質量評估取值在?0.5～4.5之間.

表1～3是在混合語音信號信噪比分別為?3dB,0dB,3dB條件下,上述各計算目標在四種噪聲環境下得到的語音分離結果,Mixture代表未經處理的混合語音信號,粗體標示的是每一種噪聲環境下得分最高的計算目標.

IBM和IRM是目前最常用的時頻掩蔽.從表1～3可以看出,IBM 對語音可懂度有一定提升效果,但語音感知質量提升效果不明顯,很多情況下甚至低于混合語音.這是由于IBM具有二值性,會在分離的同時產生音樂噪聲.相對于IBM,IRM對語音可懂度和感知質量均有明顯提升,特別是在語音感知質量方面,IRM相對于IBM提升效果明顯,如在信噪比0dB工廠噪聲環境下,IRM的感知質量相對于IBM和混合信號分別提升了0.86和0.55.

cIRM,PSM,ORM是近年來提出的取值范圍較大的時頻掩蔽,其中cIRM 理論上分離效果最好,從實驗結果看,cIRM對語音可懂度提升效果與IRM相近,語音感知質量相對于IRM提升了0.1左右.cIRM和PSM都考慮了相位信息,cIRM屬于復數域而PSM限制在實數域,從表1～3可以看出,PSM在語音可懂度方面相對于cIRM和混合語音分別提升了1%～2%和12%～22%,提升效果優于其他計算目標,語音感知質量相對于cIRM 提升了0.07～0.19.PSM的分離性能優于cIRM是因為cIRM虛部結構不明顯,不容易被估計,實際分離效果很難達到理論水平.

表2 信噪比0dB噪聲條件下各計算目標性能Table 2 Performance comparisons between various targets on 0dB mixtures

表3 信噪比3dB噪聲條件下各計算目標性能Table 3 Performance comparisons between various targets on 3dB mixtures

實驗結果表明,ORM 對語音可懂度的提升效果總體上與PSM相近,對語音感知質量提升效果優于PSM.從表1觀察到,ORM對語音可懂度提升幅度比PSM低1%,但優于其他計算目標;在語音感知質量方面,在SSN,Engine,Factory噪聲條件下ORM效果最好,比混合語音提升了0.81～1.07,比PSM提升了0.05～0.07,在Babble噪聲條件下,PSM比ORM高0.05.當混合語音信噪比為0dB,對于語音可懂度,在SSN噪聲條件下ORM比PSM低1%,其他噪聲條件下ORM與PSM性能相近;對于語音感知質量,在四種噪聲條件下ORM 提升效果其他計算目標,比混合語音提高了0.6～1.1.表3中,在Engine噪聲條件下ORM 語音可懂度比PSM低1%,其他噪聲條件下ORM與PSM得分相同;語音感知質量方面,四種噪聲條件下ORM效果最優.總體上講,ORM分離效果優于其他四種計算目標.ORM在浮值掩蔽基礎上考慮了純凈語音與噪聲相關性,而PSM考慮了相位信息.ORM總體表現優于PSM,可能是因為純凈語音與噪聲間的相關性比語音信號的相位信息對語音分離效果影響更大,還原出的目標信號更加逼近真實目標語音.

圖5展示了來自IEEE語音庫的一條純凈語音與其在Babble噪聲條件下3dB的混合語音的STFT頻譜圖,以及將IBM_FFT,IRM_FFT,cIRM,ORM,PSM分別作為計算目標分離得到目標語音的STFT頻譜圖.從圖5可看出,IBM_FFT保留了純凈語音的頻譜時間調制模式,這對于語音可懂度是必不可少的,但丟失了很多信息.cIRM和ORM 具有更為清晰的端點和更分明的頻譜過渡.ORM和PSM對于語音能量聚集的低頻區域預測效果較好.cIRM對中高頻信號能量保留效果較好,但有一定殘留噪聲.在視覺上,ORM與PSM預測結果相似,都保留了重要的調制模式及結構.

4.2 不同人聲的分離

4.2.1 實驗設置

實驗采用兩個不同說話人語音數據,一種作為目標語音,另一種作為干擾語音.采用IEEE語音庫男性說話者720句語音中的600句語音作為訓練集的目標語音,另外120句語音作為測試集的目標語音.采用IEEE語音庫女性說話者720句語音中的160句作為干擾語音.通過以下方式得到混合語音信號:將160句干擾語音分為各80句的兩個部分,從第一部分中隨機切分出語音段與訓練集中目標語音疊加,得到信噪比分別為?3dB,0dB,3dB的混合信號,這樣訓練集中共有18000(600個信號×10次切分×3個信噪比)條混合語音信號;從第二部分中隨機切分出語音段與測試集中目標語音疊加,得到信噪比分別為?3dB,0dB,3dB的混合信號,這樣測試集中共有360(120個信號×3個信噪比)條混合語音信號.

實驗使用的特征組和神經網絡的網絡結構及參數設置均與之前的實驗相同.

4.2.2 實驗結果與分析

表4是在混合語音信號信噪比分別為?3dB,0dB,3dB條件下,利用上述各計算目標得到的不同人聲分離結果.從表4可以看出,在三種信噪比條件下,各計算目標性能高低情況一致.對于語音可懂度,各計算目標均有理想的提升效果并且性能相近,其中PSM 與ORM性能最佳,相對于混合信號提升了20%～25%.在語音質量方面,ORM的性能優于其他計算目標,相對于混合信號提升了0.96～1.07.總體上,對不同人聲的分離,ORM的分離效果優于其他幾種計算目標.這個實驗結果與語音和噪聲分離的實驗結果基本一致.

圖6展示了不同人聲語音分離結果的STFT頻譜圖,混合語音是將來自IEEE語音庫的女性說話人語音作為干擾語音,同時男性說話人語音作為目標語音,在信噪比0dB下混合語音信號的頻譜圖,純凈語音為該混合語音中男性說話人的純凈語音頻譜圖,IBM_FFT,IRM_FFT,cIRM,ORM,PSM分別表示采用各訓練目標分離得到目標語音的頻譜圖.從圖6可以看出,相比于IRMFFT和cIRM,ORM與PSM有更為清晰的端點和更分明的頻譜過渡,沒有過多的噪聲殘留.ORM和PSM都保留了重要的頻譜結構,而ORM的預測結果更接近純凈語音.

圖5 Babble噪聲信噪比3dB條件下由各個計算目標分離出目標語音的頻譜圖Fig.5 STFT magnitudes of a separated speech using different training targets.The mixture here is an IEEE male utterance mixed with the Babble noise at 3dB

圖6 0dB條件下男女聲分離頻譜圖Fig.6 STFT magnitudes of a separated speech using different training targets.The mixture here is an IEEE male utterance mixed with an IEEE female utterance at 0dB

表4 各計算目標對不同人聲的分離結果Table 4 Performance comparisons between various targets on separation of different speakers

5 結束語

對于監督性語音分離算法,計算目標對分離算法的性能有著重要影響.IBM和IRM是目前最常用的時頻掩蔽目標,其中IBM對語音可懂度有一定提升,但不能提升語音感知質量.IRM在假設純凈語音與噪聲相互獨立的條件下,對語音可懂度和感知質量都有一定程度的提升.近年來新的研究表明,相位信息對語音分離性能有重要影響,基于此提出了cIRM和PSM.cIRM理論上分離效果最好,但其虛部結構不明顯,不容易被學習.PSM對語音可懂度和感知質量都有顯著提升,分離性能優于其他計算目標.本文采用我們之前提出的ORM,考慮了純凈語音與噪聲間的相關性,實驗結果表明ORM對語音感知質量的提升效果最優,對語音可懂度提升能力與PSM相近.總體上,ORM語音分離效果優于其他四種計算目標.說明真實環境中噪聲與純凈語音間確實存在一定的相關性,并且相對于語音信號的相位信息,噪聲與純凈語音間的相關性信息更有利于提升語音分離的性能.據此,我們認為對純凈語音與噪聲間的相關性分析,以及如何更好地估計這種相關性,可能會成為今后監督性語音分離中計算目標研究的一個新方向.