基于DNN的子空間語(yǔ)音增強(qiáng)算法

賈海蓉，王 棟，郭 欣

(太原理工大學(xué) 信息工程學(xué)院，太原 030024)

?

基于DNN的子空間語(yǔ)音增強(qiáng)算法

賈海蓉，王 棟，郭 欣

(太原理工大學(xué) 信息工程學(xué)院，太原 030024)

針對(duì)噪聲的隨機(jī)性和突變性，使得傳統(tǒng)算法抑制非平穩(wěn)噪聲比抑制平穩(wěn)噪聲難度增大的問(wèn)題,提出了一種基于深度神經(jīng)網(wǎng)絡(luò)的子空間語(yǔ)音增強(qiáng)算法。該算法利用帶噪的語(yǔ)音信號(hào)數(shù)據(jù)訓(xùn)練一組深度神經(jīng)網(wǎng)絡(luò)語(yǔ)音生成型模型(DNN訓(xùn)練模型);在測(cè)試增強(qiáng)階段根據(jù)噪聲估計(jì)和DNN模型去除非平穩(wěn)噪聲;最后,通過(guò)信號(hào)子空間在抑制噪聲和減少信號(hào)失真上做出較為折中的選擇重構(gòu)語(yǔ)音信號(hào)。實(shí)驗(yàn)結(jié)果表明,基于深度神經(jīng)網(wǎng)絡(luò)的子空間語(yǔ)音增強(qiáng)算法對(duì)非平穩(wěn)噪聲有非常強(qiáng)的抑制能力,通過(guò)STOI和PESQ值反映了在低信噪比下,該算法可以提高增強(qiáng)語(yǔ)音的可懂度。

語(yǔ)音增強(qiáng)；信號(hào)子空間；深度神經(jīng)網(wǎng)絡(luò)；非平穩(wěn)噪聲；噪聲估計(jì)

在實(shí)際的語(yǔ)音通信系統(tǒng)中,語(yǔ)音信號(hào)不可避免地要受到噪聲信號(hào)的干擾[1]。語(yǔ)音增強(qiáng)是消除噪聲干擾、解決噪聲污染的一種有效的方法。其方法大體分為4類(lèi):噪聲對(duì)消法[2]、諧波增強(qiáng)法[3]、基于語(yǔ)音生成模型的增強(qiáng)算法和基于短時(shí)譜估計(jì)的增強(qiáng)算法。傳統(tǒng)的增強(qiáng)算法比如信號(hào)子空間算法的關(guān)鍵環(huán)節(jié)是噪聲估計(jì),但是在時(shí)域去噪過(guò)程中由于噪聲的隨機(jī)性和突變性使得抑制非平穩(wěn)噪聲比抑制平穩(wěn)噪聲難度要大得多,從而導(dǎo)致算法的結(jié)果不穩(wěn)定。

筆者引入深度神經(jīng)網(wǎng)絡(luò)[4](Deep Neural Network,DNN),DNN的深度非線(xiàn)性結(jié)構(gòu)使得其可以充分學(xué)習(xí)帶噪語(yǔ)音和干凈語(yǔ)音之間的復(fù)雜的非線(xiàn)性關(guān)系。首先利用帶噪的語(yǔ)音信號(hào)數(shù)據(jù)訓(xùn)練一組深度神經(jīng)網(wǎng)絡(luò)語(yǔ)音生成型模型(DNN訓(xùn)練模型)。然后在測(cè)試增強(qiáng)階段根據(jù)噪聲估計(jì)和DNN模型去除非平穩(wěn)噪聲,再通過(guò)信號(hào)子空間在抑制噪聲和減少信號(hào)失真上做出較為折中的選擇重構(gòu)語(yǔ)音信號(hào)。實(shí)驗(yàn)結(jié)果表明聯(lián)合DNN的去噪方法系統(tǒng)對(duì)非平穩(wěn)噪聲有非常強(qiáng)的抑制能力,大大提高了語(yǔ)音可懂度。

1 基于信號(hào)子空間的語(yǔ)音增強(qiáng)

帶噪語(yǔ)音信號(hào)的向量空間可以分成一個(gè)信號(hào)加噪聲子空間和一個(gè)噪聲子空間。信號(hào)子空間[5-7]語(yǔ)音增強(qiáng)方法的基本思想就是將帶噪語(yǔ)音信號(hào)投影到信號(hào)子空間(包含語(yǔ)音信號(hào)和噪聲,其中語(yǔ)音信號(hào)占主要部分)和噪聲子空間,然后盡可能的濾除噪聲子空間,并保留信號(hào)子空間的信號(hào)部分,進(jìn)而恢復(fù)出近似純凈的語(yǔ)音信號(hào)。

定義一個(gè)純凈信號(hào)x的模型,設(shè)x是一個(gè)k維零均值隨機(jī)向量:

(1)

x=VS.

假設(shè)n為加性噪聲信號(hào),那么帶噪語(yǔ)音y就可以表示為:

(2)

(3)

(4)

(5)

(6)

式中:εx和εd分別表示語(yǔ)音信號(hào)的失真和殘留噪聲。相應(yīng)的能量分別為

(7)

求解時(shí)域約束條件方程就可得到優(yōu)化的線(xiàn)性估計(jì)器。時(shí)域約束條件方程為

(8)

(9)

式中，μ是拉格朗日乘子利用特征值分解。式(8)可以重新寫(xiě)為:

(10)

2 深度神經(jīng)網(wǎng)絡(luò)的基本原理

深度神經(jīng)網(wǎng)絡(luò)一般是指隱藏層層數(shù)大于等于3的隱藏層[8],而且隱藏層節(jié)點(diǎn)數(shù)一般在1 000點(diǎn)以上的。圖1給出了深度神經(jīng)網(wǎng)絡(luò)的統(tǒng)一框架示意圖,輸入的一般是語(yǔ)音/圖像/視頻的特征,隱藏層的各個(gè)節(jié)點(diǎn)處的激活函數(shù)都是非線(xiàn)性函數(shù),比如sigmoid函數(shù)或整流的線(xiàn)性單元函數(shù)[9],而輸出層的激活函數(shù)可以是線(xiàn)性的。

圖1 深度神經(jīng)網(wǎng)絡(luò)統(tǒng)一框架示意圖Fig.1 Unified framework diagram of deep neural network

圖2 基于受限玻爾茲曼機(jī)的初始化示意圖Fig.2 Diagram of restricted boltzmann machine initialization

玻爾茲曼機(jī)(BoltzmannMachine,BM)是一個(gè)基于能量函數(shù)定義的物理模型[10-11],一般有2層,分別為可見(jiàn)層和隱層。如圖2所示基于受限玻爾茲曼機(jī)(RestrictedBoltzmannMachine,RBM)的初始化,Hinton在2006年提出用多個(gè)RBM疊加成一個(gè)深度網(wǎng)絡(luò)結(jié)構(gòu),以此作為深度神經(jīng)網(wǎng)絡(luò)在有監(jiān)督訓(xùn)練時(shí)的初始網(wǎng)絡(luò)權(quán)重,可防止它陷入局部最優(yōu)。利用DNN的深度結(jié)構(gòu)以及非線(xiàn)性模擬能力,可以充分學(xué)習(xí)帶噪語(yǔ)音和干凈語(yǔ)音之間的復(fù)雜的相互作用關(guān)系。

現(xiàn)設(shè)定RBM的可見(jiàn)層為v,而隱藏層為h,RBM的可見(jiàn)層和隱藏層的聯(lián)合概率可以定義如下所示:

(11)

式中：E是能量函數(shù)；Z是歸一化的常量，Z=∑x,ye-E(x,y);p(v,h)遵從概率的框架。如果v和h都是二值分布,那么它就是Bernoulli-BernoulliRBM,能量函數(shù)E(v,h)的定義如下:

(12)

式中：bv,bh分別是v,h的偏置向量；Wvh是連接可見(jiàn)層和隱藏層之間的權(quán)重。而如果ν是實(shí)數(shù),比如語(yǔ)音特征,h是二進(jìn)制的,那么這個(gè)RBM就是高斯-Bernoulli RBM,它的能量函數(shù)的定義如下:

(13)

而一般第二個(gè)或更上面的RBM都是Bernoulli-Bernoulli RBM,對(duì)比散度(Contrastive Divergence,CD)算法[11]被用來(lái)訓(xùn)練每一個(gè)RBM,而第一個(gè)RBM的輸出作為第二個(gè)RBM的輸入,以此逐層貪婪式地初始化所有的網(wǎng)絡(luò)權(quán)重。需要注意的是這個(gè)過(guò)程是無(wú)監(jiān)督的。

3 基于DNN的子空間增強(qiáng)算法

3.1 基于DNN的子空間增強(qiáng)原理

為了解決以信號(hào)子空間為代表的傳統(tǒng)算法在去噪過(guò)程中由于噪聲的隨機(jī)性和突變性,單純的噪聲估計(jì)難以去除非平穩(wěn)噪聲的問(wèn)題提出了基于深度神經(jīng)網(wǎng)絡(luò)的信號(hào)子空間語(yǔ)音增強(qiáng)算法。在實(shí)驗(yàn)中首先利用帶噪語(yǔ)音信號(hào)數(shù)據(jù)訓(xùn)練一組深度的基于受限玻爾茲曼機(jī)的生成型模型(DNN訓(xùn)練模型)。然后在測(cè)試增強(qiáng)階段,根據(jù)噪聲估計(jì)和DNN可以充分學(xué)習(xí)帶噪語(yǔ)音和干凈語(yǔ)音之間的復(fù)雜關(guān)系的能力以達(dá)到去除非平穩(wěn)噪聲的目的;再通過(guò)信號(hào)子空間在抑制噪聲和減少信號(hào)失真上做出較為折中的選擇重構(gòu)語(yǔ)音信號(hào)。實(shí)驗(yàn)結(jié)果表明基于深度神經(jīng)網(wǎng)絡(luò)的子空間語(yǔ)音增強(qiáng)算法系統(tǒng)對(duì)非平穩(wěn)噪聲有非常強(qiáng)的抑制能力。

綜上所述,整個(gè)算法的基本框架如圖3所示，算法具體步驟如下:

圖3 改進(jìn)的語(yǔ)音增強(qiáng)框圖Fig.3 Diagram of improved speech enhancement

1) 在訓(xùn)練階段,首先利用帶噪語(yǔ)音信號(hào)數(shù)據(jù)訓(xùn)練一組深度神經(jīng)網(wǎng)絡(luò)語(yǔ)音生成型模型(DNN訓(xùn)練模型)。在本實(shí)驗(yàn)中采用863語(yǔ)音庫(kù)中的30句語(yǔ)音和noise-92語(yǔ)音庫(kù)的4種常見(jiàn)噪聲類(lèi)型(car,train,F16,destroyer engine)做訓(xùn)練,采樣頻率8 kHz .本文訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)用以學(xué)習(xí)從帶噪語(yǔ)音信號(hào)到純凈語(yǔ)音信號(hào)的頻譜映射,學(xué)習(xí)過(guò)程如圖4所示。

圖4 基于DNN的語(yǔ)音增強(qiáng)過(guò)程Fig.4 Process of speech enhancement based on DNN

文章中DNN包括3個(gè)隱藏層,每個(gè)訓(xùn)練樣本的輸入是在一個(gè)窗口時(shí)間幀的對(duì)數(shù)量級(jí)頻譜圖Y(m) .輸入單元的數(shù)目等同于特征向量的維度。輸出是在當(dāng)前時(shí)間幀的對(duì)數(shù)量級(jí)頻譜圖Y(m),對(duì)應(yīng)161個(gè)輸出單元,每個(gè)隱藏層包含1 600個(gè)隱藏單元。

3) 由于語(yǔ)音失真能量和殘留噪聲能量不可能同時(shí)達(dá)到最小,為保證信號(hào)不發(fā)生較大的失真,在使用信號(hào)子空間算法時(shí)選擇合適的拉格朗日乘子而使語(yǔ)音信號(hào)失真最小是語(yǔ)音增強(qiáng)的根本目的,因此需要盡可能地將殘留噪聲限制在某范圍之內(nèi)。

3.2 實(shí)驗(yàn)仿真

為了驗(yàn)證基于深度神經(jīng)網(wǎng)絡(luò)的子空間語(yǔ)音增強(qiáng)算法,設(shè)計(jì)了一組實(shí)驗(yàn)。實(shí)驗(yàn)訓(xùn)練階段采用的是863語(yǔ)音庫(kù)和noise-92語(yǔ)音庫(kù)訓(xùn)練,測(cè)試階段是在經(jīng)常出現(xiàn)非平穩(wěn)因素的建筑噪聲背景下進(jìn)行,采樣頻率8kHz.改進(jìn)算法(b)與傳統(tǒng)單獨(dú)使用信號(hào)子空間算法(a)對(duì)非平穩(wěn)噪聲處理后的語(yǔ)譜圖進(jìn)行對(duì)比如圖5所示。

圖5 對(duì)建筑噪聲的處理效果對(duì)比Fig.5 Comparison of results about two methods

從圖5(a)中可以看出,信號(hào)子空間算法很難將非平穩(wěn)噪聲去除,從橢圓圈出來(lái)的區(qū)域可以看出還是殘留大量噪聲。這是因?yàn)榉瞧椒€(wěn)噪聲的突變性,信號(hào)子空間在噪聲估計(jì)的時(shí)候很難估計(jì)非平穩(wěn)噪聲。從圖5(b)中可以看出,基于深度神經(jīng)網(wǎng)絡(luò)的子空間增強(qiáng)算法有效地消除了非平穩(wěn)噪聲,但是依然留有少量殘差噪聲,這些噪聲非常接近高斯白噪聲。基于DNN的信號(hào)子空間語(yǔ)音增強(qiáng)算法對(duì)非平穩(wěn)噪聲處理優(yōu)良的效果是因?yàn)镈NN可以充分學(xué)習(xí)帶噪語(yǔ)音和純凈語(yǔ)音的非線(xiàn)性關(guān)系。如若噪聲的能量大于語(yǔ)音的能量,信號(hào)子空間算法很可能丟失大量語(yǔ)音信號(hào),然而改進(jìn)算法也可以把被噪聲淹沒(méi)的大部分語(yǔ)音信號(hào)分離出來(lái)。

信噪比(SNR)和PESQ評(píng)價(jià)了重構(gòu)語(yǔ)音的質(zhì)量,短時(shí)客觀可懂度(STOI)反映了增強(qiáng)的語(yǔ)音的可懂度。本文在帶噪語(yǔ)音信噪比分別為-10,-5,0,5,10和20dB情況下測(cè)得信號(hào)子空間算法和基于DNN的子空間算法的PESQ值和STOI值對(duì)比圖6,圖7.

由圖6可以看出兩種算法的PESQ值在不同信噪比下差異不大,但是改進(jìn)算法的語(yǔ)音質(zhì)量仍然優(yōu)于信號(hào)子空間算法。圖7表明改進(jìn)算法在低SNR下短時(shí)客觀可懂度明顯優(yōu)于信號(hào)子空間算法。可懂度在低SNR下顯得尤其重要。因?yàn)樵诘蚐NR下,有時(shí)候并不期望能提高多少語(yǔ)音質(zhì)量,而是期望帶噪語(yǔ)音的內(nèi)容可以被用戶(hù)很好地聽(tīng)懂和理解。

圖6 不同信噪比下兩種算法的PESQ值對(duì)比Fig.6 Comparison of PESQ about two methods under different SNR values

圖7 不同信噪比下兩種算法的STOI值對(duì)比Fig.7 Comparison of STOI about two methods under different SNR values

4 總結(jié)

為了解決信號(hào)子空間等傳統(tǒng)算法難以去除非平穩(wěn)噪聲的語(yǔ)音增強(qiáng)問(wèn)題,提出了基于DNN的信號(hào)子空間語(yǔ)音增強(qiáng)算法。從仿真結(jié)果可以看出,本文改進(jìn)的算法明顯比單獨(dú)使用子空間算法去除非平穩(wěn)噪聲效果好。并且在低信噪比下不期望提高語(yǔ)音質(zhì)量的情況下,通過(guò)STOI和PESQ值驗(yàn)證了改進(jìn)算法與信號(hào)子空間算法相比,改進(jìn)算法可以使帶噪語(yǔ)音的內(nèi)容能被用戶(hù)很好地聽(tīng)懂和理解。

[1]YANGLichun,YEMinchao.Speechenhancementbasedonmulti-tasksparserepresentationfordualsmallmicrophonearrays[J].JournalonCommunications,2014,35(2):87-94.

[2] 張培玲,劉橋,劉宇紅.基于小波變換的雙通道語(yǔ)音增強(qiáng)[J].貴州大學(xué)學(xué)報(bào)(自然科學(xué)版),2004,21(2):140-143.

[3] 齊翠麗,付煒.基于小波閾值法和模極大值法的語(yǔ)音去噪算法研究[D].秦皇島:燕山大學(xué),2012.

[4]XUYong,DUJun,DAILirong,etal.Aregressionapproachtospeechenhancementbasedondeepneuralnetworks[J].TransactionsonAudio,Speech,andLanguageProcessing,2015,23(1):7-19.

[5] 趙彥平.基于稀疏表示的語(yǔ)音增強(qiáng)方法研究[D].長(zhǎng)春:吉林大學(xué),2014.[6]SURENDRAN,KUMAR.Perceptualsubspacespeechenhancementwithvariancenormalization[J].ProcediaComputerScience,2015,54:818-828.

[7]YETongbao.Ahigherordersubspacealgorithmformultichannelspeechenhancement[J].IEEESignalProcessingLetters,2015,22(11):2004-2008.

[8] 徐勇.基于深層神經(jīng)網(wǎng)絡(luò)的語(yǔ)音增強(qiáng)方法研究[D].合肥:中國(guó)科學(xué)技術(shù)大學(xué),2015.

[9] 馮暢.正線(xiàn)性函數(shù)在深度神經(jīng)網(wǎng)絡(luò)中的研究[J].計(jì)算機(jī)工程與設(shè)計(jì),2015,36(3):759-762.

[10]OKUTOMITANAKA.Anovelinferenceofarestrictedboltzmannmachine[C]∥IEEE,STOCKHOLM.22ndInternationalConferenceon.SWEDEN.PatternRecognition(ICPR).2014:1526-1537.

[11] 趙彩光,張樹(shù)群,雷兆宜.基于改進(jìn)對(duì)比散度的GRBM語(yǔ)音識(shí)別[J].計(jì)算機(jī)工程,2015,41(5):213-218.

(編輯：劉笑達(dá))

A Speech Enhancement Method Based on Deep Neural Network and Subspace Algorithm

JIA Hairong，WANG Dong,GUO Xin

(College of Information Engineering,Taiyuan University of Technology,Taiyuan 030024,China)

The random and abrupt nature of noise makes the traditional algorithm more difficult to suppress non-stationary noise than stationary noise. To solve above problems, a speech enhancement method based on Deep Neural Network and subspace algorithm was proposed. First, the algorithm uses speech signal with noise to train a set of speech production model by deep neural network (DNN training model).Second, in the test of the enhancement noise estimation and DNN model are used to remove non-stationary noise. Finally, the signal subspace in suppressing noise and reducing the signal distortion makes a more eclectic choice of speech signal reconstruction. The simulation results show that the improved algorithm based on speech enhancement can remove non-stationary noise strongly and improve the intelligibility of enhanced speech by STOI under low SNR.

speech enhancement；subspace；deep neural network；non-stationary noise；noise estimation

1007-9432(2016)05-0647-04

2016-01-08

國(guó)家自然基金項(xiàng)目資助：基于認(rèn)知機(jī)理的情感語(yǔ)音識(shí)別基礎(chǔ)研究(61370093)；山西省青年科技研究基金資助項(xiàng)目(2013021016-1)；山西省自然科學(xué)基金資助項(xiàng)目(2013011016-1)；校基金團(tuán)隊(duì)資助項(xiàng)目(2014TD028，2014TD029)

賈海蓉(1971-),女，山西臨汾人，博士，副教授，主要從事語(yǔ)音信號(hào)處理，多媒體信息處理研究,(E-mail)helenjia722@163.com

TN912.35

A

10.16355/j.cnki.issn1007-9432tyut.2016.05.016