基于特征加權(quán)與改進(jìn)DCNN的說(shuō)話人識(shí)別算法

倪美玉， 曹為剛

(浙江科貿(mào)職業(yè)技術(shù)學(xué)院， 電子信息系， 浙江， 金華 321019)

0 引言

說(shuō)話人識(shí)別通過(guò)聲紋等生物特征達(dá)到對(duì)說(shuō)話人身份辯別的目的，目前已經(jīng)取得較為顯著的成效，并成功應(yīng)用于身份認(rèn)證、語(yǔ)音喚醒、智能家居嵌入及司法鑒定等應(yīng)用中[1]。目前，隨著說(shuō)話人識(shí)別相關(guān)的特征提取技術(shù)和深度神經(jīng)網(wǎng)絡(luò)技術(shù)等的不斷發(fā)展，干凈環(huán)境下的說(shuō)話人識(shí)別模型具有較好的識(shí)別性能，但實(shí)際環(huán)境中往往存在各種復(fù)雜的干擾背景噪聲，嚴(yán)重影響了特征提取的有效性和魯棒性，導(dǎo)致實(shí)際環(huán)境中的模型存在失配現(xiàn)象而識(shí)別性能不理想，因此，如何提高模型提取的特征的環(huán)境適應(yīng)性和魯棒性，成為近年來(lái)該領(lǐng)域的研究熱點(diǎn)[2-3]。

為降低模型特征與實(shí)際語(yǔ)音的失配度，提高特征的可分類性能，魯棒聲學(xué)特征以及將背景噪聲信息融入等方法被應(yīng)用到識(shí)別模型的改進(jìn)中，以增強(qiáng)識(shí)別系統(tǒng)對(duì)噪聲環(huán)境的抗干擾能力。典型的方法主要包括模擬生物的聽(tīng)覺(jué)感知特性分析、小波多尺度變換、MFCC聯(lián)合特征提取、信號(hào)空間的模型補(bǔ)償法[4]等。聽(tīng)覺(jué)感知特征可以在多背景噪聲干擾下較好的提取目標(biāo)語(yǔ)音。牛曉可等[5]借鑒生物STRF的時(shí)空濾波機(jī)制，提取STRF二次特征，并聯(lián)合MFCC構(gòu)建具有強(qiáng)噪聲容忍的聲紋感知特征，通過(guò)SVM實(shí)現(xiàn)強(qiáng)噪聲環(huán)境下的魯棒特征提取與說(shuō)話人識(shí)別。張建偉等[6]采用最小統(tǒng)計(jì)優(yōu)化的遞歸平均參數(shù)法改進(jìn)語(yǔ)音信號(hào)中的噪聲譜估計(jì)，并通過(guò)一階遞歸改進(jìn)最小功率譜平滑，從而提高語(yǔ)音識(shí)別特征的抗噪性能，提高語(yǔ)音質(zhì)量；Bai等[7]對(duì)GMM-UBM模型進(jìn)行了聯(lián)合估計(jì)優(yōu)化作為說(shuō)話人識(shí)別模型，模型有效提升了i-vector算法對(duì)背景噪聲的適應(yīng)性[8]。

隨著深度學(xué)習(xí)技術(shù)的不斷發(fā)展進(jìn)步，深度卷積神經(jīng)網(wǎng)絡(luò)(DCNN)被逐漸應(yīng)用到說(shuō)話人識(shí)別模型中，并取得較好的識(shí)別準(zhǔn)確性和魯棒性[9]。張玉來(lái)等[10]在傳統(tǒng)DCNN網(wǎng)絡(luò)模型中引入懲罰因子和套索算法，以降低特征冗余，提高DCNN網(wǎng)絡(luò)提取的特征的表征能力；Zhang等[11]在說(shuō)話人識(shí)別模型中引入歐幾里得距離相似性度量，通過(guò)空間金字塔池化層替換放寬了定長(zhǎng)輸入的約束，提高以性能增益，通過(guò)引入PLDA后端替換距離評(píng)分對(duì)通道和噪聲進(jìn)行可變性補(bǔ)償來(lái)解決訓(xùn)練數(shù)據(jù)與測(cè)試數(shù)據(jù)的欠匹配問(wèn)題；Maghsoodi等[12]將HMM模型與i-vector相結(jié)合，以識(shí)別語(yǔ)音中含有的隨機(jī)數(shù)字，通過(guò)HMM狀態(tài)幀對(duì)齊提取Baum-Welch統(tǒng)計(jì)特征，通過(guò)i-vector建立單數(shù)字模型，并研究了執(zhí)行信道和不確定性補(bǔ)償?shù)姆椒ǎＰ腿〉幂^好的識(shí)別效果[13]。

但傳統(tǒng)MFCC、PLP等特征大多基于語(yǔ)音信號(hào)的短時(shí)譜信息，但仍難以描述語(yǔ)音段深度信息，而深度神經(jīng)網(wǎng)絡(luò)缺乏直觀的物理聲學(xué)特征描述[14]，為此，提出基于MFCC加權(quán)與改進(jìn)深度卷積神經(jīng)網(wǎng)絡(luò)的說(shuō)話人識(shí)別模型，模型首先提取信號(hào)的MFCC特征，并對(duì)特征進(jìn)行分量凸顯和加權(quán)改進(jìn)，以提高特征中對(duì)最終識(shí)別準(zhǔn)確率貢獻(xiàn)大的分量的作用，然后通過(guò)改進(jìn)深度卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)并增加深度殘差網(wǎng)絡(luò)，以進(jìn)一步對(duì)準(zhǔn)幀間信息，提高網(wǎng)絡(luò)對(duì)說(shuō)話人識(shí)別需求的適應(yīng)性。實(shí)驗(yàn)結(jié)果驗(yàn)證了算法的有效性。

1 改進(jìn)模型說(shuō)話人識(shí)別

說(shuō)話人識(shí)別通常首先采用一定的語(yǔ)音數(shù)據(jù)處理方法對(duì)含噪信號(hào)進(jìn)行分類特征提取，然后針對(duì)背景環(huán)境干擾情況，對(duì)特征進(jìn)行優(yōu)化增強(qiáng)，最后采用合適的分類器完成說(shuō)話人的語(yǔ)音特征匹配，從而識(shí)別出說(shuō)話人。文中說(shuō)話人識(shí)別模型結(jié)構(gòu)如圖1所示，算法融合了特征優(yōu)化增強(qiáng)與深度神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)，主要包括特征提取、特征優(yōu)化計(jì)算和改進(jìn)DCNN網(wǎng)絡(luò)三大部分。

圖1 基于改進(jìn)深度神經(jīng)網(wǎng)絡(luò)的說(shuō)話人識(shí)別過(guò)程

1.1 特征提取

不同說(shuō)話人，由于發(fā)聲器官物理上的特性差異，其產(chǎn)生的語(yǔ)音信號(hào)存在一定的特性。由于說(shuō)話人所處環(huán)境的噪聲及各種干擾，直接對(duì)語(yǔ)音信號(hào)進(jìn)行說(shuō)話人識(shí)別，其特征不穩(wěn)定魯棒性較差。MFCC特征基于人耳聽(tīng)覺(jué)感知特性，是一種具有較好的抗噪性能和識(shí)別性能的常用聲紋特征，其不依賴于語(yǔ)音內(nèi)容，較好的反應(yīng)語(yǔ)音信號(hào)的聲學(xué)特征[10]。

設(shè)實(shí)測(cè)語(yǔ)音信號(hào)進(jìn)行數(shù)字化處理并加窗分幀后，每帖信號(hào)可表示為xi(n)，對(duì)xi(n)進(jìn)行預(yù)加重和FFT變換，得到信號(hào)的頻譜表示X(k)：

(1)

式中，N為變換點(diǎn)數(shù)。進(jìn)而可提取頻譜的能量譜Pi(k)，即

(2)

將Pi(k)作為基本特征輸入M階Mel三角濾波器組Hm(k)中，并對(duì)每個(gè)子濾波器的輸出取對(duì)數(shù)后，再進(jìn)行DCT變換，從而得到一組MFCC系數(shù)，即

(3)

(4)

式中，m為Mel濾波器組的第m個(gè)子濾波器的序號(hào)，0≤m≤M。

MFCC系數(shù)的歸一化均值和方差有利于降低信號(hào)干擾影響，提高特征的噪聲適應(yīng)性，但MFCC特征通常僅描述了語(yǔ)音信號(hào)的靜態(tài)特征，為此，引入MFCC系數(shù)的差分ΔfMFCC。ΔfMFCC特征描述了語(yǔ)音聲紋的動(dòng)態(tài)特征，有利于提取語(yǔ)音信號(hào)的幀間相似性和連續(xù)性，為此，文中使用MFCC和ΔfMFCC的組合特征來(lái)準(zhǔn)確反映說(shuō)話人的行為特征及其聲道等生理特性。

從MFCC特征的計(jì)算過(guò)程可以看出，其分幀重疊和動(dòng)態(tài)特征的引入，帶來(lái)MFCC特征的信息冗余，不利于模型的識(shí)別性能提高，為此，文中基于特征篩選和特征加權(quán)對(duì)MFCC系數(shù)進(jìn)行二次特征提取。

特征篩選主要是為了凸顯系數(shù)中對(duì)說(shuō)話人表征能力強(qiáng)的部分參與后續(xù)模型的訓(xùn)練與識(shí)別過(guò)程，通常采用Fisher比值來(lái)描述，其計(jì)算式為

(5)

根據(jù)分量計(jì)算方法，MFCC各分量對(duì)識(shí)別結(jié)果的貢獻(xiàn)度計(jì)算式為

(6)

式中，p(i,j)為識(shí)別率，n為特征階數(shù)。圖2為TIMIT數(shù)據(jù)集中100人的話音中提取的13維MFCC及其ΔfMFCC的貢獻(xiàn)度值。從圖2可以看出，不同維數(shù)的特征對(duì)最終識(shí)別的貢獻(xiàn)度是不同的，則根據(jù)貢獻(xiàn)度不同對(duì)半正弦函數(shù)進(jìn)行擬合修改后，各維數(shù)特征分量的權(quán)值rq的計(jì)算式為

(a) MFCC分量的識(shí)別貢獻(xiàn)度分布

(b) MFCC一階差分值分量貢獻(xiàn)度圖2 MFCC特征的各分量識(shí)別率貢獻(xiàn)度分布

rq=0.7-0.17cos(0.5q)+0.13sin(0.5q)

(7)

式中，q為縮放處理后的權(quán)重。

以擬合權(quán)重對(duì)MFCC各分量進(jìn)行修正，則修正后的MFCC特征各分量可表示為

(8)

式中，i為當(dāng)前處理的語(yǔ)音幀，Q為分量數(shù)。

1.2 DCNN網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

語(yǔ)音產(chǎn)生過(guò)程具有明顯的深度多層次結(jié)構(gòu)特性，因此，采用DCNN模型可以更好地獲取語(yǔ)音的局部特征和結(jié)構(gòu)信息，為此，設(shè)計(jì)了基于改進(jìn)DCNN和MFCC的說(shuō)話人識(shí)別模型，其結(jié)構(gòu)如圖3所示。

圖3 改進(jìn)DCNN網(wǎng)絡(luò)模型的結(jié)構(gòu)設(shè)置

文中改進(jìn)DCNN網(wǎng)絡(luò)結(jié)構(gòu)主要體現(xiàn)在全連接層設(shè)計(jì)上，傳統(tǒng)DCNN需要一個(gè)softmax層來(lái)統(tǒng)計(jì)全連接層輸出的結(jié)果，而文中改進(jìn)DCNN結(jié)構(gòu)直接計(jì)算目標(biāo)向量。改進(jìn)模型中卷積層包含一個(gè)7×7×64層和兩個(gè)3×3×128層，采用滑動(dòng)過(guò)濾器，以使得卷積層可以在水平和垂直兩個(gè)輸入方向計(jì)算點(diǎn)積，并在最后增加偏置值。卷積過(guò)程中的padding參數(shù)由池化層的same函數(shù)進(jìn)行設(shè)置，以維護(hù)經(jīng)卷積層處理的數(shù)據(jù)的尺度不變，增加批量歸一化層以統(tǒng)一卷積層輸出，提高訓(xùn)練效率和訓(xùn)練穩(wěn)定性。全連接層為1 024點(diǎn)，其網(wǎng)絡(luò)輸入層為13維加權(quán)改進(jìn)的MFCC特征矩陣。模型參數(shù)采用Adam(Adaptive Moment Estimation)算法進(jìn)行迭代更新，因?yàn)閭鹘y(tǒng)隨機(jī)梯度下降算法(Stochastic Gradient Descent，SGD)在權(quán)重更新時(shí)僅采用單一學(xué)習(xí)率，而Adam算法則根據(jù)一階矩和二階矩自適應(yīng)的為模型參數(shù)設(shè)置學(xué)習(xí)率，從而加快模型的收斂和噪聲的預(yù)測(cè)，提高模型的降噪增強(qiáng)效果。

DCNN網(wǎng)絡(luò)的層數(shù)增加，有利于在進(jìn)行說(shuō)話人識(shí)別過(guò)程中提取更多的語(yǔ)義信息，但同時(shí)會(huì)導(dǎo)致梯度弱化，在文中改進(jìn)DCNN網(wǎng)絡(luò)模型中增加深度殘差網(wǎng)絡(luò)，以消除網(wǎng)絡(luò)層數(shù)增加導(dǎo)致的梯度消失，提高模型的說(shuō)話人識(shí)別準(zhǔn)確率。

隨著網(wǎng)絡(luò)深度的增加，網(wǎng)絡(luò)殘差可表示為

fLOSS=FN(XLN,WLN,bLN)

(9)

式中，W和b分別為網(wǎng)絡(luò)的遞歸權(quán)重和偏置項(xiàng)，而X的遞歸計(jì)算為

XL2=F1(XL1,WL1,bL1)

…

XLN=F1(XLN-1,WLN-1,bLN-1)

(10)

反向傳播過(guò)程中，當(dāng)梯度到達(dá)第一層時(shí)，其偏導(dǎo)計(jì)算式為

(11)

式(11)描述了深度卷積網(wǎng)絡(luò)隨著深度的增加，梯度在傳統(tǒng)過(guò)程中逐漸變小，甚至消失，深度殘差網(wǎng)絡(luò)通過(guò)在網(wǎng)絡(luò)層間增加殘差連接避免梯度消失問(wèn)題，其網(wǎng)絡(luò)設(shè)計(jì)如圖4所示。

圖4 用于文中改進(jìn)DCNN的殘差網(wǎng)絡(luò)模塊

2 實(shí)驗(yàn)驗(yàn)證與分析

為驗(yàn)證文中改進(jìn)模型的說(shuō)話人識(shí)別有效性，以TIMIT數(shù)據(jù)庫(kù)[10]中隨機(jī)選取的3 600條語(yǔ)音信號(hào)，為消除模型的過(guò)擬合情況，隨機(jī)截取語(yǔ)音信號(hào)時(shí)長(zhǎng)，并隨機(jī)設(shè)置說(shuō)話人性別與年齡。以Noisex92噪聲庫(kù)中的Factory和Café噪聲作為背景噪聲，數(shù)據(jù)的采樣率設(shè)置為8 kHz，幀長(zhǎng)64 ms，幀間重疊32 ms。

將實(shí)驗(yàn)噪聲與語(yǔ)音數(shù)據(jù)以分段信噪比為-10、-5、0、5、10、15進(jìn)行混合作為實(shí)驗(yàn)用含噪語(yǔ)音數(shù)據(jù)，以文獻(xiàn)中Ivector+PLDA識(shí)別框架結(jié)合MFCC和GFCC特征(記為IPMFCC、IPGFCC)、GMM-UBM[15]結(jié)合MFCC及其加權(quán)值(記為GUMFCC、GUGFCC)及文中改進(jìn)DCNN結(jié)合MFCC及期加權(quán)值(記為IDMFCC、IDCMFCC)共6種模型進(jìn)行識(shí)別性能比較實(shí)驗(yàn)，多次實(shí)驗(yàn)結(jié)果的平均值如圖5所示。

(a) Factory噪聲下識(shí)別率

(b) Café噪聲下的識(shí)別率圖5 不同噪聲下各算法的識(shí)別率

從圖5實(shí)驗(yàn)結(jié)果可分析得到，總體上，在高信噪比環(huán)境下的各模型識(shí)別準(zhǔn)確率都較高，而在低信噪比環(huán)境下，各模型的說(shuō)話人識(shí)別正確率都顯著降低，說(shuō)明實(shí)驗(yàn)中各模型在低信噪比下對(duì)環(huán)境噪聲的抗干擾能力仍待提高，特征的魯棒性仍需要增強(qiáng)。但在相同條件下，文中模型的說(shuō)話人識(shí)別準(zhǔn)確率均較優(yōu)，尤其在-10和-5的低信噪比下，優(yōu)勢(shì)更加明顯，這主要因?yàn)橐环矫嫣卣餍畔⒌母倪M(jìn)，使得其分量中對(duì)識(shí)別貢獻(xiàn)度大的分量被加強(qiáng)，從而提高特征的抗干擾能力和識(shí)別性能，另一方面，對(duì)DCNN網(wǎng)絡(luò)的改進(jìn)，平衡了網(wǎng)絡(luò)性能和訓(xùn)練難度，從而整體上提高模型的識(shí)別準(zhǔn)確率。

3 總結(jié)

針對(duì)DCNN網(wǎng)絡(luò)缺乏直觀的物理聲學(xué)特征描述等問(wèn)題，提出基于MFCC加權(quán)與改進(jìn)深度卷積神經(jīng)網(wǎng)絡(luò)的說(shuō)話人識(shí)別模型，模型首先提取信號(hào)的MFCC特征，并對(duì)特征進(jìn)行分量凸顯和加權(quán)改進(jìn)，以提高特征中對(duì)最終識(shí)別準(zhǔn)確率貢獻(xiàn)大的分量的作用，然后通過(guò)改進(jìn)深度卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)并增加深度殘差網(wǎng)絡(luò)，以進(jìn)一步對(duì)準(zhǔn)幀間信息，提高網(wǎng)絡(luò)對(duì)說(shuō)話人識(shí)別需求的適應(yīng)性。實(shí)驗(yàn)結(jié)果表明，文中算法在不同的分段信噪比下均取得最優(yōu)的識(shí)別準(zhǔn)確率。