基于虛擬化的聲紋識別系統(tǒng)性能研究

佘 堃，潘松松，田文洪

(電子科技大學(xué)，四川成都611731)

0 引言

在認(rèn)證技術(shù)領(lǐng)域中，使用密碼進(jìn)行加密和解密是最常見的、最簡單的技術(shù)，得到了廣泛的應(yīng)用。然而這種身份認(rèn)證方式存在很大的弊端，簡單的容易被破解，復(fù)雜的容易被遺忘。隨著互聯(lián)網(wǎng)系統(tǒng)的爆發(fā)式發(fā)展、計(jì)算機(jī)技術(shù)和密碼學(xué)的深入研究，密碼的安全性面臨著嚴(yán)峻的考驗(yàn)，傳統(tǒng)的密碼身份認(rèn)證很難滿足現(xiàn)代安全、便捷的需求[1]。

相對地，生物特征識別成為了一種很好的技術(shù)創(chuàng)新突破口。聲紋識別(又稱說話人識別)是一種通過語音數(shù)據(jù)識別說話人身份的生物識別技術(shù)，近年來受到眾多研究機(jī)構(gòu)和企業(yè)的追捧，加快了理論研究和實(shí)際應(yīng)用開發(fā)的進(jìn)展[2]。人的聲道結(jié)構(gòu)、說話習(xí)慣都是唯一的、長期穩(wěn)定的，這使得每個人發(fā)出來的聲音都具有獨(dú)特性。聲紋識別就是從說話人說話語音中提取具有代表性的聲紋特征，以此識別說話人的真實(shí)身份。因?yàn)槁暭y識別具有經(jīng)濟(jì)性、非接觸性、準(zhǔn)確性的特點(diǎn)，可以打破局域和時間的限制，得到電話社保身份確認(rèn)、公安司法案件偵破、銀行或證券身份識別、國防安全等領(lǐng)域的青睞[3]。

但是在實(shí)際應(yīng)用中，聲紋模型訓(xùn)練和身份識別會涉及到大量的語音數(shù)據(jù)存儲和聲紋信號處理算法運(yùn)算。隨著用戶數(shù)量的急劇增加，需要處理的語音數(shù)據(jù)量就越多，它對數(shù)據(jù)中心和計(jì)算資源的要求也越高，依賴性也就越強(qiáng)，相應(yīng)的應(yīng)用種類也就會增加，功能變得更多，系統(tǒng)更復(fù)雜，管理也就變得更困難，成本更高[4]。

而云計(jì)算正是從服務(wù)提供者的角度給出的一種解決辦法。通過虛擬化技術(shù)把物理資源(CPU、存儲空間、操作系統(tǒng)、應(yīng)用程序開發(fā)環(huán)境等)分成多個虛擬化空間，彼此互不影響。用戶無需關(guān)心具體物理機(jī)的位置或性能，直接通過網(wǎng)絡(luò)獲得高效的計(jì)算和存儲能力。

文中引入云計(jì)算技術(shù)，把聲紋識別系統(tǒng)運(yùn)用于虛擬化環(huán)境中，實(shí)現(xiàn)一個結(jié)合虛擬化技術(shù)的聲紋識別系統(tǒng)，評估系統(tǒng)的整體運(yùn)算性能。

1 相關(guān)工作

人依靠聽覺能夠分辨說話人的身份，那么說話人語音中必然包含獨(dú)特的身份信息。但是機(jī)器是無法直接識別的，需要從聲紋中提取出機(jī)器能夠識別的數(shù)據(jù)和理解的識別公式。在聲紋識別技術(shù)的研究中，從聲紋中提取說話人的身份特征信息，稱為聲紋特征向量[5]。

根據(jù)文獻(xiàn)[6]的研究顯示，特征提取的根本目標(biāo)就是降維，用少量的矩陣維數(shù)記錄說話人的語音特征。線性預(yù)測倒譜系數(shù)(LPCC)、線譜對(LSP)、線性預(yù)測殘差等線性預(yù)測分析出來的特征參數(shù)無法準(zhǔn)確地表達(dá)出聽覺特征，人耳對于不同頻率的感知能力與聲紋頻率不是呈現(xiàn)線性關(guān)系。對此提出了Mel頻率的特性，更能符合并表達(dá)出實(shí)際聽覺特征，在與文本無關(guān)的聲紋識別應(yīng)用領(lǐng)域中，MFCC(Mel-Frequency Cepstrum Coefficients)的特征提取方法比線性預(yù)測方法在識別方面更占優(yōu)勢。

聲紋特征提取后，就需要模型進(jìn)行描述聲紋特性，模型的選擇和建立都至關(guān)重要，直接影響聲紋識別的性能。根據(jù)文獻(xiàn)[7]和文獻(xiàn)[8]的研究表明，混合模型(Gaussian Mixture Model，GMM)具有卓越的性能優(yōu)勢，在多種領(lǐng)域中被廣泛使用。高斯混合模型是一種多組高斯分布(亦稱正態(tài)分布)的線性迭代模型。由于多組正態(tài)概率密度函數(shù)的線性加權(quán)和可以模擬任意分布，所以一個人的聲紋特征也可以由GMM來描述。每個人的聲紋特征都是不一樣的，即其統(tǒng)計(jì)出來的聲紋特征分布也是有區(qū)別的、唯一的，所以可以通過GMM建立生成的聲紋特征模型對比說話人的身份。但是隨著GMM的訓(xùn)練階數(shù)的增加，就會造成系統(tǒng)花更多的計(jì)算資源和計(jì)算時間，這將對聲紋識別系統(tǒng)帶來很大的性能挑戰(zhàn)。

文獻(xiàn)[9]研究了在云計(jì)算環(huán)境中，虛擬機(jī)粒度對工作負(fù)載性能的影響。采用HPL作為代表緊密耦合的計(jì)算工作量，性能評估的結(jié)果顯示了虛擬機(jī)粒度對計(jì)算工作量的性能有顯著的影響。在配置有8個CPU的服務(wù)器，處理問題大小為4096的HPL，采用8個虛擬機(jī)的性能效果比4或16個虛擬機(jī)的性能高出4倍，是最為出色的。而12個CPU的服務(wù)器處理問題大小為256到1024的HPL，采用24個虛擬機(jī)達(dá)到了性能最佳狀態(tài)。文獻(xiàn)[9]還表明VM粒度對Web系統(tǒng)的性能的影響并不重要，VM粒度只是動態(tài)改變了VM延展性策略，可用于提高緊密耦合的計(jì)算工作負(fù)荷的性能。

而把聲紋識別系統(tǒng)運(yùn)用于虛擬化環(huán)境中，實(shí)現(xiàn)一個結(jié)合虛擬化技術(shù)的聲紋識別系統(tǒng)，此過程會變得更加復(fù)雜，涉及到聲紋識別算法的大量計(jì)算、與前臺進(jìn)行信息交互、虛擬機(jī)的調(diào)用等，會是一個緊密耦合的綜合性云系統(tǒng)[10]。

2 結(jié)合虛擬機(jī)技術(shù)的聲紋識別系統(tǒng)設(shè)計(jì)

研究如何把虛擬機(jī)技術(shù)結(jié)合到聲紋識別系統(tǒng)之中，最常見的設(shè)計(jì)想法就是在物理機(jī)上運(yùn)行多臺虛擬機(jī)，同時把物理機(jī)上原來的運(yùn)行環(huán)境系統(tǒng)重新部署到虛擬機(jī)里，形成虛擬機(jī)集群，那么一臺物理機(jī)就可以并發(fā)運(yùn)行聲紋識別系統(tǒng)，提高系統(tǒng)的效率。但上述理論模型在實(shí)際應(yīng)用過程中可能會出現(xiàn)如下的情況:如果有些識別任務(wù)被分配到正在運(yùn)行識別任務(wù)的虛擬機(jī)(忙狀態(tài)的虛擬機(jī))上，這些識別任務(wù)就會等待，呼叫中心(前臺)的請求就會延遲，甚至請求超時，得不到響應(yīng)，這樣反而降低了系統(tǒng)的性能和使用效果。這就相應(yīng)地引出一個致命的問題——如何合理調(diào)度虛擬機(jī)資源，結(jié)合整個系統(tǒng)的基本架構(gòu)，對此制定了兩套調(diào)度方案:方案一是在虛擬機(jī)服務(wù)器上做修改，每個虛擬機(jī)上添加一個監(jiān)視器，監(jiān)視虛擬機(jī)的運(yùn)行狀況(忙狀態(tài)還是閑狀態(tài));在物理機(jī)上添加虛擬機(jī)調(diào)度模塊，根據(jù)虛擬機(jī)的狀況，調(diào)度一臺空閑狀態(tài)的虛擬機(jī)給呼叫中心使用，運(yùn)行識別算法。具體執(zhí)行方案如圖1所示。

圖1 基于監(jiān)視器的調(diào)度方法

步驟1:呼叫中心需要獲取虛擬機(jī)資源時，向虛擬機(jī)服務(wù)器的調(diào)度模塊發(fā)送調(diào)用虛擬機(jī)的請求。

步驟2::調(diào)度模塊接收到呼叫中心的請求后，會向所有開啟的虛擬機(jī)發(fā)送檢測虛擬機(jī)運(yùn)行狀況的請求。

步驟3:如果虛擬機(jī)接收到調(diào)度模塊發(fā)送過來的服務(wù)請求，虛擬機(jī)的監(jiān)視器會監(jiān)測到本臺虛擬機(jī)的CPU使用率、內(nèi)存消耗情況、運(yùn)行時間、調(diào)度的次數(shù)，根據(jù)這些反饋的參數(shù)得到虛擬機(jī)的狀態(tài)(忙狀態(tài)還是閑狀態(tài))，然后響應(yīng)調(diào)度模塊的請求。

步驟4:調(diào)度模塊接收到所有虛擬機(jī)的響應(yīng)后，選擇出一個空閑狀態(tài)的虛擬機(jī)，把這臺虛擬機(jī)的ip地址發(fā)送給呼叫中心，作為步驟1的響應(yīng)數(shù)據(jù)。

步驟5:呼叫中心獲得虛擬機(jī)的ip地址后，就可以調(diào)用這臺虛擬機(jī)的Web服務(wù)，向其發(fā)送聲紋識別的運(yùn)算請求。

步驟6:虛擬機(jī)將識別結(jié)果反饋給呼叫中心，完成整個識別任務(wù)。

6個步驟全部完成才能實(shí)現(xiàn)整個后臺調(diào)用運(yùn)算，只要其中任何一步出現(xiàn)問題，就會造成識別任務(wù)的失敗。監(jiān)視器監(jiān)測虛擬機(jī)的運(yùn)行情況，時時刻刻在后臺運(yùn)行，反饋虛擬機(jī)的健康情況。再由調(diào)度模塊根據(jù)具體參數(shù)設(shè)計(jì)合理地調(diào)度算法，分配空閑的虛擬機(jī)資源，這個過程會一直搶占服務(wù)器和虛擬機(jī)的資源。從開發(fā)和系統(tǒng)結(jié)構(gòu)角度考慮，基于監(jiān)視器和虛擬機(jī)調(diào)度模塊的系統(tǒng)架構(gòu)設(shè)計(jì)加重了系統(tǒng)的任務(wù)模塊和復(fù)雜度，增加了耦合性和開發(fā)周期，系統(tǒng)崩潰的風(fēng)險也隨之提高[11]。

另一套方案是根據(jù)語音卡本身的調(diào)度機(jī)制，拓展并實(shí)現(xiàn)調(diào)度虛擬機(jī)的功能。語音卡支持的分路線數(shù)是有限的，是跟網(wǎng)絡(luò)接口所擁有的網(wǎng)絡(luò)物理線數(shù)一一對應(yīng)的[12]。一般情況下模擬語信號音卡支持的語音通道線數(shù)大多為8條或16條;而數(shù)字信號語音卡的語音通道線數(shù)依據(jù)E1接口的數(shù)量決定的，每個E1接口支持30個語音通道線數(shù)。多塊語音卡也可以一起使用來共同完成語音處理功能，語音卡之間不需要經(jīng)過計(jì)算機(jī)總線，可以直接通過語音卡內(nèi)部語音總線相互連接通信，實(shí)現(xiàn)數(shù)據(jù)的交換和通信。語音卡本身就有自動調(diào)用語音通道的機(jī)制，提供調(diào)用空閑語音通道、釋放語音通道、等待語音通道等功能。就可以利用語音卡的語音通道調(diào)度機(jī)制，結(jié)合一個閑狀態(tài)的虛擬機(jī)ip池，實(shí)現(xiàn)一種高效的、精簡的虛擬機(jī)調(diào)度模塊。具體執(zhí)行方案如圖2所示。

圖2 基于語音通道調(diào)度機(jī)制的虛擬機(jī)調(diào)度方法

這種虛擬機(jī)調(diào)度方法明顯比上一個方案的方法要簡單很多，虛擬機(jī)調(diào)度模塊的實(shí)現(xiàn)直接在呼叫中心實(shí)現(xiàn)，不需要在虛擬機(jī)或虛擬機(jī)服務(wù)器物理機(jī)上添加其他系統(tǒng)模塊，降低了系統(tǒng)的耦合性，減輕了虛擬機(jī)服務(wù)的運(yùn)行負(fù)擔(dān)。當(dāng)一個空閑的語音通道被啟用時，系統(tǒng)會從閑狀態(tài)的虛擬機(jī)ip池中分配給此語音通道一個有效的、空閑狀態(tài)的虛擬機(jī)ip地址，提供虛擬機(jī)資源。當(dāng)語音通道資源被釋放時，系統(tǒng)就隨之把虛擬機(jī)ip資源還原到閑狀態(tài)的虛擬機(jī)ip池中，釋放虛擬機(jī)資源。

3 結(jié)果與分析

系統(tǒng)所采用的語音樣本庫是由20位測試者錄制而成的，其中男女各有10人，年齡跨度從20多歲到50多歲，語言限制為普通話。每個測試人員錄制了一組包含8段短語音的訓(xùn)練語音樣本，以及3組(每組包括3段短語音)以上的識別語音。錄制的內(nèi)容都是根據(jù)制定的問題回答的，應(yīng)答時間設(shè)置為10秒，完全能夠保證用戶淡定自然、語速緩和、吐字清晰地應(yīng)答問題。每個測試人員在進(jìn)行語音注冊和識別階段用的是同一部手機(jī)，手機(jī)的品牌和型號選擇也加以限制，確保語音樣本的質(zhì)量。所有的語音采集過程都是在安靜的測試環(huán)境中完成的，經(jīng)過呼叫中心生成unsigned 8 bit、A-Law編碼方式、采樣率8000 Hz、位速64 kbps、單聲道的WAV格式語音樣本。

系統(tǒng)采用Pentium Dual-Core CPU E5300@2.60 GHz(1 個 CPU)、4 GB(海力士 DDR3 1333 MHz)、Microsoft Windows Server 2008(64 bit)操作系統(tǒng)的2臺服務(wù)器。其中一臺直接部署聲紋識別系統(tǒng)，用于順序執(zhí)行識別任務(wù)的計(jì)算性能。另一臺開啟了4臺Oracle VM VirtualBox虛擬機(jī)，每臺虛擬機(jī)都搭建聲紋識別系統(tǒng)，用于并發(fā)執(zhí)行識別任務(wù)的計(jì)算性能。通過獲取樣本語音庫中的所有訓(xùn)練模型語音和一組識別語音，在兩臺服務(wù)器中都執(zhí)行4次模型訓(xùn)練和身份識別任務(wù)，并統(tǒng)計(jì)相應(yīng)的運(yùn)行時間。

3.1 模型訓(xùn)練的性能比較

按照測試執(zhí)行方案，統(tǒng)計(jì)出建模訓(xùn)練在物理機(jī)上順序執(zhí)行所耗時間，如表1所示。

表1 建模訓(xùn)練在物理機(jī)上順序執(zhí)行所耗時間/s

由于本次系統(tǒng)是對20位測試者的模型進(jìn)行順序執(zhí)行的訓(xùn)練，所以表1中的合計(jì)時間是20位測試者進(jìn)行模型訓(xùn)練所耗時間的總和，最終的測試所耗平均時間是825.623125秒。

建模訓(xùn)練在虛擬機(jī)群上并發(fā)執(zhí)行所耗的時間，如表2所示。

表2 建模訓(xùn)練在虛擬機(jī)群上并發(fā)執(zhí)行所耗時間/s

由于虛擬機(jī)服務(wù)器系統(tǒng)的最大并發(fā)執(zhí)行能力是同時運(yùn)行4臺虛擬機(jī)，所以共同執(zhí)行20位測試者的模型訓(xùn)練任務(wù)，所耗時間如表2所示的所用總時間，所耗的平均時間是544.66075秒。在聲紋建模階段，順序執(zhí)行和并發(fā)執(zhí)行的時間比對，如圖3所示。

圖3 順序和并發(fā)執(zhí)行模型訓(xùn)練所耗平均時間

根據(jù)圖3，虛擬機(jī)并發(fā)在執(zhí)行建模訓(xùn)練的性能比順序執(zhí)行提高了34.03%。

3.2 聲紋確認(rèn)的性能比較

聲紋確認(rèn)的性能測試，跟模型訓(xùn)練的測試一樣。統(tǒng)計(jì)出聲紋確認(rèn)在物理機(jī)上順序執(zhí)行所耗時間，如表3所示。

表3 聲紋確認(rèn)在物理機(jī)上順序執(zhí)行所耗時間/s

由于系統(tǒng)是順序執(zhí)行20位測試者的聲紋確認(rèn)，所以表3中的合計(jì)時間是20位測試者聲紋確認(rèn)所耗時間的總和，最終的測試平均時間是22.35125秒。聲紋確認(rèn)在虛擬機(jī)群上并發(fā)執(zhí)行所耗時間，如表4所示。

由于虛擬機(jī)服務(wù)器系統(tǒng)的最大并發(fā)執(zhí)行能力是同時運(yùn)行4臺虛擬機(jī)，所以共同執(zhí)行20位測試者的身份識別任務(wù)，所耗時間如表4所示的所用總時間，所耗的平均時間是7.06125秒。在聲紋確認(rèn)階段，順序執(zhí)行和并發(fā)執(zhí)行的時間比對，如圖4所示。

根據(jù)圖4所示，虛擬機(jī)并發(fā)在執(zhí)行聲紋確認(rèn)的性能比順序執(zhí)行提高了68.41%。

表4 聲紋確認(rèn)在虛擬機(jī)群上并發(fā)計(jì)算所耗時間/s

圖4 順序和并發(fā)執(zhí)行聲紋確認(rèn)所耗平均時間

4 結(jié)束語

論文主要是將聲紋識別系統(tǒng)與虛擬化技術(shù)相結(jié)合，解決聲紋模型訓(xùn)練和身份識別的大量數(shù)據(jù)分析運(yùn)算，提高整體系統(tǒng)的執(zhí)行效率。在單CPU服務(wù)器的環(huán)境中，比對了部署4臺虛擬機(jī)與單獨(dú)物理機(jī)的執(zhí)行性能。虛擬機(jī)并發(fā)在執(zhí)行建模訓(xùn)練的性能比物理機(jī)執(zhí)行提高了34.03%，執(zhí)行聲紋確認(rèn)的性能比物理機(jī)執(zhí)行提高了68.41%。

[1] 李建華.探究網(wǎng)絡(luò)信息安全管理中多因素身份認(rèn)證的使用[J].電子技術(shù)與軟件工程，2015，(4):231－232.

[2] 白燕燕，胡曉霞，鄭三婷.基于聽覺特性的聲紋識別系統(tǒng)的研究[J].電子設(shè)計(jì)工程，2015，(4):85－87.

[3] 龐景旭.關(guān)于音頻司法鑒定技術(shù)的研究[J].法制博覽，2014，(19).

[4] 孫熙領(lǐng)，陳超，丁治明，等.云計(jì)算環(huán)境中基于訪問量和依賴性評價的數(shù)據(jù)分配算法[J].計(jì)算機(jī)科學(xué)，2012，39(5):141－146.

[5] 尹許梅.基于MFCC和矢量量化的說話人識別算法研究[D].長沙:湖南大學(xué)，2011.

[6] 胡政權(quán)，曾毓敏，宗原，等.說話人識別中MFCC參數(shù)提取的改進(jìn)[J].計(jì)算機(jī)工程與應(yīng)用，2014，(7):217－220.

[7] 于嫻，賀松，彭亞雄，等.基于GMM模型的聲紋識別模式匹配研究[J].通信技術(shù)，2015，(1).

[8] 許東星.基于GMM和高層信息特征的文本無關(guān)說話人識別研究[D].合肥:中國科學(xué)技術(shù)大學(xué)，2009.

[9] Ping W，Wei H，Varela C A.Impact of Virtual Machine Granularity on Cloud Computing Workloads Performance[C].Grid Computing(GRID)，2010 11th IEEE/ACM International Conference on.2010:393－400.

[10] 謝霞.基于數(shù)字語音卡的智能語音外呼系統(tǒng)[J]. 電子技術(shù)與軟件工程，2015，(5).

[11] 陳任之，黃立波，陳頊顥，等.單節(jié)點(diǎn)多GPU集群下HPL動態(tài)負(fù)載均衡優(yōu)化[J].計(jì)算機(jī)科學(xué)，2013，40(3):107－110.

[12] Kochut A.On Impact of Dynamic Virtual Machine Reallocation on Data Center Efficiency[C]//Modeling，Analysis and Simulation of Computers and Telecommunication Systems，2008.MASCOTS 2008.IEEE International Symposium on.IEEE，2008:1－8.

[13] Desell T，Maghraoui K E，Varela C A.Malleable applications for scalable high performance computing[J].Cluster Computing，2007，10(3):323－337.