基于語音識(shí)別的Android游戲應(yīng)用

潘智剛，姚敏鋒

（廣東外語外貿(mào)大學(xué)思科信息學(xué)院，廣州 510006）

基于語音識(shí)別的Android游戲應(yīng)用

潘智剛，姚敏鋒

（廣東外語外貿(mào)大學(xué)思科信息學(xué)院，廣州 510006）

在對(duì)語音信號(hào)的預(yù)處理過程、特征提取及識(shí)別算法研究、分析基礎(chǔ)上，基于Android平臺(tái)進(jìn)行游戲的開發(fā)與設(shè)計(jì)，根據(jù)游戲控制指令多為孤立詞的特點(diǎn)，游戲語音識(shí)別算法采用動(dòng)態(tài)時(shí)間規(guī)整算法（DTW），為了提高游戲語音交互的識(shí)別率，提出多模板匹配的算法對(duì)DTW算法進(jìn)行改進(jìn)，實(shí)現(xiàn)利用語音識(shí)別技術(shù)控制游戲操作的方式。

語音識(shí)別；動(dòng)態(tài)時(shí)間規(guī)整；Android平臺(tái)；實(shí)時(shí)語音驅(qū)動(dòng)；語音交互

1 語音識(shí)別系統(tǒng)簡(jiǎn)介

目前，大多數(shù)語音識(shí)別系統(tǒng)都采用了模式分類的原理，即通過學(xué)習(xí)，系統(tǒng)把能夠輸入的語音按一定模式進(jìn)行分類。目前主流的語音識(shí)別技術(shù)有基于時(shí)間規(guī)劃和基于統(tǒng)計(jì)模式識(shí)別兩種理論。對(duì)于不同的語音識(shí)別任務(wù)來說，盡管設(shè)計(jì)和實(shí)現(xiàn)的細(xì)節(jié)不同，但所采用的基本技術(shù)都是相似的，一個(gè)典型的語音識(shí)別過程如圖1所示。

圖1 語音識(shí)別系統(tǒng)流程圖

本文基于Android平臺(tái)設(shè)計(jì)和實(shí)現(xiàn)了語音識(shí)別游戲系統(tǒng)。在預(yù)處理這一模塊中，端點(diǎn)檢測(cè)采用將短時(shí)能量和過零率兩種算法相結(jié)合的雙門限檢測(cè)方法，特征提取采用了梅爾倒譜系數(shù)MFCC特征提取算法。由于游戲中的人機(jī)交互指令多為孤立詞指令，所以游戲語音識(shí)別算法采用最適合孤立詞識(shí)別的動(dòng)態(tài)時(shí)間規(guī)整算法（DTW），針對(duì)特定人發(fā)聲可能產(chǎn)生的微小差異導(dǎo)致識(shí)別率降低，本文對(duì)DTW算法進(jìn)行改進(jìn)，提出一種多模板匹配語音識(shí)別算法。

2 多模板匹配DTW語音識(shí)別算法

在孤立詞語音識(shí)別中，最為簡(jiǎn)單有效的方法是采用DTW（Dynamic Time Warping，動(dòng)態(tài)時(shí)間歸整）算法，該算法基于動(dòng)態(tài)規(guī)劃（DP）的思想，解決了發(fā)音長(zhǎng)短不一的模板匹配問題，是語音識(shí)別中出現(xiàn)較早、較為經(jīng)典的一種算法。用于孤立詞識(shí)別，DTW算法與HMM算法在訓(xùn)練階段需要提供大量的語音數(shù)據(jù)，通過反復(fù)計(jì)算才能得到模型參數(shù)，而DTW算法的訓(xùn)練中幾乎不需要額外的計(jì)算。所以在孤立詞語音識(shí)別中，DTW算法仍然得到廣泛的應(yīng)用。

2.1 高效的DTW算法

傳統(tǒng)的DTW算法的缺點(diǎn)是模板匹配的運(yùn)算量太大，求累積距離時(shí)，對(duì)測(cè)試模板的各幀給予了相等的權(quán)重，當(dāng)兩個(gè)模板數(shù)增加較快時(shí)，訓(xùn)練和識(shí)別算法的運(yùn)算量也快速增大。根據(jù)給定匹配路徑的限定規(guī)整斜率，在矩形內(nèi)許多網(wǎng)絡(luò)點(diǎn)是無法達(dá)到的，可以看作是平行四邊行外的網(wǎng)格點(diǎn)不需計(jì)算的，如圖2所示，需要運(yùn)算的交點(diǎn)都在平行四邊行內(nèi)。這樣減少了需要保存的匹配距離矩陣和累積距離矩陣，減少運(yùn)算時(shí)間。改進(jìn)型DTW算法大大提高了運(yùn)算效率，它的方法實(shí)際是把路徑分為三段，分別進(jìn)行處理：三段路徑為：（1，Xa），（Xa+ 1，Xb），（Xb+1，N）其中，根據(jù)坐標(biāo)計(jì)算可得出式（1），（2）。

圖2 配路徑約束示意圖

Xa和Xb都取最相近的整數(shù)。由此得出了對(duì)M和N長(zhǎng)度的限制條件如式（3）。

當(dāng)限制條件不滿足時(shí)，不進(jìn)行動(dòng)態(tài)匹配，利用這一條件的判斷，減少了對(duì)認(rèn)為是相差條件太遠(yuǎn)的模板之間的匹配，減少了系統(tǒng)開銷。

在X坐標(biāo)軸上的每一幀與Y坐標(biāo)軸上[ymin，ymax]間的幀做比較，ymin，ymax的計(jì)算公式如式（4）（5）。

同理，若出現(xiàn)Xa>Xb的情況，此時(shí)匹配的路徑三段為（1，Xb），（Xb+1，Xa），（Xa+1，N）。對(duì)于X坐標(biāo)軸每前進(jìn)一幀，雖然所要比較的Y坐標(biāo)軸的幀數(shù)不同，但規(guī)整特性是一致的，累積距離如式（6）所示：

其中D和d分別表示累積距離和幀匹配距離。

分別測(cè)試采用傳統(tǒng)DTW算法和采用改進(jìn)的DTW算法模板匹配，對(duì)兩種算法的識(shí)別率進(jìn)行分析，得出的實(shí)驗(yàn)結(jié)果如表1所示。

表1 實(shí)驗(yàn)數(shù)據(jù)

由表1可知改進(jìn)后的算法同樣提高了識(shí)別率。

此外，雖然DTW高效算法還減少了程序所需的存儲(chǔ)空間，它沒有保存所有的幀匹配距離矩陣和累計(jì)距離矩陣，因?yàn)槊恳涣懈鞲顸c(diǎn)上的匹配計(jì)算只用到了前一列的三個(gè)網(wǎng)格，路徑每前進(jìn)一幀，都對(duì)距離矩陣和累積距離矩陣進(jìn)行更新，減少了存儲(chǔ)空間。如表2所示。

表2 DTW算法和DTW高效算法的存儲(chǔ)空間比較

由表2可知，對(duì)于DTW高效算法對(duì)矩陣d和D的都分配了一個(gè)m×1的存儲(chǔ)空間，而DTW算法則是n×m，在這一點(diǎn)上面本系統(tǒng)算法依然采用n×m的存儲(chǔ)空間，主要為了加快運(yùn)算速度，減少運(yùn)算時(shí)間，犧牲空間換取時(shí)間。

2.2 基于高效DTW算法的語音多模板匹配

由于說話人說話時(shí)發(fā)音不穩(wěn)定，同一個(gè)單詞的兩次發(fā)音的細(xì)微差別可能會(huì)引起特征參數(shù)的很大變化，而且不同單詞的發(fā)音有時(shí)候非常相像，為了增加模板匹配的準(zhǔn)確度，降低這樣的情況所引起的誤識(shí)別，在訓(xùn)練模板時(shí)，采用三個(gè)模板，對(duì)說話人進(jìn)行三次錄音，在進(jìn)行模板匹配時(shí)，每段語音的測(cè)試模板分別與多個(gè)參考模板進(jìn)行匹配，從中選出與測(cè)試模板相似度最高的參考模板，此時(shí)它們之間的距離D[T，R]最小。實(shí)現(xiàn)流程如圖3所示。

圖3 三模板參與匹配的流程圖

首先對(duì)每一個(gè)音都錄3個(gè)版本，然后生成3個(gè)參考模板。做好模板之后就采用多模板參與匹配的識(shí)別算法進(jìn)行語音識(shí)別。多模板匹配算法為：讓三個(gè)模板都與測(cè)試語音用DTW高效算法進(jìn)行匹配，得到三個(gè)不同參考模版與這一測(cè)試語音的匹配距離，然后比較所得三個(gè)距離，與測(cè)試語音距離較小的參考模版即為匹配結(jié)果。這樣一來就相當(dāng)于與輸入信號(hào)相匹配的音采用了最佳模板來和輸入信號(hào)計(jì)算距離，也就是選取了與測(cè)試語音最相近的發(fā)音狀態(tài)模板來計(jì)算距離，從而提高了識(shí)別率。表3是經(jīng)過實(shí)驗(yàn)得出的單模板和多模板在識(shí)別不同詞匯量時(shí)的識(shí)別率。

表3 單模板和多模板的識(shí)別率對(duì)比

由表3可以看出，詞匯量小時(shí)，單模板和多模板的識(shí)別率相差無幾，但隨著詞匯量的增加多模板的優(yōu)勢(shì)就漸漸明顯，可見增加模板個(gè)數(shù)確實(shí)提高了語音識(shí)別率。

3 基于語音識(shí)別的Android游戲應(yīng)用示例

游戲主題老鼠找芝士，游戲原本采用觸屏移動(dòng)老鼠去找芝士現(xiàn)在改用語音的人機(jī)交互，用聲音驅(qū)動(dòng)老鼠。其中，游戲使用MVC架構(gòu)。實(shí)現(xiàn)的功能有“開始游戲”,“ID登錄”（在錄音Activity里一對(duì)一地關(guān)聯(lián)ID和模板庫），“錄音”（用來創(chuàng)建玩家的語音模板庫，簡(jiǎn)稱語料庫）。

由于篇幅所限，本文以“開始游戲”為例介紹開發(fā)方法，如圖4所示。第一層GameActivity，包括兩個(gè)關(guān)鍵的線程和兩個(gè)方法，分別是獲取語音信號(hào)的線程RecordTask，實(shí)時(shí)端點(diǎn)檢測(cè)線程Signal和調(diào)用本地DTW語音識(shí)別功能的method：SignalCaculate（）（主要求語音的MFCC特征參數(shù)）和SignalCompare（）（主要調(diào)用DTW方法）。

其中用到Android SDK中的AudioRecord類來實(shí)現(xiàn)RecordTask的主要功能，該實(shí)例中，使用AudioRecord類來完成音頻錄制程序,可以使用三種不同的read方法來完成錄制工作，每種方法都有其使用的場(chǎng)合。

實(shí)例化一個(gè)AudioRecord類我們需要傳入幾種參數(shù):①AudioSource:這里可以是MediaRecorder.AudioSource.MIC;②SampleRateInHz:錄制頻率，可以為8000Hz或者11025Hz等，不同的硬件設(shè)備這個(gè)值不同;③ChannelConfig:錄制通道，可以為AudioFormat. CHANNEL_CONFIGURATION_MONO和AudioFormat. CHANNEL_CONF IGURATION_STEREO;④AudioFormat:錄制編碼格式，可以為AudioFormat.ENCODING _16bit和8bit，其中16bit的仿真性比8bit好，但是需要消耗更多的電量和存儲(chǔ)空間;⑤BufferSize:錄制緩沖大小：可以通過getMinBufferSize來獲取。

語音識(shí)別的游戲界面及主界面如圖5、圖6所示。錄音界面和語音模板訓(xùn)練界面如圖7和圖8所示。

4 結(jié)語

本文在基于Android平臺(tái)用Java實(shí)現(xiàn)特定人孤立詞小詞匯量的語音識(shí)別游戲，采用改進(jìn)的DTW模型，比較好地滿足智能終端的游戲?qū)?shí)時(shí)性時(shí)性和識(shí)別率的要求。本文進(jìn)一步需要完善的地方為：提高對(duì)突發(fā)噪聲或非命令語音的抗擾力，降低識(shí)別錯(cuò)誤率，改進(jìn)游戲的界面和玩法。

圖4 “開始游戲”關(guān)鍵線程和方法

圖5 游戲界面

圖6 游戲主界面

圖7 錄音界面

圖8 語音模板訓(xùn)練界面

[1] 何強(qiáng)，何英.MATLAB擴(kuò)展編程.北京：清華大學(xué)出版社[M]，2006

[2] 趙彥平.孤立詞小詞匯量抗噪聲語音識(shí)別方法的研究.吉林大學(xué)（碩士研究生學(xué)位論文）.通信工程學(xué)院.信號(hào)與信息處理[D]，2006

[3] 李邵梅,劉力雄,陳鴻昶．實(shí)時(shí)說話人識(shí)別系統(tǒng)中改進(jìn)的DTW算法［J］．計(jì)算機(jī)工程，2008（4）:218～219

[4] 江官星，王建英.一種改進(jìn)的檢測(cè)語音端點(diǎn)的方法[J].微計(jì)算機(jī)信息期刊，2006，22，5-1

[5] 劉長(zhǎng)明，任一峰.語音識(shí)別中DTW特征匹配的改進(jìn)算法研究[J].中北大學(xué)學(xué)報(bào)，2006，1（27）

[6] 趙力.語音信號(hào)處理第2版.機(jī)械工業(yè)出版社[M]，2011

[7] 楊豐盛.Android應(yīng)用開發(fā)揭秘.機(jī)械工業(yè)出版社[M]，2010

[8] Android在線API.http://developer.android.com/index.html

[9] Android論壇.www.eoeandroid.com

[10] 介紹Android的博客.http://www.cnblogs.com/over140/category/277077.html

Game Applications of Android Based on Speech Recognition

PAN Zhi-gang，YAO Min-feng
（Institute of Cisco Information,Guangdong University of Foreign Studies，Guangzhou 510006）

On the basis of the study of speech signal pretreatment process,feature extraction and recognition algorithm research,Development and design of mobile phone game on Android platform,according to the control instruction for game features is isolated word speech recognition algorithm,the game used the dynamic time warping algorithm（DTW）,in order to improve the recognition rate of speech interaction game,proposed a multi-template matching algorithm to improve the DTW algorithm,Achieved using speech recognition technology to control the game operation.

Speech Recognition;Dynamic TimeWarping;Android Platform;Real-Time Speech Driven;Voice Interaction

1007-1423（2015）07-0036-05

10.3969/j.issn.1007-1423.2015.07.011

潘智剛（1968-），男，廣東人，博士研究生，講師，研究方向?yàn)樗惴ㄔO(shè)計(jì)與分析

姚敏鋒（1977-），男，河南人，碩士研究生，講師，研究方向?yàn)檐浖こ?/p>

2015-01-08

2015－02－01

廣東省自然科學(xué)基金項(xiàng)目（No.S2011010003746）、廣東省科學(xué)技術(shù)廳研究項(xiàng)目（N o.2012B031400014）