基于HMM和ANN漢語(yǔ)普通話口語(yǔ)測(cè)評(píng)系統(tǒng)的實(shí)現(xiàn)

馬 亮 程 陳 任海軍 王文青 周 輝

（中國(guó)地震局 第二監(jiān)測(cè)中心，陜西 西安 710054）

0 引言

語(yǔ)言是人與人之間信息交流意思表達(dá)最直接、最自然的手段，它由語(yǔ)音、詞匯、語(yǔ)法三部分組成。而口語(yǔ)是口頭交際時(shí)使用的語(yǔ)言，是最早被人類普遍應(yīng)用的語(yǔ)言形式。人們訓(xùn)練口語(yǔ)技能主要從語(yǔ)言表達(dá)的準(zhǔn)確性、流利度、是否得體、多樣性等為基準(zhǔn)。

語(yǔ)音聲紋識(shí)別技術(shù)是人機(jī)交互中的關(guān)鍵技術(shù)。語(yǔ)音聲紋識(shí)別技術(shù)就是讓機(jī)器通過(guò)構(gòu)建識(shí)別和理解過(guò)程把語(yǔ)音信號(hào)轉(zhuǎn)變?yōu)橄鄳?yīng)的文本或命令的高技術(shù)。語(yǔ)音聲紋識(shí)別技術(shù)除了特征提取技術(shù)、模式匹配準(zhǔn)則及模型訓(xùn)練技術(shù)之外，還涉及到有語(yǔ)音識(shí)別單元的選取，選擇識(shí)別單元是語(yǔ)音識(shí)別研究的第一步。語(yǔ)音識(shí)別單元有單詞（句）、音節(jié)和音素三種，而漢語(yǔ)則以音節(jié)單元識(shí)別為主[1]。

1 口語(yǔ)測(cè)評(píng)機(jī)制的建立

口語(yǔ)測(cè)試的評(píng)分一般分為兩種：一種是自動(dòng)評(píng)分，一種為專家評(píng)分。在自動(dòng)評(píng)分中可以盡可能脫離人的主觀因素對(duì)口語(yǔ)測(cè)試者的發(fā)音客觀評(píng)分，最大程度呈現(xiàn)測(cè)試者的真實(shí)水平，在實(shí)際中得到了廣泛運(yùn)用。針對(duì)這一研究，我們主要用到的技術(shù)是運(yùn)用語(yǔ)音識(shí)別和統(tǒng)計(jì)模型的相關(guān)理論，通過(guò)提取被測(cè)者語(yǔ)音信號(hào)的特征參數(shù)，計(jì)算機(jī)對(duì)其經(jīng)過(guò)一系列數(shù)字信號(hào)處理，從而在統(tǒng)計(jì)模型中對(duì)它進(jìn)行分析測(cè)評(píng)。特征參數(shù)提取采用的是Mel頻率倒譜參數(shù)（MFCC）。本文中以非線性的特征參數(shù)MFCC為主，結(jié)合LSP，提出了一種語(yǔ)音特征參數(shù)的混合使用方法 （M/L），使發(fā)音質(zhì)量判決系統(tǒng)的正確率有所改進(jìn)。計(jì)算公式見(jiàn)式（1）：

X=（x1，x2，...，xk）為參考模型的特征矢量，K 代表參數(shù)的維數(shù)，Y=（y1，y2，...，yk）表示維數(shù)為 K 的被測(cè)模型特征矢量。

口語(yǔ)測(cè)評(píng)機(jī)制的建立是從聲學(xué)特征、韻律特征和感知特征三方面綜合考慮。本文所采用的是基于HMM和神經(jīng)網(wǎng)絡(luò)技術(shù)的評(píng)分機(jī)制，對(duì)標(biāo)準(zhǔn)語(yǔ)音的特征通過(guò)HMM技術(shù)進(jìn)行訓(xùn)練建立相應(yīng)模型，然后與學(xué)習(xí)者語(yǔ)音的特征進(jìn)行強(qiáng)制對(duì)齊得到三類得分，即聲學(xué)分?jǐn)?shù)、韻律分?jǐn)?shù)和感知分?jǐn)?shù)，最后將這三類分?jǐn)?shù)通過(guò)評(píng)分機(jī)制得到最后評(píng)分，而這個(gè)評(píng)分機(jī)制是由神經(jīng)網(wǎng)絡(luò)對(duì)非標(biāo)準(zhǔn)語(yǔ)音的人工評(píng)分和機(jī)器評(píng)分訓(xùn)練得到。

聲學(xué)分?jǐn)?shù)主要是指語(yǔ)音內(nèi)容匹配的準(zhǔn)確度，它是對(duì)語(yǔ)音段進(jìn)行評(píng)價(jià)，提取語(yǔ)音的12維MFCC特征和能量特征，并分別對(duì)這兩個(gè)特征做一階差分和二階差分，綜合得到一個(gè)39維的特征向量，然后對(duì)這個(gè)特征向量進(jìn)行訓(xùn)練建立聲學(xué)模型。韻律分?jǐn)?shù)由韻律特征提取而定，我們可以提取語(yǔ)音的基音，研究基音隨時(shí)間的變化規(guī)律，如取基音均值可以作為一個(gè)韻律參數(shù)，通過(guò)HMM技術(shù)建立韻律模型，通過(guò)比較標(biāo)準(zhǔn)語(yǔ)音和測(cè)試語(yǔ)音得到韻律分?jǐn)?shù)。感知分?jǐn)?shù)通過(guò)計(jì)算動(dòng)態(tài)規(guī)整比較標(biāo)準(zhǔn)語(yǔ)音和測(cè)試語(yǔ)音的響度差異，由Zwicker公式得出響度，見(jiàn)式（2）：

在Bark頻標(biāo)上計(jì)算每個(gè)臨界界帶的響度，頻率和臨界帶之間有擬合公式，見(jiàn)式（3）：

2 聲紋識(shí)別系統(tǒng)模型的建立

2.1 聲學(xué)模型

聲學(xué)模型主要用來(lái)描述發(fā)音單元（如音子、音節(jié)和詞）在特征空間中的分布狀況以及這種分布隨時(shí)間的變化規(guī)律。聲學(xué)模型是識(shí)別系統(tǒng)的底層模型，并且是語(yǔ)音識(shí)別系統(tǒng)中最關(guān)鍵的一部分，其目的是提供一種有效的方法計(jì)算語(yǔ)音的特征矢量序列和每個(gè)發(fā)音模板之間的距離。聲學(xué)模型的設(shè)計(jì)和語(yǔ)言發(fā)音特點(diǎn)密切相關(guān)。聲學(xué)模型單元大小（字發(fā)音模型、半音節(jié)模型或音素模型）直接影響著語(yǔ)音訓(xùn)練數(shù)據(jù)量大小、系統(tǒng)識(shí)別率以及靈活性。所以必須根據(jù)不同語(yǔ)言的特點(diǎn)、識(shí)別系統(tǒng)詞匯量的大小來(lái)決定識(shí)別單元的大小。

聲學(xué)模型的主要功能是對(duì)識(shí)別基元進(jìn)行模式劃分。進(jìn)行模式劃分的方法很多種，但目前語(yǔ)音識(shí)別系統(tǒng)中主流的聲學(xué)建模技術(shù)兩類：一類是基于隱式馬爾可夫模型的概率統(tǒng)計(jì)模型的方法；一類是基于人工神經(jīng)網(wǎng)絡(luò)的方法[2]。

2.2 結(jié)合HMM與ANN的聲學(xué)模式研究

神經(jīng)網(wǎng)絡(luò)能依靠權(quán)值進(jìn)行長(zhǎng)時(shí)間記憶和知識(shí)存儲(chǔ)，但是對(duì)輸入模式的瞬時(shí)相應(yīng)的記憶能力比較差；而隱馬爾科夫模型的短時(shí)記憶的能力比較強(qiáng)，但是假定的前提又與實(shí)際情況不符。因此，擬定采用HMM和ANN相結(jié)合的混合模型[3]。

在混合HMM/ANN模型方法中，采用分類網(wǎng)絡(luò)來(lái)估計(jì)HMM狀態(tài)的后驗(yàn)概率。傳統(tǒng)的HMM/ANN模型是用神經(jīng)分類網(wǎng)絡(luò)代替了高斯概率密度分布混合器。因此可以用語(yǔ)法上下文相關(guān)的輸入模式作為神經(jīng)網(wǎng)絡(luò)的輸入，這樣就考慮了語(yǔ)音矢量間的時(shí)間相關(guān)性。神經(jīng)網(wǎng)絡(luò)輸出的后驗(yàn)概率密度見(jiàn)式（4）：

而HMM狀態(tài)需要的是似然概率密度p(x，lq，)，應(yīng)用貝葉斯公式，我們就可以從后驗(yàn)概率密度，導(dǎo)出尺度化的后驗(yàn)概率密度，見(jiàn)式（5）：

在進(jìn)行識(shí)別時(shí)，因?yàn)閜(x，)對(duì)所有的路徑來(lái)說(shuō)是一樣的，所以尺度化的似然函數(shù)并不會(huì)改變識(shí)別的結(jié)果。因?yàn)榉诸惥W(wǎng)絡(luò)極大地體現(xiàn)了混合模型的精髓，所以我們采用它來(lái)建立語(yǔ)音識(shí)別系統(tǒng)。在用混合HMM/ANN模型進(jìn)行語(yǔ)音識(shí)別時(shí)，ANN計(jì)算的是HMM狀態(tài)的尺度化觀察概率。整個(gè)識(shí)別過(guò)程分兩步進(jìn)行：（1）計(jì)算t時(shí)刻所有HMM狀態(tài)的尺度化觀察概率；（2）計(jì)算t時(shí)刻激活路徑的路徑積累概率，并根據(jù)路徑積累概率進(jìn)行剪枝[4－5]，確定t+l時(shí)刻的激活路徑。

對(duì)上述概率統(tǒng)計(jì)結(jié)果進(jìn)行了進(jìn)一步分析后，基于一種新的隱節(jié)點(diǎn)數(shù)目確定方法實(shí)現(xiàn)了這種混合模型優(yōu)化。

（1）用迭代自組織數(shù)據(jù)分析方法得到訓(xùn)練數(shù)據(jù)的聚類中心數(shù)目，再為屬于不同類的一對(duì)聚類中心分配一個(gè)隱節(jié)點(diǎn)。這樣，隱節(jié)點(diǎn)就是對(duì)輸入模式形成高維空間，在這個(gè)空間中輸入節(jié)點(diǎn)更容易形成決策曲面。通過(guò)這樣就估計(jì)了一個(gè)對(duì)于訓(xùn)練和訓(xùn)練后的剪枝都合適的隱節(jié)點(diǎn)的數(shù)目N。

（2）訓(xùn)練具有N個(gè)隱節(jié)點(diǎn)的BP網(wǎng)絡(luò)。

（3）通過(guò)迭代去除網(wǎng)絡(luò)中的冗余隱節(jié)點(diǎn)，然后在保持原有輸入輸出關(guān)系的前提下，調(diào)整剩下隱節(jié)點(diǎn)的權(quán)值，最后得到一個(gè)最優(yōu)的網(wǎng)絡(luò)隱節(jié)點(diǎn)個(gè)數(shù)。即對(duì)于訓(xùn)練集中所有的模式見(jiàn)式（6）：

2.3 語(yǔ)言模型

語(yǔ)言模型特別適用于中、大詞匯量的語(yǔ)音識(shí)別系統(tǒng)。目前比較成功的語(yǔ)言模型通常是基于統(tǒng)計(jì)語(yǔ)法的語(yǔ)言模型與基于規(guī)則語(yǔ)法結(jié)構(gòu)命令語(yǔ)言模型。統(tǒng)計(jì)語(yǔ)言模型是用概率統(tǒng)計(jì)的方法來(lái)揭示語(yǔ)言單位內(nèi)在的統(tǒng)計(jì)規(guī)律，其中N-Gram簡(jiǎn)單有效，被廣泛使用。N-Gram模型被稱為一階馬爾科夫鏈，該模型基于這樣一種假設(shè)，第n個(gè)詞的出現(xiàn)只與前面N-1個(gè)詞相關(guān)，而與其它任何詞都不相關(guān)，整句的概率就是各個(gè)詞出現(xiàn)概率的乘積。這些概率可以通過(guò)直接從語(yǔ)料中統(tǒng)計(jì)N個(gè)詞同時(shí)出現(xiàn)的次數(shù)得到。常用的是二元的Bi-Gram和三元的Tri-Gram。

當(dāng)兩個(gè)歷史的最近的N-1個(gè)詞（或字）相同時(shí)，映射兩個(gè)歷史到同一個(gè)等價(jià)類，在此情況下的模型稱之為N-Gram模型。N的值不能太大，否則計(jì)算量太大。根據(jù)最大似然估計(jì)，給出語(yǔ)言模型的參數(shù)，見(jiàn)式（7）：

其中，C(w1w2…wi)表示w1w2…wi在訓(xùn)練數(shù)據(jù)中出現(xiàn)的次數(shù)。

3 口語(yǔ)測(cè)評(píng)在漢語(yǔ)普通話測(cè)試系統(tǒng)中的應(yīng)用

漢語(yǔ)采用分層識(shí)別策略：假設(shè)漢語(yǔ)句子長(zhǎng)度為L(zhǎng)，對(duì)應(yīng)的漢字串為 W=（W1，W2，..,WL），對(duì)應(yīng)的又掉拼音串為 A=(A1,A2，..,AL)，聲學(xué)觀測(cè)為 O=(O1，O2，..,OL)。 其中的 Wi,Ai,Oi（i=1，2，…，L）對(duì)應(yīng) S 中的第 i個(gè)字，分別在漢字集、有調(diào)拼音集和聲學(xué)觀測(cè)集上取值。設(shè)P（W|O）為聲學(xué)觀測(cè)為O時(shí)所說(shuō)漢字串為W的概率，則語(yǔ)音識(shí)別的目標(biāo)是在得到聲學(xué)觀測(cè)O的情況下找到W?，見(jiàn)式（8）：

其中，P(W,A)為漢語(yǔ)語(yǔ)言模型，P(O|A)為漢語(yǔ)聲學(xué)模型。

漢語(yǔ)普通話測(cè)評(píng)系統(tǒng)框架如圖1所示，該系統(tǒng)包括有檢測(cè)口語(yǔ)發(fā)音部分，所述的檢測(cè)口語(yǔ)發(fā)音部分包括以下步驟：標(biāo)準(zhǔn)發(fā)音人語(yǔ)料庫(kù)的建立；口語(yǔ)評(píng)測(cè)語(yǔ)料庫(kù)的收集；口語(yǔ)評(píng)測(cè)語(yǔ)料庫(kù)的標(biāo)注；標(biāo)準(zhǔn)語(yǔ)音聲學(xué)模型的建立；計(jì)算語(yǔ)音的檢錯(cuò)參數(shù)；建立檢錯(cuò)參數(shù)向?qū)＜宜鶚?biāo)注發(fā)音錯(cuò)誤的檢錯(cuò)映射模型。

圖1 普通話測(cè)評(píng)系統(tǒng)框圖

本系統(tǒng)擬定采用Visual Studio 2008開發(fā)工具下的C++語(yǔ)言搭建系統(tǒng)平臺(tái)界面，輔以外加設(shè)備，如耳麥、錄音設(shè)備等。系統(tǒng)主界面如圖2所示。

圖2 普通話測(cè)評(píng)系統(tǒng)主題界面

進(jìn)入測(cè)評(píng)登記之后，首先錄入語(yǔ)音進(jìn)行聲紋身份認(rèn)證并顯示核對(duì)信息，聲紋身份認(rèn)證通過(guò)與原始錄入數(shù)據(jù)進(jìn)行比較而獲得。在語(yǔ)音測(cè)評(píng)階段，主要工作是進(jìn)行語(yǔ)音錄入，并與系統(tǒng)原存儲(chǔ)的標(biāo)準(zhǔn)語(yǔ)音進(jìn)行對(duì)比辨識(shí)語(yǔ)音進(jìn)行測(cè)評(píng)，如圖3。該階段包括四個(gè)裝置：語(yǔ)音辨識(shí)裝置、存儲(chǔ)裝置、預(yù)處理器和語(yǔ)音決策裝置，通過(guò)模型比較，然后產(chǎn)生并輸出一個(gè)表明與輸入信號(hào)最佳匹配的一個(gè)附加模型的信號(hào)。

圖3 語(yǔ)音測(cè)評(píng)

4 結(jié)論

根據(jù)語(yǔ)音識(shí)別技術(shù)開發(fā)的口語(yǔ)語(yǔ)音學(xué)習(xí)和測(cè)評(píng)系統(tǒng)，可以對(duì)測(cè)試者的水平進(jìn)行有效測(cè)評(píng)，對(duì)每句話、每個(gè)詞和甚至每個(gè)因素給出得分，提出改進(jìn)建議。未來(lái)可以發(fā)展語(yǔ)音情感識(shí)別系統(tǒng)，識(shí)別說(shuō)話人的情感。

［1］王炳錫，屈丹，彭煊.實(shí)用語(yǔ)音識(shí)別基礎(chǔ)[M].2版.北京：國(guó)防工業(yè)出版社，2005：26-29.

［2］林坤輝，息曉靜，周昌樂(lè).基于HMM與神經(jīng)網(wǎng)絡(luò)的聲學(xué)模型研究[J].廈門大學(xué)學(xué)報(bào)，2006，45(1)：45-47.

［3］馬亮，等.基于 DSP 的 JPEG 視頻壓縮系統(tǒng)的實(shí)現(xiàn)[J].電子設(shè)計(jì)工程，17（9）.

［4］趙雷.建立任務(wù)型對(duì)外漢語(yǔ)口語(yǔ)教學(xué)系統(tǒng)的思考[J].語(yǔ)言教學(xué)與研究，2008（3）：64-66.

［5］宋芳芳，宋曉麗，馬青玉.基于語(yǔ)音識(shí)別技術(shù)的英語(yǔ)口語(yǔ)自學(xué)系統(tǒng)評(píng)分機(jī)制的研究[D].南京師范大學(xué)教育科學(xué)學(xué)院，20095(7)：1726-1728.

［6］FERRASM,BARRAS C,GAUVAIN J.L.Lattice.based MLLR for speaker recognit ion [C]//ICASSP 2009：Proceedings of the 2009 IEEE International Conference on A coustics,Speech and Signal Processing.Washington,DC：IEEE Computer Society,2009：4537-4540.