在線連續交互式英語語音智能識別系統設計

趙丹+鐘楠

摘 要： 英語語音智能識別系統的發展方向是在線、連續性的人機交互，為此，設計在線連續交互式英語語音智能識別系統，并基于梅爾頻率倒譜系數設計語音識別函數。系統的參考數據庫選取NOSE算法計算語音評價分數并查錯，利用專家知識庫糾正用戶英語語音。系統由語音訓練模塊和在線連續交互式識別模塊組成，前者為系統數據庫提供英語語音的語料、音標資源，后者實施系統數據庫的評價、糾正工作。實驗結果證明設計的系統語音識別率高且識別時間短，有效性強。

關鍵詞： 在線； 連續交互式； 語音； 智能識別系統

中圖分類號： TN912.34?34 文獻標識碼： A 文章編號： 1004?373X（2017）15?0137?04

Abstract： The development direction of English phonetics intelligent recognition system towards the on?line and continuous human?computer interaction， therefore an on?line continuous interactive English phonetics intelligent recognition system was designed. The voice recognition function based on Mel frequency cepstrum coefficient was designed. The NOSE algorithm is selected in system reference database to calculate the voice evaluation score and check the error. The expert knowledge base is used to correct the English phonetics of users. The system is composed of the speech training module and on?line continuous interactive module. The former provides the corpus and phonetic resources of English phonetics for the system database. The latter performs the evaluation and correction for the system database. The experimental results show that the system has high speech recognition rate， short recognition time， and high effectiveness.

Keywords： online system； continuous interaction； voice； intelligent recognition system

0 引 言

英語是國際語言，隨著各國間經濟、人文、科技等信息交流的不斷加深，英語語音智能識別漸漸成為信息技術領域的重點研究對象，其目標是使用機器達成設備與人類之間的語音交互，令設備更加智能化，增加娛樂能力，為不方便進行鍵盤、鼠標錄入的人群提供便利。

英語語音智能識別的目標符合現代化發展腳步，英語語音智能識別系統層出不窮，第一款識別系統名為Audry系統，各項性能比較完善，現已得到極大發展。最近新出的Audry系統利用數據庫計算手段從英語基礎語法開始對語音的元音和獨立詞進行識別，識別率高，但識別時間長，只適合進行短小語句識別。1963年，由前蘇聯設計的端點檢測系統使用動態編程實現英語語音識別，系統的實時性不好，對在線、連續性的英語語音識別力不強。此后，著名的貝爾實驗室[1]改變了語音識別研究方向，設計出一個語音打印機，將英語語音翻譯在設備顯示屏上，再進行人機交互，在智能手機中被普遍應用，其功能少但識別精準。從1980年開始，HMM（Hidden Markov Model，隱馬爾可夫模型）[2]系統進入到人們的生活中，其結合了Audry系統的計算手段以及語音打印機的人機交互能力并進行改善，從細節語音識別轉換成整體語音識別，增進了在線、連續性英語語音信號的平穩性，是語音智能識別歷史中的重要里程碑。

顯然，英語語音智能識別系統的發展方向是在線、連續性的人機交互，對識別效率要求高，如果能夠在最短的時間糾正語音錯誤，也可以極大提高系統識別率，這是在英語語音智能識別系統設計中的研究熱點。

1 在線連續交互式英語語音智能識別系統設計

在線連續交互式英語語音智能識別系統主要由語音訓練模塊和在線連續交互式識別模塊組成，重點設計系統工作流程和模塊資源。

1.1 工作流程設計

在線連續交互式英語語音智能識別系統工作流程如圖1所示。

系統擁有兩個數據庫，分別是參考數據庫和專家數據庫。參考數據庫的作用是對用戶英語語音進行評價，由英語標準發音特征進行訓練。參考數據庫使用的語音評價算法是NOSE算法[3]，是一種非母語語音的口語評價技術。專家數據庫的作用是糾正用戶英語語音，它在常見的英語口語發音錯誤的基礎上構建。

系統從用戶英語語音中提取特征，用訓練成功的參考數據庫解碼英語語音，使用NOSE算法計算語音評價分數，將分數變更成能夠展現出用戶英語語音口語質量的評價項目，之后對語音進行查錯，最后利用專家知識庫糾正用戶英語語音。

由于在線連續交互式英語語音智能識別系統一般用于手機和平板電腦，硬件配備不多[4]，因此系統的工作流程必須完美實現，并在NOSE算法的計算過程中選取盡可能多的備選語音，制定英語音標順序，進而減少運算量，節約語音識別時間。

1.2 系統模塊資源設計

1.2.1 語音訓練模塊

語音訓練模塊為參考數據庫和專家數據庫提供資源，資源包括英語語音的語料和音標，在線連續交互式英語語音智能識別系統的功能在很大程度上受限于數據庫資源，尤其是語料資源[5]。好的語料資源可增進識別結果的有效性，系統要求語音訓練模塊的語料資源具有廣泛性、代表性和一致性三種特點[6]。廣泛性要求語料結構類型兼容性強，涵蓋大多數的英語口語發音規則。代表性要求語料資源中含有性別、年紀、語速和方言等資源。一致性要求語料標記點具體且詳細，能夠與用戶英語語音對應一致。

組織我國多所不同地域的外國語大學教授錄制語料資源，男女人數各50人，每人錄制40分鐘英語語音，共計2 300句，包含1 600個英語單詞。錄制結束后對語音中的單詞等級進行標記，組成語料資源，表1為錄制過程中的英語語音采集標準。

語音訓練模塊音標資源是英語的48個音標，包括20個元音、28個輔音，元音包括12個單元音和8個雙元音。解析音標資源，參考數據庫或專家數據庫中一同出現3個單詞的幾率為：

式中：表示單個單詞出現的幾率；表示2個單詞一同出現的幾率。式（1）決定著數據庫的工作強度。

1.2.2 在線連續交互式識別模塊

在線連續交互式識別模塊實施系統數據庫的評價、糾正工作，模塊將進行大量運算，需要處理芯片支持運算。DSP芯片[7]（Digital Signal Processing，信號處理芯片）適合處理數字信號，其體積小、價格便宜，適合安裝在手機和平板電腦上使用。DSP芯片還具有強大的在線交互能力，處理速度快。在線連續交互式識別模塊選擇的DSP芯片是OMAP 5912ZZG[8]，該芯片內部配置了開發工具，多媒體數據庫、DSP操作系統、鏈橋技術均能夠免費使用，圖2是OMAP 5912ZZG芯片結構。

圖2中，OMAP 5912ZZG芯片存儲處理器規格是250 KB的隨存隨取存儲器，作用是對英語語音數據和液晶顯示屏的顯示數據進行緩沖。內存卡用于進行系統內存擴展，交互式矢量圖對音頻進行幀緩沖。英語語音在線連續交互的實現由存儲處理器完成，它支持多種處理模式。OMAP 5912ZZG芯片能夠對英語語音識別任務進行內存分配，并經由以太網接口移植出語音識別函數。在線連續交互式識別模塊進行語音識別時，OMAP 5912ZZG芯片的地位是協同處理器，主處理器是用戶手機或平板電腦上的微處理器。

2 語音識別函數設計

語音識別函數是在線連續交互式英語語音智能識別系統的基礎識別函數，識別流程如圖3所示。

語音識別函數的本質是一種梅爾頻率倒譜系數，在語音識別中具有能量特征，與音頻之間的關系是非線性的，符合人類聽覺神經的信號收發特點，識別率高[9]。語音特征處理分為濾波、樣本采集、格式變更、信號增大和語音分幀。單元匹配指加窗操作，加窗的作用是平滑語音相鄰幀之間的信號。設是窗函數，是幀信號，為幀序列，則可表示加窗后的語音幀信號。窗函數有三種形態，分別是矩形（Rectangular）、漢明（Hanming）和漢寧（Hanning），表示如下：

式中為幀數量。

在線連續交互式英語語音智能識別系統按照用戶英語語音特點自動選擇窗函數形態。

詞性解碼與語法解析即為經歷傅里葉變換的過程，可獲取到語音信號的頻率譜線，設是變換后的幀序列，有：

設語音特征處理后的語音能量為經余弦變換后得到語義解析結果：

式（4）和式（5）給出的解析結果中存在一部分無用數據，有用數據主要存在于的區間內，式（6）是刪除無用數據后的歸一化識別結果：

式中是式（4）和式（5）的歸一化結果。

3 實驗

3.1 實驗介紹

為了對在線連續交互式英語語音智能識別系統的有效性進行分析，本次實驗從標準的模式識別數據庫中提取語音訓練集。訓練集為“Continuous online interactive English speech intelligent recognition system is very good”，共11個英文單詞。

實驗的語音采樣頻率為20 kHz；語音信號窗選擇24維漢明窗，長度是18 ms，分幀243點，幀移75點；語音特征參數的矢量量化為48碼，量化后生成一個42×70階的矩陣；11個單詞經訓練后都能輸出一個語音模型。

圖4為實驗環境圖，為了防止安裝于手機或平板電腦上的英語語音智能識別系統受到手機硬件性能的限制無法發揮全部功能，統一在計算機上模擬高端手機硬件性能進行實驗。

3.2 實驗結果及分析

對訓練集的11個單詞用本文系統、Audry系統、端點檢測系統和HMM系統分別進行實驗，實驗采用Matlab 6.5軟件進行整體管控、輸出實驗結果。對以上四個識別系統進行的一系列語音處理與識別過程進行參數提取，取得語音模型。進行5次訓練，求得5次訓練中語音模型的識別率平均值，實驗結果如表2所示。表3是四個系統語音識別時間平均值對比表。

從表2中的數據可以看出，本文系統的語音識別率明顯高于端點檢測系統和HMM系統，與Audry系統的語音識別率相差不大。由于表2中的實驗數據過多，不方便分析，對原始實驗結果的本文系統數據和Audry系統數據進行處理，合并單次訓練中的語音識別率，求取平均值，將語音識別率的平均值描繪成折線圖，以便于分析，如圖5所示。為了增加對比結果的說服力，本文在繪制折線圖時縮小了縱坐標的數值差距。

從表3中可以看出，端點檢測系統的語音識別時間最長，Audry系統無明顯優勢，本文系統和HMM系統的語音識別時間都很短，本文系統更勝一籌。

從圖5中可以看出，本文系統的折線圖位置要比HMM系統的折線圖位置偏高一些，語音識別率更好一些。

綜合分析語音識別率和語音識別時間的實驗結果可知，本文設計的在線連續交互式英語語音智能識別系統的語音識別率高且識別時間短，有效性強。

4 結 論

本文設計了在線連續交互式英語語音智能識別系統，依次介紹了系統的工作流程、模塊資源和識別函數。實驗采用Matlab 6.5軟件驗證系統的有效性，對比了Audry系統、端點檢測系統和HMM系統，對比結果表明，本文系統具備較強的有效性。

參考文獻

[1] 商雄偉，張志祥，邱舒婷.一種通用的限定領域智能語音導學系統設計方法[J].計算機工程，2016，42（6）：299?304.

[2] 胡丹，曾慶寧，龍超.調制域譜減法用于魯棒性語音識別[J].科學技術與工程，2016，16（4）：216?220.

[3] 馬英，陳超，張凌飛，等.感覺加權濾波在安多藏語特征提取中的應用[J].科技通報，2016，32（8）：207?209.

[4] 劉榮輝，彭世國，劉國英.基于智能家居控制的嵌入式語音識別系統[J].廣東工業大學學報，2014，31（2）：49?53.

[5] 馬英，陳超，賈國慶.基于LPC的藏語語音基音周期的檢測分析[J].現代電子技術，2015，38（16）：13?15.

[6] 劉增鎖，師勝利，王靜紅.基于交互的軟件模型研究[J].現代電子技術，2016，39（15）：119?122.

[7] 周璐璐，鄧江洪.一種機器人智能語音識別算法研究[J].計算機測量與控制，2014，22（10）：3267?3269.

[8] 呂淘沙，湯汶，萬韜阮，等.增強現實交互技術在歷史博物館中的應用[J].西安工程大學學報，2015，29（6）：728?732.

[9] 馬莎莎，戴曙光，穆平安.基于短時能量的循環AMDF基音檢測算法[J].計算機仿真，2014，31（7）：278?282.