基于隱馬爾可夫模型的連續語音同步識別系統

李玉華

摘 ?要： 語音同步識別系統的發展方向是連續性的人機交互，采用傳統系統易受到突發性噪聲影響，致使識別效果較差，提出基于隱馬爾可夫模型的連續語音同步識別系統。結合語音識別原理，設計系統硬件總體結構。利用JFET輸入高保真運放的OPA604低通濾波器，保證信號處理結果的有效性。通過OMAP5912ZZG型號芯片對處理后的信號進行存儲，使用矢量圖緩沖音頻，經由以太網接口移植相關語音識別序列，由此實現連續語音同步識別。由實驗對比結果可知，該系統比傳統系統識別效果最高值高出48%，推進了語音識別技術研究的快速發展。

關鍵詞： 隱馬爾可夫模型; 連續語音識別; 同步識別; 信號處理; 人機交互; 系統結構設計

中圖分類號： TN912.34?34; TP391.42 ? ? ? ? ? ? ? 文獻標識碼： A ? ? ? ? ? ? ? ? ?文章編號： 1004?373X（2019）11?0064?04

Abstract： The current development direction of the speech synchronization recognition system is successive human?computer interaction. The traditional system is easily affected by the sudden noise， which may cause the poor recognition effect. Therefore， a continuous speech recognition system based on hidden Markov model is proposed. In combination with the principle of speech recognition， the overall hardware structure of the system is designed. The low?pass filter of JFET?input high?fidelity operational amplifier OPA604 is utilized to ensure the validity of signal processing results. The chip OMAP5912ZZG is used to store the processed signals after acquisition. The vector map is used to buffer the audio frequency signal， and transplant the related speech recognition sequence via the Ethernet interface， thus the continuous speech synchronization recognition is realized. The experimental results show that the recognition effect of the proposed system is 48% higher than that of the traditional system， and the system can promote the rapid development of speech recognition technology research.

Keywords： hidden Markov model; continuous speech recognition; synchronous recognition; signal processing; human?computer interaction; system structure design

0 ?引 ?言

語音是人們用于信息交換和連通的快捷方式，也是人類特有功能，更是人類經常使用的交流工具。隨著現代信息化時代來臨，使用智能技術對語音進行存儲、識別與合成，可使語音信息被有效利用。語音的重要性大大推動了語音信號的處理發展。而語音識別作為信號處理研究的重要領域，其作用是將語音轉換為控制命令，使計算機與人類語音相融合，將語音識別應用到多個技術領域之中，甚至還可擴展到人體學[1]。

隨著計算機技術的快速發展，語音識別已經成為科學技術應用領域研究的熱點問題，并逐漸進入人們的日常生活，語音識別已成功應用到手機和電視等智能設備，給人類未來生活方式帶來深遠影響[2]。語音同步識別是將語音數據全部轉換為文本形式，突破語種和腔調不同造成機器與人之間溝通的障礙，使語音交互系統成為人機對話的重要工具[3]。

由于語音特性與人類語音之間差異性較大，采用傳統系統不能對連續語音進行識別，因此，在該條件下對連續語音識別進行研究是一個緊迫任務。基于此，本文提出基于隱馬爾可夫模型的連續語音同步識別系統，不斷改進與完善語音識別能力，使其被廣泛應用于語音識別的各個領域。

1 ?連續語音同步識別系統構建

連續語音識別系統構建是在一定硬件條件和實驗平臺上完成的，語音同步識別本質上是一種模式識別過程，主要包括語音信號預處理，其基本原理如圖1所示。

圖1 ?連續語音識別基本原理

由圖1可知，連續語音同步識別系統除了包括核心識別程序之外，還包括語音輸入、參數分析和文法語言模型構建等。其中語音識別系統主要由語音信號預處理、核心計算和識別基本數據三部分組成[4]。

1.1 ?系統硬件結構設計

基于隱馬爾可夫模型的連續語音同步識別將接收到的語音信號正確轉換成文本形式，該系統硬件結構設計如圖2所示。

圖2 ?系統硬件結構設計

由圖2可知，語音信號是時變信號，具有平穩性，因此對語音信號進行處理時，需使用函數對連續語音信號進行分段處理，每一段稱之為一幀，相鄰幀之間具有一定的重疊性，可減小跳變[5]。從每一幀中提取語音信號的魯棒性特征，可完成噪聲消除和特征提取[6]。

1.1.1 ?語音信號處理模塊

語音信號會隨著時間變化而發生改變，一旦出現混疊失真的噪聲干擾，就會使語音信號處理失效，因此在同步識別之前，必須使用低通濾波器對其進行防混疊失真處理[7]。語音信號處理模塊的低通濾波器設計如圖3所示。

圖3 ?低通濾波器

由圖3可知，利用JFET輸入高保真運放的OPA604低通濾波器，具有運放高阻抗、低失真特性，可保證語音信號處理過程不會受到混疊失真噪聲的干擾影響，獲取準確、有效的信號處理結果，為連續語音同步識別提供精準數據[8]。

1.1.2 ?語音同步識別模塊

將上述獲取的信號處理結果利用連續語音同步識別模塊進行大量運算，采用DSP芯片可處理數字信號，具有體積小，適合安裝的功能。DSP芯片具有強大的在線交互能力，選擇OMAP5912ZZG型號DSP芯片配置了多種開發工具和多媒體數據庫，使系統能夠免費使用。語音同步識別模塊設計如圖4所示。

圖4 ?語音同步識別模塊

由圖4可知，選擇OMAP5912ZZG型號的芯片存儲處理器規格是300 KB的隨機存儲器，通過液晶顯示屏對連續語音數據進行緩沖。利用內存卡擴展系統內存，使用矢量圖緩沖音頻，經由以太網接口移植相關語音識別序列[9]。

結合語音識別原理，設計系統硬件結構。通過函數對連續語音信號進行分段處理，可減小跳變。由于語音信號處理過程會受到混疊失真噪聲干擾影響，因此，設計防混疊失真的低通濾波器，保證信號處理結果的準確性和有效性。根據獲取信號處理結果，利用連續語音同步識別模塊進行大量運算，選擇OMAP5912ZZG型號DSP芯片可大大降低系統設計成本，經由以太網接口移植相關語音識別序列，由此完成系統硬件結構設計[10]。

1.2 ?系統軟件功能設計

根據上述設計的語音同步識別模塊對其軟件功能進行設計[11]。具體設計流程如圖5所示。

圖5 ?軟件功能設計流程

語音識別在音頻方面具有非線性特征，符合人類聽覺神經信號的收發，識別效率較高，語音特征處理可分為濾波、樣本采集和語音分幀。采用隱馬爾可夫模型對單元匹配進行加窗操作處理，可使語音相鄰幀之間的信號傳輸更加平滑[12]。

基于隱馬爾可夫模型連續語音同步識別系統是按照用戶語音特征進行自動選擇窗函數形態，詞性解碼與語法解析都是在隱馬爾可夫模型下進行的，由此可獲取語音信號頻率，并利用隱馬爾可夫模型對幀序列進行變換，解析幀序列中存在的部分失效數據，對其進行刪減。

根據上述步驟可獲取語音幀處理結果，但經過處理后的結果受到突發性噪音影響，部分語音幀短時平均能量突然提高，使得獲取的識別結果不準確，為此設計如圖6所示的處理階段流程。

圖6 ?處理階段流程

具體實施步驟如下：

1） 當語音信號處于靜音階段時，令status=0，增加語音信號幀，如果某一幀短時能量出現過高問題，那么該幀為語音信號起始點，此時令status=1，說明語音信號進入了過渡期，無法確定該部分為語音段。

2） 繼續增加語音信號幀，如果某一幀短時能量出現過低問題，那么該幀表明過渡段恢復到靜音階段，此時status=0。

3） 如果該幀短時能量高于amp1，并且繼續增加幀號，則可確定信號進入語音階段，此時status=2，當前語音幀幀號為語音初始點。

4） 如果當前幀為語音段，則status=2，語音幀短時能量低于amp2，那么該段為噪聲。

5） 繼續增加幀號，當持續時間大于靜音階段時，則說明語音信號端點正常，可輸出有效語音。

根據系統軟件設計流程，采用隱馬爾可夫模型對單元匹配進行加窗操作處理，可使語音相鄰幀之間信號傳輸更加平滑。自動選擇窗函數形態，獲取經過隱馬爾可夫模型變換后的幀序列。由于獲取的結果中存在部分失效數據，為此，需刪減一部分數據，并設計處理階段流程，由此完成系統軟件部分的設計。

2 ?實 ?驗

為了對基于隱馬爾可夫模型的連續語音同步識別系統的有效性進行實驗分析，需從標準模式識別數據庫中提取部分語音訓練集。

2.1 ?實驗參數設置

實驗參數設置情況如表1所示。

表1 ?實驗參數設置

2.2 ?實驗環境設置

為了防止安裝在電腦上的語音同步識別系統受到硬件性能影響而無法將全部性能發揮出來，需統一利用計算機上的高端系統性能進行實驗驗證分析。實驗環境設置如圖7所示。

2.3 ?實驗結果與分析

根據上述實驗參數和實驗環境，分別將傳統系統與基于隱馬爾可夫模型系統在突發性噪聲影響下，對其識別效果進行對比分析。

將這兩種系統的語音信號和短時能量進行驗證，結果如圖8所示。

圖7 ?實驗環境

圖8 ?兩種系統端點檢測

由圖8可知：傳統系統在信號為1 000～2 000 Hz，6 300～6 900 Hz，8 900～9 200 Hz時出現中斷現象，導致短時能量失效;而基于隱馬爾可夫模型系統沒有出現中斷現象，可準確獲取短時能量。

根據上述對比內容，將這兩種系統識別效果在突發性噪聲影響下進行對比，結果如表2所示。

表2 ?兩種系統識別效果對比

由表2對比結果可知，基于隱馬爾可夫模型系統比傳統系統識別效果要好。

2.4 ?實驗結論

根據上述內容，可得出如下實驗結論：當噪聲分別為20 dB，40 dB，60 dB，80 dB，100 dB時，基于隱馬爾可夫模型系統比傳統系統識別效果高15%，20%，26%，22%，48%。由此可知，基于隱馬爾可夫模型連續語音同步識別系統設計是有效的。

3 ?結 ?語

由于語音識別系統設計過程較為復雜，加上時間條件限制，采用傳統方法容易受到突發性噪聲影響，識別效果較差，為此，本文設計基于隱馬爾可夫模型連續語音同步識別系統。該系統雖然在防御突發性噪聲影響上設計了低通濾波器，但系統對于環境的適應能力還有待加強，因此可充分考慮語音識別系統語音加強方法，增加信噪比，提高系統性能。

參考文獻

[1] 郭雷勇，李宇，林勝義，等.用于隱馬爾可夫模型語音帶寬擴展的激勵分段擴展方法[J].計算機應用，2017，37（8）：2416?2420.

GUO Leiyong， LI Yu， LIN Shengyi， et al. Excitation piecewise expansion method for speech bandwidth expansion based on hidden Markov model [J]. Journal of computer applications， 2017， 37（8）： 2416?2420.

[2] 王蕊，李彥驍，孫輝，等.基于隱馬爾可夫模型的切換飛行控制系統性能分析[J].電子與信息學報，2017，39（4）：989?996.

WANG Rui， LI Yanxiao， SUN Hui， et al. Performance analysis of switched flight control systems based on hidden Markov model [J]. Journal of electronics & information technology， 2017， 39（4）： 989?996.

[3] 李方偉，李騏，朱江.改進的基于隱馬爾可夫模型的態勢評估方法[J].計算機應用，2017，37（5）：1331?1334.

LI Fangwei， LI Qi， ZHU Jiang. Improved method of situation assessment method based on hidden Markov model [J]. Journal of computer applications， 2017， 37（5）： 1331?1334.

[4] 曹薈強，林仲志，吳水才.基于隱馬爾可夫模型的老年人跌倒行為檢測方法研究[J].中國生物醫學工程學報，2017，36（2）：165?171.

CAO Huiqiang， LIN Zhongzhi， WU Shuicai. A detection method for the fall behavior of elders based on hidden Markov model [J]. Chinese journal of biomedical engineering， 2017， 36（2）： 165?171.

[5] 李娟，張冰怡，馮志勇，等.基于隱馬爾可夫模型的視頻異常場景檢測[J].計算機工程與科學，2017，39（7）：1300?1308.

LI Juan， ZHANG Bingyi， FENG Zhiyong， et al. Anomaly detection based on hidden Markov model in videos [J]. Computer engineering and science， 2017， 39（7）： 1300?1308.

[6] 林勇，劉湘瓊.基于隱馬爾可夫模型的拷貝數變異檢測算法研究[J].計算機應用研究，2017，34（2）：436?439.

LIN Yong， LIU Xiangqiong. Study of copy number variant detection algorithm based on hidden Markov model [J]. Application research of computers， 2017， 34（2）： 436?439.

[7] 馮超，景小寧，李秋妮，等.基于隱馬爾可夫模型的空戰決策點理論研究[J].北京航空航天大學學報，2017，43（3）：615?626.

FENG Chao， JING Xiaoning， LI Qiuni， et al. Theoretical research of decision?making point in air combat based on hidden Markov model [J]. Journal of Beijing University of Aeronautics and Astronautics， 2017， 43（3）： 615?626.

[8] 肖曉紅，張懿，劉冬生，等.基于隱馬爾可夫模型的音樂分類[J].計算機工程與應用，2017，53（16）：138?143.

XIAO Xiaohong， ZHANG Yi， LIU Dongsheng， et al. Music classification based on hidden Markov models [J]. Computer engineering and applications， 2017， 53（16）： 138?143.

[9] 王俊力，馮錫煒，孟菲.石油石化設備巡檢小車語音識別與控制系統設計與實現[J].電子設計工程，2017，25（22）：74?77.

WANG Junli， FENG Xiwei， MENG Fei. Petroleum and petrochemical equipment inspection car voice recognition and control system [J]. Electronic design engineering， 2017， 25（22）： 74?77.

[10] 吳震東，潘樹誠，章堅武.基于CNN的連續語音說話人聲紋識別[J].電信科學，2017，33（3）：59?66.

WU Zhendong， PAN Shucheng， ZHANG Jianwu. Continuous speech speaker recognition based on CNN [J]. Telecommunications science， 2017， 33（3）： 59?66.

[11] LI Changjiang， HU Yan. Research of phoneme recognition based on recurrent neural network [J]. Microelectronics & computer， 2017， 34（8）： 47?51.

[12] GE Yongkan， YU Fengqin. Improved speech synthesis with adaptive postfilter parameters [J]. Computer engineering and applications， 2017， 53（1）： 168?171.