基于國產語音專用芯片的新型識別模組設計及空調應用

毛躍輝 文皓

珠海格力電器股份有限公司 廣東珠海 519070

1 引言

隨著人工智能技術的逐漸成熟，“語音識別”將會是人與機器最自然的交互方式，語音控制的空調產品化將有助于提升空調產品的競爭力，形成技術制高點，領先市場競品。通過調研目前市場上已經在售的語音智能單品，發現目前行業普遍采用的語音識別方案是基于通用主控芯片并搭載Linux系統、Wi-Fi模塊，解決方案硬件成本高并且自主可控性差，制約著未來千億量級物聯網終端的規模化應用。為了實現語音方案低成本、低功耗、數據可靠、高性能的目標，本文提出一種基于國產物聯網操作系統的專用國產芯片和國產Wi-Fi芯片的輕量級語音異構AI計算平臺。完全國產化的產品，將來能夠支持語音模組在物聯網設備中的大規模應用，此次在語音空調中成功應用，具有重大意義。

本文設計一款基于國產專用語音芯片搭載國產物聯網系統的語音模組，包括模組硬件設計和軟件設計[1]。硬件設計上實現語音信號采集、語音信號處理、語音識別結果控制的功能。軟件設計上優化回聲消除和自然語言處理過程，使得語音識別性能能夠滿足工程應用需求。

2 硬件選型設計

本模組主要由國產專用語音芯片、國產Wi-Fi輕量級芯片、采樣電路、FLASH、接口電路等組成，使語音模組兼具配網、IoT控制、通訊、語音處理等功能，最遠可支持5米的高精度識別，實現智能控制全套語音化操控。根據整體系統功能特性，考慮性能、功耗、穩定性等方面的平衡，最大程度上做到語音系統低成本、低功耗、高性能。模組硬件框圖如圖1所示。語音系統整體啟動時間在4 s左右，工作電壓12 V左右。詳細參數如表1所示。

圖1 模組硬件框圖

表1 系統參數

2.1 語音芯片選型設計

語音專用芯片基于Cortex-A5處理器，頻率最高1 GHz；其中封裝32 M RAM、1個DSP模塊和1個10通道的DMA控制器；芯片內置音頻ADC和DAC，最多支持6路音頻輸入，2路音頻輸出。整個芯片能夠支持低功耗和自適應動態電源管理架構，能夠滿足國產物聯網操作系統[2]的運行要求和語音前端降噪及離線識別的運行要求。語音專用芯片架構框圖如圖2所示。

圖2 語音專用芯片架構框圖

2.2 Wi-Fi芯片選型設計

Wi-Fi芯片選型主要關注點：支持工作模式、PA（功率放大器）和LNA（低噪聲放大器）是否內置、數據接口、天線端口個數、射頻校準和產測方案、射頻性能、方案穩定性等等。在充分考慮整體語音系統框架、功能、功耗、成本等要求，決定采用國產Wi-Fi SoC方案。本方案是輕量級OS系統，具有啟動快、功耗低的特點，且Wi-Fi芯片最終經過相應測試，性能能夠滿足項目需求。芯片具體規格如表2所示。

表2 Wi-Fi芯片選型規格參數

設計時需注意要點：

（1）PCB板厚需要大于等于1 mm；

（2）為減小信號干擾，信號走線，信號線和電源線走TOP層；

（3）為減小信號反射，信號線盡量短，信號線不要穿越電源和地分割區域，保持完整的電源地參考平面；

（4）合理設計結構，保證產品內部與外界有熱交換途徑。單板上大功率且易產生熱量器件要均勻分布，避免局部過熱，影響器件可靠性和散熱效率。

2.3 麥克風采樣電路設計

采樣電路采用差分輸入電路和外圍保護元器件，起到抑制共模信號、抑制尖峰電流、通交隔直的作用。采用麥克風偏置電壓源，對麥克風輸入提供一個電壓參考。其中一路麥克風采樣原理圖如圖3所示。

圖3 麥克風采樣電路

3 語音降噪和系統設計

語音識別主要作用就是把一段語音信號轉換成相對應的文本信息，然后通過各控制模塊間的通訊把識別到的信息進行落實。該系統主要采用國產物聯網操作系統雙SoC的方式，主要由前端降噪、語音識別、語義理解、控制處理、語音合成、Wi-Fi聯網通訊等部分組成的遠場語音識別系統[3]。用戶的語音指令通過麥克風的拾音，經過云端音頻轉文本和語義理解的處理，最后用戶的意圖被轉化成空調能夠識別的文字、格式，通過URAT跟空調主板進行通訊，并實現用戶意圖的控制。通過Wi-Fi連接云端資源服務器，從云端獲取在線資源，便于實現用戶的非空調控制意圖。語音系統框架主要如圖4所示。

圖4 語音系統流程框架圖

3.1 前端降噪優化設計

ASR（Automatic Speech Recognition）自動語音識別系統主要由聲學特征提取、語言模型、聲學模型和解碼器等組成。訓練識別的過程是從原始波形語音數據中提取的聲學特征，經過訓練得到聲學模型與發聲詞典、語言模型組成網絡，對新來的語音提取特征，經過聲學模型表示，通過解碼得出識別結果，語音前端識別流程如圖5所示。

圖5 前端識別流程圖

為了盡可能地提高語音系統的識別率，在語音拾音前端就需要開始進行優化設計。對麥克風拾音在設計麥克風陣列時，注意保證麥克風陣列的一致性和密封性，在拾音端優化回聲消除。麥克風陣列設計需滿足以下3點：1）實現聲音到達麥克風的路徑盡可能短、寬；2）聲音路徑內不要存在任何空腔；3）麥克風需要有橡膠套和固體表面隔絕，起到降低殼體震動傳聲以及密封性的作用。

通過前端降噪陣列的設計，配合融合深度學習的自適應遠場語音降噪技術，解決前端信號因遠場環境復雜，夾雜噪音、混響、自噪聲等識別困難問題，實現可靠遠場降噪。降噪前后音頻錄音曲線對比如圖6所示，從圖6中可知，在采用自適應遠場降噪技術后，人聲得到放大，噪音被抑制，最終獲取純凈的識別人聲。

圖6 降噪前后音頻對比圖

3.2 語音識別優化設計

由于模組內部存儲資源有限，在本地音頻資源存儲上做了優化。本地音頻文件由先前的PCM（Pulse Code Modulation，脈沖編碼調制）文件格式更改為占內存更小的ADPCM（Adaptive Differential Pulse Code Modulation，自適應差分脈沖編碼調制）音頻文件格式。同時通過修改音頻使用邏輯代碼，離線播報的回復內容，更多采用多個ADPCM文件組合的方式，從而減少文件數量，減少離線播報應用對于系統資源的占用，達到提高系統資源綜合利用的效果。

其次，針對現實復雜場景下的語音識別的困難，想要有效地提高系統性能，如何獲得大量的優質標注數據至關重要。本文設計基于異構神經網絡的主動學習技術來選擇訓練數據，從海量數據中挖掘出有效的數據，降低獲取高質量數據的成本，有效提高復雜環境下語音識別性能。

模型結構采用基于MMI準則[4]（最大互信息量準則）的包括Highway跨層連接的CNN+LSTM+TDNN[5]級聯模型，云端采用基于LF-MMI（Lattice Free Maximum Mutual Information）準則的CNN+LSTM+TDNN級聯模型，利用云端采集、海量數據模擬等方法獲得超過10萬小時的數據，增強復雜環境的語音覆蓋度，提高建模效果。

設計中提出的主動學習系統[6]，采用多種子模型并行解碼的策略，從多個不同角度學習到海量無標注數據的特性，從而使得從無標注數據中挑選出來的可用數據與人工標注數據之間存在強互補特性，且因異構神經網絡中子模型與目標CLTDNN模型不同，減小挑選出來的數據與原始的標注數據之間的同質性。

另外，研發中采用基于Highway跨層連接的聲學模型訓練方法，可以進一步有效地從聲學模型角度提高模型性能，并結合特殊的數據挑選標準，使得選擇出來的數據更加貼合實際的真實場景，以此綜合進行模型訓練，有效提高綜合語音識別的性能。

由表3可知，主動學習技術選擇數據和模型訓練，只需要1200小時的數據，對系統性能的提升好于用4000小時的基線系統，由此可知，本文提出的主動學習技術數據選擇方法對訓練模型性能非常有效，極大的改善了聲學模型效果。

表3 不同數據選擇方法訓練模型的性能比較

4 試驗驗證與結果分析

4.1 Wi-Fi性能驗證分析

根據語音系統對Wi-Fi芯片的選型需求，以下針對RF性能（射頻性能）、無源和吞吐量進行試驗驗證測試。

（1）RF性能測試，測試數據如表4所示。結論：參考“Wi-Fi規格書傳導數據標準”，發射功率和接收靈敏度能滿足標準要求。

表4 PCBA單板傳導測試數據

（2）無源測試，測試數據如表5所示。結論：由于音頻常使用128 kbps、192 kbps、256 kbps、320 kbps共4種固定碼率的音樂文件，速率要求不高，并且整機吞吐測試的TX和RX的平均速率均大于2 Mbits/sec，目前的測試數據滿足實際使用需求。

表5 2400～2500 Hz頻率下（整機）測試數據

（3）吞吐測試，測試數據如表6所示。結論：使用某品牌路由器測試整機吞吐量，測試數據中TX的平均值為7.54 Mbits/sec，RX的平均值為9.48 Mbits/sec，滿足系統需求。

4.2 語音識別性能測試分析

本次語音性能測試標準參照中家院的HCT-JSGF-062-2019家用房間空氣調節器語音控制功能測評規范[7]，本規范規定了智能家用房間空氣調節器產品的語音控制功能的測評方法，與GB/T 28219-2018《智能家用電器的智能化技術通則》[8]配合使用。

表6 吞吐量測試21米穿墻（墻厚45 cm）測試數據

語音空調識別性能需滿足如下要求：

（1）語音空調應支持離線、在線雙模語音識別；

（2）語音控制功能應能夠支持5 m范圍內的有效喚醒和識別；

（3）語音空調在不同環境條件下的識別率要求，滿足如表7所示標準。前期已經量產的RK3308主控芯片搭載Linux系統的語音空調識別測試數據如表8所示，本文中國產專用語音芯片搭載國產物聯網系統的語音空調識別測試數據如表9所示。

表7 不同信噪比、距離要求達到的識別率

經對比測試（測試數據如表8和表9所示），基于國產物聯網系統專用語音芯片的語音空調識別效果和搭載Linux系統前期量產語音空調識別效果在不同的信噪比、不同的測試距離條件下測試結果相當，均符合第三方識別性能測試標準要求，搭載本語音模組的語音空調可滿足產業化推廣應用要求。

5 結論

（1）該語音系統不僅啟動快、功耗低，而且實現了離線和在線雙模式語音控制。

（2）本地音頻文件由PCM格式改為ADPCM格式，占用內存小，減少離線播報音頻對于系統資源的過大占用，降低硬件成本。

（3）設計基于異構神經網絡的主動學習方法，用此方法來高效選擇數據，從海量數據中挖掘出有效的數據，降低獲取高質量數據成本，有效提高復雜環境下語音識別的準確性，經第三方機構性能測試，語音識別性能指標滿足語音工程應用要求。

綜上所述，新研制的語音識別模組因其低成本、高性能的特性（噪聲環境下，識別率90%，連續運行72 h，誤喚醒≤3次），在家電領域具有廣泛推廣的價值。

表8 搭載Linux系統的RK3308芯片語音識別測試數據

表9 搭載國產物聯網系統的國產專用語音芯片識別測試數據