智能家電語音識別與交互技術應用安全探索

黃偉彬 張明珠 孫杰英 許蘊盈

（威凱檢測技術有限公司/廣東中創智家科學研究有限公司 廣州 510663）

引言

人機交互（HCI）由傳統意義上常見的外圍設備（如鍵盤、鼠標及后續出現的觸控屏）來開展交互。這是因為計算機設備無法理解我們話語的含義，更別說理解我們的意圖了。然而，過去幾年中，人機交互模式發生了重大變化，人們目睹了語音識別與交互技術在計算機領域中的快速發展。語音作為最具效率和表現力的交流工具之一，已改變用戶與設備的交互及消費服務的方式。目前語音識別與交互技術一個廣泛應用是作為一種智能家居控制方式被大眾所接受和使用，用戶使用語音命令喚醒和操作不同的終端設備，快速互動的便利性令語音操控發展迅速，但是新技術的落地往往也會冒出一些風險和隱患。

1 語音識別與交互技術概述

語音識別與交互技術就是運用各類語音終端收集語音錄音，然后通過聲學模型將輸入的聲音進行特征提取、語義識別等處理，轉化為計算機能識別的信息，然后將識別的結果傳輸到終端進行相應的操作。

當前熱門的智能家電語音識別技術應用方式有兩種。一種是以智能音箱或手機等智能終端為語音輸入口的語音控制方式。另一種是家電本身集成語音模塊實現語音交互功能的控制方式。

1）智能音箱（如圖1）

圖1 典型智能音箱控制家電運行機制

2014年，亞馬遜推出市場上第一臺智能音箱Amazon Echo，將智能語音技術帶入這一硬件，引起市場極大追捧，隨后各大巨頭公司紛紛先后入局。谷歌智能音箱Google Home、蘋果的Apple Home Pod、百度的小度、阿里的天貓精靈、小米的小愛同學等等。

智能音箱一個命令請求的邏輯大概如下：

①智能音箱設備始終在監聽一個喚醒詞，只有當聽到喚醒詞時音箱設備才開始錄制用戶發出的語音命令。

②用戶請求的語音命令記錄被上傳到對應的廠商服務平臺，開始進行語音識別（STT）將一段音頻轉化為一段文字，然后使用NLP處理（自然語言處理）將文本轉換為機器可讀指令。

③錄音及其轉化文本被傳送到云存儲并被存儲。

④廠商服務平臺返回一個語音錄音響應，并通過揚聲器反饋給用戶。

⑤“技能”被激活。可能是打開燈或播放音樂。

2）家電本身帶語音模塊（如圖2）

圖2 集成語音模塊家電運行機制

家用電器內置語音功能，是國內家電企業一個創新嘗試，意在擺脫如智能音箱等終端在家電控制場景上的缺陷，使每一個電器都成為語音控制指控輸入入口，滿足消費者越來越高的操控性要求，進而達到更好的舒適體驗感。

語音模塊與原有的電器控制模塊通過串口進行連接，進行語音控制命令的傳輸，實現語音控制功能。

2 安全概述

盡管語音識別技術的和效率是顯而易見的，但與此技術相關的隱私和安全問題也越來越別眾多用戶關注。

2.1 數據隱私問題

無論是智能音箱、手機終端、還是帶在線語音操控的家電，大多數設備會接收用戶的問題或命令并上傳到廠商自己的云服務平臺上進行關鍵技術處理（識別、轉化等），這意味著用戶在語音交互過程中的大部分私人數據都會被廠商儲存，雖然這種儲存有可能是暫時性的。

大部分消費者首先想到可能是智能語音交互設備是否在“竊聽”？、智能音箱是否真的在喚醒后才開始進行錄制用戶語音？等問題。盡管科技廠商一再否認通過智能語音設備采集用戶隱私對話，但層出不窮的國內外智能音箱和語音助理曝出用戶語音記錄事件讓消費者在使用智能語音交互產品上產生一定的擔憂，如何平衡便利與隱私也是廣大用戶應考慮的問題。

2.2 語音命令“黑名單”

家用電器語音控制交互不應執行明顯會對消費者本身或其財產產生危害的命令。

一方面，基于人身或財產安全的基礎上，智能語音交互設備應設置部分命令“黑名單”，主動或強制禁止部分語音命令的識別及運行。另一方面，在當前智能語音交互設備不能完全消除誤喚醒的前提下，應規避部分家電的誤喚醒可能帶來的安全問題。如燃氣灶是否可以使用語音喚醒功能、是否可以使用語音命令調節火的大小等等。

2.3 存在可能各種攻擊手段

1）聽不見的語音攻擊

大部分智能終端揚聲器能接收人類聽覺范圍之外的音頻頻率，并且AI語音識別可以處理這些音頻。人耳聽覺的頻率范圍在20 Hz～20 kHz之間，而智能音箱等終端設備中的麥克風，大部分使用駐極體麥克風和MEMS（微機電系統）麥克風，頻率在10 Hz～40 kHz范圍內的聲波一般都能獲得響應[1]。故智能音箱設備能接收人耳聽不到的超聲波信號，并執行隱藏在超聲波里可能的攻擊命令。

2）常見的攻擊方式有：

SurfingAttack：利用聲波在固體中的傳播特性，通過固體介質啟動攻擊，不受視線障礙的影響[2]。

DolphinAttack：利用聲波在空氣中的傳播特性，使用人耳聽不到的超聲波信號，注入控制指令，從而實現對設備的攻擊[3]。

2.4 法規保護

屬于個人數據范疇的“語音”已經成為監管機構關注的焦點。語音識別通常被歸類為生物識別技術，跟指紋、虹膜或視網膜等人類的獨特特征具有同等的重要性，也處于各種隱私和安全法條款保護的范疇，故無論是消費者還是收集語音數據的各種設備廠商都應了解相關語音數據保護法規和各類隱私法規。

1）GDPR通用數據保護條例

自2018年5月起生效的GDPR將 “語音”歸類為 “個人數據”。雖然GDPR條例中第4.1條 “個人數據 “的定義沒有具體提到 “語音”，而是 “其身體、生理特征所特有的一個或幾個屬性”[4]，但歐洲數據保護委員會仍認為 “語音識別 “在身體或生理生物識別技術的范疇內。

2）CCPA 加州消費者隱私法案[5]

根據加州消費者隱私法（CCPA），遵循該法案的企業必須向用戶公開其收集用戶信息的做法，包括收集、披露和出售的個人信息。CCPA將 “生物識別信息 “列為 “個人信息 “的一個子集。該法案對 “生物識別信息 “定義為：”生物識別信息包括但不限于虹膜、視網膜、指紋、臉、語音等“。2021年5月10日，加州議會通過了AB-1262法案，旨在將保護消費者的范疇擴大到具有錄音功能的智能揚聲器設備。

3 結語

智能語音識別與交互技術當前正處于跨界技術融合摸索階段，難免碰到各式各樣的問題和困難，面對當前行業狀況，產業鏈上下游應有機協同，完善行業標準體系，促進技術穩健發展并落地。隨著技術的不斷完善和市場的成熟，智能語音交互未來必定會大放異彩發揮重要作用。