智能耳機自然用戶接口技術重點專利分析

黃懈 劉文靜

摘 要：文章基于CPRSABS和DWPI專利數據庫，對智能耳機自然用戶接口技術的重點專利進行了分析和整理，有助于該領域技術人員全面了解智能耳機自然用戶接口技術的基本發展態勢，對涉及智能耳機自然用戶接口領域的研發工作有較大幫助。

關鍵詞：自然用戶接口；語音；動作；腦電波；核心專利

中圖分類號：G306 文獻標志碼：A 文章編號：2095-2945（2018）13-0035-03

Abstract： Based on the patent database of CPRSABS and DWPI， this paper analyzes and arranges the key patents of the natural user interface technology for intelligent headphones， which is helpful for the technicians in this field to fully understand the basic development trend of the natural user interface technology for intelligent headphones. It is of great help to the research and development of the natural user interface for intelligent headphones.

Keywords： natural user interface； voice； action； brainwave； core patent

1 概述

自然用戶接口是指用戶不需要借用專用設備，也無需經過學習或者經過一些簡單的學習，由機器根據用戶的語音、動作、姿態、腦電波等判斷指令，并執行相應操作，具有多維度、多感官、智能化的特點。本文將智能耳機自然用戶接口技術按照技術手段劃分為語音識別、動作識別、腦電波控制三個分支，并對這三個分支的技術發展脈絡做相應梳理，同時擷取各分支的重點專利進行分析。

2 語音識別

2.1 技術發展脈絡

2000年之前涉及語音識別技術的專利申請量很少，相關專利主要集中在通訊通話中，如對人類語音的簡單判定及相關的理論分析等；2000-2013年間，語音識別技術得到了極大的發展，專利申請量較多且呈現較明顯的增長勢頭，此時語音識別技術得到人們越來越多的重視。

圖1列出了語音識別技術演進路線。可以看出，語音識別技術最早的重點專利申請是美國通用魔術公司于1999年所提交的授權公告號為US6408272B1的申請，其涉及一種分布式語音用戶界面，包含能夠接收用戶語音輸入的本地設備，其對用戶輸入語音做初步處理以確定自身是否能對用戶命令進行應答，如果不能則將語音輸入信號發送給遠程系統做進一步處理，該專利給出了早期語音識別技術的一個雛形；此后，各家公司開始積極研發語音識別技術，技術研發點逐漸覆蓋語音識別技術中的語音輸入/輸出、語音數據處理、語音軟件產品、語音分析系統以及語音控制等，如美國電話電報公司提出的公開號為US8392188B1的發明專利申請，其主要涉及獨立語音識別系統中音位配列模型的建立方法，通過使用電流音位結構模型識別來自用戶的輸入通信的手機，從所識別的電話中檢測詞素（聲學和/或非聲學），并輸出所檢測出的詞素以進行處理，進一步的，該方法還更新所檢測的詞素的音位結構模型和下一個用戶交互期間存在用于由系統中使用的數據庫的新模型。微軟公司提出的公開號為EP1199712的發明專利主要涉及語音識別中的噪聲處理，通過對輸入的語音信號進行降噪處理，可以更準確的識別出語音關鍵信息，提升了語音識別的準確性。

通過對語音識別技術領域重點專利的申請人分析可以發現，該領域的重點專利主要被美國公司所擁有，我國語音識別領域的相關專利質量參差不齊，部分專利內容比較簡單，涉及的技術點比較單一，保護范圍較小，與發達國家相比，在技術上仍然存在著明顯的差距，要真正形成國產智能耳機的核心競爭能力，還要走很長的路。

2.2 與語音識別相關的重點專利

蘋果公司于2013年3月提出了一件授權公告號為US9363596B2，發明名稱為“使用加速計檢測用戶的語音活動的系統和方法”的專利，其給出了智能耳機語音識別技術發展的新思路。

圖2示出了本發明耳機的主要結構，由圖可以看出，耳機包含一對耳塞和耳機線，用戶可以將耳塞中的一個或兩者佩戴在耳朵上，耳機中的麥克風接收用戶的語音信號。這些麥克風可以是空氣接口聲音拾取裝置，其將聲音信號轉換為電信號，當用戶采用耳機傳輸其語音時，環境噪音也可能被傳送。耳塞包含揚聲器，用于檢測運動的加速計以及面對骨膜方向的前部麥克風和背對骨膜方向的后部麥克風，同時，在與耳塞連接的耳機線上具有多個麥克風，其形成一個或多個麥克風陣列，耳機線上的麥克風陣列可以用來形成麥克風陣列波束，通過增強或減弱選取的麥克風以獲得一個給定方向的波束。通過加入傳感器和麥克風進行語音智能識別，以及耳機中內置的多個傳感器，包括兩個加速傳感器和麥克風，這些傳感器將與位于耳機線上的降噪麥克風配合，形成抑制噪音的系統，從而在更大程度上提升耳機的降噪功能。而傳感器作為語音活動檢測器，專門檢測由用戶所產生的振動，不論是用戶聲帶產生的“既濁音”，還是不使用聲帶產生的“清音”，傳感器都可以通過組織和骨骼中的振動檢測到。而通過加速計檢測到的振動數據，將會整合到前置和后置麥克風中，而從麥克風中輸出的信號，將用來識別“既濁音”和“清音”。

3 動作識別

3.1 技術發展脈絡

借助視覺或運動感知設備，用戶本身可以充當遙控耳機的角色，通過不同的動作，向耳機發出不同的指令。在這種人機交互模式下，用戶不需要使用額外的設備來達到控制目的，通過動作的合理設計，使得用戶對耳機的動作控制完全符合用戶的習慣，形成一種符合人類直覺的自然的交互系統。

圖3示出了動作識別技術演進路線。由圖可以看出，動作識別技術最早的重點專利申請是由美國人米勒·史蒂芬于2000年所提交的授權公告號為US7109970B1的個人申請，其涉及一種使用聲音和手勢遠程控制計算機和其他電器的設備，其給出了早期動作識別技術的一個雛形；此后，韓國的三星電子株式會社于2006年所提交的公開號為KR20060121784的申請給出了基于手勢的用戶接口方法和裝置。然而，這個階段有關動作識別的精度并不高，在肢體動作上停留在靜態手勢識別，且相應的硬件處理速度還遠遠達不到要求，加上市場對于智能耳機動作識別的互動技術需求不高，導致該領域技術的發展在比較長的一段時間內都處于實驗性階段。2007年，美國的繽特力公司提出了發明名稱為“光學耳機用戶接口”，授權公開號為US7631811B1的專利申請，該耳機在用戶佩戴的外部具有一個指墊，耳機還包括一個光學掃描儀用來掃描指墊并輸出一系列手指放置在指墊上的連續圖片，耳機處理器處理光學掃描儀的輸出并檢測手指在指墊上的相對運動，通過識別出的手指的運動以執行相應的功能；加拿大的行動研究有限公司于2010年提出了授權公開號為US8405528B2，發明名稱為基于手勢的智能耳機專利申請，其也是涉及智能耳機中的用手勢控制媒體播放器的技術。我們可以看到，這一階段動作識別技術的研究得到了不斷的重視，隨著耳機功能的不斷豐富和發展，許多發明人開始尋求新的耳機互動技術。到2013年，美國微軟公司提出了具有姿勢控制的耳機（公開號為TW201511578A），其通過點頭或頭的傾斜，而不是明顯的身體互動實現對耳機的控制，通過頭部簡單動作的控制，可以促進裝置的隱秘使用以及使用者的隱私；丹麥的奧迪康有限公司提出了用于聽力裝置的體戴式控制設備（公開號EP2731356B1），其依靠識別出的預定手勢控制聽力裝置；臺灣的緯創資通股份有限公司提出了用于穿戴式電子裝置的控制方法（公開號TW201537390A），該方法包含偵測手勢動作，并據以產生偵測結果，以及依據該偵測結果控制穿戴式電子裝置執行預定功能及產生提示訊號。我們可以看到，經過前期的技術積累和市場選擇機制，智能耳機中動作識別技術的一些基本功能已經實現，當前階段出現了大量改進型的專利申請，技術功效集中在用戶體驗和可靠性方面。

通過對動作識別技術領域重點專利的申請人分析可以發現，該領域的重點專利仍然主要被美國公司所擁有，我國動作識別領域的相關專利仍然存在質量參差不齊，專利內容比較簡單，涉及的技術點比較單一，保護范圍較小的問題。

3.2 與動作識別技術相關的重點專利

奧迪康有限公司于2012年提出了一件公開號為EP2731356B1，發明名稱為“用于聽力裝置的體戴式控制設備”的申請，包括殼體并適于依靠識別出預定手勢而控制聽力的裝置，殼體包括安排成與佩戴者的身體區域電容性耦合的參比電極及包括第一傳感器電極，控制設備還包括：適于在第一傳感器電極和參比電極之間提供第一電試探信號的第一信號發生器；適于根據第一傳感器電極和參比電極之間的阻抗確定第一信號值的第一測量電路；適于根據第一信號值識別出手勢的檢測器；及適于根據識別出的手勢向聽力裝置提供控制命令的控制單元，其中第一信號發生器適于在多個信號頻率下提供電試探信號；第一測量電路適于在多個信號頻率下確定第一信號值；及檢測器適于根據在不同信號頻率下確定的第一信號值之間的比率的變化識別出手勢。

相比采用傳統的電容性接觸傳感器對動作進行識別，該專利所采用的動作識別手段有效的減小了耳機的體積，同時，其有效避免了由于來自環境溫度和濕度的不可控影響造成用戶界面控制不可靠的弊端。

4 腦電波控制

4.1 技術發展脈絡

相對于語音識別和動作識別技術的較早發展，智能耳機中的腦電波控制技術起步相對較晚，一方面這是由于人的大腦過于復雜，人類對于它的研究還比較初級，另一方面，腦波測量的困難也成為阻礙技術進一步發展的重要原因。然而，腦電波控制技術作為最自然的人機交互方式，近幾年來，其已成為智能耳機自然用戶接口技術中的研究熱點。

圖4示出了腦電波控制技術演進路線。由圖可以看出，腦電波控制技術最早的重點專利申請是2002年法國電信公司提出的公開為GB2396421A的申請，其涉及一種測量頭部信號和面部肌肉運動的頭戴設備，通過電極對頭部信號采集以實現對終端的控制。該申請給出了利用腦電波控制終端的技術方案，但這一階段腦電波對終端的控制效果并不可靠；其后，智能耳機腦電波控制技術逐漸發展，相繼出現了通過情感和思維控制的計算機（公開號US2010173271A1），具有生物傳感器的音頻耳機（公開號US8271075B2），基于NFC的腦電波β波信號感應藍牙耳機（W02016192455A1），用于探測和控制腦電波信號的傳感器（公開號US2012197092A1）等。然而，目前涉及的腦電波控制技術專利還停留在一些簡單控制上，由于人腦的復雜和腦波采集的困難，要實現真正的智能耳機意念控制還有很長的路要走。

4.2 與腦電波控制技術相關的重點專利

紐羅斯凱公司于2007年提出了一件公開號為US2008177197A，發明名稱為“根據腦電波信號處理系統評估精神狀態的方法和裝置”的申請，其是一種無噪音的便攜式的腦電情緒識別系統，由硬件和軟件組成，能夠高質量的估計腦狀態，腦狀態的高質量信號能夠被采集用于各種領域的腦機接口，包括消費產品、視頻游戲、玩具、軍事和航天領域。該專利屬于腦機接口領域的基礎專利，其后紐羅斯凱公司自身開發的一款意念控制耳機就采用了這項專利技術，美國最大的玩具公司美泰公司的Mindflex及后續產品也均基于這項專利技術得以實現。

5 結束語

本文通過研究智能耳機自然用戶接口技術的重點專利，對所屬領域技術人員的研發工作提供了一定的指導。

參考文獻：

[1]房廷舜，胡濤，劉有成.基于STM32的智能耳機控制系統設計[J]. 機械工程師，2017（02）：87-88.