用于失語群體的智能“眼-語”助手的設計

雷濤，許兆坤，王昭昳，李釗，張林媛，路國華

空軍軍醫大學 a. 軍事生物醫學工程學系；b. 基礎醫學院，陜西 西安 710032

引言

失語群體是指言語功能喪失群體，其主要包括出生缺陷、聲帶損傷等導致的失語群體[1-2]以及腦卒中、脊柱損傷等退行性疾病導致的失語群體[3-5]。該類群體基數大，由于無法像正常人一樣交流溝通，嚴重影響其正常工作、學習、娛樂、就醫、維權等，甚至一些低文化言語殘障人士面臨生存危機，對家庭和社會造成了一定的負擔[6]。因此如何消除失語群體社會參與障礙，尊重和保護殘障人士的自主權、生命權和人格完整權，推動殘障人士共享經濟社會發展成果，增強全社會扶殘助殘意識，是目前需要重點解決的問題[7-8]。本研究通過設計并制作一個可穿戴的智能“眼-語”解決裝置，旨在幫助失語群體實現基本的交流，提升該類人群社會生活的能力。

1 系統設計方案

1.1 主要元件及其作用

系統整體架構如圖1 所示，主要元件及其作用包括：4 個反射率傳感器（Pololu-2459 QTR-1RC，用于捕捉右眼球運動方向）、USB3.0A 電纜（為傳感器供電以及將傳感器輸出信號傳輸至Aduino Nano模塊）、Aduino Nano模塊（用于處理傳感器輸出信號和系統控制）、文本轉語音模塊（Parallax Emic 2，主要將患者5 s 內2 個眼球運動方向所對應的預定義文本短語轉換為語音輸出、移動電源（+5 V，為系統供電）、抗掉電模塊（防止系統低功耗造成移動電源無法檢測到耗電設備）、音頻插座（為外部揚聲器提供輸出接口）、基板（將Arduino 模塊、文本轉語音模塊、抗掉電模塊、音頻插座及內部揚聲器的電氣連接整合到一個電路板上）、普通眼鏡（為4 個反射率傳感器提供一個支架，方便傳感器捕捉眼球運動方向）、系統外殼及傳感器支架（為確保設備的便攜性，設計了一個3D 打印的外殼，將除傳感器及眼鏡外的硬件電路封裝在一個外殼中；同時，為了將傳感器固定在眼鏡上，為4 個傳感器也3D 打印了一個傳感器支架，傳感器支架可用雙面膠固定在眼鏡上，見圖2。

圖1 系統整體架構

圖2 系統外殼及傳感器支架

1.2 運行原理和優勢

整個解決方案是基于Arduino 平臺，該平臺是一個開放源代碼的單芯片微控制器，其使用了Atmel AVR 單片機，采用了基于開放源代碼的軟硬件平臺。使用連接到普通眼鏡上的4 個紅外反射率傳感器，實現對右眼球運動狀態（向上、向下、向左、向右及閉眼）的識別。每識別2 個連續的眼球運動動作（上、下、左、右）的組合，文本轉語音模塊即輸出該組合所對應的預定義短語，如患者右眼球先向上看，然后向右看，“眼-語”助手可以解釋這個動作（上+右），文本到語音模塊將輸出其對應的預定義短語。同時整個系統的控制采用Arduino Nano 模塊實現，其即可滿足失語群體對相關功能的需求，并且其體積較小，易于攜帶。整個系統硬件PCB 基板大小為64 mm×55 mm；同時，根據硬件系統尺寸大小，設計了一個3D 打印的外殼，可便于穿戴。

2 硬件設計

主設備需要一個微處理器，作為設備的“大腦”，協調輸入、計算和產生的輸出，同時保持對順序任務的跟蹤等，本研究選擇Arduino Nano 完成這項任務。首先為實現音頻輸出功能，使用了Parallax Emic 2 這一高質量的文本轉語音控制器；然后添加一個連接眼鏡上紅外反射率傳感器傳輸信號的USB 3.0 A 型母頭連接器，一個用于外部揚聲器的3.5 mm AUX 音頻插座，該音頻插座額外引出一個2 針頭連接器，可實現選擇使用內部揚聲器的功能。此外，除了音頻輸出外，還添加了一個狀態LED，為患者提供反饋。現代大多數電源設備供電時，會因其供電的硬件系統功耗低及電流太小，無法檢測到該硬件為其正常供電。為了防止出現這種情況，本研究增加了一個額外的電路用于“故意”地浪費一點能量，確保移動電源為系統正常供電。主設備電路原理圖如圖3 所示，PCB 圖如圖4 所示。

圖3 主設備原理圖

圖4 主設備PBC圖

3 軟件設計

軟件設計采用Arduino IDE（V1.8.14）平臺。為了使本系統能盡可能多地應用于不同的溝通情景，軟件設計利用5 s 內2 個右眼球運動方向作為一個組合，并且只允許兩個方向的組合，然后輸出一個預定義短語。根據這一規則，2 個右眼球運動方向可生成16 種組合。

3.1 主控功能模式

利用4 個傳感器檢測閉眼，當右眼閉眼2 s，可以實現對系統功能的主控，進入主控功能模式后，利用16 種眼球運動方向的組合，可現實16 種不同的主控功能，包括4 種系統功能控制、4 種基本應答和8 種可設定情景。各主控功能對應的患者右眼球運動組合控制方式如圖5 所示。

圖5 16種不同的主控功能對應的患者右眼球運動組合控制方式

3.2 情景模式

右眼閉眼2 s，進入主控功能模式后，可選擇8 種情景模式用于不同的溝通場景，每種情景模式均可由患者右眼球2 個運動方向的組合控制進入。在本研究中預定了4 種情景模式，分別是情景1（居家）、情景2（朋友）、情景3（護理）及情景4（就醫）；另外4 種情景模式為患者可根據不同的溝通環境自己定制。

4 系統集成及測試

系統集成展示如圖6 所示，關鍵元器件供電電壓測試結果為+4.7～4.8V，供電正常。各傳感器輸出、USB 引腳、Arduino 引腳連接均導通。紅外外反射率傳感器對單眼球運動方向最佳感應距離為3～4 mm，最大感應距離為9～10 mm。

圖6 系統集成展示

為了測試系統功能，招募20 名受試者測試主控功能模式與4 種預定義情景模式下，測試系統語音輸出是否正常。每名受試者測試3 次，統計主控功能模式與4 種預定義情景模式下語音輸出的正常率，數據以（±s）表示。在60 次的功能測試中，系統主控功能模式與4 種預定義情景模式下語音輸出的正常率在93%以上（圖7），可滿足實際使用需求。

圖7 系統功能測試結果

5 討論

據2006 年第二次全國殘疾人抽樣調查數據，中國現有殘疾人8300 多萬，涉及7000 多萬個家庭、2.6 億人口[9]。2006 年我國殘疾人占2005 年第三次全國總人口13.09 億人的6.34%。其中言語殘疾的人數為127 萬，其占殘疾人總人數的1.53%。雖尚無最新的言語殘疾人數的權威數據，但根據2021 年第七次全國人口普查最新人口總量14.11 億這一數據[10]，在殘疾人占比保持不變的前提下，可以保守推算出中國現有殘疾人約8900 多萬，其中言語殘疾的人數約為137 萬[11]。因此，如何使失語群體實現基本交流已成為社會普遍關注的問題[12]。

手語是用手勢比量動作，根據手勢的變化模擬形象或者音節以構成的一定含義或詞語，其是聽力障礙或者無法言語的人互相交流的一種手的語言，是該類人群的主要的交際工具[13]。但是，手語具有一定的局限性，首先學會手語并不容易，要達到正常交流的水平需要一定的時間，且每個國家或地區間手語存在一定差異，日常生活中的推廣度不高。

語音合成（Text to Speech，TTS）技術是將人類語音用人工的方式產生，能將任意文字信息實時轉化為標準流暢的語音朗讀出來，相當于給機器裝上了人工嘴巴[14]，其涉及聲學、語言學、數字信號處理、計算機科學等多個學科技術，是信息處理領域的一項前沿技術，其主要將文字信息轉化為可聽的聲音信息，使機器像人一樣開口說話。在線TTS 利用供Android/iOS 在線語音合成軟件開發工具包（Software Development Kit，SDK），適用于網絡環境穩定場景下的手機等智能硬件設備快速集成。但是，該項技術需要患者打字，僅適用于手功能健康的失語群體。腦卒中、脊柱損傷或其他緩慢失去對身體功能控制的退行性疾病的患者[15-17]常伴隨手功能障礙，無法使用手語或者在線TTS技術實現交流。

與在線TTS 技術相比，TTS 芯片雖然功能較為簡單，但其具有體積小，功能穩定可靠，可滿足特定溝通環境下的交流需求，支持任意中文文本的合成，對常見的數值、電話號碼、時間日期、度量衡符號等格式的文本具有智能分析處理功能，且抗噪能力強（在嘈雜的噪音環境下也可聽懂），內置功放，可以直接驅動喇叭等優點。非常適合可穿戴智能產品的設計；同時，結合紅外眼球運動方向捕捉技術，可以利用眼球運動方向的控制實現讓TTS 芯片語音輸出預定義好的文本短語，不需要手的參與，也可以讓機器發聲，滿足兩類失語人群實現基本交流。本研究將眼球運動方向捕捉技術與文本轉語音技術結合，探究利用眼球運動方向的控制讓機器發聲的關鍵技術，并利用該機器研發一種可穿戴的裝置，使失語群體能在不同溝通情景下實現基本交流，以滿足患者的實際生活需要。

6 結論

本研究旨在解決如何消除失語群體社會參與障礙并實現基本交流這一問題，該問題是社會發展特定人群需求的一個實際問題，具有較好的應用價值。本研究提出的“眼-語”解決方案和裝置，可以為失語群體提供8 種溝通情景下的128 個高質量語音輸出，且這些語音均可定制，該系統具有較廣的應用性和較好的擴充性。