基于體感控制的語音障礙人群發(fā)音訓練系統(tǒng)設計及可用性探討

毛艷梅

摘要： 基于Kinect的體感控制技術，文章研究了一種語音障礙人群發(fā)音訓練系統(tǒng)，并通過臨床運用測試了系統(tǒng)的可用性。該系統(tǒng)由障礙數(shù)據(jù)采集、發(fā)音康復訓練及發(fā)音康復評估三大模塊構成。每一模塊又由文字、圖像、聲音、視頻等多模態(tài)內容組建。共有10名語言治療師、30例語音障礙人群參加了本項研究。研究結果發(fā)現(xiàn)基于人工智能深度學習融合技術開發(fā)的這套語音康復訓練系統(tǒng)可顯著提升語音障礙人群的發(fā)音質量，具有較好的應用前景。

關鍵詞：體感控制；發(fā)音訓練系統(tǒng)；語音障礙；可用性

中圖分類號：R494? 文獻標志碼：A

0 引言

語音障礙是指因構音器官結構缺陷、神經、聽力障礙和肌肉運動異常等原因造成語音清晰度低于正常水平而無法正確發(fā)音和建立有效溝通的言語障礙［1］。研究證明，通過發(fā)音訓練，可以有效地發(fā)掘和激活語音障礙人群的聽說器官的功能代償，開發(fā)其語言能力和顯著提高其語音康復水平［2］。當前語音障礙人群的發(fā)音訓練以人工訓練或計算機輔助訓練模式為主，人工訓練模式不僅易受時間、地點、人員等諸多因素的限制，其訓練過程也費時費力，訓練效率低、達不到預期訓練效果；市場上所使用的發(fā)音訓練系統(tǒng)的訓練內容雖然多種多樣，但是智能化程度不高，訓練內容往往固定且無法更改，單一重復的訓練很容易使訓練者產生倦怠乃至抵觸心理。因此，尋找有效、規(guī)范的新技術、新方法促進語音障礙人群積極主動進行發(fā)音訓練具有極其重要的現(xiàn)實意義。

體感控制技術是利用肢體動作與周邊裝置或環(huán)境互動，再由機器對用戶的動作進行識別、解析，并做出相應反饋的計算機人機交互技術［3］。基于體感控制技術的Kinect是一款主要用于運動感知的體感設備，可以捕獲音頻信息流、彩色視頻流和深度信息流等三種不同表現(xiàn)形式的數(shù)據(jù)流。其自帶的SDK能很好地跟蹤到人臉，并使用121個3D坐標點定義臉部，同時能提供一體化的音視頻信息輸入與處理，以此來提高語音識別和人機交互能力［3］。

在參考諸多相關研究的基礎上［4］，本研究基于運用Kinect的體感交互技術，設計了一個針對語音障礙人群的人工智能發(fā)音訓練系統(tǒng)，并將其命名為體感交互語音康復訓練系統(tǒng)（KAPTS 1.0）。在分析了該套系統(tǒng)的設計框架的基礎上，通過實證研究，探討了KAPTS 1.0用于進行語音障礙患者發(fā)音訓練的可用性。

1 研究方法

1.1 國內外計算機輔助發(fā)音訓練系統(tǒng)研究現(xiàn)狀

20世紀70—80年代計算機輔助發(fā)音訓練系統(tǒng)開始出現(xiàn)在以美國、日本為主要代表的發(fā)達國家。這些輔助發(fā)音系統(tǒng)大多比較簡單。近年來隨著多模態(tài)交互技術的飛速發(fā)展，語音障礙人群的康復訓練需求大幅提升，因此，通過人機交互技術輔助語音障礙人群進行康復訓練的研究顯著增加。這些研究在早期主要針對語音障礙人群的面部表情識別等單項交際技能［5］，近10 年的相關研究逐步轉向綜合訓練，如基于Kinect人機交互技術的ECHOES項目［6］。此外，融合了人工智能的虛擬現(xiàn)實技術也逐漸應用到語音障礙人群的發(fā)音技能康復訓練中，如BPS數(shù)字行為輔助系統(tǒng)和3D虛擬發(fā)音導師系統(tǒng)［7］；嘗試應用機器人干預進行語音障礙人群的康復訓練，如使用機器人Nao來訓練語音障礙人群的發(fā)音，結合LEGO治療法和人形機器人的康復訓練模式以及研發(fā)的能根據(jù)不同個體需求自動適應并做出反饋的機器人協(xié)同技術［8-9］。

在計算機輔助發(fā)音訓練方面，我國的研究起步較晚， 直到2004年才有學者基于語音特征視覺反饋的訓練方式，提出根據(jù)目標訓練法和對比訓練法設計的計算機輔助訓練方法能夠有效地解決發(fā)音異常和構音異常［2］。

國內發(fā)音訓練康復系統(tǒng)的研究和開發(fā)還不完善，缺乏對訓練者發(fā)音成效進行測評、量化。Kinect體感控制技術在該領域的研究多為語音識別領域［10］，對應用體感控制技術進行語音障礙人群的發(fā)音訓練研究鮮有報道［11］。課題組近期研究發(fā)現(xiàn)：將體感控制技術應用在語音康復領域，可有效突破目前訓練的局限，為人機交互技術提供全新的研究視角和應用模式。

1.2 系統(tǒng)設計框架

體感交互語音康復訓練系統(tǒng)（KAPTS 1.0）于2021年完成。該系統(tǒng)包含3個模塊：（1）障礙數(shù)據(jù)采集。該模塊通過應用Kinect體感控制工具采集語音障礙人群的音頻信息、視頻彩色圖像序列、深度圖像序列及深度數(shù)據(jù)點序列、三維人臉模型序列，構建多模態(tài)數(shù)據(jù)集。（2）發(fā)音康復訓練。該模塊在對照患者和參照正常人群多模態(tài)發(fā)音數(shù)據(jù)庫的基礎上，按患者發(fā)音特點對錯誤方式進行歸類，根據(jù)構音錯誤產生的機制制訂體感交互個性化發(fā)音訓練方案，為患者個性化的發(fā)音康復訓練方案和任務。（3）發(fā)音康復評估。該模塊通過應用人工智能深度學習算法從訓練者的語音流利度、清晰度、準確度、音位構音能力等方面進行智能評估，驗證發(fā)音訓練的有效性。

1.3 基于體感互動的訓練設計實現(xiàn)

在借鑒已有研究所構建的發(fā)音語料庫的基礎上［12］，研究者通過公開社區(qū)招募的方式招募了30名正常發(fā)音人群和30名發(fā)音障礙患者。按照精準預測-精準干預訓練-智能評估的原理和方法，課題研究者著手設計并開發(fā)KAPTS 1.0。首先，研究者建立了面向語音障礙人群的多模態(tài)數(shù)據(jù)集。（1）發(fā)音測試語料庫設計。根據(jù)語音障礙人群的發(fā)音特性設計語料庫。按照從簡單到復雜的發(fā)音原則，該語料庫包含了韻母、聲母、音節(jié)和句子。其中韻母有6個，聲母有3個；音節(jié)有固定音節(jié)和隨機音節(jié)；句子有8句，取自人教版一年級的一個朗讀段落。（2）多模態(tài)數(shù)據(jù)采集。選擇成人語音障礙30人（男性、女性各15人）和正常人30人（男性、女性各15人），應用kinect體感控制器，通過面部定位、特征提取、多流信息融合等技術同時獲取語音障礙人群的音頻信息數(shù)據(jù)、視頻信息數(shù)據(jù)和深度信息數(shù)據(jù)。通過音頻和深度數(shù)據(jù)融合，音頻和視頻信息融合以及深度數(shù)據(jù)和音視頻融合，將時間同步的各個流的特征拼接，然后通過隱馬爾可夫模型（HMM）進行分類識別。（3）多模態(tài)數(shù)據(jù)特征比較：比較語音障礙人群與正常人群的多模態(tài)數(shù)據(jù)特征，為訓練者個體生成數(shù)字化構音錯誤方式提供數(shù)據(jù)源。

其次，設計基于體感控制技術的個性化發(fā)音訓練方案。（1）訓練模塊設計：根據(jù)語音障礙人群的構音錯誤方式，設計舌前音化、非送氣化、側化構音、舌后音化、輔音脫落、唇齒音化、舌面音化及混合型等訓練模塊。（2）個性化發(fā)音訓練路徑規(guī)劃：在個體語音障礙數(shù)據(jù)集基礎上，結合構音錯誤方式，系統(tǒng)地生成訓練者個性化發(fā)音訓練路徑，并設定有效的訓練頻率與訓練時間周期。

最后，開發(fā)體感交互個性化發(fā)音訓練系統(tǒng)并進行訓練效果評估。（1）三維人物面部頭像與場景建模。通過3DS Max三維圖形繪制軟件、Direct 3D圖形繪制技術建立訓練者三維人物面部頭像模型、面部動作模型建模和紋理渲染、三維模型加載，并創(chuàng)建和渲染相關場景和人機交互界面。（2）訓練者三維人物面部頭像原始模型：基于Kinect采集的多模態(tài)數(shù)據(jù)集，利用視頻驅動方式與面部三維模型相融合生成面部三維模型動畫，實現(xiàn)能夠實時顯示訓練者面部動畫的面部表情、唇部動作、舌頭運動狀態(tài)的面部三維動畫效果。（3）訓練者三維人物面部頭像目標模型：根據(jù)個性化訓練方案，按照訓練者三維人物面部頭像原始模型生成基于訓練者個體的目標訓練模型。（4）發(fā)音智能評估和矯正。通過Kinect實時捕捉訓練者面部運動數(shù)據(jù)，結合語音識別數(shù)據(jù)反饋，通過人工智能深度學習算法，將訓練者發(fā)音與標準發(fā)音進行匹配，實現(xiàn)發(fā)音效果評估和矯正。

1.4 系統(tǒng)操作流程

KAPTS 1.0包括訓練者（患者）和診療師（醫(yī)生）兩個角色界面。在系統(tǒng)操作流程上，診療師（醫(yī)生）首先為訓練者（患者）創(chuàng)建一個賬戶。根據(jù)訓練者（患者）的病理資料，創(chuàng)建訓練者基本資料，評估發(fā)音障礙類型和嚴重程度，設定康復初步目標。然后，訓練者注冊并登錄創(chuàng)建的賬戶（訓練者也可自己創(chuàng)建賬務并錄入基本資料），錄入發(fā)音障礙數(shù)據(jù)。接下來，一方面，系統(tǒng)通過比照先前導入的正常人群的發(fā)音數(shù)據(jù)庫和患者錄入的障礙數(shù)據(jù)，分析患者的發(fā)音障礙特性和類型，給出自適應性地個性化康復訓練方案和任務。另一方面，醫(yī)生根據(jù)患者錄入的發(fā)音障礙數(shù)據(jù)，再次分析患者發(fā)音障礙特性和類型，結合系統(tǒng)給出的自適應康復訓練方案和任務，設置并生成患者的康復訓練方案和任務，下傳給患者。患者下載康復訓練方案和任務后，開始執(zhí)行康復訓練。在訓練期間，訓練者的訓練數(shù)據(jù)會同時發(fā)送到在線數(shù)據(jù)庫中。訓練期間，醫(yī)生和系統(tǒng)均可以實時評估患者的康復訓練效果，給出實時的修改建議。訓練結束后，醫(yī)生和系統(tǒng)均會給出訓練報告，報告包含了每次訓練的評價意見和建議。在所有訓練完成后，系統(tǒng)和醫(yī)生會給予訓練者總體發(fā)音康復訓練結果評價以及后續(xù)的訓練建議。

1.5 系統(tǒng)評價

為了評價KAPTS 1.0的臨床可用性，研究組于 2021 年 7 月—2021年 9 月以方便抽樣和公開招募的方式邀請了10名語言治療師、30名發(fā)音障礙者對本套系統(tǒng)進行了測試體驗。在正式開始系統(tǒng)測試前，研究者向30名發(fā)音障礙者詳細解釋了本次研究的目的和所要進行的程序，并取得了參與的30位發(fā)音障礙患者的書面知情同意書。參與此次實驗的患者年齡均大于18周歲，有醫(yī)院出具的發(fā)音障礙診斷證明。然后，研究者通過一對一教授的方式，確保參與的治療師和患者都能準確使用該系統(tǒng)。對于治療師，設定的標準是必須是正規(guī)醫(yī)院的在職醫(yī)生。

訓練結束后，課題研究者對治療師和患者均進行了問卷調查。考慮到問卷的信效度，問卷通過問卷星App發(fā)放。問卷內容包括對KAPTS 1.0系統(tǒng)的界面設計的友好性、Kinect數(shù)據(jù)采集的準確性、訓練方案的可行性和趣味性、訓練效果的有用性、用戶使用黏度5個維度共計10個項目的評分。評分采用了5分量表制，即5分表示非常同意、4分表示同意、3分表示中立、2分表示不同意、1分表示非常不同意 。

1.6 統(tǒng)計學分析

采用問卷星自帶的SPSS軟件對問卷調查數(shù)據(jù)資料進行統(tǒng)計分析和人工核查后，研究者發(fā)現(xiàn)參與測試的10名治療師和30名發(fā)音障礙患者對KAPTS 1.0系統(tǒng)的評判比較一致，均為良好，為了確定問卷統(tǒng)計結果的信效度，采用Wilcoxon檢驗對其進行了非參數(shù)檢驗，發(fā)現(xiàn)P＜0.05，即統(tǒng)計結果具有顯著性意義。

2 結果

2.1 一般資料

在本研究中，30例語音障礙患者在10名語音治療師的指導下，使用研究者研發(fā)的KAPTS 1.0系統(tǒng)進行了語音康復訓練。10名語音治療師中，男性 6例，女性 4例，平均年齡30歲左右，工作年限均大于3年，且經過了4個學時的KAPTS 1.0系統(tǒng)的使用培訓。30例語音患者中，男性 19例，女性 11例，平均年齡53歲左右，病程5個月左右，病因不盡相同，其中腦梗死 11 例，運動性失語 9 例，腦出血 10 例，均有正規(guī)醫(yī)院的診斷證明。每名患者在下載KAPTS 1.0后，均在家人的陪伴下，在其主管語音治療師的遠程指導下，順利完成了為期4周的個性化語音康復訓練。在這4周中，每位患者的語音康復訓練每天不少于 20分鐘，每周為期5天。此外，每位患者在通過研究者研發(fā)的KAPTS 1.0應用程序進行語音康復訓練時，需要配合使用研究者分發(fā)的Kinect傳感器。康復訓練的全過程中需要使用速度穩(wěn)定的互聯(lián)網，否則訓練的流暢性和精準性會受影響。

2.2 調查結果

整體來看，參與本次研究的語音治療師和語音障礙患者對于研究者研發(fā)的 KAPTS 1.0應用程序在可用性維度方面的評分均比較高，其中來自治療師的平均分為81.6分，來自患者的平均分為78.2分。來自治療師的問卷結果顯示，在系統(tǒng)界面設計的友好性、Kinect數(shù)據(jù)采集的準確性以及訓練效果的有用性這三個維度的正向得分也很高；但是用戶使用黏度這一維度的得分明顯偏低，導致這一問題的主要原因可能是大部分發(fā)音障礙患者為老年群體，治療師對于其能否承擔購買Kinect成本的考量。來自患者的問卷調查結果顯示，其在系統(tǒng)界面設計的友好性、訓練方案的可行性和有用性維度的得分較高，訓練方案的趣味性維度的得分偏低。導致這一現(xiàn)象的原因可能是大部分患者在執(zhí)行康復訓練時壓力較大，自我要求較高，因此對于康復訓練任務有超預期的期望。在后續(xù)的系統(tǒng)優(yōu)化中，研究者會進一步進行相關優(yōu)化。

3 討論

2017年10月18日，習近平同志在十九大報告中提出了“健康中國”的發(fā)展戰(zhàn)略。他指出，人民健康是一個國家富強、民族昌盛的重要標志。我國要不斷完善國民健康政策，為億萬人民群眾提供全方位全生命周期的健康服務。然而目前我國語音障礙、構音異常的總人數(shù)超過700萬，語音障礙的存在不僅影響人們正常的語言能力，同時也會引起心理、行為上的障礙，降低言語清晰度和社會交流能力，嚴重影響生活和工作。因此，尋找有效、規(guī)范的新技術、新方法促進語音障礙人群積極主動進行發(fā)音訓練具有重要的現(xiàn)實意義。

本課題組基于Kinect的體感控制技術設計研發(fā)的 KAPTS 1.0的功能特征主要體現(xiàn)在以下幾方面：（1）精準化。KAPTS 1.0系統(tǒng)在采集了正常人群的多模態(tài)發(fā)音數(shù)據(jù)的基礎上，建立多模態(tài)常模發(fā)音數(shù)據(jù)庫，然后根據(jù)Kinect的體感控制技術采集的個性化的語音障礙患者發(fā)音數(shù)據(jù)，研究其發(fā)音特性，分析其錯誤特征，為每位語音障礙患者提供個性化的發(fā)音訓練方案和任務，然后根據(jù)發(fā)音訓練數(shù)據(jù)，智能評估發(fā)音康復效果，做到精準預測-精準干預訓練-智能評估。（2）交互化。Kinect是一款主要用于運動感知的體感設備，可以捕獲音頻信息流、彩色視頻流和深度信息流等三種不同表現(xiàn)形式的數(shù)據(jù)流。其自帶的SDK能很好地跟蹤到人臉，并使用121個3D坐標點定義臉部，提供一體化的音視頻信息輸入與處理服務，從而顯著提高人體語音識別能力和人機交互能力。因此，在訓練中，該系統(tǒng)可以實時捕捉訓練者的發(fā)音數(shù)據(jù)，評估其發(fā)音效果，提出實時發(fā)音訓練指令，提升發(fā)音訓練效果。（3）遠程化。發(fā)音障礙患者一般處于居家休養(yǎng)狀態(tài)，相當一部分人為行動不便者，因此，對于居家進行康復訓練有著非常大的需求。KAPTS 1.0系統(tǒng)的遠程在線康復治療極大地滿足了患者此方面的需求。此外，也為異地就醫(yī)的患者提供了遠程診療的便利，大大節(jié)省了患者家庭的就醫(yī)開支，提升了患者居家進行康復訓練的幸福指數(shù)。

為了驗證KAPTS 1.0系統(tǒng)的可用性，研究者邀請了10名語言治療師、30例語音障礙人群參加了本項研究。患者在可用性（等級0—100）方面將應用程序評為良好（評分＞80；P=0.03），治療師將應用程序評為良好（評分＞80；P=0.04）。

綜上所述，基于Kinect的體感控制技術設計研發(fā)的語音障礙人群發(fā)音訓練系統(tǒng)KAPTS 1.0是一種人工智能深度學習融合的康復系統(tǒng)，可顯著提升語音障礙人群的發(fā)音質量。該系統(tǒng)的完成，不僅將改善語音障礙人群的發(fā)音訓練效果，為體感交互發(fā)音訓練提供嶄新思路；打破傳統(tǒng)發(fā)音訓練的空間和時間限制，緩解語音康復服務資源匱乏的局面，實現(xiàn)社會資源配置的優(yōu)化。該系統(tǒng)還可運用到正常人群的語言學習中，具有廣闊的市場前景。

參考文獻

［1］李思奇，張玉梅.構音障礙的評定與康復治療進展［J］.中國醫(yī)師進修雜志，2021（1）：88-92.

［2］薛珮蕓.構音障礙患者病理語音特性分析與識別研究［D］.太原：太原理工大學，2019.

［3］車娜，趙劍，史麗娟，等.基于Kinect和Faceshift的語言康復訓練方法［J］.無線互聯(lián)科技，2018（21）：108-110.

［4］史艷莉，明鈺，孫莉，等.基于平板電腦的漢語失語癥治療輔助系統(tǒng)的設計及可用性探討［J］.中國康復醫(yī)學雜志，2021（7）：822-826.

［5］朱虹.基于Kinect的特定說話人跟蹤系統(tǒng)的研究與實現(xiàn)［D］.延邊：延邊大學，2017.

［6］MENG FANBO， WU ZHIYONG， JIA JIA， etal. Synthesizing English emphatic speech for multimodal corrective feedback in computer-aided pronunciation training［J］. Multimedia Tools and Applications，2013（1）： 463-489.

［7］SU PEIHAO， WU CHUANHSUN， LEE LINSHAN. A recursive dialogue game for personalized computer-aided pronunciation training［J］. IEEE/ACM Transactions on Audio， Speech and Language Processing （TASLP），2015（1）： 127-141.

［8］CHEN FEI， WANG LAN， PENG GANG，etal. Development and evaluation of a 3-D virtual pronunciation tutor for children with autism spectrum disorders.［J］. PloS One，2019（1）： e0210858.

［9］ARORA VIPUL， LAHIRI ADITI， REETZ HENNING. Phonological feature-based speech recognition system for pronunciation training in non-native language learning［J］. The Journal of the Acoustical Society of America，2018（1）：98-108.

［10］QIAN XIAOJUN， MENG HELEN， FRANK SOONG. A two-pass framework of mispronunciation detection and diagnosis for computer-aided pronunciation training［J］. IEEE/ACM Transactions on Audio， Speech and Language Processing （TASLP），2016（6）： 1020-1028.

［11］歐熊，陳兵.計算機輔助聽覺言語評估及康復系統(tǒng)的研究與進展［J］.聽力學及言語疾病雜志，2015（6）：665-668.

［12］王濤，徐麗娜，李峰.功能性構音障礙患者側化構音特點分析及語音訓練療效觀察［J］.中華物理醫(yī)學與康復雜志，2020（1）：40-43.

（編輯 傅金睿）

Design and usability of voice training system for people with speech impairment based on somatosensory control

Mao Yanmei1，2

（1.Zhejiang University， Hangzhou 310058， China; 2.Zhejiang Business College， Hangzhou 310053， China）

Abstract：? Based on Kinects somatosensory control technology， this paper studies a voice training system for people with speech disorders， and tests its usability through clinical application. The system consists of three modules： obstacle data acquisition， pronunciation rehabilitation training and pronunciation rehabilitation evaluation. Each module is composed of text， image， sound， video and other multimodal content. A total of 10 language therapists and 30 people with speech disorders participated in this study. The research results show that the speech rehabilitation training system developed based on AI deep learning fusion technology can significantly improve the voice quality of people with speech disorders， and has a good application prospect.

Key words： somatosensory control; pronunciation training system; speech disorders; usability