基于聲控游戲的兒童言語障礙康復系統設計

司博宇　高棟　周林燦　黃昭鳴

[摘要]根據言語障礙兒童學習能力的發展，提出基于聲控游戲的兒童言語障礙康復系統。該系統基于Visual C++語言開發，內容專門針對兒童言語障礙患者設計，將日常康復訓練所使用的聲學參數與游戲中的動畫主角建立聯系，使患兒在游戲中逐步鍛煉言語能力，恢復正常功能。

[關鍵詞]聲控游戲；兒童言語康復；游戲治療；語音信號處理

[中圖分類號]G40-057 [文獻標識碼]A [論文編號]1009-8097（2013）05-0103-05 [DOI]10.3969/j.issn.1009-8097.2013.05.021

一、引言

特殊教育是我國教育體系中不可或缺的重要組成部分，提高特殊人群的生活質量，解決他們的社會需求，尤其是特殊兒童的教育、康復和保健問題，使其身心得到全面發展，是維持我國社會和諧穩定健康發展的重要基礎。在我國，各類言語障礙患者數量高達幾千萬，致病原因包括生理病變、功能損失、情緒緊張等多方面，尤其對于兒童患者，言語障礙會影響其語言表達和日常交流，影響身心的健康發展，甚至可能成為影響社會安定的隱患。目前，言語障礙的康復治療依次包括評估和訓練兩大部分，“評估”旨在用聲學參數和生理指標評價患者的言語功能是否存在障礙，根據這些參數和指標代表的臨床含義來診斷言語障礙的具體類型；“訓練”則是根據評估結果對患者的言語障礙類型開展針對性的康復工作。在我國，言語障礙的評估方法已經形成較為成熟的體系，但是相關康復訓練的手段仍比較單一，由醫生或言語康復師對患者進行面對面的康復訓練，輔助訓練工具種類較少，例如，播放正常語音讓患者練習跟讀或利用印有文字和圖像內容的卡片對患者進行誘導訓練等。這些手段對于具備一定學習能力和知識積累的成人患者來說較為合適，而兒童患者的智力尚未發育成熟，學習能力有限，個別患者還可能伴有腦癱、自閉癥等更為復雜的病癥，上述訓練方式在吸引兒童注意力、激勵他們的學習熱情上很難發揮作用，因此，如何為兒童言語障礙患者設計更適合他們的康復訓練系統，已成為特殊教育和康復科學領域的熱門問題。

游戲對兒童發展的重要作用已被多數教育工作者認同，作為兒童生命早期的主導活動，游戲是兒童學習和融入社會的途徑，對兒童身體發育和心智發展具有重要意義。將游戲與康復治療結合的應用已經取得了很大的進展，這是由于將游戲融入治療并非某一學科或者學派的特有方法，而是任何一種治療都可以采用的工具，作為治療和訓練的一種中介。兒童言語障礙的康復訓練能否借助游戲形式將復雜的監控指標動畫化，讓兒童在接受治療的過程中逐步對語音及其特性，諸如響度、音調和起音等建立感性認識，這一問題的答案是肯定的。游戲訓練的主體是兒童自己，由于身心發展的需要，他們迫切想要找到一種自主控制的感覺，如果游戲內容的設計具有互動性，使兒童在無論是否有能力完成游戲訓練內容的情況下，都能夠得到游戲中虛擬伙伴的表揚或鼓勵，心理上獲得的成就感或安慰可以刺激他們繼續完成后續內容的學習熱情，有助于提高康復訓練效率。綜上所述，提出一種基于聲控游戲的兒童言語障礙康復訓練系統，運用Visual C++程序語言，主要面向兒童言語障礙患者，使他們在色彩鮮艷、畫面生動的動畫環境中循序漸進地提高言語能力，一定程度上克服心理障礙，同時為特殊教育同行設計游戲訓練系統提供借鑒。

二、游戲設計

本訓練系統專門針對兒童由于言語障礙而導致的言語功能低下或缺失而設計，目的是能夠使他們重新掌握控制言語發聲的能力，如對語音響度、起音、最長聲時、音調和構音等的控制能力。本系統基于較為成熟的語音信號處理技術，直接對語音進行聲學分析，提取用于監控康復過程的聲學參數，嚴格遵循兒童言語功能發育的過程編排康復訓練內容，將復雜的語音信號處理過程用生動活潑的游戲替代，將言語運動過程與連貫的動畫建立對應關系，使兒童能夠對言語過程和語音特性產生感性認識，增強學習興趣。

按照兒童言語功能的發展規律，本系統的訓練游戲內容依次設計為五級：第一級為認識聲音，第二級為起音和最長聲時，第三級為語音的響度和音調，第四級為單元音及多元音構音，第五級為清濁音。下面按照上述順序闡述系統設計過程。

1.認識聲音

“認識聲音”模塊主要面向年齡較小的幼兒或者對語音缺乏知覺的言語障礙重度患者設計。該游戲模塊的設計理念是讓兒童通過視覺變化來感受語音的存在，對語音建立感性認識，同時，也要考慮到兒童注意力集中范圍受限的因素，因此，游戲畫面呈現的是以一個體積較大的動畫角色為主，若干體積較小的輔助動畫角色作為配合。當患者通過麥克風發出任意語音的時候，主要動畫角色和輔助動畫角色都會在各自原始的位置發生動作，如圖1所示的“快樂熊”游戲，患者發音時，畫面上的主要動畫角色——大熊會在原地打擊手中的樂器，而旁邊的小老鼠則會拍手。患兒會在訓練過程中將注意力集中在這些色彩鮮艷、形象可愛的卡通游戲角色上面，感受到語音的產生實際上是一種變化過程，引起他們對說話的興趣。

2.起音和最長聲時

起音障礙是兒童言語障礙的常見類型，起音過程屬于前發聲期階段，作用時間很短，是能否發出正常、連貫語音的重要前提。起音障礙產生的原因可能是構音器官運動不協調，患者需要進行連續的訓練才能掌握起音技巧。“起音”訓練游戲的設計遵循臨床康復的實際需要，讓患者在一定時間內完成一連串重復的起音動作，以該模塊中的“啟動汽車”為例，如圖2所示，患者在言語康復師的指導下，通過完成連續起音的動作，幫助老鼠先生點亮指示燈。指示燈一共有5個，患者每進行一次起音（通常是短促的發/a/音），指示燈就會點亮一個，當五個指示燈在規定時間內全部點亮，老鼠先生就可以發動汽車繼續前進，否則汽車無法開動。針對不同言語障礙程度的患者，治療師可以設置不同的規定時間，讓患者有合適的時間完成游戲，每次訓練時再根據患者前一次的完成情況來調整游戲的規定時間。

兒童言語障礙患者中也經常出現發音方式正確，但是軟綿無力，無法持續發音，甚至“有口形，無語音”的情況。這通常與患兒的呼吸功能異常，尤其是呼吸支持不足有關。臨床康復訓練中，監控呼吸能力最常用的指標是“最長聲時”，即讓患者深吸氣后一口氣發元音/a/所持續的最長時間。一般，呼吸功能異常患兒的測量結果通常只有幾秒鐘，遠低于正常水平。本系統基于呼吸功能異常康復訓練的基本理念，設計了“最長聲時”游戲模塊，患者通過一次性持續發元音的方式完成游戲，從而達到訓練的目的。如圖3所示，以“買蛋糕”游戲為例，游戲初始畫面左邊有一只小貓，畫面右側則是一臺自動蛋糕販售機，患者深吸氣后持續的發出元音/a/，會驅動小貓不斷地向蛋糕販售機方向行走，如果患者在規定時間內幫助小貓買到蛋糕，游戲就會呈現小貓手捧蛋糕并開心大笑的畫面：若患者發音持續時間較短，無法完成游戲任務，小貓則會在停止的位置開始哭泣。這種多結局的游戲設計，能夠讓患兒在一定程度上體會到言語障礙所給日常生活帶來的不便。在言語康復師的循循善誘下，患兒在游戲過程中逐步幫助小貓成功買到蛋糕，提高自身的最長聲時水平，強化言語呼吸功能。

3.響度和音調

響度和音調是語音的兩大重要特征。響度異常表現為語音音量過大或者過小，音調異常表現為音調過高、過低或者過于單一，不僅影響語音的可懂度，還可能對構音器官造成器質性上海。響度異常矯治訓練游戲的設計思路是使患者意識到自身存在的障礙，并引導他們降低或者提高言語響度。以提高響度的游戲“長頸鹿”為例（圖4），長頸鹿的脖子會隨著患者語音音量的增加或降低而伸長或縮短，言語康復師引導兒童盡可能的大聲發音，目的是為幫助長頸鹿的脖子伸到足夠長，在規定時間內能夠吃到樹上的葉子。訓練過程中，需要根據患兒語音的實際情況設定響度基準，只有響度大于該基準的語音才能驅動長頸鹿等動畫角色的運動。降低響度的游戲設計思路基本類似，誘導兒童通過降低語音響度，控制動畫角色實現下降動作以完成游戲。

音調異常訓練的游戲設計兼顧音調過高、過低和過于單一三種主要障礙類型，以游戲“茶壺”為例，如圖5所示，兒童在言語康復師的指導下通過改變自己的音調控制畫面上的擬人化茶壺穿過由茶杯組成的陣列。茶杯陣列的類型包括“穿越”和“定向”兩種，“穿越”是指茶壺在語音控制下穿過茶杯陣列，保證不與茶杯相撞，一旦兩者發聲碰撞，本次訓練終止，當茶壺成功穿過茶杯陣列，系統會顯示為茶壺頒發獎杯的畫面，對患兒的訓練成果給予肯定和鼓勵。“定向”則是指患者利用語音控制茶壺與陣列中的每一個茶杯完成碰撞，以達到提高音調、降低音調或者變化音調的目的。兩種訓練類型的結合，能夠使患兒通過不同的訓練形式，鍛煉音調控制能力。

4.單元音和多元音構音

發聲功能正常（能夠正常起音，語音的音調和響度正常），但是語音清晰度仍然較差的兒童言語障礙患者并不少見，這大多是由于患者的構音器官協調運動出現問題而導致的構音障礙。對于絕大多數語種來說，元音都是語音的核心，是評估構音功能正常與否，以及進行構音異常訓練的最基本材料。本系統選取普通話單元音a、o、e、i和u作為訓練材料，設計以發單個元音或者多個元音為手段的達成目標類游戲，完成構音障礙訓練之目的。訓練游戲包括單個元音到四個元音等四種訓練模式。以兩個元音的訓練游戲“灰姑娘”為例，如圖6。首先，患者需要錄制樣本元音并選擇訓練的元音個數，才能正式進入游戲。游戲中，患者需要按照錄制的樣本元音發音，每個元音對應畫面上的一個游戲對象。在“灰姑娘”游戲中，兩個元音分別對應灰姑娘和馬車車夫，系統會自動對患者的發音進行識別，兩個動畫對象只有在患者的構音語音與樣本元音完全一致時才會運動，直到在規定時問內到達系統規定的位置才能完成任務。這類游戲的最大特點是游戲重復利用率高，同一款游戲能夠對不同的元音進行訓練，游戲目的在畫面中能夠直觀體現，易于被患兒理解并接受。

5.清濁音

構音語音的分類，通常根據聲帶是否振動分為濁音和清音兩類。在普通話中，清音都是輔音，清音構音出現障礙，勢必影響語音的可懂度。在本系統中，清濁音訓練游戲的設計依照目前普遍使用的以不同顏色區分語音類型的方法，用紅色動畫主體表示濁音，而清音則用綠色動畫主體來表示。以游戲“賽車”為例，如圖7所示，畫面上有左右兩條賽道，左側行駛的是代表清音的綠色賽車，右側行駛的是代表濁音的紅色賽車。患者需要按照言語康復師的指導，在規定時間內交替發出指定的清濁音，驅動兩輛賽車前進，即患者發濁音時紅色賽車前進，發清音時綠色賽車前進，若患者不發音，則兩輛車都不會產生動作。言語治療師可以根據實際情況，設計能夠讓患兒在規定時間內將兩輛賽車都驅動到終點的清濁音訓練語料。任務完成時，系統畫面將會為到達終點的賽車手頒發獎杯，以鼓勵兒童成功完成本次的訓練任務。

綜上所述，本系統包含的每一級言語障礙訓練模塊，其內部包含4～5個玩法基本相同的小游戲。系統為使用者提供操作簡便而功能強大的設置選項，如，環境噪聲設置、游戲時間控制、實時錄音、語音信號波形和圖譜顯示、用戶記錄保存、快速游戲切換以及快速重啟游戲等。本系統涵蓋了大部分言語障礙兒童的訓練目標及其相關內容，游戲難度適宜，畫面鮮艷可愛，易被兒童接受和完成。同時，豐富的系統內容還能幫助特殊教育教師和言語康復工作者節省為每一位患者分別制定訓練材料的時間，將大幅提高治療效率。

三、游戲實現

本系統利用Visual C++語言在微軟Windows操作系統平臺上進行開發，游戲主程序、uI菜單界面基于MFC開發，聲控動畫游戲的實現則是基于DirectDraw開發包和語音信號處理算法。由于Visual C++語言具有運行效率高的優勢，配合成熟可靠的語音處理技術，足以在普通家用計算機上提供出色的聲控游戲使用體驗。

1.語音信號處理技術

聲控游戲的實現分為兩步，首先是選定并提取聲學參數，然后再建立聲學參數與游戲動作之間的關聯。不同類型的言語障礙對應不同的聲學參數，這些參數都是康復訓練中常用的監控指標。本系統包含了五個級別的言語障礙訓練聲控游戲，根據語音信號處理方法和提取聲學參數類型的不同，可將“認識聲音”、“起音”、“最長聲時”和“響度”歸為第一類，主要計算語音信號的幅度和能量，第二類則是“音調”和“清濁音”，主要計算語音的基音頻率，而“單元音及多元音構音”需要利用語音信號的共振峰進行簡單的語音識別，故作為第三類。提取這三類聲學參數的語音信號處理方法框架如圖8，這些技術均基于實際應用非常廣泛的成熟算法，故不再贅述。圖中白色方框為語音信號處理的具體方法，灰色方框為需要實現的游戲訓練項目，實線箭頭指向的是語音信號處理的流程，虛線箭頭指向的是最終實現的游戲訓練項目。

2.界面設計

系統界面依次為初始界面、用戶記錄界面、環境噪聲設置界面、游戲菜單界面以及游戲訓練界面。打開系統即可進入初始界面，確認使用系統則首先進入用戶記錄界面，由言語康復師填寫患者的個人信息，保存后進入環境噪聲設置，記錄環境噪聲的目的是在語音處理過程中排除環境噪聲對語音的干擾。游戲菜單界面包括訓練項目菜單和每個項目下包含的游戲名稱圖標，用鼠標單擊菜單或圖標即可進入相應的訓練項目或訓練游戲。游戲訓練界面包含游戲場景、音頻控制（錄音、播放）、參數設置、錄音時間進度條、訓練模塊及游戲快速切換菜單等。

3.功能模塊

聲控游戲的功能模塊包括：錄音及播放模塊、語音處理模塊、圖像繪制模塊。其中，圖像繪制模塊基于DireetDrawSDK開發，能夠提供比GDI層次更高、功能更強大的繪圖機制，并且同樣具有與硬件屬性無關的優良特性充分，利用圖形圖像硬件設備的加速特性為用戶提供最優的顯示速度和效果。游戲過程中，用戶的語音經過語音處理模塊進行實時特征參數提取，用于實現聲控游戲的后臺控制。同時，用戶的語音被錄音及播放模塊保存成WAV格式的音頻文件，可以實現音頻與聲控游戲的回放。

四、總結

針對目前國內特殊教育和殘疾兒童康復領域缺乏符合兒童學習能力和理解能力要求的康復教育與訓練輔助手段的現狀，提出了基于聲控游戲的言語障礙康復訓練系統。在設計游戲內容時，選取動物、植物、生活用品等常見事物，繪制成兒童喜聞樂見的動畫形象，通過成熟而先進的語音信號處理技術，計算得到用于監控各類言語障礙類型的聲學特征參數，利用這些監控參數的數值或相關變化規律控制游戲主角的活動，巧妙地融合了康復訓練與游戲任務。患兒在完成這些游戲任務的同時，潛移默化地恢復自身的言語語言功能，還能夠在游戲中培養自身的優良品格，例如，樂于助人、團結友愛、遵守時間等。

此外，本系統基于Visual C++開發，具有很高的靈活性和擴展性，在后續研發過程中將會添加網絡通信模塊，患者可以通過計算機網絡在家中接受言語障礙評估和康復訓練，這也是目前遠程教育擴展到特殊教育領域的一種新思路，讓“云康復”有機會走進家庭教育，大幅降低康復成本和時間，使更多的言語障礙患者重獲溝通交流的能力。