虛擬現實技術在聾童言語訓練中的應用初探

馮　霞　胡永斌

[摘要]多媒體技術在聾童言語訓練中的應用改善了聾童語言學習的現狀，文章在分析當前多媒體聾童言語訓練軟件優缺點的基礎上，提出利用虛擬現實技術構建聾童言語訓練場景，根據聾童視覺和推理能力較強的優勢，設計人機交互界面和系統邏輯結構。從理論上開創了虛擬現實技術在聾童言語訓練中的應用先例。

[關鍵詞]言語訓練；虛擬現實；聾童

[中圖分類號]G40-057[文獻標識碼]A[論文編號]1009-8097(2009)03-0050-04

聾童因為聽覺障礙，導致不同程度的語言障礙，嚴重影響他們與主流社會的溝通交往和自身發展。而聾童語言的發展在很大程度上依賴于環境，根據聾童的身心發展特點，創設適合聾童語言發展規律的環境，為聾童語言發展提供了新的方向。而虛擬現實技術因其環境創設的獨特優勢，必將為聾童言語的發展提供強有力的支持。

一常用多媒體及虛擬現實聾童官語訓練軟件評析

從目前的文獻調查來看，國內外很多學者在聾童言語康復訓練實踐方面做出了努力，也有部分不錯的商業訓練系統在聾校得到應用，但是更多的系統只是進行了開發和測試，沒有得到實際應用。以下系統在實際應用中發揮了積極作用。

1軟件介紹

(1)啟音博士(Dr.Speech)，美國TigerDRS，Inc公司開發的比較專業的聾童言語訓練軟件，目前有包括中英文版本在內的多個版本。“啟音博士”提供了數十個聲控動畫游戲，幫助聾童進行多方面的實時訓練，聾童發音后，立刻能獲得動畫形式的反饋。聾童在玩游戲的同時，該軟件能夠獲得相關特征曲線圖和統計報告，對于言語訓練教師來說，這一功能為記錄聾童的言語過程提供了可能，并為取得更好的訓練效果提供了依據。

(2)妙語快車，語言訓練是聾童言語訓練的中心任務，聾童大部分的時間都在從事語言訓練。徐州師范大學開發的多媒體技術支持下的語言訓練系統“妙語快車”是通過計算機多媒體技術設計開發的訓練程序，可以幫助聾童進行聽覺訓練、發音器官訓練、語音訓練、語言理解訓練和語言表達訓練。其中發音訓練和辨音訓練通過游戲的方式，調動了聾童學習語言的積極性。

聾童語言教學最重要、最艱巨的任務，就是幫助他們建立語言信息和視覺形象、感覺等相互對應關系。計算機多媒體技術很好地解決了這個難題。在計算機的屏幕上，可以看到文字和圖像，同時聽到語音，它能幫助聾童建立語言信息和視覺形象的相互感應關系，可以提高聾童學習語言的積極性，改善聾童學習語言的效果。

2多媒體聾童言語訓練軟件在聾童言語學習中的不足之處

聾童是聽力有障礙的兒童，他們有自己特殊的認知方式，現有的多媒體聾童訓練軟件在教學內容的設置上充分考慮了聾童的言語需求，卻未能充分發揮聾童的認知優勢，聾童的視覺和推理優勢沒能得到很好的利用和發掘，具體表現在以下幾個方面。

(1)聾童的視覺優勢未能得到充分發掘

研究者經由標準的心理學范式討論聾童的認知能力，發現聾童在視覺空間任務上的表現超過健聽兒童。比如聾童在心理旋轉，面孔識別，心理表象生成，運動覺察，邊緣視覺的手語，改變方向的視覺注意等方面聾童都有優秀的表現。Todman和Cowdy的研究發現，6—16歲的聾童在視覺信息混合刺激(以下簡稱CSVI)任務中的成績超過健聽兒童。CSVI任務包括復雜視覺圖形的短時記憶和在不同圖形維度上并發操作的活動。這些都說明聾童在視知覺上有自己的天然優勢，聾童更加依賴視覺信息，必須連續而非同時地處理視覺和言語信息，所以他們的知覺和認知機能與那些利用視覺和聽覺同時輸入信息的健聽群體不同。也就是說聾童的視知覺有自己的特性，視知覺的某些方面優于正常兒童。當前的多媒體聾童言語訓練系統在一定程度上發揮了聾童的視覺優勢，但在具體視覺優勢的設置及體現方面和正常兒童語言學習軟件沒有太大區別。

(2)聾童較強的知覺推理能力被忽略

學習與交流是人的天性，聾童也不例外。聽力上的缺陷，使得聾童無法理解正常人的語言，為達到理解語言的目的，聾童依靠殘余聽力及知覺對聽覺障礙的補償，通過猜想、推理等方法，達到理解的目的。正常兒童在認識事物的同時習得語言，聾童由于聽力缺陷帶來的語言障礙，認識到的往往是事物的形象，及通過推理所得的事物，語言的習得落后于認識活動，落后于認識過程中發展起來的推理能力，使得聾童的推理能力強于言語理解能力。聾童具備了一定的推理能力，在學習語言時可以通過一定的情境認知，結合聾童的推理優勢，達到對語言的習得和理解。現有的多媒體聾童言語訓練軟件缺少對聾童推理能力較強這一特點的考慮，在多媒體言語訓練系統的邏輯結構設置中，未能充分發揮推理能力較強的優勢。

(3)聾童身心參與度不夠人本主義學習理論的代表人物羅杰斯認為教學中應該使學生整個人沉浸于學習之中，包括情感、行為等方面。即在學習中要充分發揮學生學習的自主性，只有把學生的積極性充分調動起來，學生才能全身心地投入到學習中去。錯過最佳學語期的聾童已經習慣原有的聽和表達方式，對聲音的刺激表現出不友好態度。多媒體訓練軟件僅僅依靠視覺形象的刺激，無法將聾童的注意力持續集中到聲音的刺激上，而多數聾童言語訓練軟件的交互功能較差導致聾童的注意力不集中，或過分集中于多媒體畫面上，不利于聾童的語言習得。如何調動聾童全身心參與到語言的學習中，使聾童在自然場景中學會說話，成為當前聾童言語訓練系統的發展方向。

二虛擬現實技術及其開發工具

1虛擬現實技術概述

虛擬現實技術又稱靈境技術，是20世紀末興起的一種新型綜合性信息技術。借助虛擬現實技術可以為學習者創立真三維、全立體的仿真環境，它可以充分調動人的視覺、聽覺、觸覺、味覺、平衡感、力感、痛感等，通過特制的儀器，學習者就可以完全進入計算機產生的三維空間現實中，在虛擬空間可以遇到事先安排的各種情境，其臨場感、可信度完全可以同現實相比。虛擬現實是一項融合了計算機圖形學、人機接口技術、傳感技術、心理學、人類工程學及人工智能的綜合技術。由于其特有的感知特征，在多領域中得到廣泛應用。

虛擬現實系統的基本特征可以簡單地表征為沉浸性、交互性和構想性。沉浸性是使人具有真實感并獲得體驗的根本。通俗地解釋為“身臨其境”，意味著參與者將不是以敏銳的雙眼和聰慧的大腦介入虛擬環境，而是要以完整的生物個體融入虛擬系統。交互性是實現人機互動的關鍵，計算機使用者可以通過三維交互設備直接操縱計算機所給出的虛擬世界中的對象，虛擬世界中的對象也能夠實時地做出相應的反應。構想性則是輔助人類進行創造性思維的基礎，虛擬現實系統可以構造出那些現實中不存在或不易觀察到的，只出現在人們想象中的情景。虛擬現實技術中人與虛擬環境的交互作用，在本質上意味著它不是現成的而是生成性的，是人為創造的。

虛擬現實所具有的三個特征使得傳統的多媒體系統無法與之相比。雖然利用虛擬現實技術的聾童語言實驗室尚未問世，但隨著虛擬現實技術的發展，虛擬現實技術與聾童語言實驗室相結合將成為必然。

2虛擬現實開發技術介紹

目前常用的虛擬現實開發工具是VRML語言和3D MAX軟件。VRML語言是一種描述三維場景的語言，可以直接構建虛擬環境。通過VRML語言構造的三維物體具有代碼簡單、執行速度快等優點。用戶可以直接用寫字板編輯VRML文件，也可用VRML的編輯器(如VrmlPad)編輯VRML文件。而3D MAX則提供了良好的用戶界面以及簡單易行的操作方式，是目前較好的可視化三維開發工具。3DMAX基于PC平臺進行軟件開發，是目前世界上應用最廣泛的三維建模、動畫、渲染軟件，其強大的三維場景建造功能簡單易行，完全可以滿足場景建造的需要。

Poser是由Curious Labs美國公司推出的人體三維動畫制作軟件。Poser提供了豐富多彩的人體三維模型，使用這些模型可輕松快捷地設計人體造型和動作，免去了人體建模的繁瑣工作。Poser的模型材質和動畫可以導出到其它大型的三維軟件中，如3ds Max和Maya等。Poser強大的人體造型設計功能為虛擬人物的制作提供了極大便利，利用其工具，可以很迅速地完成人物的姿態塑造工作。簡單直觀的關鍵幀制作方式，還可以很方便地得到細膩逼真的人體動作。利用該軟件的導入功能可以大大豐富人物造型和動作設計的創作空間。

虛擬現實聾童言語訓練系統可以采用VRML語言和3DMAX以及Poser相結合的方法來進行開發。

三虛擬現實技術在聾童言語訓練中的應用研究

1研究背景

虛擬現實技術是一種面向自然的交互形式，它對于聽力障礙的學習者有著特殊的用途。2003年3月，中國科學院計算所開發的“中國手語合成系統”，是國內第一例利用人工智能，計算機圖形學等技術，實現用三維虛擬角色演示用戶指定的中國手語。中國手語合成系統負責人指出，該系統實現了手語和自然語言之間的雙向翻譯：一方面，穿戴有數據手套和位置跟蹤器的聾人輸入手語，可以轉換為正常人可以聽到的語音輸出；另一方面，通過語音識別技術識別正常人的語音，轉換為聾人能夠看懂的手語輸出，從而使得聾人能夠“看到”正常人說的話，是一個用于聾人和具有正常聽說能力的人之間進行無障礙自然交流的原型系統。本系統在國際上率先實現了聾人與健聽人之間的交流和對話，為手語和自然語言之間的翻譯奠定了基礎。中國手語合成系統的關鍵意義在于成功地開創了虛擬現實技術在聾人教育中的應用先河，對于虛擬現實技術在聾人言語訓練中的應用具有啟發性意義。

虛擬現實已經成功地模擬了手語的生成過程，它還可以模擬真實的場景和過程，提供給用戶真實的經歷體驗和動態信息。虛擬現實所具有的對時間和空間的壓縮、放大、轉換等特性。使得在利用虛擬現實所營造的真實場景中很容易實現學習、訓練、探索的目的性和娛樂性的統一，對人們產生強大的吸引力。虛擬現實技術的這些特點，無論為手語學習、還是言語學習，都起到了語言學習環境所需要的積極作用，從而彌補目前聾童言語訓練系統的缺憾，大大提高訓練的效果。

2虛擬現實聾童言語訓練系統模型構建

語言訓練是聾童言語訓練的中心任務，聾童大部分的時間都在從事語言訓練。虛擬現實技術支持下的語言訓練可以通過設計的虛擬現實場景幫助聾童進行語言表達訓練、語言理解訓練。根據聾童的需要開發出虛擬現實語言訓練系統，讓學生在虛擬的語言環境中漫游，得到更多的言語信息，從而促進聾童學習語言的積極性。

虛擬現實聾童言語訓練系統模型如圖1所示。

虛擬聾童言語訓練系統模型具有以下關鍵環節：

(1)創設虛擬現實場景

對聾童來說最困難的是開口說話和表達，因此語言的表達訓練應該從啟發、激勵聾童開口說話開始。利用Poser軟件工具設計出虛擬教師、虛擬學伴等人物，并將人物導入利用3D MAX創建好的虛擬場景中，利用動畫技術實現人物的運動，從而逼真地模擬出現實場景、游戲場景等，讓學生置身于有虛擬人物的情境中，聾童受到情境的感染，產生探索和交流的欲望，使聾童處于將要開口交流的氛圍當中，幫助學生獲得真實體驗，促使聾童做出交流和交互，從而邁出聾童語言表達的第一步。眾所周知，構建優良的語言環境對促進聾童聽說能力的發展非常重要，因此虛擬聾童語言環境的構建必須貼近聾生的實際，有一定的針對性和科學性。

(2)人機交互界面的設計需遵循聾童的視覺優勢

人機交互界面相當于虛擬聾童言語訓練系統的面孔，決定了虛擬現實系統的表現形式。而且人類視覺原理是人機交互設計的重要依據，人機交互作用于聾童的視、聽、觸覺，對聾童接收信息起著基礎的作用。但是聾童由于聽覺障礙，對于外界信息的選擇多依賴于視覺，使得對外界信息處理上具有與正常兒童不同的選擇性技巧。人機交互界面的設計應該根據聾童特殊的視覺原理及其優勢，精心設計視覺信息內容，在給聾童言語訓練提供豐富視覺信息的同時，避免提供和正常兒童相同的視覺刺激，從而防止視覺信息冗余帶來的厭煩情緒。充分利用虛擬現實創建真實場景的特點，營造出讓聾童感興趣的視覺畫面，讓他們在愉快、輕松的學習游戲中進行聽和說的訓練，利用場景所提供的友好用戶界面教會聾童注意聲音、識別聲音、理解聲音的含義，同時鍛煉發音器官，循序漸進地獲得口語。另外，我們還可以利用虛擬現實超現實的特點，把語言教學中的困難之處形象化，使聾童可感覺、可操作，加強視覺形象與語言信息的聯系，從而培養聾童理解語言的能力。

(3)充分發揮聾童推理能力較強的優勢，設計信息呈現的邏輯結構

虛擬現實系統應用成功的關鍵在于信息呈現的方式以及邏輯安排是否合乎聾童較強的視覺推理特征。兒童多媒體言語訓練系統的設計在邏輯推理和言語理解方面保持同步，而研究證明聾童推理能力優先于言語理解能力，更優先于語言能力。因此在虛擬現實系統信息表達的邏輯設計中，要使言語內容的理解程度與聾童的邏輯推理發展程度相吻合，充分利用較強的推理能力來發展聾童的語言能力。在虛擬現實環境中通過設置帶有一定情境的推理知識，有意識地發揮聾童的推理能力優勢，尤其是直觀形象推理能力，訓練聾童使用推理的方法來學習語言，在理解語言意義的基礎上，習得與其相對應的口語，從而加深語言印象。

虛擬環境可以根據需要，人為地或自動地進行調整。可以根據聾童的情緒和反應，調整言語訓練的進度和內容，使語言學習和娛樂融為一體，讓學生保持最佳的練習狀態。虛擬現實技術本身的性能還在不斷提高，更加簡單易于操作的技術無疑能為其在聾校語言教學中的應用提供可能，從而促進聾童言語能力的提高。

虛擬現實技術在聾童語言教學中的應用結合了計算機圖形學、傳感技術、人類工程學、人工智能、聾童心理學、康復科學、醫療科學等技術，是一個全新的交叉性研究領域。聾校教育專家和一線教師由于教學任務繁重和計算機技術欠缺，無力開展計算機虛擬現實技術的教學應用，聾校需采取一定的方法，如通過校企合作的方式開展虛擬現實的教學應