智能語音識別技術在聽力殘疾學生課堂教育中的應用

摘要：作為人工智能領域中研究、使用最廣泛的技術之一，智能語音識別技術已經服務于科研、制造、醫療、教育等行業。為實現教育信息的無障礙溝通，語音識別轉寫技術在特殊教育領域，特別是在聽力殘疾學生（又稱聽障學生、聾生）的課堂教學上得到應用。文章通過探究語音識別轉寫技術在某省特殊教育職業院校聽力殘疾學生課堂教學中的實際應用情況·發現語音識別轉寫技術在聽力殘疾學生課堂教學上的優勢與不足，對語音識別轉寫技術在特殊教育領域的發展進行展望，以期促進人工智能與特殊教育事業更深層次的融合與發展。

關鍵詞：智能語音特寫；語音識別；聽力殘疾；特殊教育；聾生

中圖法分類號：TN912 文獻標識碼：A

１ 概述

１．１ 智能語音識別技術

智能語音識別技術是人工智能領域中應用較廣泛的一門技術，包含語音合成、語音識別、口語測評、語義理解、自然語言理解［１～２］ 、機器翻譯等語音識別技術，其將收集的語音轉換成文字進行表達。

１．２ 國內語音識別技術的發展

我國語音識別技術的發展起步較晚，“國家高技術研究發展計劃”（８６３ 計劃）和“國家重點基礎研究發展計劃”（９７３ 計劃）實施后，中科院聲學所等研究所、國內頂尖高校及研究團隊紛紛投入到語音識別技術的研究中。２０１５ 年，清華大學建立了第一個開源的中文語音數據庫。２０１６ 年，上海交通大學相繼提出了ＶＣＤＮＮ（Ｖｅｒｙ Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ） 和ＶＤＣＲＮ（ｖｅｒｙ Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｒｅｓｉｄｕａｌ Ｎｅｔｗｏｒｋｓ），在提高噪聲語音識別性能上做出貢獻。百度、科大訊飛、阿里巴巴等公司在語音識別的核心技術研發上持續投入了大量精力，并將研究成果快速落地［３］ 。

目前，國內主流的語音識別技術主要依靠大詞匯量連續收集語言數據，并基于深度神經網絡進行模型構建和訓練。我國正處在大力發展信息技術的熱潮中，經過幾十年的研究，如今，中文語音識別技術迅猛發展，已達到國際領先水平，基于智能語音識別技術的語音識別轉寫系統被廣泛應用在制造、教育、醫療、辦公等領域，因其具備實時將語言有序、準確、完整地識別轉換成文字，并將其記錄保存的強大功能，受到智能會議領域的青睞，對于打造“信息無障礙”的交流環境發揮了重要作用。

２ 智能語音識別轉寫技術在聽力殘疾學生課堂教學中的應用與實踐

２．１ 傳統課堂教學現狀

因先天或后天因素影響，聽力殘疾學生的聽力功能低于健全學生。聽力殘疾學生難以直接用有聲的聽覺語言符號進行交流溝通、傳遞信號、表達思想，取而代之的是各種視覺語言符號（如手語、文字、圖像等）。

手語是聽力障礙者使用的特殊語言，是聽力殘疾學生交流、學習、溝通的重要手段，也是聽力殘疾學生教育（包括聾校教育、特殊教育學校聾教育等）教師使用的主要教學語言之一。任課教師通過手語翻譯、黑板板書和多媒體圖像、教具展示等方式進行課堂教學，在課堂教學中難免遇到各類問題。

２．２ 課堂教學中存在的問題

（１）特殊教育學校聽力殘疾學生的課堂大都以教師手語演示配合口型開展課堂教學，同時輔以多媒體技術和課程相關教具。為做好課堂教學工作，教師需將原本口語表達的知識翻譯成手語再進行教學，備課和授課壓力巨大。

（２）由于各地手語習慣的不同，很多聽力殘疾學生并不能理解教師官方手語的含義，在手語交流學習中會因相互間不同的手語習慣增加了課堂教學交流難度，容易產生誤解。

（３）學生課堂學習質量受教師手語能力影響明顯，手語能力好的教師在授課時更加游刃有余，手語通俗易懂，學生聽課質量較高；相反，手語水平相對較弱的教師受手語能力限制，在講解時容易出現手語不熟、不會，表達錯誤等情況，很難發揮出原本的授課水平，加大了學生理解消化課堂知識的難度。

３ 語音識別轉寫技術在聽力殘疾學生課堂教育中的應用實踐

案例介紹：本研究以某省特殊教育高職院校２０２０年采購的智能語音轉寫系統為起點，通過調研２ 年間該校智能語音轉寫系統在聽力殘疾學生課堂上的應用情況，探討智能語音識別技術在特殊教育領域的優勢與不足。

研究對象：該校２０１９ 級計算機專業某聽力殘疾學生班級全體學生和任課教師。

研究時間：２０２０ 年９ 月～２０２２ 年６ 月。

研究方式：觀察法、問卷調查法、訪談法。

學情分析：如表１ 所列。

研究內容：研究該班級在不同課程的課堂教學上應用語音轉寫系統的效果。具體如表２ 所列。

研究結果：通過在研究對象的課堂中引入智能語音識別技術，采用觀察法、問卷調查法、談話法等，得到以下調查結果。

在將智能語音轉寫軟件投入課堂使用后，對研究對象進行問卷調查，現摘抄相關問卷題目如下，相關調查情況如圖１～圖９ 所示。

題目１：“你希望使用實時語音轉文字識別軟件嗎？”［單選題］

題目２：“你在平時學習中是否用過“語音轉文字工具”，如訊飛、音書等？”［單選題］

題目３：“你覺得在平時的課程教學中用哪種形式學習效果較好？”［單選題］

題目４：“你認為在課堂上，教師使用實時語音轉文字的益處有哪些？”［多選題］

題目５：“你覺得采用‘語音轉文字工具結合手語教學與傳統的手語教學相比有哪些好處？”［多選題］

題目６：“你認為在課堂上，教師使用實時語音轉文字上課時存在哪些問題？”［多選題］

題目７：“請問是什么原因導致你無法／ 降低使用實時語音轉文字軟件？”［多選題］

題目８：“你覺得使用‘語音轉文字工具對你們學習交流有幫助嗎？”［單選題］

題目９：“你最希望語音轉文字識別軟件做出什么改進？ 請提出建議?！保鄱噙x題］

通過與任課教師進行談話交流，針對“你最希望語音轉文字識別軟件做出什么改進？”及“你還期望該語音轉寫系統擁有哪些輔助功能？”等問題，任課教師提出了軟件的使用應與課堂教學進一步融合等意見和建議。

通過將智能語音轉寫技術應用到聽障學生課堂上的真實體驗，加上各種調查方式輔助研究，得出了以下研究結論。

研究結論：智能語音轉寫技術在聽障學生課堂上的應用實現了聽障學生課堂教學的“語音可視化”，對于構建“信息無障礙”課堂有很大幫助。但智能語音技術的課堂應用還受網絡、口音、操作等諸多因素的影響，在技術上仍有可改進和進步的空間。

結論一：語音識別轉寫技術實現了對手語的補償性作用。語音識別轉寫技術可以將一些難以用手語翻譯的專業術語、學術語言等，實時轉譯成文字呈現在課堂上，彌補手語翻譯的不足，幫助聽力殘疾學生進行理解；也可以幫助手語不熟練的新入職教師快速適應教師角色，在課堂教學中，可借助語音識別轉寫技術的字幕講解，解決手語不熟練的問題，破除師生間的交流障礙，提高學生課堂學習質量。

結論二：聽障學生在軟件學習類課程上對于語音轉寫技術的需求更高。例如， 在學習如何使用Ｐｈｏｔｏｓｈｏｐ，ＩｎＤｅｓｉｇｎ 等軟件課程時，授課教師通常需要邊演示軟件使用教程邊講解知識點，既要用手操作軟件，又要用手進行手語講解，在這類課堂教學上，教師容易“手忙腳亂”或“手足無措”。智能語音轉寫系統的應用，可以將教師講解的知識點像字幕一樣實時、有序、準確地展示出來，一方面解決了教師一邊操作計算機一邊手語演示的難題，另一方面也極大提高了課堂的教學質量。

不過，智能語音轉寫技術并不是在所有的課堂上都大受歡迎。例如，在語文、思政等以理解為主的文化類課上，考慮到聽障學生先天在文字理解上的弱勢，為了讓聽力殘疾學生明白知識要點，首先會使用手口結合的手語并配合多媒體視圖等圖文并茂地進行講解，在遇到極少數手語不太好講解的地方可采用語音轉寫系統輔助理解，在此類課程中，智能語音轉寫技術主要起到輔助教學的作用。

結論三：智能語音轉寫技術在聽障學生課堂教學應用中仍存在較大的改進空間。

語音識別轉寫系統的操作應更簡單易上手。

（１）案例中的語音識別轉寫系統由系統客戶端和展板客戶端２ 部分組成，需要多客戶端協同操作，操作步驟較為復雜，信息技術水平較低的人在使用時存在一定難度。

（２）案例中的語音識別轉寫系統在功能上更傾向于智能會議的記錄、實時字幕、編輯等，商用價值高，在聽障學生的課堂教學上，服務特殊教育、彌補特殊教育智能課堂的屬性不足。另外，轉寫展示的文字缺少實時交互的功能，教師不能在課堂上對實時轉寫后的文字進行即時編輯（標注、勾畫等），尤其是當出現轉寫錯誤時，任課教師也不能第一時間進行書寫修正，容易出現理解錯誤。

（３）受環境噪聲、回聲干擾、發音習慣和口音、網絡速度、語音內容專業性強等因素影響，在實際使用中，語音實時識別轉寫的準確率并沒有達到９０％以上，轉寫準確率較低，影響聽力殘疾學生對于知識點的理解。

４ 展望

４．１ 打造個性化智能語音轉寫系統

受聽力功能障礙影響，聽力殘疾學生無法直接通過聲音與外界進行信息交流，取而代之的是視覺捕獲。即無論手語、文字還是視頻圖像，聽力殘疾學生都需要用眼睛來捕獲信息，傳遞給大腦進行分析理解，進而形成反饋。

過度的用眼需求容易使聽力殘疾學生在視覺捕獲時出現用眼疲勞，而語音識別轉寫技術是將語音轉換成文字展示。在課堂學習時，學生既要看任課教師的手語演示，又要閱讀屏幕上的文字，大幅增加了聽力殘疾學生用眼睛去觀察和閱讀的難度。

研究發現，很多聽力殘疾學生本身對閱讀“缺乏內心的渴望和興趣”，閱讀興趣并不濃厚，即使有一定的興趣，但受閱讀能力和理解能力的限制，聽力殘疾學生也不一定能完全理解文字的含義。因此，在語音快速的轉寫過程中，聽力殘疾學生既要關注授課教師的手語演示，又要理解、消化屏幕上轉寫的文字含義，無形中加大了聽力殘疾學生學習的難度。部分學生會因為視線上的無法兼顧且文字內容晦澀難懂而產生厭煩情緒，影響課堂學習。

４．２ 智能語音轉寫技術與課堂高效融合

由于市面上大多數具有語音識別轉寫技術的系統應用都是為各種論壇、展覽、會議服務的，在功能上更傾向于對會議、論壇演講發言的全程語音記錄與實時轉寫。其既能保證會議記錄的完整性，打破會議記錄只能依靠人工速記的局限，又能以短延遲、高準確率地實時轉寫上屏分享發言內容，方便參會人員聽看結合，全面了解會議內容。此系統針對會議資料，具有收集、整理和后期編輯功能，適合中小型會議的記錄與資料整理。因此，在實用功能上更多體現的是其商用和辦公價值。

在聽力殘疾學生課堂上應用語音識別轉寫技術，可以提升聽力殘疾學生在課堂上接收知識的廣度，了解教師口語表述但未手語翻譯的內容，尤其給手語基礎較弱的年輕教師帶來了便利。但在應用過程中也暴露出一些問題。例如，針對上文中提到的操作不方便、缺少實時互動、轉寫準確率等實際問題，提出以下改進建議。

（１）提升語音轉寫技術在展示時的靈活性，使講述人可根據講述內容隨時決定中止、暫停、繼續語音轉寫展示。在授課時，任課教師以手語講授為主，在遇到不方便手語翻譯或手語授課困難時，靈活切換語音轉寫展示教學， 使任課教師可以更好地將手語與語音轉寫技術結合，既不過分弱化手語功能，又可以提高課堂學習質量。

（２）改進語音轉寫系統展示端窗口界面樣式，考慮更利于教育教學、人性化的窗口界面，增加標記、畫筆等交互功能，提升展示端產品在課堂交互上的使用感。

（ ３）提高聲紋識別的準確性，通過區分不同聲紋來篩選語音轉寫對象，屏蔽雜音，提高轉寫準確率。

語音識別轉寫技術的發展和應用，不僅存在巨大的發展潛力，在針對聽障學生課堂的特殊教育領域的應用和實踐上也存在可探討和改進的空間，這需要科研人員和教育工作者的共同努力。

參考文獻：

［１］ 秦鳳枝．解讀人工智能語音轉寫技術在會議中的應用［Ｊ］．電子世界，２０２０（２２）：１９０?１９１．

［２］ 馬晗，唐柔冰，張義，等．語音識別研究綜述［Ｊ］．計算機系統應用，２０２２，３１（１）：１?１０．

［３］ 柳雯雯．特殊教育高職院校聾生閱讀能力的培養［Ｊ］．現代職業教育，２０１９（２０）：２７２?２７３．

作者簡介：王蕭慧（１９８８—），碩士，工程師，研究方向：計算機教育應用以及信息化設備、多媒體設備的運維和管理。