基于增強現(xiàn)實技術(shù)的漢語口語實境對話APP設(shè)計

摘?要：在全球“漢語熱”不斷升溫和“互聯(lián)網(wǎng)+教育”不斷發(fā)展的趨勢下，漢語學(xué)習(xí)APP的專門化需求加強。增強現(xiàn)實技術(shù)具有“虛實結(jié)合、實時交互、三維注冊”的特點，恰好滿足二語習(xí)得者對“情景體演、個性交互、深度認(rèn)知”的需求。本文結(jié)合增強現(xiàn)實技術(shù)，準(zhǔn)確分析并定位漢語口語學(xué)習(xí)APP的市場需求，在充分調(diào)查漢語學(xué)習(xí)者口語學(xué)習(xí)難點、相關(guān)APP的使用情況及其需求的基礎(chǔ)上，設(shè)計一款以“舌位發(fā)音三維演示、動物角色扮演、實時互動對話”為特點的漢語口語實境對話APP。

關(guān)鍵詞：增強現(xiàn)實?漢語口語?實境對話

中圖分類號：TP311.5;H19??文獻標(biāo)識碼：A????文章編號：1003-9082（2020）08-00-02

一、引言

隨著中國國力的不斷增強，漢語成為繼英語后又一世界性的語言。據(jù)國家漢辦統(tǒng)計，目前除中國（含港澳臺）之外，全球?qū)W習(xí)使用漢語的人數(shù)已超過1億，其中包括6000多萬海外華人華僑，4000多萬各國主流社會的學(xué)習(xí)和使用者，并且隨著“一帶一路”“新時代”以及“十九大”等一系列政策影響，來華留學(xué)的人數(shù)持續(xù)增長。除了來華深造的學(xué)生外，世界范圍內(nèi)漢語的學(xué)習(xí)熱潮更是不斷高漲。在全球“漢語熱”不斷升溫和“互聯(lián)網(wǎng)+教育”不斷發(fā)展的趨勢下，漢語學(xué)習(xí)APP的專門化需求加強，漢語口語APP的開發(fā)更是迫不及待，但目前國內(nèi)外的相關(guān)研究都比較少，還有很大的空間等待探索。

本文結(jié)合增強現(xiàn)實技術(shù)，準(zhǔn)確分析并定位漢語口語學(xué)習(xí)APP的市場需求，在充分調(diào)查漢語學(xué)習(xí)者口語學(xué)習(xí)難點、相關(guān)APP的使用情況及其需求的基礎(chǔ)上，設(shè)計一款以“舌位發(fā)音三維演示、動物角色扮演、實時互動對話”為特點的漢語口語實境對話APP。

二、增強現(xiàn)實技術(shù)國內(nèi)外研究概況

增強現(xiàn)實（Augmented Reality，簡稱AR）是波音公司的研究員托馬斯·考德爾（Thomas Caudell）于1990年首次提出的概念，主要指在現(xiàn)實的物理世界中疊加一層計算機產(chǎn)生的輔助信息的技術(shù)。虛實結(jié)合、實時交互和三維注冊的特點，使AR技術(shù)廣泛應(yīng)用于工業(yè)、軍事、醫(yī)療、廣告和娛樂等領(lǐng)域。在教育領(lǐng)域，AR技術(shù)主要應(yīng)用于“學(xué)習(xí)內(nèi)容的三維成像和基于地理位置的AR游戲”。在語言方面，AR技術(shù)主要應(yīng)用于詞匯學(xué)習(xí)：“以三維模型呈現(xiàn)詞義和實時翻譯”。在其他領(lǐng)域，AR技術(shù)主要發(fā)揮增強信息（文字、圖片、音頻等）和實時互動的特點。AR技術(shù)具有“應(yīng)用平臺小型化、交互技術(shù)人性化、應(yīng)用領(lǐng)域擴大化”的趨勢。

目前，AR技術(shù)已經(jīng)廣泛運用于工業(yè)、軍事和娛樂等領(lǐng)域，而在教育這一塊還在初步階段。很多基于AR技術(shù)的教育游戲設(shè)計停留在實驗室的測試，在市面上推行使用的很少。一方面，是硬件設(shè)備和技術(shù)的有待跟進;另一方面，是教育需求和AR技術(shù)的切入點的尋求。針對AR技術(shù)“虛實結(jié)合的情景學(xué)習(xí)、實時交互的泛在學(xué)習(xí)、三維成像的可視化學(xué)習(xí)”的特點，其在教育領(lǐng)域的應(yīng)用將成為必然趨勢。

三、漢語口語學(xué)習(xí)APP的現(xiàn)狀及需求

目前，漢語口語的學(xué)習(xí)大都屬于綜合類APP的分支，該類APP模塊多而不精，對漢語學(xué)習(xí)者口語習(xí)得功能的開拓性和縱深性不夠，未出現(xiàn)類似于“英語流利說”這樣專門化的英語口語APP。另外，常規(guī)的口語課堂教學(xué)對提高學(xué)生開口率、體現(xiàn)交際性原則方面缺乏必要手段。針對漢語口語傳統(tǒng)課堂和現(xiàn)有APP的不足，擬定計劃進行走訪調(diào)查，收集學(xué)習(xí)者對口語學(xué)習(xí)環(huán)境的反饋，了解他們對相關(guān)APP的使用現(xiàn)狀，挖掘用戶需求，例如“經(jīng)常使用的APP、一天內(nèi)使用APP練習(xí)口語的時間長短、現(xiàn)有APP的優(yōu)點和缺點、對該類產(chǎn)品的期望和需求”等，并將反饋意見分列成表，以便進行直觀分析。

四、基于增強現(xiàn)實技術(shù)的漢語口語實境對話APP設(shè)計

綜合調(diào)查和數(shù)據(jù)分析，探究AR技術(shù)與APP的結(jié)合點，分別從APP的整體功能（前臺客戶端功能和后臺服務(wù)端功能）、數(shù)字學(xué)習(xí)內(nèi)容、AR工作流程三個方面進行探究設(shè)計。

1.前臺客戶端功能設(shè)計

1.1發(fā)音學(xué)習(xí)（發(fā)聲器官三維模型）

將人體二維發(fā)聲器官圖像應(yīng)用AR技術(shù)轉(zhuǎn)換為3D模型，并疊加于現(xiàn)實空間，使得漢語學(xué)習(xí)者可以清楚地觀察、模仿和學(xué)習(xí)某個音節(jié)具體的舌位擺放和發(fā)聲器官的震動，應(yīng)用AR技術(shù)人機交互的特點使二語習(xí)得者全方位操控（旋轉(zhuǎn)、放縮）需要觀察的具體發(fā)音部位。

1.2句子練習(xí)（人機對話）

任何語言的學(xué)習(xí)都是循序漸進、螺旋上升的。在現(xiàn)實環(huán)境中，口語的應(yīng)用需要建立在大量的語句積累之上的，因此，在單句練習(xí)方面擬采用人機對話的形式對學(xué)習(xí)者的語音進行評分和及時反饋。

1.3實境對話（三維動物王國）

動物王國的模擬意在增強學(xué)習(xí)者的學(xué)習(xí)驅(qū)動力，并且迎合學(xué)習(xí)者的現(xiàn)實生活中使用口語的需要，避免產(chǎn)生學(xué)而不用的問題。利用AR技術(shù)使動物以三維模型的形式在現(xiàn)實背景下呈現(xiàn)，增加練習(xí)口語的趣味性和真實感，提高學(xué)習(xí)者的積極性。

2.數(shù)字學(xué)習(xí)內(nèi)容

2.1語音

三維舌位發(fā)音演示現(xiàn)代漢語普通話23個聲母（其中包括21個輔音聲母和2個零聲母）和39個韻母以及413個音節(jié)的人體發(fā)音器官發(fā)音過程，達到二語習(xí)得者模仿學(xué)習(xí)并糾正母語口音影響音節(jié)發(fā)音的效果。情景對話設(shè)定日常情景對話成句語音，包括音節(jié)發(fā)音、輕聲、聲調(diào)、兒話、變音的學(xué)習(xí)。

2.2日常中文對話

2.2.1貼近生活，模擬日常交際對話：口語的輸出必須符合真實的生活邏輯，因此口語練習(xí)最為忌諱的就是理論和實踐的不貼合，不能為了達到某種練習(xí)的目的生造對話。情景的設(shè)計適應(yīng)生活的真實，設(shè)計如機場、地鐵、動物園等實用性的對話，打破母語思維，輸入中文、中國人的思維模式、邏輯模式。

2.2.2逐層遞進，兼顧不同層次學(xué)生的需要：按照漢語水平高低以及使用頻率分類設(shè)置，例如從初級階段的打招呼、問路、購物過渡到中級階段的旅游、學(xué)習(xí)、工作等語用環(huán)境。

2.2.3高層次語層互動，促進學(xué)生語言能力發(fā)展：在對話的設(shè)計方面應(yīng)用口語話詞匯和書面高階詞匯交叉嵌入式的設(shè)計，使得學(xué)習(xí)者接觸到較為綜合的語言材料。

2.2.4每日一句：中國文化博大精深，而語言文字就是這一文化最重要的物質(zhì)載體之一。以漢語口語為主的APP在談及語音、對話的同時當(dāng)然避不開的就是文化，因此中華文化的嵌入至關(guān)重要。每天打開APP首先映入眼簾的就是每日一句的積累，其中可收入漢語熟語如成語、諺語、歇后語和慣用語的小故事、文化現(xiàn)象如儒家文化、書法欣賞如名家的字帖、鄉(xiāng)野俚俗如上巳節(jié)的來源及禮俗、民族風(fēng)情如蒙古包文化、藏書典籍如《天工開物》的內(nèi)容源起等內(nèi)容，每日一句使得學(xué)習(xí)者能更好地理解并應(yīng)用中國語言，循環(huán)積累、弘揚文化。

3.AR工作流程

3.1AR采用無標(biāo)記的識別方法，對識別標(biāo)的（音節(jié)、漢字）進行一系列的信息采集（步驟①）。通過專門的開發(fā)網(wǎng)站生成包含其特定標(biāo)識號的數(shù)據(jù)集，導(dǎo)入到APP后臺數(shù)據(jù)庫中（步驟②）。學(xué)習(xí)者在進行發(fā)音訓(xùn)練時，APP調(diào)用AR模式，啟動攝像頭掃描字母或音節(jié)，并與后臺識別數(shù)據(jù)庫的信息作特征檢驗匹配，匹配成功后自動調(diào)取數(shù)據(jù)庫中的3D舌位發(fā)音圖模型（步驟③）。

3.2在實境對話中，代表學(xué)習(xí)者的動物三維模型可以根據(jù)學(xué)習(xí)者的發(fā)聲行為，同步執(zhí)行張口的操作，并且能隨著學(xué)習(xí)者地理方向的改變而變化角度。其中依賴于手機聲音識別系統(tǒng)以及AR核心技術(shù)——三維跟蹤注冊，即識別現(xiàn)實環(huán)境中的信息特征來確定攝像機的位姿，獲取攝像機各部分參數(shù)（步驟④），然后將AR動物模型渲染（步驟⑤），最終在移動終端的屏幕上完成虛實融合（步驟⑥）。

3.3通過編寫程序代碼對手勢檢測所涉及的圖像處理等關(guān)鍵技術(shù)進行原理分析，包括單指的點擊、旋轉(zhuǎn)、拖拽以及雙指移動與縮放，形成交互節(jié)點（步驟⑦），使得用戶更便捷地切換APP中的各類模塊。

結(jié)語

世界漢語學(xué)習(xí)呈上升趨勢，因此，數(shù)字化、信息化漢語學(xué)習(xí)創(chuàng)新與優(yōu)化非常必要。目前，網(wǎng)絡(luò)課程和手機軟件應(yīng)用（APP）是最主要的兩種電子學(xué)習(xí)方式，但二者均缺乏對漢語口語學(xué)習(xí)方面的研究、開發(fā)和應(yīng)用，不能滿足漢語口語學(xué)習(xí)者的需求。基于AR技術(shù)的漢語口語學(xué)習(xí)是“互聯(lián)網(wǎng)+”教育形勢下世界漢語教學(xué)多元需求的技術(shù)應(yīng)用趨勢，具有資源共享性高、學(xué)習(xí)環(huán)境交互性強、實現(xiàn)發(fā)音器官工作可視化等特點，能增強學(xué)習(xí)者在情境對話練習(xí)中的趣味性和真實性，幫助學(xué)習(xí)者解決發(fā)音難、缺少實際應(yīng)用的問題，滿足個性化學(xué)習(xí)需求，推廣和應(yīng)用前景強。

參考文獻

[1]蔡，王沛文，楊陽，劉恩睿.增強現(xiàn)實（AR）技術(shù)的教育應(yīng)用綜述[J].遠程教育雜志，2016，34（05）：27—40.

[2]陳向東，蔣中望.增強現(xiàn)實教育游戲的應(yīng)用[J].遠程教育雜志，2012，30（05）：68-73.

[3]齊立森，皮宗輝，徐苗，王樹國.增強現(xiàn)實的技術(shù)類型與教育應(yīng)用[J].現(xiàn)代教育技術(shù)，2014，24（11）：18—22.

[4]汪存友，程彤.增強現(xiàn)實教育應(yīng)用產(chǎn)品研究概述[J].現(xiàn)代教育技術(shù)，2016，6（05）：95—101.

[5]王培霖，梁奧齡，羅柯，高巍，周志穎.增強現(xiàn)實（AR）：現(xiàn)狀、挑戰(zhàn)及產(chǎn)學(xué)研一體化展望[J].中國電化教育，2017（03）：16—23.

[6]于翠波，李青，劉勇.增強現(xiàn)實（AR）技術(shù)的教育研究現(xiàn)狀及發(fā)展趨勢——基于2011-2016中英文期刊文獻分析[J].遠程教育雜志，2017，35（04）：104—112.

[7]曾丹，吉暉.增強現(xiàn)實技術(shù)的漢語教學(xué)研究[J].語文學(xué)刊，2017，37（05）：163—166.

[8]張枝實.虛擬現(xiàn)實和增強現(xiàn)實的教育應(yīng)用及融合現(xiàn)實展望[J].現(xiàn)代教育技術(shù)，2017，27（01）：21—27.

[9]周森，尹邦滿.增強現(xiàn)實技術(shù)及其在教育領(lǐng)域的應(yīng)用現(xiàn)狀與發(fā)展機遇[J].電化教育研究，2017，38（03）：86—93.

作者簡介：伍琴（1991—），女，碩士，江門職業(yè)技術(shù)學(xué)院教師，研究方向：漢語研究。