奚 駿 吳永和
教育數(shù)字人理論與實(shí)踐探研*
奚 駿1吳永和2
(1.上海市復(fù)興高級(jí)中學(xué),上海 200434;2.華東師范大學(xué) 教育信息技術(shù)學(xué)系,上海 200062)
在教育數(shù)字化轉(zhuǎn)型的背景下,作為新興信息技術(shù)代表的數(shù)字人應(yīng)如何融合創(chuàng)新基礎(chǔ)教育已成為研究者關(guān)注的焦點(diǎn)。基于此,文章首先對(duì)數(shù)字人的概念、特征、實(shí)現(xiàn)技術(shù)、應(yīng)用現(xiàn)狀進(jìn)行了概述,之后引入教育數(shù)字人概念,闡述了教育數(shù)字人的基本內(nèi)涵與六大特征;接著,文章提出了數(shù)字人信息模型,并在此基礎(chǔ)上構(gòu)建了教育數(shù)字人信息模型,闡釋了教育數(shù)字人的關(guān)鍵技術(shù);然后,文章分析了上海市復(fù)興高級(jí)中學(xué)在信息技術(shù)學(xué)科中四個(gè)教育數(shù)字人具體應(yīng)用場(chǎng)景的實(shí)踐案例;最后,文章就教育數(shù)字人的未來(lái)發(fā)展提出建議,以期為教育數(shù)字化轉(zhuǎn)型提供新技術(shù)和新場(chǎng)景。
數(shù)字人;教育數(shù)字人;信息技術(shù)學(xué)科;教育數(shù)字化轉(zhuǎn)型;應(yīng)用場(chǎng)景
目前,我國(guó)正處于教育數(shù)字化轉(zhuǎn)型的重要階段,《教育部2022年工作要點(diǎn)》提出“實(shí)施教育數(shù)字化戰(zhàn)略行動(dòng)”,明確要求“指導(dǎo)推進(jìn)教育信息化新領(lǐng)域新模式試點(diǎn)示范,深化信息技術(shù)與教育教學(xué)融合創(chuàng)新”[1]。教育部等六部門(mén)印發(fā)《關(guān)于推進(jìn)教育新型基礎(chǔ)設(shè)施建設(shè)構(gòu)建高質(zhì)量教育支撐體系的指導(dǎo)意見(jiàn)》,指出要通過(guò)教育信息化新基建聚焦信息網(wǎng)絡(luò)、平臺(tái)體系、數(shù)字資源、智慧校園、創(chuàng)新應(yīng)用、可信安全六個(gè)重點(diǎn)方向,構(gòu)建六位一體的高質(zhì)量教育支撐體系[2]。作為全國(guó)首個(gè)數(shù)字化轉(zhuǎn)型示范區(qū),上海市教委在《上海市教育數(shù)字化轉(zhuǎn)型實(shí)施方案(2021-2023)》中提出要形成一批高質(zhì)量、可復(fù)制、可推廣的教育數(shù)字化轉(zhuǎn)型經(jīng)驗(yàn)和示范場(chǎng)景,基于增強(qiáng)現(xiàn)實(shí)和虛擬現(xiàn)實(shí)等技術(shù)實(shí)施沉浸式、體驗(yàn)式教學(xué)[3]。國(guó)家及地方相關(guān)政策的推出和實(shí)施加速了教育數(shù)字化轉(zhuǎn)型的進(jìn)程,同時(shí)也促進(jìn)了新型技術(shù)的發(fā)展,其中數(shù)字人技術(shù)受到廣泛關(guān)注。
數(shù)字人技術(shù)是教育的數(shù)字孿生,能夠?qū)崿F(xiàn)對(duì)教育的沉浸式模擬,通過(guò)對(duì)教育關(guān)系的精準(zhǔn)映射、師生間的虛實(shí)交互,實(shí)現(xiàn)智慧教育,從而提升教育質(zhì)量[4]。2001年,“中國(guó)數(shù)字人”項(xiàng)目開(kāi)啟,創(chuàng)造了中國(guó)首個(gè)數(shù)字人數(shù)據(jù)集[5],自此,國(guó)內(nèi)逐步對(duì)數(shù)字人技術(shù)及其在教育領(lǐng)域的應(yīng)用開(kāi)展了相關(guān)研究,但仍然存在一定的局限性。基于此,本研究從理論與實(shí)踐兩個(gè)方面對(duì)教育數(shù)字人的概念、特征、模型、技術(shù)、案例及建議進(jìn)行探索研究,通過(guò)將數(shù)字人技術(shù)融合、創(chuàng)新基礎(chǔ)教育,以期為教育數(shù)字化轉(zhuǎn)型提供新技術(shù)和新場(chǎng)景。
數(shù)字人研究起源于1989年美國(guó)國(guó)立醫(yī)學(xué)圖書(shū)館建立的“可視人體計(jì)劃”(Visible Human Project),其原理是基于磁共振的數(shù)據(jù),通過(guò)計(jì)算機(jī)圖像技術(shù)建造虛擬人體[6],主要應(yīng)用于醫(yī)學(xué)、生物仿真、基因的研究[7]。數(shù)字人也被稱(chēng)為“虛擬人”或“數(shù)字虛擬人”,通常是指具有擬人的形象且能通過(guò)語(yǔ)言進(jìn)行表達(dá)、互動(dòng)的高度擬人化的虛擬人物。嚴(yán)格來(lái)說(shuō),“數(shù)字人”含有三種不同的定義,但它們?cè)趯?shí)際應(yīng)用中常被復(fù)合使用,本研究不做特別區(qū)分:①Digital Human,是真人的一種“數(shù)字孿生”,將真人與其生活進(jìn)行1:1的數(shù)字化再現(xiàn)[8];其典型應(yīng)用是作為真人在虛擬世界的“數(shù)字替身”“虛擬分身”(Avatar),此應(yīng)用與當(dāng)下熱門(mén)的“元宇宙”關(guān)系緊密,目標(biāo)是使人類(lèi)通過(guò)虛擬分身在虛擬世界與真實(shí)世界開(kāi)展無(wú)縫銜接的生活[9]。②Virtual Human,是通過(guò)虛擬形象較真實(shí)地顯示人體的生理狀態(tài)與變化,并不強(qiáng)調(diào)與真實(shí)世界的關(guān)聯(lián)。③Metahuman,是以AI為驅(qū)動(dòng),自動(dòng)化完成與用戶(hù)的互動(dòng),通常承擔(dān)聊天、智能問(wèn)答等工作[10]。
數(shù)字人具有“有形象、會(huì)表達(dá)、能互動(dòng)”三大普遍特征[11],具體表現(xiàn)為:①數(shù)字人擁有擬人的外形,形象可以多元化,如二次元形象、3D卡通形象等,甚至可以是超寫(xiě)實(shí)真人形象,故突破了感知真實(shí)性[12]。數(shù)字人的形象需要通過(guò)屏幕、AR/VR等設(shè)備觀看,不具有機(jī)器人的物理外形。②數(shù)字人具備語(yǔ)言、體態(tài)、情緒等方面的表達(dá)能力,說(shuō)話(huà)時(shí)可以匹配口型、微表情、身體動(dòng)作等,以實(shí)現(xiàn)高度擬人的“真情實(shí)感”。③數(shù)字人能夠通過(guò)真人扮演或AI驅(qū)動(dòng)來(lái)實(shí)現(xiàn)與用戶(hù)的互動(dòng),以AI技術(shù)驅(qū)動(dòng)的互動(dòng)是目前研究的主要方向。
數(shù)字人是通過(guò)技術(shù)集群實(shí)現(xiàn)的,其呈現(xiàn)過(guò)程通常是:形象設(shè)計(jì)→建模→動(dòng)作捕捉→合成→渲染→實(shí)時(shí)交互。在實(shí)時(shí)交互階段,數(shù)字人實(shí)現(xiàn)了與計(jì)算機(jī)動(dòng)畫(huà)(Computer Graphics,CG)的形態(tài)分割。幫助數(shù)字人實(shí)現(xiàn)高度擬人的實(shí)時(shí)互動(dòng)技術(shù)主要包括:以邊緣計(jì)算為代表的高算力技術(shù),滿(mǎn)足了實(shí)時(shí)視頻數(shù)據(jù)處理的需要[13];動(dòng)態(tài)光場(chǎng)建模技術(shù),是通過(guò)攝像機(jī)列陣將結(jié)構(gòu)光、動(dòng)態(tài)、重光照技術(shù)一次性集成,提升了建模的效率[14];以空間信息及光流信息分流為代表的計(jì)算機(jī)視覺(jué)技術(shù),實(shí)現(xiàn)了人體動(dòng)作識(shí)別[15],降低了內(nèi)容制作成本;音頻驅(qū)動(dòng)神經(jīng)輻射場(chǎng)技術(shù),實(shí)現(xiàn)了通過(guò)語(yǔ)音信號(hào)生成口唇、微表情合成,取代了需要人工參與的光學(xué)捕捉設(shè)備[16];以可微分渲染[17]、神經(jīng)渲染[18]為代表的實(shí)時(shí)渲染技術(shù),實(shí)現(xiàn)了高質(zhì)量、高速度、低延遲的圖像生成需求;多模態(tài)人機(jī)交互技術(shù),支持?jǐn)?shù)字人實(shí)現(xiàn)對(duì)師生與知識(shí)的精準(zhǔn)刻畫(huà),具有自驅(qū)的“思考”與交流能力[19]。
目前,技術(shù)的飛躍實(shí)現(xiàn)了數(shù)字人外貌精度從仿真到超現(xiàn)實(shí)仿真、應(yīng)用難度從影像專(zhuān)業(yè)級(jí)到消費(fèi)級(jí)、交互方式從人工到全自動(dòng)的三方面演進(jìn)。數(shù)字人的應(yīng)用主要有四種類(lèi)型:①“虛擬偶像型”,是具有明確人設(shè)的虛擬形象,相較于真人偶像更趨近于理想模型,是IP運(yùn)營(yíng)的個(gè)性化養(yǎng)成形態(tài)[20],如清華大學(xué)推出的能唱會(huì)彈的虛擬學(xué)生華智冰;②“服務(wù)助手型”,是指數(shù)字人代替真人向真實(shí)用戶(hù)提供服務(wù),一般通過(guò)高仿真的人物造型結(jié)合職能場(chǎng)景,實(shí)現(xiàn)個(gè)性化服務(wù)工作,如浦發(fā)銀行的虛擬客服小浦、多模態(tài)智能問(wèn)答機(jī)器人、新華社的虛擬記者[21];③“創(chuàng)作載體型”,是指將數(shù)字人作為內(nèi)容進(jìn)行開(kāi)發(fā),主要形式為社區(qū)創(chuàng)作與IP的結(jié)合,如關(guān)于早期虛擬歌手初音未來(lái)、洛天依的社區(qū)創(chuàng)作十分活躍[22];④“數(shù)字替身型”,是指為真人打造虛擬形象作為替身,呈現(xiàn)虛實(shí)疊化[23],目前主要應(yīng)用于社交、娛樂(lè)等領(lǐng)域,如冬奧備戰(zhàn)期間,谷愛(ài)凌通過(guò)數(shù)字分身參與了冬奧演播室的錄制活動(dòng)。2021年,國(guó)家廣播電視總局印發(fā)《廣播電視和網(wǎng)絡(luò)視聽(tīng)“十四五”科技發(fā)展規(guī)劃》[24],提出要加快推進(jìn)AI無(wú)障礙播報(bào)、虛擬主播等制播體系技術(shù)升級(jí),表明“數(shù)字替身型”應(yīng)用將會(huì)得到快速發(fā)展。
數(shù)字人技術(shù)在商業(yè)領(lǐng)域涌現(xiàn)了大量的應(yīng)用案例,建立了成熟的商業(yè)模式,但是該技術(shù)在教育領(lǐng)域的應(yīng)用較為少見(jiàn)。究其原因,主要在于教育領(lǐng)域具有千差萬(wàn)別的用戶(hù)需求,包括個(gè)性化教師、個(gè)性化學(xué)生、知識(shí)本體、學(xué)科特征、學(xué)段特征等,相較于商業(yè)場(chǎng)景只服務(wù)單一需求的用戶(hù)而言顯得尤為復(fù)雜且多樣[25]。
當(dāng)前,教育數(shù)字化改革的核心目標(biāo)是提升教學(xué)質(zhì)量,其實(shí)現(xiàn)的關(guān)鍵是對(duì)傳統(tǒng)的教學(xué)過(guò)程進(jìn)行高質(zhì)量提升,其中包含三個(gè)方面:①沉浸式交互,能提供知識(shí)的感性表達(dá)途徑,降低學(xué)生的理解難度,從而提升教學(xué)質(zhì)量;②去中心化生產(chǎn),能形成豐富的教學(xué)資源及形態(tài),幫助學(xué)生擴(kuò)展對(duì)知識(shí)的理解途徑,從而提升教學(xué)質(zhì)量;③個(gè)性化、智能化教學(xué),能通過(guò)因材施教的教學(xué)方法,為學(xué)生提供符合其發(fā)展目標(biāo)的、可以自主自由學(xué)習(xí)的服務(wù),從而提升教學(xué)質(zhì)量。
為此,本研究將對(duì)數(shù)字人技術(shù)進(jìn)行一定的適應(yīng)性改造,力求發(fā)揮其高度擬人化優(yōu)勢(shì),并通過(guò)與教育數(shù)據(jù)、人工智能技術(shù)等的結(jié)合,構(gòu)建出教育數(shù)字人的應(yīng)用模型,服務(wù)于教學(xué)質(zhì)量提升的核心目標(biāo)。
在教育領(lǐng)域,數(shù)字人可以發(fā)揮擬人化的能力,實(shí)現(xiàn)對(duì)師生的模仿,從而創(chuàng)造新的師生交流形態(tài),推動(dòng)教學(xué)與學(xué)習(xí)的形式變革。此外,數(shù)字人在參與教育教學(xué)的過(guò)程中,還可以打破傳統(tǒng)PPT板書(shū)、教具模型、平面網(wǎng)頁(yè)形態(tài)軟件的主要形式,對(duì)知識(shí)的教學(xué)形式、教學(xué)資源形式實(shí)現(xiàn)再造,為師生乃至管理者提供個(gè)性化、智能化服務(wù)工具,從而變身為教育專(zhuān)用的“教育數(shù)字人”。
綜上,本研究認(rèn)為教育數(shù)字人的基本內(nèi)涵是以虛擬形象作為師生的表象,同時(shí)以“代理人”的身份,為知識(shí)傳遞提供更有趣、更智能的途徑:①?gòu)男问缴蟻?lái)看,教育數(shù)字人主要是對(duì)師生的形態(tài)、感知、工作方式進(jìn)行智能化模擬,從而承擔(dān)師生的數(shù)字替身、學(xué)科智能助教等多種形態(tài)的工作。相較于硬件機(jī)器人、平面的軟件界面而言,教育數(shù)字人無(wú)論是從感官上還是從感知上都具有高度的擬人特性。②從功能上來(lái)看,教育數(shù)字人主要是作為師生與知識(shí)之間信息傳達(dá)的代理人,為師生提供全新的交流互動(dòng)形態(tài)、內(nèi)容資源形態(tài)、信息表現(xiàn)形態(tài)、情感流動(dòng)形態(tài),在教育過(guò)程中滿(mǎn)足沉浸式教學(xué)方式、去中心化內(nèi)容生產(chǎn)、個(gè)性化教學(xué)服務(wù)、智能化教學(xué)服務(wù)等需求。
通用型數(shù)字人具有“有形象、會(huì)表達(dá)、能互動(dòng)”三大特征,在商業(yè)領(lǐng)域通過(guò)模仿偶像、客服實(shí)現(xiàn)對(duì)用戶(hù)的服務(wù)。延伸至教育領(lǐng)域,教育數(shù)字人既以師生為模仿對(duì)象,又以師生為服務(wù)對(duì)象,扮演虛擬教師、虛擬學(xué)生、虛擬助教等多元角色,從而實(shí)現(xiàn)創(chuàng)新的知識(shí)傳遞形式。教育數(shù)字人是對(duì)數(shù)字人技術(shù)在教育應(yīng)用中的進(jìn)一步深化,本研究認(rèn)為其特征主要表現(xiàn)為師生交互、知識(shí)情境、技術(shù)實(shí)現(xiàn)三個(gè)方面。
(1)師生交互方面
①多元角色。吳永和等[26]指出,數(shù)字人技術(shù)對(duì)從教師到學(xué)生的傳統(tǒng)信息流轉(zhuǎn)關(guān)系進(jìn)行了全新解構(gòu),真實(shí)與虛擬的雙方承擔(dān)多元化職能,打破了傳統(tǒng)界限。例如,虛擬教師作為助教,配合真實(shí)教師實(shí)現(xiàn)雙師課堂、翻轉(zhuǎn)課堂——該虛擬教師既可以由教師扮演,也可以由學(xué)生扮演。當(dāng)學(xué)生扮演助教時(shí),其本質(zhì)是“優(yōu)秀學(xué)生”通過(guò)使用符合學(xué)生習(xí)慣的用語(yǔ),彌補(bǔ)教師用語(yǔ)的固化,從而提升課堂的教學(xué)質(zhì)量。
②虛實(shí)統(tǒng)一。數(shù)字人所扮演的虛擬師生與真實(shí)師生是統(tǒng)一體,虛實(shí)角色之間是平等的。虛擬教師或虛擬學(xué)生是真實(shí)師生的載體,可以為真實(shí)師生提供完整的情感投射。數(shù)字人的虛擬形態(tài)可以完善原有的情感流動(dòng)機(jī)制,放大情感交流的效能,確保真實(shí)情感在代理過(guò)程中不發(fā)生損耗與偏差。
(2)知識(shí)情境方面
①開(kāi)放生態(tài)。教育數(shù)字人為知識(shí)重構(gòu)、資源創(chuàng)新、數(shù)據(jù)供應(yīng)、情境再造提供了有效的支撐,讓師生都能成為教育資源的供給方,打破了自上而下的傳統(tǒng)專(zhuān)業(yè)內(nèi)生成的內(nèi)容(Professionally Generated Content,PGC)生態(tài),通過(guò)達(dá)成去中心化的用戶(hù)生成的內(nèi)容(User Generated Content,UGC)創(chuàng)作共識(shí),快速提升教育資源的質(zhì)量與數(shù)量。
②感性沉浸。學(xué)生更容易理解具象化的知識(shí),教育數(shù)字人可實(shí)現(xiàn)對(duì)真實(shí)世界的虛擬再現(xiàn),并通過(guò)虛實(shí)結(jié)合的知識(shí)傳達(dá)方式,幫助師生共同打造新型的虛擬教學(xué)場(chǎng)景,使師生雙方均獲得臨場(chǎng)感,實(shí)現(xiàn)與知識(shí)的共情。
(3)技術(shù)實(shí)現(xiàn)方面
①因材施教。教育數(shù)字人在視覺(jué)上是師生個(gè)性展示的新途徑,包括審美、喜好、文化背景等。教育數(shù)字人打破了真實(shí)面貌、行為習(xí)慣所產(chǎn)生的認(rèn)知偏差,可實(shí)現(xiàn)對(duì)師生個(gè)性的深度表達(dá)。在技術(shù)層面,教育數(shù)字人結(jié)合師生的學(xué)習(xí)數(shù)據(jù)、認(rèn)知數(shù)據(jù)、發(fā)展目標(biāo)等數(shù)據(jù),結(jié)合智能決策系統(tǒng),實(shí)現(xiàn)個(gè)性化的教學(xué)服務(wù),滿(mǎn)足學(xué)生因材施教的需求。
②自我進(jìn)化。在智能化方面,教育數(shù)字人可承擔(dān)智能助教、虛擬教師的職能,通過(guò)智能系統(tǒng)有效減輕教師負(fù)擔(dān)。教育數(shù)字人通過(guò)學(xué)習(xí)專(zhuān)家型知識(shí)、師生交互數(shù)據(jù)等實(shí)現(xiàn)自我進(jìn)化,令人機(jī)互動(dòng)的結(jié)果更接近真實(shí)。同時(shí),針對(duì)教育智能要素和服務(wù)對(duì)象的復(fù)雜性,教育數(shù)字人在自動(dòng)化工作的過(guò)程中需實(shí)施及時(shí)警報(bào)的機(jī)制,在自動(dòng)化與人工之間實(shí)現(xiàn)無(wú)縫協(xié)作,以避免因不夠成熟的自動(dòng)化行為而對(duì)師生產(chǎn)生負(fù)面影響。
數(shù)字人是數(shù)字化的一種新技術(shù)形態(tài)。祝智庭等[27]認(rèn)為,數(shù)字化的本質(zhì)是將信息轉(zhuǎn)化為數(shù)據(jù)并實(shí)現(xiàn)處理,其過(guò)程包括信息的采集、輸入、加工、輸出、交互。而數(shù)字人進(jìn)行的是多模態(tài)交互,因此蔡蘇等[28]指出相對(duì)平面軟件數(shù)字人具有視覺(jué)、聽(tīng)覺(jué)等綜合感知。

圖1 數(shù)字人信息模型
基于上述分析,本研究提出了數(shù)字人信息模型,如圖1所示。其中在采集、交互兩個(gè)階段,數(shù)字人的信息表達(dá)是多模態(tài)的,表達(dá)形式包括語(yǔ)言、文字、圖像、動(dòng)作等;而在處理階段,主要是對(duì)采集的多模態(tài)數(shù)據(jù)進(jìn)行形象動(dòng)態(tài)的合成,主要技術(shù)包括CG建模、邊緣計(jì)算、實(shí)時(shí)渲染、語(yǔ)音合成、動(dòng)畫(huà)和成等。另外,交互階段將合成的形象動(dòng)態(tài)與知識(shí)圖譜、智能決策系統(tǒng)等技術(shù)進(jìn)行結(jié)合,實(shí)現(xiàn)多模態(tài)交互,其交互形式分為人工、智能兩種。
以數(shù)字人信息模型為基礎(chǔ),為滿(mǎn)足服務(wù)教育的需求,本研究構(gòu)建了教育數(shù)字人信息模型,如圖2所示。教育數(shù)字人的主要服務(wù)對(duì)象是教師與學(xué)生,通過(guò)多模態(tài)的信息處理,服務(wù)于知識(shí)傳遞與情境創(chuàng)造兩個(gè)目標(biāo)。

圖2 教育數(shù)字人信息模型
從本質(zhì)上來(lái)說(shuō),教育數(shù)字人信息模型在整體信息處理方面與數(shù)字人信息模型別無(wú)二致,但由于教育領(lǐng)域具有強(qiáng)烈的教育化特質(zhì),因此教育數(shù)字人在信息處理過(guò)程中增加了大量的師生個(gè)性化數(shù)據(jù),這一點(diǎn)相較于商業(yè)應(yīng)用顯得復(fù)雜許多。
教育數(shù)字人信息模型首先通過(guò)計(jì)算機(jī)視覺(jué)、語(yǔ)義識(shí)別、動(dòng)態(tài)捕捉等技術(shù)實(shí)現(xiàn)對(duì)師生語(yǔ)言、情緒、行為、身份等的多模態(tài)數(shù)據(jù)采集,使采集的數(shù)據(jù)與更多的師生個(gè)性化數(shù)據(jù)相結(jié)合,其中學(xué)生的個(gè)性化數(shù)據(jù)包括學(xué)習(xí)數(shù)據(jù)、發(fā)展目標(biāo)、認(rèn)知風(fēng)格等,教師的個(gè)性化數(shù)據(jù)包括教學(xué)經(jīng)驗(yàn)、教學(xué)標(biāo)準(zhǔn)等。隨后,通過(guò)表情合成、邊緣計(jì)算、語(yǔ)音合成等技術(shù),在視覺(jué)層面實(shí)現(xiàn)形象處理,在數(shù)據(jù)挖掘?qū)用鎸?shí)現(xiàn)學(xué)習(xí)者風(fēng)格模型、教學(xué)推薦模型、學(xué)習(xí)成本模型等模型的構(gòu)建,為智能化交互做準(zhǔn)備。最后,通過(guò)知識(shí)圖譜、情感計(jì)算、聯(lián)邦學(xué)習(xí)等技術(shù),結(jié)合個(gè)性化模型、實(shí)時(shí)數(shù)據(jù)、視覺(jué)形象等,最終實(shí)現(xiàn)知識(shí)的多模態(tài)傳遞與沉浸式的教學(xué)情境創(chuàng)造,從而完成師生間的信息與數(shù)據(jù)轉(zhuǎn)化。
除信息模型層面外,還需要從技術(shù)層面解決教育數(shù)字人所面臨的教育可用性問(wèn)題:①滿(mǎn)足沉浸式教學(xué)需求下的師生身份與信息安全;②滿(mǎn)足去中心化生產(chǎn)需求下的低成本與精度平衡;③滿(mǎn)足個(gè)性化與智能化教學(xué)需求下的數(shù)據(jù)融合,以建立師生的完整信息模型。為解決上述問(wèn)題,教育數(shù)字人除了運(yùn)用通用數(shù)字人技術(shù),還需要特別關(guān)注以下關(guān)鍵技術(shù):
(1)區(qū)塊鏈技術(shù)
在多模態(tài)數(shù)據(jù)采集階段,教育場(chǎng)景中的師生關(guān)系需要嚴(yán)密的身份認(rèn)證機(jī)制,以避免因虛假身份而造成的信息不安全問(wèn)題。通過(guò)區(qū)塊鏈可追溯、不可篡改的智能合約機(jī)制,能夠確保在數(shù)字化的虛擬形象背后,師生的身份、信息流轉(zhuǎn)、信息存儲(chǔ)均處于與真實(shí)對(duì)應(yīng)、安全、穩(wěn)定、透明的狀態(tài)。由于區(qū)塊鏈技術(shù)本身存在交易吞吐率(Transaction Per Second,TPS)的問(wèn)題,因此通過(guò)終端硬件設(shè)備來(lái)實(shí)現(xiàn)信息采集與認(rèn)證也可作為替代模式。
(2)計(jì)算機(jī)視覺(jué)的動(dòng)作捕捉技術(shù)
在多模態(tài)數(shù)據(jù)采集階段,計(jì)算機(jī)視覺(jué)的動(dòng)作捕捉技術(shù)能夠幫助教師個(gè)人實(shí)現(xiàn)低成本面部與體態(tài)的捕捉。雖然計(jì)算機(jī)視覺(jué)的動(dòng)作捕捉技術(shù)與光學(xué)式、慣性式動(dòng)作捕捉在精確度、穩(wěn)定性方面有一定的差距,但此技術(shù)切實(shí)降低了教育應(yīng)用的門(mén)檻,在性能與效能間達(dá)到了平衡,為去中心化的優(yōu)質(zhì)教育資源創(chuàng)造提供了支撐。
(3)基于AI的精細(xì)化表情合成技術(shù)
在形象處理階段,服務(wù)與教育數(shù)字人的“虛實(shí)統(tǒng)一”的特征、表情的精細(xì)化再現(xiàn),是虛擬師生能夠完成情感投射的重要因素。馬薩諸塞大學(xué)與Adobe研究院等機(jī)構(gòu)共同提出將發(fā)音方式與說(shuō)話(huà)人身份進(jìn)行區(qū)別控制的方法,以緩解現(xiàn)有的口唇生硬配合的不自然問(wèn)題[29]。該研究認(rèn)為音頻的發(fā)音方式與說(shuō)話(huà)人身份無(wú)關(guān),不管誰(shuí)說(shuō)“啊”都需要將嘴張開(kāi),但說(shuō)話(huà)人的身份決定了面部表情的細(xì)節(jié),不同身份的人說(shuō)“啊”時(shí)嘴唇張開(kāi)幅度、鼻眼與頭部的動(dòng)態(tài)有顯著區(qū)別。該研究結(jié)果可提升數(shù)字人表情的自然性,并實(shí)現(xiàn)通過(guò)語(yǔ)音對(duì)表情進(jìn)行預(yù)測(cè)。在空中課堂直播中,當(dāng)高并發(fā)堵塞網(wǎng)絡(luò)造成畫(huà)面延遲時(shí),該項(xiàng)技術(shù)可對(duì)師生面部表情實(shí)時(shí)自動(dòng)修補(bǔ),以確保師生雙方的情緒與情感被完整表達(dá)出來(lái)。
(4)數(shù)據(jù)融合技術(shù)
在多模態(tài)交互階段,要做到個(gè)性化教學(xué)與多模態(tài)交互,需要對(duì)多模態(tài)的信息(即文字、視頻、圖像、語(yǔ)音、動(dòng)作等)實(shí)現(xiàn)處理,并打破數(shù)據(jù)邊界,建立完整的師生數(shù)字模型。通過(guò)專(zhuān)家型學(xué)科知識(shí)庫(kù)與知識(shí)圖譜技術(shù)的配合,可以進(jìn)行知識(shí)關(guān)系的推理與問(wèn)題理解,實(shí)現(xiàn)“自主教學(xué)”的能力[30];通過(guò)情感計(jì)算等技術(shù),可以讓師生的認(rèn)知、心理等情感數(shù)據(jù)進(jìn)入個(gè)性化建模的層面,從而保障教育智能的完整性;通過(guò)聯(lián)邦學(xué)習(xí)、數(shù)據(jù)挖掘技術(shù)的配合,可以實(shí)現(xiàn)跨系統(tǒng)數(shù)據(jù)、跨模型的聯(lián)合建模,避免數(shù)據(jù)孤島問(wèn)題[31]。
在教育數(shù)字人六大特征的影響下,為實(shí)現(xiàn)教師、學(xué)生和知識(shí)情境三方聯(lián)動(dòng)的優(yōu)化,從而實(shí)現(xiàn)教育質(zhì)量的提升,本研究總結(jié)了教育數(shù)字人的內(nèi)部關(guān)系與作用(如圖3所示):①在多元角色、虛實(shí)統(tǒng)一特征的影響下,師生間的交互出現(xiàn)新形態(tài),促進(jìn)了教學(xué)方式的深度挖掘,如開(kāi)展雙師課堂、個(gè)性化智能助教、翻轉(zhuǎn)課堂等,這提供了差異化教學(xué)的途徑;②在開(kāi)放生態(tài)、感性沉浸特征的影響下,讓師生參與沉浸式教學(xué)內(nèi)容的創(chuàng)作,可以快速創(chuàng)造出多樣且匹配度高的教育資源形態(tài);③在因材施教、自我進(jìn)化特征的影響下,將教學(xué)過(guò)程中的師生個(gè)性化數(shù)據(jù)充分融合,可以實(shí)現(xiàn)對(duì)師生行為、認(rèn)知、偏好等的動(dòng)態(tài)理解,從而提供個(gè)性化學(xué)習(xí)路徑。

圖3 教育數(shù)字人的內(nèi)部關(guān)系與作用
結(jié)合教育數(shù)字人的內(nèi)部關(guān)系與作用,本研究以上海市復(fù)興高級(jí)中學(xué)的四個(gè)具體應(yīng)用場(chǎng)景實(shí)踐為切入點(diǎn),對(duì)教育數(shù)字人在教育質(zhì)量提升方面的具體作用進(jìn)行了觀察。該校將教育數(shù)字人技術(shù)引入信息技術(shù)學(xué)科的教學(xué),承擔(dān)信息技術(shù)手段、學(xué)科教學(xué)內(nèi)容載體兩個(gè)方面的功能,從而實(shí)現(xiàn)該學(xué)科教學(xué)質(zhì)量與智能化程度的雙提升。
該校通過(guò)智能助教對(duì)學(xué)生進(jìn)行個(gè)性化指導(dǎo),是充分利用智能交互手段,為學(xué)生提供個(gè)性化學(xué)習(xí)途徑的典型案例。高中信息技術(shù)學(xué)科的知識(shí)組織具有邏輯順序清晰、偏直線(xiàn)式而非螺旋式、邊界相對(duì)明確的特點(diǎn),可以在系統(tǒng)中構(gòu)建校本知識(shí)庫(kù),利用知識(shí)圖譜、智能決策系統(tǒng)來(lái)實(shí)現(xiàn)智能問(wèn)答交互,彌補(bǔ)實(shí)踐環(huán)節(jié)欠缺[32]。智能助教建立在云端的編程實(shí)驗(yàn)環(huán)境之上,通過(guò)對(duì)學(xué)生編程過(guò)程的數(shù)據(jù)監(jiān)控,向?qū)W生推薦個(gè)性化學(xué)習(xí)內(nèi)容或在代碼過(guò)程中提供指導(dǎo),為學(xué)生完成信息學(xué)科的自主學(xué)習(xí)提供支持,同時(shí)降低教師個(gè)性化教學(xué)的難度;同時(shí)在數(shù)據(jù)的累積過(guò)程中,實(shí)現(xiàn)系統(tǒng)的迭代與進(jìn)化,提升系統(tǒng)的智能程度。
為快速積累教學(xué)資源,以服務(wù)上海市于2021年秋季啟用的新版信息技術(shù)學(xué)科教材,該校采用虛擬教師智能合成系統(tǒng),實(shí)現(xiàn)高效的微課資源制作,是教育資源形態(tài)優(yōu)化方面的典型案例。如圖4所示,在指定虛擬教師形象并為其設(shè)置腳本文本、授課素材后,系統(tǒng)將合成形象、語(yǔ)音、語(yǔ)調(diào)、口型、動(dòng)作、講課內(nèi)容,實(shí)現(xiàn)以虛擬教師為主講人的授課視頻。由于無(wú)須教師本人出鏡、出聲,因此該系統(tǒng)提升了資源錄制、修改的便利性,降低了教師工作難度。
該校采用虛擬形象直播系統(tǒng),實(shí)現(xiàn)了師生在視頻流中以虛擬形象示人的功能,是差異化教學(xué)途徑的典型案例。具體來(lái)說(shuō),虛擬角色有三種應(yīng)用:①采用雙師授課的形式。如圖5所示,真實(shí)教師與虛擬教師共同實(shí)現(xiàn)雙師課堂,這樣通過(guò)多維的表達(dá)方式進(jìn)一步豐富了知識(shí)傳遞的視角。②在線(xiàn)上課程中師生以虛擬形象替換視頻流中的個(gè)人形象,增加了線(xiàn)上教學(xué)的趣味性,提升了師生的課堂參與度。③構(gòu)建虛擬會(huì)場(chǎng),開(kāi)展虛實(shí)融合的沉浸式講座。主講教師與學(xué)生均以虛擬形象進(jìn)入會(huì)場(chǎng),并且授課資料、教室會(huì)場(chǎng)均融入在虛擬場(chǎng)景中,這樣學(xué)生可以在虛擬會(huì)場(chǎng)中自由行走、獲取資料并實(shí)現(xiàn)社交。虛擬會(huì)場(chǎng)與真實(shí)講座現(xiàn)場(chǎng)并行,兩者獲得的信息需求一致,共同創(chuàng)造有趣的知識(shí)情境。

圖4 虛擬教師合成后畫(huà)面

圖5 真實(shí)教師與虛擬教師共同實(shí)現(xiàn)雙師課堂
信息技術(shù)課程旨在全面提升學(xué)生的信息素養(yǎng)[33],而為了支撐信息素養(yǎng)的發(fā)展,該校將數(shù)字人技術(shù)作為知識(shí)充實(shí)到學(xué)科內(nèi)容之中,并挑選與學(xué)科密切相關(guān)的技術(shù)內(nèi)容進(jìn)行校本課程建設(shè),以提升學(xué)科教學(xué)質(zhì)量。例如,可以在信息技術(shù)學(xué)科中選取語(yǔ)音識(shí)別、文本挖掘等數(shù)字人相關(guān)技術(shù),以開(kāi)展專(zhuān)題學(xué)習(xí);也可以將信息技術(shù)與多媒體、藝術(shù)欣賞等模塊相結(jié)合,通過(guò)“信息技術(shù)+”的學(xué)科融合教學(xué),將信息技術(shù)貫穿于更多學(xué)科的教學(xué)之中,以幫助全體師生在實(shí)踐與應(yīng)用的過(guò)程中實(shí)現(xiàn)信息技術(shù)素養(yǎng)的提升,如將合乎規(guī)范的數(shù)字人技術(shù)與藝術(shù)課程相結(jié)合,幫助學(xué)生實(shí)現(xiàn)虛擬人物的藝術(shù)創(chuàng)造。
目前,教育數(shù)字人仍然處于實(shí)驗(yàn)階段。為促使教育數(shù)字人從“代理人”發(fā)展為“獨(dú)立的教育智慧體”,從而助力實(shí)現(xiàn)教育數(shù)字化轉(zhuǎn)型,本研究針對(duì)教育數(shù)字人的未來(lái)發(fā)展提出如下建議:
教育數(shù)字人實(shí)現(xiàn)了教學(xué)體驗(yàn)的創(chuàng)變,特別是在多模態(tài)的人機(jī)交互這一環(huán)節(jié)中,但其在情感表達(dá)能力方面還需要進(jìn)一步提升,以擺脫“代理人”的局限,而成為獨(dú)立的教育智能體。本研究認(rèn)為,可以結(jié)合認(rèn)知科學(xué)、教育心理學(xué)、社會(huì)學(xué)等的相關(guān)理論開(kāi)展進(jìn)一步研究,在情感反饋、情感互動(dòng)機(jī)制等方面實(shí)現(xiàn)突破并獲得更廣泛的教育價(jià)值。例如,小初階段師生的年齡差距大,容易形成學(xué)生“怕”老師的局面,而通過(guò)教育數(shù)字人的恰當(dāng)應(yīng)用,可以縮小代際鴻溝;在校園心理干預(yù)的場(chǎng)景下,結(jié)合健康心理學(xué)的相關(guān)理論研究,可以實(shí)現(xiàn)高效的青少年心理干預(yù),消解其面對(duì)真人輔導(dǎo)時(shí)的抗拒心理。
教育數(shù)字人在視效方面已經(jīng)具備了良好的技術(shù)基礎(chǔ),但其在智能化交互方面仍然需要進(jìn)一步提升。本研究認(rèn)為,可以通過(guò)進(jìn)一步挖掘師生的個(gè)性化數(shù)據(jù),來(lái)實(shí)現(xiàn)精準(zhǔn)化的情感計(jì)算、認(rèn)知計(jì)算、學(xué)習(xí)成本計(jì)算,并建立相關(guān)模型,從而確保智能化交互的精準(zhǔn)度和個(gè)性化的匹配度。
“應(yīng)用為先”是教育數(shù)字化轉(zhuǎn)型的核心,應(yīng)該使技術(shù)適應(yīng)教育場(chǎng)景,而非教育場(chǎng)景遷就技術(shù)。本研究已驗(yàn)證高中信息技術(shù)學(xué)科的成效,未來(lái)研究可以將經(jīng)驗(yàn)拓展至其他學(xué)科和相關(guān)領(lǐng)域,如基礎(chǔ)教育階段的學(xué)科知識(shí)大多是螺旋上升式的,不僅要考量知識(shí)的繼承關(guān)系,還需考量不同年級(jí)的知識(shí)分層;文科科目知識(shí)關(guān)系相對(duì)模糊,應(yīng)關(guān)注如何建立能夠量化考察的知識(shí)結(jié)構(gòu);教育數(shù)字人作為獨(dú)立的教育智慧體,應(yīng)具備相關(guān)學(xué)科的某些強(qiáng)烈特征——正如現(xiàn)實(shí)中的數(shù)學(xué)老師與音樂(lè)老師的教學(xué)方式完全不同,這就需要避免“一刀切”的技術(shù)應(yīng)用方式。
從宏觀角度來(lái)說(shuō),教育數(shù)字人在教育領(lǐng)域的發(fā)展前景可觀,而作為教育數(shù)字化建設(shè)進(jìn)程中的一環(huán),其效能建立在教育資產(chǎn)整體數(shù)字化建設(shè)的基礎(chǔ)上。本研究認(rèn)為,可以通過(guò)全面推進(jìn)數(shù)字化轉(zhuǎn)型的戰(zhàn)略部署,使各層級(jí)的教育單位更加深入地認(rèn)識(shí)和理解教育資產(chǎn)的數(shù)字化,從而形成有效的工作分配機(jī)制與管理機(jī)制,確保數(shù)字化技術(shù)在教育領(lǐng)域的應(yīng)用。從上海建設(shè)備課、教學(xué)、作業(yè)輔導(dǎo)三大助手來(lái)看[34],教育數(shù)字人能夠?qū)崿F(xiàn)對(duì)這三大應(yīng)用場(chǎng)景的效能提升與體驗(yàn)變革,是對(duì)具有宏觀性、前瞻性的政策面建設(shè)的有效落實(shí)與創(chuàng)新。
[1]教育部.教育部2022年工作要點(diǎn)[OL].
[2]教育部.教育部等六部門(mén)關(guān)于推進(jìn)教育新型基礎(chǔ)設(shè)施建設(shè)構(gòu)建高質(zhì)量教育支撐體系的指導(dǎo)意見(jiàn)[OL].
[3]上海市教委.上海市教育數(shù)字化轉(zhuǎn)型實(shí)施方案(2021-2023)[OL].
[4]李徳仁.基于數(shù)字孿生的智慧城市[J].互聯(lián)網(wǎng)天地,2021,(7):12.
[5]Zhang S X, Heng P A, Liu Z J, et al. The Chinese visible human (CVH) datasets incorporate technical and imaging advances on earlier digital humans[J]. Journal of Anatomy, 2004,(3):165-173.
[6]奇云.美國(guó)可視人體計(jì)劃[J].科學(xué)之友,2003,(4):13.
[7]朱勁松,史樹(shù)堂,牛小龍.數(shù)字化虛擬人體的研究現(xiàn)狀及其在醫(yī)學(xué)中的應(yīng)用前景[J].河北職工醫(yī)學(xué)院學(xué)報(bào),2007,(3):59-60.
[8]中國(guó)電子技術(shù)標(biāo)準(zhǔn)化研究院,樹(shù)根互聯(lián)技術(shù)有限公司.數(shù)字孿生應(yīng)用白皮書(shū)(2020版)[OL].
[9]華子荀,黃慕雄.教育元宇宙的教學(xué)場(chǎng)域架構(gòu)、關(guān)鍵技術(shù)與實(shí)驗(yàn)研究[J].現(xiàn)代遠(yuǎn)程教育研究,2021,(6):23-31.
[10]夏翠娟,鐵鐘,黃薇.元宇宙中的數(shù)字記憶:“虛擬數(shù)字人”的數(shù)字記憶概念模型及其應(yīng)用場(chǎng)景[OL].
[11]量子位.2021虛擬數(shù)字人深度產(chǎn)業(yè)報(bào)告[OL].
[12]謝周浦.跨越“恐怖谷”:電影中“數(shù)字視覺(jué)效果”真實(shí)性問(wèn)題的再思考——以全CG電影《爵跡》《最終幻想:靈魂深處》和《最終幻想:王者之劍》為例[J].電影新作,2022,(1):87-93.
[13]楊錚,賀驍武,吳家行,等.面向?qū)崟r(shí)視頻流分析的邊緣計(jì)算技術(shù)[J].中國(guó)科學(xué):信息科學(xué),2022,(1):1-53.
[14]程龍,郭立,袁紅星,等.基于光場(chǎng)渲染的動(dòng)態(tài)3D目標(biāo)重構(gòu)技術(shù)[J].中國(guó)科學(xué)院研究生院學(xué)報(bào),2009,(6):781-788.
[15]Simonyan K, Zisserman A. Two-Stream convolutional networks for action recognition in videos[OL].
[16]Guo Y D, Chen K Y, Liang S, et al. AD-NeRF: Audio driven neural radiance fields for talking head synthesis[OL].
[17]Loper M, Black M J. OpenDR: An approximate differentiable renderer[OL].
[18]Kato H, Ushiku Y, Harada T. Neural 3D mesh renderer[OL].
[19]王一巖,鄭永和.多模態(tài)數(shù)據(jù)融合:破解智能教育關(guān)鍵問(wèn)題的核心驅(qū)動(dòng)力[J].現(xiàn)代遠(yuǎn)程教育研究,2022,(2):93-102.
[20]喻國(guó)明,耿曉夢(mèng).試論人工智能時(shí)代虛擬偶像的技術(shù)賦能與擬象解構(gòu)[J].上海交通大學(xué)學(xué)報(bào)(哲學(xué)社會(huì)科學(xué)版),2020,(1):23-30.
[21]新華社.新華社推出全球首位3D版人工智能合成主播[J].中國(guó)廣播,2020,(6):68.
[22]李鎵,陳飛揚(yáng).網(wǎng)絡(luò)虛擬偶像及其粉絲群體的網(wǎng)絡(luò)互動(dòng)研究——以虛擬歌姬“洛天依”為個(gè)案[J].中國(guó)青年研究,2018,(6):20-25.
[23]何國(guó)威.從動(dòng)作捕捉到虛擬偶像:計(jì)算機(jī)技術(shù)對(duì)演員及電影娛樂(lè)生態(tài)的發(fā)生與重構(gòu)[J].當(dāng)代電影,2022,(1):72-81.
[24]國(guó)家廣播電視總局.廣播電視和網(wǎng)絡(luò)視聽(tīng)“十四五”科技發(fā)展規(guī)劃[OL].
[25][26]吳永和,劉博文,馬曉玲.構(gòu)筑“人工智能+教育”的生態(tài)系統(tǒng)[J].遠(yuǎn)程教育雜志,2017,(5):27-39.
[27]祝智庭,胡姣.教育數(shù)字化轉(zhuǎn)型的本質(zhì)探析與研究展望[J].中國(guó)電化教育,2022,(4):1-8、25.
[28]蔡蘇,焦新月,宋伯鈞.打開(kāi)教育的另一扇門(mén)——教育元宇宙的應(yīng)用、挑戰(zhàn)與展望[J].現(xiàn)代教育技術(shù),2022,(1):16-26.
[29]Zhou Y, Li D Z Y, Han X T, et al. MakeItTalk: Speaker-Aware talking head animation[OL].
[30]鄭泳智,朱定局,吳惠粦,等.知識(shí)圖譜問(wèn)答領(lǐng)域綜述[J].計(jì)算機(jī)系統(tǒng)應(yīng)用,2022,(4):1-13.
[31]王亞珅.面向數(shù)據(jù)共享交換的聯(lián)邦學(xué)習(xí)技術(shù)發(fā)展綜述[J].無(wú)人系統(tǒng)技術(shù),2019,(6):58-62.
[32]Carrillo C, Flores M A. COVID-19 and teacher education: A literature review of online teaching and learning practices[J]. European Journal of Teacher Education, 2020,(4):466-487.
[33]教育部.普通高中信息技術(shù)課程標(biāo)準(zhǔn)(2017年版2020年修訂)[OL].
[34]熊秋菊.“一座統(tǒng)管”構(gòu)建數(shù)字新生態(tài)實(shí)現(xiàn)教育高質(zhì)量發(fā)展[J].上海教育,2022,(7):10-11.
Research on the Theory and Practice of Educational Digital Humans
XI Jun1WU Yong-he2
Under the context of the digital transformation of education, how the digital human as a representative of emerging information technology integrates and innovates basic education has become the focus of researchers. Based on this, this paper firstly, outlined the connotation, characteristics, implementation technology and application status of the digital human, subsequently introduced the educational digital human concept and expounded on the basic connotation and six characteristics of educational digital human. In addition, this paper proposed the information model of the digital human, established the information model of the educational digital human on this basis, and elucidated the key technologies of the educational digital human. Then, this paper analyzed the practical cases of four specific application scenarios of the educational digital human in Shanghai Fuxing Senior High School in the subject of information technology. Finally, this paper put forward suggestions for the development of the educational digital human, expecting to provide new technologies and new scenarios for the digital transformation of education.
digital human; educational digital human; the subject of information technology; educational digitalization reform; application scenarios

G40-057
A
1009—8097(2022)08—0100—11
10.3969/j.issn.1009-8097.2022.08.012
本文為2021年度國(guó)家社會(huì)科學(xué)基金重大項(xiàng)目“面向未成年人的人工智能技術(shù)規(guī)范研究”(項(xiàng)目編號(hào):21&ZD238)的階段性研究成果。
奚駿,中學(xué)特級(jí)教師,碩士,研究方向?yàn)榻逃畔⒒斯ぶ悄芙逃龖?yīng)用、教育數(shù)字化轉(zhuǎn)型,郵箱為yzxijun@163.com。
2022年3月12日
編輯:小時(shí)