打開(kāi)技術(shù)創(chuàng)新課堂教學(xué)的新窗：刻畫(huà)AIoT課堂應(yīng)用場(chǎng)景

顧小清　王超

摘要：回望技術(shù)在課堂中的應(yīng)用變遷，盡管研究者與實(shí)踐者不斷嘗試在“技術(shù)增強(qiáng)教學(xué)”方面做出努力，但技術(shù)介入始終在教育的邊緣徘徊，未能解決課堂教學(xué)的本質(zhì)問(wèn)題。AIoT作為人工智能與物聯(lián)網(wǎng)相結(jié)合的技術(shù)產(chǎn)物，在萬(wàn)物智聯(lián)時(shí)代為改變課堂生態(tài)帶來(lái)新的可能。AIoT支持的智能課堂在實(shí)踐層面表現(xiàn)為IoT感應(yīng)設(shè)備與智能系統(tǒng)的實(shí)時(shí)通信，可通過(guò)協(xié)作、游戲化、創(chuàng)客、實(shí)訓(xùn)四種典型課堂場(chǎng)景加以詮釋。由于教師的課堂教學(xué)表現(xiàn)是精準(zhǔn)評(píng)估與診斷課堂教學(xué)效果、干預(yù)課堂教學(xué)過(guò)程、調(diào)整課堂教學(xué)模式、提高課堂教學(xué)能力的主要依據(jù)，因此構(gòu)建教師的教學(xué)表現(xiàn)模型是利用AIoT解決真實(shí)課堂問(wèn)題的方向之一。該模型通過(guò)智能設(shè)備構(gòu)建數(shù)據(jù)驅(qū)動(dòng)的智能體系，實(shí)時(shí)捕獲師生語(yǔ)言、動(dòng)作等多模態(tài)課堂行為數(shù)據(jù)，圍繞教學(xué)問(wèn)題進(jìn)行特征抽取、數(shù)據(jù)融合、個(gè)性化建模以及動(dòng)態(tài)干預(yù)等，為有效監(jiān)測(cè)課堂教學(xué)過(guò)程、改善教與學(xué)的行為模式提供了新的思路。但是，AIoT在教育領(lǐng)域中的應(yīng)用尚存在諸如過(guò)多關(guān)注認(rèn)知維度而忽視其他維度、學(xué)習(xí)特征有效表征缺乏統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)安全性等問(wèn)題，未來(lái)仍需在教學(xué)實(shí)踐中不斷探索AIoT支持的最佳教學(xué)組織和教學(xué)策略。

關(guān)鍵詞：人工智能;智能課堂;AIoT;物聯(lián)網(wǎng)技術(shù);多模態(tài)數(shù)據(jù);學(xué)習(xí)分析

中圖分類號(hào)：G434? ?文獻(xiàn)標(biāo)識(shí)碼：A? ? 文章編號(hào)：1009-5195（2021）02-0003-10? doi10.3969/j.issn.1009-5195.2021.02.001

作者簡(jiǎn)介：顧小清，博士，教授，博士生導(dǎo)師，華東師范大學(xué)教育信息技術(shù)學(xué)系（上海 200062）;王超，博士研究生，華東師范大學(xué)教育信息技術(shù)學(xué)系（上海 200062）。

一、叩問(wèn)：AIoT是顛覆傳統(tǒng)課堂的黑馬嗎

課堂是教學(xué)發(fā)生的主場(chǎng)。每當(dāng)一種顛覆性的技術(shù)出現(xiàn)時(shí)，人們往往首先考慮的是，這會(huì)是那匹徹底顛覆傳統(tǒng)課堂的黑馬嗎（顧小清，2018）？隨后才是有針對(duì)性地將技術(shù)引入課堂。即便這種技術(shù)是否以及如何改變課堂尚沒(méi)有清晰的答案，仍然不妨礙其以實(shí)驗(yàn)或試點(diǎn)的方式出現(xiàn)在一些真實(shí)的課堂中。智能互聯(lián)技術(shù)AIoT（Artificial Intelligence & Internet of Things，AIoT）就是一種技術(shù)上愈加成熟、新近開(kāi)始進(jìn)入課堂的新技術(shù)。從技術(shù)功能的角度來(lái)看，AIoT技術(shù)能夠構(gòu)建以智能設(shè)備為基礎(chǔ)的數(shù)據(jù)驅(qū)動(dòng)智能體系，實(shí)時(shí)獲取學(xué)習(xí)者全方位的多模態(tài)課堂行為數(shù)據(jù)，為有效監(jiān)測(cè)課堂教學(xué)過(guò)程、改善教與學(xué)的行為模式提供新的思路。但是從課堂的角度來(lái)看，AIoT技術(shù)又是尚未回答是否以及如何改變課堂的又一鮮活案例。AIoT技術(shù)所識(shí)別的諸如學(xué)生“抬頭率”“低頭率”等課堂行為表現(xiàn)，或者諸如“高興”“生氣”“驚訝”“悲傷”等情緒狀態(tài)，是否觸碰到了課堂教學(xué)的真實(shí)問(wèn)題？基于AIoT技術(shù)所建構(gòu)的多模態(tài)數(shù)據(jù)應(yīng)用，能夠從何種角度對(duì)動(dòng)態(tài)的課堂教學(xué)進(jìn)行刻畫(huà)？這些都是在AIoT進(jìn)入課堂之前我們必需直面和回答的問(wèn)題。否則，在缺少明確規(guī)范的情況下，貿(mào)然使用某些智能設(shè)備，不僅不能獲得真實(shí)可靠的數(shù)據(jù)，而且也會(huì)弱化教師的教育教學(xué)能力，甚至可能會(huì)侵犯學(xué)生隱私、引發(fā)社會(huì)質(zhì)疑和公眾焦慮（白宇等，2019）。

回看新興技術(shù)的發(fā)展歷程，每一次技術(shù)變革都為課堂教學(xué)帶來(lái)新的可能。第二次工業(yè)革命時(shí)期，得益于電燈、老式幻燈片為課堂教學(xué)提供的設(shè)施保障，班級(jí)教育初具形態(tài)。20世紀(jì)90年代初，教育信息化發(fā)展步入起步階段，以多媒體和網(wǎng)絡(luò)通信為代表的信息技術(shù)逐漸走進(jìn)學(xué)校課堂（何克抗，2009），層出不窮的數(shù)字學(xué)習(xí)資源和技術(shù)為傳統(tǒng)課堂注入了新鮮血液，使得課堂環(huán)境由線下擴(kuò)展到線上線下融合的混合式環(huán)境。如今，人工智能（Artificial Intelligence，AI）作為引領(lǐng)未來(lái)社會(huì)發(fā)展的戰(zhàn)略性技術(shù)，將使課堂朝著智能化方向發(fā)展。例如，智能錄播系統(tǒng)已用于課堂以采集視音頻等數(shù)據(jù)，機(jī)器學(xué)習(xí)算法等人工智能技術(shù)在實(shí)現(xiàn)在線自適應(yīng)學(xué)習(xí)中已表現(xiàn)出相當(dāng)?shù)臐摿ΑＨ欢谥悄茉O(shè)備與智能技術(shù)的數(shù)據(jù)分析盡管在監(jiān)測(cè)和識(shí)別學(xué)習(xí)者面部表情和行為狀態(tài)方面具有優(yōu)勢(shì)，但由于圖像背景混亂、畫(huà)面遮擋、噪音干擾以及同質(zhì)行為的差異化等問(wèn)題，導(dǎo)致技術(shù)在課堂中的應(yīng)用并不盡如人意。而AIoT的出現(xiàn)，為數(shù)據(jù)驅(qū)動(dòng)課堂研究的科學(xué)性和精準(zhǔn)性提供了保障。AIoT不是人工智能與物聯(lián)網(wǎng)的簡(jiǎn)單相加，而是兩者融合的產(chǎn)物。物聯(lián)網(wǎng)（Internet of Things，IoT）作為互聯(lián)網(wǎng)的延伸，它能通過(guò)各種傳感設(shè)備實(shí)時(shí)采集各類需求信息，建立物與物、物與人、人與人之間的連接網(wǎng)絡(luò)（楊現(xiàn)民等，2015）。人工智能技術(shù)則致力于探究人類智能活動(dòng)的機(jī)理和規(guī)律，構(gòu)造受人腦啟發(fā)的人工智能體，讓機(jī)器或智能系統(tǒng)能夠像人一樣思考和行動(dòng)，并進(jìn)一步提升人的智能（李德毅，2018）。可以說(shuō)，AIoT技術(shù)通過(guò)實(shí)時(shí)捕獲師生語(yǔ)言、動(dòng)作等各類課堂行為，圍繞教學(xué)問(wèn)題進(jìn)行特征抽取、數(shù)據(jù)融合以及動(dòng)態(tài)建模，并將結(jié)果實(shí)時(shí)反饋給教師和學(xué)習(xí)者以及時(shí)調(diào)整教與學(xué)的策略，由此打開(kāi)了技術(shù)創(chuàng)新課堂教學(xué)的新窗。基于此，本文從AIoT賦能課堂的視角切入，在闡述技術(shù)在課堂中的應(yīng)用變遷基礎(chǔ)上，詮釋AIoT技術(shù)支持的智能課堂及其在典型課堂場(chǎng)景中的應(yīng)用，并從AI教研實(shí)踐層面深刻理解AIoT技術(shù)如何刻畫(huà)教師課堂表現(xiàn)的具體做法。

二、回望：技術(shù)在課堂中的應(yīng)用變遷

回顧技術(shù)在課堂中的應(yīng)用變遷，大致可分為技術(shù)平移應(yīng)用、技術(shù)融合應(yīng)用和技術(shù)創(chuàng)新應(yīng)用三個(gè)階段。盡管研究者與實(shí)踐者不斷嘗試在“技術(shù)增強(qiáng)教學(xué)”方面做出努力，但技術(shù)介入始終在教育的邊緣徘徊，未能解決課堂教學(xué)的本質(zhì)問(wèn)題。因此，透視技術(shù)在課堂中的真實(shí)情勢(shì)，可為新興技術(shù)的教學(xué)應(yīng)用提供指引。

1.課堂轉(zhuǎn)型的趨勢(shì)

（1）技術(shù)平移應(yīng)用階段

技術(shù)自誕生之日起即給課堂教學(xué)帶來(lái)新的可能性。多媒體技術(shù)、電子白板作為代表性技術(shù)營(yíng)造了生動(dòng)活潑的課堂環(huán)境。具體來(lái)說(shuō)，一是多媒體課堂環(huán)境為學(xué)習(xí)者學(xué)習(xí)新知開(kāi)啟了便捷之窗。聲像同步、動(dòng)靜結(jié)合的學(xué)習(xí)情境，以及學(xué)習(xí)資源的實(shí)時(shí)獲取、開(kāi)放共享等優(yōu)勢(shì)，拓展了學(xué)習(xí)者自主學(xué)習(xí)和協(xié)同創(chuàng)新的探究空間。同時(shí)，采用生動(dòng)的文本、動(dòng)畫(huà)、視頻等形式替代枯燥的文字板書(shū)，通過(guò)感官刺激誘發(fā)學(xué)習(xí)者的積極情緒，最大化地提高了教學(xué)效果。二是多媒體課堂環(huán)境大大提高了教師的教學(xué)效率。已有研究表明，技術(shù)融入課堂的實(shí)施方式和效果會(huì)顯著影響教師的信息化教學(xué)能力（Melinda et al.，2013）。另有實(shí)踐表明，教師采用多媒體課件組織教學(xué)內(nèi)容，通過(guò)可視化、立體化、趣味性的知識(shí)呈現(xiàn)方式能為教學(xué)活動(dòng)的有序和高效實(shí)施提供有力保障（Liang et al.，2012）。

（2）技術(shù)融合應(yīng)用階段

隨著計(jì)算技術(shù)和物聯(lián)網(wǎng)技術(shù)的普及，以物理空間和數(shù)字空間相結(jié)合形成的智慧教室成為技術(shù)與教育融合階段的典型代表（黃榮懷等，2012）。技術(shù)與課堂教學(xué)的深度融合，改善了學(xué)習(xí)空間中人與環(huán)境的自然交互方式，利于泛在式、開(kāi)放式和個(gè)性化的協(xié)作交流。具體來(lái)說(shuō)，就物理學(xué)習(xí)環(huán)境而言，物聯(lián)網(wǎng)技術(shù)、智能技術(shù)等能夠自動(dòng)調(diào)節(jié)學(xué)習(xí)空間的溫度、濕度和照明度;就交互方面而言，多點(diǎn)觸控、泛在計(jì)算、情境感知等技術(shù)不僅能為學(xué)習(xí)者提供簡(jiǎn)單、友好的人機(jī)交互，而且也能為學(xué)習(xí)者的信息交互和協(xié)同交流提供便捷的工具支持。已有研究證明，自動(dòng)化控制和自動(dòng)識(shí)別等技術(shù)能夠?qū)崿F(xiàn)個(gè)性化的知識(shí)檢索（Jawa et al.，2010）。從學(xué)習(xí)支持角度來(lái)看，技術(shù)支持的學(xué)習(xí)空間能夠?qū)崿F(xiàn)線上與線下、正式與非正式等不同形態(tài)學(xué)習(xí)的結(jié)合與貫通，為優(yōu)質(zhì)資源的獲取和個(gè)性化教學(xué)指導(dǎo)奠定了堅(jiān)實(shí)基礎(chǔ)。從有效教學(xué)方面來(lái)看，技術(shù)增強(qiáng)的課堂能夠通過(guò)自動(dòng)記錄、多維交互、實(shí)時(shí)反饋等過(guò)程，營(yíng)造輕松愉悅的教學(xué)氛圍，提供豐富多彩的學(xué)習(xí)內(nèi)容，為信息化教學(xué)創(chuàng)新提供了支撐。

（3）技術(shù)創(chuàng)新應(yīng)用階段

大數(shù)據(jù)、云計(jì)算、人工智能等技術(shù)的迅猛發(fā)展，徹底打破了學(xué)習(xí)場(chǎng)域的刻板印象。在技術(shù)創(chuàng)新應(yīng)用階段，智能互聯(lián)技術(shù)將學(xué)習(xí)場(chǎng)域打造為一個(gè)匯聚優(yōu)質(zhì)教育資源的“淘寶平臺(tái)”，學(xué)習(xí)者可以隨時(shí)享受多元化、情境化、泛在化的學(xué)習(xí)資源。具體表現(xiàn)在三個(gè)方面：一是學(xué)習(xí)空間呈現(xiàn)出物理空間、社會(huì)空間和信息空間三元世界的完美融合，加速走向人機(jī)結(jié)合的智能樣態(tài)。開(kāi)放式、集成化的數(shù)字虛擬學(xué)習(xí)空間，為教師和學(xué)習(xí)者適時(shí)指導(dǎo)、自主建構(gòu)、交流互動(dòng)等提供有力支持。正如Francesc等（2019）學(xué)者所言，基于技術(shù)的創(chuàng)新教育既能適應(yīng)學(xué)習(xí)者的學(xué)習(xí)風(fēng)格和學(xué)習(xí)能力，也能為學(xué)習(xí)者的終身學(xué)習(xí)和發(fā)展提供支持。二是學(xué)習(xí)內(nèi)容更具社會(huì)性、泛在性和個(gè)性化，通過(guò)智能系統(tǒng)能大大提高知識(shí)的擬真化程度。借助多點(diǎn)觸摸、眼動(dòng)追蹤等腦機(jī)融合方式挖掘?qū)W習(xí)者的真實(shí)狀態(tài)，有助于大規(guī)模個(gè)性化學(xué)習(xí)的實(shí)現(xiàn)。三是學(xué)習(xí)方式更具智慧性，通過(guò)多元化因素和適應(yīng)性學(xué)習(xí)方案，有助于學(xué)習(xí)者全面提升關(guān)鍵能力。同時(shí)，借助學(xué)習(xí)行為模型及其在復(fù)雜教學(xué)情境中的動(dòng)態(tài)診斷技術(shù)，能夠?qū)崟r(shí)獲取學(xué)習(xí)者的真實(shí)狀態(tài)，動(dòng)態(tài)規(guī)劃并調(diào)整學(xué)習(xí)者的學(xué)習(xí)路徑和學(xué)習(xí)資源，助力構(gòu)建智能化、個(gè)性化、精準(zhǔn)化的教育生態(tài)。

2.技術(shù)在課堂中的應(yīng)用效果審視

毫無(wú)疑問(wèn)，研究者和教育實(shí)踐者對(duì)技術(shù)在課堂中的應(yīng)用變遷表現(xiàn)出極大的熱情與期待。然而，當(dāng)前技術(shù)應(yīng)用始終停留在教學(xué)問(wèn)題的外圍。這是因?yàn)椋逃且粋€(gè)動(dòng)態(tài)、復(fù)雜的生態(tài)系統(tǒng)，無(wú)論技術(shù)多么智能和創(chuàng)新，依然無(wú)法掌控教育問(wèn)題復(fù)雜性表征的本質(zhì)（馬紅亮等，2014）。因此，分析技術(shù)在課堂中的應(yīng)用效果，能為解決教學(xué)創(chuàng)新的痛點(diǎn)提供科學(xué)依據(jù)。

在不斷求新的技術(shù)應(yīng)用中，技術(shù)對(duì)教學(xué)效果的作用究竟如何？我們看到，從多媒體、虛擬/增強(qiáng)現(xiàn)實(shí)技術(shù)到今天的人工智能等，幾乎每一種前沿技術(shù)都能以這樣或那樣的方式被應(yīng)用于課堂中。課堂中應(yīng)用的技術(shù)，有的可以營(yíng)造趣味性的課堂環(huán)境，有的擅長(zhǎng)于識(shí)別學(xué)習(xí)者的學(xué)習(xí)狀態(tài)，還有的能夠?yàn)閷W(xué)習(xí)者推送自適應(yīng)的學(xué)習(xí)資源。然而，一項(xiàng)囊括84項(xiàng)技術(shù)在課堂中應(yīng)用的元分析結(jié)果表明，技術(shù)對(duì)學(xué)習(xí)效果的提升作用非常有限，并且對(duì)于多媒體教學(xué)面言，其提升效用可以忽略（Cheung et al.，2012）。另有研究表明，技術(shù)在教學(xué)中始終扮演著可替代的策略應(yīng)用的角色，其與教學(xué)內(nèi)容或教學(xué)組織的融合關(guān)系并不明顯（Tamim et al.，2011）。

究其原因，本質(zhì)上，在不斷求新的技術(shù)應(yīng)用背后，我們應(yīng)該以真正解決教學(xué)問(wèn)題為技術(shù)應(yīng)用的內(nèi)核。技術(shù)應(yīng)用的核心要義在于設(shè)計(jì)，即在明確技術(shù)應(yīng)用需求的基礎(chǔ)上圍繞教學(xué)問(wèn)題的解決進(jìn)行教學(xué)設(shè)計(jì)。已有研究表明，當(dāng)學(xué)習(xí)者一味地處于技術(shù)環(huán)境中而缺失教師的指導(dǎo)時(shí)，通常會(huì)感到茫然和灰心喪氣（Mancillas et al.，2016）。這里的教師指導(dǎo)其實(shí)質(zhì)即是教學(xué)設(shè)計(jì)。另有研究表明，自主能力較差的學(xué)習(xí)者反而喜歡技術(shù)支持的松散式、弱干預(yù)式課堂（Mok et al.，2004）。更有研究直接指明盲從技術(shù)的五大弊端（Buckingham et al.，2012）：（1）并沒(méi)有真正地促進(jìn)有意義學(xué)習(xí);（2）貶低了教師的作用，但教師永遠(yuǎn)無(wú)法被機(jī)器智能所取代;（3）降低了學(xué)生的自信心，使得他們更依賴于機(jī)器的持續(xù)反饋，而不是發(fā)展他們自己的元認(rèn)知和學(xué)會(huì)學(xué)習(xí)的技能;（4）貶低了深度學(xué)習(xí)的重要價(jià)值，依靠一些膚淺的指標(biāo)來(lái)滿足短期經(jīng)濟(jì)方面的需求;（5）在應(yīng)用、再應(yīng)用、混合學(xué)生數(shù)據(jù)方面引發(fā)了相應(yīng)的倫理道德問(wèn)題。顯然，技術(shù)在課堂中的應(yīng)用并不意味著為教育變革提供了一個(gè)放之四海而皆準(zhǔn)的捷徑，相反如何定位技術(shù)所針對(duì)的課堂教學(xué)問(wèn)題，如何通過(guò)設(shè)計(jì)來(lái)體現(xiàn)技術(shù)在解決教學(xué)問(wèn)題中的應(yīng)用方式，才是技術(shù)有效變革教育的根基。

三、刻畫(huà)：AIoT在課堂中的應(yīng)用場(chǎng)景

AIoT在教育中的應(yīng)用還是相對(duì)前沿的話題。盡管以AIoT為主題的研究主要集中于環(huán)境、安全、家居、農(nóng)業(yè)等領(lǐng)域，但有關(guān)“多模態(tài)學(xué)習(xí)”“多模態(tài)數(shù)據(jù)”等主題的教育研究卻日趨增多，而多模態(tài)教育數(shù)據(jù)正是依托物聯(lián)網(wǎng)智能設(shè)備在教育進(jìn)程中的應(yīng)用所采集到的。由此看來(lái)，AIoT在教育領(lǐng)域中的應(yīng)用已初見(jiàn)端倪。當(dāng)前AIoT的教學(xué)應(yīng)用主要體現(xiàn)在諸如創(chuàng)客、實(shí)訓(xùn)等課堂活動(dòng)中。以下將對(duì)AIoT智能課堂的構(gòu)成，以及AIoT支持下的協(xié)作、游戲化、創(chuàng)客、實(shí)訓(xùn)等四種典型的智能課堂應(yīng)用進(jìn)行綜述，以期明確AIoT智能課堂能夠解決什么教學(xué)問(wèn)題，以及如何進(jìn)行技術(shù)應(yīng)用的設(shè)計(jì)。

1.AIoT支持的智能課堂

AIoT不是人工智能與物聯(lián)網(wǎng)的簡(jiǎn)單相加，而是兩者融合的產(chǎn)物。AIoT在課堂教學(xué)實(shí)踐層面表現(xiàn)為IoT感應(yīng)設(shè)備與智能系統(tǒng)的實(shí)時(shí)通信。具體來(lái)說(shuō)，AIoT支持的智能課堂旨在利用IoT感應(yīng)設(shè)備實(shí)時(shí)捕獲師生語(yǔ)言、動(dòng)作等各類課堂行為，并用這些行為來(lái)表征師生的認(rèn)知和情感等特征（如圖1所示）。智能系統(tǒng)則圍繞教學(xué)問(wèn)題進(jìn)行特征抽取、融合并建模，最后將結(jié)果反饋給教師與學(xué)習(xí)者以便動(dòng)態(tài)調(diào)整教與學(xué)的策略。

（1）IoT感應(yīng)設(shè)備

課堂行為中蘊(yùn)含著豐富的教與學(xué)信息，但其不易獲取性限制了課堂研究的深入。站在以學(xué)習(xí)者為中心的角度來(lái)看，課堂行為數(shù)據(jù)可分為兩個(gè)方面：一是學(xué)習(xí)者本身的學(xué)習(xí)行為數(shù)據(jù)，如動(dòng)作、語(yǔ)言、情緒、血壓等。二是與學(xué)習(xí)者進(jìn)行交互的學(xué)習(xí)環(huán)境數(shù)據(jù)，如學(xué)習(xí)活動(dòng)、同伴行為和教師行為等。這些行為信息在一定程度上能夠反映學(xué)習(xí)者的認(rèn)知發(fā)展、高階思維、學(xué)習(xí)習(xí)慣、學(xué)習(xí)持續(xù)力、學(xué)業(yè)情緒、學(xué)習(xí)動(dòng)機(jī)、學(xué)習(xí)投入度等特征。當(dāng)前，一些相對(duì)簡(jiǎn)單的學(xué)習(xí)行為數(shù)據(jù)收集與分析手段已經(jīng)得到應(yīng)用，比如利用學(xué)習(xí)者的測(cè)試與作業(yè)結(jié)果診斷認(rèn)知能力。在信息系統(tǒng)廣泛應(yīng)用之后，如學(xué)習(xí)管理系統(tǒng)和移動(dòng)應(yīng)用程序的登錄（如登錄時(shí)間點(diǎn)、時(shí)長(zhǎng)）、瀏覽（如瀏覽序列、瀏覽內(nèi)容）、測(cè)試（如答對(duì)一道題嘗試的次數(shù)、請(qǐng)求反饋的次數(shù)）等在線學(xué)習(xí)行為數(shù)據(jù)的捕獲逐漸變得容易，亦能為評(píng)估在線學(xué)習(xí)習(xí)慣、學(xué)習(xí)持續(xù)力等提供證據(jù)。相比而言，面對(duì)面課堂中的行為捕獲更加困難，而IoT感應(yīng)設(shè)備所建構(gòu)的智能體系為匯聚多模態(tài)課堂數(shù)據(jù)提供了解決方案。

IoT感應(yīng)設(shè)備是能感受到被測(cè)量信息并按一定規(guī)律轉(zhuǎn)換成可用信號(hào)的檢測(cè)裝置，常被置于教室空間、附于教學(xué)設(shè)備或穿戴于師生身上。課堂安置了IoT感應(yīng)設(shè)備，如同課堂有了視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)等感覺(jué)器官，可以“看見(jiàn)”師生的動(dòng)作、“聽(tīng)見(jiàn)”師生的話語(yǔ)、“感受”到師生的情緒等并記錄下來(lái)，即可以采集所謂多模態(tài)數(shù)據(jù)（Lahat et al.，2015）。常見(jiàn)的IoT設(shè)備有：通過(guò)語(yǔ)音通道進(jìn)行采樣以獲取聽(tīng)覺(jué)模態(tài)數(shù)據(jù)，如拾音器、錄音筆、佩戴式話筒;通過(guò)眼球活動(dòng)特征以獲取眼動(dòng)軌跡數(shù)據(jù)，如眼動(dòng)儀;通過(guò)智能錄播系統(tǒng)多元追蹤語(yǔ)言、動(dòng)作、面部表情及交互信息，如多功能攝像頭;通過(guò)皮膚電傳感器、腦電波傳感器、心電圖傳感器、肌傳感器、加速度傳感器等生理信息采集設(shè)備，可獲取皮膚電導(dǎo)率、大腦內(nèi)部電位差、心率、肌肉運(yùn)動(dòng)、動(dòng)作振動(dòng)等數(shù)據(jù)。近年來(lái)，IoT感應(yīng)設(shè)備更是朝著集成化、便攜化的趨勢(shì)發(fā)展，如Raca等（2014）在教室前方安置4～6臺(tái)攝像機(jī)以捕捉學(xué)生群體動(dòng)作，在教室后方安置1臺(tái)攝像機(jī)以捕捉教師動(dòng)作與課件切換;Domínguez等（2015）將學(xué)習(xí)者的圖像、聲音、筆記數(shù)據(jù)采集器集成在一個(gè)可置于課桌上的小盒子中。總之，IoT感應(yīng)設(shè)備以輕便簡(jiǎn)單的外形內(nèi)嵌于物理空間的形式，便于在課堂中廣泛布置和使用，同時(shí)也有利于減少教師和學(xué)生的認(rèn)知負(fù)擔(dān)。

（2）智能系統(tǒng)

如果說(shuō)IoT感應(yīng)設(shè)備是智能課堂的感覺(jué)器官，那么智能系統(tǒng)就是智能課堂的大腦。我們可以把智能系統(tǒng)看作是一臺(tái)擁有人工智能模型與算法的計(jì)算機(jī)，能夠與各IoT感應(yīng)設(shè)備互聯(lián)互通。理解IoT感應(yīng)設(shè)備捕獲到的數(shù)據(jù)是智能系統(tǒng)的首要任務(wù)。以攝像頭采集的視頻數(shù)據(jù)為例，Nida等（2019）通過(guò)深度卷積神經(jīng)網(wǎng)絡(luò)和極限學(xué)習(xí)機(jī)算法，以教學(xué)視頻中教師的運(yùn)動(dòng)輪廓識(shí)別了書(shū)寫(xiě)板書(shū)、使用電腦、使用手機(jī)、坐著、走路、指向?qū)W生、指向屏幕、互動(dòng)等8種動(dòng)作。Ren等（2002）通過(guò)隱馬爾可夫模型，以臉、胳臂、手、軀干三維運(yùn)動(dòng)特征識(shí)別了從講臺(tái)上拿物體、放回物體、指向?qū)W生、指向屏幕、與學(xué)生交流、解釋、喝水等7種動(dòng)作。劉清堂等（2019）通過(guò)決策樹(shù)分類器，以人臉數(shù)目、輪廓數(shù)目、圖像最大輪廓面積以及幀間差分圖最大輪廓面積等四種特征識(shí)別了教師解說(shuō)、板書(shū)、演示、提問(wèn)和學(xué)生發(fā)言、思考、筆記、作業(yè)等行為。徐振國(guó)等（2019）通過(guò)卷積神經(jīng)網(wǎng)絡(luò)，識(shí)別了常態(tài)、高興、憤怒、悲傷、驚恐、專注、厭倦等7種表情。通過(guò)訓(xùn)練，智能系統(tǒng)可以識(shí)別出基本的肢體行為和面部表情，并能為這些行為和表情賦予符合實(shí)際情境的淺層含義，這就構(gòu)成了智能課堂教學(xué)系統(tǒng)的應(yīng)用基礎(chǔ)。

但是，以上僅僅是使用捕捉到的源數(shù)據(jù)進(jìn)行動(dòng)作和表情的識(shí)別。課堂行為還需要被賦予更深層次的教學(xué)含義，比如用于表征學(xué)習(xí)者的認(rèn)知、參與度、情感、注意力等狀態(tài)，或者評(píng)價(jià)課堂的情感支持、課堂組織水平、教學(xué)支持活動(dòng)等維度（Pianta et al.，2008）。已有研究探究了學(xué)習(xí)者的認(rèn)知能力（Noroozi et al.，2020），為表征認(rèn)知狀態(tài)尋得了可信有效的數(shù)據(jù)和技術(shù)支持，如Sharma等（2019）以眼球追蹤、腦電、面部表情和腕帶喚醒數(shù)據(jù)作為輸入，使用隨機(jī)森林和支持向量機(jī)來(lái)預(yù)測(cè)考試成績(jī)（學(xué)習(xí)成績(jī)是表征學(xué)習(xí)者認(rèn)知能力的公認(rèn)指標(biāo)之一），結(jié)果表明，眼動(dòng)、面部表情和腕帶數(shù)據(jù)的結(jié)合能更好地預(yù)測(cè)學(xué)習(xí)成績(jī)。Chango等（2020）將線下理論課與實(shí)踐課的課堂視頻數(shù)據(jù)與線上Moodle平臺(tái)測(cè)試、論壇等數(shù)據(jù)相結(jié)合，采用4種不同的數(shù)據(jù)融合方法和6種分類算法來(lái)預(yù)測(cè)期末成績(jī)，結(jié)果表明，理論課上的注意力水平、Moodle測(cè)驗(yàn)中的分?jǐn)?shù)以及Moodle論壇中的活躍程度是預(yù)測(cè)學(xué)生最終表現(xiàn)的最佳特征集。總之，不論是線上學(xué)習(xí)行為還是傳統(tǒng)的線下課堂教學(xué)行為，均能在一定程度上代表某種教學(xué)含義，同時(shí)多模態(tài)的行為數(shù)據(jù)比單一模態(tài)的行為數(shù)據(jù)更能客觀全面地表征教學(xué)意義，而智能系統(tǒng)的應(yīng)用為實(shí)現(xiàn)多模態(tài)行為的識(shí)別、綜合和分析帶來(lái)了可能。

在行為識(shí)別與狀態(tài)表征的基礎(chǔ)上，進(jìn)行實(shí)時(shí)課堂干預(yù)是智能系統(tǒng)最核心的任務(wù)。實(shí)時(shí)干預(yù)是AIoT的最大優(yōu)勢(shì)，已有少數(shù)研究對(duì)此進(jìn)行了探索。例如，Sharma等（2019）設(shè)計(jì)了一套學(xué)習(xí)者參與度實(shí)時(shí)評(píng)估系統(tǒng)，使用眼睛和頭部的運(yùn)動(dòng)信息以及面部情緒數(shù)據(jù)計(jì)算0%～100%范圍內(nèi)的參與度指數(shù)，當(dāng)評(píng)估值低于預(yù)先定義的閾值時(shí)就向?qū)W習(xí)者或教師發(fā)出警告。Martinez-Maldonado等（2018）開(kāi)發(fā)了一款實(shí)時(shí)評(píng)估舞蹈動(dòng)作節(jié)奏的移動(dòng)應(yīng)用程序，嵌入加速度傳感器跟蹤學(xué)生進(jìn)行舞蹈練習(xí)時(shí)的動(dòng)作，以不同顏色的峰波狀線條描繪學(xué)生律動(dòng)節(jié)拍的正確與否，并能為學(xué)生提供錯(cuò)誤動(dòng)作的敘述性反饋。總之，智能系統(tǒng)在課堂教學(xué)中的應(yīng)用目標(biāo)是改善課堂教學(xué)效果、提高課堂教學(xué)效率、提升教師教學(xué)能力和學(xué)生課堂學(xué)習(xí)能力，以智能技術(shù)為支撐的自動(dòng)化課堂實(shí)時(shí)干預(yù)具有實(shí)現(xiàn)這些目標(biāo)的強(qiáng)大潛力。

2.AIoT在典型課堂場(chǎng)景中的應(yīng)用

由于教育教學(xué)的復(fù)雜性，相同的課堂行為在不同的課堂場(chǎng)景中可以解讀為不同的教學(xué)含義。換言之，同樣是面部表情、眼動(dòng)跟蹤、姿勢(shì)識(shí)別、生理數(shù)據(jù)、語(yǔ)音和文本等多模態(tài)數(shù)據(jù)，不同的課堂場(chǎng)景關(guān)注的教學(xué)問(wèn)題不同，因而其選取的數(shù)據(jù)與特征也不同。筆者將選擇協(xié)作、游戲化、創(chuàng)客、實(shí)訓(xùn)四種典型課堂場(chǎng)景，逐一解析具體課堂場(chǎng)景中關(guān)注的問(wèn)題，通過(guò)已有的多模態(tài)學(xué)習(xí)分析研究來(lái)看使用何種行為表征何種維度、以何種智能手段解決哪些教學(xué)問(wèn)題，并輔以相應(yīng)的研究案例進(jìn)行佐證。

（1）協(xié)作課堂場(chǎng)景

無(wú)論是傳統(tǒng)線下課堂中的小組討論，抑或是計(jì)算機(jī)支持的在線協(xié)作學(xué)習(xí)，都是協(xié)作課堂場(chǎng)景的外在形式，其本質(zhì)均為小組成員分享并協(xié)商與當(dāng)前任務(wù)相關(guān)觀點(diǎn)的過(guò)程（Roschelle et al.，1995）。相較于合作學(xué)習(xí)，協(xié)作學(xué)習(xí)更注重小組成員在完成各自任務(wù)之外的協(xié)商討論與知識(shí)建構(gòu)。因此，如何解構(gòu)、分析并干預(yù)學(xué)習(xí)者的協(xié)作過(guò)程以獲得更好的協(xié)作學(xué)習(xí)結(jié)果是該場(chǎng)景的核心問(wèn)題。

已有研究通過(guò)AIoT對(duì)協(xié)作學(xué)習(xí)結(jié)果預(yù)測(cè)進(jìn)行了探索，主要是利用IoT感應(yīng)設(shè)備為協(xié)作學(xué)習(xí)結(jié)果的預(yù)測(cè)特征提供新的數(shù)據(jù)源。概括來(lái)講，協(xié)作學(xué)習(xí)的結(jié)果受到協(xié)作過(guò)程行為（Cukurova et al.，2018）、小組屬性（如規(guī)模、成員特點(diǎn)、成員認(rèn)知負(fù)荷）（Odo et al.，2019）、物理環(huán)境（如桌椅擺放）（Colbert，1997）、協(xié)作內(nèi)容（如任務(wù)設(shè)計(jì)）（Blinne，2013）等多方面因素的影響。以往研究多關(guān)注小組人數(shù)、在線點(diǎn)擊流等容易獲取的數(shù)據(jù)，而IoT設(shè)備拓寬了數(shù)據(jù)來(lái)源。例如，Vujovic等（2020）在學(xué)習(xí)者頭部放置了5個(gè)標(biāo)記物（其中4個(gè)在頭部?jī)蓚?cè)，1個(gè)在頭頂），使用8個(gè)紅外攝像頭捕捉標(biāo)記物的位置移動(dòng)并轉(zhuǎn)化成坐標(biāo)，結(jié)合視頻中學(xué)習(xí)者的姿勢(shì)與動(dòng)作，將協(xié)作參與度標(biāo)定為積極、半積極、不積極三種程度。Riquelme等（2019）使用麥克風(fēng)采集語(yǔ)音數(shù)據(jù)，以發(fā)言時(shí)間和干預(yù)時(shí)間（指導(dǎo)小組成員的時(shí)間）的統(tǒng)計(jì)公式來(lái)表征協(xié)作持久性、持續(xù)性和激活三個(gè)指標(biāo)。Olsen等（2020）使用兩臺(tái)250Hz紅外眼球追蹤攝像機(jī)捕獲眼動(dòng)數(shù)據(jù)，將平均瞳孔直徑、瞳孔直徑標(biāo)準(zhǔn)差、掃視速度和超過(guò)500ms的注視次數(shù)作為認(rèn)知負(fù)荷的測(cè)量指標(biāo)（Buettner，2013），同時(shí)連同系統(tǒng)日志數(shù)據(jù)、對(duì)話數(shù)據(jù)等對(duì)協(xié)作結(jié)果進(jìn)行預(yù)測(cè)，結(jié)果顯示，多模態(tài)數(shù)據(jù)比單一模態(tài)數(shù)據(jù)對(duì)協(xié)作結(jié)果的預(yù)測(cè)精度更高。拓寬數(shù)據(jù)來(lái)源不僅可以使基于證據(jù)的研究更具有可信性，而且可以在全面探究協(xié)作學(xué)習(xí)中固有問(wèn)題的基礎(chǔ)上，發(fā)掘出新的或者被忽略的問(wèn)題，從而為協(xié)作學(xué)習(xí)提供新的研究思路與方向。

此外，教師如何在各個(gè)協(xié)作小組之間分配指導(dǎo)精力也是需要思考的問(wèn)題。通常情況下，教師會(huì)四處走動(dòng)，以監(jiān)督和評(píng)估小組任務(wù)的完成情況。教師面臨的一個(gè)關(guān)鍵挑戰(zhàn)是如何均衡地幫助全體學(xué)生，掌握課堂的整體狀況，同時(shí)能夠關(guān)注到其中最需要得到幫助的學(xué)生。Martinez-Maldonado等（2018）通過(guò)在教室中的相應(yīng)位置部署位置感應(yīng)器，根據(jù)教師在教室中的實(shí)際位置描繪出一幅熱圖，以此構(gòu)建教師儀表盤(pán)。教師可實(shí)時(shí)查看自己的儀表盤(pán)，了解自己對(duì)每一個(gè)小組的指導(dǎo)時(shí)間和干預(yù)行為，據(jù)此做出實(shí)時(shí)的行為調(diào)整。AIoT在課堂協(xié)作學(xué)習(xí)過(guò)程中的應(yīng)用既省時(shí)省力又高效精準(zhǔn)，可完全替代人類的觀察，為協(xié)作學(xué)習(xí)的研究提供了便捷支撐。

（2）游戲化課堂場(chǎng)景

游戲化學(xué)習(xí)是指將游戲內(nèi)容與學(xué)習(xí)活動(dòng)相結(jié)合以增強(qiáng)特定領(lǐng)域的知識(shí)和技能獲得，通過(guò)有趣的游戲機(jī)制激勵(lì)學(xué)習(xí)者參與（Plass et al.，2015）。已有研究表明，游戲化學(xué)習(xí)可以提高學(xué)習(xí)者的學(xué)習(xí)效果與學(xué)習(xí)興趣（Qian et al.，2016）。而AIoT的出現(xiàn)，為深層次理解游戲化學(xué)習(xí)行為和實(shí)時(shí)捕捉學(xué)習(xí)興趣提供了新的測(cè)量手段（Plass et al.，2020）。

目前，已有學(xué)者使用IoT設(shè)備進(jìn)一步挖掘游戲化學(xué)習(xí)行為。例如，Tsai等（2016）應(yīng)用眼動(dòng)跟蹤技術(shù)捕捉學(xué)習(xí)者在游戲化環(huán)境下的視覺(jué)行為模式，發(fā)現(xiàn)不同學(xué)習(xí)者之間關(guān)注點(diǎn)的差異。Taub等（2020）應(yīng)用面部表情和游戲過(guò)程日志數(shù)據(jù)，發(fā)現(xiàn)閱讀相關(guān)書(shū)籍時(shí)表現(xiàn)出愉悅情緒，掃描食品得到陽(yáng)性結(jié)果（游戲背景是尋找某神秘疾病的致病源）時(shí)表現(xiàn)出困惑情緒等，可以正向預(yù)測(cè)游戲得分。還有學(xué)者開(kāi)始通過(guò)分析學(xué)習(xí)者的面部表情、眼動(dòng)軌跡和操作行為來(lái)探究游戲化學(xué)習(xí)的興趣。例如，Emerson等（2020）利用基于視頻的面部表情跟蹤系統(tǒng)FACET（iMotions，2016）提取了對(duì)應(yīng)于面部動(dòng)作編碼系統(tǒng)FACS（Ekman et al.，1997）的特征，將面部劃分為20個(gè)動(dòng)作單元;同時(shí)，基于SMI眼動(dòng)儀以120Hz的頻率追蹤眼球運(yùn)動(dòng)并記錄時(shí)間戳，識(shí)別出學(xué)習(xí)者注視（超過(guò)250ms）的8個(gè)對(duì)象以及每秒注視對(duì)象的次數(shù)，共獲得9個(gè)特征;然后，根據(jù)系統(tǒng)記錄的游戲操作軌跡，歸納出8類行為（如移動(dòng)位置、與游戲中角色對(duì)話、完成一項(xiàng)任務(wù)等），再加上游戲總時(shí)間，共獲得9個(gè)特征;最后，以這38個(gè)特征作為輸入，采用邏輯回歸預(yù)測(cè)學(xué)習(xí)興趣，結(jié)果表明，增加眼動(dòng)數(shù)據(jù)和面部數(shù)據(jù)的預(yù)測(cè)精度比僅有游戲操作數(shù)據(jù)時(shí)的預(yù)測(cè)精度更高。這些研究再次證明了利用多模態(tài)數(shù)據(jù)和智能技術(shù)剖析學(xué)習(xí)過(guò)程的重要性，同時(shí)為構(gòu)建基于游戲的自適應(yīng)學(xué)習(xí)場(chǎng)景提供了基礎(chǔ)，也指明了以智能系統(tǒng)為支持的學(xué)習(xí)分析技術(shù)在游戲化學(xué)習(xí)場(chǎng)景中的研究思路。

（3）創(chuàng)客課堂場(chǎng)景

創(chuàng)客課堂是以跨學(xué)科項(xiàng)目式學(xué)習(xí)為主要形式，旨在培養(yǎng)學(xué)習(xí)者的高階思維能力與創(chuàng)新實(shí)踐能力的課堂形式（申靜潔等，2020）。創(chuàng)客課堂中對(duì)于學(xué)習(xí)者的評(píng)價(jià)，多以學(xué)習(xí)者的最終作品為主。但是創(chuàng)客課堂的本質(zhì)是讓學(xué)生通過(guò)“做中學(xué)”獲得能力的發(fā)展（田友誼等，2019），因此捕獲學(xué)習(xí)者的動(dòng)手操作數(shù)據(jù)有助于提高創(chuàng)客課堂評(píng)價(jià)的科學(xué)性與合理性。

跨學(xué)科合作項(xiàng)目PELARS（Practice-based Experiential Learning Analytics Research and Support），連續(xù)三年受到歐盟研究與創(chuàng)新計(jì)劃的資助，2015年起開(kāi)始致力于設(shè)計(jì)基于創(chuàng)客課堂的數(shù)據(jù)采集環(huán)境并開(kāi)發(fā)學(xué)習(xí)分析系統(tǒng);2017年的版本從臉、手、操作、時(shí)間等方面進(jìn)行數(shù)據(jù)采集并實(shí)現(xiàn)了可視化呈現(xiàn)（Friesel et al.，2017;PELARS，2017）。具體來(lái)說(shuō)，通過(guò)學(xué)習(xí)者佩戴的腕部位置感應(yīng)器，獲取學(xué)習(xí)者是否正在操作、操作軟硬件對(duì)象、操作頻率數(shù)據(jù)，再配以時(shí)間序列將操作過(guò)程劃分為計(jì)劃、記錄、反思三個(gè)階段;同時(shí)，使用攝像頭獲取學(xué)生查看電腦屏幕的次數(shù)和面部表情，進(jìn)而為學(xué)習(xí)者和教師實(shí)時(shí)呈現(xiàn)整體可視化界面。Healion等（2017）依托該項(xiàng)目探索了桌子的高度與形狀對(duì)學(xué)習(xí)的影響，結(jié)果發(fā)現(xiàn)學(xué)習(xí)者離開(kāi)桌子的行為也是一項(xiàng)重要指標(biāo)，故應(yīng)跟蹤并以不同顏色的線條可視化呈現(xiàn)學(xué)習(xí)者的運(yùn)動(dòng)軌跡。AIoT的應(yīng)用能夠充分挖掘創(chuàng)客課堂的特色行為數(shù)據(jù)，為創(chuàng)客教學(xué)的發(fā)展提供適應(yīng)性證據(jù)。

（4）實(shí)訓(xùn)課堂場(chǎng)景

實(shí)訓(xùn)課堂旨在通過(guò)模擬真實(shí)的工作場(chǎng)景以檢驗(yàn)理論知識(shí)、強(qiáng)化專業(yè)技能及提高綜合素質(zhì)，對(duì)于職前教師、實(shí)習(xí)醫(yī)生等具有非常重要的作用。但是，目前的實(shí)訓(xùn)課堂中針對(duì)學(xué)習(xí)者表現(xiàn)的反饋滯后，導(dǎo)致實(shí)訓(xùn)目標(biāo)感欠缺（馮詠薇，2019）。而AIoT的出現(xiàn)為實(shí)訓(xùn)課堂的實(shí)時(shí)反饋提供了可能性。

根據(jù)搭建環(huán)境的不同，實(shí)訓(xùn)課堂可分為物理實(shí)訓(xùn)課堂和虛擬實(shí)訓(xùn)課堂。物理實(shí)訓(xùn)課堂是依靠物理設(shè)備來(lái)模擬真實(shí)場(chǎng)景，如Echeverria等（2019）建立了物理的模擬醫(yī)院病房，配備了5～6個(gè)能夠展示健康指標(biāo)的病患模型以及病床等設(shè)備，同時(shí)部署了位置感應(yīng)器、腕帶感應(yīng)器、麥克風(fēng)和拾音器，用于捕獲醫(yī)學(xué)院學(xué)生在模擬醫(yī)療急救場(chǎng)景中的行為信息。以心臟驟停的教學(xué)場(chǎng)景為例，扮演護(hù)士角色的學(xué)生需要及時(shí)出現(xiàn)在床邊，并對(duì)病患模型進(jìn)行心臟按摩和氣流按壓。此時(shí)學(xué)生佩戴的腕帶感應(yīng)器可以測(cè)量其壓力水平，并感知其皮膚電反應(yīng)和血容量的變化。基于傳感器之間的連接，便可同步計(jì)算學(xué)生的心率、出汗水平和體溫等，這些數(shù)據(jù)能在一定程度上反映此次急救任務(wù)對(duì)于該學(xué)生的困難程度;病床旁邊配置的麥克風(fēng)和拾音器，可捕捉學(xué)生之間以及病患之間的語(yǔ)言交流;位置感應(yīng)器可追蹤學(xué)生在各個(gè)區(qū)域內(nèi)的停留時(shí)間和轉(zhuǎn)移頻率。值得一提的是，這個(gè)房間內(nèi)還配置有一間控制室，教師可根據(jù)學(xué)生的實(shí)時(shí)表現(xiàn)控制病人的狀態(tài)和聲音，增強(qiáng)了實(shí)訓(xùn)的真實(shí)性。虛擬實(shí)訓(xùn)課堂則是利用虛擬仿真技術(shù)來(lái)模擬真實(shí)場(chǎng)景，其難點(diǎn)在于學(xué)習(xí)者如何感知虛擬環(huán)境。Xiao等（2020）使用Kinect設(shè)備和一枚智能戒指進(jìn)行了嘗試。實(shí)驗(yàn)過(guò)程中，學(xué)習(xí)者手上會(huì)佩戴一枚智能戒指，戒指上置有振動(dòng)器，當(dāng)學(xué)習(xí)者對(duì)著屏幕操作虛擬對(duì)象時(shí)，Kinect設(shè)備會(huì)捕捉并識(shí)別手勢(shì)（如伸出一根手指表示“點(diǎn)擊”，伸出五根手指表示“放下”，五根手指握拳表示“抓取”，二指延伸表示“放大”等）。若學(xué)習(xí)者的手勢(shì)與虛擬環(huán)境中的手勢(shì)一致，則表示虛擬操作成功，同時(shí)智能戒指會(huì)產(chǎn)生振動(dòng)，以此來(lái)連接虛擬學(xué)習(xí)環(huán)境與學(xué)習(xí)者的知覺(jué)。AIoT在實(shí)訓(xùn)課堂場(chǎng)景中的應(yīng)用為學(xué)習(xí)者對(duì)自身技能的認(rèn)知、教師發(fā)現(xiàn)學(xué)生技能缺陷并為學(xué)生提供指導(dǎo)帶來(lái)了直接依據(jù)。

可以說(shuō)，AIoT在教育領(lǐng)域的應(yīng)用潛力巨大，尤其體現(xiàn)在支持實(shí)時(shí)反饋的智能課堂。智能課堂是基于先進(jìn)的物聯(lián)網(wǎng)與人工智能技術(shù)而構(gòu)建的數(shù)字化、個(gè)性化的智能學(xué)習(xí)環(huán)境，為教師的課堂教學(xué)管理與決策和學(xué)生的學(xué)習(xí)提供了重要支撐。相較于考試成績(jī)、線上操作流等單一模態(tài)數(shù)據(jù)，基于IoT感應(yīng)設(shè)備捕獲的多模態(tài)數(shù)據(jù)能夠更加全面、準(zhǔn)確地反映學(xué)習(xí)者的特征。課堂智能錄播系統(tǒng)、可穿戴設(shè)備、點(diǎn)陣筆、電子平板、眼動(dòng)儀、腦電儀等數(shù)據(jù)采集設(shè)備，可高效、便捷、實(shí)時(shí)地獲取多模態(tài)教學(xué)數(shù)據(jù)。在人工智能技術(shù)的加持之下，多模態(tài)教學(xué)數(shù)據(jù)的分析和反饋愈發(fā)便捷、精準(zhǔn)和高效，尤其是伴隨計(jì)算機(jī)視覺(jué)和深度學(xué)習(xí)技術(shù)的不斷改進(jìn)，使得面對(duì)面教學(xué)過(guò)程中的教學(xué)語(yǔ)言、聲音、筆記、教學(xué)行為動(dòng)作、人體運(yùn)動(dòng)軌跡、面部表情、眼動(dòng)蹤跡等大量外顯行為數(shù)據(jù)，以及脈搏、心率等內(nèi)在生理信號(hào)數(shù)據(jù)的提取與分析實(shí)現(xiàn)了自動(dòng)化和智能化，這將真正促進(jìn)課堂教學(xué)的深刻變革。

四、探尋：智能課堂中的教師課堂表現(xiàn)

上面分析的AIoT應(yīng)用案例，針對(duì)的是非常規(guī)性的課堂，其所解決的教學(xué)問(wèn)題也有一定的特殊性。這些應(yīng)用雖然能夠?yàn)锳IoT智能課堂提供有益的啟示，但是要在日常的中小學(xué)課堂中發(fā)揮AIoT的作用，還需要回到一開(kāi)始提出的問(wèn)題，即要解決課堂教學(xué)的什么問(wèn)題？對(duì)此，本團(tuán)隊(duì)將問(wèn)題聚焦到教師的課堂教學(xué)表現(xiàn)。教師課堂教學(xué)表現(xiàn)是精準(zhǔn)評(píng)估與診斷課堂教學(xué)效果、干預(yù)課堂教學(xué)過(guò)程、調(diào)整課堂教學(xué)模式、提高課堂教學(xué)能力的主要依據(jù)。智能教學(xué)環(huán)境下的多模態(tài)數(shù)據(jù)為診斷教師課堂教學(xué)特點(diǎn)或缺陷提供了更加全面和客觀的證據(jù)。同時(shí)，課堂教學(xué)設(shè)計(jì)、教學(xué)組織和管理等教師教學(xué)能力要素的評(píng)估方法也以多模態(tài)數(shù)據(jù)為依據(jù)、以智能技術(shù)為手段，在完成自動(dòng)化的客觀測(cè)量基礎(chǔ)上，改進(jìn)課堂教學(xué)評(píng)價(jià)過(guò)程，實(shí)現(xiàn)高效精準(zhǔn)的教學(xué)研究與教師技能評(píng)估。另外，學(xué)生群體的課堂學(xué)習(xí)行為也能反映教師的教學(xué)表現(xiàn)，并為評(píng)價(jià)教師提供證據(jù)支撐。

本團(tuán)隊(duì)從關(guān)注教師課堂教學(xué)表現(xiàn)、提升教師課堂教學(xué)能力的角度出發(fā)，利用教師和學(xué)生產(chǎn)生的多模態(tài)數(shù)據(jù)共同刻畫(huà)教師的課堂教學(xué)表現(xiàn)。如圖2所示，通過(guò)挖掘?qū)W生課堂學(xué)習(xí)行為來(lái)表征參與度、注意力、態(tài)度等學(xué)習(xí)狀態(tài)與學(xué)習(xí)結(jié)果;同時(shí)通過(guò)挖掘教師課堂教學(xué)行為來(lái)表征教學(xué)風(fēng)格和教學(xué)能力;最后通過(guò)智能算法融合來(lái)刻畫(huà)教師課堂教學(xué)表現(xiàn)，并依據(jù)教師教學(xué)表現(xiàn)來(lái)指導(dǎo)和干預(yù)課堂教學(xué)行為。

課堂行為數(shù)據(jù)的采集需要多種智能設(shè)備和儀器的支持。然而，智能化課堂環(huán)境既先進(jìn)又復(fù)雜，當(dāng)前多數(shù)涉及到多模態(tài)學(xué)習(xí)分析的教學(xué)研究尚處于實(shí)驗(yàn)摸索階段。借助課堂教學(xué)實(shí)錄視頻采集行為數(shù)據(jù)的手段不僅成本低，而且實(shí)用性和易用性強(qiáng)，被多數(shù)研究者采納。這就需要用計(jì)算機(jī)抓取圖像，探測(cè)教學(xué)環(huán)境中的師生主體，進(jìn)而識(shí)別主體并提取特征以理解主體的行為和意義表征。該過(guò)程離不開(kāi)人臉檢測(cè)、面部表情識(shí)別、手勢(shì)識(shí)別、人體定位和移動(dòng)軌跡識(shí)別、語(yǔ)音識(shí)別等技術(shù)支持。本團(tuán)隊(duì)在深刻認(rèn)識(shí)智能化課堂環(huán)境的基礎(chǔ)上，提出了如圖3所示的基于多模態(tài)行為數(shù)據(jù)的教師課堂教學(xué)表現(xiàn)刻畫(huà)與評(píng)估模型。該模型的涵義是：通過(guò)學(xué)生全景視頻和學(xué)生特寫(xiě)視頻捕獲學(xué)生個(gè)體/群體的行為，利用行為與狀態(tài)的表征關(guān)系來(lái)刻畫(huà)學(xué)生個(gè)體/群體的課堂學(xué)習(xí)狀態(tài);通過(guò)教師特寫(xiě)視頻捕捉教師行為，刻畫(huà)教師的課堂教學(xué)風(fēng)格與教學(xué)能力;通過(guò)綜合教師和學(xué)生的多模態(tài)行為數(shù)據(jù)，最終得到教師課堂教學(xué)表現(xiàn)的刻畫(huà)模型。

五、直面：AIoT面臨的現(xiàn)實(shí)挑戰(zhàn)

面對(duì)萬(wàn)物智聯(lián)時(shí)代的到來(lái)，采用AIoT賦能課堂教學(xué)已是大勢(shì)所趨。總的來(lái)說(shuō)，AIoT在課堂教學(xué)中的應(yīng)用，實(shí)際上就是借助其在數(shù)據(jù)和算力兩個(gè)方面的強(qiáng)大功能。基于AIoT的智能課堂通過(guò)利用IoT感應(yīng)設(shè)備，采集師生的外顯行為數(shù)據(jù)和內(nèi)隱生理數(shù)據(jù)，為總結(jié)課堂教學(xué)經(jīng)驗(yàn)、深刻洞悉課堂教學(xué)情境、精準(zhǔn)發(fā)現(xiàn)課堂教學(xué)問(wèn)題、科學(xué)研究課堂教學(xué)提供了方法指導(dǎo)，同時(shí)也為促進(jìn)學(xué)生個(gè)性化成長(zhǎng)、發(fā)展教師專業(yè)能力、提升課堂教學(xué)效果提供了證據(jù)支持。

AIoT技術(shù)在課堂應(yīng)用中仍然面臨諸多挑戰(zhàn)。第一，目前研究主要關(guān)注認(rèn)知維度，即用多模態(tài)數(shù)據(jù)來(lái)預(yù)測(cè)學(xué)習(xí)結(jié)果，而對(duì)學(xué)習(xí)動(dòng)機(jī)、學(xué)習(xí)策略、學(xué)習(xí)態(tài)度、學(xué)習(xí)持續(xù)力等維度的表征研究較少。第二，基于IoT感應(yīng)設(shè)備采集的數(shù)據(jù)各具形態(tài)，在這種情境下，選擇何種數(shù)據(jù)來(lái)表征何種學(xué)習(xí)特征仍需大量研究證據(jù)支持。第三，課堂多模態(tài)數(shù)據(jù)涉及學(xué)習(xí)者與教師的隱私數(shù)據(jù)（如高清人物影像），如何保證數(shù)據(jù)的安全性也是亟待解決的問(wèn)題。因此，要克服AIoT在課堂應(yīng)用中的弊端，仍需在教學(xué)實(shí)踐中不斷探索AIoT支持的最佳教學(xué)組織和教學(xué)策略等。

參考文獻(xiàn)：

[1]白宇，岳弘彬（2019）. 浙江一小學(xué)學(xué)生戴“頭環(huán)”防走神——教育部門(mén)已責(zé)令學(xué)校暫停使用相關(guān)產(chǎn)品;專家表示引進(jìn)技術(shù)設(shè)備用于課堂教學(xué)應(yīng)有明確規(guī)范[N]. 新京報(bào)，2019-11-01（A13）.

[2]馮詠薇（2019）. 智能互聯(lián)技術(shù)+BOPPPS模式下的廣告專業(yè)教學(xué)模式研究——以“廣告文案”實(shí)訓(xùn)課為例[J]. 傳媒，（8）：79-82.

[3]顧小清（2018）. 破壞性創(chuàng)新：技術(shù)如何改善教育生態(tài)[J]. 探索與爭(zhēng)鳴， （8）：34-36.

[4]何克抗（2009）. 21世紀(jì)以來(lái)教育技術(shù)理論與實(shí)踐的新發(fā)展[J]. 現(xiàn)代教育技術(shù)，19（10）：5-14.

[5]黃榮懷，胡永斌，楊俊鋒等（2012）. 智慧教室的概念及特征[J]. 開(kāi)放教育研究，18（2）：22-27.

[6]李德毅（2018）. 人工智能：社會(huì)發(fā)展加速器[N]. 中國(guó)信息化周報(bào)，2018-02-05（007）.

[7]劉清堂，何皓怡，吳林靜等（2019）. 基于人工智能的課堂教學(xué)行為分析方法及其應(yīng)用[J]. 中國(guó)電化教育，（9）：13-21.

[8]馬紅亮，[英]袁莉，郭唯一等（2014）. 反省分析技術(shù)在教育領(lǐng)域中的應(yīng)用[J]. 現(xiàn)代遠(yuǎn)程教育研究，（4）：39-46.

[9]申靜潔，趙呈領(lǐng)，李芒（2020）. 創(chuàng)客教育：學(xué)科視域下提升學(xué)生核心素養(yǎng)的路徑探析[J]. 中國(guó)電化教育，（6）：30-36.

[10]田友誼，姬冰澌（2019）. 重識(shí)中小學(xué)創(chuàng)客教育：基于杜威“做中學(xué)”思想的審視[J]. 教育科學(xué)研究，（12）：53-58，66.

[11]徐振國(guó)，張冠文，孟祥增等（2019）. 基于深度學(xué)習(xí)的學(xué)習(xí)者情感識(shí)別與應(yīng)用[J]. 電化教育研究，40（2）：87-94.

[12]楊現(xiàn)民，余勝泉（2015）. 智慧教育體系架構(gòu)與關(guān)鍵支撐技術(shù)[J]. 中國(guó)電化教育，（1）：77-84，130.

[13]Blinne， K. C. （2013）. Start with the Syllabus： Helping Learners Learn Through Class Content Collaboration[J]. College Teaching， 61（2）：41-43.

[14]Buckingham， S. S.， & Ferguson， R. （2012）. Social Learning Analytics[J]. Educational Technology & Society，15（3）：3-26.

[15]Buettner， R. （2013）. Cognitive Workload of Humans Using Artificial Intelligence Systems： Towards Objective Measurement Applying Eye-Tracking Technology[C]//? Proceedings of the Annual Conference on Artificial Intelligence. Berlin， Heidelberg： Springer：37-48.

[16]Chango， W.， Cerezo， R.， & Romero， C. （2020）. Multi-Source and Multimodal Data Fusion for Predicting Academic Performance in Blended Learning University Courses[J]. Computers & Electrical Engineering， 89：1-13.

[17]Cheung， A. C. K.， & Slavin， R. E. （2012）. How Features of Educational Technology Applications Affect Student Reading Outcomes： A Meta-Analysis[J]. Educational Research Review， 7（3）：198-215.

[18]Colbert， J. （1997）. Classroom Design and How It Influences Behavior[J]. Early Childhood News， 9（3）：22-29.

[19]Cukurova， M.， Luckin， R.， & Millán， E. et al. （2018）. The NISPI Framework： Analyzing Collaborative Problem-Solving from Students Physical Interactions[J]. Computers & Education， 116：93-109.

[20]Domínguez， F.， Chiluiza， K.， & Echeverria， V. et al. （2015）. Multimodal Selfies： Designing a Multimodal Recording Device for Students in Traditional Classrooms[C]// Proceedings of the 2015 ACM on International Conference on Multimodal Interaction. Seattle， USA：567-574.

[21]Echeverria， V.， Martinez-Maldonado， R.， & Buckingham， S. S. （2019）. Towards Collaboration Translucence： Giving Meaning to Multimodal Group Data[C]// Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems. Glasgow， Scotland， UK：1-16.

[22]Ekman， P.， & Rosenberg， E. （1997）. What the Face Reveals： Basic and Applied Studies of Spontaneous Expression Using the Facial Action Coding System （FACS）[M]. New York， Oxford University Press.

[23]Emerson， A.， Cloude， E. B.， & Azevedo， R. et al. （2020）. Multimodal Learning Analytics for Game-Based Learning[J]. British Journal of Educational Technology， 51（5）：1505-1526.

[24]Francesc， P.， Miguel， S.， & Axel， R. et al. （2019）. Artificial Intelligence in Education： Challenges and Opportunities for Sustainable Development[EB/OL]. [2020-12-20]. https：//unesdoc.unesco.org/ark：/48223/pf0000366994.

[25]Friesel， A.， Spikol， D.， & Cojocaru， D. （2017）. Technologies Designed and Developed in PELARS Project-The Way to Enhance STEM Education[C]// Proceedings of the Annual Conference on European Association for Education in Electrical and Information Engineering. Grenoble， France：1-5.

[26]Healion， D.， Russell， S.， & Cukurova， M. et al. （2017）. Tracing Physical Movement During Practice-Based Learning Through Multimodal Learning Analytics[C]// Proceedings of the Seventh International Learning Analytics & Knowledge Conference. Vancouver， Canada：588-589.

[27]iMotions（2016）. Attention Tool （Version 6.2）[Z]. Boston， MA： iMotions Inc.

[28]Jawa， A.， Datta， S.， & Nanda， S. et al. （2010）. SMEO： A Platform for Smart Classrooms with Enhanced Information Access and Operations Automation[C]// Proceedings of the Conference on Smart Spaces & Next Generation Wired/Wireless Networking： Springer-Verlag：123-134.

[29]Lahat， D.， Adali， T.， & Jutten， C. （2015）. Multimodal Data Fusion： An Overview of Methods， Challenges， and Prospects[J]. Proceedings of the IEEE， 103（9）：1449-1477.

[30]Liang， T. H.， Huang， Y. M.， & Tsai， C. C. （2012）. An Investigation of Teaching and Learning Interaction Factors for the Use of the Interactive Whiteboard Technology[J]. Journal of Educational Technology & Society， 15（4）：356-367.

[31]Mancillas， L. K.， & Brusoe， P. W. （2016）. Born Digital： Integrating Media Technology in the Political Science Classroom [J]. Journal of Political Science Education， 12（4）：375-386.

[32]Martinez-Maldonado， R.， Echeverria， V.， & Santos， O. C. et al. （2018）. Physical Learning Analytics： A Multimodal Perspective[C]// Proceedings of the 8th International Conference on Learning Analytics and Knowledge. Sydney， New South Wales， Australia：375-379.

[33]Melinda， D.， & Randall， S. （2013）. Filling in the Gaps： Linking Theory and Practice Through Telecollaboration in Teacher Education[J]. European Association for Computer Assisted Language Learning， 25（1）：4-29.

[34]Mok， M. M. C.， & Chen， Y. C. （2004）. A Theory of Self-Learning in Human and Technology Environment： Implications for Education Reforms[J]. International Journal of Education Management， 15（4）：172-186.

[35]Nida， N.， Yousaf， M. H.， & Irtaza， A. et al. （2019）. Instructor Activity Recognition Through Deep Spatiotemporal Features and Feedforward Extreme Learning Machines[J]. Mathematical Problems in Engineering：1-13.

[36]Noroozi， O.， Pijeira-Díaz， H. J.， & Sobocinski， M. et al. （2020）. Multimodal Data Indicators for Capturing Cognitive， Motivational， and Emotional Learning Processes： A Systematic Literature Review[J]. Education and Information Technologies， 25：5499-5547.

[37]Odo， C.， Masthoff， J.， & Beacham， N. （2019）. Group Formation for Collaborative Learning[C]// Proceedings of the International Conference on Artificial Intelligence in Education. Springer， Cham：206-212.

[38]Olsen， J. K.， Sharma， K.， & Rummel， N. et al. （2020）. Temporal Analysis of Multimodal Data to Predict Collaborative Learning Outcomes[J]. British Journal of Educational Technology， 51（5）：1527-1547.

[39]PELARS（2017）. Iterative Prototyping Feedback in Interaction Design[EB/OL]. [2020-12-02]. http：//www.learningmaking.eu/wp-content/uploads/2017/02/PELARS_D2.6.pdf.

[40]Pianta， R. C.， La Paro， K. M.， & Hamre， B. K. （2008）. Classroom Assessment Scoring SystemTM： Manual K-3[M]. Paul H Brookes Publishing.

[41]Plass， J. L.， Homer， B. D.， & Kinzer， C. K. （2015）. Foundations of Game-Based Learning[J]. Educational Psychologist， 50（4）：258-283.

[42]Plass， J. L.， Mayer， R. E.， & Homer， B. D. （2020）. Handbook of Game-Based Learning[M]. Cambridge， MA： MIT Press.

[43]Qian， M.， & Clark， K. R. （2016）. Game-Based Learning and 21st Century Skills： A Review of Recent Research[J]. Computers in Human Behavior， 63：50-58.

[44]Raca， M.， & Dillenbourg， P. （2014）. Holistic Analysis of the Classroom[C]// Proceedings of the 2014 ACM Workshop on Multimodal Learning Analytics Workshop and Grand Challenge. Istanbul， Turkey：13-20.

[45]Ren， H.， & Xu， G. （2020）. Human Action Recognition in Smart Classroom[C]// Proceedings of Fifth IEEE International Conference on Automatic Face Gesture Recognition. Washington， DC， USA：417-422.

[46]Riquelme， F.， Munoz， R.， & Mac， L. R. et al. （2019）. Using Multimodal Learning Analytics to Study Collaboration on Discussion Groups[J]. Universal Access in the Information Society， 18（3）：633-643.

[47]Roschelle， J.， & Teasley， S. D. （1995）. The Construction of Shared Knowledge in Collaborative Problem Solving[M]// OMalley， C. （Eds.）. Computer Supported Collaborative Learning. NATO ASI Series （Series F： Computer and Systems Sciences）. Springer， Berlin， Heidelberg：69-97.

[48]Sharma， K.， Papamitsiou， Z.， & Giannakos， M. （2019）. Building Pipelines for Educational Data Using AI and Multimodal Analytics： A “Grey-Box” Approach[J]. British Journal of Educational Technology， 50（6）：3004-3031.

[49]Tamim， R. M.， Bernard， R. M.， & Borokhovski， E. （2011）. What Forty Years of Research Says about the Impact of Technology on Learning[J]. Review of Educational Research， 81（1）：4-28.

[50]Taub， M.， Sawyer， R.， & Lester， J. et al. （2020）. The Impact of Contextualized Emotions on Self-Regulated Learning and Scientific Reasoning During Learning with a Game-Based Learning Environment[J]. International Journal of Artificial Intelligence in Education， 30（1）：97-120.

[51]Tsai， M. J.， Huang， L. J， & Hou， H. T. et al. （2016）. Visual Behavior， Flow and Achievement in Game-Based Learning[J]. Computers & Education， 98：115-129.

[52]Vujovic， M.， Hernández-Leo， D.， & Tassani， S. et al. （2020）. Round or Rectangular Tables for Collaborative Problem Solving？ A Multimodal Learning Analytics Study[J]. British Journal of Educational Technology， 51（5）：1597-1614.

[53]Xiao， M.， Feng， Z.， & Yang， X. et al. （2020）. Multimodal Interaction Design and Application in Augmented Reality for Chemical Experiment[J]. Virtual Reality & Intelligent Hardware， 2（4）：291-304.

收稿日期 2021-02-03 責(zé)任編輯 劉選

Abstract： Looking back at the changes in the application of technology in the classroom， although researchers and practitioners keep trying to make efforts in “technology-enhanced teaching”， technology intervention has always been hovering on the edge of education and failed to solve the inherent problem of classroom teaching. AIoT， as a technological product combining Artificial Intelligence （AI） and the Internet of Things （IoT）， brings new possibilities to change the classroom ecology. In practice， the classroom supported by AIoT has the affordance of real-time communication between IoT sensing devices and intelligent systems， which can be elaborated with four scenarios. Since teaching performance is the basis for accurately evaluating classroom teaching effect， intervening classroom teaching process， adjusting classroom teaching mode and improving classroom teaching ability， building teaching performance model is one of the approaches to solve real classroom problems by using AIoT. This model constructs a data-driven intelligent system by intelligent devices to capture the real-time classroom behavior data， extract features， integrate data， build personalized models and try dynamic intervention， which provides new ideas for effectively monitoring the classroom teaching and improving the behavioral pattern of teaching and learning. However， there are still some problems such as more focus on cognitive dimension， the lack of unified standard of learning characteristic， data security and so on in the application of AIoT into the education field. Efforts are needed to explore the best teaching organizations and teaching strategies supported by AIoT in teaching practice.

Keywords： Artificial Intelligence; Intelligent Classroom; AIoT; Internet of Things; Multimodal Data; Learning Analytics