雙師課堂中的多模態(tài)學(xué)習(xí)情感分析：關(guān)鍵問(wèn)題、邏輯理路與實(shí)施路線*

蔣艷雙 崔 璨 逯 行 祁彬斌 包昊罡

雙師課堂中的多模態(tài)學(xué)習(xí)情感分析：關(guān)鍵問(wèn)題、邏輯理路與實(shí)施路線*

蔣艷雙1崔 璨2[通訊作者]逯 行3祁彬斌1包昊罡4

（1．北京師范大學(xué)互聯(lián)網(wǎng)教育智能技術(shù)及應(yīng)用國(guó)家工程研究中心，北京 100875；2．海軍大連艦艇學(xué)院教研保障中心，遼寧大連 116018；3．浙江師范大學(xué)浙江省智能教育技術(shù)與應(yīng)用重點(diǎn)實(shí)驗(yàn)室，浙江金華 321004；4．中國(guó)教育科學(xué)研究院基礎(chǔ)教育研究所，北京 100088）

針對(duì)雙師教學(xué)中遠(yuǎn)程授課名師對(duì)本地學(xué)生的學(xué)習(xí)情感感知不足、授課成效不佳等問(wèn)題，文章提出通過(guò)融合情感計(jì)算和大數(shù)據(jù)分析等方法，構(gòu)建多空間融合視域下多模態(tài)情感分析的理論框架，探索基于多模態(tài)數(shù)據(jù)融合的學(xué)生學(xué)習(xí)情感識(shí)別與智能評(píng)估，挖掘基于時(shí)序“學(xué)習(xí)情感-空間”聯(lián)合建模的學(xué)生群體情感演化機(jī)理。在此基礎(chǔ)上，建立多模態(tài)情感分析教育應(yīng)用平臺(tái)，分析基于原型系統(tǒng)的教學(xué)驗(yàn)證及干預(yù)方案。文章期望通過(guò)研究雙師課堂中多模態(tài)學(xué)習(xí)情感分析的關(guān)鍵問(wèn)題、邏輯理路與實(shí)施路線，揭示學(xué)生在雙師教學(xué)視域下的學(xué)生情感發(fā)展機(jī)制，拓展學(xué)生群體情感的干預(yù)實(shí)踐，為“雙師”課后教研提供技術(shù)支撐與行動(dòng)指南。

雙師課堂；情感計(jì)算；多模態(tài)數(shù)據(jù)融合；學(xué)習(xí)分析

引言

2021年，教育部等六部門發(fā)布《關(guān)于推進(jìn)教育新型基礎(chǔ)設(shè)施建設(shè)構(gòu)建高質(zhì)量教育支撐體系的指導(dǎo)意見》，強(qiáng)調(diào)要推動(dòng)“三個(gè)課堂”，開發(fā)基于大數(shù)據(jù)的智能診斷等應(yīng)用[1]。為“三個(gè)課堂”提供個(gè)性化和智能化教學(xué)服務(wù)，推進(jìn)城鄉(xiāng)教育優(yōu)質(zhì)、均衡發(fā)展，成為我國(guó)教育數(shù)字化轉(zhuǎn)型進(jìn)程中的重要內(nèi)容。雙師課堂作為推進(jìn)“三個(gè)課堂”落地應(yīng)用的新型教學(xué)形態(tài)，是一種由遠(yuǎn)程授課名師和本地伴學(xué)教師協(xié)同完成教學(xué)活動(dòng)的教學(xué)方式。但是，目前雙師課堂教學(xué)存在遠(yuǎn)程名師對(duì)本地學(xué)生情感的感知能力不足，導(dǎo)致授課成效有待提升的問(wèn)題[2]。學(xué)生情感是教學(xué)活動(dòng)中的一種非智力因素，與認(rèn)知加工息息相關(guān)，能夠顯著影響學(xué)生的思維發(fā)展和學(xué)習(xí)結(jié)果[3]。隨著情感計(jì)算技術(shù)與多模態(tài)學(xué)習(xí)分析的快速發(fā)展，計(jì)算機(jī)逐步具備感知、識(shí)別、理解、適應(yīng)學(xué)生情感特征的能力，可進(jìn)一步提升雙師課堂環(huán)境下對(duì)本地學(xué)生的情感感知能力。基于此，本研究面向雙師教學(xué)場(chǎng)域，通過(guò)多模態(tài)數(shù)據(jù)融合的方式，挖掘?qū)W生的情感傾向及其與同伴之間的情感關(guān)聯(lián)模式，以期為遠(yuǎn)程授課名師與本地伴學(xué)教師在課后開展聯(lián)合教研提供技術(shù)支撐。

一 雙師課堂中多模態(tài)學(xué)習(xí)情感分析的適用性

1 以雙師課堂為代表的新型教學(xué)形態(tài)

伴隨著5G、虛擬現(xiàn)實(shí)、情感計(jì)算等新一代信息技術(shù)的快速應(yīng)用，學(xué)習(xí)環(huán)境逐步由原來(lái)的單一或混合式空間結(jié)構(gòu)轉(zhuǎn)變?yōu)榭缭健拔锢砜臻g、虛擬空間和網(wǎng)絡(luò)空間”的融合樣態(tài)[4]。多空間融合的樣態(tài)催生出多種新型教學(xué)形態(tài)，包括同步互動(dòng)課堂和雙師課堂等。其中，雙師課堂以多維化交互、全業(yè)務(wù)協(xié)同的特征，受到了越來(lái)越多研究者的青睞。在雙師課堂中，名師以互動(dòng)直播或錄播的方式開展遠(yuǎn)程互動(dòng)教學(xué)，伴學(xué)教師則負(fù)責(zé)本地課堂的內(nèi)容輔導(dǎo)和紀(jì)律維持。然而雙師課堂的問(wèn)題在于，師生之間缺乏臨場(chǎng)的情感交互體驗(yàn)，導(dǎo)致本地學(xué)生的學(xué)習(xí)成效不佳，這也是雙師教學(xué)效果不理想的癥結(jié)之所在。

2 課堂情境下的多模態(tài)情感分析

（1）情感計(jì)算與情感表示

情感是影響學(xué)生的學(xué)習(xí)狀態(tài)及其學(xué)習(xí)結(jié)果的關(guān)鍵要素。1997年，麻省理工學(xué)院教授Picard[5]出版《情感計(jì)算》一書，直接推動(dòng)了情感計(jì)算的發(fā)展及其在教育領(lǐng)域的應(yīng)用。隨著人工智能和大數(shù)據(jù)技術(shù)的發(fā)展，情感計(jì)算可為識(shí)別、分析、理解學(xué)生的情感狀態(tài)提供技術(shù)支撐。一般情況下，情感以“Sentiment”和“Emotion”兩個(gè)英文術(shù)語(yǔ)表示，兩者均以提取一組情感標(biāo)簽的方式來(lái)識(shí)別情感，不同之處在于：前者側(cè)重于情感極性分類，通常采用高度相關(guān)或相互依賴的二元分類任務(wù)，分析學(xué)生主觀感覺的傾向性[6]，也有研究以實(shí)數(shù)的形式對(duì)學(xué)生的情感狀態(tài)進(jìn)行評(píng)分[7]；而后者側(cè)重于較為細(xì)粒度的情感分類，通常采用認(rèn)知心理學(xué)領(lǐng)域的情感表示模型對(duì)學(xué)生差異化情感進(jìn)行表征，具體包括OCC（Ortony,Clore&Collins）模型、PAD（Pleasure-Arousal-Dominance）模型、HMM（Hidden Markov Model）模型、情感動(dòng)力模型等[8]。情感表示模型可為情感分類、極性分類和觀點(diǎn)挖掘等情感分析問(wèn)題提供理論基礎(chǔ)和行動(dòng)指南。

（2）多模態(tài)數(shù)據(jù)融合及群體情感分析

近年來(lái)，情感計(jì)算技術(shù)逐步應(yīng)用于教育領(lǐng)域，受到越來(lái)越多研究者的關(guān)注。在智能技術(shù)的驅(qū)動(dòng)下，深度學(xué)習(xí)和多模態(tài)學(xué)習(xí)分析助推情感計(jì)算從單模態(tài)轉(zhuǎn)向多模態(tài)數(shù)據(jù)融合，支撐教育領(lǐng)域中全場(chǎng)景數(shù)據(jù)的智能感知。有研究發(fā)現(xiàn)，基于多模態(tài)數(shù)據(jù)的情感識(shí)別效果優(yōu)于單模態(tài)數(shù)據(jù)，其平均準(zhǔn)確度提升了9.83%[9]。當(dāng)前，多模態(tài)情緒感知主要涉及行為數(shù)據(jù)[10]、文本數(shù)據(jù)、語(yǔ)音數(shù)據(jù)、面部表情數(shù)據(jù)、心理數(shù)據(jù)、學(xué)習(xí)情境數(shù)據(jù)[11]、生理數(shù)據(jù)[12]等。隨著多模態(tài)學(xué)習(xí)分析的發(fā)展，情感計(jì)算教育應(yīng)用已由在線學(xué)習(xí)場(chǎng)景拓展至真實(shí)課堂[13]。目前，有研究能夠?qū)崿F(xiàn)課堂情境下無(wú)干擾地采集學(xué)生的面部表情、手勢(shì)和身體姿態(tài)等多模態(tài)數(shù)據(jù)，以分析學(xué)生的情感狀態(tài)與學(xué)習(xí)投入[14]；有研究采集課堂協(xié)作學(xué)習(xí)時(shí)高中生的面部表情，以識(shí)別學(xué)習(xí)過(guò)程中的意見領(lǐng)袖[15]；還有研究探討大學(xué)課堂環(huán)境下學(xué)生情感狀態(tài)的自動(dòng)識(shí)別方法[16]，以幫助教師實(shí)時(shí)掌握課堂教學(xué)過(guò)程中學(xué)生的情感投入狀態(tài)。在群體情感分析方面，有研究采用基于情感詞匹配的方法并結(jié)合句法分析，對(duì)微博群體情感分析進(jìn)行了有效探索[17]；也有研究采用細(xì)胞自動(dòng)機(jī)模型比較時(shí)變特性，分析了網(wǎng)絡(luò)環(huán)境下用戶的群體情感[18]。

綜合上述研究，基于多模態(tài)情感分析，智能感知與計(jì)算設(shè)備已能對(duì)雙師課堂情境中的學(xué)生、教師、教學(xué)內(nèi)容、教學(xué)資源、教學(xué)媒體、教學(xué)環(huán)境數(shù)據(jù)進(jìn)行精準(zhǔn)采集與智能分析[19]，形成面向?qū)W習(xí)全過(guò)程的情境感知能力。因此，本研究在雙師課堂情境下，以多模態(tài)數(shù)據(jù)融合的方式識(shí)別學(xué)生情感狀態(tài)，并從情感聚類和時(shí)空演化的視角探討學(xué)生多人情感的關(guān)聯(lián)模型，從而對(duì)學(xué)生及其群體情感狀態(tài)進(jìn)行精準(zhǔn)評(píng)估與跟蹤反饋，以期為提升雙師課堂的教學(xué)成效提供技術(shù)方案。

二 雙師課堂中多模態(tài)學(xué)習(xí)情感分析的目標(biāo)旨向和關(guān)鍵問(wèn)題

1 目標(biāo)旨向

雙師課堂中多模態(tài)情感分析的目標(biāo)取向和價(jià)值旨?xì)w，是實(shí)現(xiàn)基于情境感知的全時(shí)空、多視角的學(xué)生情感建模，具體包括：①要實(shí)現(xiàn)雙師課堂中學(xué)生學(xué)習(xí)情感的可解釋，即基于多模態(tài)學(xué)習(xí)分析方法、學(xué)習(xí)情感分類理論和遠(yuǎn)程教學(xué)理論，探討面向雙師教學(xué)的多模態(tài)學(xué)習(xí)情感分析的理論框架；②要實(shí)現(xiàn)雙師課堂中學(xué)生學(xué)習(xí)情感的可計(jì)算，即基于多模態(tài)數(shù)據(jù)融合方法，研究學(xué)生情感特征深度融合，以及面向雙師教學(xué)的、基于多模態(tài)數(shù)據(jù)融合的學(xué)生學(xué)習(xí)情感計(jì)算與智能評(píng)估；③要實(shí)現(xiàn)雙師課堂中學(xué)生學(xué)習(xí)情感的可辨識(shí)，即探究群體情感計(jì)算方法，挖掘個(gè)體之間學(xué)生情感的共現(xiàn)規(guī)律，提出雙師教學(xué)場(chǎng)域下學(xué)生群體情感的關(guān)聯(lián)模式與可視分析；④要實(shí)現(xiàn)雙師課堂中學(xué)生學(xué)習(xí)情感的可調(diào)控，即構(gòu)建多模態(tài)學(xué)習(xí)情感計(jì)算應(yīng)用平臺(tái)與適應(yīng)性實(shí)證方案，以揭示多空間融合視域下的學(xué)生情感發(fā)展機(jī)制，拓展群體情感的干預(yù)實(shí)踐，從而促進(jìn)教育質(zhì)量提升和學(xué)生個(gè)性化發(fā)展。

2 關(guān)鍵問(wèn)題

針對(duì)多模態(tài)學(xué)習(xí)情感分析的目標(biāo)旨向，雙師課堂情境下的雙師教學(xué)研究面臨三個(gè)關(guān)鍵問(wèn)題，分別是：多模態(tài)學(xué)習(xí)情感分析的理論框架構(gòu)建、學(xué)習(xí)情感的多模態(tài)數(shù)據(jù)化表征、學(xué)生群體情感的關(guān)聯(lián)模式挖掘。以上三個(gè)關(guān)鍵問(wèn)題，是開展雙師課堂中多模態(tài)情感分析的核心驅(qū)動(dòng)力。

（1）關(guān)鍵問(wèn)題一：多模態(tài)學(xué)習(xí)情感分析的理論框架構(gòu)建

多模態(tài)學(xué)習(xí)情感分析的理論框架構(gòu)建，是指厘清雙師課堂情境下多模態(tài)學(xué)習(xí)情感分析的基本要素和關(guān)系結(jié)構(gòu)，側(cè)重于對(duì)其基本內(nèi)涵和本質(zhì)屬性的闡釋，可實(shí)現(xiàn)多空間融合視域下學(xué)生情感的可解釋。隨著5G、虛擬現(xiàn)實(shí)、大數(shù)據(jù)等技術(shù)的發(fā)展，以雙師課堂為代表的多空間融合視域逐步呈現(xiàn)出泛在感知、人機(jī)協(xié)同的特征。在此背景下，明晰學(xué)習(xí)情感類型及其影響因素成為了情緒感知進(jìn)程中的基礎(chǔ)性工作。為此，需要結(jié)合基本情感理論和遠(yuǎn)程教學(xué)理論，探討多空間融合視域下多維、細(xì)粒度的學(xué)習(xí)情感分類，構(gòu)建系統(tǒng)性、層級(jí)化多模態(tài)情感分析理論框架，從而指導(dǎo)雙師教學(xué)實(shí)踐。

（2）關(guān)鍵問(wèn)題二：學(xué)習(xí)情感的多模態(tài)數(shù)據(jù)化表征

學(xué)習(xí)情感的多模態(tài)數(shù)據(jù)化表征，是指建立雙師教學(xué)場(chǎng)域中的學(xué)生情感識(shí)別算法模型，動(dòng)態(tài)表征個(gè)體學(xué)習(xí)情感狀態(tài)的變化情況。從學(xué)術(shù)研究視角來(lái)看，教育研究中的情感計(jì)算問(wèn)題往往強(qiáng)調(diào)開展單一模態(tài)的模型研發(fā)和方法創(chuàng)新。與傳統(tǒng)的、基于經(jīng)驗(yàn)的定性研究和單模態(tài)分析相比，基于多模態(tài)數(shù)據(jù)融合的學(xué)習(xí)情感量化研究具有較高的精確性，尤其是在大數(shù)據(jù)技術(shù)的驅(qū)動(dòng)下，學(xué)習(xí)情感的多模態(tài)數(shù)據(jù)化表征有利于建立起多種模態(tài)之間的數(shù)據(jù)關(guān)系[20]。為此，雙師課堂作為融合“物理—人類社會(huì)—信息”的智能學(xué)習(xí)空間，應(yīng)具備能夠支撐學(xué)生心理測(cè)評(píng)數(shù)據(jù)、外在行為數(shù)據(jù)、學(xué)業(yè)測(cè)評(píng)數(shù)據(jù)等多模態(tài)數(shù)據(jù)采集和處理的能力，通過(guò)對(duì)多個(gè)單一情感通道的互補(bǔ)信息進(jìn)行多結(jié)果擬合，來(lái)研判學(xué)生的學(xué)習(xí)情感傾向[21]，為學(xué)生提供個(gè)性化的學(xué)習(xí)支持服務(wù)，進(jìn)一步探索規(guī)模化教育和個(gè)性化培養(yǎng)有機(jī)結(jié)合的有效路徑。

（3）關(guān)鍵問(wèn)題三：學(xué)生群體情感的關(guān)聯(lián)模式挖掘

學(xué)生群體情感的關(guān)聯(lián)模式挖掘，是指通過(guò)挖掘個(gè)體之間情感行為的共現(xiàn)規(guī)律，探究群體情感計(jì)算方法，構(gòu)建雙師課堂情境下的學(xué)生群體情感關(guān)聯(lián)模式。具體而言，從課堂活動(dòng)、知識(shí)主題、遠(yuǎn)程交互的視角出發(fā)，應(yīng)利用基于時(shí)序的關(guān)聯(lián)規(guī)則運(yùn)算方法挖掘?qū)W生群體情感的潛在特征，對(duì)學(xué)生群體情感的時(shí)空演化機(jī)理、共現(xiàn)規(guī)律和關(guān)聯(lián)模式進(jìn)行系統(tǒng)性分析，探究雙師課堂情境的創(chuàng)設(shè)、學(xué)習(xí)活動(dòng)的設(shè)計(jì)如何對(duì)學(xué)生及其群體情感形成適應(yīng)性干預(yù)機(jī)制。適應(yīng)性干預(yù)機(jī)制即在數(shù)據(jù)驅(qū)動(dòng)下，探索學(xué)習(xí)情感發(fā)展所涉的影響因素、各因素的功能以及因素之間的相互關(guān)系，構(gòu)建學(xué)生情感的測(cè)量與干預(yù)模型，揭示雙師課堂教學(xué)中學(xué)生情感干預(yù)的研究規(guī)律。

三 雙師課堂中多模態(tài)學(xué)習(xí)情感分析的邏輯理路

針對(duì)多模態(tài)學(xué)習(xí)情感分析的理論框架構(gòu)建、學(xué)習(xí)情感的多模態(tài)數(shù)據(jù)化表征和學(xué)生群體情感的關(guān)聯(lián)模式挖掘這三個(gè)關(guān)鍵問(wèn)題，圍繞情感計(jì)算教育應(yīng)用和個(gè)性化學(xué)習(xí)服務(wù)的迫切需求，本研究從理論研究、個(gè)體建模、群體建模、實(shí)證研究等四個(gè)維度，開展雙師課堂情境下多模態(tài)學(xué)習(xí)情感分析的基礎(chǔ)理論研究和關(guān)鍵技術(shù)研發(fā)，以實(shí)現(xiàn)多空間融合視域下學(xué)習(xí)情感的可解釋、可計(jì)算、可辨識(shí)、可調(diào)控目標(biāo)，具體的內(nèi)容邏輯關(guān)系如圖1所示。

1 理論研究：多空間融合與學(xué)生情感發(fā)生的學(xué)理匯集

針對(duì)關(guān)鍵問(wèn)題一，可主要開展理論研究，側(cè)重于對(duì)多空間融合視域下的學(xué)生情感分析理論框架進(jìn)行探究，旨在實(shí)現(xiàn)學(xué)習(xí)情感的可解釋。具體來(lái)說(shuō)，可以結(jié)合多模態(tài)學(xué)習(xí)分析和遠(yuǎn)程教學(xué)理論，聚焦物理空間、資源空間、社交空間和虛擬空間等融合學(xué)習(xí)空間[22]，明晰雙師課堂的典型形態(tài)，構(gòu)建面向多空間融合視域的多維、細(xì)粒度學(xué)生情感分類模型，探究學(xué)生情感與學(xué)習(xí)因素（如領(lǐng)域知識(shí)、認(rèn)知目標(biāo)、群體類型）組合的教學(xué)實(shí)驗(yàn)設(shè)計(jì)規(guī)則，分析雙師教學(xué)方式對(duì)本地學(xué)生認(rèn)知發(fā)展和情感發(fā)生的影響機(jī)制，為構(gòu)建學(xué)習(xí)情感的量化模型提供理論支撐。

2 個(gè)體建模：雙師課堂與多模態(tài)學(xué)習(xí)情感分析雙向賦能

針對(duì)關(guān)鍵問(wèn)題二，可主要開展個(gè)體建模研究，側(cè)重于對(duì)多模態(tài)數(shù)據(jù)融合策略進(jìn)行研究，旨在實(shí)現(xiàn)學(xué)習(xí)情感的可計(jì)算。在具體的雙師教學(xué)實(shí)踐中，可以利用3D深度感知攝像頭、4K超高清攝像頭等設(shè)備對(duì)自然狀態(tài)下學(xué)生的生理、心理和行為等數(shù)據(jù)進(jìn)行采集、量化與分析，建立標(biāo)準(zhǔn)數(shù)據(jù)集合，從而為多模態(tài)學(xué)習(xí)情感的建模、評(píng)估和干預(yù)提供“數(shù)據(jù)基座”。同時(shí)，可以面向雙師課堂中智能情境感知的需求，挖掘?qū)W習(xí)過(guò)程中學(xué)生的動(dòng)作姿態(tài)、面部表情、聲音和文本等多模態(tài)情感特征，利用不同模態(tài)信息之間的互補(bǔ)機(jī)制構(gòu)成最佳情感特征向量，進(jìn)而建立多模態(tài)數(shù)據(jù)驅(qū)動(dòng)的學(xué)習(xí)情感識(shí)別算法模型，并運(yùn)用智能評(píng)估方法分析和理解雙師課堂中學(xué)生個(gè)體的“喜、怒、哀、樂(lè)”。

3 群體建模：全時(shí)空、多視角學(xué)生群體情感的關(guān)聯(lián)與可視

針對(duì)關(guān)鍵問(wèn)題三，可主要開展群體建模研究，側(cè)重于對(duì)全時(shí)空、多視角的學(xué)習(xí)情感進(jìn)行聯(lián)合建模，旨在實(shí)現(xiàn)學(xué)習(xí)情感的可辨識(shí)。在具體的雙師課堂情境下，可以探究學(xué)生群體情感的分析方法，分析學(xué)習(xí)情感的動(dòng)態(tài)變化情況，開展基于時(shí)序的“學(xué)習(xí)情感—空間”聯(lián)合建模，以挖掘本地學(xué)生之間的學(xué)習(xí)情感共現(xiàn)規(guī)律，構(gòu)建雙師課堂情境中的學(xué)生群體情感關(guān)聯(lián)機(jī)制。同時(shí)，可以增強(qiáng)雙師教學(xué)情境的可視感，并依據(jù)學(xué)習(xí)目標(biāo)和學(xué)習(xí)任務(wù)的不同，引入可視化引擎技術(shù)對(duì)學(xué)生群體情感關(guān)聯(lián)模式進(jìn)行可視化分析，從而實(shí)現(xiàn)學(xué)生群體情感關(guān)聯(lián)關(guān)系的可視化。

4 實(shí)證研究：基于原型系統(tǒng)的教學(xué)實(shí)踐反哺真實(shí)課堂

針對(duì)關(guān)鍵問(wèn)題三，可主要開展實(shí)證研究，側(cè)重于多模態(tài)學(xué)習(xí)情感分析教育應(yīng)用平臺(tái)的構(gòu)建及效果驗(yàn)證，旨在實(shí)現(xiàn)學(xué)習(xí)情感的可調(diào)控，具體可從以下方面著手：①結(jié)合人因知識(shí)和雙師課堂環(huán)境設(shè)備的實(shí)際情況，探究雙師教學(xué)中多感知通道信息的融合呈現(xiàn)；②基于數(shù)據(jù)驅(qū)動(dòng)的多模態(tài)信息感知和可視分析框架，構(gòu)建多模態(tài)學(xué)習(xí)情感分析教育應(yīng)用平臺(tái)，以可視化支持工具來(lái)呈現(xiàn)多模態(tài)情感數(shù)據(jù)的處理結(jié)果；③開展基于原型系統(tǒng)的教學(xué)驗(yàn)證及其干預(yù)實(shí)驗(yàn)，評(píng)估教學(xué)應(yīng)用平臺(tái)的有效性；④基于學(xué)生情感的多模態(tài)數(shù)據(jù)和學(xué)習(xí)成效數(shù)據(jù)，將學(xué)生情感算法模型應(yīng)用于相關(guān)實(shí)例數(shù)據(jù)集，依據(jù)量化指標(biāo)對(duì)學(xué)習(xí)情感識(shí)別的算法模型進(jìn)行適應(yīng)性檢驗(yàn)。

四 面向雙師教學(xué)的多模態(tài)學(xué)習(xí)情感分析實(shí)施路線

根據(jù)雙師課堂中多模態(tài)學(xué)習(xí)情感分析的邏輯理路，本研究以“理論研究—個(gè)體建模—群體建模—實(shí)證研究”為全鏈條實(shí)施閉環(huán)，設(shè)計(jì)了面向雙師教學(xué)的學(xué)生多模態(tài)情感分析實(shí)施路線，具體如圖2所示。

圖2 面向雙師教學(xué)的多模態(tài)學(xué)習(xí)情感分析實(shí)施路線

1 理論研究：多空間融合視域下多模態(tài)學(xué)習(xí)情感分析的理論框架構(gòu)建

多空間融合視域下多模態(tài)學(xué)習(xí)情感分析的理論框架構(gòu)建是理論研究的核心議題，對(duì)學(xué)習(xí)情感分析教育實(shí)踐具有指導(dǎo)意義，主要包括學(xué)習(xí)情感維度確定和學(xué)習(xí)情感指標(biāo)劃分兩個(gè)環(huán)節(jié)。其中，學(xué)習(xí)情感維度確定分為三個(gè)步驟：①通過(guò)文獻(xiàn)研究，對(duì)檢索得到的國(guó)內(nèi)外學(xué)習(xí)情感的相關(guān)文獻(xiàn)進(jìn)行梳理，分析相關(guān)情感分類理論，初步擬定學(xué)習(xí)情感維度的關(guān)鍵詞，確定影響學(xué)習(xí)情感的潛在變量；②通過(guò)半結(jié)構(gòu)化訪談法和問(wèn)卷調(diào)查法，收集師生的反饋意見，進(jìn)而增補(bǔ)學(xué)習(xí)情感維度及其影響因素的關(guān)鍵詞集；③通過(guò)德爾菲法，對(duì)領(lǐng)域?qū)＜乙庖姷募卸群蛥f(xié)調(diào)度進(jìn)行量化分析，增刪相關(guān)的關(guān)鍵詞集，確定多空間融合視域下學(xué)習(xí)情感維度及其影響因素的結(jié)構(gòu)。之后，在此基礎(chǔ)上進(jìn)行學(xué)習(xí)情感指標(biāo)劃分，即對(duì)各個(gè)維度的測(cè)量指標(biāo)進(jìn)行分析，初步擬定測(cè)量指標(biāo)集，并通過(guò)因子分析、信效度檢驗(yàn)等數(shù)理統(tǒng)計(jì)方法，構(gòu)建學(xué)習(xí)情感及其影響因素的測(cè)量指標(biāo)體系。

2 個(gè)體建模：雙師課堂中的多模態(tài)學(xué)習(xí)情感識(shí)別與智能評(píng)估

雙師課堂中的多模態(tài)學(xué)習(xí)情感識(shí)別與智能評(píng)估是個(gè)體情感建模的主要研究?jī)?nèi)容，也為群體情感建模提供了前置方案，主要包含三個(gè)環(huán)節(jié)：①數(shù)據(jù)采集與預(yù)處理，是指對(duì)學(xué)生情感的多模態(tài)數(shù)據(jù)進(jìn)行采集與預(yù)處理，是洞察與分析雙師課堂情境中學(xué)習(xí)情感現(xiàn)象與規(guī)律的基礎(chǔ)性工作。在雙師課堂中，學(xué)生的行為數(shù)據(jù)、文本數(shù)據(jù)、生理數(shù)據(jù)等多模態(tài)數(shù)據(jù)均可反映并表征其學(xué)習(xí)情感狀態(tài)。②特征提取，是指對(duì)學(xué)生情感的多模態(tài)數(shù)據(jù)進(jìn)行特征值計(jì)算與提取。在雙師課堂中，可通過(guò)機(jī)器學(xué)習(xí)算法對(duì)學(xué)生的生理情感信號(hào)、面部表情信號(hào)、語(yǔ)音情感信號(hào)和文本情感信號(hào)分別提取情感特征，以構(gòu)建情感算法模型。③特征融合與情感評(píng)估，是指結(jié)合不同模態(tài)的特點(diǎn)，對(duì)上一環(huán)節(jié)提取的多模態(tài)情感特征集以特征級(jí)融合或決策級(jí)融合的策略進(jìn)行數(shù)據(jù)融合，進(jìn)而評(píng)估相對(duì)應(yīng)的學(xué)習(xí)情感類別屬性。在雙師課堂中，多模態(tài)的學(xué)習(xí)情感特征數(shù)據(jù)通過(guò)一個(gè)情感分類器，可得到學(xué)生的情感類別標(biāo)簽，為后續(xù)開展群體情感關(guān)聯(lián)模式構(gòu)建提供基礎(chǔ)。

3 群體建模：雙師課堂中的學(xué)生群體情感關(guān)聯(lián)模式及可視化分析

雙師課堂中的學(xué)生群體情感關(guān)聯(lián)模式及可視化分析是群體情感建模的關(guān)鍵任務(wù)。基于學(xué)習(xí)情感分類，結(jié)合線下真實(shí)課堂中的空間位置分布和個(gè)體情感智能評(píng)估結(jié)果，可以發(fā)現(xiàn)物理空間下學(xué)生群體中的情感異常個(gè)體，并在此基礎(chǔ)上結(jié)合時(shí)間序列，基于遠(yuǎn)程交互、課堂活動(dòng)和知識(shí)主題等不同視角，分析同伴之間的情感流動(dòng)情況，開展群體學(xué)習(xí)情感的時(shí)空演化分析；同時(shí)，結(jié)合領(lǐng)域?qū)＜液蛿?shù)據(jù)分析師的領(lǐng)域知識(shí)，基于滯后序列分析、圖卷積神經(jīng)網(wǎng)絡(luò)、模糊氛圍場(chǎng)建模等方法，挖掘?qū)W生群體情感共現(xiàn)規(guī)律，構(gòu)建學(xué)生群體情感關(guān)聯(lián)模式。在此基礎(chǔ)上引入可視化引擎技術(shù)，對(duì)學(xué)生群體情感的關(guān)聯(lián)模式進(jìn)行可視化分析，以實(shí)現(xiàn)學(xué)生群體關(guān)聯(lián)關(guān)系的可視化。

4 實(shí)證研究:多模態(tài)情感分析的教育應(yīng)用平臺(tái)構(gòu)建和效果驗(yàn)證

多模態(tài)情感分析的教育應(yīng)用平臺(tái)構(gòu)建和效果驗(yàn)證是實(shí)證研究的核心內(nèi)容，也是干預(yù)機(jī)制構(gòu)建的技術(shù)引擎。通過(guò)構(gòu)建適應(yīng)性干預(yù)模型，分析雙師教學(xué)互動(dòng)體驗(yàn)，研究學(xué)習(xí)情感對(duì)雙師課堂教學(xué)成效的影響，來(lái)驗(yàn)證算法模型和干預(yù)方案的有效性。根據(jù)學(xué)生學(xué)習(xí)情感的診斷結(jié)果，干預(yù)機(jī)制可為教師提供預(yù)警策略和干預(yù)策略[23]。預(yù)警策略的實(shí)施過(guò)程是先對(duì)處于某一極值的學(xué)習(xí)情感域進(jìn)行描述，分析并生成不良學(xué)習(xí)情感的成因集，然后在辨識(shí)哪些學(xué)生處于不良學(xué)習(xí)情感域的基礎(chǔ)上，為教師提供針對(duì)性的預(yù)警信號(hào)和建議性的干預(yù)時(shí)機(jī)。而干預(yù)策略的實(shí)施過(guò)程包括適應(yīng)性呈現(xiàn)和個(gè)性化支持兩個(gè)環(huán)節(jié)：①適應(yīng)性呈現(xiàn)是指通過(guò)可視化支持工具，對(duì)生成的差異化學(xué)習(xí)情感域和學(xué)生群體情感關(guān)聯(lián)關(guān)系進(jìn)行內(nèi)容的可視化呈現(xiàn)；②個(gè)性化支持是指基于適應(yīng)性呈現(xiàn)結(jié)果，在“雙師”課后教研過(guò)程中系統(tǒng)地分析支持對(duì)象，并為其選擇與匹配個(gè)性化的支持策略。

五 總結(jié)與展望

本研究重在構(gòu)建多空間融合視域下多模態(tài)學(xué)習(xí)情感分析的理論框架，探究學(xué)生情感狀態(tài)評(píng)估及其群體情感的關(guān)聯(lián)模式，并在此基礎(chǔ)上構(gòu)建多模態(tài)情感分析原型系統(tǒng)與適應(yīng)性實(shí)證方案，以期為學(xué)生情感干預(yù)提供針對(duì)性的反饋機(jī)制和技術(shù)支撐。未來(lái)，開展雙師教學(xué)場(chǎng)域下學(xué)生多模態(tài)情感分析需重點(diǎn)關(guān)注兩個(gè)方面：一是強(qiáng)調(diào)以問(wèn)題驅(qū)動(dòng)和學(xué)科交叉為導(dǎo)向，利用多學(xué)科優(yōu)勢(shì)互補(bǔ)強(qiáng)化教育科技創(chuàng)新能力，共同為解決雙師教學(xué)難題提供最優(yōu)解決方案；二是關(guān)注情感分析教育應(yīng)用的倫理與規(guī)范考量，明確雙師教學(xué)場(chǎng)景中學(xué)生個(gè)人信息使用的基本原則，加強(qiáng)對(duì)本地學(xué)生隱私保護(hù)與數(shù)據(jù)安全的相關(guān)規(guī)范考量，以推動(dòng)教育領(lǐng)域中情感計(jì)算技術(shù)的穩(wěn)步應(yīng)用和發(fā)展。

[1]教育部等六部門.關(guān)于推進(jìn)教育新型基礎(chǔ)設(shè)施建設(shè)構(gòu)建高質(zhì)量教育支撐體系的指導(dǎo)意見[OL].

[2]乜勇,萬(wàn)文靜.雙師教學(xué)三段循環(huán)模式的構(gòu)建與應(yīng)用研究[J].中國(guó)電化教育,2021,(2):83-88、96.

[3]Wu C H, Huang Y M, Hwang J P. Review of affective computing in education/learning: Trends and challenges[J]. British Journal of Educational Technology, 2016,(6):1304-1323.

[4]蔡蘇,焦新月,宋伯鈞.打開教育的另一扇門——教育元宇宙的應(yīng)用、挑戰(zhàn)與展望[J].現(xiàn)代教育技術(shù),2022,(1):16-26.

[5]Picard R W. Affective computing[M]. Cambridge: MIT Press, 1997:12-14.

[6]郝彥輝,王曦,陳鐸.基于BERT-BiLSTM模型的輿情監(jiān)測(cè)方法及實(shí)證研究——以研究生招生考試為例[J].情報(bào)科學(xué),2021,(8):78-85.

[7]章蓀,尹春勇.基于多任務(wù)學(xué)習(xí)的時(shí)序多模態(tài)情感分析模型[J].計(jì)算機(jī)應(yīng)用,2021,(6):1631-1639.

[8]葉俊民,周進(jìn),李超.情感計(jì)算教育應(yīng)用的多維透視[J].開放教育研究,2020,(6):77-88.

[9]D'mello S K, Kory J. A review and meta-analysis of multimodal affect detection systems[J]. ACM Computing Surveys, 2015,(3):1-36.

[10]Di Mitri D, Schneider J, Specht M, et al. From signals to knowledge: A conceptual model for multimodal learning analytics[J]. Journal of Computer Assisted Learning, 2018,(4):338-349.

[11]牟智佳,符雅茹.多模態(tài)學(xué)習(xí)分析研究綜述[J].現(xiàn)代教育技術(shù),2021,(6):23-31.

[12]陳凱泉,張春雪,吳玥玥,等.教育人工智能(EAI)中的多模態(tài)學(xué)習(xí)分析、適應(yīng)性反饋及人機(jī)協(xié)同[J].遠(yuǎn)程教育雜志,2019,(5):24-34.

[13]周進(jìn),葉俊民,王志峰,等.國(guó)外情感分析教育應(yīng)用的進(jìn)展與啟示[J].現(xiàn)代教育技術(shù),2020,(12):34-40.

[14]Ashwin T S, Guddeti R. Automatic detection of students’ affective states in classroom environment using hybrid convolutional neural networks[J]. Education and Information Technologies, 2020,(2):1387-1415.

[15]Dindar M, Jarvela S, Ahola S, et al. Leaders and followers identified by emotional mimicry during collaborative learning: A facial expression recognition study on emotional valence[J]. IEEE Transactions on Affective Computing, 2020,(99):1.

[16]Tongu G, Ozkara B O. Automatic recognition of student emotions from facial expressions during a lecture[J]. Computers & Education, 2020,148:103797.

[17]Ren F, Kang X. Employing hierarchical Bayesian networks in simple and complex emotion topic analysis[J]. Computer Speech & Language, 2013,(4):943-968.

[18]Wang C, Xiao Z, Liu Y, et al. SentiView: Sentiment analysis and visualization for Internet popular topics[J]. IEEE Transactions on Human-machine Systems, 2013,(6):620-630.

[19]鄭永和,王一巖.教育與信息科技交叉研究:現(xiàn)狀、問(wèn)題與趨勢(shì)[J].中國(guó)電化教育,2021,(7):97-106.

[20]穆肅,崔萌,黃曉地.全景透視多模態(tài)學(xué)習(xí)分析的數(shù)據(jù)整合方法[J].現(xiàn)代遠(yuǎn)程教育研究,2021,(1):26-37、48.

[21]鄭旭東,饒景陽(yáng),賈洋洋.“三個(gè)課堂”促進(jìn)義務(wù)教育優(yōu)質(zhì)均衡發(fā)展:演進(jìn)歷史、戰(zhàn)略價(jià)值、關(guān)系解析與概念框架[J].現(xiàn)代教育技術(shù),2021,(6):14-22.

[22]屈躍寬.疫情背景下學(xué)校教育空間的分析與價(jià)值審視[J].現(xiàn)代教育技術(shù),2020,(10):35-40.

[23]Seeber I. How do facilitation interventions foster learning? The role of evaluation and coordination as causal mediators in idea convergence[J]. Computers in Human Behavior, 2019,94:176-189.

Analysis of Multi-Modal Learning Sentiment in Dual-Teacher Classroom: Key Issues, Logical Approaches and Implementation Routes

JIANG Yan-shuang1CUI Can2[Corresponding Author]LU Hang3QI Bin-bin1BAO Hao-gang4

As for the problems of insufficient perception of local students’ learning sentiment and poor teaching results by famous remote teachers in dual-teacher teaching, this paper proposed to construct the theoretical framework for the analysis of multi-modal sentiment under the perspective of multi-space fusion, explore the recognition and intelligent evaluation of students’ learning sentiment based on multi-modal data fusion, and excavate students’ sentiment evolution mechanism based on sequential joint modeling of learning sentiment-space, through fusing affective computing and big data analysis. Based on this, the education application platform of multi-modal sentiment analysis was constructed, and the teaching validation and intervention scheme based on the prototype system were analyzed. Through analyzing the key issues, logic lines and implementation routes of multi-modal sentiment in dual-teacher teaching, it was expected to reveal students’ learning sentiment development mechanism in a dual-teacher classroom, expand the intervention practice of student group sentiment, and provide technical support and action guidelines for after-school teaching and research of “dual-teacher” classroom.

dual-teacher classroom; affective computing; multi-modal data fusion; learning analytics

G40-057

A

1009—8097（2022）04—0013—08

10.3969/j.issn.1009-8097.2022.04.002

基金項(xiàng)目：本文為北京市教育科學(xué)“十四五”規(guī)劃2021年度青年專項(xiàng)課題“雙師教學(xué)場(chǎng)域中的學(xué)生情感氛圍動(dòng)力學(xué)模型研究”（項(xiàng)目編號(hào)：CECA21109）的階段性研究成果。

蔣艷雙，助理研究員，博士，研究方向?yàn)榍楦杏?jì)算教育應(yīng)用、網(wǎng)絡(luò)與遠(yuǎn)程教育，郵箱為11132020051@bnu.edu.cn。

2021年9月23日

編輯：小時(shí)