混合場景下閱讀投入的多模態(tài)表征與預(yù)警研究

吳娟 陳蕊 吳磊 陳鵬鶴

[摘 ? 要] 閱讀投入是衡量中小學(xué)生在多種閱讀情境中的參與水平與努力程度的有效指標(biāo)，基于多模態(tài)數(shù)據(jù)對(duì)其進(jìn)行精準(zhǔn)表征與適時(shí)預(yù)警是促進(jìn)良好閱讀習(xí)慣養(yǎng)成、提升閱讀素養(yǎng)的重要途徑。鑒于此，研究明確了閱讀投入的內(nèi)涵與情感、認(rèn)知、行為、社交四個(gè)構(gòu)成維度，構(gòu)建出混合場景下的閱讀投入模型，并基于閱讀過程中生成的文本、日志、圖像、語音、生理、心理六種模態(tài)數(shù)據(jù)，形成了多模態(tài)數(shù)據(jù)表征閱讀投入的框架與指標(biāo)。以此為基礎(chǔ)，闡述了不良閱讀投入狀態(tài)的預(yù)警路徑，包括閱讀投入的指標(biāo)融合計(jì)算、狀態(tài)識(shí)別分析、預(yù)警策略匹配和預(yù)警信息反饋。由此，可對(duì)中小學(xué)生閱讀投入情況加以檢視，及時(shí)發(fā)現(xiàn)學(xué)生的不良閱讀狀態(tài)并提供預(yù)警反饋，未來可通過閱讀投入進(jìn)一步揭示閱讀理解能力的發(fā)展機(jī)制，并提供個(gè)性化干預(yù)策略。

[關(guān)鍵詞] 閱讀投入； 多模態(tài)數(shù)據(jù)； 混合場景； 閱讀投入預(yù)警

[中圖分類號(hào)] G434 ? ? ? ? ? ?[文獻(xiàn)標(biāo)志碼] A

[作者簡介] 吳娟（1975—），女，上海人。 副教授，博士，主要從事技術(shù)增強(qiáng)語言學(xué)習(xí)研究。E-mail：wuj@bnu.edu.cn。

一、引 ? 言

閱讀是個(gè)體獲取信息、提升自我和認(rèn)識(shí)世界的窗口，也是提高國民素質(zhì)、促進(jìn)民族發(fā)展與國家進(jìn)步的重要方式。當(dāng)前，閱讀進(jìn)入智能化、數(shù)據(jù)化階段，呈現(xiàn)出多維、立體的全景式閱讀場景[1]。閱讀投入被描述為學(xué)生在閱讀過程中與閱讀文本和閱讀環(huán)境中的其他要素進(jìn)行交互的狀態(tài)，是影響學(xué)生閱讀能力和閱讀素養(yǎng)[2-3]的重要因素，在一定程度上與學(xué)生閱讀理解水平呈現(xiàn)出正相關(guān)關(guān)系[4]。隨著網(wǎng)絡(luò)技術(shù)的飛速發(fā)展與智能終端的日益普及，中小學(xué)生的閱讀介質(zhì)呈現(xiàn)出紙質(zhì)閱讀與數(shù)字閱讀相結(jié)合的趨勢[5-6]；隨著全民閱讀的日益深入，閱讀活動(dòng)表現(xiàn)出課堂中的師生共讀、課外學(xué)生自主閱讀、家庭中的親子共讀等多種形式并存的樣態(tài)。閱讀介質(zhì)和閱讀活動(dòng)的發(fā)展和變化，加劇了閱讀理解過程的復(fù)雜特征，而閱讀理解水平的提升，既要看即時(shí)評(píng)估的“表”，更要察內(nèi)生歷程的“里”。但因閱讀過程缺少有效記錄和持續(xù)跟蹤，對(duì)中小學(xué)生閱讀理解能力發(fā)展過程尚未能個(gè)性化地予以揭示，故而當(dāng)學(xué)生閱讀過程與理解能力出現(xiàn)問題時(shí)，很難通過結(jié)果狀態(tài)回溯原因，無法及早發(fā)現(xiàn)并展開干預(yù)。因此，如何對(duì)閱讀投入狀態(tài)不良的學(xué)生進(jìn)行及時(shí)診斷與預(yù)警，對(duì)學(xué)生的閱讀能力發(fā)展具有重要作用，也成為研究者、實(shí)踐者乃至家長廣泛關(guān)注的問題。

混合場景下的閱讀具有方式多樣、互動(dòng)多元的特點(diǎn)，生成的多種模態(tài)數(shù)據(jù)，也為閱讀投入的有效表征提供了支撐[7]，數(shù)據(jù)驅(qū)動(dòng)的研究范式則為閱讀投入預(yù)警問題的解決提供了思路，為學(xué)生提供了個(gè)性化的閱讀支持服務(wù)，閱讀投入的測評(píng)方式需隨之發(fā)生改變。基于此，本研究在理論層面上，通過文獻(xiàn)調(diào)研與邏輯推演的方法，構(gòu)建混合場景下的閱讀投入模型并明確其各維度內(nèi)涵；在此基礎(chǔ)上，建立閱讀投入的多模態(tài)表征框架，從實(shí)踐層面分析閱讀投入的預(yù)警路徑，以期為未來研究的開展提供借鑒。

二、相關(guān)研究現(xiàn)狀

（一）從學(xué)習(xí)投入到閱讀投入

學(xué)習(xí)投入是學(xué)生在學(xué)習(xí)過程中所付出的精力和努力程度[8-9]，目前學(xué)界普遍將其界定為一個(gè)多元化、多情境性概念，通過觀測學(xué)習(xí)者的情感、認(rèn)知、行為等指標(biāo)來描述學(xué)習(xí)投入。其中情感投入是學(xué)生對(duì)教師、同伴和課堂活動(dòng)的積極情緒，以及對(duì)學(xué)校或?qū)W科的興趣或認(rèn)同的心理狀態(tài)；認(rèn)知投入是學(xué)生的自我調(diào)節(jié)、堅(jiān)持不懈、努力理解復(fù)雜概念或掌握困難技能等[10]；行為投入是學(xué)生參與學(xué)業(yè)和活動(dòng)的表現(xiàn)，如注意力、參與度、作業(yè)完成情況等。隨著協(xié)作學(xué)習(xí)與在線學(xué)習(xí)的發(fā)展，有學(xué)者將社交投入融入到學(xué)習(xí)投入的概念框架中[11]，是對(duì)學(xué)生或教師的互動(dòng)質(zhì)量及課堂上社會(huì)行為的描述，受師生關(guān)系、生生關(guān)系、學(xué)習(xí)活動(dòng)以及學(xué)習(xí)環(huán)境等內(nèi)外部因素影響[12]。

閱讀投入是學(xué)生在閱讀過程中為實(shí)現(xiàn)文本理解或問題解決所表現(xiàn)出的個(gè)體與群體性投入，具體體現(xiàn)為情感、認(rèn)知、行為和社會(huì)交互狀態(tài)及其形成的個(gè)體特征[13]。本研究將閱讀投入界定為：閱讀過程中學(xué)生付出努力的意愿、程度和深度，包括閱讀情感投入、閱讀認(rèn)知投入、閱讀行為投入和閱讀社交投入四個(gè)維度。閱讀情感投入是學(xué)生心理資源投入的重要表征，如閱讀興趣、自我效能感和毅力等，指向?qū)W生的閱讀情緒和閱讀動(dòng)機(jī)，可采用喚醒程度衡量其投入水平。閱讀認(rèn)知投入是學(xué)生閱讀中使用元認(rèn)知和認(rèn)知策略的頻率，以及閱讀成果反映的閱讀深度，認(rèn)知策略的特征劃分依據(jù)主要是認(rèn)知加工深度，元認(rèn)知閱讀策略包括計(jì)劃、監(jiān)控、調(diào)節(jié)、評(píng)價(jià)策略[14]，四個(gè)過程循環(huán)往復(fù)，形成自我調(diào)節(jié)。閱讀行為投入是學(xué)生閱讀中的外顯特征，有研究者按照閱讀的頻次、廣度和深度進(jìn)行了劃分，使用各項(xiàng)行為的時(shí)間、數(shù)量及質(zhì)量作為行為投入的評(píng)判標(biāo)準(zhǔn)[15]，在混合閱讀場景下，學(xué)生生成性閱讀加工行為與日志數(shù)據(jù)也是衡量學(xué)生行為投入的重要指標(biāo)。上述三維度閱讀投入主要體現(xiàn)為學(xué)習(xí)者與閱讀文本間交互，而社交投入則主要將閱讀文本作為中介，表現(xiàn)為讀者共同體間的社會(huì)交互，是混合學(xué)習(xí)場景中閱讀投入的重要組成要素，有研究者根據(jù)交互程度與方式將其歸納為閱讀分享、閱讀討論、閱讀合作和閱讀評(píng)價(jià)四維指標(biāo)[16]。

（二）混合場景中的多模態(tài)閱讀數(shù)據(jù)應(yīng)用

近年來，隨著泛在學(xué)習(xí)的普及，混合場景下學(xué)習(xí)投入數(shù)據(jù)分析更為多樣，有研究者將其劃分為在線學(xué)習(xí)場景和課堂學(xué)習(xí)場景[17]。面向混合場景的智能學(xué)習(xí)環(huán)境不僅使數(shù)據(jù)獲取方式更加多元，也讓學(xué)習(xí)診斷更為個(gè)性化和全過程性[18]，多模態(tài)數(shù)據(jù)成為支持學(xué)習(xí)過程評(píng)估的有效依據(jù)。多模態(tài)數(shù)據(jù)是指將單一個(gè)體多種模態(tài)下數(shù)據(jù)融合，形成立體可發(fā)展的評(píng)估成果，實(shí)施過程包括構(gòu)建數(shù)據(jù)化表征模型、形成可操作的測評(píng)指標(biāo)體系、采集多模態(tài)數(shù)據(jù)、分析被試特征水平等[19-20]。

混合閱讀場景可依據(jù)閱讀環(huán)境、閱讀形式和閱讀時(shí)機(jī)劃分，包括線上、線下多種閱讀環(huán)境混合，親子閱讀、師生共讀、自主閱讀多種閱讀形式混合，校內(nèi)外、課堂內(nèi)外多種閱讀時(shí)機(jī)混合。其中不同場景下多模態(tài)數(shù)據(jù)的采集方式也有所不同，在課堂師生共讀場景下可采用課堂視頻、在線學(xué)習(xí)平臺(tái)、生理傳感器等進(jìn)行記錄，在自主閱讀過程中可包括人機(jī)交互屏幕記錄、自陳評(píng)估量表、眼動(dòng)追蹤等方式采集。這種多模態(tài)數(shù)據(jù)驅(qū)動(dòng)的測評(píng)方式不僅可以在閱讀過程中對(duì)影響閱讀投入的多維復(fù)雜數(shù)據(jù)予以評(píng)估，彌補(bǔ)傳統(tǒng)試題測評(píng)中評(píng)價(jià)對(duì)象發(fā)展性評(píng)估的不足，同時(shí)增強(qiáng)了評(píng)價(jià)結(jié)果的可解釋性，追本溯源，為下一步策略干預(yù)提供新思路。

（三）基于多模態(tài)數(shù)據(jù)的學(xué)習(xí)預(yù)警研究

學(xué)習(xí)預(yù)警是基于一定的標(biāo)準(zhǔn)和算法綜合分析學(xué)習(xí)過程，預(yù)測學(xué)業(yè)績效，進(jìn)而根據(jù)預(yù)測結(jié)果向?qū)W生和教師反饋提示信號(hào)，并提供有效的干預(yù)建議[21]。早期的學(xué)習(xí)預(yù)警主要基于主觀評(píng)定、階段性成績等，數(shù)據(jù)單一且有滯后性[22]。隨著人工智能技術(shù)的快速發(fā)展，多模態(tài)數(shù)據(jù)挖掘?yàn)閷W(xué)習(xí)預(yù)警提供了新的方向，這里的“多”體現(xiàn)在多通道過程性數(shù)據(jù)、多樣態(tài)呈現(xiàn)形式、多維度分析技術(shù)等[23]。多模態(tài)數(shù)據(jù)技術(shù)可以應(yīng)用于閱讀描述、診斷、預(yù)測[24]和干預(yù)，不僅用以表征當(dāng)前學(xué)習(xí)主體特征[25]和任務(wù)特征[26]，還可以描述未來發(fā)展趨勢[27]。不同于自然災(zāi)害類預(yù)警，學(xué)業(yè)預(yù)警是能夠?qū)ξ磥戆l(fā)展結(jié)果產(chǎn)生直接影響的預(yù)警，因而已有研究愈加重視從過程性指標(biāo)入手，分析學(xué)習(xí)過程中的影響因素并開展預(yù)警。有研究者基于學(xué)習(xí)分析構(gòu)建了大學(xué)生網(wǎng)絡(luò)學(xué)習(xí)拖延診斷與干預(yù)模型，研究表明預(yù)警后的學(xué)習(xí)者拖延次數(shù)與時(shí)間得到了改善[28]；也有研究者構(gòu)建了基于數(shù)據(jù)驅(qū)動(dòng)的學(xué)習(xí)倦怠預(yù)警模型，并通過實(shí)證研究驗(yàn)證使用該預(yù)警系統(tǒng)優(yōu)于傳統(tǒng)平臺(tái)學(xué)習(xí)效果[29]。

中小學(xué)生在閱讀中同樣存在拖延、倦怠等投入不足的表現(xiàn)，對(duì)于這些表現(xiàn)需盡早發(fā)現(xiàn)并及早預(yù)警，通過改善閱讀投入以提升學(xué)生的閱讀理解水平。因此，在混合閱讀場景中，可通過采集學(xué)生自主閱讀、師生共讀和親子閱讀等多個(gè)線上線下場景中的閱讀過程數(shù)據(jù)，并與算法診斷系統(tǒng)和策略匹配系統(tǒng)配合，形成有效的閱讀投入預(yù)警[30]。預(yù)警路徑由確定預(yù)警目標(biāo)、采集過程數(shù)據(jù)、分析閱讀數(shù)據(jù)、分析個(gè)體特征、診斷預(yù)警等級(jí)、匹配預(yù)警策略和實(shí)施預(yù)警功能等環(huán)節(jié)組成[31]，為有效表征混合場景下閱讀投入并開展預(yù)警，需構(gòu)建閱讀投入模型，基于多模態(tài)數(shù)據(jù)搭建表征框架，使預(yù)警指標(biāo)更具全面性和可行性，并結(jié)合個(gè)體特征對(duì)學(xué)生進(jìn)行聚類，面向不同類別學(xué)生提供個(gè)性化預(yù)警路徑。

三、混合場景下閱讀投入模型構(gòu)建

（一）閱讀投入模型的構(gòu)成

本研究基于成就目標(biāo)理論和社會(huì)建構(gòu)主義理論[32]，整合內(nèi)隱性情感動(dòng)機(jī)投入與外顯行為會(huì)話，綜合認(rèn)知投入的結(jié)果屬性與行為投入的過程屬性，融合閱讀認(rèn)知建構(gòu)的深度與社交范圍的廣度，構(gòu)建出閱讀投入模型（如圖1所示）。該模型立足閱讀中的個(gè)體參與和群體參與，其中個(gè)體參與包括情感投入、認(rèn)知投入和行為投入，群體參與則融入社交投入指標(biāo)，并與其他三個(gè)維度形成交互影響。

1. 閱讀情感投入

情感投入可測評(píng)指標(biāo)包括閱讀興趣、閱讀效能感與閱讀動(dòng)機(jī)。在學(xué)生情緒喚醒的前提下，經(jīng)歷發(fā)生、發(fā)展、反饋和調(diào)節(jié)四個(gè)階段，積極情緒與消極交互碰撞融合，得以改善和穩(wěn)定[33]，形成相對(duì)穩(wěn)定的興趣，繼而引發(fā)閱讀的自主動(dòng)機(jī)和控制動(dòng)機(jī)。其中自主動(dòng)機(jī)是學(xué)習(xí)者對(duì)自我成長的驅(qū)動(dòng)，如知識(shí)積累、人際關(guān)系維系、身心健康等；控制動(dòng)機(jī)是外界對(duì)于個(gè)體的強(qiáng)制要求，如活動(dòng)規(guī)則、外部賞罰等。當(dāng)學(xué)生以自主為導(dǎo)向時(shí)，他們會(huì)根據(jù)利益和堅(jiān)持的價(jià)值觀來規(guī)范行為，所產(chǎn)生的閱讀投入更為持久。

2. 閱讀認(rèn)知投入

認(rèn)知投入包括激活系統(tǒng)、加工系統(tǒng)與反應(yīng)系統(tǒng)，并依據(jù)認(rèn)知信息加工的金字塔模型[34]可將其分為三大內(nèi)容：知識(shí)、策略和元認(rèn)知，其中知識(shí)包括對(duì)自我的認(rèn)識(shí)與對(duì)任務(wù)的感知，策略是個(gè)人在決策中運(yùn)用信息進(jìn)行判斷與建構(gòu)的技能，元認(rèn)知是在執(zhí)行過程中指導(dǎo)加工的認(rèn)知。元認(rèn)知又包括計(jì)劃、監(jiān)控、調(diào)節(jié)、評(píng)價(jià)四個(gè)部分，計(jì)劃包括設(shè)定閱讀目標(biāo)、決定閱讀內(nèi)容和時(shí)長、確定閱讀策略等；監(jiān)控包括檢查是否遵循了閱讀計(jì)劃、是否達(dá)成了閱讀目標(biāo)；調(diào)節(jié)則包括調(diào)整情緒和注意力、調(diào)整閱讀進(jìn)度、調(diào)整閱讀策略等，伴隨著監(jiān)控進(jìn)行；評(píng)價(jià)策略是對(duì)閱讀整體的自我反思。

3. 閱讀行為投入

行為投入是學(xué)生的外顯的行為表現(xiàn)特征，基于班杜拉提出的三元交互決定論[35]，其涉及個(gè)體、行動(dòng)和環(huán)境三個(gè)影響因素，三者之間互為決定因素，形成連續(xù)不斷的交互作用。個(gè)體在情感喚醒與認(rèn)知激活的情況下，引發(fā)個(gè)體行動(dòng)的意識(shí)，并在環(huán)境影響下形成的控制動(dòng)機(jī)驅(qū)動(dòng)，形成內(nèi)在信息加工與外在行動(dòng)過程。在閱讀場景中，具體表征為學(xué)生閱讀參與的數(shù)量、時(shí)長與多樣性，如搜索、勾畫、摘抄和批注等行為發(fā)生的頻率和中斷閱讀的次數(shù)等。

4. 閱讀社交投入

社交投入是在個(gè)體形成理解基礎(chǔ)上的群體性知識(shí)匯聚，包括以情感交流為目的和以知識(shí)習(xí)得為目的兩類。在情感交流中，其社交屬性可以喚醒學(xué)生情緒，引發(fā)情感層面的情緒表達(dá)、行為層面的情緒回應(yīng)和認(rèn)知層面的情緒評(píng)價(jià)。與此同時(shí)，社交投入也將調(diào)節(jié)學(xué)生閱讀中的認(rèn)知投入與行為投入，表現(xiàn)出認(rèn)知構(gòu)建與協(xié)作行為。如，在師生共讀的課堂情境中，群體研讀可以通過教師引導(dǎo)完成協(xié)作活動(dòng)，激發(fā)情感共鳴和思維火花[36]；在親子閱讀的家庭情境中，父母與孩子進(jìn)行觀點(diǎn)交流，加深對(duì)彼此的了解；在自主閱讀的情境中，同伴之間可以通過觀點(diǎn)的相互碰撞，形成更具深度的思考。因而，社交投入在形式的廣度和內(nèi)容的深度上，都將引發(fā)讀者共同成長。

（二）混合場景下閱讀投入模型

混合場景下，由于閱讀環(huán)境、形式和時(shí)機(jī)的差異，閱讀投入模型也需滿足不同場景下的投入表征，所形成的模型如圖2所示。整體閱讀環(huán)境可分為線上、線下兩種，由于閱讀媒介的不同，學(xué)生普遍的閱讀投入水平以及閱讀投入最佳值可能存在差異。依據(jù)閱讀時(shí)機(jī)可分為校內(nèi)和校外，校內(nèi)包括正式課堂閱讀和非正式閱讀活動(dòng)，正式閱讀中學(xué)生以學(xué)習(xí)新知為目標(biāo)，非正式閱讀活動(dòng)中學(xué)生多以社交為目標(biāo)。閱讀形式則更為多樣，如師生共讀、自主閱讀、親子閱讀等，每一種形式下人與文本、人與人交互樣態(tài)不同，學(xué)生個(gè)體在閱讀中的投入指標(biāo)也存在差異。

四、混合場景下閱讀投入的多模態(tài)表征框架

（一）閱讀投入的多模態(tài)數(shù)據(jù)采集通道

在混合閱讀場景中，個(gè)體與外界會(huì)產(chǎn)生多元交互形式，包括人與人的互動(dòng)，如，師生互動(dòng)、生生互動(dòng)、親子互動(dòng)；也包括人與文本的互動(dòng)，如，勾畫批注、討論點(diǎn)評(píng)。這些互動(dòng)在真實(shí)閱讀中并非單一存在，為確保閱讀投入的表征過程具有良好生態(tài)效度，還原真實(shí)閱讀過程，研究中可采用低侵入性的多模態(tài)數(shù)據(jù)采集方式，包含文本、日志、圖像、語音、生理、心理六種模態(tài)數(shù)據(jù)支持的閱讀投入表征，見表1。

文本數(shù)據(jù)是指讀者在閱讀過程中與文本交互和與他人交互產(chǎn)生的過程性數(shù)據(jù)，與文本交互的數(shù)據(jù)包括勾畫、摘抄、批注的文本內(nèi)容，與他人交互的數(shù)據(jù)包括平臺(tái)中交流評(píng)論的內(nèi)容，也包括通過轉(zhuǎn)錄閱讀中音、視頻所形成的文本數(shù)據(jù)。文本數(shù)據(jù)特征可以反映學(xué)生的認(rèn)知行為投入、表達(dá)與協(xié)作的深度。

日志數(shù)據(jù)是指通過數(shù)字化閱讀平臺(tái)中的時(shí)間戳，記錄學(xué)生的閱讀時(shí)長、閱讀時(shí)段、閱讀頻次、閱讀進(jìn)度、書籍?dāng)?shù)量、書籍類別等，以及群體交流情況。考慮到并非所有指標(biāo)都可以通過外顯行為獲得，還需結(jié)合平臺(tái)中的文本數(shù)據(jù)，分析學(xué)生閱讀投入和情感變化。

圖像數(shù)據(jù)是指通過錄播設(shè)備采集學(xué)生在課堂環(huán)境下的閱讀討論過程，以及閱讀活動(dòng)中生成的圖示化數(shù)據(jù)。通過對(duì)每個(gè)時(shí)間節(jié)點(diǎn)學(xué)生的面部表情與肢體動(dòng)作進(jìn)行分析，得到其當(dāng)下的情感喚醒水平，還原學(xué)生的閱讀情感與意愿。圖示化的組織結(jié)構(gòu)與模型復(fù)雜度則可用以衡量學(xué)生個(gè)體認(rèn)知投入或群體社交投入。

語音數(shù)據(jù)是指通過在線閱讀平臺(tái)記錄的學(xué)生朗讀音頻，或課堂錄播設(shè)備記錄的對(duì)話過程。可以通過語音中基音頻率的變化分析學(xué)生的情感變化，結(jié)合對(duì)朗讀中的重音斷句是否恰當(dāng)、字詞語音和句群語調(diào)是否準(zhǔn)確進(jìn)行判斷，得到學(xué)生閱讀知識(shí)與閱讀策略的掌握情況。

生理數(shù)據(jù)是指通過低侵入性設(shè)備記錄學(xué)生閱讀過程中的生理指標(biāo)，如通過生理腕帶對(duì)心率、皮膚電、皮膚溫度的記錄，通過眼動(dòng)儀記錄閱讀中的熱點(diǎn)區(qū)域、眼動(dòng)軌跡與時(shí)間指標(biāo)等。生理數(shù)據(jù)可以反映學(xué)生即時(shí)性的喚醒狀態(tài)與調(diào)節(jié)水平，結(jié)合學(xué)生的外顯行為，可以表征閱讀投入中情感投入與調(diào)節(jié)水平。

心理數(shù)據(jù)是學(xué)習(xí)者通過自我報(bào)告的形式，回憶反思過程中的元認(rèn)知策略與動(dòng)機(jī)等個(gè)人特征。這些數(shù)據(jù)既可以作為多模態(tài)數(shù)據(jù)表征閱讀投入的驗(yàn)證指標(biāo)，也可以成為強(qiáng)化學(xué)生進(jìn)行監(jiān)控和評(píng)價(jià)的一種有效策略，表征學(xué)生在閱讀中的自我認(rèn)知與自我調(diào)節(jié)。

（二）閱讀投入的多模態(tài)表征框架與指標(biāo)

為有效表征學(xué)生閱讀投入狀態(tài)，本研究構(gòu)建了閱讀投入的多模態(tài)表征框架，具體指標(biāo)見表2。在情感投入維度，當(dāng)學(xué)習(xí)者在閱讀中產(chǎn)生困惑或共鳴時(shí)，會(huì)引發(fā)閱讀興趣，激活其與文本交互的狀態(tài)。這一過程會(huì)反映在學(xué)生的生理信號(hào)變化中，如平均心率、皮膚電導(dǎo)率、瞳孔直徑等，其變化趨勢可以反映一段時(shí)間內(nèi)的持續(xù)性心流體驗(yàn)。在協(xié)作狀態(tài)下，還可以通過學(xué)生交流的基音頻率數(shù)據(jù)變化反映學(xué)生階段性情緒喚醒水平。綜合自然語言處理技術(shù)，采用潛在語義分析、支持向量機(jī)等統(tǒng)計(jì)方法，從詞匯、句子和篇章分析文本的情感，提取有效信息，進(jìn)行積極與消極情感分類。

認(rèn)知投入維度，融合成果數(shù)據(jù)和過程性數(shù)據(jù)，了解學(xué)生知識(shí)的掌握、策略的運(yùn)用和元認(rèn)知能力情況。成果數(shù)據(jù)包括學(xué)生閱讀后形成的習(xí)作、討論或圖式內(nèi)容，分析其復(fù)雜度和深度，評(píng)估當(dāng)前學(xué)生閱讀質(zhì)量。過程性數(shù)據(jù)可借助眼動(dòng)儀、語音分析工具等，通過語音數(shù)據(jù)的流暢性和重音停頓表征學(xué)生在朗讀中的認(rèn)知水平和心理特征，以多種眼動(dòng)指標(biāo)表征學(xué)生在默讀或自讀中的認(rèn)知加工過程；也可借助自我反思量表，補(bǔ)充闡釋閱讀過程中的表現(xiàn)。

行為投入維度，主要體現(xiàn)為閱讀時(shí)長、數(shù)量、多樣性等。其中閱讀時(shí)長是學(xué)生在不同場景中閱讀總時(shí)長與參與任務(wù)時(shí)長，通過線上平臺(tái)的閱讀日志數(shù)據(jù)和課堂視頻記錄等累計(jì)其總時(shí)長，單次閱讀時(shí)長越長閱讀投入所付出的心智努力則更高。閱讀數(shù)量不限于閱讀登錄登出次數(shù)，還包括書籍閱讀量、參與讀寫活動(dòng)的頻次與數(shù)量、對(duì)文本加以批注、與同伴交流頻次等，頻次越高代表學(xué)生行為投入越高。多樣性體現(xiàn)為學(xué)生與文本交互的多樣性，和與他人交互中形成社會(huì)網(wǎng)絡(luò)的豐富度，通過日志數(shù)據(jù)記錄表征投入的廣度。

社交投入維度，以情感交流為目標(biāo)的社交投入表現(xiàn)為表達(dá)、評(píng)價(jià)和回應(yīng)，通過日志數(shù)據(jù)和文本數(shù)據(jù)綜合表征同伴間交互的廣度與頻度。以知識(shí)習(xí)得為目標(biāo)的社交投入體現(xiàn)為知識(shí)建構(gòu)、團(tuán)隊(duì)協(xié)作和狀態(tài)調(diào)節(jié)，是基于學(xué)生個(gè)體已有的認(rèn)知水平，形成新的知識(shí)體系，表征為學(xué)生閱讀后自主和群體表達(dá)內(nèi)容的數(shù)量與質(zhì)量，通過群組范圍內(nèi)表達(dá)內(nèi)容質(zhì)量和觀點(diǎn)整合程度展現(xiàn)學(xué)生的協(xié)作過程。

五、基于多模態(tài)數(shù)據(jù)的閱讀投入預(yù)警路徑

為精準(zhǔn)識(shí)別學(xué)生不良的閱讀投入狀態(tài)并提供早期預(yù)警，本研究提出了基于多模態(tài)數(shù)據(jù)的閱讀投入預(yù)警路徑（如圖3所示）。基于上述混合場景下的閱讀投入模型和表征框架，可以通過特征指標(biāo)融合計(jì)算當(dāng)前學(xué)習(xí)者的閱讀投入狀態(tài)，但在個(gè)體發(fā)展中不僅要看到數(shù)據(jù)變化之“形”，更要觀發(fā)展積蓄之“勢”。因此，還需基于閱讀投入數(shù)據(jù)進(jìn)行狀態(tài)識(shí)別分析，關(guān)注學(xué)生個(gè)體差異，進(jìn)一步提供個(gè)性化的預(yù)警策略匹配和預(yù)警信息反饋。

圖 3 ? 基于多模態(tài)數(shù)據(jù)的閱讀投入預(yù)警路徑

（一）基于多模態(tài)特征融合的閱讀投入指標(biāo)融合計(jì)算

多模態(tài)特征融合是教育大數(shù)據(jù)分析中常用的一種多模態(tài)數(shù)據(jù)融合方法，其流程是先對(duì)數(shù)據(jù)進(jìn)行特征提取，再進(jìn)行關(guān)聯(lián)融合[37]。通過多模態(tài)特征融合，實(shí)現(xiàn)對(duì)混合閱讀場景下采集的文本、日志、圖像、語音、生理和心理六種多模態(tài)數(shù)據(jù)的關(guān)鍵特征提取與融合。對(duì)于文本數(shù)據(jù)，利用統(tǒng)計(jì)分析方法提取閱讀字?jǐn)?shù)、識(shí)記標(biāo)記數(shù)量等統(tǒng)計(jì)特征，利用語義分析工具提取文本類型多樣性、批注內(nèi)容深度等語義特征[38]；對(duì)于日志數(shù)據(jù)，可利用統(tǒng)計(jì)分析方法提取時(shí)長特征與頻次特征，利用社會(huì)網(wǎng)絡(luò)分析方法提取質(zhì)量特征[39]；對(duì)于圖像數(shù)據(jù)，利用數(shù)字圖像處理技術(shù)實(shí)現(xiàn)表情識(shí)別、姿勢分析等，提取強(qiáng)度特征和能量特征[12]；對(duì)于語音數(shù)據(jù)，通過傅里葉變換等時(shí)頻轉(zhuǎn)換技術(shù)提取基頻特征和能量特征[19]；對(duì)于生理數(shù)據(jù)，利用統(tǒng)計(jì)分析方法和時(shí)頻分析法提取時(shí)域特征和空間特征；對(duì)于心理數(shù)據(jù)，利用主成分分析、因子分析等降維方法提取元認(rèn)知和動(dòng)機(jī)等心理特征。完成特征提取后，對(duì)其進(jìn)行標(biāo)準(zhǔn)化處理，將其輸入到訓(xùn)練后的閱讀投入量化模型中，從而表征學(xué)習(xí)者情感投入、認(rèn)知投入、行為投入和社交投入的量化數(shù)值。

（二）基于大數(shù)據(jù)機(jī)器學(xué)習(xí)的閱讀投入狀態(tài)識(shí)別分析

第二步對(duì)學(xué)生閱讀投入狀態(tài)進(jìn)行識(shí)別，具體分析內(nèi)容包括閱讀投入程度判別、閱讀績效預(yù)測和閱讀投入類型分類。其中閱讀投入程度的劃分，先將閱讀投入量化數(shù)據(jù)中情感、認(rèn)知、行為和社交四維數(shù)值加權(quán)，得到總閱讀投入特征值，再用標(biāo)準(zhǔn)參照或常模參照的方式將其劃分為“高”“中”“低”三種程度。標(biāo)準(zhǔn)參照是由教師或研究者人工確定每個(gè)預(yù)警程度對(duì)應(yīng)的總閱讀投入臨界值，系統(tǒng)將學(xué)生數(shù)據(jù)與其進(jìn)行比較；常模參照是用學(xué)生閱讀投入狀態(tài)在當(dāng)前群體中的相對(duì)位置來劃分。閱讀績效預(yù)測是結(jié)合閱讀平臺(tái)中已有的數(shù)據(jù)記錄或采取人工標(biāo)注的方式添加閱讀績效標(biāo)簽，進(jìn)行機(jī)器學(xué)習(xí)算法模型的訓(xùn)練，生成具有良好擬合度和泛化能力的閱讀績效預(yù)測模型，然后將實(shí)時(shí)采集和計(jì)算得到的閱讀投入量化數(shù)據(jù)輸入到前期訓(xùn)練生成的模型中，輸出其閱讀績效預(yù)測值，將其依據(jù)標(biāo)準(zhǔn)參照模型劃分“高”“中”“低”。

閱讀績效預(yù)測值和閱讀投入程度是評(píng)判預(yù)警程度的重要依據(jù)，綜合二者回答“是否要作出預(yù)警”和“要作出何種程度預(yù)警”。若當(dāng)前績效預(yù)測值為“高”，或閱讀投入程度為“高”，均為正常狀態(tài)，無需預(yù)警；若當(dāng)前績效預(yù)測值為“中”，閱讀投入程度為“中”則為低度警戒，閱讀投入程度為“低”則為中度警戒；若當(dāng)前績效預(yù)測值為“低”，閱讀投入程度為“中”則為中度警戒，閱讀投入程度為“低”則為高度警戒。

閱讀投入類型是學(xué)生閱讀投入個(gè)性化特征的體現(xiàn)，指向“以何種方式預(yù)警”和“預(yù)警什么內(nèi)容”的問題。將閱讀投入量化訓(xùn)練集輸入到聚類算法中，聚類得到以下四類典型的閱讀投入類型：消極型、淺表型、惰性型、獨(dú)立型[40]，其中消極型是學(xué)生情感投入較為低落，其閱讀動(dòng)機(jī)或當(dāng)前閱讀興趣不足；淺表型是學(xué)生選擇認(rèn)知策略偏于查找與識(shí)記，未能形成深度的理解與應(yīng)用；惰性型是行為層的怠惰，雖有較為積極的情緒和較高的認(rèn)知水平，但外在行為表現(xiàn)不足；獨(dú)立型是傾向于個(gè)體思考，與他人社交鏈接較弱。基于學(xué)生閱讀投入量化數(shù)據(jù)，通過聚類算法輸出學(xué)生閱讀投入類型，以便匹配預(yù)警策略。

（三）基于人機(jī)協(xié)同機(jī)制的閱讀投入預(yù)警策略匹配

閱讀投入預(yù)警策略匹配是根據(jù)閱讀投入狀態(tài)的識(shí)別與分析結(jié)果，在人機(jī)協(xié)同機(jī)制的支持下，為學(xué)生匹配科學(xué)的預(yù)警策略。根據(jù)閱讀投入狀態(tài)識(shí)別分析結(jié)果，由閱讀績效預(yù)測值和閱讀投入程度，可以將預(yù)警程度劃分為高度警戒、中度警戒、低度警戒和正常狀態(tài)，其中正常狀態(tài)無需預(yù)警；由聚類得到的閱讀投入類型可以提煉學(xué)生認(rèn)知、情感、行為和社交投入的特點(diǎn)，這兩者組成了預(yù)警策略匹配的重要依據(jù)。

對(duì)于消極型讀者，可采用激勵(lì)策略，通過外部激勵(lì)直接增強(qiáng)其控制動(dòng)機(jī)、促進(jìn)其行為投入，并在此過程中反作用于其自身情感投入，激發(fā)情緒喚醒并轉(zhuǎn)化為長效的自主動(dòng)機(jī)，形成穩(wěn)定的興趣和自我效能感。對(duì)于淺表型讀者，可采用比較和建議策略，比較學(xué)生在知識(shí)、策略和元認(rèn)知水平與標(biāo)準(zhǔn)水平差異，提出存在的問題，并向?qū)W生提供針對(duì)性的改進(jìn)建議。對(duì)于惰性型讀者，中度、高度警戒狀態(tài)可主要采用警示策略，通過較為強(qiáng)烈的介入方式引發(fā)學(xué)生的行動(dòng)意識(shí)，加強(qiáng)其閱讀行為投入；低度警戒狀態(tài)可采用激勵(lì)和建議策略，通過情緒喚醒和認(rèn)知激活等多種方式引發(fā)學(xué)生的行為投入。對(duì)于獨(dú)立型讀者，高度警戒狀態(tài)可通過對(duì)比和警示策略，與他人形成社會(huì)比較，引導(dǎo)其取長補(bǔ)短；中、低度警戒狀態(tài)可采用激勵(lì)和建議策略，加強(qiáng)同伴間的交流與協(xié)作。

（四）基于可視化技術(shù)的閱讀投入預(yù)警信息反饋

預(yù)警信息反饋是閱讀投入預(yù)警路徑中的最后一步，旨在通過數(shù)字閱讀平臺(tái)自動(dòng)反饋和混合場景下人工反饋，輔助學(xué)生及時(shí)調(diào)整閱讀狀態(tài)。數(shù)字閱讀平臺(tái)的自動(dòng)反饋方式包括給學(xué)生頒發(fā)數(shù)字徽章[41]實(shí)現(xiàn)激勵(lì)策略、通過可視化儀表盤實(shí)現(xiàn)閱讀投入狀態(tài)和社會(huì)比較結(jié)果的反饋、給學(xué)生提供各個(gè)投入維度上的行動(dòng)改進(jìn)建議、通過彈窗對(duì)學(xué)生閱讀行為進(jìn)行警示。自動(dòng)反饋依托可視化技術(shù)進(jìn)行實(shí)時(shí)呈現(xiàn)[42]，其內(nèi)容來源于預(yù)警資源庫。預(yù)警資源庫包括反饋話語庫、反饋語音庫和圖示模板庫，其中反饋話語庫是預(yù)警信息的核心內(nèi)容來源，根據(jù)不同的閱讀投入特點(diǎn)、預(yù)警程度和匹配的預(yù)警策略，能夠從該庫中調(diào)取不同的反饋話語文本，用于行動(dòng)建議和彈窗警示的內(nèi)容生成等；反饋語音庫是與反饋話語相對(duì)應(yīng)的音頻與音效，能夠?qū)Ψ答佋捳Z的文本內(nèi)容形成補(bǔ)充，起到更為豐富的反饋效果；圖示模板庫是數(shù)字徽章和數(shù)字儀表盤等反饋頁面的基礎(chǔ)，能夠提供所需圖示的通用模板圖片，通過可視化的方式實(shí)現(xiàn)預(yù)警反饋。除此之外，人工反饋也是混合場景下閱讀投入預(yù)警信息反饋的一類重要方式，教師、家長和同伴能在師生共讀和親子閱讀等多種場景中發(fā)揮激勵(lì)、比較、建議與警示作用，為改善學(xué)生的閱讀投入狀態(tài)提供支持。兩類反饋綜合引導(dǎo)學(xué)生調(diào)整閱讀策略，改善閱讀投入，其閱讀過程中產(chǎn)生的新數(shù)據(jù)將進(jìn)入下一輪預(yù)警，由此四個(gè)步驟構(gòu)成的預(yù)警路徑形成循環(huán)回路。

六、結(jié) ? 語

閱讀是一個(gè)復(fù)雜適應(yīng)系統(tǒng)，為明確影響閱讀理解過程中的因素，本研究構(gòu)建了混合場景下的閱讀投入模型，遵循數(shù)據(jù)驅(qū)動(dòng)的循證研究范式，基于文本、日志、圖像、語音、生理、心理多模態(tài)數(shù)據(jù)，構(gòu)建了閱讀投入的表征框架及具體指標(biāo)。面向?qū)W生不良的閱讀投入狀態(tài)，本研究形成了閱讀投入預(yù)警的有效路徑，包括基于多模態(tài)特征融合的閱讀投入指標(biāo)融合計(jì)算、基于大數(shù)據(jù)機(jī)器學(xué)習(xí)的閱讀投入狀態(tài)識(shí)別分析、基于人機(jī)協(xié)同機(jī)制的閱讀投入預(yù)警策略匹配和基于可視化技術(shù)的閱讀投入預(yù)警信息反饋。混合場景下閱讀投入的表征框架與預(yù)警路徑，為閱讀和預(yù)警研究提供了新思路。

多場景下的多模態(tài)閱讀投入數(shù)據(jù)，可在個(gè)體能力發(fā)展和群體特征規(guī)律探尋方面發(fā)揮作用。學(xué)生的閱讀理解水平會(huì)受到諸多因素影響，也會(huì)隨時(shí)間和任務(wù)發(fā)生變化，如何通過追蹤數(shù)據(jù)對(duì)個(gè)體閱讀投入及閱讀理解水平進(jìn)行增值性評(píng)價(jià)，進(jìn)而服務(wù)于日常教育教學(xué)，是未來研究的重點(diǎn)方向。此外，個(gè)性化閱讀支持服務(wù)離不開對(duì)閱讀理解機(jī)制的深層次挖掘，基于混合場景下的多模態(tài)數(shù)據(jù)可以發(fā)掘閱讀理解水平較高和不良的學(xué)生分別具有怎樣的特征，進(jìn)而從閱讀投入狀態(tài)入手，提升學(xué)生的閱讀理解能力，使學(xué)生具備良好的閱讀習(xí)慣和終身學(xué)習(xí)力。

如若學(xué)生個(gè)體閱讀投入預(yù)警狀態(tài)長期處于臨界值，可進(jìn)一步針對(duì)不同閱讀投入特點(diǎn)，對(duì)學(xué)生開展個(gè)性化干預(yù)。當(dāng)學(xué)生情感投入較低時(shí)，可采用智能語音助手，以溝通喚醒學(xué)生積極情緒；當(dāng)學(xué)生認(rèn)知投入較低時(shí)，可提供適當(dāng)?shù)拈喿x腳手架，如思維導(dǎo)圖、自我調(diào)節(jié)引導(dǎo)等，調(diào)動(dòng)學(xué)生的認(rèn)知參與；當(dāng)學(xué)生行為投入較低時(shí)，可直接通過資源推薦、活動(dòng)推薦等形式，引發(fā)可見的行為投入。通過干預(yù)學(xué)生的閱讀投入過程，進(jìn)而實(shí)現(xiàn)學(xué)生的閱讀理解能力提升，達(dá)成新時(shí)代人才培養(yǎng)的核心素養(yǎng)要求。

[參考文獻(xiàn)]

[1] 許哲，徐和祥.全景式閱讀場景下數(shù)據(jù)驅(qū)動(dòng)的學(xué)生閱讀素養(yǎng)評(píng)價(jià)的內(nèi)涵、方法及實(shí)現(xiàn)路徑[J].電化教育研究，2022，43（10）：79-85.

[2] 錢荃，劉潔玲，鄭國民.四年級(jí)學(xué)生語文閱讀能力影響因素研究——基于閱讀投入與閱讀教學(xué)行為視角[J].基礎(chǔ)教育，2020，17（4）：72-81.

[3] 張文靜，辛濤.閱讀投入對(duì)閱讀素養(yǎng)影響的跨文化比較研究——以PISA 2009為例[J].心理發(fā)展與教育，2012，28（2）：175-183.

[4] LIN J， LI Q， SUN H， et al. Chinese secondary school students' reading engagement profiles： associations with reading comprehension[J]. Reading and writing，2021，34（9）：2257-2287.

[5] 王佑鎂，李寧宇，尹以晴，等.從再現(xiàn)到預(yù)測：基于BP神經(jīng)網(wǎng)絡(luò)的中小學(xué)生數(shù)字閱讀素養(yǎng)評(píng)測體系研究[J].電化教育研究，2022，43（8）：68-76.

[6] 陳純槿.PISA 2018中國四省市學(xué)生閱讀素養(yǎng)研究新發(fā)現(xiàn)[J].華東師范大學(xué)學(xué)報(bào)（教育科學(xué)版），2020，38（5）：22-62.

[7] 張利釗，杜旭，李浩，等.基于多模態(tài)數(shù)據(jù)的學(xué)習(xí)投入評(píng)估方法分析[J].電化教育研究，2022，43（10）：72-78.

[8] FREDRICKS J A， BLUMENFELD P C， PARIS A H. School engagement： potential of the concept， state of the evidence[J].Review of educational research，2004， 74（1）： 59-109.

[9] BOND M. Facilitating student engagement through the flipped learning approach in K-12： a systematic review[J]. Computers & education， 2020（151）：1-36.

[10] HUANG B， HEW K F， LO C K. Investigating the effects of gamification-enhanced flipped learning on undergraduate students' behavioral and cognitive engagement[J]. Interactive learning environments， 2019， 27（8）： 1106-1126.

[11] FREDRICKS J A， FILSECKER M， LAWSON M A. Student engagement， context， and adjustment： addressing definitional， measurement， and methodological issues[J]. Learning and instruction， 2016（43）： 1-4.

[12] 李新，李艷燕，包昊罡，程露.學(xué)習(xí)投入測評(píng)新發(fā)展：從單維分析到多模態(tài)融合[J].電化教育研究，2021，42（10）：100-107.

[13] NAUMANN J. A model of online reading engagement： linking engagement， navigation， and performance in digital reading[J]. Computers in human behavior， 2015（53）： 263-277.

[14] FLAVELL J H. Metacognition and cognitive monitoring： a new area of cognitive-developmental inquiry[J]. American psychologist， 1979， 34（10）： 906-911.

[15] 張琪，武法提.學(xué)習(xí)行為投入評(píng)測框架構(gòu)建與實(shí)證研究[J].中國電化教育，2018（9）：102-108.

[16] 張瀘月，許統(tǒng)，熊芳.用戶多維度閱讀交互對(duì)閱讀滿意度的影響效應(yīng)研究[J].圖書情報(bào)知識(shí)，2017（3）：29-37.

[17] 張永和，潘萌，鐘國成，曹曉明.基于混合場景人臉數(shù)據(jù)集的學(xué)習(xí)投入度識(shí)別[J].現(xiàn)代教育技術(shù)，2021，31（10）：84-92.

[18] 楊彥軍，徐剛，童慧.智能學(xué)習(xí)環(huán)境中基于多模態(tài)數(shù)據(jù)的深度學(xué)習(xí)監(jiān)測研究[J].電化教育研究，2022，43（6）：68-76..

[19] 田浩，武法提.混合場景下協(xié)作認(rèn)知投入的多模態(tài)表征與分析路徑研究[J].遠(yuǎn)程教育雜志，2022，40（4）：35-44.

[20] 張琪，王紅梅.學(xué)習(xí)投入的多模態(tài)數(shù)據(jù)表征：支撐理論、研究框架與關(guān)鍵技術(shù)[J].電化教育研究，2019，40（12）：21-28.

[21] MACFADEN L P， DAWSON S. Mining LMS data to develop an "early warning system" for educators： a proof of concept[J]. Computers & education， 2010， 54（2）： 588-599.

[22] 肖巍，倪傳斌，李銳.國外基于數(shù)據(jù)挖掘的學(xué)習(xí)預(yù)警研究：回顧與展望[J].中國遠(yuǎn)程教育，2018（2）：70-78.

[23] 武法提，黃石華，殷寶媛.基于場景感知的學(xué)習(xí)者建模研究[J].電化教育研究，2019，40（3）：68-74.

[24] OLSEN J K， SHARMA K， RUMMEL N， et al. Temporal analysis of multimodal data to predict collaborative learning outcomes[J]. British journal of educational technology，2020，51（5）：1527-1547.

[25] 王一巖，鄭永和.基于情境感知的學(xué)習(xí)者建模：內(nèi)涵、特征模型與實(shí)踐框架[J].遠(yuǎn)程教育雜志，2022，40（2）：66-74.

[26] 王希哲，涂雅欣，張琳捷，黃瓊浩.認(rèn)知負(fù)荷視角下在線協(xié)作學(xué)習(xí)的增效機(jī)制研究[J].電化教育研究，2022，43（9）：45-52，72.

[27] 艾興，張玉.從數(shù)字畫像到數(shù)字孿生體：數(shù)智融合驅(qū)動(dòng)下數(shù)字孿生學(xué)習(xí)者構(gòu)建新探[J].遠(yuǎn)程教育雜志，2021，39（1）：41-50.

[28] 楊雪，姜強(qiáng)，趙蔚，李勇帆，李松.大數(shù)據(jù)時(shí)代基于學(xué)習(xí)分析的在線學(xué)習(xí)拖延診斷與干預(yù)研究[J].電化教育研究，2017，38（7）：51-57.

[29] 黃昌勤，涂雅欣，俞建慧，蔣凡，李明喜.數(shù)據(jù)驅(qū)動(dòng)的在線學(xué)習(xí)倦怠預(yù)警模型研究與實(shí)現(xiàn)[J].電化教育研究，2021，42（2）：47-54.

[30] 孫皓，宋平平.大數(shù)據(jù)環(huán)境下在線學(xué)習(xí)績效的監(jiān)測預(yù)警模型構(gòu)建與應(yīng)用——基于非線性門限回歸模型[J].現(xiàn)代遠(yuǎn)距離教育，2022，203（5）：20-29.

[31] 趙慧瓊，姜強(qiáng)，趙蔚，等.基于大數(shù)據(jù)學(xué)習(xí)分析的在線學(xué)習(xí)績效預(yù)警因素及干預(yù)對(duì)策的實(shí)證研究[J].電化教育研究，2017，38（1）：62-69.

[32] 鐘志賢.基于社會(huì)建構(gòu)主義的網(wǎng)絡(luò)學(xué)習(xí)策略設(shè)計(jì)[J].現(xiàn)代遠(yuǎn)程教育研究，2005（4）：11-14，71.

[33] HUANG C Q， HAN Z M， LI M X， et al. Investigating students' interaction patterns and dynamic learning sentiments in online discussions[J]. Computers & education，2019，140（10）：1-18.

[34] 王本賢.試析認(rèn)知信息加工理論[J].教育探索，2009（5）：7-8.

[35] 殷融.論班杜拉三元交互決定論中蘊(yùn)含的先鋒思想[J].心理研究，2022，15（2）：115-120.

[36] 吳娟，劉旭，王金榮.基于學(xué)習(xí)元平臺(tái)的師生共讀模型的構(gòu)建與實(shí)踐[J].中國電化教育，2014（7）：119-125.

[37] 武法提，黃石華.基于多源數(shù)據(jù)融合的共享教育數(shù)據(jù)模型研究[J].電化教育研究，2020，41（5）：59-65，103.

[38] 吳林靜，高喻，涂鳳嬌，王瑾潔，劉清堂.基于語義的在線協(xié)作會(huì)話學(xué)習(xí)投入自動(dòng)分析模型及應(yīng)用研究[J].電化教育研究，2022，43（3）：77-84.

[39] 鐘偉，吳娟，陳露.基于學(xué)習(xí)元平臺(tái)的師生共讀活動(dòng)之社會(huì)網(wǎng)絡(luò)分析和內(nèi)容分析[J].現(xiàn)代遠(yuǎn)距離教育，2015（1）：52-59.

[40] 鐘卓，鐘紹春，唐燁偉.人工智能支持下的智慧學(xué)習(xí)模型構(gòu)建研究[J].電化教育研究，2021，42（12）：71-78，85.

[41] 吳娟，翟蕓，王智穎，楊東芳.活動(dòng)理論視角下數(shù)字閱讀徽章體系構(gòu)建與應(yīng)用[J].電化教育研究，2022，43（4）：92-98，115.

[42] 郝建江，郭炯.智能技術(shù)賦能精準(zhǔn)教學(xué)的實(shí)現(xiàn)邏輯[J].電化教育研究，2022，43（6）：122-128.

Multimodal Characterization and Early Warning of Reading Engagement in

Blended Scenario

WU Juan1， ?CHEN Rui2， ?WU Lei2， ? CHEN Penghe1

（1.Advanced Innovation Center for Future Education， Beijing Normal University， Beijing 102206;

2.School of Educational Technology， Beijing Normal University， Beijing 100875）

[Abstract] Reading engagement is an effective indicator of primary and secondary school students' participation and exertion in various reading contexts. Accurate characterization and timely warning of reading engagement based on multimodal data are important ways to foster good reading habits and enhance reading literacy. In view of this， this study explicates the connotation of reading engagement and four components of emotional， cognitive， behavioral and social dimensions， and constructs a model of reading engagement in blended scenario. Then， a multimodal characterization framework and indexes are established based on the data generated in the reading process： the text， log， image， phonological， physiological and psychological data. Based on the multimodal characterization framework， an early warning path of low reading engagement status is elaborated， including the calculation of index fusion， status identification and analysis， early warning strategy matching， and early warning information feedback. As a result， the reading engagement of primary and secondary school students can be reviewed， and the poor reading status of students can be detected and early warning feedback can be provided in a timely manner. In the future， the development mechanism of reading comprehension can be further revealed through reading engagement， and personalized intervention strategies can be provided.

[Keywords] Reading Engagement; Multimodal Data; Blended Scenario; Early Warning of Reading Engagement