教學視頻角色表征對學習影響的多模態數據融合分析

喬金秀 穆 肅 黃向陽 陳小梅 羅吉

摘要：當前，教學視頻已成為學生日常學習過程中不可或缺的數字學習資源，其設計與優化受到了研究者的廣泛關注。但相關研究較少從教學媒體角色表征的角度出發，對不同類型的教學視頻進行比較研究。為此，文章基于擬劇理論和信息技術3T論，以廣東省H大學教育技術學專業的90名大學生為實驗對象，設置了三組表征不同角色（教師、工具、同伴）的教學視頻，通過對眼動注視數據、視頻畫面數據、學習成績數據等多模態數據的融合分析，發現表征不同角色的視頻對學生的學習體驗和學習效果有顯著影響，使用表征教師角色、同伴角色的視頻學習能帶來更好的學習體驗和學習效果。同時，文章對不同角色表征的視頻與學習效果之間的中介效應進行了分析，發現總注視時長在不同角色組教學視頻與學習效果之間起中介作用，而心流體驗對學習效果沒有中介作用。文章的研究對于指導學生選擇學習資源、優化教學設計、提升教學效果有一定的實踐價值，可為數字化學習環境下的教學實踐提供有益參考。

關鍵詞：教學視頻；內容交互；角色表征；視覺關注；學習體驗；學習效果

【中圖分類號】G40-057 【文獻標識碼】A 【論文編號】1009—8097（2024）05—0074—10 【DOI】10.3969/j.issn.1009-8097.2024.05.008

引言

教學視頻作為學習資源中常用的教學媒體，是學生與知識建立聯系的紐帶。經過精心設計和組織的視頻內容，在吸引學生注意力、引發學生積極思考等方面發揮著重要作用^[1]。教學中的交互，可以分為學生與教學內容的交互、學生與教師的交互、學生與學生的交互。學生通過視頻資源進行學習的過程，實際上屬于學生與教學內容的交互。社會學家Goffman^[2]曾用戲劇隱喻解釋人們在日常生活、學習中的交互行為，將交互視作一種基于印象管理手段的表演。當學生觀看教學內容時，會對視頻產生各種角色印象，這些角色印象可能是教師、同伴等。通過這些角色印象，學生會在學習過程中建立認知和情感聯系，從而影響其學習體驗和學習效果。不同角色的表現方式、特點會對學生產生不同的影響，進而影響他們對教學內容的理解和接受程度。

近年來，許多研究考察了視頻信息呈現方式對學生學習的影響^[3][4][5][6]，但這些研究多從媒體設計的視角出發，而很少從交互的視角來分析教學視頻表征的不同角色對學習產生的影響。基于此，本研究聚焦教學視頻表征不同角色對學習的影響，設計并開展眼動實驗，對眼動數據、視頻畫面數據、學習成績數據等多模態數據進行融合分析，探索表征不同角色的教學視頻對學習的影響機制，以期為教學視頻表征角色的設計提供更加客觀、科學的依據。

一 相關研究

1 教學視頻角色表征相關概念及其研究

“角色”一詞來源于戲劇范疇，是指演員按照劇本規定扮演的各種特定人物^[7]。20世紀初，美國著名社會學家Mead^[8]將“角色”引入社會心理學領域，認為人的表現是在社會交互中以特定的角色展開。之后，角色理論的集大成者Goffman^[9]提出擬劇理論，認為社會交互就像戲劇表演，人們在不同情境下扮演不同的角色，并通過表演來傳達信息和互動。教學視頻的學習實質上也是一種交互過程，利用視頻開展的學習可以看作是一種教學主體借助媒體以特定角色呈現內容從而實現教學目的的活動^[10]。隨著數字時代的來臨，在線課程、在線教學在全世界廣為盛行，數字化學習和教學交互的方式更加多元、復雜^[11]。教學交互主體也不再局限于人與人之間，而是逐漸擴展出了人機交互、概念交互等形態^[12]。根據Goffman的擬劇理論，在學習者利用教學視頻進行的學習活動中，視頻內容呈現的特定形象可以看作是表演者，而學習者是觀眾，觀眾對視頻扮演角色的感知由視頻內容的制作者設定。換言之，學習者觀看教學視頻時會形成對教學視頻扮演不同角色的印象，并進行相應的信息感知、注意和加工。

2 教學視頻表征角色對學習影響的相關研究

擬劇理論視角下，學習者在教學視頻的學習過程中會傾向于將技術承載的主體“擬人化”，對教學視頻產生特定角色印象^[13]；同時，學習者通過感知教學視頻呈現的角色表征獲得教學臨場感，從而開展有意義的學習^[14]。Taylor曾根據信息技術在教育中所扮演的角色，提出了信息技術3T論：信息技術教育應用可作為教師（Tutor）、學習者（Tutee）、工具（Tools）實現教學信息的組織與傳遞^[15]。在探究視頻教學內容作為教師角色表征影響學習效果的機制時，不同研究者得出的結論各有不同。例如，Maulana等^[16]利用人工智能技術創建了不同擬真度的教師角色形象，發現視覺特征的擬真度越高，學習者感知到的社會互動越積極，學習態度也更積極；而Randall^[17]發現，教學視頻扮演教師角色時，其較強的權威性可能會給學習者的學習帶來負面影響。在探究教學視頻表征同伴角色對學習效果的影響方面，崔佳等^[18]發現同伴角色表征的教學視頻學習能夠促進學生的認知投入；而王思遙^[19]通過調查研究，發現表征同伴角色的教學視頻正向調節學生學習與行為投入、認知投入、情感投入的關系，而表征教師角色的視頻對學生學習效果與在線學習投入的關系沒有顯著影響。

上述關于教學視頻不同角色表征對學習影響的研究多為針對單一角色呈現的視頻，數據主要來源于調查數據和儀器采集的生理數據（如眼動數據、面部數據等），而鮮少從教學視頻多種角色對比的視角進行學習過程的多模態數據融合分析，也缺少教學視頻不同角色表征對學習的影響機制研究。為此，本研究基于學習者視頻教學情境，結合信息技術3T論中信息技術在教育中扮演的三類角色，考察教學視頻表征教師、同伴、工具三種角色時對學習的不同影響，并嘗試分析引起這種差異的學習影響機制。

二 研究設計

1 實驗對象

2022年11月，本研究招募廣東省H大學教育技術學專業的90名大學生開展眼動實驗，其中男生、女生各45人，實驗時長為30分鐘。實驗以教學視頻不同的角色表征（教師、同伴、工具）為自變量，以視覺關注、學習體驗和學習效果為因變量。被試按照1：1的性別比被隨機分配到三個角色組（即教師角色組、同伴角色組、工具角色組），三個角色組分別利用主題相同但呈現角色不同的教學視頻進行學習。

2 實驗材料與環境

（1）視頻材料

三個教學視頻分別選自國家智慧教育公共服務平臺、PPT教學課件和某視頻網站，教學視頻的主題都是人教版《地理（七年級下）》中的“亞洲河流”，且教學視頻的難易程度相同。視頻學習材料內容均通過專業教師的核對修改，以保證內容的科學性和準確性。

在表征教師角色的教學視頻中，教師人物形象在視頻畫面中呈現，面向鏡頭講解知識點，視頻時長3分20秒；表征同伴角色的教學視頻畫面有兩個卡通形象，通過同伴之間的交流傳遞知識點內容，視頻時長2分9秒；而表征工具角色的教學視頻提供學習內容相關的文字、圖片與畫外音講解，視頻時長2分11秒。

（2）實驗環境與設備

本研究的實驗設備為一臺17英寸、分辨率1280×1024的計算機，一臺Tobii T120桌面式眼動儀和一個攝像頭。實驗進行過程中，計算機屏幕內容同步記錄為圖像，被試面部表情由攝像頭記錄，并由眼動數據系統實現基于時間的數據同步。被試在同一間安靜的實驗室進行視頻學習，實驗開始前會有研究人員做相關實驗說明，但實驗開始后被試全程不會受到人為干擾。

（3）研究工具

本研究采用的研究工具主要包括：①基本信息問卷，用于收集學生的性別、年齡等基本信息。②學習體驗量表。參考Jackson等^[20]編制的心流狀態量表（Flow Status Scale，FSS），本研究設計了包含“心流體驗”和“學習感知”兩個部分的學習體驗量表，用于考察被試觀看教學視頻時的體驗。該量表包含12個題項，采用李克特5點量表法計分，總分為12個題項得分之和——分數越高，表示學習者在觀看教學視頻過程中的學習體驗越好。信度檢驗Cronbachs α=0.709，說明量表的信度較高。③學習效果試卷。本研究設計了包含10道題目的學習效果試卷，來檢驗被試觀看完教學視頻后對學習內容的掌握情況。

（4）實驗流程

本實驗采用被試間單因素實驗，流程分為五步（如圖1所示）：①實驗介紹。被試進入眼動實驗室，研究人員告知被試實驗流程、注意事項和學習任務，被試簽署實驗知情同意書。②隨機分組。被試按照1：1的性別比，被隨機分配到教師角色組、同伴角色組和工具角色組。③眼動實驗校準。研究人員指導被試調整座椅位置和身體坐姿，之后被試進行眼動視線校準。④視頻學習。被試觀看時長為2～3分鐘不等的教學視頻，同時由眼動數據系統記錄被試觀看教學視頻全過程的眼動軌跡、錄制屏幕畫面等。⑤測試。完成教學視頻學習后，被試填寫基本信息問卷，完成學習體驗量表和學習效果試卷作答，以用于后續的研究分析。

三 研究分析

已有的眼動相關研究表明，學習者的注視能直觀反映其視覺注意分配情況，具體表現為：學習者對某一特定區域注視的時間越長、注視次數越多，表示對該區域的內容越感興趣^[21]。基于此，本研究選取基于學習者眼動數據形成的畫面各分區總注視時長、總注視次數、平均注視時長三個參數（統稱為“視覺關注”），來反映學習者對特定學習內容注意資源的投入和加工程度^[22]。本研究對三種不同角色表征教學視頻的內容畫面劃分興趣區，根據興趣區分別計算學習者在各區的總注視時間，以考察學習者的視覺注意分配和加工情況；同時，結合學習成績數據明確不同角色視頻對學習成效的影響。本研究將畫面數據、成績數據、眼動數據以時間為基線對齊，進行多模態數據融合分析。對各因變量進行正態性檢驗的結果表明，各因變量數據均基本服從正態分布。本研究以三種表征不同角色的教學視頻為自變量，以被試的視覺關注、學習體驗、學習效果為因變量，進行單因素方差分析，得到因變量的描述性統計結果，如表1所示。

1 不同角色表征的教學視頻對學習影響的比較分析

（1）視覺關注

在視覺關注方面，三個角色組對教學視頻內容的總注視時間存在顯著差異[F（2， 87）=24.219，p＜0.001，η²=0.358]。LSD事后檢驗發現，教師角色組的總注視時長明顯多于工具角色組、同伴角色組（MD=34.91，p≤0.001；MD=53.66，p＜0.001）；工具角色組的總注視時長大于同伴角色組（MD=18.75，p=0.019＜0.05）。三個角色組的總注視次數存在顯著差異[F（2， 87）=17.91，p＜0.001，η²=0.292]。LSD事后檢驗發現，教師角色組、工具角色組的總注視次數顯著多于同伴角色組（MD=187.93，p＜0.001；MD=196.47，p＜0.001），其他兩兩組間不存在顯著差異（p=0.819＞0.05）。此外，三個角色組的平均注視時長也存在顯著差異[F（2， 87）=20.471，p＜0.001，η²=0.320]。LSD事后檢驗發現，教師角色組、同伴角色組的平均注視時長顯著長于工具角色組（MD=0.77，p＜0.001；MD=0.67，p＜0.001）。以上數據分析結果表明，不同角色表征的教學視頻會影響學生對教學內容的視覺關注和視覺加工，具體表現為教師角色組和同伴角色組對視頻內容的視覺注意投入更多。

（2）學習體驗

學習體驗包含“心流體驗”和“學習感知”兩個維度：①心流體驗維度上，三個角色組存在顯著差異[F（2， 87）=4.233，p=0.018＜0.05，η²=0.089]。為了進一步檢驗三種不同角色表征教學視頻的兩兩組間差異，本研究進行了LSD事后多重檢驗，結果顯示：教師角色組和工具角色組的心流體驗高于同伴角色組（MD=2.73，p=0.011；MD=2.57，p=0.017），其他兩兩組間不存在顯著差異（ps＞0.05）。②學習感知維度上，三個角色組存在顯著差異[F（2， 87）=20.152，p≤0.001，η²=0.317]。LSD事后檢驗發現，同伴角色組的學習感知高于教師角色組、工具角色組（MD=1.7，p＜0.001；MD=1.37，p＜0.001），其他兩兩組間不存在顯著差異（ps＞0.05）。以上數據分析結果表明，不同角色表征的教學視頻影響學生的學習體驗；相較于教師角色組和工具角色組，同伴角色組的心流體驗較低，但學習感知更高。

（3）學習效果

為比較不同角色表征的教學視頻對學習效果的影響，本研究對三個角色組的測試成績進行了單因素方差分析，結果顯示：三個角色組的測試成績存在顯著差異[F（2， 87）=3.21，p=0.045＜0.05，η²=0.069]。LSD事后檢驗發現，教師角色組的學習效果高于工具角色組（MD=9，p=0.017＜0.05），其他兩兩組間不存在顯著差異（ps＞0.05）。可見，教師角色組的教學視頻對學習效果的正向影響最為明顯。

（4）不同成績區間學生的注意分布情況

為進一步了解組內不同成績區間的學生對教學內容注視是否存在差異，本研究采用眼動熱力圖直觀展示被試在觀看教學視頻過程中的注意分布情況。成績區間分為優秀、良好、不及格三個等級，其對應的分數段和各組人數分布情況如表2所示。

對不同成績區間學生的注視進行疊加，形成了三個角色組不同成績區間的學生注視熱力圖，如圖2、圖3、圖4所示。從圖2可以看出：①成績處于“不及格”區間的學生注視點分散、無明顯注視熱區。②成績處于“優秀”“良好”區間的學生注視點都有明顯聚集、整體差異不大，視線主要集中在視頻內容和教師面部區域；而相較于成績良好學生，成績優秀學生的注視點數量更多且其覆蓋面更廣，表明成績優秀學生具有更強的信息關注和提取能力。

從圖3可以看出：相較于成績不及格學生，成績優秀學生和成績良好學生的注視點數量更多，注視點的覆蓋面也更廣；成績優秀學生對教學視頻字幕區域的視線關注比成績良好學生更多，表明學習效果好的學生更傾向于利用文字信息進行學習。以上表現間接說明學生會對帶來有效教學信息的畫面區域投入較多關注，這有利于正向提升學習效果。

從圖4可以看出：在注視點的數量和覆蓋面上，成績優秀學生的注視熱力圖與成績良好學生、成績不及格學生的注視熱力圖不存在顯著差異。值得一提的是，雖然成績良好學生的注視點數量更多且其覆蓋面更廣，但在視頻文字內容區域，成績優秀學生的注視熱點更集中于文字關鍵詞興趣區，表明這些學生有意識地對視頻畫面進行合理的注意分配，有選擇地進行瀏覽，從而能夠取得更好的學習效果。

2 教學視頻角色表征對學習的中介效應分析

為進一步明確不同角色表征的教學視頻對學習的作用機制，本研究探討了不同角色表征的教學視頻對學習效果的影響是否存在中介效應。具體來說，本研究以視頻角色表征為自變量，以學習體驗中的心流體驗、視覺關注中的總注視時長為中介變量，以學習效果為因變量，采用Hayes^[23]的Process程序對總注視時長和心流體驗的中介效應進行檢驗。

本研究采用Bootstrap方法對中介效應的顯著性進行檢驗，得到總注視時長和心流體驗的中介效應檢驗路徑系數，分別如圖5、圖6所示。中介效應檢驗結果顯示，視覺關注在不同角色教學視頻與學習效果之間起部分中介作用，即相較于工具角色組，教師角色組通過更長時間的注視來提升學習效果[a×b=3.5392，95%C.I.=（-7.9118， -0.0537）]；而心流體驗對學習效果沒有中介作用[a×b=0.042，95%C.I.=（-1.4790， 0.9093）]。

四 結論與討論

本研究從角色交互的視角切入，分析了表征教師角色、同伴角色和工具角色的三組教學視頻對學生學習的影響，結果發現：教師角色組和同伴角色組對視頻內容的視覺注意投入更多；教師角色組和工具角色組的心流體驗優于同伴角色組，但同伴角色組的學習感知更強；教師角色組的教學視頻對學習效果的正向影響最為明顯。同時，本研究檢驗了教學視頻角色表征對總注視時長和心流體驗的中介效應，結果表明：總注視時長在不同角色組教學視頻與學習效果之間起中介作用，而心流體驗對學習效果沒有中介作用。

1 教學視頻角色表征對學生學習影響的差異明顯

如前文所述，教師角色組對視頻內容的視覺注意投入更多、心流體驗更高、學習效果更好——這一結論與楊九民^[24]、Sher^[25]的相關研究結果基本一致，但與韓小利等^[26]的研究結果不一致。分析原因，主要在于教師作為傳統教學內容的權威者，其角色形象可以幫助學生建立對教學內容的認同感，增強學習的積極性和主動性；而教師角色在教學視頻中的呈現，既能豐富學生的交互性體驗，也能督促學生以更加認真的態度參與學習，從而取得良好的學習效果。組間差異顯著性分析結果顯示，表征同伴角色的教學視頻對學習感知有顯著影響，而對學習效果無顯著影響，這一結論與王思遙^[27]提出的同伴交互視頻對學習有正向影響的研究結果不一致。究其原因，可能在于本研究中表征同伴角色的教學視頻以卡通動畫人物的形象呈現，其在吸引學生注意力的同時也會引發其情感共鳴，因而學生的學習感知和學習體驗會比較強烈且深刻。但與真人教師形象或圖文內容呈現的教學視頻相比，卡通動畫人物及其教學畫面的色彩豐富、動作變化多^[28]，更有可能分散學生的注意力，故不利于學生對核心內容信息的關注和加工，從而減弱了學習效果^[29]。分析同伴角色組不同成績區間的學生注視熱力圖，可以發現另一個可能的原因是該組學生觀看教學視頻時，更多地關注視頻字幕區，而對圖像區的眼動注視無明顯變化，可見表征同伴角色的教學視頻并沒有明顯引發學生的“同伴感覺”^[30]，因而對學習效果也就沒有顯著影響。工具角色組對視頻內容的視覺注意投入最少，且其對學習效果無明顯正向影響。從工具角色組不同成績區間的學生注視熱力圖可以看出，學生整體的視覺關注內容多為文字。根據多感官學習理論，文字形式的內容通常是抽象的，缺乏趣味性和吸引力^[31]，不利于學生理解和記憶，難以產生良好的學習效果。

2 總注視時長在不同角色組教學視頻與學習效果之間起中介作用

中介效應分析結果表明，教師角色組通過調節總注視時長來提升學習效果，而其他組未發現中介效應。從教師角色組的眼動注視熱力圖也可得知，學習效果好的學生其視覺關注區域覆蓋面積最大，且有明顯的視覺關注重點。學生對教學視頻中的教師面部會予以較多注視，說明學生習慣于將注意力放在教師身上。這一表現符合多媒體等效原理，人們傾向于根據媒介傳達的信息與媒介進行社會交互，就像與另一個人進行交互一樣^[32]。這表明學生會將其在傳統課堂的學習體驗帶到在線學習和數字資源的應用過程中，即畫面中有教師形象時，學生會不自覺地傾向于注視教師，進而投入更多的注意力去獲取相關信息并進行信息加工處理^[33]。

此外，本研究發現，心流體驗對學習效果沒有中介作用，這與喬愛玲等^[34]的研究結論不一致。究其原因，可能與學習材料本身的特點和實驗環境對心流體驗的影響有關：一方面，學習材料的內容多為陳述性知識，故學生的認知和對知識的加工更多地停留在識記、理解層面；另一方面，實驗環境下盡管研究人員向學生強調要按其真實學習過程和經驗完成視頻學習，但仍不可避免地會產生霍桑效應（即研究對象意識到自己正在被研究，從而出現改變自己行為的傾向）^[35]，致使學生不能全身心地投入學習并完全沉浸其中，也就無法產生真正的心流體驗。

五 結語

設計并選擇合適的視頻資源開展學習，有利于學習者獲得更好的學習體驗和學習效果。本研究從教學視頻表征的角色視角切入，挖掘不同角色表征的教學視頻對學習者學習體驗和學習效果的影響差異，所得結論可為教學視頻的設計與優化提供實證依據，這為學生選擇學習資源和教學方式提供了重要參考。同時，教師也可結合不同角色在教學視頻中的作用，設計更具吸引力和有效性的教學視頻資源，有針對性地選擇適合的教學視頻角色表征，以更好地引導和促進學生的學習^[36]。

需要說明的是，本研究使用的教學視頻內容為地理學科的相關知識點，后續需擴大學科覆蓋面，進一步開展其他學科內容學習的實驗。此外，本研究未考慮學習者的個體差異，如不同學習者的學習風格、先驗知識水平、認知負荷差異等^[37]。而具有不同個體特征的學習者利用視頻學習時，其學習感知、學習效果存在差異^[38]。基于此，探討表征不同角色教學視頻對學習者個體的影響，將是下一步研究的重點之一。

參考文獻

[1]Dixson M D. Creating effective student engagement in online courses： What do students find engaging？[J]. Journal of the Scholarship of Teaching and Learning， 2010，（2）：1-13.

[2][9]（美）歐文·戈夫曼著.馮鋼譯.日常生活中的自我呈現[M].北京：北京大學出版社，2008：11、17.

[3]Berney S， Bétrancourt M. Does animation enhance learning？ A meta-analysis[J]. Computers & Education， 2016，101：150-167.

[4]Stebner F， Kühl T， H?ffler T N， et al. The role of process information in narrations while learning with animations and static pictures[J]. Computers & Education， 2017，104：34-48.

[5]盧婷，楊現民.信息呈現方式與認知風格對概念性知識移動學習效果影響研究[J].中國遠程教育，2016，（6）：36-43、80.

[6]曹建霞，傅安娜，王銳，等.教學視頻中教師呈現方式對學習者社會存在感和學習效果的影響[J].現代教育技術，2017，（7）：75-81.

[7]（美）羅伯特·科恩著.費春放，梁超群譯.這就是戲劇（第10版）[M]：北京：北京大學出版社，2020：42-86.

[8]Mead G. Self and society： From the standpoint of a social behaviorist[M]. Chicago： University of Chicago Press， 1934：89.

[10]辛娜敏，王立勛，張偉遠.遠程教育中互動的理念及派別之述評[J].中國遠程教育，2003，（17）：27-33.

[11]Schindler L A， Burkholder G J， Morad O A， et al. Computer-based technology and student engagement： A critical review of the literature[J]. International Journal of Educational Technology in Higher Education， 2017，（1）：1-28.

[12]Wang Z， Chen L， Anderson T. A framework for interaction and cognitive engagement in connectivist learning contexts[J]. International Review of Research in Open and Distributed Learning， 2014，（2）：121-141.

[13]Van den Berghe R， Verhagen J， Oudgenoeg-Paz O， et al. Social robots for language learning： A review[J]. Review of Educational Research， 2019，（2）：259-295.

[14]Garrison D R， Arbaugh J B. Researching the community of inquiry framework： Review， issues， and future directions[J]. The Internet and Higher Education， 2007，（3）：157-172.

[15]王吉慶.從3T到3E：信息技術在教育中的應用觀的改變[J].現代教育技術，2001，（1）：22-24、76.

[16]Maulana R， Helms-Lorenz M， Irnidayanti Y， et al. Autonomous motivation in the Indonesian classroom： Relationship with teacher support through the lens of self-determination theory[J]. The Asia-Pacific Education Researcher， 2016，25：441-451.

[17]Randall N. A survey of robot-assisted language learning （RALL）[J]. ACM Transactions on Human-Robot Interaction （THRI）， 2019，（1）：1-36.

[18]崔佳，劉沖.協作式在線教學交互模型及動力研究[J].重慶高教研究，2021，（2）：59-70.

[19][27]王思遙.在線課程教學的交互形式與學生學習投入表現的關系探究[J].華東師范大學學報（教育科學版），2021，（7）：38.

[20]Jackson S A， Marsh H W. Development and validation of a scale to measure optimal experience： The Flow state scale[J]. Journal of Sport and Exercise Psychology， 1996，（1）：17-35.

[21]Pi Z， Xu K， Liu C， et al. Instructor presence in video lectures： Eye gaze matters， but not body orientation[J]. Computers & Education， 2020，144：103713.

[22]Liu H C， Lai M L， Chuang H H. Using eye-tracking technology to investigate the redundant effect of multimedia web pages on viewers cognitive processes[J]. Computers in Human Behavior， 2011，（6）：2410-2417.

[23]Hayes， A. Beyond Baron and Kenny： Statistical mediation analysis in the new millennium[J]. Communication Monographs， 2009，（1）：408-420.

[24]楊九民.在線視頻課程中教師對學習過程與效果的影響[D].武漢：華中師范大學，2014：18-54.

[25]Sher A. Assessing the relationship of student-instructor and student-student interaction to student learning and satisfaction in web-based online learning environment[J]. Journal of Interactive Online Learning， 2009，（2）：102-117.

[26]韓小利，陳凱泉，姜永玲.在線教學視頻中教師出鏡效果的總體效應及優化策略探析[J].數字教育，2022，（2）：41-46.

[28]王月，張海，王以寧，等.教學視頻對概念性知識學習效果的影響——基于實物視頻與動畫視頻的差異性影響比較[J].現代教育技術，2020，（5）：40-46.

[29]Harp S F， Mayer R E. How seductive details do their damage： A theory of cognitive interest in science learning[J]. Journal of Educational Psychology， 1998，（3）：414-434.

[30]包志梅.本科生學業成績的同伴效應研究[J].中國高教研究，2020，（6）：25-31.

[31]Mayer R E. Multimedia learning （2nd ed.）[M]. New York： Cambridge University Press， 2009：200-220.

[32]Nass C I， Brave S. Wired for speech： How voice activates and advances the human-computer relationship[M]. Cambridge： MIT Press， 2005：9.

[33]Bavelas J B， Coates L， Johnson T. Listener responses as a collaborative process： The role of gaze[J]. Journal of Communication， 2002，（3）：566-580.

[34]喬愛玲，龔鑫，韓涵.形式差異的外部概念支架對學生游戲化學習心流和效果的影響[J].電化教育研究，2021，（12）：86-92、99.

[35]Sedgwick P， Greenwood N. Understanding the Hawthorne effect[J]. BMJ， 2015，351：1-2.

[36]單美賢，張瑞陽.在線視頻學習過程中學習者的情感狀態識別及其影響因素研究[J].現代教育技術，2023，（12）：65-75.

[37]薛耀鋒，王坤，邱奕盛，等.基于多模態數據的在線學習認知負荷評估[J].現代教育技術，2024，（3）：79-88.

[38]Huang C L， Luo Y F， Yang S C， et al. Influence of students learning style， sense of presence， and cognitive load on learning outcomes in an immersive virtual reality learning environment[J]. Journal of Educational Computing Research， 2020，（3）：596-615.

Multimodal Data Fusion Analysis of the Influence of Teaching Video Role Representation on Learning

QIAO Jin-Xiu^1，2MU Su^{3[Corresponding Author]}HUANG Xiang-Yang²CHEN Xiao-Mei²LUO Ji²

（1. Information Construction Management Office， South China Normal University， Guangzhou， Guangdong， China 510631;

2. School of Information Technology in Education， South China Normal University， Guangzhou， Guangdong， China 510631;

3. Institute of Artificial Intelligence in Education， South China Normal University， Guangzhou， Guangdong， China 510631）

Abstract： At present， teaching videos have become the indispensable digital learning resources in students daily learning process， and their design and optimization have been widely concerned by researchers. However， there is limited research comparing different types of teaching videos starting from the perspective of role representation of teaching media. Therefore， based on the dramaturgical theory and the information technology 3T theory， this paper took 90 university students majoring in educational technology at H University in Guangdong province as experimental subjects， set three groups of teaching videos representing different roles （teacher， tool and peer）， and found that the videos representing different roles had significant impacts on students learning experience and learning effects through multimodal data fusion analysis of eye-tracking data， video frame data， and learning performance data. And the learning of using videos representing teacher role and peer role can lead to better learning experience and learning effects. At the same， the mediating effect between the videos represented by different roles and the learning effect was analyzed， and found that the total gaze duration played a mediating role between the teaching videos of different role groups and the learning effects， while the flow experience had no mediating effect on learning effects. The research of this paper had certain practical value for guiding students to choose learning resources， optimizing teaching design and improving teaching effect， and can provide useful reference for teaching practice in the digital learning environment.

Keywords： teaching video; content interaction; role representation; visual attention; learning experience; learning effect

*基金項目：本文為國家自然科學基金2022年度重點項目“課堂流媒體跨模態知識元協同解析與評估方法”（項目編號：62237001）的階段性研究成果。

作者簡介：喬金秀，華南師范大學信息化建設管理辦公室實習研究員，華南師范大學教育信息技術學院在讀博士，研究方向為多模態學習分析、高校信息化建設，郵箱為qiaojx@m.scnu.edu.cn。

收稿日期：2023年7月5日

編輯：小米