多媒體學習研究中眼動跟蹤實驗法的應用

王 雪

(天津師范大學 教育科學學院，天津 300387)

?

多媒體學習研究中眼動跟蹤實驗法的應用

王 雪

(天津師范大學 教育科學學院，天津 300387)

近年來，眼動跟蹤技術以其可以直接跟蹤學習者的視覺認知過程的特點為越來越多的多媒體學習的相關研究所選用。在分析了傳統認知行為實驗方法的特點和眼動跟蹤技術的優勢的基礎之上，詳細論述了多媒體學習研究中眼動跟蹤實驗設計需要注意的幾個問題，具體包括眼動跟蹤實驗與傳統認知行為實驗相結合、將眼動跟蹤實驗置于完整的教學系統中、儀器設備選用、眼動指標選取和數據分析方法，以期對今后的相關研究起到一定的參考和借鑒作用。

多媒體學習； 眼動跟蹤； 認知過程； 學習效果； 眼動儀； 眼動指標

0 引 言

多媒體學習的認知理論是由美國加州大學圣巴巴拉分校的梅耶(Mayer)教授提出并創建的，梅耶及其研究團隊用20多年的時間致力于從認知心理學的角度出發對多媒體學習的認知加工過程機制和多媒體的教學設計原理進行了理論探索和大量的實驗研究，構建了多媒體學習的理論體系。[1]該理論以雙通道、容量有限和主動加工3個假設為出發點，以雙重編碼理論、工作記憶模型、認知負荷理論和生成學習理論為理論基礎，建立了多媒體學習的認知理論模型，并且通過大量的實驗歸納出12條行之有效的多媒體學習的規則。[2-3]多媒體學習的認知理論具備基本假設、理論基礎，又以實證研究為主要研究范式，形成了一門具備較強科學性和實用性的理論體系。目前，多媒體學習理論仍處于不斷發展階段，研究內容和研究方法也在不斷擴充和創新。眼動跟蹤技術以其可以直接跟蹤學習者的視覺認知過程的特點為越來越多的多媒體學習的相關研究所選用。如何更好的使用眼動跟蹤實驗方法，進一步推動多媒體學習研究的進步和發展，是研究者應該思考的問題。

1 多媒體學習早期的研究范式

國外(主要是美國)的多媒體學習研究起步較早，成果也比較豐富。多媒體學習研究之父梅耶教授具有深厚的心理學研究背景，多媒體學習的研究目的、研究假設、理論基礎和研究方法都印上了深深的心理學烙印。多媒體設計的一系列規則正是通過100多次的心理學實驗驗證或總結出來的。梅耶及其研究團隊一般采用的是傳統的反應時間測定、認知負荷測試以及正確率測試等認知行為實驗方法。這些實驗通常將被試隨機分配到實驗組和對照組中，實驗組的被試使用的學習材料經過多媒體設計原則進行處理，如使用文本和畫面共同呈現的多媒體學習材料(稱之為多重表征組)，對照組的被試使用的學習材料不經過多媒體設計原則處理，如使用只有文本的學習材料(稱之為單一表征組)。兩組被試完成規定的學習任務以后通過保持測試和遷移測試對其學習效果進行測試。其中保持測試一般通過學習材料中出現的問題進行測試，可以了解被試學到了多少，即學習的數量。遷移測試一般通過與學習材料中的知識點相關，但沒有直接出現的新問題進行測試，可以了解學生學到了什么，是否能夠理解和運用知識，即學習的質量。并且梅耶通常是通過多個實驗對同一個問題進行研究，例如，在研究“文本和畫面共同呈現比文本單獨呈現是否更好？”這個問題時進行了9組獨立的實驗驗證了研究假設，從而得出了“多媒體原則”[4]。

然而，多媒體學習早期研究采用的傳統的認知行為實驗方法，無論是反應時測試、認知負荷測試還是正確率測試都是一種“離線(offline)”手段，通常采用的是在學習者的認知任務完成之后的回顧性的測試方式，與學習者實時的認知加工并不同步，很可能會與學習者認知加工的真實情況有所偏差，并且測試題目的類型和難度也可能會對測試結果產生影響[5]。

2 眼動跟蹤技術應用于多媒體學習研究的優勢

眼動跟蹤技術，又稱視線跟蹤技術，是指對人在完成不同的認知任務時的眼動軌跡進行記錄，分析諸如注視時間、注視點、注視次數、眼跳次數和瞳孔大小等眼動指標，從而研究個體的內在認知過程。眼動跟蹤技術應用于教育學研究領域已有40年左右的歷史，早期主要用于研究閱讀的心理機制。近年來，越來越多的多媒體學習方面的研究(包括梅耶團隊的研究)也開始使用眼動跟蹤技術[6]，其優勢主要3方面：

(1) 眼動跟蹤技術是一種“在線(online)手段”。眼動跟蹤技術可以直接跟蹤學習者使用多媒體信息表征的學習材料進行學習的視覺認知過程，如按照什么順序看、看了多長時間、看了哪些區域等等，透過這些數據可以揭示學習者的多媒體學習認知過程和認知規律。

(2) 眼動跟蹤實驗將對學習者(被試)的干擾降到最低。眼動跟蹤技術通過眼動儀對學習者的眼動軌跡進行跟蹤，學習者在完成實驗任務時幾乎感受不到外界的干擾，保證了實驗結果的可靠性。

(3) 實驗操作和數據處理容易。隨著攝像技術、紅外技術和微電子技術的不斷發展，出現一大批精度高、操作簡單的眼動儀。例如，目前國內外相關研究應用較多的加拿大SR公司生產的Eyelink眼動儀、瑞典生產的Tobii眼動儀以及德國生產的SMI眼動儀都是集成的眼動跟蹤系統，配套了相應的眼動數據處理軟件，降低數據處理的難度。這些優勢推動眼動跟蹤實驗方法在多媒體學習研究領域的應用和發展。

3 眼動跟蹤實驗需要注意的幾個問題

眼動跟蹤技術以其實時跟蹤、實驗結果可靠、操作和數據處理容易三大優勢在多媒體學習研究領域得到了關注和應用，同時也取得了不少研究成果。然而眼動跟蹤實驗方法在多媒體學習研究中應用的時間還比較短，在研究內容、各種方法的配合、變量控制、設備選用、眼動指標選取、數據分析等方面還沒有形成一個成熟的范式，對這些問題進行探討有助于更好的在多媒體學習的研究中應用這種方法。

3.1 將眼動跟蹤實驗研究置于完整的教學系統中

裝配式項目4D模型構建采用的是Navisworks Management和Microsoft Project軟件工具組合進行。

通過對國內外已有的典型研究進行梳理和分析，發現對同一問題的研究存在一些不同的結論。以“動畫的播放速度對學習者學習效果影響”為例，不同的研究得出了相互矛盾的結論。Fischer讓兩組學生分別通過快速和正常速度的鐘擺原理的動畫進行學習，結果發現快速組學生對鐘擺原理相關知識的測試成績顯著比正常速度組要高。而De Koning對心血管循環系統為主題的動畫播放速度對學習效果的影響進行了研究，結果發現動畫播放速度對學習者的保持測試和遷移測試的成績均不產生影響。段朝輝的研究將動畫學習材料的播放速度控制為慢速、中速和快速，使用眼動儀記錄了學習者使用不同速度的動畫學習材料的眼動數據，結合對學習者學習效果的保持測試和遷移測試，總結出動畫播放速度變慢能夠促進對知識的理解，但是動畫播放速度對知識的識記不產生影響。[7]這些相互矛盾的研究結論引發了研究者的思考，多媒體情境下的學習效果不單單只受到多媒體學習材料的媒體元素本身的影響，而是受到媒體元素、學習者、學習內容和教學設計等因素的相互影響。

近年來，越來越多的學者將多媒體學習材料與教學內容、學習者個體特征和教學策略等因素相結合開展多媒體學習方面的研究。MURAKAMI Masayuki[8]分析了學習者的眼動數據與不同類型教學內容(包括介紹、演示、解釋、說明等9種類型)之間的關系，根據每種類型的教學內容的眼動數據的特點總結出針對不同類型教學內容的多媒體學習材料如何選取圖片的規則。劉儒德[9]研究了外在暗示線索與年齡兩個因素對多媒體學習情境下自我調節學習過程的影響。研究發現多媒體學習情境下自我調節學習過程受到外在暗示線索與學習者年齡因素的綜合影響。具體表現為兩個年級的學生都能夠根據外在的暗示線索對圖文的閱讀加工時間分配進行自我調節，七年級學生比五年級學生對測試中圖文關系的監察更加準確，時間分配的自我調節出現的時間更早，自我調節策略使用的更加合理，測試的成績也更高。胡衛星[10]在他的博士論文中綜合使用傳統的認知心理學實驗方法和眼動跟蹤實驗方法對動畫情境下的多媒體信息呈現方式、教學材料性質、教學內容設計方式、學習者個體特征和教師教學策略多因素對學習者學習效果的影響進行了研究。認為動畫多媒體學習效果的好壞是受以上多因素綜合交互影響的，并根據實驗結果，總結出了若干設計動畫多媒體學習材料的細則。

從上述研究中可以看出，摒棄多媒體學習過程中的其他因素，僅研究多媒體學習材料內部不同媒體元素的設計是片面的，多媒體學習的研究必然是基于內容的、基于特定情境的。同樣可以推斷的是，一定不存在一種適合于任何教學內容、任何教學模式或任意學習者的多媒體學習材料設計方法[11]。一個完整的學習過程涉及到教師、學生、教學內容、媒體或媒介、教學策略以及教學模式等諸多因素。同樣，多媒體情境下的學習過程也會涉及到這些因素。因此，僅研究多媒體學習材料本身是不夠的，應該把多媒體學習的研究納入到更完整的框架當中去，將多媒體情境下的學習視為一個復雜的復合系統，學習效果受到教學系統中各種因素的交互影響。何克抗[12]教授提出e-learning教學系統包含四個基本要素，即教師、學生、教材(教學內容)和媒體，多媒體情境下的學習也發生于這個系統之中，學習效果受到四個要素的綜合影響，如圖1所示。這就要求研究者將相關研究置入教學系統當中，綜合考慮教學系統四要素對實驗結果的影響，明確眼動跟蹤實驗的自變量與因變量，確定實驗的因變量(眼動指標、學習效果等)是否由所操縱的自變量(多媒體學習材料、學習者個體差異、教學內容、教學策略)引起，保證實驗結果的效度。

圖1 多媒體學習效果的影響因素

3.2 眼動跟蹤實驗與認知行為實驗相結合

多媒體學習早期研究采用的傳統的認知行為實驗方法(反應時測試、認知負荷測試、正確率測試等)是一種“離線(offline)”手段，通常發生于學習者的認知任務完成之后，這種回顧性的測試方式與學習者實時的認知加工并不同步，并且測結果收到測試題目的類型和難度的影響，進而影響實驗結果的可靠性。[13]

因此，不能將眼動跟蹤實驗方法作為研究的唯一方法，應該將眼動跟蹤實驗(在線測試)與認知行為實驗(在線測試)相結合(見圖2)，從知覺和認知的雙重視角全面進行多媒體學習的相關研究。

圖2 在線測試與離線測試相結合

3.3 儀器設備的選用

多媒體學習研究的眼動跟蹤實驗階段是一個完整的流程，即多媒體學習材料的呈現、眼動數據跟蹤、數據統計與分析3個階段，如圖3所示。這3個階段構成一個完整的研究流程，缺一不可，根據不同階段的任務，確定實驗所需的儀器設備。

圖3 多媒體學習研究的眼動跟蹤實驗流程

(1) 呈現階段的設備。多媒體學習材料主要由計算機的顯示器屏幕呈現。需要說明的是，隨著移動技術的不斷發展，各種運行于移動設備上電子圖書、學習軟件層出不求，學習者在移動學習環境下如何更有效的進行多媒體學習，也是多媒體學習需要關注的研究領域[14]，多媒體學習材料還可以由手機、平板電腦等移動設備呈現。

(2) 眼動數據跟蹤階段的設備。眼動數據的跟蹤則由專業的眼動儀完成。根據多媒體學習材料呈現設備的不同，所需要的眼動儀也有所不同。目前多媒體學習研究中最為常見的眼動儀是遙測式眼動儀。這種眼動儀不需要頭戴裝置或頭托，也不需要外置的眼動攝像機，但只能在二維平面內測試眼動追蹤內容，且被試的頭部也不能隨意移動，被試與呈現實驗材料之間的距離也固定在一個范圍之內，一般為50～70 cm左右，適合于跟蹤學習者基于計算機屏幕進行學習的眼動數據。另外一種不太常見的是可移動式的眼鏡式眼動儀。這種眼動儀在使用時就像佩戴一副普通的眼鏡一樣，支持移動狀態、真實場景切換，頭動范圍也不受限制，因此更符合移動學習的特性，適合于跟蹤學習者基于移動設備學習的眼動數據。兩種眼動儀的對比情況如表1所示。

表1 遙測式眼動儀與眼鏡式眼動儀的選取

表2 眼動指標含義

(3) 數據統計與分析階段的設備。一般由安裝數據統計分析軟件的計算機或工作站即可完成。

3.4 眼動指標選取和數據分析方法

3.4.1 眼動指標選取

根據研究目的選取恰當的、有效的眼動指標至關重要，否則會丟失研究過程中有價值的數據信息，從而導致數據分析和研究討論泛泛而談[15]。從已有的使用眼動跟蹤實驗方法的多媒體學習的研究中，可以看出大多數研究對注視時間、注視次數、瞳孔大小、眼動軌跡進行了分析，而對首次注視時間、回視次數、非注視總時間、首次注視點、首次注視點的注視時間、眼跳次數、眼跳之間的關聯元素等不容忽視的眼動指標卻少有問津，造成對于眼動數據利用的不充分，分析不夠全面。眼動分析中某個單一的指標很難有研究價值，應該根據研究的需要對特定區域選擇不同的指標進行深入分析，因而有必要根據自己的實驗特點和實驗目的選擇若干眼動指標進行科學嚴密的分析。表2總結了多媒體學習中各眼動指標的含義，供研究者參考。

3.4.2 數據分析方法

眼動跟蹤實驗方法提供了豐富的視覺認知過程的數據，但挑戰是怎么利用和分析這些數據。選擇適當的眼動指標之后，恰當有效的數據分析是取得實驗結論的關鍵。目前大多數研究采用社會科學統計軟件SPSS對眼動數據進行簡單百分比統計、統計描述和統計推斷。簡單百分比統計僅計算各類眼動指標所占的百分比，統計描述和統計推斷是指計算眼動數據的平均值、標準差，并在此基礎上進行更高級的分析和推斷，如t檢驗、方差分析、回歸分析、因子分析等。除了上述的統計方法外，眼動數據分析還應采用關聯、聚類、分類等數據挖掘技術，發現數據背后隱藏的深層次的規律，從而總結出學習者在多媒體學習情境下的認知規律。

4 結 語

將眼動跟蹤技術應用于多媒體學習研究領域，即時記錄學習者在多媒體學習過程中的眼動數據，揭示學習者學習過程中的認知加工規律，對于多媒體學習研究的進一步發展具有十分重要的意義。方法的進步是取得學科創新的關鍵，把握多媒體學習研究的發展方向，并在今后的多媒體學習研究中更好地使用眼動跟蹤實驗方法，是值得關注和思考的問題。根據上述對眼動跟蹤技術在多媒體學習研究中的應用分析，對眼動跟蹤實驗的設計和應用提出一些思考和建議，期望對今后多媒體學習的相關研究起到一定的借鑒和參考作用。

[1] 鄭旭東,吳博靖.多媒體學習的科學體系及其歷史地位——兼談教育技術學走向“偱證科學”之關鍵問題[J].現代遠程教育研究,2013(1):40-47.

[2] Richard E Mayer. The promise of multimedia learning: using the same instructional design methods across different media[J]. Learning and Instruction, 2003,13(2): 125-139.

[3] Richard E Mayer, Julie Heiser, Steve Lonn. Cognitive Constraints on Multimedia Learning: When Presenting More Material Results in Less Understanding [J]. Journal of Educational Psychology, 2001, 93(1):187-198.

[4] Tamara van Gog, Katharina Scheiter. Eye tracking as a tool to study and enhance multimedia learning[J]. Learning and Instruction, 2010,16(2):95-99.

[5] (美)邁耶.多媒體學習[M].牛 勇,丘 香譯.北京:商務印書館,2006:1-22，206-229.

[6] Jukka Hy?n?.The use of eye movements in the study of multimedia learning[J].Learning and Instruction,2010, 20(2):172-176.

[7] 段朝輝,顏志強,王福興,等.動畫呈現速度對多媒體學習效果影響的眼動研究[J].心理發展與教育,2013(1):46-53.

[8] MURAKAMI Masayuki, KAKUSHO Koh MINOH Michihiko. Analysis of Students’ Eye Movement in Relation to Contents of Multimedia Lecture[J]. Transactions of the Japanese Society for Artificial Intelligence, 2002,17(4):11-14.

[9] 劉儒德,徐 娟.外在暗示線索對學習者在多媒體學習中自我調節學習過程的影響[J].應用心理學,2009(2):131-138.

[10] 胡衛星.動畫情境下多媒體學習的實驗研究[D].遼寧師范大學,2012:41-75.

[11] 劉儒德,趙 妍,柴松針,等.多媒體學習的認知機制[J]. 北京師范大學學報(社會科學版),2007(5):22-27.

[12] 何克抗.E-learning與高校教學的深化改革(上)[J].中國電化教育,2002(2):8-12.

[13] Tamara van Gog, Katharina Scheiter. Eye tracking as a tool to study and enhance multimedia learning[J]. Learning and Instruction, 2010,16(2):95-99.

[14] 劉世清.多媒體學習與研究的基本問題——中美學者的對話[J].教育研究,2013(4):113-117.

[15] 閆國利,熊建萍,臧傳麗,等. 閱讀研究中的主要眼動指標評述[J]. 心理科學進展,2013(4):589-605.

Research of Eye-tracking Experiment in Multimedia Learning

WANGXue

(College of Education Science, Tianjin Normal University, Tianjin 300387, China)

In recent years, more and more multimedia learning studies chose eye-tracking technology as studying methods because it can track the learner’s visual cognitive process directly. Based on the analysis of the characteristics of the traditional cognitive behavior experiment methods and the advantages eye-tracking technology, several problems of eye-tracking experiment in multimedia learning were discussed in detail. The problems included eye-tracking experiment in combination with traditional cognitive behavior experiment. We put the eye tracking experiment in a complete teaching system, including equipments selection, eye movement index selection, data analysis method. It was hoped that these experiences would be some references for related researches in future.

multimedia learning; eye-tracking; cognitive processes; learning effects; eye tracker structure; eye movement index

2014-10-17

天津市教育科學“十二五”規劃重點課題(CEXII2002)

王 雪(1981-)，女，黑龍江綏濱人，博士，實驗師，主要研究方向為多媒體學習、數字教育媒體、實驗技術等。

Tel.：18622622346;E-mail：9241938@qq.com

G 443；Q 4-3

A

1006-7167(2015)03-0190-04