多媒體學習研究中眼動指標述評*

閆志明 郭喜蓮 王 睿

（魯東大學 教育科學學院，山東煙臺 264025）

在《多媒體學習》一書中，Mayer[1]從認知心理學的視角將“多媒體”界定為用詞語（Word）與畫面（Picture）來共同呈現材料，其中詞語既包括印刷形式的文字，也包括聲音形式的語言；畫面既包括靜態的圖形、圖像，也包括動態的視頻、動畫等，而從詞語與畫面中學習就是“多媒體學習”。多媒體學習是一個根據已有的知識經驗對多媒體信息進行篩選、驗證、加工和組合的過程，而眼動技術能夠為多媒體學習這一復雜的、主動思維的過程提供諸多細節信息。通過眼動記錄技術，可以在較為自然的條件下獲得學習者在多媒體信息加工過程中的眼動數據。2018年 1月，本研究將“眼動”與“多媒體”、“視頻”、“動畫”、“聲音”、“圖”、“游戲”等與多媒體學習相關的關鍵詞進行搭配，在中國知網檢索出中文文獻568篇，在Web of Science檢索出英文文獻679篇。通過對這些中英文文獻的題目和摘要進行閱讀、篩選，最終得到與多媒體學習眼動研究相關的中文文獻69篇、英文文獻42篇。本研究對這111篇文獻中涉及的眼動指標進行了分析與統計，發現目前多媒體學習眼動研究采用的眼動指標可以劃分為注視、眼跳和瞳孔直徑三大類。

一 注視類指標

學習者主要通過注視來獲得多媒體學習材料中的信息。注視是指眼睛保持相對靜止的眼動行為，一般持續200～300ms。與注視相關的眼動指標主要包括注視點持續時間、首次注視時間、注視次數和較為直觀的注視熱點，各指標的內涵與研究價值分別如下：

1 注視點持續時間

注視點持續時間（Average Fixation Duration）是指對一個注視點的平均注視停留時間。

①注視點持續時間能反映學習者在多媒體學習材料上的認知資源投入和加工程度——注視點持續時間越長，說明學習者的認知資源投入越多、加工程度越深。如皮忠玲[2]使用注視點持續時間長短來考察學習者對視頻播客上不同媒體要素的加工程度，發現學習者在教師形象上的注視點持續時間顯著低于PPT內容；李娜[3]使用注視點持續時間這一指標來研究中學生瀏覽不同界面結構的認知資源投入和加工程度，結果表明學生在瀏覽左文右圖結構時，在文字區注視點持續時間長于圖片區，而在瀏覽左圖右文結構時與此相反。

②注視點持續時間可反映學習者在學習多媒體材料時的認知負荷——認知負荷越大，平均注視時間越長。如王雪等[4]使用注視點持續時間來衡量不同線索類型對學習者認知負荷的影響，發現注視點持續時間從內在線索組、“內在+外在”線索組至外在線索組依次降低，但三組之間的差異不顯著。這表明，多媒體學習材料中不同的文本內容線索沒有對學習者造成額外的認知負荷，只是有效地引導了學習者的注意力。

2 首次注視時間

在興趣區內，學習者首次觀看多媒體材料所產生的第一個點被稱為首次注視點[5]，在首次注視點上的持續時間被稱為首次注視時間（First Fixation Duration）。

首次注視時間體現了學習者對多媒體學習內容的早期加工和注意——首次注視時間越長，說明學習內容更能吸引學習者的注意，學習者也會進行更多的早期加工。如 Jian等[6]使用首次注視時間這一指標來研究在物理結構圖中增加箭頭能否促進個體的早期認知加工和閱讀理解這一問題，結果顯示：增加箭頭組的首次注視時間顯著大于沒有增加箭頭組的數據，這說明箭頭的增加有利于個體對箭頭指向信息的早期加工，也就是說，箭頭具有引導個體注意力的作用。

3 注視次數

一次注視稱為一個注視點，注視點的數量被稱為注視次數（Fixation Count）。

①注視次數可以體現學習者對多媒體信息的辨識度——如果興趣區的信息辨識度低，那么就需要多次提取，注視次數也就較多[7]。如代鑫[8]使用注視次數這一指標來衡量學習者在兒童教育游戲界面中對不同字體知識內容的辨識度，結果發現：學習者對黑體文字的注視次數顯著少于娃娃體文字，說明學習者更容易對黑體文字進行信息提取。

②注視次數可以體現學習者對多媒體學習內容的注意與認知資源的分配。如陳曦[9]用注視次數這一指標來衡量多媒體課件中注釋的不同位置對學習者認知資源分配的影響，發現當注釋處于圖中時，學習者的注視次數較少，而且學習效果較好，由此得出結論：空間位置對于學習者認知資源的分配和學習的效果有很大影響。此外，趙乃迪[10]使用注視次數這一指標來研究不同密度網頁布局對視覺搜索的注意的認知分配，結果發現：學習者在低密度頁面中的注視次數顯著少于高密度頁面。

③注視次數可以體現學習者對多媒體學習材料的熟練程度。如王福興等[11]使用注視次數這一指標來研究文字熟悉度對電影字幕偏好性的影響，結果發現：隨著字幕文字熟悉度的下降，學習者對電影字幕的注視次數也逐漸下降，說明學習者偏好較為熟悉的字幕文字。

4 注視熱點

在多媒體學習的眼動分析中，注視熱點常用注視熱點圖（Heat Map）來呈現。

①注視熱點圖能直觀地顯示學習者感興趣的區域和不感興趣的區域，通過顏色深淺變化形象地反映學習者對不同多媒體目標材料的關注程度[12]。如賴文華等[13]在表現大學生對網絡視頻各內容的關注程度和感興趣的區域時就用到了注視熱點圖，發現多數大學生在進行網絡視頻學習時都具有同樣的特點，即關注最多的是文字，其次是教師，最后是背景。安璐[14]在關于教學PPT中插圖效果的研究中，也用注視熱點圖來反映學習者在進行無指引性符號材料與指引性符號材料閱讀時關注程度的差異，并發現在無指引性符號圖的實驗組視線軌跡中，有少許視線出現游離；有指引性符號圖的實驗組視線軌跡以指引性符號為路線進行多媒體學習，關注的部分主要是文字，視線呈現規律的行進特征，游離視線很少。此外，刁永鋒等[15]用注視熱點圖來分析網絡視頻公開課程中三種不同媒體構成對學習者關注區域和感興趣區域的影響，發現學習者在學習純文本材料時，視線覆蓋了全部文字區域，但對定義和概念更為關注，形成了紅色的熱點區；但學習視頻材料時與此不同，學習者對視頻區域更為關注；對于有字幕的視頻頁面，學習者更關注人物面部和字幕區，而對于無字幕的視頻頁面，學習者更關注人物的面部。

②注視熱點圖能夠直觀地顯示不同學習者在多媒體學習材料關注區域的差異——當把這種差異與學習者的成績聯系起來時，就會產生有意義的研究結果。如Tsai等[16]要求學習者選擇四幅圖中最容易形成泥石流災難的一組，對比正確組和不正確組的熱點圖發現：正確組的學習者更加關注降水和碎片這兩個泥石流的主要影響因素，同時更加關注最佳選項和次佳選項；但是不正確組的學習者更加關注溫度這一個非主要影響因素，同時關注較多的是非正確選項。

二 眼跳類指標

眼跳是指眼睛從一個注視點到另一個注視點的運動，其中包括眼睛退回已注視過的內容的回視型眼跳。在多媒體學習中，與眼跳相關的眼動指標主要包括眼跳距離、眼跳次數、回視次數和較為直觀的眼動軌跡。

1 眼跳距離

眼跳距離（Saccade Distance）是指學習者完成一次注視后，從一個注視點轉移到下一個注視點之間的距離，其單位是度[17]。

①眼跳距離是反映閱讀知覺廣度的一個重要指標——眼跳距離大，說明學習者一次注視所提取的信息量大，加工理解的內容多[18]。如王超[19]用眼跳距離這一指標來衡量高中生在解答問題時有無物理圖對獲取信息量的影響，發現學生在解答有圖物理問題時的眼跳距離顯著大于無圖組，說明有圖組一次注視能獲取更多的信息，通過采用增加眼跳幅度的策略來更好地完成物理問題的表征建構；關爾群[20]用眼跳距離來衡量學習者對不同顏色文字信息的提取，發現對不同顏色文字進行加工時黃色文字的眼跳距離最長，而黑色、紅色文字的眼跳距離最小。

需要注意的是，在眼跳過程中會產生視覺抑制現象，從而使學習者知覺信息的能力減弱[21]。為了應對這種視覺抑制現象，學習者會縮小眼跳距離。如程利等[22]使用眼跳距離這一指標研究插圖對大學生信息知覺的影響，發現在呈現方式不同的文章中，彩色插圖組的眼跳距離明顯小于無插圖組，這是因為學習者在彩色插圖材料中得到了相關提示，當閱讀相關文字的時候會主動注意重要的信息，減少視覺抑制，細化已經形成的整體輪廓，使得眼跳距離縮小。

②眼跳距離在一定程度上反映了多媒體學習內容自身的性質。如任桂琴[23]用眼跳距離這一指標來反映小學一年級數學新課本中難度不同、背景不同的應用題自身的性質，發現學生在解答難應用題時眼跳距離顯著小于易應用題，解答無背景和簡單背景應用題的眼跳距離均顯著大于復雜背景，這說明眼跳距離可以在一定程度上反映多媒體學習內容自身的性質。

2 眼跳次數

眼跳次數（Saccade Count）指注視點之間的轉換次數，它體現了多媒體學習內容對學習者注意分配的引導[24]。學習者在不同類型學習材料之間的注意轉換，反映了學習者嘗試在語義上連接不同類型多媒體材料形成整合性理解的程度[25]。如龔少英等[26]用眼跳次數這一指標來反映裝飾圖片對學習者整合加工的影響，發現在文本區與認知興趣圖之間，有裝飾圖片組的眼跳次數顯著少于無裝飾圖片組，表明在無裝飾圖片的情況下，學習者在文本與認知興趣圖上進行了更多的組織和加工；Eitel等[27]則使用眼跳次數這一指標來反映圖文材料的呈現方式對學習者認知加工的影響，發現呈現文本和簡單圖表組的眼跳次數顯著高于僅僅呈現文本材料組的眼跳次數，這說明同時呈現文本和簡單圖表有利于學習者在認知加工過程中對圖文材料信息進行更深度的整合，并可從簡單的圖表中對整體的初始結構形成更加合理的認知。

3 回視次數

眼球從右向左退回到已注視過的內容上的眼動行為（不包括從每行行尾到每行行首的眼動）稱為回視。回視的數量被稱為回視次數（Regression Count）[28]。

①回視次數可以體現學習者進行多媒體學習時的注意分配。如李萍[29]用回視次數這一指標來研究不同字體與顏色搭配的網絡課件對學習者視覺分配的影響，發現紅色宋體的回視次數最多，黑色宋體最少，這說明紅色宋體更容易吸引學習者的視覺分配，并在注視紅色時投入較大的精力。

②回視次數可以體現學習者進行多媒體學習時的認知連貫性和信息再加工程度。如陶云[30]用回視次數這一指標來研究有無配圖的課文對學習者認知連貫性的影響，發現學生閱讀配圖課文的回視次數顯著少于無圖課文，這是由于在配圖的輔助下學生可以通過減少回視次數來綜合連貫課文信息；費廣洪等[31]用回視次數這一指標來反映擁有不同認知方式的大學生在進行學習時的認知連貫性和再加工程度，發現場依存型讀者在圖文之間的回視次數顯著多于場獨立型讀者。此外，Liu[32]在英語文章閱讀理解能力測試的實驗中同樣使用回視次數這一指標來衡量學習者的認知加工，發現有圖式組的回視次數顯著少于無圖式組，這說明符合材料信息的圖式的增加，可以促進個體的閱讀理解和認知加工。

4 眼動軌跡

眼動軌跡（Eye Movement Trajectories）常用眼動軌跡圖來呈現。眼動軌跡圖是將眼動信息用數據和圖形的方式呈現出的軌跡視圖，能具體、直觀、全面地反映學習者進行多媒體學習時眼動的時空特征[33]。如賴文華等[34]用眼動軌跡圖對大學生網絡視頻學習過程中眼動軌跡的特征進行研究，發現在認知負荷較高的情況下，大部分學習者的眼動軌跡為逆時針三角形，即從左向右的軌跡為字幕、教師的面部，然后回到字幕；劉偉等[35]用眼動軌跡圖來研究不同圖片分享網站布局的視覺行為，結果發現：與瀑布式頁面相比，在矩陣式頁面上學習者的視覺路徑較為流暢與規整。另外，Liu[36]在研究閱讀圖式時也用眼動軌跡圖分析學習者的眼動信息來反映學習效果，兩組學習者都要求閱讀一篇文章并回答問題，不同的是其中一組閱讀材料中增加了文章結構圖式——通過眼動軌跡分析，發現閱讀材料中增加圖式可以促進學習者的理解效果。

三 瞳孔直徑

瞳孔大小的變化反映了學習者的大腦正在進行的活動，故瞳孔的大小可以作為高級心理活動的較為敏感的定量化指標[37]。瞳孔直徑（Pupil Diameter）即瞳孔的大小，它反映了學習者進行認知加工時的心理負荷情況，即單位時間內人體承受的心理活動工作量大小[38]。如周強等[39]用瞳孔直徑這一指標來衡量學習者在學習不同插圖材料時的認知負荷，發現學習者學習彩色插圖組材料和黑白插圖組材料時的瞳孔直徑都明顯小于無圖組，這說明學習者在學習無圖材料時將會產生更大的心理負荷。曹衛真等[40]在教學網頁圖文搭配方式的研究中，也用瞳孔直徑這一指標來反映該閱讀材料能否引起學習者的思考——瞳孔越大說明提取信息越難、心理負荷越大，結果發現：不同專業的大學生在閱讀材料時，理工類大學生的平均瞳孔直徑明顯小于文史類大學生的平均瞳孔直徑；對于圖文搭配方式，理工類大學生在學習圖下文上搭配方式的材料時瞳孔直徑更小，對材料信息的提取更為容易，而文史類大學生對圖右文左搭配方式材料的信息提取更為容易。許曉麗[41]在研究閱讀中多媒體材料及其呈現方式的眼動時發現，學習文字信息的瞳孔直徑小于學習圖形信息的瞳孔直徑，說明學生對材料中圖形信息的學習心理努力程度高、心理負荷大。

值得注意的是，瞳孔變化與高級心理活動之間的關系尚有待進一步探討。除了認知負荷，影響瞳孔直徑變化的因素還有動機、態度、情緒、疲勞程度等，因此對瞳孔直徑變化的解釋要慎之又慎，單純地通過瞳孔直徑無法測量學習者對待非視覺任務時的心理負荷。

四 眼動指標的對比分析與應用建議

1 三類眼動指標的對比分析

綜上所述，目前，多媒體學習眼動研究采用的眼動指標主要包括注視類指標、眼跳類指標和瞳孔直徑類指標三大類，而每一類指標既有自己的優點，同時也存在不足，如表1所示。

表1 三類眼動指標的優缺點比較

2 眼動指標在多媒體學習研究中的應用建議

雖然眼動技術是多媒體學習研究中不可或缺的工具，但它仍然僅僅只是揭示多媒體學習這一個復雜思維過程的手段之一。為了獲得全面而深刻的認識，形成科學的理解，拓展研究的領域，本研究針對眼動指標在多媒體學習研究中的應用給出了如下建議：

①在開展多媒體學習的眼動研究時，應綜合使用多個眼動指標。每一個眼動指標都有其適用的范圍和優缺點，因此在多媒體學習研究中只使用某一個指標會存在不足，而應該合理地綜合使用多個眼動指標，以從多個維度對眼動數據進行詳細的分析[42]。比如，對多媒體學習內容的認知加工情況進行研究時，宜多選用注視類指標，同時也可考慮眼跳距離、眼跳次數等眼跳類指標；對注視點之間的認知連貫性和信息再加工進行研究時，宜考慮回視次數和眼動軌跡等眼跳類指標；對學習者的心理負荷情況進行研究時，則宜采用瞳孔直徑類指標。

②在開展多媒體學習的眼動研究時，應將眼動技術和其它研究技術結合起來使用。眼動指標反映的是學習者視知覺層面的狀況，但僅靠眼動技術進行分析，不能全面地反映學習者的認知加工過程，而眼動技術與其它研究技術結合起來使用，可以為研究提供全新的思路[43]。比如，將眼動技術和腦電技術相結合，可以實現研究方法上的突破，取得更豐富的研究成果[44]。

③在開展多媒體學習的眼動研究時，應重點關注具有前沿性的媒體形式。在已有的多媒體學習研究中，使用眼動技術分析的學習材料主要集中在文字、圖片、動畫等傳統的多媒體材料。隨著科學技術的不斷發展和教學形式的多樣化，人工智能、虛擬現實等富有個性化和前沿性的新型媒體形式正逐漸得到了廣泛的應用。如王福興等[45]采用眼動技術，探究了虛擬人物（即教學代理）的手勢動作等對認知加工過程的影響。應用眼動技術開展新興媒體支持下的學習研究，必將是今后學習科學領域的一個熱點。

[1]Mayer R E. Multimeda learning[M]. New York: Cambridge University, 2009:3.

[2]皮忠玲.視頻播客呈現方式對學習效果的影響及其機制的眼動研究[D].上海:華中師范大學,2014:32-39.

[3]李娜.中學生多媒體瀏覽行為的眼動實驗研究[D].寧波:寧波大學,2015:20-24

[4]王雪,王志軍,付婷婷,等.多媒體課件中文本內容線索設計規則的眼動實驗研究[J].中國電化教育,2015,(5):99-104、117.

[5]王佑鎂.電子課本不同版面要素的眼動行為分析[J].編輯之友,2014,(5):89-91、98.

[6]Jian Y C, Wu C J. The function of diagram with numbered arrows and text in helping readers construct kinematic representations: Evidenced from eye movements and reading tests[J]. Computers in Human Behavior, 2016,61:622-632.

[7][8]代鑫.兒童教育游戲界面知識內容呈現區設計的實驗研究[D].南京:南京師范大學,2013:26-28、38.

[9]陳曦.顏色編碼對多媒體課件中圖文信息加工的影響研究[D].天津:天津師范大學,2013:26.

[10]趙乃迪.網頁布局對視覺搜索影響的眼動研究[D].上海:復旦大學,2012:37-38

[11]王福興,周宗奎,趙顯,等.文字熟悉度對電影字幕偏好性影響的眼動研究[J].心理與行為研究,2012,(1):50-57.

[12][14]安璐.教學PPT中插圖效果的眼動實驗研究[D].徐州:江蘇師范大學,2013:22、65.

[13]賴文華,單春波.大學生在網絡視頻學習過程中的眼動行為研究[J].軟件導刊·教育技術,2015,(6):76-79.

[15]刁永鋒,劉明春,楊海茹.網絡視頻公開課程學習行為眼動實驗研究[J].現代教育技術,2014,(11):81-87.

[16]Tsai M J, Hou H T, Lai M L, et al. Visual attention for solving multiple-choice science problem: An eye-tracking analysis[J]. Computers & Education, 2012,(1):375-385.

[17][33]安璐,李子運.教學PPT背景顏色的眼動實驗研究[J].電化教育研究,2012,(1):75-80.

[18][28]沈德立,陶云.初中生有無插圖課文的眼動過程研究[J].心理科學,2001,(4):385-388、508.

[19][21]王超.高中生解答有無物理圖力學問題過程的眼動研究[D].長沙:湖南師范大學,2008:23-25、32-33.

[20]關爾群.多媒體課件中不同色彩文字材料對閱讀影響的眼動研究[D].大連:遼寧師范大學,2003:22.

[22]程利,楊治良.大學生閱讀插圖文章的眼動研究[J].心理科學,2006,(3):593-596、562.

[23]任桂琴.小學一年級數學新課本插圖效果研究[D].大連:遼寧師范大學,2003:18.

[24]王雪.多媒體學習研究中眼動跟蹤實驗法的應用[J].實驗室研究與探索,2015,(3):190-193、201.

[25]Holsanova J, Holmberg N, Holmqvist K. Reading information graphics: The role of spatial contiguity and dual attentional guidance[J]. Applied Cognitive Psychology, 2009,(9):1215-1226.

[26]龔少英,段婷,王福興,等.裝飾圖片影響多媒體學習的眼動研究[J].心理發展與教育,2014,(4):403-410.

[27]Eitel A, Scheiter K, Schüler A, et al. How a picture facilitates the process of learning from text: Evidence for scaffolding[J]. Learning & Instruction, 2013,28:48-63.

[29]李萍.瀏覽網絡課件不同字體字號與顏色搭配的眼動研究[D].上海:華東師范大學,2008:19.

[30]陶云.不同年級學生閱讀有或無配圖課文的眼動實驗研究[D].天津:天津師范大學,2001:93.

[31]費廣洪,王細英,龔桂紅.圖文相關性對不同認知方式大學生閱讀影響的眼動研究[J].心理學報,2013,(7):783-789.

[32][36]Liu P L. Using eye tracking to understand learners’ reading process through the concept-mapping learning strategy[J]. Computers & Education, 2014,(9):237-249.

[34]賴文華,單春波.大學生在網絡視頻學習過程中的眼動行為研究[J].軟件導刊·教育技術,2015,(6):76-79.

[35]劉偉,趙月芳,李久洲.圖片分享網站布局與視覺行為的眼動研究[J].北京郵電大學學報(社會科學版),2014,(1):18-24.

[37][41]許曉麗.閱讀中多媒體材料及其呈現方式的眼動研究[D].大連:遼寧師范大學,2001:22、23.

[38]陶云,申繼亮.高二學生閱讀插圖課文的即時加工研究[J].心理發展與教育,2003,(2):43-46.

[39]周強,陸翔.插圖影響學習成效的眼動線索研究[J].心理研究,2011,(3):43-47.

[40]曹衛真,殷婷如,邢強,等.常見教學網頁圖文搭配方式對記憶效果影響的研究[J].電化教育研究,2012,(2):93-100.

[42]閆國利,熊建萍,臧傳麗,等.閱讀研究中的主要眼動指標評述[J].心理科學進展,2013,(4):589-605.

[43]卞遷,齊薇,劉志方,等.當代眼動記錄技術述評[J].心理研究,2009,(1):34-37.

[44]高曉卿,王永躍,葛列眾.眼動技術與腦電技術的結合——一種認知研究新方法[J].人類工效學,2005,(1):36-37、44.

[45]王福興,李文靜,謝和平,等.多媒體學習中教學代理有利于學習嗎?——一項元分析研究[J].心理科學進展,2017,(1):12-28.