在線測評中的學習者眼動行為分析*
——以浙江工業大學的眼動實驗為例

江 波 王小霞 劉迎春 高 明

（浙江工業大學 教育科學與技術學院，浙江杭州 310023）

引言

作為一種測評知識能力水平的方式，考試在學習中起著不可或缺的作用。考試成績既可以作為學習者改進學習方法的參考，也可以作為教師改進教學方法的參考。但在傳統的紙質試卷考試環境下，由于缺乏數據采集的方法，無法對個體考試過程進行深層次研究。而在線測評能同時結合多種評估功能和評估方法對學習者進行評估[1]，故為考試過程分析提供了可能。

在視覺信息呈現過程中，眼睛的凝視和注意之間存在密切的關系[2]。而視覺注意是人類視覺系統中的重要部分，與眼動及信息加工機制有密切的聯系[3]。因此，研究者通常采用眼動追蹤技術來探尋人的視覺注意[4]。眼睛注視位置、注視時間和掃描路徑是三個常用的眼動指標。其中，眼睛注視位置反映了注意力，注視時間反映了加工難度和注意量（信息被注視的時間越長，處理越復雜或越深入）[5][6]——眼睛注視位置和注視時間能反映個人的閱讀策略和先前的知識或經驗[7]；掃描路徑則展示了個人在面向目標任務中使用的認知策略[8]。教育領域中的眼動研究多用于探究個體的數字化閱讀行為的影響因素[9][10][11][12]和不同學科中影響教學過程的因素[13][14]。

然而，目前我國對測評過程中眼動行為分析的研究尚處于起步階段，相關研究成果較少。與數字閱讀和多媒體學習等任務不同，信息檢索是測試過程中的重要行為，能匹配人腦中編碼的消息和呈現的線索[15]。學習者在考試中必須首先將注意力分配給試題所提供的信息進行關鍵特征識別，然后從長期記憶中檢索有關信息的信息存儲并與關鍵特征進行匹配，再進行整合和驗證，以能正確地回答問題。Pollatsek等[16]的研究表明，眼動行為、特征識別與整合過程有密切的關系。Humphrey等[17]指出，眼動追蹤技術可以實時檢測學習者在線測評時的信息檢索過程和完成任務的路徑。Chen等[18]則認為，在線測評中的眼動行為能夠反映考試的視覺注意和認知過程，并且和測評成績具有較強的關聯性。基于此，本研究借助眼動能表征視覺注意的功能，采用在線測評的方式，以《行政職業能力測驗》為實驗材料進行了眼動實驗，旨在根據學習者在線測評的眼動行為和測試結果，探究試題自身因素對視覺注意的影響和學習者進行在線測評時的視覺注意模式。

一 眼動實驗介紹

1 實驗目的

①考題中的哪些因素（如題目難度、類型）會影響學習者的視覺注意？

②眼動數據和答題情況之間的關系如何？

③不同類型題目中學習者的視覺注意模式有何不同？

2 實驗對象

本研究選取浙江工業大學的20名2016級在讀碩士作為被試（其中男生10名，女生10名），年齡范圍為22～25歲，專業為教育技術學和教育學。

3 實驗材料

①基本信息問卷，用于獲取被試的性別、年齡、專業和是否參加過公務員考試等基本信息；

②考試系統。項目組成員基于C語言和SQL Server數據庫系統，開發了一個適用于本次實驗的考試系統。考試試題選自公務員學習測試平臺“粉筆公考”上的“2015年425聯考《行政職業能力測試》真題（浙江A卷）”，最終選取了包含7道簡單題、7道中等題、6道難題在內的20道試題——其中，常識判斷、言語理解、數量關系、判斷推理四種類型的題目各5題，且題目難度均勻分配在四種類型的題目中。

4 數據采集系統

本研究的實驗儀器有筆記本電腦1臺，用于運行實驗所用的考試系統，型號為惠普EliteBook 840；眼動儀1臺，型號為Tobii EyeX，采樣頻率為60HZ——該眼動儀的優勢之一是被試無需佩戴任何設備，便可將眼動儀架在筆記本電腦上，并且被試的頭部可以自由地進行小范圍移動，因此被試能在一個更加舒適自由的狀態下進行實驗，得到的實驗數據更加真實。在被試完成每一道試題后，考試系統可以通過按鈕觸發的方式啟動眼動儀的數據采集和分割功能。本研究對20名被試在每道試題上（共20道試題）的眼動數據進行獨立采集，共獲取400個數據樣本。

5 實驗準備過程

實驗準備過程如下：被試填寫基本信息問卷→實驗員向被試告知實驗內容，說明實驗過程中應注意的事項→實驗員對眼動儀進行校準，校準后告訴被試要保持目前的身體姿勢，不能進行太大幅度的移動→進入正式實驗。

6 數據預處理與分析

本研究利用眼動儀提供的API導出獲取的400個數據樣本，并用Excel進行初步整理。整理后發現，實驗過程中有4個數據樣本丟失（占總樣本數的1%），為此本研究采用均值填補的方法來恢復丟失的數據。對于預處理后的數據，本研究運用SPSS 20.0軟件進行數據分析，并借助Python(x,y)繪制注視熱點圖。

二 眼動實驗要素

1 眼動指標

本研究涉及的眼動指標有17個，包括8個注視指標、8個凝視指標和總時間。其中，注視（Fixation）指眼睛看的是某一塊興趣區域內的事物，存在開始注視節點和結束注視節點；凝視（Gaze）指眼睛注視屏幕上的某一個興趣點；總時間指被試完成一道題所花費的時間。

8個注視指標分別為：①注視次數，指被試在一道題中注視點的數量；②總注視時間，指一道題的注視總時間；③平均注視時間，指一道題中注視時間的平均值；④注視標準差，指一道題中注視時間的標準差；⑤最大注視時間，指一道題中最長的注視時間；⑥注視比率，指一道題中單位時間內的注視次數；⑦注視離差和，指單次注視時間與注視均值之差的和；⑧注視離差最大值，指單次注視時間與注視均值之差的最大值。

8個凝視指標分別為：①凝視次數，指一道題中凝視點的數量；②總凝視時間，指一道題的凝視總時間；③平均凝視時間，指一道題中凝視（某點）時間的平均值；④凝視標準差，指一道題中凝視（某點）時間的標準差；⑤最大凝視時間，指一道題中最長的凝視時間；⑥凝視比率，指一道題中單位時間內的凝視次數；⑦凝視離差和，指單次凝視時間與凝視均值之差的和；⑧凝視離差最大值，指單次凝視時間與凝視均值之差的最大值。

2 題目類型和難度

題目類型有4種，分別為：①常識判斷，考察被試對國情社情、文化常識的了解程度和綜合管理基本素質；②言語理解，考察被試對語言文字的綜合分析能力；③數量關系，考察被試快速理解和解決算數問題的能力；④判斷推理，根據對試題的判斷推理，來考察被試的邏輯能力和認知能力。

題目的難度是通過對“粉筆公考”APP上的答對百分比進行難度系數計算來判定的，其中，難度系數＜0.3的題為簡單題，難度系數處于0.3～0.6之間的題為中等題，難度系數＞0.6的題為難題。

三 眼動實驗分析

本研究提取實驗結果中的各眼動指標，結合題目類型、難度、答題情況，從平均值、標準差等方面對實驗數據進行多因素方差分析、獨立樣本T檢驗等統計分析，并繪制答題熱點圖進行可視化分析。通過對實驗數據進行正態分布檢驗，并將20名被試的實驗成績進行K-S檢驗，本研究得到以下檢驗結果：實驗成績呈正態分布（P=0.639>0.05），數據合理有效。

1 題目類型和難度對視覺注意模式的影響

通常情況下，在進行在線考試時，題目類型和難度會在不同程度上影響考試結果。本研究通過多因素方差分析，來探究題目類型和難度對被試視覺注意模式的影響。眼動指標的題目類型和難度的多因素方差分析結果如表1所示。表1顯示了在題目類型上存在顯著性差異的12個眼動指標，其中有4個眼動指標（即凝視標準差、最大凝視時間、凝視離差和、凝視離差最大值）在題目難度上存在顯著性差異，有9個眼動指標（注視次數、總時間、總注視時間、總凝視時間、凝視次數、凝視標準差、最大凝視時間、凝視離差和、凝視離差最大值）在題目類型*難度上存在顯著性差異。

進一步將實驗結果按照題目類型和難度進行分類計算答題的正確率，結果顯示：4種類型題目的正確率相差不大（數量關系的正確率為52%、言語理解為47%、判斷推理為43%、常識判斷為41%），且每種類型題目中都包含了3種難度的題目，說明難度對答題正確率的影響不大。而將實驗結果按照難度分類計算的答題正確率，結果顯示：3種難度之間的正確率相差很大（易題的正確率為63.5%、中等題為50.7%、難題為19.2%），且不同難度的題目中也都包含了4種類型的題目，說明題目類型會影響答題的正確率，符合基本常識。

表1 眼動指標的題目類型和難度的多因素方差分析結果

由此可見，題目類型和難度都會對眼動指標數據產生影響，且題目類型對眼動指標的影響大于難度對眼動指標的影響，也就是說，不同類型的題目所產生的視覺注意模式存在顯著性差異。造成此結果的原因，可能是由于不同類型的題目有不同的解題思路，而學習者對于不同類型的題目有不同的認知過程和決策過程。

2 不同組別的視覺注意模式之間的差異

如前文所述，不同類型的題目所產生的視覺注意模式存在顯著性差異，因此本研究首先按題目類型將被試分成4組，再繼續按答題情況分成2組（答對組和答錯組），最后做獨立樣本T檢驗，以分析不同組別的視覺注意模式之間的差異，檢驗結果如下：

在言語理解題中，沒有眼動指標在答題上存在顯著性差異，其原因可能在于被試的起始知識水平相似——起始知識水平和視覺注意之間存在一定的關系[19]，而答對組和答錯組具有相似的起始知識水平（均為相近專業的碩士研究生），兩組對于言語理解類型的題目的信息加工過程和認知過程也較為相近。

在常識判斷題中，凝視標準差（P=0.059）、最大凝視時間（P=0.069）、凝視離差和（P=0.079）、凝視離差最大值（P=0.069）的概率值都接近于 0.1，說明上述 4個眼動指標在答題上存在邊緣顯著性差異。在上述眼動指標中，答錯組的平均值遠高于答對組，其原因可能在于常識類的題目涉及面較廣，雖然被試都是在讀碩士，但每個人在平時常識類知識的積累過程中還是存在一定的差異。

在數量關系題中，注視次數（P=0.009）、總注視時間（P=0.015）、最大注視時間（P=0.043）、凝視次數（P=0.016）的概率值均小于0.05，說明上述4個眼動指標在答題上存在顯著性差異。在上述眼動指標中，答對組的平均值遠高于答錯組，說明被試在對題干進行精加工，信息加工時間長則思考的時間長，所以答對的概率更大。

在判斷推理題中，注視次數（P=0.101）、總注視時間（P=0.051）、總凝視時間（P=0.109）、凝視次數（P=0.058）的概率值均接近于0.1，說明上述 4個眼動指標在答題上存在邊緣顯著性差異。在上述眼動指標中，答錯組的平均值遠高于答對組，其原因可能在于判斷推理題需要先理解題目的意思后再答題，且題目中會存在類似“不屬于”、“無關”等字樣的提問方式，故增加了題目難度，使學習者的認知負荷加重。

3 答題熱點圖分析

根據上述多因素方差分析結果和獨立樣本T檢驗結果，本研究進一步繪制了答題熱點圖以進行可視化分析。答題熱點圖的背景圖像為在線測試系統的界面；注視位置用點記錄，點的數量越多，疊加起來后的顏色就越深，表示注視頻率越高；顏色深的區域用橢圓標注出來。實驗中由于眼動儀直接架在筆記本電腦上，故注視坐標的精確度會有一定的損失，因而部分熱點區域和實際注視區域會存在一定的偏差，但不影響總體的分析。此外，由于每個題目的答對人數不同，可能會存在答對組和答錯組的試題熱點圖注視個數相差較大的情況，而使分析結果出現偏差，為了避免此類情況，本研究在每類題目中選取答對組與答錯組人數相差不大的題目個案繪制答題熱點圖。

本研究以常識判斷題答題熱點圖（如圖1所示）為例來進行分析：測試題的答案分為兩行，從左至右依次為A、B，C、D；本題的正確答案是B選項。圖1顯示，答對組的視覺注意力主要集中在B選項，A選項次之；答錯組的主要注視區也在B選項，但是B選項的注視點沒有答對組多，而A選項的注視點要遠多于答對組，說明答錯組在對B選項進行精加工，同時與A選項進行對比排除。

圖1 常識判斷題答題熱點圖

此外，言語理解題答題熱點圖顯示：被試的主要注視區為填空周圍，答對組的注視點比答錯組多，但是區別不明顯；數量關系題答題熱點圖顯示：被試的主要注視區為題干，答錯組的注視點比答對組多；判斷推理題答題熱點圖顯示：答對組的主要注視區為題干和正確選項，答錯組的主要注視區為題干和全部選項。由此可見，對于文本類的題目，被試的視覺注意力主要分配在題干關鍵點和正確選項；對于數字類的題目，被試的視覺注意力主要分配在題干。

四 小結

眼動追蹤技術可以量化視覺注意力、認知過程和學習結果之間的關系[20]。結合眼動行為實驗多因素方差分析、獨立樣本T檢驗和答題熱點圖分析，本研究發現：①題目類型和難度都會對被試的視覺注意模式造成影響，且題目類型的影響更大。②不同組別被試的視覺注意模式存在差異：在言語理解題中，沒有眼動指標在答題上存在顯著性差異；而在常識判斷、數量關系、判斷推理3種類型的題目中，均有4個眼動指標（這4個眼動指標在不同類型的題目中各不相同）在答題上存在邊緣顯著性或顯著性差異。③在不同類型的題目中，被試的視覺注意力分配存在差異：對于文本類的題目，被試的視覺注意力主要分配在題干關鍵點和正確選項；而對于數字類的題目，被試的視覺注意力主要分配在題干。上述研究結果有助于在線測評中學習者的成績預測，對于未來結合腦電圖（Electroencephalogram，EEG）、事件相關電位（Event-related Potentials，ERP）等的多模態生物數據表征研究亦具有一定的參考價值。

需要指出的是，考慮到被試的選取約束條件最小化，本研究進行的眼動實驗采用了浙江省公務員2015年行測考試試卷作為實驗材料，而如果采用其它知識作為實驗材料，可能會得出不同的實驗結果。此外，由于操作眼動實驗需要控制的因素較多，加上客觀條件的限制，且被試樣本不夠大，所以本實驗具有一定的局限性。后續研究將在本次眼動實驗研究結果的基礎之上，采集更多的樣本數據來進行更深層次的分析。

[1]Gaytan J, McEwen B C. Effective online instructional and assessment strategies[J]. American Journal of Distance Education, 2007,(3):117-132.

[2]Just M A, Carpenter P A. Eye fixations and cognitive processes[J]. Cognitive Psychology, 1976,(4):441-480.

[3]王鳳嬌,田媚,黃雅平,等.基于眼動數據的分類視覺注意模型[J].計算機科學,2016,(1):85-88、115.

[4]Just M A, Carpenter P A. A theory of reading: From eye fixations to comprehension[J]. Psychological Review,1980,(4):329-354.

[5]Rayner K. Eye movements in reading and information processing: 20 years of research[J]. Psychological Bulletin,1998,(3):372-422.

[6]Tsai M J, Hou H T, Lai M L. Visual attention for solving multiple-choice science problem: An eye-tracking analysis[J]. Computers & Education, 2012,(1):375-385.

[7]Hy?n? J, Lorch R F, Kaakinen J K. Individual differences in reading to summarize expository text: Evidence from eye fixation patterns[J]. Journal of Educational Psychology, 2002,(1):44-55.

[8]Gandini D, Lemaire P, Dufau S. Older and younger adults’ strategies in approximate quantification[J]. Acta Psychologica, 2008,(1):175-189.

[9]張茂林,杜曉新.基于眼動分析的聾人大學生理解監控能力研究[J].中國特殊教育,2012,(7):49-54.

[10]肖瑞雪,鄭權.多媒體課件中插圖對聽障兒童閱讀影響的眼動研究[J].現代教育技術,2013,(3):45-49.

[11]王妮妮,趙微.影響學前兒童圖畫書自主閱讀的因素——來自眼動的證據[J].學前教育研究,2015,(12):22-27.

[12]賴文華,王佑鎂,楊剛.語言圖式和內容圖式對數字化閱讀影響的實證研究[J].電化教育研究,2015,(7):89-93.

[13]胡衛星,劉陶.基于動畫信息表征的多媒體學習研究現狀分析[J].電化教育研究,2013,(3):81-85、113.

[14]李文靜,童鈺,王福興,等.動畫教學代理對多媒體學習的影響:學習者經驗與偏好的調節作用[J].心理發展與教育,2016,(4):453-462.

[15]Herbert J, Hayne H. Memory retrieval by 18–30-month-olds: Age-related changes in representational flexibility[J].Developmental Psychology, 2000,(4):473-484.

[16]Pollatsek A, Reichle E D, Rayner K. Tests of the E-Z reader model: Exploring the interface between cognition and eye-movement control[J]. Cognitive Psychology, 2006,(1):1-56.

[17]Humphrey K, Underwood G. The potency of people in pictures: Evidence from sequences of eye fixations[J].Journal of Vision, 2010,(10):19.

[18]Chen S C, She H C, Chuang M H, et al. Eye movements predict students’ computer-based assessment performance of physics concepts in different presentation modalities[J]. Computers & Education, 2014,(5):61-72.

[19]Tai R H, Loehr J F, Brigham F J. An exploration of the use of eye-gaze tracking to study problem-solving on standardized science assessments[J]. International Journal of Research & Method in Education, 2006,(2):185-208.

[20]張琪,武法提.學習分析中的生物數據表征——眼動與多模態技術應用前瞻[J].電化教育研究,2016,(9):76-81、109.