文章難度與呈現(xiàn)方式對多媒體閱讀的影響*
——基于H學(xué)院的眼動實驗分析

王 玨 張 屹 李智曄 宋 萍

（1.華中師范大學(xué) 教育信息技術(shù)學(xué)院，湖北武漢 430000；2.湖州師范學(xué)院 教師教育學(xué)院，浙江湖州 313000；3.湖州師范學(xué)院 馬克思主義學(xué)院，浙江湖州 313000；4.寧波學(xué)校裝備與電化教育中心，浙江寧波 315000）

多媒體閱讀的基本結(jié)構(gòu)由頁面內(nèi)容與多媒體元素通過一定的空間位置關(guān)系構(gòu)成。教學(xué)人員在設(shè)計學(xué)習(xí)材料時，往往喜歡從個人的感性經(jīng)驗出發(fā)，對要素之間的相互關(guān)系及其影響缺少客觀的實證依據(jù)，故大大降低了設(shè)計的有效性。Mayer[1]等系統(tǒng)地研究了多媒體及其呈現(xiàn)方式的閱讀效果，為閱讀界面設(shè)計提供了指導(dǎo)原則。隨著技術(shù)的發(fā)展，眼動設(shè)備性能日益提升，可以幫助人們實現(xiàn)對學(xué)習(xí)過程的精確、可視化追蹤，并用于對學(xué)習(xí)資源中由不同媒體表征引起的認知差異和相互影響進行深入的研究[2]，為學(xué)習(xí)資源的優(yōu)化設(shè)計提供了科學(xué)依據(jù)。此外，閻國利[3]對傳統(tǒng)閱讀的心理認知進行了系統(tǒng)的眼動研究，劉世清等[4][5]在多媒體學(xué)習(xí)領(lǐng)域?qū)缑娴幕窘Y(jié)構(gòu)特征進行了研究。綜合相關(guān)文獻成果，可知多媒體閱讀中內(nèi)容難易、呈現(xiàn)方式是影響眼動的重要因素[6][7][8][9]。具體來說，在呈現(xiàn)方式上，研究者主要針對教材[10]、課件[11]的插圖效應(yīng)、教育網(wǎng)頁的結(jié)構(gòu)特征[12][13]等進行了研究；而在內(nèi)容難度上，研究者圍繞內(nèi)容難易與界面大小[14]，內(nèi)容難易與無插圖、黑白與彩色插圖三者對比[15]等方面進行了研究。但是，目前尚缺乏結(jié)合內(nèi)容難易與呈現(xiàn)方式來考察對多媒體閱讀之影響的研究。為此，本研究在H學(xué)院進行了眼動實驗。

一 實驗設(shè)計

1 實驗?zāi)康?/h3>

本研究以H學(xué)院相關(guān)專業(yè)的本科生為研究對象，選取文章難度、呈現(xiàn)方式為變量，通過眼動實驗法，分析這兩個變量在閱讀理解和眼動指標上的主效應(yīng)及交互效應(yīng)，從而為有效地設(shè)計多媒體閱讀材料提供實證依據(jù)與優(yōu)化策略。

2 具體設(shè)計

①實驗設(shè)計：采用 2（文章難度）×3（呈現(xiàn)方式）的雙因素混合實驗。被試內(nèi)變量為文章難度（進一步細分為易、難兩個水平），被試間變量為呈現(xiàn)方式（進一步細分為純文本、上圖下文、上文下圖三個水平）。

②實驗被試：隨機選取H學(xué)院小學(xué)教育專業(yè)、教育技術(shù)學(xué)專業(yè)、數(shù)學(xué)與應(yīng)用數(shù)學(xué)專業(yè)的48名本科生作為研究對象。被試的母語背景均為漢語，視力（裸眼或矯正視力）均為正常，按被試間變量（呈現(xiàn)方式）分組。每個被試在實驗結(jié)束后檢查眼動數(shù)據(jù)，按數(shù)據(jù)采樣率≥80%選擇有效數(shù)據(jù)。最終，得到3組有效被試共42人（每組14人，其中男、女各7人）。

③實驗儀器：采用Tobii T120眼動儀，眼動儀集成于顯示器內(nèi)。因此，在實驗過程中，被試無需帶上頭套或固定支架，以保證在自然閱讀的情況下進行實驗，從而采集到更精確的數(shù)據(jù)。

④實驗材料：包括4篇科普文章、2篇預(yù)備材料、2篇正式材料。在實驗材料設(shè)計上，本研究將文章難易等級分為極易、易、難、極難四級，而圖文關(guān)聯(lián)度分為極低、低、高、極高四級。實驗前經(jīng)過兩輪閱讀評估不斷改進實驗材料，統(tǒng)計得到難文章的內(nèi)容難度為難等級；易文章的內(nèi)容難度為易等級，難易文章的圖文關(guān)聯(lián)度均為高等級。與此同時，本研究選用字數(shù)約750字的長文章作為實驗材料，以更好地反映真實的閱讀情境。在左右圖文布局上，長文章一般又可細分為圖片置于左右四個邊角位置。由于左右圖文組與上下圖文組劃分的文字區(qū)在本實驗中無法嚴格比對，故選取上圖下文、上文下圖與純文本三組呈現(xiàn)方式進行研究。

⑤實驗程序：由實驗員引導(dǎo)單個被試進入眼動實驗室進行實驗。實驗開始前，由實驗員向被試說明實驗要求，并進行視線校準。如果校準過程中出現(xiàn)無法排除的問題，則需要替換其他被試進行實驗。校準完畢后，實驗員向被試宣讀指導(dǎo)語：“這是一個關(guān)于閱讀的實驗。請你閱讀4篇科普類難易不同的文章。每篇文章按照先閱讀理解題目、再閱讀文本、最后做題的順序進行。重復(fù)以上步驟，直至完成實驗。”之后，實驗正式開始。

二 實驗分析

本研究使用Tobii T120眼動儀及其配套軟件Tobii Studio 3.3.1采集眼動數(shù)據(jù)，并采用SPSS 17.0軟件從閱讀理解指標、眼動行為指標兩個維度進行統(tǒng)計分析。

表1 閱讀理解指標的數(shù)據(jù)統(tǒng)計結(jié)果

1 閱讀理解指標分析

本實驗的閱讀理解指標包括閱讀成績和閱讀時間。每篇文章閱讀后各有5道單選題，其中識記題占20%，辨析、理解題共占80%。本實驗因各篇文章字數(shù)略有差別，特依據(jù)于鵬等[16]的研究成果，將百字閱讀時間作為閱讀速度的計算標準，計算公式為：閱讀時間/總文字數(shù)量×100（單位為秒）。三組有效被試參與混合實驗后，得到的閱讀理解指標數(shù)據(jù)統(tǒng)計結(jié)果如表1所示。

為進一步分析文章難度與呈現(xiàn)方式對閱讀效果的主效應(yīng)及交互效應(yīng)，本研究對相關(guān)數(shù)據(jù)分別進行了重復(fù)測量方差分析，結(jié)果如下：

（1）閱讀成績

呈現(xiàn)方式在閱讀成績上的主效應(yīng)顯著〔F（2，39）=3.243，P=0.05〕。運用最小顯著性差異法（Least-Significant Difference，LSD）進行比較，本研究發(fā)現(xiàn)：兩個圖文組均與純文本組之間有顯著的差異（P<0.05），說明圖文組閱讀成績顯著優(yōu)于純文本組；上圖下文組與上文下圖組之間的差異不顯著（P>0.05）。文章難度在閱讀成績上的主效應(yīng)顯著〔F（2，9）=25.471，P<0.001〕。

文章難度×呈現(xiàn)方式在閱讀成績上的交互效應(yīng)顯著〔F（2，39）=1.080，P<0.05〕。對交互項進行簡單效應(yīng)分析，本研究發(fā)現(xiàn)：在文章難易水平上，當實驗材料為易文章時，上圖下文組與上文下圖組、上圖下文組與純文本組沒有顯著差異（P>0.05），而上文下圖組顯著優(yōu)于純文本組（P<0.01）；當實驗材料為難文章時，三組均沒有顯著差異（P>0.05）。在呈現(xiàn)方式水平上，當實驗材料為上圖下文時，難、易文章沒有顯著差異（P>0.05）；當實驗材料為上文下圖時，易文章顯著優(yōu)于難文章（P<0.001）；當實驗材料為純文本時，易文章顯著優(yōu)于難文章（P<0.01）。

（2）閱讀時間

呈現(xiàn)方式在閱讀時間上的主效應(yīng)不顯著（P>0.05），文章難度在閱讀時間上的主效應(yīng)顯著〔F（2，39）=32.016，P<0.001〕，而文章難度×呈現(xiàn)方式在閱讀時間上的交互效應(yīng)不顯著（P>0.05）。

2 眼動行為指標分析

由于眼動儀采集的眼動行為指標較多，故本研究根據(jù)實驗的重點，按照閱讀過程（分為對內(nèi)容的初始表征、整合與理解、深入加工等階段）選取以下指標進行分析：首次注視時間（Time to First Fixation）——表征對內(nèi)容的初期加工過程；注視次數(shù)（Fixation Count）、總注視時間（Total Fixation Duration）——表征對內(nèi)容的整體理解過程；回視次數(shù)（Regression Count）——表征對內(nèi)容的深入加工過程；瞳孔直徑（Pupil Dilation）——表征對內(nèi)容處理的認知負荷等。同時，本研究采用Tobii Studio 3.3.1軟件劃分興趣區(qū)（Area of Interest，AOI），將其劃分文字區(qū)與圖片區(qū)，且各組比對的興趣區(qū)面積保持相等。

（1）首次注視時間

呈現(xiàn)方式在文字區(qū)的首次注視時間的主效應(yīng)顯著〔F（2，39）=10.112，P<0.001〕。上圖下文組與上文下圖組、上圖下文組與純文本組的差異顯著（P<0.05），上文下圖組與純文本組之間無顯著差異（P>0.05）。文章難度在文字區(qū)的首次注視時間的主效應(yīng)顯著〔F（2，39）=5.741，P<0.05〕。

文章難度×呈現(xiàn)方式在文字區(qū)的首次注視時間的交互效應(yīng)顯著〔F（2，39）=6.104，P<0.01〕。對交互項進行簡單效應(yīng)分析，本研究發(fā)現(xiàn)：①在呈現(xiàn)方式水平上，當實驗材料為上圖下文時，難、易文章有顯著差異（P<0.001）；當實驗材料為上文下圖或純文本時，難、易文章無顯著差異（P>0.05）。②在文章難易水平上，當實驗材料為易文章時，上圖下文組與上文下圖組、上文下圖組與純文本組均沒有顯著差異（P>0.05）；上圖下文組與純文本組有顯著差異（P<0.05）；當實驗材料為難文章時，上圖下文組與上文下圖組、上圖下文組與純文本組均有顯著差異（P<0.01）；上文下圖組與純文本組無顯著差異（P>0.05）。

（2）注視次數(shù)與總注視時間

呈現(xiàn)方式在文字區(qū)的注視次數(shù)、總注視時間的主效應(yīng)均不顯著（P>0.05）；文章難度在文字區(qū)的這兩個眼動指標的主效應(yīng)均顯著〔F（2，39）=40.761，P＜0.001〕、〔F（2，39）=43.926，P＜0.001〕，表明閱讀難文章對文字的注視程度遠高于閱讀易文章。文章難度×呈現(xiàn)方式在文字區(qū)的這兩個眼動指標的交互效應(yīng)均不顯著（P>0.05）。

呈現(xiàn)方式在圖片區(qū)的這兩個眼動指標的主效應(yīng)均不顯著（P>0.05）。文章難度在圖片區(qū)的這兩個眼動指標的主效應(yīng)均顯著〔F（2，39）=4.238，P=0.05〕、〔F（2，39）=6.105，P＜0.05〕。文章難度×呈現(xiàn)方式在圖片區(qū)的這兩個眼動指標的交互效應(yīng)均不顯著（P>0.05）。

（3）回視次數(shù)

Tobii Studio 3.3.1軟件提供訪問次數(shù)（Visit Count），故回視次數(shù)可看作是訪問次數(shù)－首次注視[17]。呈現(xiàn)方式在圖片區(qū)的回視次數(shù)的主效應(yīng)顯著〔F（2，39）=5.592，P<0.05〕；純文本組無圖片，無需比對；上圖下文組的回視次數(shù)顯著多于上文下圖組。文章難度在文字區(qū)的回視次數(shù)的主效應(yīng)顯著〔F（2，39）=12.882，P=0.001〕。

（4）瞳孔直徑

目前對瞳孔直徑的研究，相關(guān)文獻還較少[18]。Tobii眼動儀記錄左、右眼（PupilLeft和PupilRight）的瞳孔尺寸，本研究從Tobii Studio 3.3.1軟件中導(dǎo)出瞳孔直徑數(shù)據(jù)后，根據(jù)左、右眼代碼的有效性篩選數(shù)據(jù)；之后，對左、右眼的瞳孔尺寸計算整體均值（單位：毫米）后作統(tǒng)計分析，結(jié)果表明：呈現(xiàn)方式在瞳孔直徑上的主效應(yīng)不顯著（P>0.05），文章難度在瞳孔直徑上的主效應(yīng)不顯著（P>0.05），文章難度×呈現(xiàn)方式在瞳孔直徑上的交互效應(yīng)不顯著（P>0.05）。

三 實驗結(jié)論

1 文章難度是影響閱讀理解指標和實驗選取的眼動行為指標的主要因素

本實驗結(jié)果表明，文章難度在閱讀理解指標和本次實驗選擇的各個眼動行為指標（瞳孔直徑除外）的主效應(yīng)均顯著，易文章優(yōu)于難文章——這與程利等[19]、閆國利等[20]的研究結(jié)果一致。在本次實驗材料選用的科普文章中，易文章沒有較難的名詞術(shù)語，對文章內(nèi)容的加工相對簡單；而難文章存在多個較易混淆的名詞術(shù)語，需要深度的認知加工才能清楚地發(fā)現(xiàn)它們之間的差異。

2 呈現(xiàn)方式在閱讀成績、文字區(qū)的首次注視時間、圖片區(qū)的回視次數(shù)的主效應(yīng)顯著

Zhao等[21]對文本、圖像理解中的閱讀方法進行研究后，發(fā)現(xiàn)文本在指導(dǎo)意義的處理中起主要作用，而圖片是信息檢索的外部表示。本研究發(fā)現(xiàn)，學(xué)習(xí)者借助視覺表意的圖片和語義策略的文本，運用雙重通道來表征并建構(gòu)對內(nèi)容的理解，且理解效果較好。此外，由于人的視線軌跡一般遵循從左往右、從上往下的順序，故圖片在上方處于視覺優(yōu)勢區(qū)域，學(xué)習(xí)者在閱讀的初期和整個認知加工過程中對圖片的檢索顯著多于圖片在下方的位置。

3 文章難度×呈現(xiàn)方式在閱讀成績、文字區(qū)的首次注視時間的交互效應(yīng)顯著

本實驗結(jié)果表明，易文章且為上文下圖組的方式，在閱讀成績上的得分顯著優(yōu)于其它組，故針對易文章進行設(shè)計時，上文下圖在實驗的三組呈現(xiàn)方式中是較為優(yōu)化的方式——這與曹衛(wèi)真等[22]通過眼動實驗得出對于理工類大學(xué)生來說上文下圖的搭配方式更有助于其理解的研究結(jié)果相符。通過眼動儀繪制的眼動熱點圖（如圖1、圖2所示），可以發(fā)現(xiàn)圖文組的視線軌跡更趨向于連續(xù)、集中，能幫助學(xué)習(xí)者聚焦到重點內(nèi)容進行意義建構(gòu)。

圖1 純文本組熱點圖

圖2 圖文組熱點圖

此外，在呈現(xiàn)方式水平上，當實驗材料為上圖下文時，難、易文章在首次注視時間上有顯著差異，由此進一步說明，即使圖片處于視覺優(yōu)勢位置，學(xué)習(xí)者閱讀易文章時仍會首先更多地定位于文本區(qū)域去獲取信息。在文章難易水平上，當實驗材料為易文章時，上圖下文組與純文本組有顯著差異；當實驗材料為難文章時，上圖下文組與上文下圖組、上圖下文組與純文本組均有顯著差異，說明當文章的難度變大時，有無圖片以及圖片放置在不同位置均會對首次注視的眼動行為產(chǎn)生顯著的影響。

4 呈現(xiàn)方式、文章難度在瞳孔直徑上的主效應(yīng)和交互效應(yīng)均不顯著

影響瞳孔直徑變化的因素有認知負荷、光線強弱、情緒變化等。因此，在實驗過程中需對光照進行控制，且實驗時間應(yīng)小于視覺疲勞極限（20min）。從認知負荷因素來看，難、易文章造成的瞳孔直徑變化總體不顯著，原因可能在于：一是在實驗材料上，難易文章的級差不太大；二是在施測程序上，難文章放在易文章之后閱讀。王葵等[23]發(fā)現(xiàn)，隨著學(xué)習(xí)次數(shù)的增加，可降低對材料的認知加工難度。值得一提的是，在呈現(xiàn)方式水平上，由于圖片本身的屬性不會發(fā)生改變，故學(xué)習(xí)者受情緒的影響較小。

四 眼動實驗對多媒體閱讀材料設(shè)計的啟示

1 擴展多媒體學(xué)習(xí)的媒體表征形式，多通道、多工具支持內(nèi)容建構(gòu)

在閱讀過程中，難文章建構(gòu)的心理模型比易文章要復(fù)雜得多，但這并不意味著設(shè)計多媒體閱讀材料時，要盡可能地降低文章難度。長期低難度的閱讀會使學(xué)習(xí)者對文本的解讀能力下降，眼動特征呈現(xiàn)同一化傾向[24]，也就是說，即使學(xué)習(xí)者閱讀不同的內(nèi)容，也會產(chǎn)生相似的眼動特征，從而養(yǎng)成淺閱讀習(xí)慣。因此，如何對學(xué)習(xí)內(nèi)容有一定的難度要求卻又能保持較好的理解效果，是一個有待解決的重要問題。為此，本研究建議：①增強學(xué)習(xí)內(nèi)容的多通道感知。近年來隨著微視頻的出現(xiàn)，研究者開始探索對微視頻的眼動行為進行研究，如孫穎飛[25]研究視頻與字幕的空間布局對學(xué)習(xí)效果的影響，曹衛(wèi)真等[26]研究視頻中畫面主體位置的布局等。隨著技術(shù)的發(fā)展，學(xué)習(xí)資源中融合虛擬現(xiàn)實、增強現(xiàn)實等技術(shù)，將進一步加強內(nèi)容載體的多通道性、可理解性。②增強學(xué)習(xí)過程的多工具支持。如在閱讀方面加入做電子筆記、交互的功能，在內(nèi)容方面實現(xiàn)快速檢索與分析，并能隨時隨地保存學(xué)習(xí)資源與路徑，以幫助學(xué)習(xí)者提升學(xué)習(xí)效果。

2 掌握多媒體元素的認知差異，分類設(shè)計呈現(xiàn)方式和閱讀方式

多媒體元素會引起認知差異，如有圖組顯著優(yōu)于無圖組、圖文組的不同呈現(xiàn)方式會產(chǎn)生不同的認知差異。因此，研究者在進行圖文布局時，不僅要注重內(nèi)容與圖片之間的連貫性、整合性等內(nèi)隱要素的設(shè)計，還要考慮多媒體元素在界面中的位置，并據(jù)此合理劃分版面，對圖片大小、相對位置、清晰度、視覺沖擊力等顯性要素進行合理布局。此外，多媒體學(xué)習(xí)可分為瀏覽、檢索與深度閱讀模式[27]，基于此，易文章可被設(shè)計成瀏覽式閱讀模式，以通過快速閱讀掌握信息；難文章可被設(shè)計成深度閱讀模式，并遵循“簡化”原則，盡量刪減與閱讀無關(guān)的內(nèi)容，如復(fù)雜的頁面框架、廣告呈現(xiàn)等；在難文章中還可建立檢索功能，通過檢索閱讀模式對重點語義內(nèi)容進行術(shù)語解釋、信息推送等，以進一步提高查找、解釋信息的便捷性與針對性。

3 考慮多媒體結(jié)構(gòu)間的交互影響，對不同的指標進行分類優(yōu)化

目前，多媒體閱讀材料存在的問題是：不管文章的難度如何，都采用統(tǒng)一的方式呈現(xiàn)。但本研究發(fā)現(xiàn)，要想更有效地呈現(xiàn)信息，需考慮文章難度、呈現(xiàn)方式的交互影響。如在呈現(xiàn)方式上，對有顯著影響的指標給予強化設(shè)計，聚焦、凸顯可視化程度；而對不顯著影響的指標給予弱化設(shè)計，降低不必重點關(guān)注區(qū)域的可視化程度。通過對不同指標的分類優(yōu)化，能有效減少多媒體學(xué)習(xí)資源的存儲量，故有利于解決學(xué)習(xí)資源日益增多而資源存儲空間日益不足的現(xiàn)實矛盾。

[1](美)理查德·E·邁耶著.傅小蘭,嚴正譯.多媒體學(xué)習(xí)[M].北京:商務(wù)印書館,2006:1-272.

[2]Gog T V, Scheiter K. Eye tracking as a tool to study and enhance multimedia learning[J]. Learning & Instruction,2010,(2):95-99.

[3]閻國利.眼動分析法在心理學(xué)研究中的應(yīng)用(修訂版)[M].天津:天津教育出版社,2004:1-420.

[4][8][12]劉世清,周鵬.文本—圖片類教育網(wǎng)頁的結(jié)構(gòu)特征與設(shè)計原則——基于寧波大學(xué)的眼動實驗研究[J].教育研究,2011,(11):99-103.

[5][9][13]劉世清,周鵬.教育網(wǎng)頁的結(jié)構(gòu)差異分析及優(yōu)化設(shè)計——基于文本—動畫類教育網(wǎng)頁的實驗研究[J].教育研究,2012,(6):118-122.

[6][15][19]程利,楊治良.大學(xué)生閱讀插圖文章的眼動研究[J].心理科學(xué),2006,(3):593-596、562.

[7][14][20]閆國利,伏干,白學(xué)軍.不同難度閱讀材料對閱讀知覺廣度影響的眼動研究[J].心理科學(xué),2008,(6):1287-1290.

[10]陶云,申繼亮,沈德立.中小學(xué)生閱讀圖文課文的眼動實驗研究[J].心理科學(xué),2003,(2):199-203.

[11]肖瑞雪,鄭權(quán).多媒體課件中插圖對聽障兒童閱讀影響的眼動研究[J].現(xiàn)代教育技術(shù),2013,(3):45-49.

[16]于鵬,焦毓梅.韓國大學(xué)生同文體漢韓篇章閱讀眼動研究[J].云南師范大學(xué)學(xué)報(對外漢語教學(xué)與研究版),2006,(5):34-38.

[17][24]彭偉.大學(xué)生慣性淺閱讀行為的基本特征與校正方法——基于網(wǎng)絡(luò)文本閱讀的眼動研究[D].寧波:寧波大學(xué),2014:14、24.

[18]鄭玉瑋,王亞蘭,崔磊.眼動追蹤技術(shù)在多媒體學(xué)習(xí)中的應(yīng)用:2005-2015年相關(guān)研究的綜述[J].電化教育研究,2016,(4):68-76.

[21]Zhao F, Schnotz W, Wagner I, et al. Eye tracking indicators of reading approaches in text-picture comprehension[J].Frontline Learning Research, 2014,(11):46-66.

[22]曹衛(wèi)真,殷婷如,邢強,等.常見教學(xué)網(wǎng)頁圖文搭配方式對記憶效果影響的研究[J].電化教育研究,2012,(2):93-100.

[23]王葵,翁旭初.句子學(xué)習(xí)過程中的眼動特征[J].人類工效學(xué),2006,(1):1-3、10.

[25]孫穎飛.MOOC視頻界面布局對學(xué)習(xí)效果影響的眼動研究[D].西安:陜西師范大學(xué),2016:36-39.

[26]曹衛(wèi)真,車笑瓊,祁祿,等.畫面主體位置布局的眼動實驗及對網(wǎng)絡(luò)視頻資源建設(shè)的啟示[J].遠程教育雜志,2013,(5):97-106.

[27]李智曄.多媒體學(xué)習(xí)過程的學(xué)習(xí)行為辨析[J].教育研究,2014,(11):126-130.