空間鄰近對7～9歲兒童圖文閱讀的影響：來自眼動的證據 *

王福興 楊曉夢 范穎平 胡祥恩

(華中師范大學心理學院，武漢 430079)

1 前言

圖文閱讀是一個較復雜的過程，圖文理解的整合模型（integrated model of text and picture comprehension, ITPC）提出圖文加工過程包括：對圖文進行感覺編碼，將信息儲存到工作記憶中進行語義加工，形成概念表征和心理模型，最后結合先前知識存儲到長時記憶中并建立多重心理表征（Schnotz, 2014）。但是傳統的圖文排版（如，文字和圖像為上下或轉頁呈現）會讓學習者產生額外的認知負荷，不利于學習。針對多媒體學習中的圖文加工困難，Mayer和Fiorella（2014）提出了空間鄰近效應（spatial contiguity effect），即書頁或屏幕上相應的圖像和文本鄰近呈現，比圖文遠離呈現更有利于學習者的學習。該效應已在多個學科以及五年級以上的群體中得到驗證，證明了空間鄰近效應的穩健性和普適性（王玉鑫, 謝和平, 王福興, 安婧, 郝艷斌, 2016; Schroeder & Cenkci,2018）。但值得注意的是，以往空間鄰近的研究前提是學習者具備良好的圖文整合能力，那么，對于圖文閱讀經驗相對較少的兒童而言，圖文空間鄰近是否仍然有效呢？

研究表明，圖文空間鄰近能促進高年級小學生的圖文閱讀。五、六年級小學生（11～12歲）學習水循環知識時，圖文鄰近呈現條件下的遠遷移成績比圖文遠離條件下更高（Gordon, Tindall-Ford, Agostinho, & Paas, 2016）。相比中、高年級的小學生，學齡初期兒童處于從僅加工圖像信息到需要加工并整合圖文信息的過渡期，雖然閱讀文本能幫助兒童復習和掌握詞匯，但文本所包含的復雜詞匯和語法可能在他們理解故事情節上增加了困難（Hannus & Hy?n?, 1999; Montag, Jones, &Smith, 2015）。由此可見，對學齡初期兒童來說，圖文表征增加了學習內容本身的復雜性，即增加了內部認知負荷。根據認知負荷理論，學習者的總認知負荷等于內、外認知負荷之和，因此，通過降低外部認知負荷能避免認知負荷超載（Sweller,Ayres, & Kalyuga, 2011）。圖文空間鄰近作為一種能有效降低外部認知負荷的教學設計（Mayer &Fiorella, 2014），或許能降低7～9歲兒童在圖文閱讀中的認知負荷，進而促進學習。

此外，兒童對圖文信息的注意加工能力隨著年齡變化而變化。學前兒童在圖畫故事書閱讀中，對文字區域的注視時間比例僅為5%～6%（Justice, Pullen, & Pence, 2008）。進入小學后，兒童逐漸發展出對文字的精細加工能力和圖文整合能力（如，文字間的回視、圖文間的眼跳）（Roy-Charland, Saint-Aubin, & Evans, 2007; Tighe, Wagner, &Schatschneider, 2015）。而圖文空間鄰近被認為是一種引導注意分配和整合的有效方法，得到了眼動研究的支持，表現為在空間鄰近條件下大學生被試對文本的注視時間更長，注視次數更多，且圖文間的注視點轉換次數也更多（王福興, 段朝輝,周宗奎, 陳珺, 2015; Johnson & Mayer, 2012），但圖文空間位置并不影響4～5歲學前兒童的注意分配模式（Evans & Saint-Aubin, 2005）。結合學齡初期兒童的圖文閱讀特點，空間鄰近會引導兒童產生什么樣的注意加工模式呢？這就需要結合眼動技術進一步驗證。

Cronbach和Snow（1969）提出的能力傾向與教學方法交互作用（aptitude-treatment interactions,ATI）模型認為同一種教學方法（treatment）對不同能力（aptitude）的個體會產生不同的教學效果。一方面，視覺空間能力會影響學習者圖文閱讀過程中的注意分配、圖文表征，在兒童閱讀發展的不同階段作用可能不同（李虹, 舒華, 2009;H?ffler, 2010）。另一方面，學習者需要將新的信息（圖像和文字）保持在工作記憶里進行圖文整合，因此圖文空間鄰近效應也受到個體工作記憶能力的影響（Anmarkrud, Andresen, & Br?ten, 2019;Wiley, Sanchez, & Jaeger, 2014）。基于此，本研究還考察了視覺空間能力和視覺、聽覺工作記憶三種認知能力。元分析結果顯示，空間鄰近效應的效應量在中小學階段隨著年齡降低呈下降趨勢（Schroeder & Cenkci, 2018），因此本研究同時考察了7歲、9歲兩個年齡段的兒童。

綜上，空間鄰近效應在成人中已經非常穩健，但空間鄰近能否促進學齡初期兒童的圖文閱讀仍未知。本研究以剛開始接受正式教育但認知發展尚未完善的7歲、9歲兒童為被試，利用眼動追蹤技術即時反映圖文加工過程（Hy?n?, 2010;van Gog & Scheiter, 2010），探究圖文鄰近對兒童圖文閱讀的影響。根據前文綜述，假設圖文空間鄰近也能促進7～9歲兒童的圖文閱讀，兒童會更多地注意文本信息和進行圖文整合；由于年齡越大其認知發展越成熟，這種現象在9歲兒童中會更加明顯。

2 研究方法

2.1 被試與實驗設計

選取某小學7歲、9歲兒童各25名，實驗中3名被試因眼動采樣率較低（低于75%）被剔除，最終有效被試47名（見表1）。所有被試聽力、語言能力發展正常，視力或矯正視力正常，未參加過類似實驗。采用2（圖文位置：鄰近、遠離）×2（年齡：7歲、9歲）的被試間設計。所有被試均取得家長和學校同意后在實驗室進行測試。

表1 不同條件下被試人數、年齡（M±SD）、識字量（M±SD）及認知能力分數（M±SD）

2.2 材料與儀器

2.2.1 多媒體學習材料

根據7～9歲兒童推薦閱讀圖書和教師訪談結果，選擇《山米的巧克力大禮盒》（[比]麥森 文,[比]沙拉菲丁 圖, 漪然 譯, 湖南少年兒童出版社,2009年版）一文為實驗材料，該材料講述的是巧克力大禮盒在不同人物間傳遞的故事。素材使用獲得出版社的許可。

正式實驗前，請5名閱讀成績中等的7歲兒童閱讀，篩出生字。再由1位小學一年級教師對故事書進行改編，在不影響故事內容的前提下刪除或替換掉生字，并制成識字量表（296個漢字）。學習材料以電子圖片形式呈現，共24頁（不含封面），每張圖片大小為800×680像素，采用Photoshop軟件對故事書中文字的位置進行編排，將文字呈現在人物附近作為空間鄰近組材料，將文字呈現在圖像下方作為空間遠離組材料（見圖1）。每頁的呈現時間依語音解說（女聲）的時間而定。

2.2.2 認知能力測量材料

視覺空間能力：采用侯公林、繆小春、陳云舫、胡世紅和徐微云（1998）測量兒童二維心理旋轉能力的材料，為10張分別由朝向左、右的米老鼠圖片順時針旋轉（-45°、±90°、+135°、+180°）后的變換圖。被試觀看兩張原始圖片30秒后，主試先后隨機出示5張變換圖，要求判斷米老鼠朝左還是朝右。回答正確得1分，回答錯誤或者答不知道得0分，計為視覺空間能力得分（0～5分）。

視覺工作記憶：采用Witteman和Segers（2010）的視覺工作記憶測量材料，共有3張圖片，每張圖片上有10種物體。要求觀看圖片1分鐘后，報告記住的物體。將被試正確報告的平均物體數目計為視覺工作記憶廣度得分（0～10分）。

圖1 學習材料示例

聽覺工作記憶：采用段小菊、施建農和冉瑜英（2009）考察8～11歲兒童聽覺工作記憶的測查程序，將1至9這九個數字隨機排成2至8位的數組，主試以每秒一個數字的速度念，要求被試以倒序復述數字（比如，主試念“1-3-6”，被試應回答“6-3-1”）。將最大復述數字個數計為聽覺工作記憶廣度得分（2～8分）。

2.2.3 細節回憶與主題理解測驗

參照Hannus和Hy?n?（1999）的研究，使用細節回憶測驗考察兒童對故事內容的識記，提問如：“巧克力大禮盒是什么顏色的？”，共有7道題目，17個計分點，共17分。主題理解測驗考察兒童對故事主旨的理解，有3個問題，9個計分點，共9分。由兩名小學教師對測驗結果進行評分，最后取2人的平均分。評分者一致性系數為：細節回憶測驗為0.97，主題理解測驗為0.95（ps＜0.001）。測驗題目的難度和區分度為：p細節回憶=0.68，p主題理解=0.41，D細節回憶=0.51，D主題理解=0.52。一般來說，0.4＜難度系數p≤0.7屬中等難度，區分度D＞0.4說明區分度很好。因此，本研究的兩個測驗屬于中等難度，且區分度較好。

2.2.4 儀器

實驗采用Tobii T120眼動儀（Tobii Technology,Sweden），紅外光角膜反射記錄，采樣率60 Hz，顯示器17英寸（分辨率1024×768像素）。被試頭部由托架固定，可視距離為60 cm，刺激材料的水平視角為23.0度，垂直視角為25.4度。

2.3 程序

學習階段（約9分鐘）：向被試讀指導語：“XXX，你好！接下來你將閱讀一個有趣的故事，在閱讀過程中，希望你能夠集中注意力，頭盡量不要動來動去。看完故事之后，你要回答一些問題。請認真閱讀接下來的故事。”被試表示明白后進行9點校準，校準后開始閱讀故事書。

測驗階段（約3分鐘）：完成細節回憶測驗和主題理解測驗。9歲組兒童采用紙筆測驗，7歲組兒童因書寫能力較差采用口頭報告，之后將語音資料編碼。

認知能力測查（約2分鐘）：依次對兒童的視覺空間能力、視覺工作記憶和聽覺工作記憶進行測查。

識字量測查（約1分鐘）：用識字量表進行識字量測查。

3 結果

3.1 細節回憶測驗和主題理解測驗

將認知能力、識字量、細節回憶和主題理解測驗得分進行相關分析，發現視覺工作記憶與因變量相關顯著（細節回憶：r=0.32；主題理解：r=0.34），且在自變量水平（年齡和圖文位置）上差異不顯著（ps＞0.05）。根據盧謝峰和韓立敏（2007）對協變量的要求，在進一步的分析中將視覺工作記憶作為協變量。

對細節回憶測驗和主題理解測驗進行2（圖文位置：鄰近、遠離）×2（年齡：7歲、9歲）協方差分析。結果表明，在細節回憶測驗上：圖文位置主效應顯著，F(1, 42)=14.50，p＜0.001，=0.26，相比圖文遠離條件，圖文鄰近條件下兒童的細節回憶測驗成績更好；年齡主效應顯著，F(1, 42)=24.58，p＜0.001，=0.34，9歲組比7歲組的細節回憶測驗成績更高；兩者的交互作用不顯著，F(1, 42)=0.72，p＞0.05。在主題理解測驗上：圖文位置、年齡主效應及交互作用均不顯著（ps＞0.05）。進一步采用貝葉斯分析檢驗圖文位置和年齡交互作用不顯著的可靠性，即對比全模型（兩因素主效應+協變量+交互作用）和包含兩因素主效應、協變量的模型，結果同樣支持兩因素交互不顯著（細節回憶測驗：1∶2.09；主題理解測驗：1∶1.89）。測驗成績見表2。

表2 測驗成績與眼動結果（M±SD）

3.2 文字與圖像興趣區的眼動數據

使用Tobii Studio軟件處理眼動數據。首先劃定文字與圖像興趣區（見圖1示例），把注視時間100毫秒及以上的注視點納入分析（Manor &Gordon, 2003）。鄰近組和遠離組圖文興趣區的面積不同，因此將文字區注視時間比例（PFDT，指文字區的注視點持續時間總和與整個材料的注視時間總和的比值）、文字區注視次數比例（PFCT，指文字區的注視點個數與整個材料的注視點個數的比值）作為圖文注意分配的指標，將圖文注視點平均轉換次數作為圖文整合的指標（閆國利等,2013; Alemdag & Cagiltay, 2018; Hy?n?, 2010）。眼動結果見表2。

3.2.1 圖文區域的注意分配

對文字興趣區的注視時間比例、注視次數比例進行2（圖文位置：鄰近、遠離）×2（年齡：7歲、9歲）的方差分析。結果發現，在文字區注視時間比例上，圖文位置主效應顯著，F(1, 43)=7.69，p＜0.01，=0.15，鄰近組的文字區注視時間比例大于遠離組；年齡主效應和交互作用均不顯著（ps＞0.05）。在文字區注視次數比例上，年齡主效應顯著，F(1, 43)=5.21，p＜0.05，=0.11，9歲兒童的文字區注視次數比例顯著高于7歲兒童；圖文位置主效應與交互作用均不顯著（ps＞0.05）。進一步采用貝葉斯分析檢驗了圖文位置和年齡交互作用不顯著的可靠性，結果也支持兩因素交互不顯著（文字區注視時間比例：1∶2.54；文字區注視次數比例：1∶2.90）。由于圖像、文字興趣區占學習材料面積比例之和為1，圖像興趣區的方差分析結果與文字興趣區相同。

3.2.2 圖文區域的注意整合

被試在圖文間的注視點轉換次數最能反映對圖像和文字的整合和理解過程（Alemdag &Cagiltay, 2018）。本研究統計了被試在圖像和文字區域的注視點平均轉換次數（見表2），對此進行2（圖文位置：鄰近、遠離）×2（年齡：7歲、9歲）方差分析。結果發現，圖文位置主效應顯著，F(1, 43)=14.56，p＜0.001，=0.25，相比圖文遠離呈現，圖文鄰近呈現時個體在圖文間的注視點轉換次數更多；年齡主效應顯著，F(1,43)=5.72，p＜0.05，=0.12，9歲兒童的圖文注視點轉換次數顯著多于7歲兒童；交互作用不顯著（p＞0.05）。采用貝葉斯分析結果同樣支持交互作用不顯著（圖文注視點轉換次數：1∶2.31）。

3.3 認知能力和識字量

分別對視覺空間能力、視覺工作記憶、聽覺工作記憶和識字量做2（圖文位置：鄰近、遠離）×2（年齡：7歲、9歲）方差分析。結果發現，在視覺空間能力、聽覺工作記憶和識字量上，年齡主效應均顯著，視覺空間能力：F(1,43)=16.00，p＜0.01，=0.27；聽覺工作記憶：F(1,43)=9.86，p＜0.01，=0.19；識字量：F(1,43)=178.76，p＜0.01，=0.81，進一步分析發現9歲組兒童均優于7歲組兒童；圖文位置主效應和交互作用均不顯著（ps＞0.05）。在視覺工作記憶上，圖文位置主效應與交互作用均不顯著（ps＞0.05）。

4 討論

本研究旨在探討圖文空間鄰近對7～9歲兒童圖文閱讀的影響，結果發現：圖文位置影響兒童對圖畫故事書的注意加工，圖文鄰近組比圖文遠離組在文字區域的注視時間更久，圖文注視點轉換次數更多，細節回憶成績更好，但在主題理解測驗上沒有差異；圖文位置和年齡的交互作用均不顯著。以上結果與研究預期假設部分一致。

相比圖文空間遠離呈現，學習圖文鄰近材料的兒童在細節回憶測驗上成績更高，證實了本研究的實驗假設，并且與以往成人空間鄰近效應的研究結果相一致（王玉鑫等, 2016; Schroeder &Cenkci, 2018）。說明空間鄰近不僅適用于大學生、中學生的學習，還可以促進學齡初期兒童的圖文信息記憶，再次驗證了空間鄰近效應在不同年齡階段群體中的穩健性（王玉鑫等, 2016）。本研究的眼動結果也為空間鄰近影響圖文閱讀的認知加工過程提供了證據，支持了多媒體學習的認知理論（cognitive theory of multimedia learning,CTML）對空間鄰近效應的理論解釋。該理論認為，有意義的學習需要學習者對圖文信息進行選擇、組織和整合（Mayer, 2014）。本研究發現，空間鄰近有助于助于兒童圖文閱讀的信息選擇（對文字區域的注視時間比例更高）和整合（圖文注視點轉換次數更多）。相比于Evans和Saint-Aubin（2005）的研究對象，本研究中的學齡初期兒童已基本能夠閱讀文本（識字量＞93%），圖文鄰近減少了兒童搜索信息的時間，因此對文字區域的注意分配更多，表現出較為成熟的以文字為導向的閱讀特點，有助于對故事細節的記憶（Schmidt-Weigand, Kohnert, & Glowalla, 2010）。

但是本研究并沒有發現空間鄰近能促進兒童的主題理解，未能證實預期假設，并且與成人的相關研究結果不一致（王玉鑫等, 2016; Schroeder &Cenkci, 2018）。導致不一致的原因可能是：第一，本研究編制的主題理解測驗涉及對故事整體的理解，學習者需要記憶并理解學習材料，這對兒童的深層理解和言語表達要求較高。林仲賢、張增慧和韓布新（2002）的研究發現，7～9歲兒童的空間心理旋轉能力開始發展，但仍然處于緩慢發展階段；而視覺工作記憶和聽覺工作記憶大約在11歲和13歲達到成人水平（周世杰, 龔耀先,2004）。空間鄰近仍無法彌補學齡初期兒童的認知發展局限，未能促進主題理解。考慮到其他認知能力，如言語推理能力被認為是三年級閱讀理解的重要預測因子（Tighe et al., 2015），以及兒童的繪本閱讀經驗也可能是影響學習結果的因素，未來研究需要從多個維度來考察學習者個體差異的影響。第二，以往研究大多采用生物學、氣象學等知識性的學習材料（王玉鑫等, 2016），而本研究采用故事性的學習材料，因此無法考察知識的遷移和運用。考慮到故事體裁在文本結構、詞匯多樣性、言語風格等方面與科學知識類材料存在差異（Price, van Kleeck, & Huberty, 2009），未來研究可以探究圖文空間鄰近對學齡初期兒童科學知識圖文閱讀的影響。第三，有研究指出，圖文注視點轉換次數的增加可能表示學習者在圖文整合中存在困難（Anmarkrud et al., 2019;Holsanova, Holmberg, & Holmqvist, 2009）。那么，本研究中圖文鄰近條件下的圖文注視點轉換次數更多，是否說明學齡初期兒童在圖文整合中存在一定的困難，并導致在主題理解測驗上沒有發現空間鄰近效應？未來研究可以結合口頭報告學習難度來進一步探究圖文注視點轉換次數與圖文整合之間的關系（Holsanova et al., 2009）。

本研究發現，不管是學習效果還是眼動結果都沒有發現圖文位置和年齡的交互作用。7歲和9歲兒童的視覺空間能力、聽覺工作記憶和識字量都存在顯著差異，但是這些能力只影響測驗成績和注意加工過程，并沒有對空間鄰近效應產生影響。盡管元分析結果顯示空間鄰近效應的效應量隨著年齡的降低而降低（Schroeder & Cenkci,2018），但由于元分析的結果是基于多個獨立研究得出的，出現這種趨勢的原因可能是高年級學習材料的復雜性更高，空間鄰近更有助于學習（Mayer &Fiorella, 2014），而本研究中7歲和9歲兒童的學習材料相同。因此，未來研究可以增加中學生和成人被試加以驗證。

從實踐的角度，本研究也為兒童的學習材料設計提供了一些參考，設計者應該根據文本內容和版面空間的需求，對插圖和文本進行合理的整合，這樣不僅節省版面空間，還有助于兒童對故事內容的識記。

5 結論

相比于圖文空間遠離，空間鄰近能增加7～9歲兒童對文本區域的注意分配及圖文整合，有助于兒童對知識的識記，但不能促進兒童對知識的理解。總的來說，空間鄰近原則不僅適用于成人的多媒體學習，在兒童多媒體學習中仍然部分適用。