英語多媒體學習中言語關聯手勢對認知負荷的影響*

孫崇勇

（1吉林師范大學教育科學學院，四平　136099）　（2吉林師范大學心理研究所，四平　136099）

英語多媒體學習中言語關聯手勢對認知負荷的影響*

孫崇勇1，2

（1吉林師范大學教育科學學院，四平136099）（2吉林師范大學心理研究所，四平136099）

為了探討英語多媒體學習中言語關聯手勢對認知負荷及學習成績的影響，采用2×2被試間實驗設計。結果發現：該手勢對認知負荷影響的主效應不顯著，但與英語語言技能水平之間存在交互作用，當學生語言技能水平低時，手勢增加了認知負荷，反之，則降低認知負荷；該手勢對句子轉換的成績沒有明顯影響，但在學生語言技能高時能提升理解能力的成績。本研究結果提示，言語關聯手勢的運用有明顯作用，它能提高或降低認知負荷，并對理解能力的成績產生影響，但其大小和方向依賴于學生英語語言技能水平。

言語關聯手勢，認知負荷，多媒體學習，教學設計。

1　引言

目前，多媒體的技術與設備在教學中得到了廣泛的運用，但它們對于學習者來說并不總是有效的，因為教學信息的呈現帶有很多的不確定性。多媒體技術的運用必然帶來教學信息與材料的豐富性，教學中一些信息呈現了，然后又消失了，學習者要充分理解后面的信息必須把剛剛呈現的信息保存在工作記憶中，而人的工作記憶容量是有限的。根據認知負荷理論，這必然會產生比較高的認知負荷（Sweller，1988；Sweller，Van Merrienboer，&Paas，1998）。在學習中，學習者至少會產生三種認知負荷：（1）內在認知負荷，主要受學習者以往知識經驗和學習材料難度的影響；（2）外在認知負荷，也稱無效的認知負荷，主要與教學設計中學習材料的呈現與組織方式有關；（3）相關認知負荷，也稱有效的認知負荷，即學習者在完成某一任務過程中，把剩余的心理資源用到與學習直接相關的認知加工活動時產生的認知負荷 （Sweller，1994；Paas，Renkl，&Sweller，2003）。三種認知負荷相加就是認知負荷總量，即總的認知負荷。如果教學設計得當，學習者的剩余認知資源多，就會產生更多的相關認知負荷。可見，相關認知負荷也可以由教學設計引起，但它對學習是有利的。有研究表明，在多媒體動畫學習中，通過給予不同方式的提示就可以抵消動畫呈現時間過短帶來的負面影響，從而使學習者對動畫的學習更為有效 （De Koning，Tabbers，Rikers，& Pass，2009，2010a）。Spanjers等人 （2012）的研究也發現，動畫的分塊呈現而不是連續呈現，會給予學習者額外的時間來進行必要的認知加工，因而對初學者的學習和認知負荷帶來有利的影響。段朝輝等人 （2013）認為，當動畫呈現速度較慢時，單位信息量分配的加工資源更多，學習者的認知負荷更低，知識的加工程度更深，對知識的理解更好。與單一的形式相比，多媒體雖然能提供豐富多樣的信息呈現方式，但這同時也會占用更多的認知資源，因此就有可能造成認知超負荷，最終對學習效果產生負面影響 （趙立影，2011）。由此看來，外在認知負荷和相關認知負荷的高低都可以由教學設計的不同而改變，依賴于教學設計所采用的形式。

言語關聯手勢 （speech-associated gestures）是伴隨著語言而發出的手勢 （本研究中的手勢均指言語關聯手勢），它是人類交流的普遍特征之一。通過日常觀察我們可以發現，教師在教學中會有意識或無意識頻繁地使用手勢。Goldin-Meadow等人（1993）發現，教師在向學生講授問題解決的有關策略時，手勢語大概占了40%。Flevares和Perry（2001）的研究表明，數學教師平均每10秒鐘使用1次手勢，在1分鐘之內大約使用5～7個手勢。白學軍等人 （2009）對青年教師在教學中手勢使用的調查表明，優秀教師使用手勢的頻率高于一般教師或獲獎等級更低的教師。手勢對信息交流與教學發揮著重要的作用，聽話者可以直接從動作行為中獲取有用的交流信息，說話者可以減輕言語傳遞信息的負擔，彌補言語表達的不足。所以，手勢傳遞的動作信息可以使交流的雙方都為之獲益。朱明泉和張智君 （2007）曾回顧了手部運動與言語的關系研究，認為伴隨著言語產生的有意義手勢可促進詞匯的提取及其言語的加工。Ping和Goldin-Meadow（2008）的研究發現，在學習皮亞杰的守恒任務時，那些可以觀察到導航手勢的學生比那些沒有觀察到手勢的學生成績更高。Skipper等人 （2007）的研究表明，手勢呈現了豐富的視覺信息，從而減少了人們對聽覺信息的提取與語義的選擇，更加有利于雙方的信息交流。多媒體學習材料的呈現方式是影響認知負荷的重要因素之一，它決定了學習材料的外部認知負荷，會極大地影響學習者的學習效果 （段朝輝等，2013）。手勢作為學習材料呈現的要素之一，必然會對認知負荷與學習效果造成影響。李智曄 （2013）認為，現代多媒體學習過程中的信息加工逐漸呈現多通道加工的趨勢，即在雙通道 （聽覺通道與視覺通道）的基礎上還應增加交互通道，也就是通過手勢、觸摸、表情、眼神等交互行為獲得信息的通道。這三個通道雖然相對獨立，在傳遞信息時如果能形成有機的整體，則能賦予學習者認知過程中的主觀能動性，減輕其內部工作記憶中的認知負荷。在有關的數學問題解決研究中，手勢還能有效降低認知負荷，從而促進數學的學習 （Goldin-Meadow，Nusbaum，Kelly，&Wagner，2001）。而在Goldin-Meadow和Butcher（2003）的另一項研究中發現，手勢的運用會給學習者帶來處理與計劃的負荷，任務越難，手勢越多，學習者的認知負荷則越高。根據認知負荷理論，任務的難度和認知負荷關系密切，它會直接影響學習者的內在認知負荷。Yoshioka和Kellerman（2006）曾研究過不同語言水平的瑞典語、法語和荷蘭語的學習者，發現手勢在不同語言文化背景下對認知負荷的影響是有差異的。手勢的發展可能不是線性的，而是如同語言發展一樣是復雜多層的 （楊曉瓊，2011）。另外，Barbieri等人 （2009）的系列實驗研究表明，手勢和言語共享同一個交流系統，其相互作用的基礎是語義一致性。有了這個基礎，手勢就能作為言語表達的輔助及補償工具，激活詞匯通道，幫助詞匯提取。在這個問題上也有不同的觀點，如陳樺等 （2013）認為，手勢與言語雖然共享同一個認知源，但手勢并非總是附屬和補償于言語。可見，手勢對學習者的影響是比較復雜的，可能因人而異，也可能和學習材料的復雜性和類別有關。

目前在國外，關于教學動畫的研究主要集中于以下領域：生物學研究，如心臟是怎樣工作的 （De Koning，Tabbers，Rikers，&Pass，2010b）；自然學，如閃電是怎樣形成的 （Mayer&Moreno，1998）；機械工程學，如鋼琴是怎樣工作的 （Boucheix&Lowe，2010）；運動人體學，如折紙手工 （Wong，Marcus，&Ayres，et al.，2009）；問題解決程序，如概率計算（Spanjers，Van Gog，&Wouters et al.，2012）。上述這些研究主要是運用第一語言獲取教學動畫信息，而很少有研究考慮運用第二語言及手勢的輔助作用來獲取教學動畫中的抽象概念等信息，如語法規則。通過對以往相關文獻的回顧與梳理，我們認為手勢能激發運動系統，降低無效的認知負荷，提高語法動畫學習的有效性。但是，我們還注意到，手勢的這種積極影響并不一定是針對所有的處于不同語言技能水平的學生。至少有這樣兩種可能性存在，即教學動畫中手勢的運用也許對語言技能水平低的學生更為有效，或也許對語言技能水平高的學生更為有效。因為目前在這個領域還沒有先前的研究，我們很難對語言技能水平的影響方向與大小做出判斷，但有一點是明確的，即語言技能水平在未來的研究中應該作為一個重要的變量進行考察。

綜上所述，本研究將在英語多媒體學習中探討手勢的運用對認知負荷與學習成績的影響，以多媒體呈現條件 （有無手勢呈現）和英語語言技能水平為自變量，以認知負荷和學習成績為因變量，研究假設如下： （1）手勢的運用會降低認知負荷，提高學習成績；（2）手勢的運用效果與學生的英語語言技能水平之間產生交互作用，即手勢的運用對于英語語言技能水平不同的學生來說，效果有所不同。

2　研究方法

2.1被試

選取吉林某中學初三兩個平行班共120人，按近三次英語期末考試的平均成績由低到高排列，分別選擇排在前27%和后27%的學生作為語言技能低水平組 （n=32）和語言技能高水平組 （n=32），兩組成績差異顯著 （t=12.47，df=62，p＜0.01）。分別把語言技能高水平組、低水平組隨機分成兩半，再把兩組的一半合為實驗組即手勢組 （n=32），另一半合為控制組即非手勢組 （n=32）。根據被試所在的組別給每名被試隨機編號。實驗組男生15名，女生17名，控制組男生14，女生18名。卡方檢驗的結果表明，各組之間性別分布的差異不顯著 （χ2（3）=0.63，p＞0.05）。被試年齡均在14～16歲之間，平均年齡為（15.23±0.75）歲。所有被試視力 （或矯正視力）正常，均為右利手，且均為自愿參加。

2.2實驗材料

實驗材料包括學習材料與測試材料兩類。

2.2.1學習材料

學習材料為英語語法學習中主動語態與被動語態互相轉換，時態包括一般現在時與現在進行時。

2.2.2測試材料

測試材料包括前測與后測試題、認知負荷測量量表。

前測的目的主要是考察可能影響被試學習主動語態與被動語態句子互相轉換中認知負荷及學習成績的因素情況，包括被試的興趣、求知欲、自信心及對其有用性、難度、理解性的自我評估等6個方面。測試的題目均為陳述句，采用7點量表的形式，讓被試根據自己的實際情況選擇1～7中的一個數，其中，1—最小程度，4—中等程度，7—最大程度。比如 “你對英語中主動語態與被動語態句子互相轉換的興趣是________”。

認知負荷測量量表采用Paas等人編制的心理努力自我評定量表（Paas&Van Merrienboer，1993）。量表實行9級評分制，從 “1—最少努力”到 “9—最大努力”，心理努力的程度依次遞增，目的是測量被試學習過程中認知負荷的大小。該量表的信度較高，內部一致性信度系數α=0.74。

后測試題主要考察被試的主、被動語態句子轉換與理解能力。句子轉化的測試題主要包括把主動語態的語句變成被動語態和把被動語態的句子變成主動語態。如“Many students study English”，“He is often asked a question by the teacher”，“They are holding a sports meeting now”，“The room is being painted by some workers now”等。理解能力主要測試被試對句子結構、轉換邏輯程序的理解，如 “這個句子的主語是什么”， “當你把主動語態句子轉換成被動語態時，應該怎么做”，“當一個句子變為被動語態后，原句子的主語則變成了新句子的什么成分”等。句子轉換與理解能力測試題均為10小題，每小題1分，最后取平均成績作為被試句子轉換與理解能力的成績。

2.3實驗設計

采用2×2的被試間實驗設計。自變量有兩個，第一個是英語語言技能水平，包括高與低兩個水平；第二個是多媒體呈現條件，包括有手勢呈現與無手勢呈現兩個水平。兩個自變量均為被試間因素。因變量是測量的各項指標，包括前測成績、認知負荷測量指標與后測成績。

實驗在該校的微機室進行，每名被試隨機選擇一臺電腦，輸入自己的編號進入實驗程序。實驗開始前，主試向被試介紹注意事項，要求被試按照指導語完成實驗。指導語在電腦上呈現，被試在完全理解指導語后按Enter鍵開始實驗。實驗共分三個階段，第一階段為前測，第二階段為材料學習與認知負荷測量，第三階段為后測。前測試題利用E-prime 2.0心理實驗專用軟件呈現，各小題的呈現順序隨機，呈現時間均為30秒，被試根據自己的實際情況按1～7鍵中的某個鍵。前測完畢后，休息30秒后進入第二階段。

學習材料采用PPT幻燈片的形式呈現，一共有4張幻燈片，每張呈現時間為90秒。其中，前面兩張呈現英語教學中一個陳述句怎樣由主動語態變成被動語態，后面兩張則呈現怎樣由被動語態變成主動語態。每張幻燈片都伴有轉換步驟的語音解說。在手勢組，幻燈片中都可以看見一只手。手的位置是動態的，隨解說的內容變化而做相應的移動。在非手勢組，除了不顯示手勢之外，其他條件和手勢組一樣。兩個組分別有一半的被試先呈現前面兩張幻燈片，再呈現后面兩張；另一半的被試呈現順序則相反。在每張幻燈片呈現后，要求被試做認知負荷測量，量表為紙質材料，指導語為 “在剛剛的幻燈片學習過程中，你投入了多少心理努力？”。被試一共做4次測量，其平均成績作為認知負荷測量指標。該階段測試完畢后，休息60秒，進入第三階段。

后測試題也由E-prime 2.0軟件呈現，順序也是隨機的，每小題的呈現時間均為60秒。題目呈現后，要求被試把答案寫在事先準備的空白紙上。整個實驗過程大約30分鐘。全部測試完成后，被試將獲得一份小禮品。

3　結果

3.1前測結果

對前測中手勢組與非手勢組的影響因素進行分析，描述性結果如表1所示。

以多媒體呈現條件與英語語言技能水平為自變量，分別以各影響因素為因變量，作二因素方差分析。結果顯示，多媒體呈現條件與英語語言技能水平 （難度除外）的主效應及其交互效應均不顯著 （p＞0.05）。

3.2認知負荷與學習成績測量結果

對各組被試的認知負荷與學習成績進行分析，描述性結果如表2所示。

表2　各組認知負荷與學習成績測量的描述性結果 （M±SD）

以英語語言技能水平和多媒體呈現條件為自變量，以認知負荷為因變量，進行二因素方差分析（表3）。結果顯示，英語語言技能水平的主效應顯著，F（1，60）=104.07，p＜0.001，η2=0.63；多媒體呈現條件的主效應不顯著 （p＞0.05）；兩者的交互效應顯著，F（1，60）=16.08，p＜0.001，η2=0.21。

表3　認知負荷的二因素方差分析結果

二因素交互效應分析的結果表明 （表4），多媒體呈現條件的處理效應在英語語言技能兩個水平上的差異均顯著，F低（1，30）=8.60，p＜0.01，η2=0.22，手勢組 （4.15±0.62）顯著高于非手勢組 （3.56±0.51）；F高（1，30）=7.49，p＜0.05，η2=0.20，手勢組 （2.26± 0.45）顯著低于非手勢組 （2.74±0.55）。

表4　多媒體呈現條件在英語語言技能兩個水平上的認知負荷簡單效應檢驗

以英語語言技能水平和多媒體呈現條件為自變量，分別以句子轉換和理解能力的成績為因變量，進行二因素方差分析。結果表明，在句子轉換成績上，英語語言技能水平的主效應顯著，F（1，60）= 32.59，p＜0.001，η2=0.35，高水平組 （7.84±1.08）顯著高于低水平組 （6.31±1.06）；多媒體呈現條件的主效應與交互效應均不顯著 （p＞0.05）。在理解能力成績上，英語語言技能水平的主效應顯著，F（1，60）=17.55，p＜0.001，η2=0.23；多媒體呈現條件的主效應不顯著 （p＞0.05）；兩者的交互效應顯著，F（1，60）=7.35，p＜0.01，η2=0.11。簡單效應檢驗的結果表明，多媒體呈現條件的處理效應只在高水平組有顯著差異，F高（1，30）=4.85，η2=0.12，p＜0.05，手勢組 （7.94±1.18）顯著高于非手勢組（7.06± 1.06）；在低水平組上的差異不顯著（p＞0.05）。

4　討論

4.1言語關聯手勢對認知負荷的影響分析

本項研究考察了在英語多媒體學習環境下言語關聯手勢對學生認知負荷及其學習效果的影響，從前測的結果來看，英語語言技能水平高低兩組因為技能水平本身的差異，在難度估計上相應地也表現出差異，但與多媒體呈現條件之間并沒有產生交互效應。總的來說，手勢組與非手勢組的認知負荷與學習結果沒有受到學生的興趣、求知欲等因素的影響，或對兩個組的影響趨于相等。從認知負荷的測量結果來看，手勢對認知負荷影響的主效應不顯著，但這并不意味著手勢對認知負荷就一定沒有影響。根據統計學原理，當某個自變量的主效應不顯著時，有可能是受到了交互效應的影響，交互效應可能會掩蓋或歪曲該自變量的效應。果不其然，手勢與英語語言技能水平之間的確存在交互作用。進一步的簡單效應檢驗發現，當學生英語語言技能水平低時，手勢增加了認知負荷；當學生英語語言技能水平高時，手勢降低了認知負荷。從這一點看，只是部分地驗證了前面的研究假設。

在英語多媒體學習中，學生往往是在聽著聲音解說的同時，還要看著幻燈片中的內容。本研究中，手勢組的學生除了要觀看句子轉換的文本內容外，還得觀察隨著解說與文本內容而不斷變化的手勢，這可能使他們投入了更多的注意資源，但也可能分散他們的注意力。根據認知負荷理論，外在認知負荷主要與學習材料的組織與呈現有關。所以，幻燈片中手勢的出現會導致外在認知負荷的增加。增加的外在認知負荷需要占據人的工作記憶容量，但對于英語語言技能水平高的學生而言，他們可能有著相對充足的工作記憶容量，單位信息量分配的加工資源更多，能夠用于對知識的加工與理解，使之在一定程度上降低了問題的難度，認知負荷也就隨之減少。另外，本研究中的手勢包含著一些語法規則的程序信息，能夠幫助學習者加工處理問題，這與Goldin-Meadow等人 （2001）關于數學問題解決研究的結果是一致的。有研究還發現，多媒體動畫通過呈現手勢或讓學習者做出各種手勢能激活人的鏡像神經元 （mirror neurons），從而促進學習，即使是對非動作任務，如數學或語法任務也是這樣的 （De Koning&Tabbers，2011）。鏡像神經元于20世紀末才被發現，一般認為人腦中存在的鏡像神經元具有直覺和視覺思維的本質特征，它的功能與人類的認知能力、模仿能力密切相關。那些語言技能水平高的學生學習語法技能時，他們有足夠的認知資源用于手勢與言語之間的交流，并能有效激活鏡像神經元，從而在一定程度上會降低學習材料的難度與復雜性，這就降低了內在認知負荷，也就降低了總的認知負荷。而目前的測量技術還很難把三種認知負荷區分開來，一般認為PAAS自評量表測量的結果是總的認知負荷。但對于英語語言技能水平低的學生而言，他們的工作記憶容量相對較少，則容易產生 “冗余效應”。一方面，對手勢的加工提取需要心理努力和占據著他們相對較少的認知資源，這會干擾新圖式的構建與強化，引發額外的認知負荷；另一方面，手勢運用者很難保證每一個單獨的手勢都是有意義的，這樣則容易造成視覺通道的資源競爭，因此產生較高的認知負荷。

4.2言語關聯手勢對學習成績的影響分析

從英語多媒體學習效果的測量結果來看，手勢對句子轉換的成績沒有顯著影響。這與本研究最初的假設不相符，也與以往研究有所不同。Kelly等人 （2008）從認知神經科學、發展心理學與教育學的多維視角分析，認為手勢對于語言學習很有益處，可以幫助學生理解抽象概念的含義，評估學生所掌握的知識；手勢對語法教學亦有顯著效果（Churchill et al.，2010）。本研究中，句子轉換的測試題內容雖然不能直接從學習材料中找到現成的答案，即使學習者有個別地方不太懂，但他們完全可以通過模仿而獲知答案，它們不需要學習者進行深層次的認知加工。據此做出推測，手勢可能只對需要深層次加工的知識起作用，而對表層知識并沒有太大的幫助。所以，手勢對句子轉換的成績沒有顯著影響，但對學習者需要掌握原理性內容的理解能力成績有一定的影響。

在對理解能力成績的影響上，手勢與英語語言技能存在交互作用，當英語語言技能高時手勢能提高理解能力的成績，但在英語語言技能低時影響不明顯，這和前面的研究假設基本相符。對于英語語言技能水平高的學生而言，手勢的運用降低了認知負荷，使他們有足夠的認知資源用于手勢與言語之間的交流以及詞匯的提取；同時，他們還能充分發揮自己的主觀能動性，把當前的學習內容與已有的認知結構或圖式相結合，從而提高了學習者的英語語法理解能力的成績。本研究中，英語語法理解能力主要是測試被試對句子結構、轉換邏輯程序的理解，基于理解能力，學習者還可以觸類旁通、舉一反三，發生學習的遷移功效，因此學生理解能力的成績與遷移成績是密切相關的。Deleeuw和Mayer（2008）認為，遷移成績的高低可以作為相關認知負荷的指標。另外，由于手勢對語言技能水平高的學生來說降低了認知負荷，從而使他們有可能對學習本身的內容投入更多的注意力。Cierniak等人（2009）和Kalyuaga（2011）都強調，注意力水平的高低也是與相關認知負荷密切相關的。可見，由于自身具備了較為豐富的先前知識經驗以及手勢的輔助作用，語言技能水平高的學生內在認知負荷與外在認知相對較低，相關認知負荷則相對較高。而根據認知負荷理論，相關認知負荷是有效的認知負荷，是對學習有利的。對語言技能水平低的學生來說，手勢的運用增加了他們的認知負荷，從理論上來說這會損害他們的學習。但在本研究中，手勢對英語語言技能水平低的學生理解能力成績的影響不明顯，這可能是由于理解能力測試的題目對于他們來說還不太難，增加的認知負荷還沒有造成他們的較高負荷或超負荷，也就是說，雖然手勢提高了他們的認知負荷，但還沒有達到影響他們理解能力成績的程度。

當然，關于手勢對句子轉換與理解能力成績影響不一致的原因除了以上分析的因素之外，還可能受到了學習材料的類型影響，如前人有研究發現，動畫材料的不同會影響學習者的知覺模式 （Morrison，Tversky，&Betrancourt，2000）；或者還有其他的原因，這些都需要進一步的研究證實。

5　結論

本研究探討了言語關聯手勢對英語多媒體學習環境中的認知負荷與學習效果的影響，在本實驗條件下得出以下結論：該手勢的運用有明顯作用，它能提高或降低認知負荷，并對理解能力的成績產生影響，但這些影響的大小和方向依賴于學生英語語言技能的不同水平。

白學軍，梁菲菲，張濤，田麗娟，文宇翔，陳宗陽.（2009）.不同獲獎等級青年教師手勢語的量化研究.寧波大學學報（教育科學版），31（4），48-53.

陳樺，顧琰，左瀚.（2013）.手勢與言語的關系論.外國語，36（5），50-58.

段朝輝，顏志強，王福興，周宗奎.（2013）.動畫呈現速度對多媒體學習效果影響的眼動研究.心理發展與教育，29（1），46-53.

李智曄.（2013）.多媒體學習的認知—傳播模型及其基本特征.教育研究，35（8），112-116.

楊曉瓊.（2011）.國外手勢與二語習得研究的進展.外國語文，27（3），89-93.

趙立影.（2011）.基于工作記憶的多媒體學習設計.電化教育研究，32（8），98-102.

朱明泉，張智君.（2007）.言語與手部運動關系的研究回顧.心理科學進展，15（1），88-93.

Barbieri，F.，Buonocore，A.，Volta，R.D.，&Gentilucci，M.（2009）. How symbolic gestures and words interact with each other. Brain and Language，110（1），1-11.

Boucheix，S.C.，&Lowe，R.K.（2010）.An eye tracking comparison of external pointing cues and internal continuous cues in learning with complex animations.Learning and Instruction，20（2），123-135.

Churchill，E.，Okada，H.，Nishino，T.，&Atkinson，D.（2010）. Symbiotic gesture and the sociocognitive visibility of grammar in second language acquisition.The Modern Language Journal，94（2），234-253.

Cierniak，G.，Scheiter，K.，&Gerjiets，P.（2009）.Explaining the split-attention effect：Is the reduction of extraneous cognitive load accompanied by an increase in germane cognitive load？. Computers in Human Behavior，25（2），315-324.

De Koning，B.B.，&Tabbers，H.K.（2011）.Facilitating understanding of movements in dynamic visualizations：An embodied perspective.Educational Psychology Review，23（4），501-521.

De Koning，B.B.，Tabbers，H.K.，Rikers，R.M.J.P.，&Pass，F.（2009）.Towards a framework for attention cueing in instructional animations：Guidelines for research and design.Educational Psychology Review，21（2），113-140.

De Koning，B.B.，Tabbers，H.K.，Rikers，R.M.J.P.，&Pass，F.（2010a）.Learning by generating vs.Receiving instructional explanations：Two approaches to enhance attention cueing in animations.Computers&Education，55（2），681-691.

De Koning，B.B.，Tabbers，H.K.，Rikers，R.M.J.P.，&Pass，F.（2010b）.Attention guidance in learning from a complex animation：Seeing is understanding？.Learning and instruction，20（2），111-122.

DeLeeuw，K.E.，&Mayer，R.E.（2008）.A comparison of three measures of cognitive load，evidence for separable measures of intrinsic，extraneous，and germane load.Journal of Educational Psychology，100（1），223-234.

Flevares，L.M.，&Perry，M.（2001）.How many do you see？The use of nonspoken representations in first grade mathematics lessons.Journal of Educational Psychology，93（2），330–345.

Goldin-Meadow，S.，&Butcher，C.（2003）.Pointing:Where language，culture，and cognition meet.In S.Kita，Pointing toward two word speech in young children（pp.85-107）.Hillsdale，NJ：Lawrence Erlbaum Associates.

Goldin-Meadow，S.，Nusbaum，H.，Garber，P.，&Church，R.B.（1993）.Transitions in learning：Evidence for simultaneously activated strategies.Journal of Experimental Psychology:Human Perception and Performance，19（1），91-107.

Goldin-Meadow，S.，Nusbaum，H.，Kelly，S.D.，&Wagner，S.（2001）.Explaining math：Gesturing lightens the load.Psychological Science，12（6），516-522.

Kalyuaga，S.（2011）.Cognitive load theory：How many types of load does it really need？.Educational Psychology Review，23（1），1-19.

Kelly，S.D.，Manning，S.M.，&Rodak，S.（2008）.Gesture gives a handtolanguageandlearning，Perspectivesfromcognitive neuroscience，developmentalpsychologyandeducation.Language and Linguistics Compass，2（4），569-588.

Mayer，R.E.，&Moreno，R.（1998）.A split-attention effect in multimedia learning：Evidence for dual processing systems in working memory.Journal of Educational Psychology，90（2），312-330.

Morrison，J.B.，Tversky，B.，&Betrancourt，M.（2000）.Animation: Does it facilitate learning.Paper presented at the 2000 AAAI Spring Symposia，Palo Alto，California.

Paas，F.，&Van Merrienboer，J.J.G.（1993）.The efficiency of instructional conditions：An approach to combine mental effort and performance measures.Human Factors，35（4），737-743.

Paas，F.，Renkl，A.，&Sweller，J.（2003）.Cognitive load theory andinstructionaldesign：Recentdevelopments.Educational Psychologist，38（1），1-4.

Ping，R.M.，&Goldin-Meadow，S.（2008）.Hands in the air：Using ungrounded iconic gestures to teach children conservation of quantity.Development Psychology，44（5），1277-1287.

Skipper，J.I.，Goldin-Meadow，S.，Nusbaum，H.C.，&Small，S.L.（2007）.Speech-associated gestures，Broca′s area，and the human mirror system.Brain and Language，101（3），260-277.

Spanjers，I.A.E.，Van Gog，T.，Wouters，P.，&Van Merrienboer，J.J.G.（2012）.Explaining the segmentation effect in learning from animations：The role of pausing and temporal cueing. Computer&Education，59（2），274-280.

Sweller，J.（1994）.Cognitive load theory，learning difficulty，an instructional design.Learning and Instruction，4（4），295-312.

Sweller，J.（1988）.Cognitive load during problem solving，effects on learning.Cognitive Science，12（2），257-285.

Sweller，J.，Van Merrienboer，J.J.G.，&Paas，F.（1998）.Cognitive architecture and instructional design.Educational Psychology Review，10（3），251-296.

Wong，A.，Marcus，N.，Ayres，P.，Smith，L.，Copper，G.A.，&Paas，F.，et al.（2009）.Instruction animations can be superior to statics when learning human motor skills.Computers in Human Behavior，25（2），339-347.

Yoshioka，K.，&Kellerman，E.（2006）.Gesture Introduction of Ground Reference in L2 Narrative Discourse.International Review of Applied Linguistics，44（2），171-193.

To explore the influence of speech-associated gestures on cognitive load and performance in English multimedia learning，the research used a 2×2 design with two between-subjects factors being level of English language skills and multimedia presentation of language learning material.The results showed that：1）there was no main effect of speech-associated gestures on cognitive load，but there was interaction effect between the gestures and the level of English language skills.When the level of English language skills was high，the gestures decreased cognitive load；otherwise，they increased it.2）The speech-associated gestures had no significant influence on the performance of sentence transformation，but they could increase that of comprehension ability when the level of English language skills was high.The findings suggest that the utilization of speech-associated gestures has an obvious effect in English multimedia learning，which can increase or decrease cognitive load of learners，and has an influence on their performance of comprehension ability.However，degree and direction of the effect depend on the level of learners′English language skills.

The Influence of Speech-Associated Gestures on Cognitive Load in English Multimedia Learning

Sun Chongyong1，2
（1 School of Educational Sciences，JiLin Normal University，Siping136099；2 Institute of Psychology，JiLin Normal University，Siping136099）

speech-associated gesture，cognitive load，multimedia learning，instructional design.

B842

2015-1-1

教育部人文社會科學研究規劃基金項目 （15YJA880056）。

孫崇勇，E-mail：scyjlnu@aliyun.com。