淺析多模態(tài)形式對(duì)二語(yǔ)學(xué)習(xí)的影響

范 玲，羅瑩瑩，包 威，高戰(zhàn)榮

（黑龍江大學(xué)應(yīng)用外語(yǔ)學(xué)院，哈爾濱 150080）

計(jì)算機(jī)媒體作為表達(dá)信息的物理工具極大地豐富了話語(yǔ)交際中的模態(tài)類型，讓多模態(tài)化的信息輸入更具可行性，在二語(yǔ)學(xué)習(xí)中發(fā)揮著重要作用。我國(guó)著名學(xué)者張德祿認(rèn)為，多模態(tài)交際能夠使受話人通過多通道獲得信息，從而使學(xué)習(xí)者從內(nèi)心愿意從事語(yǔ)言學(xué)習(xí)活動(dòng)，把外因轉(zhuǎn)化為內(nèi)因，激發(fā)交際者交際的興趣和熱情等［1］。顧曰國(guó)教授從認(rèn)知心理學(xué)的角度，對(duì)基于計(jì)算機(jī)多媒體材料的多模態(tài)學(xué)習(xí)做過詳細(xì)分析，并提出計(jì)算機(jī)多媒體、多模態(tài)互動(dòng)學(xué)習(xí)從輸入到產(chǎn)出之間的模態(tài)搭配與學(xué)習(xí)效果是一項(xiàng)亟待深入研究的重大基礎(chǔ)課題［2］。

一、多模態(tài)與多媒體

在信息認(rèn)知過程中，人們能夠以多種感知形式認(rèn)知信息。多種符號(hào)資源在語(yǔ)言交際中的運(yùn)用可以被視為話語(yǔ)的“多模態(tài)性”。多模態(tài)與多媒體是兩個(gè)不同的概念，多模態(tài)是指語(yǔ)言、圖像、聲音、動(dòng)作等用以交際和意義構(gòu)建的符號(hào)資源;多媒體是人與人之間實(shí)現(xiàn)信息交流應(yīng)用的多種載體，也被稱為多媒介。簡(jiǎn)單來說，人們的視覺、聽覺、觸覺等多種感知模式是通過眼睛、耳朵、鼻子等多種媒體形式實(shí)現(xiàn)的。現(xiàn)代化的媒體技術(shù)手段實(shí)現(xiàn)了人們交際方式的多元化，也促成了多種交際模態(tài)的融合。多模態(tài)話語(yǔ)理論能夠通過對(duì)多元化符號(hào)系統(tǒng)的意義解讀，更加準(zhǔn)確理解掌握交際中的話語(yǔ)信息。

二、單模態(tài)與多模態(tài)的比較研究

法國(guó)里昂第二大學(xué)語(yǔ)言中心的Nicolas Guichon等學(xué)者就多模態(tài)形式對(duì)二語(yǔ)學(xué)習(xí)的影響做過專門研究。他主要分析了以計(jì)算機(jī)媒體作為信息平臺(tái)的多模態(tài)形式對(duì)二語(yǔ)學(xué)習(xí)者理解真實(shí)口語(yǔ)材料的影響，不同模態(tài)形式如圖像、字幕等在二語(yǔ)學(xué)習(xí)中的優(yōu)點(diǎn)與局限性，并通過評(píng)估學(xué)生的文本結(jié)果判斷不同模態(tài)形式對(duì)理解的干擾程度。

這項(xiàng)研究共包含四種模態(tài)呈現(xiàn)方式:M1——音頻;M2——視頻與音頻;M3——視頻、音頻與目標(biāo)語(yǔ)字幕;M4——視頻、音頻與母語(yǔ)字幕。研究對(duì)象是學(xué)校同一年級(jí)中挑選的40位非英語(yǔ)專業(yè)的學(xué)生，他們?cè)谟⒄Z(yǔ)水平測(cè)試中的成績(jī)均處于中等水平。研究將40位學(xué)生分成四組，分別采用不同的模態(tài)形式進(jìn)行測(cè)試。測(cè)試的內(nèi)容是一段3分鐘長(zhǎng)的BBC英語(yǔ)新聞，講述了一對(duì)生活在華盛頓特區(qū)郊區(qū)的夫婦的家庭生活情況。測(cè)試時(shí)間定在上午，四組對(duì)象進(jìn)行的實(shí)驗(yàn)步驟完全一致:首先由教師以母語(yǔ)講解測(cè)試的內(nèi)容和目標(biāo);然后第一次播放新聞（允許學(xué)生以母語(yǔ)或目標(biāo)語(yǔ)記筆記）;給學(xué)生4分鐘時(shí)間整理筆記;第二次播放新聞（允許學(xué)生以母語(yǔ)或目標(biāo)語(yǔ)記筆記）;最后20分鐘寫出目標(biāo)語(yǔ)的新聞概要。所有學(xué)生最后完成的有效語(yǔ)義數(shù)量作為對(duì)衡量學(xué)習(xí)效果的指標(biāo)。英語(yǔ)新聞文本被劃分為35組語(yǔ)義單位（35 items），囊括了新聞中的所有主要信息。Baltova在加拿大的一項(xiàng)二語(yǔ)學(xué)習(xí)研究也采用了類似的評(píng)估形式。考慮到信息認(rèn)知量和母語(yǔ)—目標(biāo)語(yǔ)的干擾因素，文本形式能夠較為客觀地體現(xiàn)出學(xué)生在不同模態(tài)形式下對(duì)相同信息接收程度上的差異。研究結(jié)果主要是計(jì)算學(xué)生概要寫作中所包含的有效語(yǔ)義單位的數(shù)量，四種不同模態(tài)條件下學(xué)生獲取的有效語(yǔ)義數(shù)量分別達(dá)到了19.7%、25.1%、30.2% 和29.7%，其中M3——視頻、音頻與目標(biāo)語(yǔ)字幕的測(cè)試結(jié)果最佳。結(jié)果表明:

1.輸入相同信息的前提下，與單模態(tài)相比，研究對(duì)象在多模態(tài)條件下的學(xué)習(xí)效果表現(xiàn)明顯優(yōu)異。這與Mayer提出的多媒體原則一致。他認(rèn)為學(xué)習(xí)中詞語(yǔ)與畫面組合的學(xué)習(xí)效果要優(yōu)于單一的詞語(yǔ)學(xué)習(xí)。

2.圖像在信息認(rèn)知過程中具有重要作用，但不能與學(xué)習(xí)效果成正比。M1的學(xué)生大多無法準(zhǔn)確判別items 3和4（主要人物）以及item 23（工作地點(diǎn)），而 M2、M3、M4的研究對(duì)象在圖像的輔助作用下這三組語(yǔ)義單位表現(xiàn)優(yōu)異。但M1在items 15，16和 20的表現(xiàn)明顯好于M2、M3、M4，原因在于這部分內(nèi)容的圖像與音頻信息沒有保持一致，影響了大部分受試學(xué)生的判斷。這種圖像中的冗余信息是多模態(tài)認(rèn)知中的常見問題。Mayer和Moreno指出，學(xué)習(xí)者不會(huì)為了避免認(rèn)知超載而忽視已經(jīng)呈現(xiàn)的冗余內(nèi)容，冗余的設(shè)計(jì)違背了人類認(rèn)知學(xué)習(xí)過程，阻礙學(xué)習(xí)者對(duì)知識(shí)信息的有效加工。

3.字幕在信息認(rèn)知中具有關(guān)鍵作用，但字幕的不同形式對(duì)信息的接受性和產(chǎn)出性的影響也有差異。M1和M2的受試學(xué)生在items 6和14的信息認(rèn)知上成功率較低，甚至沒能判斷出item 14中的母語(yǔ)詞匯，而M3和M4條件下的學(xué)生在這兩組語(yǔ)義單位上的成功率較高，證明字幕幫助兩組學(xué)生確認(rèn)了相關(guān)信息。但M4的母語(yǔ)字幕對(duì)信息認(rèn)知也具有一定的負(fù)面影響。法語(yǔ)與英語(yǔ)部分單詞形似，M4學(xué)生的測(cè)試結(jié)果被母語(yǔ)字幕嚴(yán)重干擾，大量與法語(yǔ)字幕形似的英語(yǔ)單詞被運(yùn)用。例如item 25中“self－employed”在法語(yǔ)字幕中被譯為“indépendant”，因此M4一半的學(xué)生寫作中使用了英語(yǔ)單詞independent。由此說明學(xué)生過多地關(guān)注母語(yǔ)字幕，忽略了音頻信息，造成了詞匯準(zhǔn)確度偏低的問題。

三、多模態(tài)形式在二語(yǔ)學(xué)習(xí)中的應(yīng)用原則

基于法國(guó)里昂第二大學(xué)語(yǔ)言中心的Nicolas Guichon等學(xué)者進(jìn)行的不同多模態(tài)形式對(duì)二語(yǔ)學(xué)習(xí)者的學(xué)習(xí)效果差異研究，應(yīng)用多模態(tài)形式的二語(yǔ)學(xué)習(xí)應(yīng)遵循以下幾條原則:

1.信息呈現(xiàn)的多模態(tài)性

Mayer認(rèn)為，人類在工作記憶中主要通過聽覺/言語(yǔ)通道和視覺/圖像通道完成信息加工。聲音和圖像作為不同的符號(hào)系統(tǒng)，分別屬于不同記憶系統(tǒng)并采用不同的編碼形式。國(guó)內(nèi)外大量研究表明，人們記憶加工過程中采用雙重編碼形式的效果一般要優(yōu)于單一的編碼形式。因此，多媒體課堂中的信息呈現(xiàn)方式應(yīng)充分利用視覺和聽覺等多種模態(tài)結(jié)合形式。目前，國(guó)內(nèi)的二語(yǔ)教學(xué)尤其是聽力教學(xué)信息呈現(xiàn)方式較為單一，沒有能夠充分利用多媒體網(wǎng)絡(luò)平臺(tái)資源。多媒體課堂的二語(yǔ)多模態(tài)化教學(xué)勢(shì)在必行。視聽結(jié)合的語(yǔ)料不僅能夠讓學(xué)習(xí)者通過接收信息的多樣化通道充分發(fā)揮工作記憶的雙重編碼功能，獲取較好的學(xué)習(xí)效果，而且多媒體資源營(yíng)造的真實(shí)語(yǔ)境和言語(yǔ)交際環(huán)境可以增加可理解性信息的輸入，大大提升成功語(yǔ)言習(xí)得的可能性。

2.模態(tài)形式的互補(bǔ)性

張德祿提出:“典型的多模式話語(yǔ)模式是一種模態(tài)的話語(yǔ)不能充分表達(dá)其意義，或者無法表達(dá)其全部意義，需要借助另一種來補(bǔ)充，我們把這種模態(tài)之間的關(guān)系稱為互補(bǔ)關(guān)系，而把其他的稱為非互補(bǔ)關(guān)系。”［3］多模態(tài)形式的運(yùn)用應(yīng)遵循互補(bǔ)性原則，也就是運(yùn)用多種模態(tài)形式間的信息互補(bǔ)或者強(qiáng)化實(shí)現(xiàn)信息的有效輸入，反之，則事倍功半。Nicolas Guichon的研究結(jié)果表明，圖像的數(shù)量與學(xué)習(xí)效果并不成正比，其中一個(gè)重要原因在于部分模態(tài)形式間沒有互補(bǔ)，而是出現(xiàn)了排斥甚至抵消的現(xiàn)象。由此造成的冗余信息讓學(xué)習(xí)者在認(rèn)知過程中注意力分散，從而影響了學(xué)習(xí)效果。Wichens將人們的注意力形容為“選擇信息源作加工處理的探照燈”和“有限的空白資源”，這說明了人們注意力的選擇性和有限性。形式不同的信息量越多，注意力的選擇難度就越大，對(duì)學(xué)習(xí)效果越有損害。因此，多模態(tài)化的教學(xué)信息呈現(xiàn)形式應(yīng)盡量簡(jiǎn)潔、適用，呈現(xiàn)的信息應(yīng)具有互補(bǔ)性，不包含有任何冗余信息，不給學(xué)習(xí)者增加認(rèn)知負(fù)擔(dān)。

3.認(rèn)知負(fù)荷的差異性

John Sweller認(rèn)為，認(rèn)知負(fù)荷是人在信息認(rèn)知過程中產(chǎn)生的“負(fù)荷”。如果信息的認(rèn)知資源超過了人本身具有的認(rèn)知資源的數(shù)量就會(huì)造成認(rèn)知超載，從而影響學(xué)習(xí)效果。不同學(xué)習(xí)者的認(rèn)知負(fù)荷存在差異。Nicolas Guichon的研究中字幕對(duì)學(xué)生的最終結(jié)果產(chǎn)生了不同的影響。當(dāng)然，是否選擇帶有字幕的多模態(tài)形式進(jìn)行教學(xué)活動(dòng)取決于多種因素，例如文本的難易程度、聽力任務(wù)的目標(biāo)等，但其中學(xué)習(xí)者本身的認(rèn)知負(fù)荷程度也應(yīng)該是教學(xué)中考慮的重要內(nèi)容。多模態(tài)化學(xué)習(xí)應(yīng)該利用多媒體平臺(tái)資源的豐富性和信息呈現(xiàn)方式的多樣性為學(xué)習(xí)者提供適合自身水平和特點(diǎn)的學(xué)習(xí)內(nèi)容，充分考慮學(xué)生的自主學(xué)習(xí)能力，設(shè)計(jì)靈活多樣的交際活動(dòng)，調(diào)動(dòng)學(xué)生參與課堂學(xué)習(xí)的積極性。同樣的知識(shí)根據(jù)學(xué)習(xí)者的不同認(rèn)知水平、不同語(yǔ)言基礎(chǔ)和興趣愛好采用不同的模態(tài)呈現(xiàn)形式，增加二語(yǔ)學(xué)習(xí)的信息量，運(yùn)用多樣化的媒體呈現(xiàn)手段，讓語(yǔ)言學(xué)習(xí)與學(xué)生自身的認(rèn)知水平接軌，培養(yǎng)學(xué)習(xí)者的語(yǔ)言建構(gòu)能力和積極的學(xué)習(xí)態(tài)度。

四、結(jié)語(yǔ)

盡管Nicolas Guichon等學(xué)者的研究數(shù)據(jù)可能會(huì)因?yàn)檠芯繉?duì)象、方法或其他因素不同而有所差異，但應(yīng)用多媒體的多模態(tài)學(xué)習(xí)模式是眾多國(guó)內(nèi)外學(xué)者經(jīng)過大量實(shí)驗(yàn)論證切實(shí)可行的語(yǔ)言教學(xué)研究領(lǐng)域的重要課題。“習(xí)得”強(qiáng)調(diào)學(xué)習(xí)者獲得語(yǔ)言的“潛意識(shí)的”過程。基于多媒體信息平臺(tái)的多模態(tài)化學(xué)習(xí)為學(xué)習(xí)者創(chuàng)造了語(yǔ)言習(xí)得的真實(shí)語(yǔ)境，通過提供多渠道的可理解性信息，讓學(xué)生以視覺、聽覺等多種感官形式參與語(yǔ)言學(xué)習(xí)，實(shí)現(xiàn)真正意義上的主動(dòng)式學(xué)習(xí)，達(dá)到良好的學(xué)習(xí)效果。

:

［1］張德祿.多模態(tài)話語(yǔ)理論與媒體技術(shù)在外語(yǔ)教學(xué)中的應(yīng)用［J］.外語(yǔ)教學(xué)，2009，（4）:18.

［2］顧曰國(guó).多媒體、多模態(tài)學(xué)習(xí)剖析［J］.外語(yǔ)電化教學(xué)，2007，（4）:7.

［3］張德祿.多模態(tài)話語(yǔ)分析綜合理論框架探索［J］.中國(guó)外語(yǔ)，2009，（1）:26.