多模態話語理論下多媒體技術在外語教學中的理性運用

●李麗娟 任 春

一、引言

人的認知學習過程首先從感知開始，而語言學習中涉及最多的感知便是聽覺和視覺。視覺與聽覺在信息輸入過程中，在腦神經里采用的是兩種不同的系統，日常學習中不難發現一旦有視覺的介入聽覺就會受到影響。最明顯的體現就是在聽力練習過程中一旦有文字呈現，我們更傾向于接受文字即視覺的輸入，而聽覺的信息輸入就會減弱甚至消失。另一方面，近年來由于手機軟件的不斷開發，許多同學喜歡使用有圖片輔助的單詞記憶軟件來記憶單詞，如扇貝、百詞斬等，同學們普遍反映這些軟件在幫助記憶單詞方面有一定作用，但是在運用方面卻頻頻出錯。這說明這些單詞軟件并未能讓同學們真正學習到單詞的內涵及其運用，這其中圖片信息的輸入雖起到了記憶的輔助作用，但在理解上卻會造成干擾。同樣，在教學過程中PPT 的過度使用也遇到此類問題，在外語教學過程中教師們或多或少都會使用制作精美的PPT，配有音樂或圖片的教學課件在教學時非常具有吸引力，能引起同學們的關注，短時間看來在教學效果非常明顯。但從長時記憶和理解上來看，效果卻并不理想，由于圖片信息輸入產生的固定模式甚至還會使理解產生偏差。為什么會產生這些現象，在教學過程中該如何正確有效地利用圖片或其它多媒體信息來輔助大學生的外語學習呢？

二、多模態學習機制

模態在本文指人類通過感官(如視覺、聽覺等)跟外部環境(如人、機器、物件、動物等)之間的互動方式。用單個感官進行互動的叫單模態, 用兩個或以上感官互動的叫多模態。用這個定義看,正常人之間的互動都是多模態的[1]。正常人的認知過程（信息輸入、理解、記憶、隱喻、概念整合等）均呈多模態特征，外語的教學活動既涉及聽覺也涉及視覺，是多模態互動的,因此，從多模態理論角度出發，研究在教學過程中視覺信息輸入與聽覺信息輸入之間的關系及其對于外語學習的影響是首要研究內容。

語言學習是信息和行為循環整合的復雜且微妙的過程。來自不同感官的信息（視覺、聽覺、觸覺、嗅覺等）經過各自感覺皮層的分別處理，再匯集到多模態聯合皮層進行整合，在記憶里留下痕跡，存貯以備后期工作和發出行為指令。整合后的信息經由大腦皮層一路下行，發出行為指令，引起相關運動行為。這些行為繼而又衍生出新的感覺信息，周而復始，使得大腦不斷整合信息、更新信息儲備，產生新的意識、概念和行為。

多模態感知學習是人類學習最初也是最常見的模式。不同通道的感覺刺激，雖在屬性上千差萬別，身處信息豐富環境下的人類對這些感覺的協調能力依然出眾，多模態的感知能力為我們提供了強大的生存和行為優勢[2]。比如，視覺刺激中的顏色信息和聽覺刺激下的語音信息，在神經系統交互整合下能進行轉換，這也就產生了閱讀時文字“聲音”在腦海中的回旋，也能在聽到動物叫聲時構建出動物的畫面。然而除了具備有針對性地、交替地使用這些感覺信息的能力外，在多模態感知學習下，若當某一種感覺信息輸入減弱，我們仍保持了對該事物進行識別的能力。多模態模式的信息處理和知識學習在現代多媒體條件不斷發展的情況下更加明顯也愈發重要，外語學習中感知學習決定了聽覺、視覺信息的獲取，因此，研究聽覺信息、視覺信息的輸入、處理和交互作用對于外語教學尤為重要。

三、多模態轉換的外語學習及其教學啟示

學習實質上是學習者建構個體知識的過程[3]。不同階段、不同性別、不同背景的學習者往往有不同的學習風格，它的形成受多種外部因素的影響。包括家庭背景、學習環境、社會條件等。但是學習風格形成的主要原因可能還是內在的，包括性格、觀念、認知特點、語言水平等。一般認為學習者有四種基本的學習感知模式：視覺學習模式（visual learning）、 聽 覺 學 習 模 式（auditory learning）、體驗學習模式（kinesthetic learning） 和動手操作學習模式（tactile learning）。體驗學習模式和動手操作學習模式合稱為“觸覺學習模式”（haptic learning）。學習者往往在某一種學習模式方面表現最為突出，通過視覺方式學習最有效的學習者可稱之為“視覺型學習者”；同理以聽覺為最為有效學習方式的學習者可以稱之“聽覺學習者”；“觸覺型學習者”則通過動手和親自體驗才能獲得最佳的學習成果。根據對幼兒學習的觀察，通過具有直觀性和體驗性的視覺跟視頻流進行互動，其學習成本與效果之間的比例比起其他模態來說,學習效果最好。直觀體驗性學習往往是“暗學習”(implicit leaning),不知不覺地就會了, 兒童習得母語口語大部分都是通過暗學習方式習得的。然而，事實上在大學生的外語學習中，首要的感官信息獲取方式則與母語學習大不相同。筆者通過對在校學生學習方式進行觀察，發現絕大多數大學生在外語學習過程中主要通過視覺來獲取信息，相應的聽覺信息有缺失或有誤。這與兒童主要通過聽覺學習的方式有所不同，這也是兒童時期語音模仿能力更強的主要原因。

目前，盡管信息技術和媒體的不斷發展，外語學習仍然缺乏足夠的語音輸入環境，多數時候仍以書面語料為基本學習語源（由于書面語料的確定性），外語學習的基本模式依然是：（書寫語符+ 語義）→聲音語符，與母語習得（聲音語符+ 語義）→書寫語符模式相比較，依然是逆向的。外語過程中，學習者的視覺和聽覺要同時關注目的語的語音和文字兩類表征（每個詞的書寫符號都同時具有其語音形象，無聲的詞是不存在的）[4]。當語音信息和視覺信息同時呈現時，注意力會偏向一個對象，對其加工，建立記憶。隨著年齡的增加、知識儲備增加、以及認知方式的不同，成年外語學習者對視覺信息更敏感，這類學習者注意力會習慣性地選擇關注視覺符號。播放有字幕的視頻流時，在遇到陌生的語音信息時，成年外語學習者普遍會關注字幕，同時語音信息的接收也會減弱。對于以象形文字漢語為母語的外語學習者而言，對文字的依賴更明顯，若沒有文字作為支持，難以記住詞的語音信息。

基于目前普遍存在的成人外語學習注意力不能集中在語音信息或聽覺信息上的情況，外語教學也要實時做出相應調整。語言學習其實是非常依賴于語音信息的輸入，只是在二外學習的語境下缺乏相應的客觀條件，而研究表明，無論是拼音文字還是象形文字，其書寫符號的提取都依賴于其聲音信號[5-6]。教學過程中要解決的問題是如何引導成人外語學習者將注意力倚重于語音信息上，充分運用語言聲音信號和語音話語第一性的語言基本原理。

首先，從課堂而言，教師外語教學過程中要避免過度依賴多媒體。筆者曾在課堂上多次試驗，在沒有多媒體文字的輔助下，學生們會更容易將注意力集中在語音信息獲取上，而一旦有文字的輔助，學生們則更關注文字，語音信息的獲取會減弱甚至會屏蔽語音信息，完全關注文字信息。這與成年人習慣于視覺高效獲取信息的習慣密切相關。外語教學既要保障學生有足量的語音信息攝入，同時也要借助文字、圖片的輔助作用，二者的關系應是語音為主要，文字或圖片為輔。而如今的外語教學則有過度依賴多媒體的現象，文字、圖片、視頻信息較多，純語音輸入環境較少。

其次，隨著現代多媒體技術的發展和新媒體傳播的無孔不入，學生們課堂外的自主學習素材中，視頻信息占主流。視頻對于外語學習的影響:一是會干擾聽覺信息的攝入，減少語言學習者必要的聽力練習；二是視頻學習減少了學習者對信息的加工，長期以往形成不良的學習習慣；三是視頻學習亦會分散學生注意力，易受其他娛樂節目的影響。基于多媒體信息已經普遍存在的前提，學生們更應鼓勵多接受單模態的語音信息輸入，遵循語言學習規律，增加聽覺學習時間。具體而言，學生要增加語音信息的輸入，尤其是自身的語音信息輸入，這可以通過朗讀來實現。在朗讀時可刻意讓視覺離開文字，專注地感知詞的語音信號和聲音話語；鼓勵學生在朗讀完后增加對文章內容進行復述的步驟。現在學生朗讀只是為了熟悉閱讀素材，都是無意識地進行語音練習。有意識地原文進行復述，是提高外語學習能力的關鍵步驟。復述的過程是學習者對素材認知加工的過程，也是模態轉換的過程，原有的知識儲備、多模態通道間的互動參與信息加工，使得學習者的話語能力得到順利發展。這也是在缺乏語言環境的條件下，外語學習者通過書面語言材料學習外語的科學彌補方法。

四、總結

利用多媒體技術輔助多模態學習是把雙刃劍。處理好可以把學習者的注意力真正集中在知識點上, 以達到強化記憶力的作用,從而提高學習效果;處理不好相反會分散學習者的注意力, 發生對知識點記憶力的干擾, 導致瞬間熱鬧而事后空空之感。就整體學習而言，通過視覺跟視頻流進行互動的直觀、體驗性學習是技能類學習的有效學習方式。而通過視覺跟文字互動去學習語言則是付出大而收獲小的學習方式。鑒于此，我們有必要根據大學生的認知能力和學習內容，探索出高效的教學模式，合理利用多媒體技術、調動多模態互動轉換、減少從輸入到產出之間的障礙，提高認知效果。把語言文本信息以數字化方式放到計算機上讓學習者學外語是對計算機硬件資源的最低級使用。通過視覺型學習方式去學口語涉及到模態的轉換, 在缺乏外語學習環境的情況下，作為初始學習資源是不科學的,是一種費時費事且收效甚微的方式，也是腦力資源和硬件資源的浪費。同樣,用視頻流材料僅僅為了增加趣味性是對高級多模態資源的低級使用，表面上看似引起了注意，實則會分散學習者工作記憶注意力，減少必要的信息加工程序，最終造成事后空空之感。恰當地處理好多媒體資源與多模態的輸入與產出之間的關系就是外語教學的目標。雖然是多模態教學，并不是指過度依賴多媒體，而是要合理利用多媒體制作課件，平衡感知與記憶之間的關系，使得外語教學內容能進入學生中長期記憶，形成持久的行為潛勢。