外語學習中的多模態耦合

劉 靖

(青島科技大學 外國語學院，山東 青島 266061)

1．引言

信息在現實世界中是以各種各樣的模態存在的，而語言的學習是一種信息輸入——加工——提取——輸出的過程。隨著科學技術的發展，多模態信息加工逐漸成為學界的研究熱點。信息時代，多模態語言信息輸入主要通過兩大渠道:外語課堂的社會化學習、基于網絡等電子媒介的自主學習。本文擬從理論上對外語學習過程中各種模態的耦合進行分析，以期提高外語學習績效。

2．認知學習理論

認知心理學理論認為，學習是學習者建構知識和理解的過程，是構建意義的行為，掌握知識的途徑是通過與其他人的交互作用實現的。“構建意義”是指學習者在與外部環境互動時，構建自己所理解的意義。學習行為分三個過程:(1)外部環境互動，獲取信息。信息獲取方式包括:視覺、聽覺、觸摸、嗅覺、味覺、空感和身體效仿。(2)大腦處理外部環境互動獲取的信息，構建意義。構建意義時，大腦通過視、聽、觸、嗅和味五個模態(感官)處理與外部互動信息。(3)學習效果的外部行為表現，獲取實踐能力。實踐能力包括聽、說、讀、寫、譯、體態等能力。(顧曰國，2007)

國外一些認知學習理論，諸如雙重編碼理論(Paivio，1986)、生成學習理論(Wittroc，1990)、認知負荷理論(Sweller，1994)、多媒體學習理論(Mayer，2001)和協同互動理論(Atkinson，2007)，不僅使人們更加深刻地理解學習過程，而且為語言學習過程(輸入和輸出)中各種模態的選擇提供了有力的理論支撐。

Paivio區分信息的言語編碼和視覺編碼，同時使用視覺和語言形式呈現信息可以增強信息的回憶與識別，強調空間能力的重要性。Wittroc認為:學習者生成對所知覺事物的意義，總是涉及到學習者原有的思維品質和認知結構;學習就是人腦從環境中接受感覺信息，通過主動地選擇和注意來建構信息的意義。Sweller認知負荷理論的一個主要假設是人的工作記憶只有有限的能量。在學習時，當信息加工所需資源超過其可用的認知資源，學習者就會認知超載、阻礙學習的順利進行，因此應該減少這些外部負荷，使學習者能將更多的可用能量用于實際的學習。Mayer＆Moreno整合了認知學習相關理論，傾向于以聽覺形式呈現詞匯，主張合理分配認知資源以降低認知負荷。多媒體信息認知加工通過視覺心理模型、言語心理模型和其原有知識間的指示性聯系整合信息;其中有言語加工渠道和視覺加工渠道;蘊含基本加工、偶然加工和表征保存等基本認知需求。Atkinson et al認為協同是人類心智和身體與外部世界互動、協調并動態適應身邊環境的復雜過程，協同不僅發生在人與人之間，而且還發生在人與物理環境、社會情境、工具等互動參與變量之間。協同是第二語言能被習得的關鍵，學習就是學習者與社會認知環境不斷協同的過程，并將這種學習體驗融入自己的學習模式、策略等知識應用結構當中(王初明，2010)。

3．外語學習過程中的多模態耦合

模態指人類通過感官如視覺、聽覺等跟外部環境如人、機器、物件、動物等之間的互動方式。多模態話語指運用聽覺、視覺、觸覺等多種感覺，通過語言、圖像、聲音、動作等多種手段和符號資源進行交際的現象(張德祿，2009)。耦合最初是物理學的一個概念，后經學者們擴展，是指兩個或兩個以上的系統或運動方式之間通過各種相互作用而彼此影響以至聯合起來的現象。在本文中，耦合是指多模態超文本語篇在構建和解讀過程中各模態之間的良性互動，相互依賴、相互協調、相互促進的動態關聯關系。信息時代，無論是外語課堂的社會化學習，還是基于網絡等媒介的個人自主學習，學習者所面對的都是一種多模態的超文本語篇，因此，在多模態語篇的構建和解讀過程中實現各種模態的有效性耦合，其實就是在認知學習理論的指導下，多模態語篇的設計者和學習者動態關聯、和諧互動的過程。

3．1 課堂學習過程中的模態耦合分析

外語課堂的多模態信息傳遞有三個理論基礎:首先，物質的媒體經過社會長時間的塑造，成為意義產生的資源，可表達不同社團所要求的意義，這就成了模態。所有模態具有表達意義的潛勢。非社團成員不能全部懂得這些意義，因為模態和意義具有社會的和文化的特殊性。其次，作為言語的語言模態和作為書面語的語言模態以及其他模態往往是交織在一起的，在信息傳遞語境下它們同時存在同時操作。這種互動本身就產生意義。使用者經常對表達和信息傳遞的模態加以改變，以適應社會的信息傳遞需要，這樣，已有的模態被改造，新模態被創造(Kress，2001;胡壯麟，2007)。信息時代，外語課堂的模態主要有教師、黑板(白板)、電腦、幕布、揚聲器、燈光等。學習者的學習過程就是與這些模態組成的超文本語篇進行耦合互動，構建意義，從而達到學習目的。在這一過程中，教師是超文本語篇的主要設計者和呈現者。

發展現代多媒體技術的一個最基本的理念是多模態輸入可以使學習者通過多通道獲得信息，比單模態話語更容易使學習者理解和記憶，因此，用視覺和聽覺雙重感官模式呈現學習材料，可以減輕工作記憶負擔。教師可以通過視覺和聽覺雙重通道為學習者提供文字、音頻、圖像、視頻等多種模態，同時刺激學習者的感官，使學習者同時利用工作記憶中的兩個處理器來處理信息，避免一個處理器閑置而另一個負荷過重。比如:在呈現“The motorcycle is stuck in the mud”時，PPT呈現文字的同時，文字旁邊顯示摩托車陷在稀泥里的圖片，配以馬達轟鳴的聲音，教師結合手勢和腔調等讀出句子，文字中的“is stuck in”也可以用不同字體和顏色使其突顯，以引起學習者的注意，這樣，通過多模態互動使學習者對“be stuck in”的掌握就比較形象、牢固。

但多模態的組合需要把握一個“度”，過多模態出現或者不適當的模態搭配可能會使學習者認知超載，阻礙學習的順利進行。比如:在呈現“At half time，the Italian team seemed to have the upper hand”時，如果配以一段世界杯比賽的簡短視頻，雖然可以引起學習者的興趣，但由于視頻比學習者需要掌握的學習材料更容易引起注意，使學習者對首要加工信息(have the upper hand)的關注反而減少，從而影響學習效果。在多模態組合運用時，一般有一個主模態，其他的則對其傳遞的信息進行強化、補充。比如，在解釋“derby hat，baggy pants”等認知信息時，口語對文字主模態的解釋比較抽象，而一幅卓別林形象的圖片呈現會使信息認知變得輕松簡單。

不可否認，生動形象、恰到好處、信息量大的圖像在很大程度上促進了學習者的信息加工。圖像和文本通常存在下列四種關系:一是圖文各自為一個獨立的意義實體，彼此沒有關聯;二是圖像和文本的意義相互補充，彼此增強對方的意義;三是以文本意義為主、圖像對文本的意義起輔助作用;四是以圖像意義為主，文本對圖像意義起輔助作用(Martinec＆Salway，2005)。一般來說，在呈現學習材料時，第一種圖文關系是應該避免的，這樣的圖文并茂表面上似乎賞心悅目，實際上往往會分散學習者的注意力，不利于他們對認知信息的加工。

此外，PPT單位頁面呈現的信息量要適中，尤其是采用文字為主模態時，文字的大小、顏色、頁面文字量的多少，都會給學習者的認知心理帶來影響，從而影響認知效果。問題和答案最好在同一頁面由教師根據學習者的認知情況，把握時機即時呈現，頁面的轉換則可以通過師生互動的方式給學習者留有足夠的深度加工時間，減少認知負荷。

3．2 自主學習過程中的模態耦合分析

在外語課堂以外的個性化、主動式自主學習中，學習者所面對的除了傳統的文本學習材料外，還有電腦網絡、學習機、手機、數碼播放器、PDA等提供的超文本語篇。這些超文本語篇是多模態共同構成的意義統一體。這些模態主要包括語言文字(種類、字體、顏色等)、非語言符號(表情符號、標識等)、圖片、視頻、音頻等，它們作為意義的載體，執行著信息傳遞的功能。在超文本語篇中，“多種模態往往交織出現，體現了一個相互依賴、相互補充的關系，在信息傳遞過程中他們可以被同時操作和釋解”(胡壯麟，2007)。

首先，在超文本語篇創建過程中，創作者需要根據具體交際目標，選擇和分配合適的語篇內容和呈現風格，對超文本進行合理設計和編排，最終實現交際意圖。創造者要選擇適當的語體并根據其語體特點和框架結構選擇匹配的詞匯、句式結構、修辭手段及字體、顏色、圖片、動畫、視頻、音頻等模態，依據認知學習理論和學習者不同的認知水平，對各種模態進行優化組合后添加入文本，并對形成的超文本語篇進行檢查、評估和編輯，最后進入網絡等學習終端。

其次，由于學習者面對的超文本語篇具有開放性和動態性，學習者在對語篇進行解讀的過程中，一方面，學習者自己動手操控，自己把握學習時間和學習進度，真正實現交互式的自主學習。同時，觸覺的運用能加強學習的真實感，有效地提高了學習興趣。另一方面，學習者也不斷地參與對超文本語篇中各種模態組合的評論、修正甚至重新設計，使文本得以重構，形成互動性很強的“建構式超文本”。不僅能夠讓學習者自主地、動態地在大量的信息中檢索瀏覽，獲取信息，融入學習者原有的認知結構，實現由信息到知識的轉化，更能讓學習者與創作者進行實時互動，自由地發表自己的見解，創造出新的文本。這樣超文本得以延續和拓展，文本不再是一個封閉的單元，只要有網絡存在，這種互動就沒有終結(王艷萍，2009)。以網絡語言學習平臺為例，設計者采用WEB技術和數據庫技術整合語言學習軟件、多模態視聽說資源和閱讀資源等，建成資源庫，學習者可以根據自身情況，有目的地自主選擇學習資源，多模態學習資源呈現的超文本語篇可以提供真實的場景和地道的語言，使學習者參與到虛擬的環境中，進行人機互動和語言交際活動。同時，由于知識不僅是在個體與環境的相互作用中建構的，個體之間社會化的相互作用同樣重要，甚至更加重要，因為具有不同的智慧水平、知識結構、思維方式、認知風格的學習者可以互補，協作的集體學習，也有利于學習者自尊、自重情感的產生。因此在平臺上還建立一個互動空間，學習者與學習者之間可以通過這個空間交流學習經驗，討論學習中出現的問題，而教師也可以通過這個空間了解學生的學習情況及存在的問題。同時，教師對多模態學習資源使用和管理不僅可以優化提高教師個人的信息素養和信息技能，而且通過對多模態學習資源進行使用加工，又形成新的學習資源。在人機互動的過程中，超文本語篇的設計者和使用者同時作為信息的發送者和接受者，互相刺激并作出反應，促進了多模態學習資源的利用和再生。

作為自主學習的一個重要組成部分，外語學習游戲中的多模態耦合日漸引起研究者的注意。荷蘭學者胡伊青加認為人是游戲者，人天生就需要游戲也會游戲，游戲的沖動不僅表現于兒童時期，而且貫穿于人的一生。游戲是人類的最基本的存在方式，是人類各種文化的“母體”。外語的學習本身也是一種游戲，學習者在學習中游戲、在游戲中學習并享受其中的樂趣。設計合理的外語學習游戲在情景創設、興趣激發、寓教于樂、交互協作等方面的作用不可低估。這些游戲集文本、圖形、圖像、聲音、動畫和視頻等多模態于一體，呈現的是多維感官共同作用的立體信息，這些多模態信息符號在遵循語言學習規律、視覺審美規律的基礎上，融入學習內容的同時體現趣味性，激發學習者的視覺享受和思維驅動，在輕松快樂的狀態下通過對語言的理解、運用、內化、遷移，達到學習效果。

4．結語

信息技術的發展使外語學習的方式日益多元化。無論是基于課堂的講授型社會化學習，還是基于網絡等電子媒介的自主學習，各種學習模態的耦合都將是學習績效提高的關鍵因素。隨著多模態話語研究的深入和信息技術的不斷完善，外語學習“費時低效”狀況的改變將指日可待。

［1］Atkinson，D．，T．Nishino，E．Churchill＆ H．Okada．A-lignment and Interaction in a Socio-cognitive Approach to Second Language Acquisition［J］．The Modern Language Journal，2007，91(2):169 －188．

［2］Baddeley，A．Is Working Memory Still Working［J］．American Psychologist，2001，56(11):851 －864．

［3］Paivio，A．Mental Representations:A Dual Coding Approach［M］．Oxford:OUP，1986:33．

［4］Martinec，R．A System for Image Text Relations in New(and old)Media［J］．Visual Communication，2005，3(4):337－ 371．

［5］Wittrock M C．Generative Process of Comprehension［J］．Educational Psychologist，1990，24(4):345 －376．

［6］Sweller J．Cognitive Load Theory，Learning Difficulty and Instructional Design［J］．Learning and Instruction，1994(4):295－312．

［7］Mayer，R．E．Multimedia Learning［M］．New York:Cambridge University Press，2001:183 －186．

［8］胡壯麟．社會符號學研究中的多模態化［J］．語言教學與研究，2007(1):3．

［9］顧曰國．多媒體、多模態學習剖析［J］．外語電化教學，2007(4):3－12．

［10］王艷萍．超文本語篇與認知圖式的耦合分析［J］．湖南社會科學，2009(4):152－155．

［11］王初明．互動協同與外語教學［J］．外語教學與研究，2010(4):297－299．

［12］張德祿．多模態話語分析綜合理論框架探索［J］．中國外語，2009(1):24－30．

［13］李向民．大學英語多媒體資源管理系統的開發及應用研究［J］．廣西師范大學學報(哲學社會科學版)，2010(4):146－149．

［14］胡伊青加．人:游戲者——對文化中游戲因素的研究［M］．成窮，譯．貴陽:貴州人民出版社，1998:270，9 －10．