多模態輸入對英語詞匯附帶習得影響研究

竇 泓

（陜西師范大學外國語學院）

英語詞匯學習根據注意力的分配可分為有意學習和偶然學習。相較于有意學習在詞匯學習過程中將注意力直接集中在詞形、詞義等方面，偶然學習則是通過閱讀、聽力、看視頻等活動習得詞匯，即詞匯附帶習得。對于大部分高校學生而言，有意學習是識記單詞的主要方法，而該方法已經讓部分學生對英語產生厭倦甚至抵觸心理，詞匯教學和學習方法亟待改變。因此，探究多模態輸入在詞匯附帶習得中的影響和對詞匯教學的啟示十分有必要。

一、多模態輸入概述

“模態”一詞來源于語言學，最初指關于世界陳述的可信度或真實價值。Kress 和 Van Leeuwen將模態應用到視覺傳達中，指出模態在視覺傳達中的重要性[1]。在此基礎上，模態被定義為物理媒介在長期社會影響后形成的意義潛勢，以及可以通過單一或多個媒介實現的意義表征。隨著時間的推移，模態的定義擴展到產生意義的各種符號資源，如姿態、文字、圖像等，不再局限于語言。模態是一種符號系統，可以通過特定的感知過程來解釋，是人類通過視覺、聽覺等感官與外部環境交互的方式。

是否為多模態輸入取決于所涉及的模態數量和符號系統的數量。據此，部分學者認為多模態輸入應包含兩個及以上模態，或單個模態由兩個或多個符號系統組成。例如，看視頻屬于多模態輸入的其中一種，因為在該過程中同時動用了聽覺和視覺感官。而視頻本身也可以被視為一種多模態輸入，因為其包含了圖像、字幕、聲音等至少兩個符號系統。而另一部分學者認為多模態輸入在交互過程中則應至少同時調動三個感官，利用聽覺、視覺、觸覺等通過圖像、聲音、動作等多種符號資源進行交流。

雖然以往的定義未能對多模態中的模態個數達成一致，但根據上述定義，多模態指至少同時通過兩個及以上感官或符號系統傳達意義的形式，多模態輸入則指信息接收過程中需要同時調動兩個及以上感官才能理解的輸入材料或方式。事實上，語言學習者在生活中無時無刻不接受著多模態輸入。日常對話中，學習者需要同時調動多個感官以解碼和處理聲音、面部表情、肢體語言等多方面的信息。

多媒體輸入是多模態輸入中最典型、最常見的方式之一，二者既相互聯系又相互區別。根據字面解釋，前者是多個模態的混合，后者是多種媒體的整合。模態是感官與外部環境的抽象作用，媒體是傳播聲音、圖像、色彩、文字等信息的具體載體，多媒體是則涉及聲音、圖片、文字等的技術或產品。因此，多模態輸入與多媒體輸入的區別在于前者是抽象的符號系統，后者則是具體的物理方法。

隨著科學技術的發展，各種多模態輸入方式被應用于二語的教與學之中。課內，老師為學習者播放二語短片，通過文字、畫面、語音相結合的方式學習；課外，學習者可以自行通過玩英語游戲、看外國電影、與外國人在線聊天等多模態方式學習語言。由此可以得出，多模態輸入在提高二語習得效率和豐富二語學習方法等方面具有很高的應用價值。

二、多模態輸入對詞匯附帶習得的影響

多模態輸入在二語習得領域的研究多集中于詞匯習得。Neuman 和 Koskinen[2]最先設計了實驗探究多模態輸入對詞匯附帶習得的影響：經過為期十二周的實驗，調查雙語學生通過不同輸入模態附帶習得詞匯的效率和保持率。129名七至八年級二語水平相當的被試根據輸入模態被分為觀看有字幕電視片段、觀看無字幕電視片段、邊聽錄音邊閱讀文本、僅閱讀文本的四組，電視片段與文本的內容一致。每組在完成輸入后需完成同樣的詞形辨認和詞義回憶測試。結果顯示，觀看有字幕電視片段的一組在測試中的分數顯著高于其他三組。該實驗從實證研究角度證明多模態輸入（觀看帶字幕視頻）可能是促進學生詞匯附帶習得和保持的有效方式。而后又有更多實驗證明了多模態輸入在詞匯附帶習得方面的潛力。

雖然在九十年代末和二十世紀初有許多關于觀看電視節目學習單詞的研究，但是多模態輸入在詞匯附帶習得領域并沒有得到很大的發展。一方面是因為文本閱讀始終被視為學習和擴大詞匯量最有效和最常見的輸入途徑，紙質課本和練習冊依舊是最主要的學習媒介。另一方面，相比于閱讀輸入，多模態輸入在課堂中的普及率和利用率并不高，它更多地被視為一種放松和娛樂的方式，而不是有效的學習方法。然而，閱讀輸入并不總能達到理想的單詞學習效果。一旦學生詞匯學習落后，理解英文文章的難度就會增加，而理解難度增加會反過來會導致學到的單詞更少。如此往復，形成惡性循環，學生不僅在知識上有欠缺，而且會喪失信心逃避學習。加之在多年單一閱讀輸入之下學習詞匯，學生難免心生厭倦。因此，多模態輸入的出現對于詞匯學習十分有必要。是時候改變傳統的語言輸入方式，讓學生重獲語言學習的樂趣。

于是，多模態輸入在二語習得領域的作用于2009-2010年間再度獲得重視并延續至今天。更多關于多模態輸入的研究集中于詞匯附帶習得領域中，以探索尋求更佳的詞匯教學和學習方法。近十年的研究包括但不限于多模態注釋的作用、多模態輸入中不同字幕類型的作用、各種具體多模態輸入方法的比較等。許多學者研究了諸如玩英文電子游戲、聽英文歌曲、觀看英文電影等各種多模態輸入對詞匯附帶習得的影響。Reynolds在研究中發現一款“繪畫和猜字（Drawing Something）”的游戲可以實現詞匯的附帶習得和保持，并指出其他英文游戲在特定條件下也會達到相同的結果[3]。

視聽輸入是最常見的多模態輸入之一，因此有大量研究集中在探究視聽輸入在詞匯附帶習得方面的效果，并致力于探究如何提高詞匯附帶習得率和保持率。電視劇、新聞播報、電影、紀錄片、視頻片段是教學和研究中最常見的幾類視聽輸入。前人通過研究發現觀看完整電視節目可以產生詞匯的附帶習得。在觀看完整的電視節目后，對被試進行了目標詞匯意義回憶和意義識別兩項測試，結果證明了詞匯附帶習得的發生[4]。電視節目的優點就在于易于獲得、引人入勝，除此之外視覺信息可以為學生提供更多的上下文線索，進而促進詞匯的學習，尤其是在遇到生詞時。

在關于如何通過視聽輸入提高詞匯附帶習得和保持的研究中，大部分研究著眼于字幕在視聽輸入中的作用，通過比較不同類型的字幕探究對詞匯習得的影響。研究比較了一語字幕和二語字幕、有字幕和無字幕以及其他不同類型的字幕在進詞匯的附帶習得和保持中的作用。研究表明，一語字幕和二語字幕都能產生詞匯的附帶習得，后者的效果優于前者，而當學習者對理解視頻內容有困難時，有字幕比無字幕的效果更好，因為字幕此時起到了補充講解的作用。除一語和二語字幕之外，其他類型的字幕也被證實對詞匯習得是有效的，例如帶注釋的字幕和僅有關鍵詞的字幕。

多模態輸入在詞匯附帶習得和保持方面具有積極影響和巨大潛力。結合聲音、圖片、文字、動畫等輸入方式，調動學習者的聽覺、視覺、觸覺等感官，通過多模態輸入優化詞匯附帶習得和保持將是是未來的研究趨勢[5]。

三、多模態輸入對大學英語詞匯教學的啟示

（一）優化詞匯教學模式

教師應積極關注現代信息技術的發展，并主動嘗試將新技術應用于大學英語的課堂教學之中，將詞匯教學模式多樣化，在課堂內積極使用多模態輸入調動學生的學習興趣和增加他們的學習投入量。在以往的大學英語詞匯教學中，教師們多傾向于直接講解生詞或難詞，除此之外對詞匯不再做過多的處理。部分教師認為在大學英語課堂內觀看視頻的多模式輸入屬于浪費時間，學生只會注意畫面而忽視詞匯學習，甚至把看視頻作為課堂消遣。事實上，在經過小、初、高多年的單一閱讀輸入學習英語之后，大學生對多模式輸入感到新鮮又有趣，因此會更加積極地參與并投入到學習過程中。如今的大學英語不只是語音、詞匯、語法等方面的學習，更是要通過英語能夠用另一個的角度去看待世界和理解問題。因此，教師在課堂中應積極使用多模態輸入進行詞匯教學，一方面可以提升學生學習興趣，促進詞匯的附帶習得，另一方面可以擴展學生視野，既能讓學生學習如何用英語講中國故事，又能從另一個視角看世界。

（二）選擇合適的多模態輸入材料

將多模態輸入運用于課堂詞匯教學，教師應選用難度適宜、主題積極的材料。首先，根據克拉申的“i+1”輸入理論，即可理解性輸入理論，“i”指學生現有的學習水平，“1”指略高于學生現有學習水平的難度，最理想的輸入難度應是略高于學生當前的學習水平。過于簡單的輸入會使學生過分關注意義而忽視詞匯的習得，而過于困難的輸入會加大理解難度使學生喪失信心，從而無法達到良好的詞匯學習效果。因此，教師應依據學生現有的英語水平選取難度略高的多模態輸入材料。其次，多模態輸入的材料在滿足主題積極向上的前提下，內容應與即將學習或已經學過的單元主題相關聯。教師可以在一個主題單元的學習開始前、進行中或結束后，選取內容相似的材料讓學生進行觀看，加強學習效果。例如，教師既可以在學習“運動”主題的單元前讓學生觀看關于歷屆奧運會的視頻，以熟悉相關話題和詞匯，降低后續學習難度，又可以在單元學習過程中讓學生觀看相關的視頻，進一步加強詞匯學習，也可以在完成一個單元的教學后，找難度適中的視頻片段供學生觀看。不僅可以加深學生對所學的單元的理解，而且也可以實現詞匯的附帶習得。

（三）教師應給予適當的干預

在課堂內完全利用多模態輸入學習詞匯附帶習得是不現實的，學生始終是課堂的主體，教師需發揮自身在課堂中的引領作用。因此，在多模態輸入的背景下，教師應發揮自身作用進行適當的干預。首先，教師可以對多模態輸入材料中的目標詞進行處理，通過加粗、加黑、下劃線等方式增強輸入，加深學生的視覺記憶。例如，教師可以在視頻片段、新聞報道、紀錄片等材料的二語字幕中將目標詞加粗、高亮并配以中文注釋，在吸引學生注意力的同時也能促進其對詞匯的習得。其次，為提高附帶詞匯習得和保持率，教師可以根據多模態材料的內容設計需要學生高投入量的任務，讓學生接收輸入后完成任務，以達到更好的習得效率。教師可以根據多模態輸入的內容設計相關聯的任務，例如根據材料內容填單詞、利用目標詞匯造句、復述原材料內容等，在理解原材料的基礎上完成各項任務，加強詞匯的習得和記憶。此外，在多模態輸入的前提下，教師依舊可以對詞匯進行顯性的教學，通過有意學習和偶然學習相結合，進一步提升詞匯學習效果。

四、結束語

詞匯是大學英語中重要的組成部分，而單一的輸入模態使得詞匯學習和詞匯教學枯燥乏味，學習效果也因此大打折扣。隨著信息化技術的發展，多模態輸入逐漸走入二語習得研究，并在詞匯附帶習得領域產生一定影響。利用諸如英美電影、英美電視劇、紀錄片、新聞等多模態輸入進行詞匯學習是一種全新的嘗試，通過在學習過程中同時刺激學習者的多個感官，激發學習者的興趣和投入度，從而提高詞匯的習得率。因此，在多模態輸入的基礎上，教師豐富和改善詞匯教學模式、選擇合適的材料、給予一定的干預是優化詞匯附帶習得和保持的發展趨勢。