視覺語法框架下英語聽說教材多模態研究

劉 燕

（山西大學商務學院外語系，山西 太原 030031）

一、引言

大學英語聽說課程教學中，傳統的單模態教學資源已遠遠不能滿足信息爆炸時代的學習需求，不利于提高學生的多模態識讀能力。聽說教學資源的多模態特性日益凸顯，各種符號系統與文字一起共同完成學生學習的意義構建。多模態話語分析（Multimodal Discourse Analysis）借鑒系統功能語言學中元功能、語境等思想及社會符號學理論，對語言之外的模態及各種模態之間的相互關系進行分析。視覺語法便是具體分析視覺元素在意義構建過程中的理論框架。本研究以視覺語法為框架，對現行大學英語聽說教材進行多模態話語分析，為聽說課程的多模態教學設計提出可行性建議，并指出多模態資源的選擇原則。

二、理論基礎

（一）多模態與多模態話語分析 “多模態”（multimodality）是一個跨學科的概念，在西方的研究中涉及到語言學、社會學、認知心理學、醫學、計算機等多種領域，在國內，也已成為近年來的研究熱點，但主要集中在介紹、述評及應用研究方面。顧曰國（2015）曾指出，mode，modality，module 三個術語均可用漢語“模態”一詞來對應翻譯。其中mode 這一概念與本文中所涉及的modality 最為接近也最易混淆。以Halliday 為代表的系統功能語言學重視語言的語境，認為人們是用語言來做事，而這種“做事”正是通過對語言方式（mode）的選擇來實現意義。 Kress（2009）將這一術語拓展到各種能夠產生意義的符號系統。如圖像、音樂、顏色、手勢等。而modality 更強調人在處理符號信息時多種感官系統的調用。相對于傳統話語分析（Discourse Analysis），多模態話語分析（Multimodal Discourse Analysis）對語言之外的多種符號系統進行系統研究。其理論基礎主要建立在系統功能語言學及社會符號學上。

（二）視覺語法、聽覺語法 多模態話語分析（MDA）旨在研究各種表意元素是如何協同來構建完整語篇或完成交際任務的，它同樣以功能語言學中的三大元功能（metafunctions）理論為切入點，認為其他符號資源也可以對應實現概念、人際及語篇功能。Kress（1996，2006）在他所提出的視覺語法（Visual Grammar）中用再現意義（representational meaning）、互動意義（interactive meaning）、構圖意義（compositional meaning）來對應圖像等符號系統元功能的實現。聽覺語法與視覺語法極為類似，同樣認為聲音符號系統也可對應體現概念、人際、語篇功能。比如通過音量的不同級別（親密、個體、非正式、正式及公共場合）等來實現人際功能如觀點、社會身份差距等。

三、大學英語聽說教材的多模態話語分析

隨著技術及網絡的發展，現行的大學英語聽說教材多模態特性越來越明顯，然而在具體的課堂教學中仍是以老師播放音頻視頻，學生做題，然后老師講解這樣的傳統方式為主，課堂效率低，教學效果差。究其原因，很大程度上是由于教材的多模態特性沒有得到很好的體現和應用。《新視野大學英語視聽說教程》是國內大部分高校聽說課程所使用的教材，以此教材為例，對其進行多模態話語分析，有助于構建聽說課程的多模態教學模式。

（一）與傳統單模態教材內容對比 首先，從模態運用對比來看，20世紀末所使用的英語聽說教材中主要出現一種視覺模態，二級模態形式主要體現在文字及少量圖像上；而現行的聽說教材則以視覺、聽覺模態共同為主導，二級模態形式有圖像、聲音、文字等多方面。從文字與圖像使用比例來看，傳統教材中每單元中圖像所占比例極少，不足半幅頁面，且主要出現在頁面頂端或左面。也就是說，傳統教材中語言模態的密集度要比多模態教材高很多。現行的多模態教材更加注重視覺聽覺模態之間的協同與轉換，以此來達到提高學生多模態識讀能力的目的。

其次，從圖像類型來分析，Jones（2006）把圖像分為三種類型：及物性圖像（Experientially-oriented visuals）：主要包括照片、表格等；人際性圖像（Interpersonally-oriented visuals）：主要包括動畫等；語篇性圖像（Textually-oriented visuals）：主要包括商標、圖標、按鈕圖示等。傳統教材僅使用圖示圖標等來實現語篇功能，而現行多模態教材則在此基礎上更多地使用照片、表格來實現概念功能，使用動畫音頻視頻等來實現人際功能。這種差別的原因在于多模態教材更加注重語言的交互性。

另外，在色彩的選擇和應用上二者也存在巨大差距。多模態教材的色彩運用更加突出醒目，豐富多樣。綜合上述分析，隨著科技網絡等的發展及新形勢下大學英語教學改革的要求，多模態化的英語聽說教材應運而生，從而滿足學生新的學習需求。

（二）現行大學英語聽說教材中視覺圖像元功能的體現 根據Kress（1996，2006）的視覺語法，視覺符號的元功能體現是一個極為龐雜的體系，篇幅有限，不可能一一分析。現以《新視野大學英語視聽說教程》第二冊中的一些圖像為例來進行分析。

首先，視覺圖像的再現意義（representational meaning）又可分為敘述再現（narrative representation）和概念再現（conceptual representation）（張敬源，2012）。兩者之間最大的不同在于有沒有在圖像元素之間由斜線構成的矢量。在第一單元的part 1中，正文之前的插圖顯示為兩張樂器的照片，一張為小提琴，另一張為薩克斯。作為一個整體的圖像可以被看作是沒有矢量的概念過程。由于圖中的樂器象征音樂從而使讀者聯想到這個單元的主題，說明圖像中的參與者“是什么或意味著什么”，顯然應該屬于概念再現中的象征過程（symbolic process）。象征過程根據圖像涉及到的參與者的數量又分為象征暗示（symbolic suggestive）和象征屬性（symbolic attribute），此圖由于只有一個參與者，應屬于象征暗示。這樣，圖像的象征意義通過減少細節及環境的強調得以實現，音樂的主題便建立起來。

其次，互動意義（interactive meaning）的實現通過三方面的要素：接觸（contact），社會距離（social distance）和態度（attitude）。其中，最直接的要素是接觸，它是指圖像觀看者與參與者之間的一種關系，主要通過目光注視來實現。我們同樣以上面插圖為例，圖像中沒有眼神目光注視，所以應屬于一種信息的提供（offer），而非索取（demand）。最后，構圖意義（compositional meaning）的實現主要依賴三種資源，即信息值（information value），顯著性（salience）和取景（framing）。其中，信息值主要考慮的是圖像中元素的位置安排如何體現元素的重要地位。顯著性主要依賴視覺來判斷元素間重要性的次序，這種判斷相對來講比較主觀。構圖意義不僅局限于圖像本身，還涉及到圖像、視頻等與文字之間的關系，如在第一單元中，圖像位于頁面正中，這樣圖像的信息值和顯著性通過位置和大小直觀地顯現出來，從而強調了本單元的主題。

四、大學英語聽說教學的多模態啟示

（一）大學英語聽說教學中的多模態資源選擇

1.不同模態之間的關系

綜合研究大學英語聽說課程中的所有模態，發現各種模態之間的關系可以總結為主次關系和并列關系。主次關系意味著所有模態均服務于主要模態，次要模態的作用是支持、輔助主要模態。英語聽說課程不同于其他英語課程，僅僅依靠閱讀教材不能提高學生的理解力。因此，聽說課程中為學生提供主要知識來源的為文字模態和聽覺模態。其他模態作為補充，是表達意義的工具，而不是課程的主要內容。并列關系意味著各種模態之間是互動與合作的。在語言交際與教學過程中，單一模態是無法完整地構建意義的，多種模態的協同操作是教學的有效途徑。也就是說，圖像、音樂、視頻等多種模態的相互配合能夠提高課堂效率。

2.多模態資源的選擇標準

在大學聽說英語課程中選擇多模態資源需遵循一定原則，按照教學目標來進行選擇可達到事半功倍的效果。隨機盲目的選擇只能降低效率。結合上述分析，多模態資源的選擇需遵循以下原則：1）多模態的使用需提供補充信息：在課堂教學的設計過程中，其他模態的使用可用來強化或補充完整地意義構建。如PPT 的使用，其內容應該是聽說練習的延伸，對聽說訓練的背景介紹或對訓練要點的總結。2）多模態的選擇應該幫助教師吸引學生注意力：傳統聽說課堂耗時長，練習形式單一，學生容易感到疲憊乏味。生動幽默的圖像視頻等多模態資源顯然更能激發學生的興趣。3）多模態的選擇應該使學習材料更容易被理解吸收：單模態的語言教材太過抽象概括，學生聽起來晦澀難懂，動態圖、情境圖、相關視頻等可使得聽力資料簡單化。

（二）大學英語聽說教學多模態設計原則 根據上述分析，結合對學生的訪談及問卷調查發現多模態系統從多方面來講非常適合運用到大學英語聽說教學中。然而，在現行的多模態聽說教學方法中仍存在缺點和不足之處。比如過多使用多模態資源會分散學生注意力，弱化學習過程。通過對《新視野大學英語視聽說教程》的多模態話語分析發現，多模態資源協同作用來實現符號系統的再現意義、互動意義及構圖意義。

由此可以給出大學英語聽說教學多模態設計方面的一些建議：1）多模態應該被引入大學英語聽說課堂；2）文字模態及聽覺模態應被強化，因為其傳遞學生學習的最重要信息；3）社會背景及跨文化知識有助于提高學生的聽說綜合技能；4）視頻、網絡、PPT 等多媒體輔助手段能夠提供適當的補充信息，但教師要控制把握好這些手段的使用；5）教材內容相對有限，課堂中應增加更多額外相關的聽說訓練；6）教師應協調掌控除教材內容之外的其他多模態資源，如教師話語、手勢等，提示學生更多關注各種多模態符號來獲取更多有用信息，提高多元識讀能力。

結語

結合對英語聽說教材的多模態話語分析，得出了大學英語聽說教學的多模態設計啟示及多模態資源的選擇標準，以此來促進課堂教學。在選擇多模態資源的時候，文化、語境、內容等也是必要的要素，從而決定哪些模態是主要模態，語言模態和非語言模態之間的關系如何等。今后的研究還可以更為全面深入，如結合教師課堂話語、身體語言等進行多模態話語分析，為多模態聽說教學模式提供更可靠理據。