從視覺語法角度解讀外語教學中的知識可視化設計

■

/無錫城市職業技術學院

一、前言

目前，可視化設計已被廣泛應用于醫學、計算機科學、物理學等眾多領域。從照相、幻燈、無聲電影等到有聲電影及廣播錄音技術，新媒體、新技術迅猛發展，使得教學中的圖形、圖像、視頻等視覺符號的獲取變得非常容易，視聽教學亦呈現出知識可視化趨勢。但是，知識可視化設計與外語教學相結合的研究現階段仍不多見，因此這一話題吸引了不少專家學者的目光。

得益于多模態、多媒體技術的廣泛應用，多模態話語分析引起了尤以功能語言學家為主的國內外學者們濃厚的興趣。Kress & Leeuwen(1996，2001)將功能語法的三大元功能延伸到視覺交際模態中，構建了視覺語法；van Leeuwen(1999,2005)和Jewitt(2001)進而將多模態話語分析延伸到人類學、心理治療以及影視作品等領域。另外，O’Halloran(2004a,2005)、Bateman ( 2008)等也基于系統功能理論推動了多模態話語分析的應用。國內學者，譬如李戰子、朱永生、胡壯麟、張德祿等，創造性地探討過多模態話語分析的理論框架。

然而一些相關研究更注重在教學中的發展前景，卻忽視了多模態在外語教學情境中的具體作用(Terry D.Royce,2013)，缺少一定的理據，應基于系統功能理論的多模態話語分析來進一步明確意義建構。同時對視覺元素的強調遠沒有達到“知識可視化”的程度，也沒有達到“知識傳播和更新”的廣度。那么在外語教學中，知識可視化設計應怎樣進行意義建構以確保學生的語言學習效果，便成了迫切需要解決的問題。

二、理論基礎

(一)多模態

“模態”的概念非常復雜，Kress & Leeuwen認為，“多模態就是運用幾種符號學模態，或綜合使用若干符號學模態來強化同種意義的表達，或行使補充功能，或進行有層次排序”(Kress & Leeuwen 2001：20)。O’Hailoran將多模態定義為“綜合語言、視覺圖象、其他符號資源、構建紙質、數字媒體和日常生活文本、事物、事件的理論分析與實踐”(O’Hailoran 2008：231)。Forceville(2009a:22)把模態簡要定義為“利用具體的感知過程可闡釋的符號系統”。與人的感官聯系起來模態可細分為圖畫或視覺模態等五種模態。由于很難對模態進行窮盡性分類，為了便于研究，Forceville(ibid.:23)把模態細分為圖像符號、書面符號等九類。知識可視化設計涉及到多種模態符號，體現了多模態意義的構建和理解，調動了人的多重感官來實現符號信息之間的有效互動。圖像和語言在語篇中的結合比這兩種符號單獨使用更能夠構建整體意義。視覺表征可以輔助語言更好的實現功能要求(Leo Roehrich,2013)。

(二)視覺語法

視覺語法的提出主要基于韓禮德提出的語言的三大元功能思想，分別是概念功能，人際功能和語篇功能。人際功能描述了講話人試圖將什么樣的意義傳達給聽話人，聽話人又是如何理解的。語篇功能關注的是信息是如何的，也就是文本是怎樣組織并傳達信息的。概念功能描述了語言中的主題或場景，在語言與現實世界的互動過程中，語言是如何表達概念的 (Bloor & Bloor,2004; Halliday,1994; Martin & Rose,2007)。元功能思想將語言視為一種社會符號，然而“系統功能語法不只是語言符號系統的語法，也是可以描述和解釋所有社會符號系統的語法”(辛志英、黃國文2010：2)。這也就表明了語言只是人類眾多交際符號中的一種。

Kress & Leeuwen基于系統功能理論，將元功能思想延伸到視覺模式，構建了視覺語法，將圖像也看作社會符號，從多模態角度對意義構建提出獨特見解，創建了以再現意義、互動意義和構成意義為基本內容來分析視覺圖像的語法框架，為多模態話語分析提供了理論依據和分析方法。Kress & Leeuwen 認為:“正如語言的語法決定詞如何組成小句、句子和語篇，視覺語法解釋描繪的人物、地點和事物如何組成不同復雜程度的視覺的陳述。”在視覺語法中，與語言概念功能對應的是圖像的再現意義，它解釋了意義參與者與過程之間的關系，通過分析圖像中描述的對象的結構關系是屬于敘事還是概念過程來看圖像如何體現再現意義。與語言人際功能對應的是圖像的互動意義，解釋圖像如何同觀看者產生互動。通過接觸、社會距離、態度和情態四個方面分析圖像如何體現互動意義。與語言語篇功能對應的是圖像的構圖意義，分析圖像中元素如何通過構圖表達意義

三、外語教學中知識可視化設計的多模態話語分析

很多不同的學術研究都著眼于大量的非語言元素交流，例如建筑，韻律和圖像 (Bednarek & Martin,2008; Cheong,2011,O’Halloran,2011; O’Toole,2004)。知識可視化設計通過各個部分組成的整體來向學習者傳播所要表達的知識意義。下面以多模態外語教學材料How a sewing machine works?為例，探討知識可視化設計中的圖像如何像語言一樣體現其元功能并構建意義的。該材料配有文本顯示、同步解說和How a sewing machine works?的動態圖。

(一)再現意義

再現意義由敘事和概念兩種結構組成。二者的區別在于圖像中是否存在元素間斜線構成的矢量。矢量只在敘事圖像中存在，概念圖像中沒有矢量。基于此How a sewing machine works屬于敘事結構。Kress & Leeuwen基于Halliday概念功能中的六大過程提出了三類主要過程，分別為動作過程、反映過程、言語和心理過程。在動作過程中，發出矢量的參與者是sewing machine的梭芯，矢量指向的目標是使用縫紉機的人，展示sewing machine是如何工作的。當操作工人抬起頭，將目光轉向觀眾也就是學生時，形成了反應過程。言語和心理過程中的矢量主要由操作工人和對話泡連接而成，對話泡的內容是通過出現的關鍵字詞來直接體現。該圖像中的參與者和目標與功能語法中的物質過程相似，前者是借助矢量將參與者和目標連接起來，而物質過程常是通過動態動詞來說明施動者與目標間發生的事件。

(二)互動意義

互動意義借助了系統功能語法中的人際關系，關注的是圖像制作者、圖像所呈現的世界與圖像觀看者之間的關系，同時表達圖像觀看者對表征事物應持的態度。構成互動意義的因素有接觸、社會距離、態度關系和情態。(Kress & Leeuwen,2006)

由于該材料中圖像的參與者是無生命、無感情的事物，它與圖像的觀看者也就是學生間只形成間接接觸，學生作為接觸的主體，只提供沒有索取。“提供”和“索取”與功能語法中“給予”和“求取”的概念相似(胡壯麟等2005：115)。在系統功能語法中，“‘給予’意味著‘請求接受’；‘求取’意味著‘請求給予’。講話者不但自己做事，同時還要求聽話者做事’”。同理，視覺語法中的“提供”意味著“索取”，“索取”隱含著“提供”。(張敬源，2012)圖像鏡頭取景框架的大小影響到圖像參與者與觀看者之間的親疏關系。為了與學生建立一種親近關系，該動態圖沒有選用遠景的方式，而是通過特寫來表現縫紉機中梭芯的工作原理。情態是指某種圖像表達手段的使用程度。功能語法中的情態可以通過小句從主客觀兩個角度來表達，視覺情態的主客觀取向可根據圖像參與者的屬性進行判斷。由于該材料中圖像參與者為無生命的物，所以為客觀取向。Kress & Leeuwen 還從色彩飽和度、色彩區分度、色彩調協度、語境化、再現、深度、照明和亮度等八個視覺標記，探討了圖像中情態的現實主義量值高低。

(三)構圖意義

圖像的構圖意義與語篇功能相對應，將圖像整合來再現意義整體。Kress & Leeuwen 指出構圖意義的實現需要信息值、顯著性和取景。信息值是通過元素在構圖中的放置位置來實現的。元素在圖中的位置( 左右、中間、邊緣、上下) 賦予它們不同的信息值。材料中的圖像屬于左右分布，在 Kress & Leeuwen 看來，放置在左邊的信息是已知信息，右邊的是新信息。與語篇功能中信息單位的構成形式相近，Halliday曾表示“‘已知信息+新信息’是最常見的信息單位結構”(胡壯麟等2005：173)。顯著性是指圖像中的元素吸引觀看者注意力的不同程度。通過被放置的位置、前景或背景、相對尺寸、色調值的對比( 或色彩) 、鮮明度的不同程度等來實現。

四、結語

基于韓禮德系統功能語法中的三大元功能，通過借鑒 Kress & Leeuwen的視覺語法理論框，對外語教學中的知識可視化設計進行多模態話語分析。通過對圖像的再現、互動、構圖意義的分析，探討知識可視化設計中的圖像如何像語言一樣體現其元功能并輔助外語教學。可以看出知識可視化設計在再現意義、互動意義和構圖意義上可以使異族文化的情境、實景、實物及其他圖示信息具象化，還可以通過動畫、視頻(講座、教學錄像、配音科教、風光片、電影等)手段使話語語境真實呈現，提高了教師的教學質量和學生的學習效率。

從視覺語法的角度可以看出，如果要充分發揮知識可視化的功能，其實對各個要素的設計要求較高，也不是所有的知識類型都適合可視化。同時可視化表征工具的選擇，學習者的識圖能力等都會對教學效果有所影響，實際操作上對教師的能力要求也比較高。但不可否認的是，如果有系統功能語法元功能和視覺語法作參考，對外語教學的指導意義是十分重大的。