多模態視覺敘事語篇的意義建構框架

王文峰 趙曉瑞

（西安石油大學外國語學院，陜西 西安 710065）

傳統意義上的語篇分析注重分析語言系統本身，忽略對其他語義符號系統，如圖像、聲音和顏色的探究。隨著科技創新的不斷發展和多媒體技術的廣泛應用，多模態文本已經成為了當今信息交流的常態化方式。Kress & van Leeuwen(1996)基于韓禮德的社會符號學理論觀點，開創了多模態話語研究領域，構建了視覺語法框架，詳細闡釋了多模態語義分析模式。

兒童繪本在幼兒的生活和教育等諸多方面發揮著重要的作用，繪本閱讀是兒童識字以及未來的學校教育的必要準備。[1]繪本通常由圖畫配以簡短的文字構筑出多個故事，是兒童教育的重要工具和載體，繪本閱讀已經成了兒童教育的重要方式。繪本主題內容主要涉及童話故事、科普知識、兒童哲學啟蒙等。敘事類兒童繪本是兒童社會化的工具之一，是有關世界和社會價值中的意識形態信息的來源。兒童繪本中的較大篇幅是圖片，所以圖畫部分與語言同等重要，在兒童幼年發展時期起著同樣重要的作用。本文以兒童繪本為例考察視覺敘事中的意義的構建模式，詳細闡釋Painter等[1]構建的多模態語篇敘事的意義建構分析框架。

一、多模態語篇的概念意義建構

概念意義包含兩種語義，即經驗意義和邏輯意義。[2]與語言的經驗意義的表達類似，視覺敘事語篇概念意義的建構也涉及參與者角色、事件本身和相關環境成分。相對于語言而言，兒童繪本的視覺符號表征更容易識解。

（一）參與者角色表征

視覺敘事不同于文本敘事，視覺敘事中沒有與語言系統中等同的“指稱(Reference)”概念。語言中的代詞可以避免人名和描述的重復而實現指稱。視覺敘事語篇中，當人物的顯著特征在后續的圖像中出現，就常被認為是同一參與者。讀者可通過身體的一部分或者影子或輪廓等辨認出一個人，這是視覺敘事語篇實現指稱的重要手段。下面圖1是視覺敘事語篇中參與者角色的表征模式：

圖1 多模態敘事語篇中人物的表征模式

（二）事件關系

視覺敘事語篇主要表達的及物過程包括（1）含單個或者多個參與者的行為過程；（2）通過有矢量指示的“言語泡”表達言語過程；（3）包括認知過程和感知過程的心理過程。兒童在閱讀繪本時，不僅要理解單頁的圖畫，而且還需要清楚多個連續圖像之間的關系。在語言文本中，小句之間的聯系依賴的是小句之間的“擴展”(expansion)和“投射”(projection)兩種邏輯語義關系。然而，在圖像中并不存在能夠明確表示事件之間關系的資源，讀者通過比較相鄰的或先后相連的圖像，然后從圖像之間的殊同之處推斷出事件之間的關系。“比較”(compare)和“對比”(contrast)是讀者在理解圖像中描述的兩個事件之間關系的必備的語義策略。Painter等[1]對圖像中的事件關系進行了總結，見圖2。在圖像表征的事件間關系中，先后順序指的是多個連續的圖像描繪相同的參與者的行為。同時發生指的是不同參與者的行為。投射關系中，第一種為真實所見的視覺投射，通常是前圖顯示人物在思考，后續的圖像顯示的是人物看到的內容。第二種是圖像中人物所思考的或者想象的事物，稱之為想象的投射。

圖2 多模態敘事語篇中事件關系的表征模式

（三）環境成分

從概念功能來看，背景環境可以為事件過程提供發生場所。視覺敘事語篇中對背景的描繪可以提供圖像中參與者角色的行為的物質環境。語言可以借助詞匯語法資源明確提供多種環境成分，如地點、方式、原因、條件、范圍、角色等。[2]然而在視覺敘事語篇中，這些環境成分中的大多數并不能通過視覺方式直接表征出來。盡管圖像中的鐘表、燈光和月亮可以用來表示時間，然而其主要意義在于指明空間位置的細節信息。如果圖像中沒有環境成分的描繪，那注意力就一定聚焦于圖像中的人物或者動作本身。[1]

如果事件發展過程中情景沒有發生改變，圖像可以選擇相同的背景，或者可以使用不同視角變化如仰角-俯角、遠景-近景等的變換。如果情景發生變化，圖像可以使用新背景或者進行去背景化，多模態敘事語篇中及物性過程的環境成分的表征模式詳見圖3。

二、多模態語篇的人際意義建構

Halliday[3]認為提供(giving)和求取(demanding)是交際中最重要的言語功能。借鑒韓禮德對語言的描述思想，Kress 和 van Leeuwen[4]指出圖像中人物的眼神注視讀者表明圖像要求讀者與圖像中的人物建立某種關系。反之，則表明圖像在向閱讀者提供某種信息。然而，Painter等[1]則認為圖像不能像語言那樣表達明確的提供或者求取關系。鑒于此，Painter等提出了針對視覺敘事語篇的新的聚焦系統(focalization)來考察圖像和讀者間的互動關系。

圖3 多模態敘事中及物性過程的環境成分呈現方式

Kress & van Leeuwen[4]構建了圖像中表現人際意義的語義系統，如社會距離(social distance)、態度(attitude，包含參與和權力)、聯系(contact)和情態(modality)。其中，社會距離是由圖像人物框架的大小來體現的，即通過特寫(close up)、中景(mid shot)和遠景(long shot)三種方式對人物進行表征。Painter等[1]對Kress & van Leeuwen的互動意義和情態意義系統進行了修正和補充，提出了表征視覺圖像中人際意義的語義系統：

（一） 聚焦 (Focalization)

“聚焦”系統是對Kress & van Leeuwen[4]的“接觸”系統(contact)的重新闡述和詳述，它關注的是圖像中人物的描寫。該系統主要有兩個關注點，其一，圖像中的人物與讀者之間是否存在互動；其二，圖像為讀者提供了何種閱讀視角。關于圖中人物和讀者的互動關系，Painter等[1]區分了兩種不同于Kress & van Leeuwen(2006)的圖像類型，即“接觸”和“旁觀”兩種主要視角：接觸類可細化為直接接觸和被邀請接觸兩類。旁觀類圖像使讀者在故事之外觀察和了解視覺敘事語篇中發生的事。當圖像僅顯示故事參與者的身體的一部分時，通常是雙手或者雙腳在外面而整個身體隱藏，讀者就可以從人物的視角進入人物角色。就圖像為讀者提供的視角而言，Painter等區分了有中介(mediated)和無中介(unmediated)兩種圖像，前者是指引導讀者通過圖中人物的視角來閱讀圖像；后者是指讀者的閱讀視角和圖像中的人物不相關。

（二）情感系統

情感系統是人際意義的一個重要的子系統。兒童繪本是兒童教育的重要途徑，因此重視對閱讀者情感體驗的培養。兒童繪本中人物描繪方式大致分為三種風格：最簡風格(minimalist)、類化風格(generic)和自然風格(naturalistic)，見圖4。最簡風格指用圓圈或橢圓表示人物的頭部特征，用點或者是小圓圈表示眼睛，此風格不需要保持精確的面部和身體比例。最簡風格表達人物快樂或者悲傷的程度最強，希望讀者做相對不帶感情的旁觀者來閱讀故事。類化風格對人物特征描繪較為詳細，其情感表達技能可以擴展到更多行為表達的情感，也就是說，這些情感和觀察、行動、集中注意力等相關。類化風格可創造所有類型的人物，繪本中該風格多表示本質上具有指令性，含蓄地希望讀者將自己視為主人公，按照其所作所為行事。類化風格常促使兒童與圖中人物持相同立場，使讀者感同身受，設身處地體驗主人公的處境及其內心世界，從而達到感受和理解其情感，培養閱讀者的共情能力。自然風格在人物特征刻畫上最為詳細、細致入微，情感表達多為真實人物的情感，最容易引發讀者的感情，進入對方的生命，感受對方的觀念和體驗，產生共情。

圖4 多模態語篇中人物描寫的不同風格類型

Painter等區分了兩種讀者和圖像人物情感關系的表達方式：介入(engaging)和異化(alienating)。介入指圖像希望讀者和圖像中的人物產生情感介入。異化中讀者并無過多情感投入，讀者常不帶情感，客觀地閱讀圖像。見圖5。

根據讀者情感投入程度的不同，Painter等區分了三種不同的介入方式：鑒賞類常選擇最簡風格描述人物，圖像人物較為抽象，讀者的情感介入較少；移情類則常選擇類化風格描述人物，圖像人物不易確定，其情感較易識別，易引發讀者一定程度的情感介入；個體類常選擇自然風格描述人物，多為真實人物，能最大程度地引發閱讀者的情感體驗。

圖5 圖像人物情感的介入與異化

（三）色彩渲染(Ambience)

語言文本語篇中情態(Modality)體現手段在圖像語篇中通過色彩渲染得以實現。研究為產生特定語氣對背景的描繪和顏色使用，考察如何通過顏色渲染創設情感氣氛。Kress & van Leeuwen[4]指出多數人認為顏色主要與情感有關，但顏色作為一種視覺交際資源，和其它模態一樣，具有多功能性，亦可表達概念意義、人際意義和組篇意義。Painter等提出了顏色資源分析的理論框架，其核心系統主要包括:

色度(vibrancy)主要取決于色彩的飽和度。鮮亮色彩常用來構建興奮的、充滿活力的情感。柔和色彩則用來構建溫和、冷靜的情感。顏色飽和度的深度體現圖像的鮮亮程度。但飽和度不是一個獨立變量，它和色值（顏色的明暗程度）有著密切聯系。

色調(warmth)是畫面中呈現的色彩總和，指畫面給人的總體色彩感覺，即畫面的整體色彩效果。色調對時間、環境、氣氛等都有較大的渲染作用。暖色調圖像常表現為紅黃基調，給人以溫暖、親切之感；冷色調圖像則以明亮的藍色為基調，給人距離感。

熟悉度(familiarity)由圖像中色彩區分度的量值體現。其基本原則是人們體驗的現實世界五彩繽紛，因此圖像呈現的顏色種類越多，圖像的自然度越強。如果圖像僅僅限于一兩種色彩或者一種顏色的不同調制，創設的世界與現實世界則相去甚遠。色差的不足會降低所描繪的事物的確定性和現實性。

（四）級差 (Graduation)

級差是借用Martin & White[5]的評價理論中的術語，指的是加強或者減弱人際意義的策略。Painter等將該概念推廣到了視覺圖像中，提出了視覺級差(visual graduation)概念。極差重要的體現方式就是力度(force)，細分為數(number)、量(mass/amount)和面積范圍(extent)。這三種維度不同量值的選擇對讀者的態度反應發揮著重要作用，見下表。

下面，我們通過圖6來詳細討論視覺級差的不同表征形式：

力度特點 （Force feature）數（number）量（mass/amount）面積范圍（extent）強化(up-scaled)↑較多數量的同一事物相對其他成分比例較大概念成分占較大篇幅降低弱化（down-scaled）↓較少數量的同一事物相對其他成分比例較小概念成分占較小篇幅

圖6 視覺級差的不同表征形式

數(number)：圖6(a)若呈現一個人也可表征對熊的侵犯行為的反應，但增加參與者數量加強了人們反抗性的表達。量(mass/amount)：圖6(b)運用了極差中系統中的“量”，圖中占超大尺寸的將軍在比例上與其他成分不相稱，凸顯了其權威性和權力。圖6(c)是面積范圍(extent)的運用，即使欲表征的概念內容是中性的，增加數量仍可以增強某種情感態度，如吃香腸行為本身并不易引起消極評價，但因其在面積上占據較大空間，所以容易引起讀者的消極評價。再如圖6(d)中笑臉占據了圖像三分之二的面積，強化了圖中人物的快樂心情。

三、多模態敘事語篇的語篇意義建構

語言語篇中有多種組篇機制可供使用來創造話語之間的銜接，如代詞指稱(prenominal reference)、 省 略(ellipsis)、 篇 章 重 復(textual repetition)等。此外，言語者還可以通過其他方式引導讀者，如通過主位的選擇引起一個小句。同時，還可以通過語調(intonation)、詞序展開(unfolding word order)、標點符號等把語篇切分為多個信息單元。每一個信息單元又包含一個“信息焦點”，信息焦點又表示為讀者最關注的重要新信息。

視覺圖像常使用“空間維度”來控制讀者的注意力。繪本通過圖像的版面設計、頁面和圖像本身等要素將意義“打包”(packaged)成容易理解的信息。借鑒語言語篇，視覺圖像語篇中的信息單元也可以被稱為“焦點群”(focus group)。Kress & van Leeuwen[4]指出，視覺材料整合或者分離的方法是運用不同的圖像框架。Painter等[1]指出圖像中橫跨兩頁的圖像可視為一種宏觀框架，其內部可有其他框架。

繪本可以通過投射或者擴展這兩種方式將話語和圖像整合成一個視覺整體。當話語出現在“語泡”中時，二者就形成了由“投射體”和“被投射內容”組成的雙模態圖像。被投射的內容可以是“言語”或“思想”。此外，一些非語言的聲音如“Bang！”或者“ Pow！”都可以被投射。圖文之間的投射關系是圖中人物和言語融合的一種重要方式，因此要完全理解圖像表達的意義就必須將二者結合起來去解讀圖像。另一種重要的融合式布局方式是擴展(expanded)，其中最常見的是包含(subsumed)，即文字內容覆蓋在圖像上成為圖像的一部分，可實現圖文的最強融合，引導讀者把二者視為整體理解。此外，并置(colocated)也是一種實現方式，圖像中的人物或行為整體或者部分脫離背景，圖像和文字通常共用一個白色背景。復位(reinstated)指文字出現在圖像上，但不被圖像包含起來，與圖像有清晰界限，而文字有背景框。

（一）圖文關系：圖文互補分布表明圖文這兩種模態在意義的建構中起著不同的作用。在兒童繪本圖像按照水平軸分布中，文字居左是最常見的分布情況。Kress & van Leeuwen[4]指出圖片的左右位置擁有不同的“信息價值”，左側常代表已知舊信息，右側常代表新信息。左側通常提供背景和引導性信息，右側常提供重點信息和新信息。在圖文的上下關系中，構圖中的上面要比下面更為重要。在視覺構圖中上半部分是“理想的”(ideal)，即理想化的、非具體化的信息，下半部分是“真實的”(real)，即較為具體的、實際的信息。此外，還存在一種“三明治式”，即“文字+圖像+文字”或者“圖像+文字+圖像”。

（二）重要性：如果圖像和文字占據相等的空間，說明這兩種模態承載著同樣重要的信息和語義。兩種模態哪個占據較大的圖片空間說明哪個模態在語義表達上更為重要。據此，互補分布除圖文相等之外可以分為兩種不同的構圖模式：圖像優先型(image privileged)和文字優先型(verbiage privileged)。

（三）位置關系：主要分為相鄰式和插補式。前者指圖像和文字在一個頁面分別獨立又相鄰地呈現出來。插補式是指本文插補在一個完整圖像中間或者圖像插補在一個整體文本中間。

四、結語

本文主要介紹基于視覺語法的圖像類敘事語篇元功能的建構框架，該理論框架突破了以往以分析單個圖像為主的局限。本文考察了連續視覺敘事語篇的語義構建分析框架，聚焦于視覺敘事語篇概念意義、人際意義和組篇意義的建構模式，詳細討論了多模態語篇的概念意義建構過程中的參與者的表征、事件間關系和環境成分的呈現方式等， 人際意義建構中聚焦、情感系統、色彩渲染和級差相關要素，組篇意義建構過程中圖像的布局模式，介紹了語篇敘事過程中圖文互動時的投射與擴展等融合情況。