多模態話語分析視閾下兒童繪本的圖文意義建構研究
——以“Make Way for Ducklings”為例

韓凌云

（曲阜師范大學，山東 曲阜 273165）

多媒體改變人們的生活方式和交際方式。 交際不再是利用一種感官進行，而是用兩種或多種感官同時進行[1]。 圖像、聲音等多模態組合的交際模式出現逐漸取代單模態模式，繼而產生多模態話語。兒童繪本利用圖像和文本構建意義，是一種典型的多模態語篇。 現有兒童繪本多模態話語研究大多集中在人際意義圖文關系研究[2，3]、概念意義構建[4]和圖文音三模態互動研究[5]等，鮮少關于文本、圖像以及圖文關系的多意義層面研究。

作為一種傳遞信息、傳播意識形態的讀物，繪本為兒童讀者的價值觀的形成奠定基礎。 因此，兒童繪本創作和解讀研究變得尤為重要。 文章選擇經典英語兒童繪本“Make Way for Ducklings”為研究對象，結合Halliday 功能語法、Kress 和Leeuwen 的視覺圖像語法，解讀繪本的文本和圖像模態，以探究文本和圖像是如何共建意義的。

一、 理論基礎

系統功能語言學的創始人Halliday 揭示語言固有的普遍特征，提出了語言的三大元功能，即概念功能、人際功能和語篇功能[6]。 語言的概念功能是指語言能反映存在主觀和客觀世界的過程以及事物的功能，及物性系統是概念功能的重要體現。 人際功能則具有反映人與人之間的關系的功能，語氣系統表現人際功能中的話語角色關系。 語篇功能指的是把語言成分組織成為語篇的功能。

Halliday[7]提出“語言是社會符號”的論斷，并認為語言之外還有其他表意方式[8]。 在此基礎上，學者[9]開始關注聲音、圖像等非語言符號，多模態話語分析理論逐漸發展起來。 O'Halloran[10]討論了圖像和文字之間的隱喻關系，將“語法隱喻”拓展到非語言符號中。 Martinec and Salway[11]通過研究新舊媒體話語，提出了圖文關系系統包括地位和邏輯關系。 Kress and Leeuwen[12]將元功能運用到視覺圖像的分析中，提出視角語法理論，即使用再現、互動和構圖的方式解讀圖像意義。 文章結合元功能和視覺圖像語法，分別從概念意義、人際意義和語篇意義三個層面進行圖文分析。

二、 圖文模態分析

該繪本有76 頁（包含封面及扉頁），均為圖像為主、文字為輔的跨頁設計。 在對文本及跨頁圖畫重新編碼后，共計得到145 個文本小句，33 張圖像。

（一）概念意義層面

及物性系統將人們現實世界的所見所聞，所作所為分為六個過程，分別為物質過程、心理過程、關系過程、行為過程、言語過程和存在過程[13]。

由表1 可知，物質過程（86 個）占比最高，占59.3%。 結合文本發現，物質過程小句的謂語動詞多為“flap”“follow”“waddle”等實義動詞，旨在呈現繪本故事，推進故事情節的發展。 言語過程（21 個）占14.5%，多分布于動物主角間的交流中，是繪本角色擬人化的表現。 言語過程在使得繪本的角色關系更為緊密的同時，對塑造人物性格特點和加深故事矛盾也起到了重要的作用。 心理過程（14 個）和行為過程（3 個）也是角色擬人化的產物，共占11.7%。動物主角被賦予人的特性，有了人類的情緒和行為舉止表達。 關系過程（12 個）占8.3%，多為歸屬類關系小句。 存在過程（9 個）占6.2%，多出現在故事轉場后，旨在文本中為讀者提供背景類信息。 例如：“There was no water to swim in. There was the police car with four policemen.”

表1 及物性過程分布表

圖像再現意義對應文本概念意義。 該繪本是敘事性語篇，因此文章側重分析圖像的敘事再現。 繪本共有54 個動作過程，36 個反應過程以及13 個言語/心理過程。 角色的肢體動作豐富，動作過程數量大。 反應過程大多表明角色間的眼神交流。 在第13 版面（圖1）中，三個參與者分別是馬拉夫婦和警察，其中警察喂食、馬拉夫人抬頭以及馬拉先生吃食的動作組成三個動作過程。 警察與馬拉夫人眼神交流是雙向及物反應過程，加深了角色之間的親密人際關系。 動作過程和反應過程協同合作，圖像主體的動作和適當的眼神交流，使得讀者僅靠對圖像的主觀感受便可以直觀地推測故事情節。

圖1 Make Way for Ducklings 第13 版面

（二）人際意義層面

語氣系統是實現人際意義的主要語法系統。 語氣系統通過小句語法結構的變化來表達言語功能，一般區分為陳述、疑問、祈使和感嘆四種語氣。

由表2 可知，陳述語氣（134 個）占92.4%，提供故事情節、角色的行為情緒及環境背景信息。 陳述語氣結構中，主語通常由主要角色承擔，置于句首位置，以此凸顯角色的重要地位。 疑問語氣（6 個）占4.1%，多存在主角間的交流對話中，以增加角色之間的互動性，凸顯角色性格。 祈使語氣（4 個）和感嘆語氣（1 個）數量較少，共占3.5%，均出現在角色間的對話交流中，表達人物強烈的情緒。

表2 語氣小句類型分布表

圖像的互動意義與文本分析的人際功能相對應，表現圖像主體與讀者的交流，接觸、社會距離和態度是形成互動意義的三個主要因素。

如果圖像的參與者與觀看者之間有直接的視線接觸，此類圖像叫作索取類圖像；若無視線接觸，則為提供類圖像[14]。 由表3 可知，提供類圖像占比較大，圖像注重提供故事情節信息。 索取類圖像占比較小，參與者和觀看者的互動性弱，參與者更大限度地客觀審視整個故事。 社會距離層面，遠近景切換自然協調。 近景占比較大，圖像主體在整體畫面中更為突出，圖像的細節豐富，讀者與圖像主體間更為親密。 遠景圖像則以較為宏觀的方式刻畫場面，拉大了圖像主體和讀者的距離。 例如，通過遠景刻畫鴨媽媽帶領鴨寶寶在城市中過馬路的場面，讀者由此產生的疏離感烘托了動物主角與城市格格不入的突兀感。 在態度層面上，Kress ＆ Leeuwen[12]指出態度是指角度或者視角。 視角的變化體現圖像主體同讀者的互動關系平等與否。 由表3 可知，側面角度和平視視角占比高，讀者更多以旁觀者的角度平等地觀察故事發生。

表3 圖像的互動意義分析表

（三）語篇意義層面

文本的主位和述位構成了主位結構，指稱話語的新舊信息。 根據主位結構的復雜程度，將其分為單項主位和復向主位。 其中，單項主位（38 個）占44.7%，簡單易懂，符合受眾人群的認知發展特點。復項主位（47 個）占55.3%，兼顧上下文的銜接，注重因果關系，強調語言的邏輯性。

圖像中構圖意義對應文本語篇功能，即各構成元素的布局安排有一定意義。 該兒童繪本中，信息值由圖像元素在畫面的位置布局實現，顯著性體現在圖像元素尺寸和前后景手段實現，兩者互相合作，共建圖像的構圖意義。 在馬拉夫婦被騎自行車的人嚇到的場景中，馬拉夫婦和騎車人分別放置在圖的左右兩側，作為圖像的舊信息和新信息，安置在畫面的前景。 同時馬拉夫婦和人類的尺寸大小懸殊，對比凸顯了馬拉夫婦在人類世界的弱小和慌張。

三、 繪本的圖文建構

繪本圖文關系緊密，相互協同。 在概念意義層面，物質過程占比最高，同圖像中動作過程和反應過程比重高相適應。 繪本重在展示故事情節和劇情走向，文章描述同圖像主體的肢體動作結合，幫助讀者更好地構建故事脈絡，增加繪本的故事性和趣味性。另外，角色間大量的語言交流使得言語過程（14.5%）和圖像模態的言語/心理過程的占比較高。文本表達得到圖像的加成和豐富。

在人際意義層面，語氣系統和互動意義相互協作。 陳述小句（92.4%）同圖像模態的提供類圖像（87.1%）注重提供繪本的故事情節信息，共同構建故事情節意義。 繪本側重平視視角（74.2%）和側面角度（77.4%），讀者成為旁觀者而非故事的參與者，這也與文本陳述語氣比重高相適應。 圖文兩種模態間相互配合作用，共同構建了人際意義上的圖文銜接關系。 例如，在第33 版面故事結尾處（圖2），左下角用陳述小句提供動物主角回家休息的信息，隱含故事即將結束。 圖像模態采用遠景的方式和側面角度，拉大讀者和故事角色的心理距離，營造疏離的態度，使讀者從故事情節中抽離。 這種圖像表達手段作為繪本的結局最為合適。

圖2 Make Way for Ducklings 第33 版面

在語篇意義層面，主位轉換同圖像構圖布局協同合作。 小句主位和圖像主體共同伴隨情節發展不斷切換。 具體來說，主位位于句首，一般由繪本故事中主要角色擔任，突出重要角色。 同時，圖像的凸顯通過主要角色被布置在圖像中心位置或加大角色構圖尺寸的方式實現。

四、 結論

文章結合元功能和視覺語法理論分別對繪本的圖文兩種模態解讀和分析。 文章發現繪本圖文關系緊密，圖文兩種模態相互協同，相輔相成。 在概念意義層面，物質過程同圖像動作過程、反應過程相適應、言語過程同圖像言語/心理過程相配合。 在人際意義層面，陳述語氣和提供類圖像作用一致，視角切換予以輔助。 在語篇意義層面，主位轉換同圖像構圖布局協同合作。 文章是多模態話語理論在兒童繪本話語分析的嘗試，希望對未來兒童繪本創作提供一定參考價值。