視覺語法視角下兒童立體書的多模態(tài)話語分析

殷瑩瑩

[摘 要] 基于Halliday提出的社會(huì)符號(hào)學(xué)理論和系統(tǒng)功能語言學(xué)理論，Kress和van Leeuwen創(chuàng)建了視覺語法理論。以立體書《這就是中國(guó)》為例，從視覺語法角度探討和分析該類型書籍中立體書的多模態(tài)元素，以揭示兒童對(duì)中國(guó)歷史文化的認(rèn)知過程。研究發(fā)現(xiàn)，該立體書通過立體圖像和文字的組合，具有再現(xiàn)意義、互動(dòng)意義和構(gòu)圖意義，可有效幫助兒童加深對(duì)中國(guó)歷史文化知識(shí)的理解和記憶。

[關(guān) 鍵 詞] 多模態(tài)；視覺語法；立體書；中國(guó)文化

一、引言

多模態(tài)話語分析以圖像、顏色、聲音、文字等多種形式的語言符號(hào)和其他符號(hào)資源的相互配合為基礎(chǔ)，為人們研究語言現(xiàn)象提供了新的視角。視覺語法是多模態(tài)話語分析研究的一個(gè)分支，是在Halliday的系統(tǒng)功能語法基礎(chǔ)上發(fā)展起來的一種新的研究方法。目前，已有不少學(xué)者對(duì)兒童立體書進(jìn)行了研究。然而，以往的研究主要從立體書的功能、結(jié)構(gòu)設(shè)計(jì)、形態(tài)研究等角度來探討兒童立體書，鮮少?gòu)囊曈X語法理論角度展開研究。因此，本文以《這就是中國(guó)》為例，在視覺語法理論框架下做以下探討：（1）該類型書籍如何體現(xiàn)再現(xiàn)意義、互動(dòng)意義和構(gòu)圖意義；（2）該類型書籍中立體圖像和文字等多種模態(tài)如何有機(jī)結(jié)合構(gòu)建整體意義。有望對(duì)多模態(tài)兒童立體書的設(shè)計(jì)有所啟示，從而增強(qiáng)兒童的閱讀興趣。

二、理論背景及相關(guān)研究

（一）理論基礎(chǔ)

Halliday（2008）認(rèn)為，語言的元功能在系統(tǒng)功能語言學(xué)范式內(nèi)分為概念功能、人際功能和語篇功能。概念功能與語言的信息內(nèi)容有關(guān)，涉及人們?nèi)绾瓮ㄟ^語言來表達(dá)關(guān)于世界的事實(shí)、觀點(diǎn)和經(jīng)驗(yàn)。人際功能與語言在社會(huì)交往中的作用有關(guān)，它涉及人們?nèi)绾问褂谜Z言來表達(dá)情感、建立關(guān)系、影響他人和實(shí)現(xiàn)自己的意圖。語篇功能與語言在組織和呈現(xiàn)信息方面的作用有關(guān)，它涉及人們?nèi)绾问褂谜Z言來構(gòu)建連貫的篇章和對(duì)話。Kress和van Leeuwen（ 2006） 將系統(tǒng)功能語法的三大語言元功能拓展到視覺模態(tài)層面，創(chuàng)建了視覺語法，其核心內(nèi)容包括再現(xiàn)意義、互動(dòng)意義和構(gòu)圖意義，分別對(duì)應(yīng)系統(tǒng)功能語言學(xué)的概念功能、人際功能和語篇功能（吳安萍、鐘守滿，2014）。

再現(xiàn)意義指的是圖像或視覺元素所代表的對(duì)象、場(chǎng)景或概念。它涉及圖像能夠再現(xiàn)或表示的具體內(nèi)容和信息。再現(xiàn)意義可分為敘事再現(xiàn)和概念再現(xiàn)。敘事再現(xiàn)指的是展開的動(dòng)作和事件、變化的過程和瞬間的空間安排（韋琴紅，2008）。概念再現(xiàn)是“一種概括、穩(wěn)定和沒有時(shí)間限制的精華再現(xiàn)參與者”（韋琴紅，2008）。兩者的區(qū)別在于敘事再現(xiàn)中存在著由圖像元素之間的斜線構(gòu)成的矢量（葉佳敏、陳樺，2023）。

互動(dòng)意義指的是圖像或視覺元素與觀眾之間的互動(dòng)關(guān)系以及產(chǎn)生的效果和情感。互動(dòng)意義涉及兩個(gè)主要參與者：再現(xiàn)參與者和互動(dòng)參與者（吳安萍、鐘守滿，2014）。再現(xiàn)參與者是指圖像中的主體，通過圖像呈現(xiàn)給觀看者。互動(dòng)參與者包括圖像的觀看者和制作者，他們是通過圖像進(jìn)行相互溝通和交流的主體。參與者之間的互動(dòng)關(guān)系主要表現(xiàn)在接觸、社會(huì)距離、態(tài)度和情態(tài)等方面（Kress&van Leeuwen，2006：115）。接觸指的是圖像與觀看者之間的視線交流過程。如果圖像中的人物與觀看者有直接的眼神接觸，那么該圖像行為就是索取類接觸；反之，則是提供類接觸。距離反映了圖像中再現(xiàn)參與者與觀看者之間的親疏關(guān)系（葉佳敏、陳樺，2023）。近距離表現(xiàn)親密關(guān)系，中距離表現(xiàn)社會(huì)關(guān)系，遠(yuǎn)距離則表示陌生關(guān)系。態(tài)度是通過視角來體現(xiàn)的，包括水平視角和垂直視角，視角反映出觀看者對(duì)再現(xiàn)參與者所持態(tài)度的主客觀程度（Kress&van Leeuwen，2006：129-140）。情態(tài)指再現(xiàn)參與者的真實(shí)度或可信度，其數(shù)值值有高、中、低三類（Kress&van Leeuwen，2006：155），可以通過色彩飽和度、線條、光線和陰影等實(shí)現(xiàn)圖像中情態(tài)的高低值。

構(gòu)圖意義指的是圖像或視覺元素在布局和組合上的安排和組織方式。構(gòu)圖意義主要通過信息值、顯著性和框架來實(shí)現(xiàn)（吳安萍、鐘守滿，2014）。信息值是通過成分在構(gòu)圖中的位置實(shí)現(xiàn)的，如上下、左右、中心和邊緣。顯著性是從不同程度吸引觀看者注意力的成分，通過成分突顯可看出成分關(guān)注度和重要性（吳安萍、鐘守滿，2014）。框架指表達(dá)象征圖像中的元素在某方面是否彼此相屬。往往利用分割線和實(shí)際的框架線條連接或者切斷圖像中的元素來表達(dá)（滕達(dá)、苗興偉，2018）。

（二）文獻(xiàn)綜述

國(guó)內(nèi)關(guān)于多模態(tài)語篇分析的研究主要有：李戰(zhàn)子（2003），論述了多模態(tài)語篇分析理論及其在外語教學(xué)中的重要作用；胡壯麟（2007）討論了社會(huì)符號(hào)學(xué)的多模態(tài)化，并介紹了計(jì)算機(jī)符號(hào)學(xué)；張德祿（2009）以系統(tǒng)功能語言學(xué)理論為基礎(chǔ)，構(gòu)建了一個(gè)多模態(tài)話語分析的綜合框架，并探討了各個(gè)模態(tài)之間的關(guān)系，為我國(guó)多模態(tài)語篇分析提供了新的思路。

多模態(tài)話語分析在新聞、電影、海報(bào)、宣傳片、廣告、繪本等方面有著廣泛的應(yīng)用。但很少有研究將多模態(tài)話語分析應(yīng)用到兒童立體書領(lǐng)域。兒童圖書領(lǐng)域中立體書這一新穎的形式是對(duì)傳統(tǒng)紙質(zhì)圖書閱讀習(xí)慣、閱讀方式以及兒童認(rèn)知能力的有效補(bǔ)充。視覺語法理論在兒童圖書領(lǐng)域具有較強(qiáng)的適用性。立體書作為一種多模態(tài)的兒童文學(xué)形式，融合了視覺、聽覺和觸覺等感知模態(tài)，為兒童提供了更加豐富和多樣的閱讀體驗(yàn)。因此，結(jié)合多模態(tài)話語分析與視覺語法的相關(guān)理論，對(duì)兒童立體書的研究具有一定的理論與實(shí)際意義。這既能加深我們對(duì)兒童文學(xué)的認(rèn)識(shí)，又能給兒童文學(xué)的設(shè)計(jì)與創(chuàng)意帶來新的思想與方法。未來的研究可以進(jìn)一步探索立體書中多種符號(hào)資源的互動(dòng)方式，以及它們?nèi)绾斡绊憙和拈喿x體驗(yàn)和認(rèn)知發(fā)展。

三、兒童立體書《這就是中國(guó)》的多模態(tài)話語分析

《這就是中國(guó)》3D立體書由中國(guó)大百科全書出版社出版，適合7～10歲兒童閱讀。該立體書以中國(guó)七大文化遺產(chǎn)為主題，包含北京故宮、蘇州園林、秦兵馬俑、敦煌莫高窟、杭州西湖、布達(dá)拉宮和萬里長(zhǎng)城七大立體絕景。該立體書將七大立體景觀通過層次疊加的方式制作成立體模型，讓讀者親身觸摸、拼插，使讀者獲得了全方位的體驗(yàn)。從語篇形式來看，該立體書以立體圖像為主，語言為輔，是立體圖像與語言符號(hào)兩種符號(hào)相結(jié)合的多模態(tài)語篇。

（一）再現(xiàn)意義

基于視覺語法理論，該立體書以概念再現(xiàn)為主，敘事再現(xiàn)和概念再現(xiàn)交叉共同構(gòu)成了語篇的再現(xiàn)意義。概念再現(xiàn)意義包括分類過程、分析過程和象征過程（葉佳敏、陳樺，2023）。其中，分析過程又細(xì)分為非結(jié)構(gòu)性分析過程和結(jié)構(gòu)分析過程。非結(jié)構(gòu)性分析過程只展示承載者所擁有的特征，不展示承載者本身；結(jié)構(gòu)性分析過程中既有承載者，同時(shí)又反映承載者所擁有的特征（葉佳敏、陳樺，2023）。如圖1所示，立體書《這就是中國(guó)》將長(zhǎng)城呈現(xiàn)在讀者面前，既展現(xiàn)出事物本身，又體現(xiàn)出景觀獨(dú)特的細(xì)節(jié)及其所擁有的特征。此結(jié)構(gòu)性分析過程體現(xiàn)出典型的概念再現(xiàn)意義。

同時(shí)，該立體書也體現(xiàn)了敘事再現(xiàn)意義。敘事再現(xiàn)進(jìn)一步分為動(dòng)作、反應(yīng)、言語和心理過程。例如，“拉薩布達(dá)拉宮”篇章中，在這座莊嚴(yán)而神圣的雪域圣殿下方，有關(guān)于布達(dá)拉宮的簡(jiǎn)要介紹以及與這座宮殿相關(guān)的歷史知識(shí)。如圖2所示，立體書《這就是中國(guó)》向我們展示了“松贊干布迎娶文成公主”的畫面。圖像中吹響號(hào)角的隨從，為公主獻(xiàn)上“哈達(dá)”的侍女，這些人物的動(dòng)作以及身體彎曲的弧度都構(gòu)成了顯著的“矢量”，形成了“動(dòng)作過程”。圖像中松贊干布和文成公主以各自的姿態(tài)接受對(duì)方的禮節(jié)，形成了“反應(yīng)過程”。該立體圖像成功地實(shí)現(xiàn)了概念再現(xiàn)和敘事再現(xiàn)，將一個(gè)故事情節(jié)以圖像的形式傳達(dá)給觀者，激發(fā)他們的想象力和參與感，并讓他們更深入地理解了中國(guó)歷史文化。

（二）互動(dòng)意義

由上文可知，在接觸、距離、態(tài)度和情態(tài)等方面與讀者建立互動(dòng)，立體書能夠提供更豐富、更具吸引力的閱讀體驗(yàn)。

第一，該立體書通過提供類接觸與讀者建立互動(dòng)。這些立體圖畫通過再現(xiàn)著名景點(diǎn)和文化遺產(chǎn)，提供了觀者與這些地方的虛擬接觸，為觀者營(yíng)造出虛擬的、與實(shí)際旅行相似的體驗(yàn)，并幫助觀者與這些文化和自然遺產(chǎn)建立情感和認(rèn)知上的聯(lián)系。

第二，該立體書通過近距離與讀者互動(dòng)。通過近景與特寫，觀者能夠更直接地感受到氣勢(shì)恢宏的故宮、高低錯(cuò)落的石窟全景、蜿蜒曲折的萬里長(zhǎng)城等。該立體書“特寫”了每個(gè)篇章中的重要?dú)v史，將其隱藏在“機(jī)關(guān)”中。讀者按照提示打開折疊的立體圖畫，既可以提高讀者的參與感，又可以給讀者帶來獨(dú)特的閱讀體驗(yàn)。

第三，該立體書通過全方位視角與讀者建立互動(dòng)。不同的視角可以帶給觀者不同的視覺體驗(yàn)。垂直視角體現(xiàn)權(quán)力關(guān)系，仰視突出立體圖畫中建筑物的氣勢(shì)磅礴，而俯視強(qiáng)調(diào)觀者的角度，觀者可以獲得對(duì)立體圖畫中景點(diǎn)或建筑物的全景視野；水平視角不涉及權(quán)力關(guān)系，這種視角通常處于與觀者眼睛相同高度的位置，傳達(dá)出真實(shí)感和身臨其境的效果。

第四，該立體書通過高情態(tài)的表現(xiàn)手法與讀者建立互動(dòng)。通過選擇特定的色彩調(diào)性、飽和度和亮度，該立體書傳達(dá)出特定的主題和文化特色。例如，北京故宮以紅色、黃色和金色為主，展現(xiàn)了中國(guó)古代建筑的典型色彩。這些色彩呈現(xiàn)出莊嚴(yán)、華麗和富麗堂皇的氛圍；秦兵馬俑以棕色和土壤色為主，刻畫出秦兵馬俑的古樸、穩(wěn)重和典雅；杭州西湖以綠色為主，還包括淡藍(lán)色和淡紫色等柔和的色彩，營(yíng)造出寧?kù)o、優(yōu)雅的氛圍。通過遠(yuǎn)近色彩的對(duì)比，該立體書呈現(xiàn)出景深和距離感，使觀者感受到畫面的立體性和空間感。這種色彩的運(yùn)用可以與觀者的視覺系統(tǒng)進(jìn)行交互，增強(qiáng)立體圖畫的視覺沖擊力和真實(shí)感。

（三）構(gòu)圖意義

通過巧妙的構(gòu)圖，立體書設(shè)計(jì)者可以引導(dǎo)觀眾的目光流動(dòng)，強(qiáng)調(diào)重要元素或創(chuàng)造特定的視覺效果。該立體書將元素置于“上-下”和“中心-邊緣”來體現(xiàn)其信息值。元素位置居上傳達(dá)理想的信息，居下傳達(dá)實(shí)際的信息；中心位置傳達(dá)核心的信息，邊緣位置傳達(dá)次要的信息。敦煌莫高窟、杭州西湖、布達(dá)拉宮和萬里長(zhǎng)城為“上-下”構(gòu)圖，上方展示立體圖像，下方則展示文字、“機(jī)關(guān)”等具體的元素。北京故宮、蘇州園林、秦兵馬俑為“中心-邊緣”構(gòu)圖，立體圖像置于頁面的中心位置，周圍用“機(jī)關(guān)”和文字填充相關(guān)的具體信息。通過合理的構(gòu)圖和元素排列，該立體書突出展示了景點(diǎn)或建筑物的關(guān)鍵特征和重要信息。這也恰恰體現(xiàn)出該立體書的顯著性。通過多層次布局，該立體書將主要物體放大，使其在立體圖像中占據(jù)較大的比例，并調(diào)整其色彩飽和度，使其在圖像中更加醒目和突出。

該立體書通過顏色和分割線將內(nèi)容進(jìn)行連接和分割，使其形成“上-下”和“中心-邊緣”的框架。立體圖像以其主題顏色為主，而文字以相似的淺色為背景，兩個(gè)框架使用不同的色調(diào)，可以在視覺上將內(nèi)容劃分為兩個(gè)區(qū)域，形成分割的效果。通過垂直或斜向的分割線，該立體書將內(nèi)容分割成不同的部分，將立體圖像與周圍的文字內(nèi)容分離開來，同時(shí)有助于連接相關(guān)的元素。圖像和文字相輔相成，共同實(shí)現(xiàn)了整個(gè)語篇的意義。

四、結(jié)論

本文以視覺語法為理論基礎(chǔ)，對(duì)兒童立體書《這就是中國(guó)》的再現(xiàn)意義、互動(dòng)意義和構(gòu)圖意義進(jìn)行了多模態(tài)分析。研究發(fā)現(xiàn)：立體書《這就是中國(guó)》作為一種多模態(tài)媒介，以其獨(dú)特的視覺語法元素，為兒童再現(xiàn)了中國(guó)七大絕景。通過有效的組合和互動(dòng)設(shè)計(jì)，立體書不僅激發(fā)了兒童對(duì)中國(guó)歷史文化的興趣，而且促進(jìn)了他們對(duì)知識(shí)的深入理解和記憶。因此，立體書在兒童教育中具有廣闊的應(yīng)用前景，并為教育者提供了一種創(chuàng)新的教學(xué)手段。

作者單位：西安外國(guó)語大學(xué)