語言與圖像的運用：一則電視公益廣告的概念意義多模態分析

岳豪

摘要：本文介紹了OHalloran構建的語言和視覺圖像的概念意義系統功能模型，并運用這個理論模型分析了一則中文電視公益廣告的概念意義，發現其在構建語篇概念意義的過程中有著優勢和積極作用;同時還探討了語言、文字和圖像等多種符號資源如何以各自獨特的方式共同構建動態語篇的整體意義。

關鍵詞：系統功能語法;多模態語篇分析;電視廣告;概念意義

隨著社會的進步和科技的發展，語篇的意義傳遞已經不再是單一的文字符號模式，而是包含圖像、音頻、視頻等多種符號的復雜形式和系統。因此，語篇分析從最初的對純語言的語篇分析轉向多模態語篇分析（Multimodal Discourse Analysis， MDA）。研究者們根據Halliday的符號理論和系統功能語法理論（Halliday，1994，2000）嘗試解釋各種模態的語法，如Kress & van Leeuwen（1996）的視覺語法、Martinec（2001）的動作符號學和新加坡國立大學的OHalloran（2008）的語言和圖像的概念意義系統功能模型。文章嘗試用OHalloran構建的語言和圖像的概念意義系統功能模型，以2014年春晚的一則的電視公益廣告《筷子篇》為研究對象，運用系統功能多模態語篇分析理論對其概念意義進行解讀。

一、相關理論

自上個世紀50年代初Harris提出語篇分析以來，新的話語分析理論和方法不斷受到語言學者們研究關注并得以發展。但這些理論和方法，主要集中在對語言系統和語義結構本身的分析，在圖像、聲音、顏色等其它的表意符號方面的研究存在一定的不足，導致傳統的語篇分析具有一定的局限性。MDA到了 20世紀90年代開始在西方興起，從而實現了對由幾個或不同的符號模態構建的意義表達的文本語篇分析，很大程度上克服了傳統語篇分析的局限。系統功能語言學認為語言是系統的有層次的，包含內容和表達兩個層次。內容層由語篇語義（從段落到語篇）和詞匯語法（小句復合體、小聚、詞組和詞）構成;表達層面涉及到口語和書面語的音系學、筆體學或印刷樣式（Halliday，2004; Martin，1992; Martin & Rose，2003）。但兩個層面的系統功能語法的本質卻有著不同，語篇語義和詞匯語法系統有著明顯的語言純理功能對等傾向，但表達層面卻沒有類似的嚴格的語言純理功能的分類對等。

語言語篇的基本單位是小句，每個小句都有小句的結構成分組成，并且每個小句都在語篇中有一定的功能，即語篇分析有可遵循的語法。圖像語篇能否如語言語篇一樣可以構建一個理論框架？Kress & van Leeuwen （2001，2002）以社會符號學的理論為基礎構建了視覺語法（Visual Grammar），建立了以再現意義、互動意義和構成意義為核心的視覺語法。在系統功能語法的語言框架和視覺圖像框架構建的基礎上（Halliday，2004;Martin，1992;Martin & Rose，2003;OToole，1994等），OHalloran整合構建了一個語言和圖像概念意義的系統功能框架（OHalloran，2004a， 2004b， 2005， 2007a， 2007b， 2008） （見下頁表1）。

語言概念意義的構建中一個重要的特征就是語法隱喻。語法隱喻為符際的意義構建中的隱喻意義轉換提供了概念基礎，符際的意義轉換稱之為符號隱喻，這一概念是對語言中語法隱喻的進一步發展，回應了視覺圖像中不同符號資源承擔語篇的不同功能（OHalloran， 2003， 2005）。圖像的概念意義主要關注圖片、繪畫和素描中的敘事關系，圖像的再現意義體現在場景中，場景包含一定的人物和對象在一定的背景下其移動-動作-事件-狀態序列。在這個場景中可能存在次場景或情節間的互相影響，并且每個次場景或情節也有它們自己的移動-動作-事件-狀態序列。圖像的邏輯關系體現在一定場景、次場景中展現的時間、空間或因果關系上。

二、語篇及語篇的概念意義分析

（一）語篇介紹

自2013年春節晚會直播時加入一則電視公益廣告以來，此創意受到觀眾的普遍好評。文章中要分析的語篇是2014年春節晚會直播間的一則公益廣告，其創意視角是中國人每天都會用到的筷子，一雙蘊含了中國豐富情感的筷子，成為了一個民族文化與情感傳承的載體。廣告以筷子為主要元素，通過幾個的家庭小故事，傳遞出不同家庭豐富的內容與情緒，傳達給觀眾中國人含蓄的美德和有滋有味的新年。

文章選取了視頻語篇中5個典型的場景（S1-S5）和言語內容作為分析的數據樣本（見下頁表2），運用OHalloran的理論框架來探究其概念意義及多模態語篇中多符號資源如何相互協作、共同構建整個語篇意義。語篇言語和圖像內容以筷子為主線，穿越五個時空，分別傳遞“啟迪、傳承、明禮、關愛、睦鄰”等信息，匯聚成“一雙筷子/承載中國數千年的情感/有滋有味/幸福中國味”的主題。

（二）語篇的概念意義分析

電視廣告語篇是一種更為復雜的多模態語篇，因為它涉及多個模態種類，有著多種符號資源，有圖像、文字、聲音及非語言結構等共建一個動態的而非靜止的語篇或交際事件。由于語篇中要素較多，我們分析時將語篇分為4個聚類（Cluster）：C1口頭語和非語言因素、C2圖像再現意義和身體特征、C3圖像特寫和文字信息、C4多模態的意義共建和概念隱喻，C1-C3分別對照語篇的5個場景進行概念意義的分析，C4把5個場景視為一個整體進行分析，體現語言、文字、圖像共建意義。

C1最能體現電視語篇的多模態特性：動態的事件。語言是語篇參與者的言語體現，但并不是要交際的內容的全部或只是一小部分，其余的意義是通過人物的肢體語言、副語言、空間及時間語言等非語言交際來動態的傳遞信息，兩種形式相互協作共同完成敘事。S1中嬰兒的表情的變化從哭到笑，是參與者的心理過程描述，它的環境成分就是另一參與者（祖）用筷子沾菜湯的動作;同時也可用作格分析法解釋，作格分析關心的是造成一個動作的原因是自身還是外部，即施事+中介。祖（施事）成為嬰兒（中介）哭（動作）的外因。S2體現了典型的經驗意義，即人們用語言來談論他們對世界的經驗（包括內心世界）。在母女對話中有四個物質過程（媽媽教你、你用筷子、拿筷子、我夾不起）、兩個行為過程（哭著說怎么辦、笑）、一個關系過程（我們是中國人）和存在過程（事實：中國人都要用筷子的）。S3中孫的兩個表情的變化（“茫然不悅”到“邊吃邊笑”）可視為心理過程（孫成為“感覺者”而茫然、不悅）+行為過程（孫是“行為者”）。S4包含行為過程（我回來了）和認知心理過程（就知道你愛吃）;S4的非語言因素應引注意：一是母子相擁;二是“母”用方言，“子”用普通話。中國人的傳統性格是含蓄、不善情感表露，即使愛人或母子（成年子女）也很少擁抱，除非在如慶祝、災難或生死離別等情形。方言的使用在整個語篇中幾乎貫穿始終，在多模態語篇中也方言具有交待強化小句環境成分和揭示情節的隱性背景信息作用。如，S2母說的是方言，女（大概3-4歲）說普通話，說明其出身及教育背景;S4兒對母說的也是普通話，可能是離家太久，很難一下子轉換語碼，這也真好解釋了母子見面后的擁抱以及母親拭淚的肢體語言，其既有隱喻成分又有邏輯語義關系的體現。S5中有言語過程（說話內容：老王走到我家去吃飯）、物質過程（我正燒飯呢）、心理過程（我知道……）;其中邏輯語義關系和依賴關系很明顯：老王1人—請他到我家吃飯—但老王正做飯—做就做了—多雙筷子嘛—今天過年—高興，這使得語篇的接續和連接性很強。

C2涉及的身體特征是一系列的參與人物的手勢、身勢、面部表情、動作、移動等，這和視覺圖像場景中的移動-動作-事件-狀態序列形成互補;圖像的再現意義體現在一定場景中，場景包含一定的人物和對象在一定的背景下的移動-動作-事件-狀態序列，圖像的邏輯關系體現在一定場景、次場景中的人物、對象、背景之間的時間、空間或因果關系。如，S1和S2中嬰兒或女孩的表情從哭到笑的變化和“用筷子吃到食物”的因果關系;S3中男孩拿筷子的表情變化：茫然不悅（父親阻攔）-開心地笑（夾到了菜）;S4中“子”拎行李、S5中大人孩子拎禮物和看煙花，以及S3中洗一大把筷子等動作，構建和強化了事件的背景和情節;特別是S4中畫面鏡頭的切換：煙囪-油鍋和攪雞蛋的筷子-筷子夾肉，體現了圖像的場景的變化和時間、空間的變化。

C3圖像特寫和文字信息是把動態的電視畫面定格化，轉換成具有象征意義的靜止畫面，從而發現其概念意義的體現。系統功能多模態語篇分析的經驗意義是符際間的構思過程，語篇中各個場景的特寫圖像里的活動順序從圖片延伸到語言文字，及物性關系涉及到過程、參與者和環境成分的符際間關系。如語篇中嬰兒的笑、女兒的滿足、男孩的開心、母子會意的笑和老王拭淚等5個特寫畫面分別用更為美觀、動感的行草體文字：啟迪、傳承、明禮、關愛、睦鄰來詮釋，圖像被文字語法化或文字被圖像視覺化，二者的并置和空間的使用實現了符際間關系，延展了符際間的意義。最后的文字信息：“一雙筷子……幸福中國味”，主要體現的是語篇意義，是對以上內容的重復、照應。

C4從整個語篇來分析圖像、言語、文字如何共同構建一個完整的意義。在電視廣告語篇中，圖像和言語之間是相互依存、互補增強的關系，圖像需要參與者言語進行解讀，因為圖像意義本身就具有模糊性;言語從交際角度來講，不僅僅是純語言的行為，其本身就附帶有非語言的特征，這些特征正好可以通過動態的圖像同步表達出來。圖像、言語的基礎上如再配上文字，就會起到很好的輔助，對意義的構建進一步明確，從而共同構建一個完整的語篇。當視覺場景被簡化為一個實體存在時，就發生了語義的轉換，這就是符號隱喻。語篇中一個個特寫圖像通過詞匯化被重新構型為啟迪、傳承、明禮等實體。用作吃飯工具的筷子（目標）卻成了中國數千年情感的“感知者”，筷子具有了語法隱喻。同時，場景、有聲圖像和文字之間的邏輯關系（敘事、描述或因果關系）通過移動-動作序列被含蓄地建立了起來。

三、小結

文章以OHalloran構建系統功能的語言和視覺圖像理論框架為基礎，通過對多模態文本概念意義的分析，發現多模態語篇分析新的視角，此將成為系統功能多模態語篇分析的一個新方向，更是難點;同時討論了語言、文字和圖像多符號資源如何以各自獨特的方式共同構建語篇整體意義，發現了其理論對構建概念意義的積極作用。

當然，OHalloran的理論模型也存在一些不足，主要還是對語篇定性的研究，多用描寫、分析的方法，難免會受到分析者的主觀因素的影響;缺少更加科學的定量研究，對于語言在語篇中的比例、不同類型的語篇是否有不同的變量、標準等問題沒有一個明確的界定;該模型研究對象主要還是靜止語篇，對于如電視廣告等動態語篇中口頭語、副語言等因素沒有細化，使得表達層面的分析在動態的語篇中顯得形同虛設。但隨著越來越多的學者開始關注多模態語篇，其分析方法和理論會進一步完善。

參考文獻：

[1]Halliday，M.A.K. An Introduction to Functional Grammar， 2nd edn.[M]. London：Arnold，1994.

[2]Halliday，M.A.K. An Introduction to Functional Grammar， 2nd edn.[M].Beijing： FLTRP，2000.

[3]Halliday，M.A.K. An Introduction to Functional Grammar， 3rd edn. rev. by C.M.I.M.Matthiessen[M].London：Arnold，2004.

[4]Kress， G. and Van Leeuwen， T. Reading Images： The Grammar of Visual Design[M]. London： Routledge， 1996.

[5]Kress，G. and Van Leeuwen，T.‘Colour as a Semiotic Mode： Notes for a Grammar of Colour，Visual Communication[C].2002，1（3）：343-68.

[6] Kress，G. and Van Leeuwen，T. Multimodal Discourse： The Modes and Media of Contemporary Communication Discourse[M].London：Arnold，2001.

[7]Martinec，R.Interpersonal Resources in Action[J].Semiotica 2001，135（1）：117-145.

[8]Martin，J.R.English Text： System and Structure[M].Amsterdam： John Benjamins，1992.

[9]Martin，J.R. and Rose，D. Working with Discourse： Meaning Beyond the Clause[M].London：Continuum，2003.

[10]OHalloran，K.L.‘Intersemiosis in Mathematics and Science： Grammatical Metaphor and Semiotic Metaphor，in A.-M.Simon-Vandenbergen，M. Taverniers and L.Ravelli（eds）Grammatical Metaphor： Views from Systemic Functional Linguistics[M].Amsterdam： John Benjamins，2003：337-65.

[11]OHalloran， K.L.Multimodal Discourse Analysis[M].London： Continuum，2004a.

[12]OHalloran， K.L.‘Visual Semiosis in Filmin Multimodal Discourse Analysis[M].London： Continuum，2004b：109-30.

[13]OHalloran， K.L.Mathematical Discuorse： Language， Symbolism and Visual Images[M].Londaon： Continuum，2005.

[14]OHalloran， K.L.‘Mathematical and Scientific Forms of Knowledge： A Systemic Functional Multimodal Grammatical Approachin F. Christie and J.R. Martin. Language， Knowledge and Pedagogy： Functional Linguistic and Sociological Perspectives[M].London： Continuum，2007a：205-36.

[15]OHalloran， K.L.‘Systemic Functional Multimodal Discourse Analysis Approach to Mathematics， Grammar and Literacyin A.McCabe， M.ODonnell and R.Whittaker. Advances in Language and Education[M]. London： Continuum，2007b：75-100.

[16]OHalloran K.L. Systemic functional-multimodal discourse analysis（SF-MDA）：constructing ideational meaning using language and visual imagery[C].SAGE publicationas：http：//vcj.sagepub.com，2008：443-475.

[17]OTool，M. The Language of Displayed Art[M].London： Leicester University Press，1994.