多模態視野下圖文關系研究的機遇與挑戰

?

多模態視野下圖文關系研究的機遇與挑戰

劉成科1,2，顏志蓉1

(1.安徽農業大學 外國語學院，安徽 合肥 230036；2.中國科學技術大學 人文學院，安徽 合肥 230026 )

摘要：多模態理論研究正處于學術研究的活躍期。多模態中的語言和圖像之間的關系問題更是該領域的研究重點。然而，目前學術界在多模態語篇中圖文之間的地位關系、圖文之間的意義沖突和互動關系等方面的認識還存在一定的分歧。因此，在梳理國內外圖文關系研究的基礎上，主要探討了圖文關系研究的核心課題、面臨的主要挑戰和可能的研究方法等，這既有助于豐富多模態語篇的理論研究，又將進一步拓展和完善讀圖時代下的圖文關系研究。

關鍵詞：多模態；語篇；圖文關系；認知努力

多模態理論的系統研究主要始于20世紀末。然而，圖文關系研究雖然只有短暫的歷史，卻有著久遠的過去，甚至可以追溯到古希臘時代柏拉圖的“線段之喻”。隨著社會符號學和語言學等相關學科的迅猛發展，近幾十年來，圖文關系的研究不僅引發了學術界激烈爭論，而且在相關的社會實踐領域也產生了巨大的影響。

1圖文關系研究概述

1.1　國外圖文關系研究的主要流派

在國外學術界，很多學者都對圖文之間的關系有一些零散的論述，如O’Halloran[1]，Kress &Van Leeuven[2]，Lemke[3]，Norris[4]和Jewitt[5]等，然而對圖文關系比較系統的研究卻并不多見。根據研究視角的不同，我們可以粗略地分為符號派、信息派、功能派和邏輯語義派。首先，以Barthes為主要代表的學者，從符號學視角來審視圖文關系。他著重提出了三種簡單的圖文關系模式：說明、錨定和接遞[6]。該模式雖然較為簡單，卻為后來圖文關系的探討打下了堅實的基礎和構建了基本的框架；其次，以Schriver為主要代表的學者，嘗試從圖文對語篇信息量的生成為出發點，提出了基于信息視角的圖文關系模式：冗余，互補，增補，并置和布景[7]；再者，Carney &Levin提出了圖文在多模態語篇中扮演不同的角色或執行不同的功能：裝飾功能、再現功能、組織功能、闡釋功能和轉換功能[8]；Marsh &White 則是利用分類法闡述了圖片在文本中的功能[9]。他們的分類含有三個層面，每一層都根據精密度分為不同的功能類型。整個模式系統性強，分類詳細，結構清晰。上述兩組代表性的學者都是基于功能的視角來構建圖文關系的模式；最后，以Martinec & Salway為代表的學者則從邏輯語義的視角出發，借鑒功能語言學的小句關系理論，重點關注了多模態語篇中圖文互動模式的構建[10]。

1.2　國內圖文關系研究的主要特點

近年來，國內對多模態理論的研究十分活躍。但對于多模態語篇中圖文關系的研究仍然略顯不足，除了自古以來對于圖文關系相對定勢的觀念外，基本處在對國外圖文關系模式的理論探討和應用階段。

國內學術界對多模態語篇中圖文關系的研究主要可以概括為幾個方面：

首先，圖文關系的和諧性占主體地位。圖文關系在中國古代文化中一直處于水乳交融的和諧狀況,兩者并沒有被看成是對立的兩面。縱觀中國文化的發展歷程，圖文關系體現在“言、像、意”、“文學之象”、“詩畫一律”和“書畫同源”等不同方面。圖文之間的和諧共生關系占據了主體地位。然而，單純的和諧關系并不是圖文關系的全貌，應該結合當下的語篇趨勢，全面闡述圖文之間的“和諧”和“沖突”。

其次，圖文關系的交叉性占主流地位。近年來，我國語言學、文學、傳播學、美學、藝術學等諸多學科領域的學者，紛紛對圖文關系問題展開探討，使得圖文關系的研究始終呈現學科交叉性的特點。主要研究的問題包括：圖文關系在各類語篇中的表意特點、圖像與文學的關系、美學重構下圖文關系的再思考、圖文修辭的內在結構等。可見，各種學科相互借鑒，相互交叉，對圖文關系展開不同視角、不同層面的探討和研究，然而，研究也多于分散獨立，缺少統一平臺，單純的理論評介較多，系統性不強，也不夠深入。

最后，圖文關系的應用性占主導地位。國內學者更關注圖文關系在不同領域的實際應用性，如圖文關系理論在辭書編纂[11]、新聞傳播[12]、藝術創作[13]、廣告創意[14]、課堂教學[15]等不同領域的應用，但是，對圖文之間的內部邏輯結構關系的理論探討相對較少。

綜上所述，國外學術界嘗試從不同視角解構圖文之間的關系，但是，其倡導的圖文關系模式過于簡單或復雜，精密度的彈性不足，可操作性偏低。國內的研究偏向圖文關系現象的解讀以及在不同領域的實際應用，缺乏對圖文關系的系統研究，即關于圖文關系本體的探討明顯不足。

2圖文關系研究的核心課題

圖文關系與不同的社會文化語境、不同的符號表意系統、不同的受眾群體特點等緊密相關。要合理建構圖文關系模式，必須注意具備理論性、現實性和可行性等方面的有機統一。因此，圖文關系的研究，應該按照統一平臺，學科互融的原則，打破學科之間的壁壘，并且把圖文關系模式的建構與應用結合起來，從而適應多模態語篇在各領域的最新發展需要，更好地為語篇實踐服務。因此，圖文關系研究應該著力從如下幾個方面深入探討。

2.1　圖文內在結構與多重互文關系

首先，通過視覺語法和功能語法分別解析圖文之間的內在結構特征，討論兩者內在結構的異同，并研究圖文在多模態語篇意義建構時的角色分配與功能差異。其次，分析圖文作為獨立的表意符號重構語篇世界的方式和特點，結合讀者認知能力等因素探討圖文關系的差異對信息傳遞與意義輸出的影響。最后，研究多模態語篇中圖文之間的多重互文關系，解構圖文之間的二元對立，特別是通過闡釋圖文之間如何通過沖突和碰撞表達語義張力，顛覆傳統的圖文關系模式，從而拓展圖文關系研究的領域。

2.2　圖文關系模式的建構和應用

首先，通過分析不同學科領域對圖文關系的論述，探索圖文關系概念的演變歷程，認識圖文關系的內涵和外延，準確界定圖文關系研究的學科屬性和適用范圍，從而為圖文關系研究的進一步發展清除障礙。其次，通過系統地梳理、對比和整合國內外關于圖文關系理論和實踐方面的已有成果，結合當今世界多模態語篇的發展趨勢，利用跨學科的研究平臺，以多模態語篇分析為基本理論框架，吸收眾學之長，嘗試建構一種相對完整、系統和有效的圖文關系互動模式，既方便語篇生產者的圖文關系建構，又易于語篇消費者的圖文關系解讀。最后，分析圖文關系模式在不同領域里的應用實踐，總結歸納典型的成功案例，進而不斷修正和完善新型圖文關系模式的建構，并嘗試在多模態語篇實踐中檢驗新型圖文關系模式的實際可操作性。此外，重點探討如何將圖文關系模式更好地應用到課堂教學、教材編寫、新聞傳播、廣告創意和網頁制作等不同領域中，從而應對新形勢下多模態語篇發展的挑戰。

2.3　圖文關系與社會文化的交互

首先，研究圖文關系與社會文化之間的歷時關系。圖文關系模式的建構離不開特定時期的社會文化語境，反過來，圖文關系模式又折射出不同時期的社會文化特征。例如，隨著“讀圖時代”和“注意力經濟”的到來，圖片在語篇中的地位和意義得到了明顯的凸顯，那么，這種社會文化將直接影響圖文關系的演變。其次，研究圖文關系與中西方社會文化的共時關系。運用多學科的理論知識對中西方不同社會文化背景下的圖文關系模式進行系統地對比分析，探討不同的社會文化背景對圖文關系模式建構的具體影響，揭示圖文關系背后隱藏的文化屬性和社會特點，并分析圖文關系如何反映社會文化和藝術美學訴求，或迎合不同主流文化背景讀者的審美或意義需求。

3圖文關系研究的主要挑戰

在“注意力經濟”盛行的當下，圖文關系的研究順應了時代發展的需要，諸多學者分別從各自的視角闡釋了圖文關系理論體系的建構，也探討了圖文關系在各個具體領域的應用，它既迎來了難得的發展機遇，又面臨著實際操作過程中的種種挑戰。首先，如何合理調控圖文關系模式的精密度，建構具有一定彈性的圖文關系模式，以適應不同語篇實際的需求[16]。過于簡單或者繁雜的模式，都不利于圖文關系的清晰表征。未來科學的圖文關系模式應該以語篇需求為導向，繁簡適度，適用性強。第二，如何從圖文意義生成的角度出發，根據多模態語篇意義生成的經濟性原則，綜合考量去建構圖片與文本之間的關系模式。此處的“經濟性”指恰巧可以滿足語篇意義生成需要的圖文關系模式，“不能更少，也無需更多”。第三，如何從圖文意義消費的角度出發，根據語篇潛在讀者群體的特點，靈活建構圖文關系模式，盡量減少讀者解讀圖文意義時的認知努力，把語篇生產和語篇消費有機結合起來。第四，如何在圖文關系模式的建構中，摒棄僵化的“語言中心論”或“圖像霸權”的片面思想，把圖文意義看成動態的有機整體，充分考慮圖文意義的互動性特點，合理建構圖文關系模式。最后，如何系統地梳理整合各學科圖文關系研究的成果，創造圖文關系研究統一學科平臺；如何清楚地界定圖文之間內在結構的差異；如何準確把握讀者解讀圖文意義時的認知心理等，這些都是未來圖文關系研究不可逃避的問題。對于這些問題的圓滿解答，必將極大地促進圖文關系研究的發展。

4圖文關系研究的主要方法

圖文關系研究是跨文化跨學科的綜合性研究，必須以多模態語篇分析理論為理論基礎，借鑒符號學、藝術理論、傳播學和圖像學等多門學科的研究成果和理論知識，嘗試對多模態語篇中的圖文關系模式的建構進行綜合研究。

從基礎研究的角度來說，首先，通過圖片與文字兩種不同符號編碼體系的比較，討論兩種不同的表意系統如何建構意義的，分析這兩種符號系統各自不同的再現和敘述手段，各自獨特的內部結構以及兩者之間的多重互文關系。其次，通過對比分析中西方文化背景下圖文關系建構的異同，試圖挖掘差異背后的深層原因，使得圖文關系的研究能夠得到更加系統全面的發展。最后，重點把圖文關系置于符號學的寬廣視野之下，一方面，結合多學科的理論知識全面審視圖文關系模式的建構，另一方面，又打破學科之間的壁壘，博采眾長，創造圖文關系模式研究的統一平臺，從而最終建構適應語篇發展趨勢的新的圖文關系模式。

從應用研究的角度來說，分析圖文關系模式建構的成功范式，探討如何運用圖文關系理論促進數字化多媒體網絡時代下的語篇建構和信息傳播，特別關注圖文關系理論在教材編寫、教育教學、廣告創意和媒體傳播等諸多領域的應用實踐。

5結語

綜上所述，在知識爆炸的今天，信息量的劇增要求對語篇的生產方式作出相應的變革，語篇的多模態性順應了時代發展的趨勢，滿足了讀者對語篇的消費需求。本文從不同視角簡要地剖析了多模態語篇中的圖文之間的關系，指出了圖文研究的核心課題、主要挑戰和研究方法。無論是符號學視角下的簡單分類，還是邏輯語義視角下的復雜劃分，都清楚地表明，圖片和文本都是多模態語篇意義生成過程中不可缺少的組成部分，兩者之間的關系并不是相互沖突，相互對立的，而是相互協作，相互補充，你中有我，我中有你的共生關系。因此，圖片和文本不應該被簡單地割裂開來，也不要過分地強調誰主誰次，而是應該基于語篇的具體情況，合理控制圖文關系模式的精密度，并且綜合考慮圖文意義生成的經濟性和圖文意義消費的便利性，把語篇生產與語篇消費有機結合起來，運用圖片與文本這兩種符號編碼體系在表意時的各自特點，充分發揮兩者的優勢，更加科學有效地建構多模態語篇的意義。

參考文獻：

[1] O’Halloran K L. Towards a Systemic Functional Analysis of Multisemiotic Mathematics Texts[J]. Semiotica,1999, 124(1/2): 1-29.

[2] Kress G & T van Leeuwen. Reading Images: The Grammar of Visual Design [M]. London: Routledge. 2006.

[3] Lemke J. Multiplying Meaning:Visual and Verbal Semiotics in Scientific Text[C]// J.R. Martin, R. Veel. Reading Science. London:Routeldge.1998: 87-113.

[4] Norris S. Analyzing Multimodal Interaction: A Methodological Framework, London:Routledge. 2004.

[5] Jewitt C. The Routledge Handbook of Multimodal Analysis[M]. London: Routledge.2009.

[6] Barthes R. Image-Music-Text [M]. London: Fontana.1977.

[7] Schriver KA. Dynamics in document design: creating text for readers[M]. Willey Computer Publishing. 1997.

[8] Carney R N and Levin J R. Pictorial illustrations still improve students learning from text[J]. Educational Psychology Review, 2002,14(1): 5-26.

[9] Marsh E E and White M D. A Taxonomy of Relationships between Images and Texts[J]. J. of Documentation , 2003,59(6):647-672.

[10] Martinec R, Salway A. A system for image-text relations in new media [J]. Visual Communication, 2005,4(3):347-352.

[11] 楊信彰.學習型英漢雙解詞典中的圖文關系[J].北京科技大學學報(社科版)，2012(4):45-51.

[12] 朱淑姣. 視覺傳播時代報紙版面設計的圖文關系[J]. 大舞臺，2013(4):111-112.

[13] 李承華. 圖像?還是文本—微博時代的圖文關系[J]. 美術研究，2013(2):123-124.

[14] 甘蒞豪.平面廣告圖文關系的分析框架：基于“語法、語義、語用”三個維度[J].國際新聞界,2012(5):93-100.

[15] 張德祿,王璐.多模態話語模態的協同及在外語教學中的體現[J].外語學刊，2010(2):97-102.

[16] 劉成科.多模態語篇中的圖文關系[J]. 寧夏社會科學，2014(1)：144-148.

(責任校對王小飛)

中圖分類號：H313

文獻標志碼：A

文章編號：1674-5884(2016)01-0177-04

作者簡介：劉成科(1979 -)，男，安徽肥西人，博士生，講師，主要從事語篇分析、語言與認知研究。

基金項目：2014年安徽省教育廳人文社科重點課題(SK2014A238)；2015年安徽農業大學繁榮發展基金重點項目

收稿日期：20150827

doi:10.13582/j.cnki.1674-5884.2016.01.052 10.13582/j.cnki.1674-5884.2016.01.053