多維視角下多模態話語研究的共性與差異探析

滕達

（大慶師范學院，黑龍江大慶 163712）

人工智能和科技的進一步發展，改變了人們的交流行為方式。人們的交流方式由人與人，到人與機器，到人與機器與人，多媒介，多符號，多信道的輸入和輸出模式廣泛地存在于人們的日常交流中。單一的模態的交際已經不能滿足人類的交際訴求。語言的內在本質就是多模態的，語音、文字和其他符號是語言表達的3 個系統。不同的符號是不同意義潛勢的體現，各種符號資源相互在各自的分層系統和故事語法系統中構成可以表征的意義。多模態話語有著單純語言模態不可替代的表意作用，也更加全面地反映人作為主體的交際者和讀者的表達意圖及識讀感受。

近年來，從靜態的圖文符號到動態的身勢語，多模態話語的研究逐步形成熱點。互動交流方面的研究，如網頁、海報、電影、微博，漫畫到面對面的互動交流，手勢和聲音對語言表達的輔助作用。多模態話語研究從研究視角來看，其本身就具有跨學科性，教育學，心理學，神經學，傳播學及語言學都有所涉及[1]。寬泛的研究視角架構了多模態話語研究的融合性發展特點。近年來，從語言學視角研究多模態話語的意義建構，文化負載和交往互動的研究成果頗豐。該研究探討語言學內部，有關多模態話語研究的共性特征和差異性表現，僅此為多模態的融合發展提供借鑒。

1 多維視角下多模態話語研究

多模態研究非常有價值的觀點，最早由R，Barthes, 在Rhetoric of the image 一文中提出，探討了圖像與語言之間的關系。Barthes 在對報紙照片的分析中提到表意信息的整體由兩種不同的結構來承載。這兩種結構相互合作共同構成整體意義的表達，但同時由于他們的異質性，他們又彼此分離。語言信息的實質是由單詞組成的;圖像信息有線條、表面、陰影等元素構成。此外，消息的兩種結構各自占據各自定義的空間，這些空間是連續的，但不是“均質化”的。實際上，Barthes 探討了圖文之間的互補性和非均等性特點，它們之間的配比是由于整體意義的表達和建構決定的[2]。文字確定了圖像的意義，圖像是對文字的進一步解釋，圖像和文字各自表達整體意義的一部分。

多模態符號研究的主要路徑包括：“符號語法的構建，多模態語類特征研究，社會場所再符號化過程研究等。”（李戰子，2013）研究主要分成四大部分，一是基于社會符號學的分析。二是從系統功能語言學角度進行元功能分析； 三是從社會互動語言學汲取營養，采用會話分析的方法研究多模態互動現象。四是從語用學角度，研究在說話人的多模態協同表達取得的語用效果，及語篇的多模態屬性對讀者的語用作用[3]。

1.1 社會符號學視角下的多模態話語

社會符號學的研究目的是揭示意義形成的過程，探討作為人的個體所使用的語言及非語言符號系統是如何表征的。一般認為符號資源是人們進行互動的載體，社會符號學關注符號的制造者，符號的模式和社會的需要。Robert Hodge, Kress, Van Leeuwen 基于符號學，系統功能語言學和批評話語分析進一步推動了社會符號學的發展。傳統的符號學認為語言的意義是靜止的和固定的，需要參照編碼系統進行解碼。社會符號學更注重符號的創造者，也就是說符號系統在社會使用中形成的，不可能脫離語境而存在。因此社會符號學的發展勢必要與人的意識形態，社會關系，社會實踐相關聯，也必將是多模態話語分析的走向。從社會符號學來看，Kress&van Leeuwen 的視覺語法理論對多模態話語研究做出了重要的理論貢獻。該理論從功能語言理論出發，從社會符號學視角提供了多模態研究框架，拓寬了多模態研究的范圍。社會符號學于20 世紀90年代末，開始關注更廣泛得多模態模式。van Leeuwen（1999）考察了聲音在交流中的材料，媒體和類型等的符號學潛力[4]。在21 世紀初以來，多模態的社會符號學研究開始從識別和描述單個模態轉向在模態內部和跨模態運行的符號學原則。例如，空間和建筑、多媒體、聲音和音樂的符號學潛力。

1.2 系統功能語言學視角下的多模態話語

系統功能語言學（SFL）的多模態研究是系統功能語言學研究的一個子域。韓禮德繼承了J. R. Firth的思想，Firth 關注的是語言在不同語境中的使用方式，而不考慮語言使用形式的感知價值。語言學是理解個人與文化之間關系的社會行動。韓禮德和弗斯的語言觀與馬克思主義的語言學是完全兼容的，都強調研究語言與社會之間的不可分離的關系，語言和社會過程是系統之間的相互作用。發源于語義學的系統功能語言學對于其他符號資源的研究是適用的。SFL 適用于分析口語和書面語言以及非語言資源創造意義的方式。Kress、van Leeuwen 和O’Toole分別開發了分析圖像的視覺語法理論和展示藝術的系統框架，率先將SFL 用于多模態研究[5]。在O’Toole 之后，O’Halloran 運用SFL 方法來研究數學文本和課堂話語、實現圖像和數學符號的整合研究。目前從SFL 視角出發多模態的研究涉及三維空間、博物館展覽、建筑、網站、在線新聞、肢體語言、兒童繪本、學科知識等方面的研究 （O’Halloran, 2004;Dreyfus, Hood, & Stenglin, 2011）[6]。2020年馬丁中心舉辦的多模態會議中，相關的學者O’Halloran，張德祿、馮德正涉及的相關議題有多模態的大數據驅動研究，多模態話語與認知和文化的融合研究及對多模態本體的語法研究。

1.3 互動語言學視角下的多模態話語

人類在交際過程中，語言是主要的載體，非語言的信息輸入往往被認為是語言的附屬。雖然關于語言和非語言之間的相互作用已經建立了許多有價值的工作，但毫無疑問的是把語言放在中心位置的觀點限制了我們對交互的復雜性的理解。因此，筆者將不再認為語言總是在互動中扮演中心角色。互動語言學更加關注人與人之間的面對面的交流活動，語言也只是眾多交際手段之一，手勢、凝視或頭部運動可能從屬于語言交流。哪一種交流模式起到主要作用，要看語境和交際目的的需要。在特定的互動中，手勢、注視和頭部運動也可能占據優勢地位，而語言可能處于從屬地位或完全不存在。或者，有時許多溝通渠道在一個特定的互動中發揮著不可或缺的作用，而沒有一個渠道比另一個渠道更重要。該文所說的多模態互動是互動的多模態性。

Kenneth Pike 提出的語言整合理論是多模態互動的語言學理論基礎。Pike 的語言整合理論認為人的互動行為是由語言行為和非語言行為共同構成的整體。在傳統的語言學理論中，語言被認為是一個抽象的，獨立的，自足的結構系統，以此為基礎在分析人類交際行為中，必然忽略非語言成分的作用，也很難對參與人類交際的手勢、眼神、肢體動作、韻律等做出合理的分析和解釋。所以一套整合理論才更適合研究人類的交際活動。多模態互動正是這樣一種整合理論視角和方法。互動分析關注微觀的語言模態中的詞匯、句法與韻律和肢體運動相互協同作用。

多模態互動重視對互動參與者的語言、身體活動和周圍環境進行微觀序列分析，其哲學基礎是現象學。以胡塞爾早期理論和Merleau-Ponty 為代表的現象學主張將事物的本質還原到其現實存在中，通過對人自身的存在體驗和周圍環境及二者之間直接原始關系的思考來達到對人和世界的理解。多模態互動主要研究主要涉及如下幾個方面。一是多模態互動單位研究。研究語言單位，包括詞匯，句法和韻律單位。身體活動單位包括手勢單位，頭部活動單位。二是多模態語法研究，目前對這一研究尚存爭議。構式語法研究和互動研究兩個領域是目前討論的焦點。三是多模態資源與行為構成研究。該研究不探討語言的實施行為，主要關注身體活動在構建行為中的作用。四是多模態資源與話輪組織研究。該研究主要關注日常會話在組織方式過程中，話輪前、中和結束3 個環節中，身體資源和其他多模態資源如何開啟話輪，在話輪中如何建構話語，在話輪結束時，多模態資源的規律性作用研究。

目前，我們對手勢、頭部活動、身體空間位置、面部表情等符號系統內部組織特點已經有了較為深入系統的認識。比如，手勢單位的形式和結構，頭部活動的結構，參與者身體相對空間位置的組織結構，以及面部表情的分類等。總的看來，當一個行為可以只用語言、身體活動、或兩者共同來完成時，這些資源在選擇和分配中是如何實現協同作用的？這是目前互動語言學和多模態互動研究值得探討的問題。

1.4 語用學視角下的多模態話語

語用學一直以來被理解為一種研究言語交際的方法，但是語言學家們已經在語用范疇內研究語境中的其他交際方式。正如Novitz 在1977年提出，奧斯汀已經承認，雖然言外之意通常是通過說話來實現的，但使用非言語手段來實現這些行為是沒有限制的，只要使用的手段是常規的。因此Abell（2005）,不得不求助于分析類言語行為和Gricean 溝通準則，試圖解釋圖片是如何產生意義和被表征的。

意義生成的語篇層面的研究隸屬于社會符號學和功能語言學對多模態的研究。語用學有關多模態的研究起步較晚。語用學關注的是接受者如何對多模態語篇進行推理的。語用學的多模態分析學者強調的是在特定語境中如何實現交際目的的共同興趣并提出語境中多模態語篇交際使用的研究。基于語用的多模態交際分析方法與基于語法或話語的多模態交際分析方法相比，并不將語言系統作為在語境中進行意義交流的基礎。語用學者更關注使用多模態文本做了什么，以及如何得到它們的解釋，而不是關于它們的結構和連貫性的問題[7]。可見，交際行為理論可以比符號的多模態組合理論更好地解釋多模態關系。

語用學應用于多模態研究重要的是理論框架的合理選擇問題，Mubeng 以韓禮德的系統功能語法及符號學理論為基礎提出了多模態語用分析方法,包括功能、符號和認知3 個基本組成部分,以及每個組成部分的3 個分析層次,即概念、人際和語篇。國內學者陳新仁和錢永紅借鑒系統功能語言學理論框架構建適用于語用分析的多模態語用分析框架。同樣。在自然會話中探討即席話語的手勢及其表意和言語行為與多模態的協同作用。國內學者黃立鶴自建多模態語料庫，基于鮮活整人研究框架，以言語行為為切入點，探討人的體貌、韻律等方面的協同作用[8]。

2 多模態話語研究的共性與差異

在研究的共性方面，研究的主體都涉及人的多模態交際方式。研究的目的都是探討多模態話語的交際目的性和在交際過程中的實現方式及固有的規律。研究理論方面相互借鑒，功能語言學研究涉及言語行為的多模態性，語用學的研究涉及語境中的多模態符號資源的影響。

研究的差異方面存在研究視角的不同，符號學和功能語言學是以元功能理論為基礎，探討概念意義，人際意義和語篇意義在多符號化中的再生成過程[9]。社會符號學和功能語言學更關注語義層面的多模態話語的生成。互動語言學以整合理論為基礎，一般采用會話分析的模式探討人與人的互動過程中的多模態交際手段的實施過程，尋找內部的規律性特征。語用學對多模態話語的研究，在理論上有對功能語言學的借鑒，也有自身的獨創性，考查在語言使用中，如反問句、言語行為等語用方面與多模態的融合研究。

3 結語

在新媒體時代，人的交際活動，無論是通過音視頻還是通過圖片，交往形式的多樣化決定了人們交際方式的改變，對于多模態研究的需求與日俱增。多模態符號的研究本身就是一個跨學科和多學科融合的過程，該文概述了多模態話語研究的幾個語言學分支，分析各自研究特點，理論架構，符號傳承和在本領域的概念解讀。隨心智哲學的進一步發展，多模態研究要以體驗認知為基礎，結合心理學理論，為其發展方面提供相應的理據。研究總結發現多模態研究在各自的語言學研究領域中，形成既自成一體，又可以相互交叉，互為補充的關系。通過對多模態話語研究的源起和發展進行簡單的梳理，為模態話語研究的理論范式和歸屬進行清晰的界定，為多模態話語研究提供借鑒。