多模態話語分析國內研究綜述

保明東 馬 瑜 盧 剛

(云南民族大學 云南 昆明 650500)

多模態話語分析國內研究綜述

保明東 馬 瑜 盧 剛

(云南民族大學 云南 昆明 650500)

隨著現代信息技術的飛速發展，信息的傳遞方式由單一文本形式轉化為多模態形式。本文通過對國內近十年多模態話語分析進行綜述，總結出我國多模態話語研究主要為多模態本身及理論研究、模態構建研究及多模態在教育中的運用及作用3個領域。分析了我國多模態話語研究現狀及存在的問題，以及對今后的研究的啟示。

模態;多模態;話語分析;理論研究

1 多模態話語分析概述

語言是人類交往的工具和手段，但絕對不是唯一的工具和手段。多模態指的便是除了文本之外，還帶有圖像、圖表等符合話語，或者說任何由一種以上符合編碼實現意義的文本。由此可見，在日常生活中，絕對單一模態的語篇是很少見的，而多模態語篇則是普遍存在的。Kress和Leeuween認為，多模態語篇是一種融合了多種交流模態(如聲音、文字、形象等)來傳遞信息的語篇，因此，區分單模態和多模態的關鍵在于有幾種符號參與了語篇的構成。顧曰國認為，模態指人類通過感官(如視覺、聽覺)跟外部環境(如人、機器、物件、動物等)之間的互動方式。用單個感官進行互動的叫單模態，用兩個的叫雙模態，三個或以上的叫多模態。他認為區分的關鍵在于有幾種感官參與。綜上所述，多模態語篇應分為啟用單一感官的多符號語篇或啟用多感官的多符號語篇。

2 數據分析

目前國內對多模態話語語篇的研究主要涉及3個領域：多模態本身及理論研究、模態構建研究及多模態在教育中的運用及作用。按照研究成果發表年限統計，國內關于多模態話語分析3個領域的研究成果分布見表1。

表1 近十年我國多模態話語分析研究成果統計圖

3 國內研究動態解析

3.1 多模態理論框架研究。國內學者就多模態話語的理論框架而言系統功能語言學是最為適合的，如朱永生(2007) 認為多模態話語分析深受系統功能語言學的影響。張德祿(2009) 指出系統功能語言學對話語的功能與意義極其看重，將其置于首位，以多模態形式完成意義的實現。關于數字技術對多模態語篇分析產生的影響與重大作用馮德正(2010) 進行了介紹。

3.2 多模態語篇構建及模態間關系研究

表2 多模態語篇構建及模態間關系研究統計

3.2.1 二維平面圖文關系的多模態研究。二維平面關系的多模態研究語篇主要來是關于公益平面廣告、活動及電影海報、會徽、包裝設計、雜志封面等平面印刷品圖文關系多模態建構分析。趙立書(2014)在其碩士論文中基于楊鈉，提出了一個適合分析多模態公益廣告互動意義的模型，并從定性、定量及對比方面對中英公益廣告互動意義進行多模態話語對比分析，發現中英多模態公益廣告在互動意義構建上的相同點及不同點。

3.2.2 影視及視頻廣告宣傳片多模態分析。隨著多媒體技術的發展,人們發現單純從語言角度已經不能對話語展開深入全面的分析和研究。話語標記語作為一種語言模態已不僅僅以文本模式出現，而是和圖像、聲音、動作、顏色等多種模態同時出現，共同完成語篇銜接的構建。相對于圖文語篇，視頻語篇涉及更多模態共同建構，綜合運用聽覺、視覺、觸覺等多種感覺方式，通過聲音、語言、圖像、動作等多種手段和符號系統進行交際，這樣的語言也可稱為超越作為社會符號的語言，使用兩種或多種符號資源比如語言、音樂、空間、手勢等完成意義構建的社會實踐。樊雪琴(2015)基于Halliday的系統功能語言學的理論背景，以Kress & Van Leeuwen提出的視覺語法為基礎，建立多模態話語分析的視覺語法分析框架分析微電影語篇中經常出現的的多模態話語方式，從敘事和概念兩個維度分析其表征意義，從接觸、社會距離、視角和情態等方面分析其互動意義，從信息值、顯著性和取景方面分析其構圖意義。

3.2.3 三維空間的多模態話語建構。科學技術的不斷發展使得人們不僅以言語傳遞信息，而且通過多模態形式，如圖像，視頻或音樂來傳遞信息。在可以用多種交流模式的信息化時代，話語建構的方式也越來越繽紛復雜。運用多種媒體和模態輔助交流成為提高交際能力和交際效果的重要途徑。魏鵬(2013)以視覺語法為基礎，采取以定量、定性相結合的研究方法，綜合了靜態的舞臺背景、PPT及動態的演示視頻語篇的產品推廣發布會作為研究對象，對蘋果公司產品推廣發布會進行多模態話語分析。

3.2.4 網絡語篇中圖文關系多模態研究。

互聯網技術和多媒體技術的發展使信息傳播方式日益多元化，對網絡及網絡語篇的多模態話語分析研究在近幾年才開始嶄露頭角，與海報，電影，平面廣告等方面的研究相比，對網頁的多模態分析研究是一個嶄新的領域，其中涉及到旅游廣告、網絡新聞報道、政府網站、購物網站、教育博客、個人網頁和博物館網頁、游戲頁面等。

3.3 多模態在教育中的運用及作用

3.3.1 多模態教學。教育語篇在教育和文化傳播過程中占有著重要的地位，一直是系統功能語言學家關注的主要課題之一。多模態話語分析理論的提出和數字化技術的成熟發展為多模態教學資源庫的建立提供了理論基礎和技術平臺。劉秀麗(2011)以多模態話語分析理論為基礎，以多模態研究為視角，結合系統功能語言學的三大元功能觀，結合學生外語學習動機理論、英語教師的個性魅力及激勵風格等理論，對大學英語課堂教學中教師的多模態話語進行多層面、多視角研究，找到了教師多模態話語的內容與學生英語學習積極性的關系。

3.3.2 多模態教材分析。楊鈉(2014)基于視覺語法框架和圖文關系理論，突破過去對文本或圖像進行孤立研究的局限，提出分析文本和圖像共同構建意義的框架。

4 國內多模態話語分析研究的思考

多模態話語分析在我國屬于一個全新的語言學研究領域，研究歷史不長，在理論和分析方法上有待進一步研究加以深化。理論框架主要集中在Halliday的系統功能語法和Kress&Van Leeuwen的視覺語法。面對同樣的一個模態體系，不同的分析者有可能因為個人的文化背景、知識結構或者解讀動機、理解能力的差異而得出不同的結論。在國內現有的多模態話語研究成果基本停留在主觀的分析解讀層面， 缺乏對多模態語法關系進行科學的調查取證與量化分析，實證研究有待加強。

大多數的研究成果都集中在分析平面圖文語料上，發現不同媒體形成的形式項目，并且研究它們之間體現意義的語法規則固然是重要的研究課題，而更要的課題是探討各符號之間的關系，發掘不同模態的媒體之間如何相互關聯，共同實現說話人的意義的基本途徑如何。國內現有的研究主要集中在視覺和文字模態相結合的二維平面研究層次上，對于視覺、聲音、文字相結合的三維空間的多模態語篇以及空間模態的語篇鮮有涉及。

5 結語

經過國內學者十多年的努力，目前多模態話語理論在中國的研究已進入蓬勃發展時期，取得了可喜的成績。多模態話語研究作為新興學科，在國內研究中，理論上還需要創新與借鑒，方法上還需要改進。相信未來多模態話語研究方向越來越廣闊，前景越來越美好。

[1] 樊雪琴，2015，從多模態分析視角研究動態語篇[D]，山東師范大學。

[2] 馮德正，2010，數字技術與多模態語篇[J]，《北京科技大學學報(社科版)》(4) : 12-17。

[3] 趙立書，2014，中英公益廣告互動意義多模態對比分析[D]，東北師范大學。

[4] 朱永生，2007，多模態話語分析的理論基礎與研究方法[J]，《外語刊》(5):82-86。

保明東(1992-)，男，云南曲靖人，云南民族大學英語語言文學專業研究生，研究方向為美國華裔文學。馬瑜(1966-)，女，哈尼族，云南宣威人，云南民族大學外語學院教授，文學碩士，主要從事英語教學、英美文學和女性問題研究。盧剛(1990-)，男，安徽宣城人，云南民族大學英語口譯專業研究生，研究方向為口譯與跨文化交際。

HO

A

1672-5832(2016)06-0291-02