多模態話語分析研究綜述

許曉翠

（新疆大學外國語學院，新疆烏魯木齊 830000）

話語分析這一個研究方向最早是由美國語言學家Harris在20世紀50年代初提出來的，隨后來自全國各地的話語分析家紛紛開始探索這一領域，同時也提出了各種各樣的話語分析理論和研究方法。話語分析理論始終都是聚焦在語法規律和話語篇章結構上，包括語句之間的關系和話語中的存在社會價值取向，并對語言教育教學過程中的課程方案設計，課程規劃提供了重要的理論基礎和構建框架。通過大量的實證分析，分析了話語活動內在的規律性、話語活動與意識形態和認知模式之間的關系（朱永生2003）。但是，提出的研究方法和研究的理論，大部分都是以語言系統本身為研究對象，也就是僅僅注意到了語言系統和語義結構及其與社會文化和個體認知之間的關系，忽略了圖像、聲音、顏色等其他的一些形式也可以體現意義，這些都無法滿足對話語意義的構建的分析，為了能夠彌補這一缺陷，多模態話語分析理論應運而生。

1 多模態話語分析的理論基礎

Kress&Van Leeuwen (1996)共同指出多模態指的是參與交際過程中的所有渠道和媒介，除了生活中所接觸到的基本語言符號外，它還包括了顏色、圖像、音樂、色彩飽和度等資源符號系統。多模態話語分析的主要理論背景是韓禮德提出的系統功能語言學，因此，前期基本上是系統功能語言學占領這一研究領域。同時，認知語言學也開始在這個領域有所涉獵。后來，在2013年，兩者幾乎并駕齊驅，同時也出現了利用其他理論來探討多模態話語的使用情況。出現這種現象的原因是系統功能語言學的中心理論是關于意義的，包括人際意義、概念意和語篇意義。體現意義的不僅僅是語言符號資源，還有其他符號系統。在此語言背景下，Kress&Van Leeuwen在20世紀90年代中期第一次系統的提出了視覺語法概念。Kress&Van Leeuwen將圖像看成是社會符號，把系統功能語法中的元功能擴展到了視覺模式中，確立了“再現意義”“互動意義”和“構圖意義”的視覺圖像分析理論，分別對應于韓禮德的概念意義，人際意義，語篇意義。視覺語法理論從圖像，構圖情態，顏色飽和度，亮度等視覺交流的各個方面來研究多模態活動，從而對圖像進行比較全面而又系統的分析。

2 多模態話語研究成果綜述

中國多模態話語分析于2003年開始（李戰子，2003開始）。迄今為止，該研究已經歷經十幾年，發展之勢如火如荼。2009年，第一部關于多模態話語分析研究的專著 《視覺環境下的多模態化與多模態話語研究》（韋秦紅，2009）在中國出版。隨后，多部多模態話語分析理論研究方面的專著也開始涌現，包括以理論研究為主的專著成果，例如高佑梅（2014）從認知語言學角度對多模態話語的研究，張德祿（2015）從系統功能語言學角度對多模態話語的研究；同時也包括以應用研究為主的專著成果，如張立新（2012）對幽默話語的研究，代樹蘭（2015）對電視訪談的研究分析。

2.1 調查數據

截止目前，在中國知網中以“多模態話語分析”為主題詞搜索，可以找到關于該方向的研究論文是1 381篇。

表1 以“多模態話語分析”為主題的論文的統計數量表格

根據在中國知網上搜索到的文章篇數來看，在不同年份間呈現出不均衡分布狀態。2009年僅僅只有18篇，核心期刊上有2篇，到了2014年達到211篇，迎來中國多模態話語分析成果的小爆發期。之后多模態話語分析文章總篇數雖增長緩慢甚至有所下降，但是在核心期刊上的文章卻越來越多，說明多模態話語分析逐漸引起學者的重視，研究的也更加深入。此外，根據數據調查研究結果顯示，這些發表的論文中包含對理論的探索和理論的應用。

2.2 理論研究

李戰子開創了我國多模態話語分析理論研究的先河，他在《多模態話語的社會符號學分析》（2003）中介紹了Kress&Leeuwen所建構的視覺語法理論和圖像的研究方法，這促進了我國對多模態話語分析的研。2009年，韋秦紅出版了第一部多模態話語分析方向的專著《視覺環境下的多模態化與多模態話語研究》。其后，涌現出多部多模態話語分析理論研究方面的專著，例如以理論研究為主的成果，如高佑梅（2014）從認知語言學角度對多模態話語的研究。

2.3 應用研究

雖然我國從引進多模態話語分析理論到現在也不過是十多年時間，但發展趨勢不容小覷，學者們也對多模態話語分析的研究意義和價值給予了很大的肯定和期望。李戰子（2012）認為，我國對多模態話語的研究偏重的是在應用方面的研究，比如將“視覺語法”理論應用在特定語篇的分析，從而展示在多模態中是意義是怎樣構建的?！耙曈X語法”是由Kress&Leeuwen提出的，這套理論可以幫助研究宣傳海報，廣告語篇等靜態文本中的圖文關系是如何共同作用參與意義的建構。

2.3.1 PPT和計算機網絡語篇的圖文關系多模態研究

胡壯麟，董佳（2007）以教學中的23個PPT作品為樣本，進行了在計算機輔助作用下，并與多模態話語相融合的語篇分析，得出了課堂中的PPT既是一種教學輔助工具又是話語分析的語篇。韋琴紅（2008）從系統功能語言學中的元功能角度來研究期刊中的一個多模態媒體話語語篇。

2.3.2 多模態教學的研究

在教育語境中介入意義的形勢下，秦小怡（2008）對多模態話語語篇中的出現的圖像和文字之間的表現形式進行了研究分析。朱永生（2008）分析了多模態話語對我國目前的教育教學改革的啟發，多模態可以發揮它的優勢。胡雯（2011）探討了多模態話語分析在英語教學中的應用。

2.3.3 教材的研究

在學校教學中，可以通過選擇和編寫教材來體現出多模態話語的作用。在張德祿和張淑杰（2010）的文章中，提出了在編寫帶有多模態性質的外語教學課本中應該注意的基本原則和規范。陳瑜敏等學者（2008）針對不同時間階段出現的多模態教材中的語篇結構進行研究，發現書本中的圖文關系在不同的時期表現也有所不同。

3 研究存在的不足和發展趨勢

3.1 以理論研究為主，實證研究不夠多

仔細研究已經發表的關于多模態話語分析方向的論文可以發現，國內的很多研究者是在介紹相關理論或是一些研究的方法，還停留在初級階段，能夠自主創新的提出完整的多模態話語分析理論的文章很少見，而且實證研究也不多。另外對多模態話語的應用分析會因為主觀感情色彩，知識儲存背景，理解能力等的差異，出現仁者見仁，智者見智的情況，因而產生不同的分析結果。

3.2 多模態話語分析主要是靜態文本為主，動態多模態話語為輔

在知網上搜索關于多模態話語分析的研究論文，我們可以發現對其的應用分析很多都是集中在由文字，圖像，表格等構成的靜態文本上，例如我們常見的宣傳手冊，影視作品海報等等。與之相比，對PPT，公益視頻廣告，外宣網站等動態多模態話語分析的研究卻是少之又少，而且很少能夠見到針對不同語篇進行批評性多模態語篇分析。

4 結語

現如今，我們所處的社會已經從過去的單一的模態形式到如今的多模態，我們過去所忽視的非語言符號資源如聲音、圖像、顏色和語言資源一起，共同作用來構建意義。雖然我國對于多模態話語分析的研究歷史比較短暫，但卻是一個值得我們研究的新領域，發展前景勢必非常寬廣。我國科技發展速度較快，這將為我們在多模態話語分析的研究思路、方法和研究路徑上提供幫助，從而能夠讓話語分析以及語言學的研究步入新階段。