中國多模態(tài)話語分析回顧與展望

陳子娟，耿敬北

（宿遷學(xué)院 外語系，江蘇 宿遷223800）

自20世紀(jì)50年代美國語言學(xué)家Harris提出“話語分析”這一概念以來，話語分析以跨學(xué)科、多維度的態(tài)勢大大拓展和跨越了語言學(xué)研究的傳統(tǒng)界域，已發(fā)展成一門成熟的獨(dú)立學(xué)科。多模態(tài)話語分析作為話語分析的一個(gè)重要分支，把話語分析研究對象由“文本的語言”轉(zhuǎn)變到“使用中的語言”之后再一次延伸到更加廣闊的符號話語世界，續(xù)寫了話語分析的研究歷史。中國多模態(tài)話語分析的發(fā)展離不開韓禮德系統(tǒng)功能語言學(xué)的推波助瀾，國內(nèi)多模態(tài)話語分析的領(lǐng)軍學(xué)者胡壯麟、李戰(zhàn)子、顧曰國、張德祿、朱永生等多是從事話語分析和系統(tǒng)功能語言學(xué)研究的專家，從此也可追塑到國內(nèi)多模態(tài)話語研究的理論淵源。在西方，多模態(tài)話語分析方法興起于20世紀(jì)90年代，以Kress＆Van Leeuwen等為代表。在國內(nèi)，2003年，中國學(xué)者李戰(zhàn)子在《多模式話語的社會符號學(xué)分析》一文中首次將多模態(tài)話語理論引介到國內(nèi)，開創(chuàng)了中國多模態(tài)話語分析的先河。筆者以近11年來13種外語類核心期刊刊載的102篇多模態(tài)話語分析研究論文為研究對象，運(yùn)用定量與定性相結(jié)合的方法，進(jìn)行綜述性分析，以期為今后的研究提供幫助。

一、研究設(shè)計(jì)

將視覺模態(tài)、聽覺模態(tài)、觸覺模態(tài)、嗅覺模態(tài)和味覺模態(tài)等模態(tài)中兩種或兩種以上模態(tài)用于話語交際形成的話語就構(gòu)成多模態(tài)話語[1]。其主要理論基礎(chǔ)是Halliday創(chuàng)立的系統(tǒng)功能語言學(xué)。Barthes是最早研究多模態(tài)話語分析者之一，他在著作《圖像的修辭》中探討了圖像表意和語言表意的互補(bǔ)性；Kress&Van Leeuwen[2]研究了模態(tài)與媒體的關(guān)系，專門探討了多模態(tài)表意現(xiàn)象；Royce[3]研究了模態(tài)話語中不同符號的互補(bǔ)關(guān)系以及外語課堂教學(xué)中多模態(tài)的協(xié)同關(guān)系等。O'Halloran[4]以數(shù)學(xué)語篇中的多模態(tài)現(xiàn)象闡釋了多模態(tài)的理論建構(gòu)。

（一）語料來源與樣本選擇

迄今為止多模態(tài)話語分析在中國已經(jīng)走過了11年（2003-2013年）的發(fā)展歷程，筆者以“SU=‘多模態(tài)’AND AB=(‘話語’+‘語言’+‘二語’+‘教學(xué)’+‘外語’+‘英語’+‘語篇’+‘隱喻’)”為檢索式，在中國知網(wǎng)檢索到約1235篇多模態(tài)話語分析文獻(xiàn)，年均達(dá)到約112篇，可見多模態(tài)話語分析研究迅猛發(fā)展之勢頭。為了進(jìn)一步了解多模態(tài)話語分析研究在過去11年里的研究狀況，筆者通過CNKI選擇以上期刊刊名后，分別以“多模態(tài)”、“話語”為主題詞，關(guān)鍵詞和摘要檢索詞，在中國知網(wǎng)中對2011版北京大學(xué)核心期刊目錄的每一外語類核心期刊進(jìn)行檢索，檢索出所有多模態(tài)話語研究論文，共獲論文102篇，構(gòu)成本文主要研究對象。選擇這些期刊的原因是其論文一般會經(jīng)過嚴(yán)格審查，質(zhì)量有一定保證，具有代表性。

表1 2003-2013年國內(nèi)多模態(tài)話語分析論文統(tǒng)計(jì)結(jié)果

（二）研究方法

遵循定量與定性相結(jié)合研究方法，采用文獻(xiàn)計(jì)量法、比較研究法和理論分析法，運(yùn)用統(tǒng)計(jì)軟件EXCEL，用圖表進(jìn)行描述和統(tǒng)計(jì)，并進(jìn)行解釋。

二、調(diào)查結(jié)果與分析

（一）總體分析

本文將歷年多模態(tài)話語分析刊文進(jìn)行統(tǒng)計(jì)分析，結(jié)果如表1。

表1顯示多模態(tài)在外語教學(xué)領(lǐng)域的應(yīng)用研究從2003-2006的年均0.5篇再到2013年28篇，總體上呈逐年增長趨勢，并呈加速狀態(tài)。期間出現(xiàn)了2010年刊文大幅增長和2011年刊文的下降趨勢,而2011-2013期間刊文數(shù)量又恢復(fù)了逐年穩(wěn)定增長的態(tài)勢，說明該研究符合事物發(fā)展的一般規(guī)律，即“醞釀—萌芽—緩慢發(fā)展—非理性快速發(fā)展—回歸理性穩(wěn)定增長”。從刊文覆蓋期刊數(shù)量的總體增加趨勢也反映了多模態(tài)話語分析得到學(xué)界的越來越多的關(guān)注。

（二）多模態(tài)話語研究對象

通過對中國多模態(tài)話語研究的統(tǒng)計(jì)分析，在過去的2007-2013期間，研究對象涉及面較為廣泛，基本覆蓋靜態(tài)語篇（PPT、廣告、政治漫畫、小品、山水畫、詩歌、會徽、海報(bào)）和動(dòng)態(tài)語篇（教材、影視、課堂話語、演講）。其中，PPT、廣告、教材、詩歌、影視和課堂話語語類占居主體地位，統(tǒng)計(jì)結(jié)果如表2。

表2多模態(tài)話語分析對象：多模態(tài)語類統(tǒng)計(jì)結(jié)果

（三）多模態(tài)話語研究內(nèi)容

自多模態(tài)話語研究誕生以來，國內(nèi)外學(xué)者對多模態(tài)話語研究的任務(wù)做出了各自的設(shè)想[1]，經(jīng)歸納分類如表3。

表3多模態(tài)話語研究內(nèi)容統(tǒng)計(jì)結(jié)果

多模態(tài)話語分析內(nèi)容主要涉及多模態(tài)化與教學(xué)研究、多模態(tài)研究的學(xué)科融合、多模態(tài)化話語理論分析、多模態(tài)語篇系統(tǒng)功能語言學(xué)分析、多模態(tài)化與識讀實(shí)踐、模態(tài)間關(guān)系研究；而多模態(tài)化與新媒體、各種模態(tài)系統(tǒng)語法研究、批評性多模態(tài)研究、多模態(tài)語料庫與話語標(biāo)注分析則顯不足，多模態(tài)研究給語言研究帶來的益處研究則散見于少量文章中，在多模態(tài)化和類型學(xué)等領(lǐng)域研究基本為零。

三、研究內(nèi)容：理論研究與應(yīng)用研究

（一）理論研究

1.對國外理論引介

引介分為直接引介和綜述性引介，前者主要是對國外多模態(tài)話語研究的直接引介，表現(xiàn)為國外理論著作的書評形式。自多模態(tài)話語研究在中國起步到現(xiàn)在有三位學(xué)者做了引介研究：鐘蘭鳳的《多媒體的世界,多模態(tài)的話語—<多模態(tài)篇章轉(zhuǎn)錄與分析>述評》，該書由Anthony Baldry與Paul J.Thibault于2006年合著而成，探討不同傳播媒介下各種模態(tài)之間如何相互協(xié)同和多模態(tài)語篇轉(zhuǎn)錄的工具問題；趙秀鳳和謝競賢對Forceville&Urioa-Aparisi所編《多模態(tài)隱喻研究》的書評，該書對多模態(tài)隱轉(zhuǎn)喻的認(rèn)知研究進(jìn)行了系統(tǒng)的概括性評述，涵蓋多模態(tài)隱喻研究的緣起、發(fā)展、焦點(diǎn)、貢獻(xiàn)、挑戰(zhàn)和前景等諸多方面，可使我們對這一領(lǐng)域內(nèi)新的研究動(dòng)態(tài)有較為全面的了解和認(rèn)識。

綜述性引介相對較多，有多模態(tài)相關(guān)定義界定,從系統(tǒng)功能語言學(xué)理論視角對多模態(tài)符號分析,社會符號學(xué)理論介紹和論述，多模態(tài)話語分析方法與途徑論述，多元讀寫能力培養(yǎng)述評，多模態(tài)語篇分析述評等。

2．多模態(tài)話語分析的理論創(chuàng)新研究

顧曰國[5]提出了用“角色建模語言”對多媒體、多模態(tài)學(xué)習(xí)進(jìn)行結(jié)構(gòu)化數(shù)據(jù)建模的思路。并帶領(lǐng)其團(tuán)隊(duì)創(chuàng)建了中國第一個(gè)多模態(tài)語料庫：現(xiàn)代漢語現(xiàn)場即席話語多模態(tài)語料庫，采用多模態(tài)語料庫語言學(xué)中貼真建模的研究方法，探討言、思、情、貌在鮮活話語中的互動(dòng)關(guān)系，提出“言思情貌整一原則”[6]。顧曰國提出的語料庫研究方法具有極強(qiáng)的創(chuàng)新性和預(yù)見性，代表國內(nèi)外多模態(tài)話語研究的大方向。張德祿在《多模態(tài)外語教學(xué)的設(shè)計(jì)與模態(tài)調(diào)用初探》中探討了教學(xué)設(shè)計(jì)對模態(tài)系統(tǒng)的選擇和選擇的原則，包括總原則、最佳效果原則和三個(gè)一般原則：有效原則、適配原則和經(jīng)濟(jì)原則。張德祿在《適用性社會符號學(xué)的理論與實(shí)踐研究》中從資源、變化、原則和功能四個(gè)方面探討社會符號學(xué)的適用性,并討論了適用符號學(xué)理論和實(shí)踐之間的關(guān)系，設(shè)計(jì)出了一個(gè)適用社會符號學(xué)的綜合理論框架。張德祿在多模態(tài)互動(dòng)表意，多模態(tài)配合表意等領(lǐng)域進(jìn)行的模態(tài)間關(guān)系理論研究，以及在教學(xué)領(lǐng)域的應(yīng)用研究，正是國外多模態(tài)話語研究的急需解決之處，是中國多模態(tài)話語研究與國際接軌的重要標(biāo)志。張德祿、顧曰國等學(xué)者能夠?qū)⒍嗄B(tài)話語研究提升到具有普遍指導(dǎo)意義研究高度，研究既具有可操作性又具有理論高度，同時(shí)為國內(nèi)本領(lǐng)域自主創(chuàng)新性研究做出了突出貢獻(xiàn)。但該類研究所占比例極小，需要國內(nèi)廣大學(xué)者致力于本土理論創(chuàng)新和實(shí)踐創(chuàng)新研究。

（二）應(yīng)用研究

多模態(tài)話語應(yīng)用研究范圍廣泛，多集中于靜態(tài)語篇分析，多模態(tài)教學(xué)研究占有較大比例。從研究的視角分類來看，主要體現(xiàn)在對多模態(tài)化在教學(xué)領(lǐng)域的應(yīng)用，多模態(tài)研究的學(xué)科融合，模態(tài)間關(guān)系研究，多模態(tài)化與識讀實(shí)踐，多模態(tài)語篇系統(tǒng)功能語言學(xué)分析。

1.多模態(tài)化與識讀實(shí)踐

在西方國家多元讀寫能力培養(yǎng)研究備受關(guān)注，基于此，國內(nèi)學(xué)者也給予了相當(dāng)?shù)闹匾暋Ｄ壳埃芯恐攸c(diǎn)還停留在引介和實(shí)踐應(yīng)用上。該領(lǐng)域研究有兩大分支，第一，主要是對培養(yǎng)多元識讀能力的宏觀理論闡釋。朱永生[7]是國內(nèi)首位詳細(xì)引介西方多元讀寫研究成果的學(xué)者，并探討了多元讀寫能力培養(yǎng)對我國教學(xué)改革的啟示，為中國多模態(tài)讀寫能力培養(yǎng)研究和國際接軌做出了貢獻(xiàn)。胡壯麟[8]還歸納出了多模態(tài)識讀的9個(gè)層次。第二，是基于西方理論的多元讀寫能力微觀論證研究，以實(shí)證研究為主體。主要體現(xiàn)多元讀寫能力培養(yǎng)的教學(xué)設(shè)計(jì)研究和學(xué)生多模態(tài)學(xué)習(xí)的設(shè)計(jì)研究。中國多元讀寫能力培養(yǎng)研究可以借鑒西方多元讀寫研究成果，但鑒于中西方文化差異，國內(nèi)培培養(yǎng)模式和養(yǎng)方法需要更多的本土化創(chuàng)新。

2.多模態(tài)在外語教學(xué)中的應(yīng)用

多模態(tài)在教學(xué)領(lǐng)域應(yīng)用研究數(shù)量較多，多達(dá)42篇，幾乎占據(jù)多模態(tài)研究半壁江山（41.2%）研究內(nèi)容呈多維度特征，從研究內(nèi)容和視角來看，多模態(tài)外語教學(xué)涉及面較為廣泛，基本覆蓋所有外語技能教學(xué)領(lǐng)域，有微觀聽、說、讀、寫、譯研究，課堂話語研究，教材研究，也有宏觀的教學(xué)模式研究。研究理論基礎(chǔ)廣泛，涉及系統(tǒng)功能語言學(xué)的社會符號學(xué)理論、認(rèn)知與元認(rèn)知策略、人本主義心理學(xué)、可理解性輸入理論、動(dòng)機(jī)理論、注意層次理論等。非實(shí)證研究占主流，定量實(shí)證研究較少；研究對象涉及到學(xué)生、教師、教材、多媒體、PPT等主要教學(xué)要素，呈現(xiàn)多樣化特征。

3.多模態(tài)研究的學(xué)科融合

多模態(tài)話語分析的跨學(xué)科融合性較弱，基本集中在與認(rèn)知學(xué)相結(jié)合的多模態(tài)隱喻研究和與符號學(xué)相結(jié)合的多模態(tài)符號學(xué)研究。與認(rèn)知學(xué)融合研究的多模態(tài)隱喻研究主要表現(xiàn)對國外理論的引進(jìn)和綜述分析上。目前，多模態(tài)隱喻研究還處于起步階段，其理論還基本上沿用雙域映射框架，還沒有形成一個(gè)適用于多模態(tài)隱喻研究的完整的理論體系。多模態(tài)隱喻研究主要集中在政治漫畫、新聞漫畫、平面廣告等靜態(tài)語篇的多模態(tài)隱喻表征方式研究和影視、英語演講、電視廣告等動(dòng)態(tài)語篇中動(dòng)作、語言等多模態(tài)隱喻融合研究；此外，概念隱喻與、空間隱喻、教學(xué)中多模態(tài)隱喻也有所涉及。在多模態(tài)與符號學(xué)融合研究中，國內(nèi)學(xué)者顧曰國[5]、胡壯麟[8]、朱永生[1]、張德祿[9]等從社會符學(xué)視角對多模態(tài)話語分析的理據(jù)和分析方法進(jìn)行了研究，與符號學(xué)的學(xué)科融合研究在國內(nèi)多模態(tài)話語研究中占據(jù)相當(dāng)比例。

4.多模態(tài)語篇系統(tǒng)功能語言學(xué)分析

多模態(tài)系統(tǒng)功能語言學(xué)應(yīng)用研究主要體現(xiàn)在對詩歌尤其是視覺詩進(jìn)行多模態(tài)語篇系統(tǒng)功能語言學(xué)分析。運(yùn)用系統(tǒng)功能語法理論并結(jié)合社會符號學(xué)，從語言層面和印刷體式上對詩歌做多方位的功能解讀,以及印刷、文字和非文字多模態(tài)話語在反映內(nèi)心情感、人際關(guān)系,以及作者態(tài)度與評價(jià)等方面均有特殊的含義。從語言三大元功能視角解讀視覺詩歌，認(rèn)為多模態(tài)話語分析理論是系統(tǒng)的、全面的解讀詩歌的最佳途徑。

5.模態(tài)間關(guān)系研究

國內(nèi)模態(tài)關(guān)系研究主要集中于多模態(tài)語篇中不同模態(tài)之間的關(guān)系研究。張德祿在2009-2012期間撰文4篇，對模態(tài)間關(guān)系進(jìn)行了系統(tǒng)研究。綜合四篇研究，關(guān)注焦點(diǎn)在于多模態(tài)外語教學(xué)中模態(tài)調(diào)用，多種模態(tài)的協(xié)同與配合，模態(tài)互動(dòng)與轉(zhuǎn)換等研究。并提出了教學(xué)設(shè)計(jì)對模態(tài)系統(tǒng)的選擇和選擇的原則，包括總原則、最佳效果原則和三個(gè)一般原則：有效原則、適配原則和經(jīng)濟(jì)原則。此外，張德祿還以電視天氣預(yù)報(bào)為例探討了動(dòng)態(tài)多模態(tài)話語模態(tài)之間的協(xié)同[10]。

6.模態(tài)系統(tǒng)的語法研究

語法分析方面主要依托Kress和Leeuwen的視覺語法的應(yīng)用研究，未涉及到聽覺語法等其他模態(tài)語法構(gòu)建和應(yīng)用研究。主要從社會符號學(xué)的視覺語法角度出發(fā)，解讀旅游形象廣告超文本的多模態(tài)化；以視覺語法為理論基礎(chǔ)對中英媒體報(bào)道中圖像的情況進(jìn)行多模態(tài)語篇分析；用視覺圖像分析語法框架分析宣傳廣告畫中的互動(dòng)意義的構(gòu)建和體現(xiàn)。

7.多模態(tài)語料庫與話語標(biāo)注分析

國內(nèi)的多模態(tài)語料庫構(gòu)建和教學(xué)應(yīng)用研究則處于初始設(shè)計(jì)和探索階段。王立非、文艷[11]介紹了多模態(tài)分析軟件ELAN以及該軟件的主要功能，并舉例說明如何利用ELAN開展應(yīng)用語言學(xué)研究，以及對建立多模態(tài)語料庫的價(jià)值和重要意義。劉芹、潘鳴威[12]則以多模態(tài)話語分析為理論基礎(chǔ)，設(shè)計(jì)出一套中國大學(xué)生英語口語非言語交際標(biāo)注指標(biāo)，并應(yīng)用于口語教學(xué)研究。該類研究嚴(yán)重不足，需要未來大量研究跟進(jìn)。

四、國內(nèi)多模態(tài)話語分析成就、不足和未來研究建議

（一）成就與不足

本次統(tǒng)計(jì)發(fā)現(xiàn)，國內(nèi)多模態(tài)話語分析在2003-2013年間取得了不錯(cuò)的成就，研究對象和研究內(nèi)容都趨向多元化。研究覆蓋的語類對象多達(dá)13種，研究內(nèi)容涉及到10個(gè)方面，基本涵蓋國內(nèi)外早期研究者提出的研究課題。從覆蓋的外語類核心期刊種類來看，覆蓋到所有期刊，多種期刊一期多篇或者一連多期刊載多模態(tài)話語分析論文，各種期刊刊文也呈現(xiàn)增多趨勢。可見多模態(tài)話語分析在國內(nèi)越來越受關(guān)注，極有成為顯學(xué)趨勢。國內(nèi)以顧曰國[5]、胡壯麟[8]、朱永生[1]、張德祿[9-10]等為代表的相關(guān)學(xué)者的自主創(chuàng)新研究，也使國內(nèi)多模態(tài)話語研究開始逐漸脫離國外理論及成果的束縛，極大地推動(dòng)了國內(nèi)研究的發(fā)展。但從多模態(tài)話語研究所涉及的課題分布來看，仍然出現(xiàn)一窩蜂現(xiàn)象，存在分布不均，不平衡問題。在多模態(tài)化在教學(xué)領(lǐng)域的應(yīng)用研究，多模態(tài)研究的學(xué)科融合的隱喻和符號學(xué)研究，多模態(tài)化與識讀實(shí)踐，多模態(tài)語篇系統(tǒng)功能語言學(xué)分析等領(lǐng)域有過多的重復(fù)性研究，而在多模態(tài)化與新媒體、各種模態(tài)系統(tǒng)語法研究、批評性多模態(tài)研究、多模態(tài)語料庫與話語標(biāo)注分析、多模態(tài)研究給語言研究帶來的益處研究等領(lǐng)域則明顯不足，多模態(tài)化和類型學(xué)等領(lǐng)域研究則為零。此外，研究過多的依賴國外理論研究，創(chuàng)新力度不夠，嚴(yán)重影響了國內(nèi)多模態(tài)話語本土研究氛圍。

（二）未來研究建議

基于以上不足，對未來多模態(tài)話語分析的思考和建議如下：

模態(tài)話語研究深度和廣度還有待進(jìn)一步挖掘和拓展。由于多模態(tài)與認(rèn)知的天然關(guān)系，多模態(tài)話語分析可以與認(rèn)知理論融合，多做本體創(chuàng)新研究。跨學(xué)科研究是拓寬多模態(tài)外語教學(xué)研究理論基礎(chǔ)的新方向。如與認(rèn)知學(xué)進(jìn)一步結(jié)合研究，與計(jì)算機(jī)技術(shù)交互研究。繼續(xù)完善和填補(bǔ)多模態(tài)化與新媒體、各種模態(tài)系統(tǒng)語法研究、批評性多模態(tài)研究、多模態(tài)研究給語言研究帶來的益處等領(lǐng)域不足和空白。研究對象仍然具有極大的拓展空間，如兒童繪本、兒童故事書、互聯(lián)網(wǎng)、音樂等語類。多模態(tài)讀寫還包括網(wǎng)絡(luò)教育中的在線讀寫，這方面研究需要我們進(jìn)行跨學(xué)科、跨語類、跨模態(tài)、跨文化的多維研究。全球性的跨文化信息流動(dòng)和互聯(lián)網(wǎng)上的虛擬社區(qū)要求我們擁有新的思考方式、解讀方式和互動(dòng)方式。此外，作為未來研究主要方向之一，多模態(tài)語料庫研究仍然是我們研究的薄弱環(huán)節(jié)。語料庫構(gòu)建研究必將為多模態(tài)話語研究打開全新的局面。因此，多模態(tài)語料庫構(gòu)建研究應(yīng)該成為下一步多模態(tài)話語分析的重點(diǎn)之一。

[1]朱永生.多模態(tài)話語分析的理論基礎(chǔ)與研究方法[J].外語學(xué)刊,2007,(5):82-86.

[2]Kress,G.&T.van Leeuwen.Multimodal Discourse:The models and media of contemporary communication[M].London:Arnold,2001.

[3]Royce,T.Multimodality in the TESOL classroom:Exploring visual verbal synergy[J].TESOLQUAR-TERLY,2002,(36):191-206.

[4]O’Halloran,Kay L.Multimodal Discourse Analysis:Systemic-Functional Perspectives[C].London:Continuum,2004.

[5]顧曰國.多媒體、多模態(tài)學(xué)習(xí)剖析[J].外語電化教學(xué),2007,(2):3-12.

[6]顧曰國.論言思情貌整一原則與鮮活話語研究——多模態(tài)語料庫語言學(xué)方法[J].當(dāng)代修辭學(xué),2013，（6）：1-19.

[7]朱永生.多元讀寫能力研究及其對我國教學(xué)改革的啟示[J].外語研究,2008,(4):10-14.

[8]胡壯麟.社會符號學(xué)研究中的多模態(tài)化[J].外語教學(xué)與研究，2007,(1):7-8.

[9]張德祿.適用性社會符號學(xué)的理論與實(shí)踐研究[J].外語與外語教學(xué),2010,(5):5-10.

[10]張德祿,袁艷艷.動(dòng)態(tài)多模態(tài)話語的模態(tài)協(xié)同研究—以電視天氣預(yù)報(bào)多模態(tài)語篇為例[J].山東外語教學(xué),2011,(5):9.

[11]王立非,文艷.應(yīng)用語言學(xué)研究的多模態(tài)分析方法[J].外語電化教學(xué),2008,(2).

[12]劉芹，潘鳴威.多模態(tài)環(huán)境下中國大學(xué)生英語口語非言語交際能力研究初探[J].外語電化教學(xué),2010,(3):38-43.