國內多模態話語互動意義研究回顧與展望——基于中國知網2010—2019年的載文統計分析

桑 修 月

(西安外國語大學 商學院，西安 710128)

隨著科技創新呈跨越式發展，以視聽媒體為傳播途徑的信息載體被廣泛應用于生產生活中，由此，大量新型多模態話語得以涌現。同樣地，對模態話語互動意義的構建與探索也亟須打破傳統僅局限于圖文關系之間的解讀，而是要綜合考慮多模態話語在整體意義上交際互動的實現。王紅陽于2007年發表的《多模態廣告語篇的互動意義的構建》[1]一文，是CNKI期刊全文數據庫中關于多模態語篇互動意義研究最早的文章。其運用視覺圖像的語法框架，對一位中國歌唱家于2006年10月12日在美國肯尼迪藝術中心舉行獨唱音樂會時的宣傳廣告畫進行了多模態分析。該文開啟了國內關于多模態互動意義的研究，在語言學領域受到廣泛關注。本文梳理2010—2019年CNKI期刊全文數據庫中對多模態互動意義研究的載文情況，旨在展示國內該研究的發展趨勢、研究成果與現狀，以此梳理分析當前研究存在的問題，進而為學者開展相關研究提供新的啟示。

一、多模態話語互動意義

(一)多模態話語互動意義的本質

人類互動是多模態的。[2]隨著現代技術、媒體的飛速發展，人們的話語交際越來越呈現出多模態化。[3]關于多模態話語互動意義，不單單是多模態話語和互動意義的簡單疊加，抑或是兩者間的任意結合，而是針對某一特定多模態話語，去探討不同符號資源是如何協力運作以實現與互動參與者之間的交際。就其研究目的而言，多模態話語的互動分析與基于社會符號學的多模態話語分析在本質上是一致的，其都在于解讀語言及語言以外的其他模態之間是如何協同以“產生合力”來完成人類互動交流的。[4]

多模態與符號資源的共存有關。[5]19符號資源系統是兼有形式與意義的系統，通常用在特定語境中以構建意義。[6]18多模態語篇通過整合多種符號資源以實現其互動意義構建，進而達到社會交際目的。實時交互中各個模態的重要性是由所擬定的模態配置來確定的，不存在任何一個模態本質上比另一個重要的假設。[7]112在話語構建過程中，各個模態之間存在著千絲萬縷的聯系，它們之間協同運作、互補增效，進而使其整體意義的構建大于各個單一模態資源的效用。[8]Kress認為交際是多模態化的，有時通過言語，如口頭評論、指示和請求；有時則通過凝視、行動或接觸等。具體來說，在多模態話語構建互動意義時，語言文字模態用來直接傳遞客觀性的實質內容，聽覺模態調動聽力感官，負責推進交際互動進程，視覺模態則對言語模態和聽覺模態進行補充或加以強調，甚至還利用視覺指向與受眾建立聯系，進而去實現多模態話語互動機制的建構與意義的生成。[9]32

(二)多模態話語互動意義的研究價值

對多模態話語互動意義的解讀與探討不同于多模態、多模態話語以及互動意義等單一層面的研究，該話題研究的重要性及價值所在主要體現在：

首先，多模態話語互動意義以某一具體多模態書面或動態語篇，抑或是某一多模態物質實體為研究對象，符合當前動態社會下互動交際的真實情況。另外，對具體的多模態話語互動意義構建進行解讀，能全方位、深層次地揭示影響該話語實現互動交際的各種因素。

其次，多模態話語分析側重于研究各種符號模態是如何表達意義的。[10]8與單純的多模態話語分析不同，對多種符號模態間互動意義的探究能更深一步剖析符際互補關系是如何實現以及意義共建是如何發揮其作用的。多種模態資源相結合在互動構建時存在符際互補關系，其所實現的意義要大于單個模態所表達意義的簡單疊加之和。

最后，通過對互動過程中多種模態結構配置的分析與解讀，理清了互動活動中模態所參與的數量、不同模態對互動意義構建的影響以及各個模態之間的關系等問題，進而能夠揭示出不同模態完成交際互動構建的使用規律。

二、研究過程與結果

(一)文獻選取

研究選取CNKI期刊全文數據庫，檢索時間為2020年9月14日，發表時間設置為2010年1月1日至2019年12月31日，分步驟展開數據搜索與篩選工作。首先，以“多模態”“多模態話語”“多模態語篇”以及“互動”和“互動意義”為主題和篇名，以外國語言文字和中國語言文字為學科基準，對該數據庫中的中文學術期刊進行交叉檢索，共得到47篇關于此話題研究的文章。根據內容對這47篇文章進行有序分類，剔除與新聞學和電影學相關文獻，最終確定40篇為有效文章。

(二)研究趨勢

2010—2019年國內關于多模態話語互動意義研究的發文統計結果見圖1。

由圖1可以看出，2010—2019年國內關于多模態話語互動意義的研究趨勢呈不規則的“N”字型。根據發文量統計的數據，可將這10年對多模態話語互動意義的研究分為三個階段。

第一，增長期(2010—2013年)。這4年間，其發文量逐年攀升，與語言學領域相關的發文量多達12篇。這一時期，多模態話語分析理論成為新的研究熱點，也成為學者們展開研究的理論依據。因而，這一階段語言學界對多模態話語互動意義的解讀與多模態話語分析理論的蓬勃發展息息相關。

第二，高潮期(2014—2016年)。2014年的發文量較2013年相比，數量稍有下降。但值得注意的是，自2014年開始，發文量又不斷增多，且在2016年出現發文量的高峰期。這一階段，中國知網載文量為8篇，占比為20%，是這10年間發表相關論文數量最多的時期。這一階段研究達到近年來峰值的其中一個重要原因為多模態公益廣告話語的大量涌現，使該類型話語成為學者們對多模態話語互動意義探究的一個新型研究對象，如中央電視臺多個頻道所播的一則以呼吁人們關愛父母的公益廣告[11]。

第三，反彈期(2017—2019年)。自2016年發文量達到最高峰值后，2017年的發文量急劇下降，出現大幅度跌落。2017年以后，其發文量又呈逐年上升趨勢。這一階段，研究范圍不斷擴展，研究對象層次性更加明顯，由以往大多僅限于對公益廣告和城市旅游宣傳片的多模態互動意義解讀延伸到對兒童繪本、公益海報、多模態教科書以及請求話語行為等為研究對象的多模態話語互動意義構建的探討。

從圖1可以看出，國內這10年來關于多模態話語互動意義的研究論文數量整體波動較大。盡管發文量呈上升趨勢，但大多數文章多來源于普通期刊，核心期刊上的發文數寥寥無幾。

圖1 2010—2019年國內多模態話語互動意義研究發文量統計

(三)發文作者來源、研究文本類型

從發文作者的來源上看，總體來說，國內這10年研究多模態語篇互動意義的學者們大多為各大高校的教師及在讀碩士研究生。其中，高校外語系講師占比最高，英語專業在讀碩士研究生次之，所占比率分別為40%和35%。另外，發文作者來源還包括2名助教、1名教授和1名在讀博士研究生。

就研究的多模態文本類型來看，通過對多模態話語互動意義研究的歷年發文統計分析發現，國內這10年關于多模態話語互動意義的研究文本類型大多為廣告語篇，各種廣告語篇都有所涉及，共發表相關文章18篇，其中包括房地產廣告、電視公益廣告、化妝品廣告、禁煙廣告、平面公益廣告、美國征兵廣告和境外旅游廣告。還有4篇文章以城市旅游宣傳片為案例，對宣傳片中多種模態資源的互動意義進行了系統分析和深入解讀。此外，還有一些文章將海報、會徽/徽標、平面媒體文本信息以及其他多模態語篇文本作為研究對象，具體研究多模態話語的文本類型見表1。

表1 多模態話語文本類型統計結果

(四)研究方法

從研究方法上來看，國內針對多模態話語互動意義解讀的研究方法主要以案例探究為主(發文數36篇，占比90%)。通過對某種語篇采取個案研究，解讀不同符號資源所表達的意義，能讓受眾更加全面深入地了解語篇的意義創生功能，對提高其宣傳效果具有一定的促進意義。

總體來看，國內研究多模態語篇互動意義的學者們多半采用質性研究去解讀多模態語篇，而對于定量研究方法，如調查法和實驗法的運用較少。這也說明，該領域學者更加注重語篇整體意義的探究，力爭做到全方位意義解讀。但應注意的是，今后的研究者也可從數據收集和統計分析角度進行量化研究，以追求研究的科學化，從而避免對多模態語篇的主觀性解讀。

(五)主要研究內容

在對這40篇文章進行三個時期的對比分析后發現，增長期學者們的關注點主要聚焦于對多模態語篇中圖文互動意義的建構以及符際間互動的探究。高潮期學者們則將研究焦點集中于以某個多模態語篇為案例進行探討，去分析該語篇中模態的配置及互動意義的構建。反彈期的研究則在以往研究的基礎上，擴充了新媒體時代下互動意義研究的新型研究對象與研究范圍。

根據研究內容的不同，筆者將這10年關于多模態話語互動意義的研究成就梳理為四大類,即案例分析類、符際間互動探究類、多模態隱喻性語篇互動意義解析類、人際互動意義構建類。

1.案例分析類

國內語言學界大多學者以個案研究為主，對多模態語篇的互動意義進行案例分析，取得了一系列相應成果。嚴博和張發祥以一篇BBC新聞網頁為例，對多模態網頁語篇互動意義的構建進行了解讀和分析。[12]陳聰和趙穎以浦東機場網站圖像庫為例，對多模態宣傳語篇互動意義進行了解析。[13]這兩篇文章也從側面揭示了視覺語法理論對分析多模態語篇的可操作性及闡釋力。之后，張春燕和陳思一葉以IOS版《朗文當代高級英語詞典(第5版)+》為例，對多模態電子詞典的互動意義進行了解讀，較之于傳統紙質版詞典，多模態電子詞典整合了多種模態資源，調動了多種模態感官，優化了詞典編纂者、參與者和學習者之間的對話和互動，多方位地體現了多模態接觸互動和情感意義的構建。[14]

張小雁、劉丹妮、孫占麗、王道友等分別以一則公益廣告為例，對多模態語篇的互動意義進行了分析。以上學者分別選取了央視關愛老年人公益廣告《打包篇》[15]、來自Greenpeace網站的一則倡導保護瀕危動物蘇門答臘虎的公益廣告[16]、來自TIME雜志的一張表達1/5的孩子還在面臨著饑餓主題的廣告圖片[17]和公益廣告《老爸的謊言，你聽得出來嗎？》[11]作為研究對象，從接觸、社會距離、態度和情態四方面探討了視覺—語言模式是如何相互合作共同構建動態多模態語篇框架下的互動意義的。這些文章不僅指出了對傳統語篇分析闡釋力的質疑，同時也驗證了系統功能語法對多模態語篇分析的優勢及可行性。

陳俊、廖玉慧、陳子娟、萬超群分別以淮安旅游宣傳片之《一座漂浮在水上的城市——運河之都淮安》[18]、國家形象宣傳片《不同方式游中國》(廣告片)[19]、江蘇城市旅游宣傳片 《美好江蘇》[20]和水鄉嘉興旅游《舞彩嘉興》[21]為研究語料，對宣傳片中多模態意義間的互動進行了剖析，探討了旅游宣傳片是如何通過多種符號、多種模態感官互動以共同構建語篇意義的。

徐靜以2014年索契冬季奧運會會徽為例，對奧運會會徽互動意義進行多模態話語分析。[22]宋健楠以我國三大國際賽會徽標為基點，對漢字徽標多模態隱喻互動意義進行解析。[23]李冬艷和孟慶玲以摘取美國多個獎項的電影《朗讀者》的海報為語料，探析了圖像、文字和色彩等多種符號模態之間是如何協同一致，以產生合力成功實現與海報觀看者之間互動意義建構的。[24]

此外，不同學者也對境外旅游廣告、世界名畫《美國哥特式》、VLOG、兒童繪本等不同種類的多模態文本進行了互動意義構建研究。[25-28]

2.符際間互動探究類

這10年間，國內學者也對多模態語篇符際間的互動關系進行了不同程度的分析。伍彩芬、呂晶和尹嘉都以WWF公益廣告為基點，從視覺符號和言語符號兩方面探索了圖像和文字作為社會符號是如何與讀者互動的，研究結果也顯示出多種模態在互動意義上存在符際互補關系，多種模態整合的意義要遠大于單個模態所疊加的意義之和。[29-30]此外，尚喜梅以2012年倫敦奧運會會徽語篇為語料，闡明了在語篇意義建構過程中，符際間的互動和協商不僅能建構語篇意義，還能進一步深挖出隱藏在語篇背后的意識形態。[31]

3.多模態隱喻性語篇互動意義解析類

多模態隱喻是認知語言學與多模態話語的有機結合，Forceville是該研究領域的主要領軍人物[32]。多模態隱喻的研究焦點集中于隱喻意義構建過程中不同模態間的協同互補及互動關系。

趙秀鳳和蘇會艷以一則多模態廣告語篇出發，基于轉喻和隱喻互動下的整合，探討了隱喻性廣告語篇意義的認知構建。[33]宋健楠通過隱喻微觀構建視角與宏觀互動話語的有機結合，解析了漢字徽標多模態隱喻的互動話語意義。[23]

增長期和高潮期的學者對多模態隱喻互動意義的探究主要是因為這一時期恰好為國內多模態隱喻研究的起步階段，與之相關的發文量較少是因為國內外對多模態隱喻研究的探討尚不成熟，還未自成一套相對完整的理論體系。[32]

4.人際互動意義構建類

國內有些學者在分析多模態語篇時，將系統功能語法理論下的人際功能與視覺語法理論視角下的人際意義相結合[34]，分析多模態語篇中圖像、文本及其他符號資源是如何實現互動，進而構建意義的。有的學者運用系統功能語法分析文字模態的人際意義，而采用視覺語法理論探討圖像符號的互動意義。[35]

孫鳳娟和夏曉琳都以系統功能語法和視覺語法為視角，分別對三大不同類別的多模態汽車警示語，以及從2010—2012年間搜集到的80幅世界環境日中國主題宣傳海報的人際、互動功能進行了剖析，旨在探究圖像和文字模態是如何共同構建語篇意義以實現與讀者之間的互動交際的。[34-35]這兩篇文章都進一步驗證了多模態話語分析理論對帶有圖像和文字的多模態語篇分析操作的可行性。另外，不同于以上學者的研究方法，葛璐群采用量化和描述的分析方法，對英國雜志GoodHousekeeping的15篇化妝品廣告中的文本和圖像如何實現人際意義和互動意義的構建進行了解讀[36]。

三、思考與展望

(一)研究總述

通過統計分析綜觀這10年(2010—2019年)該領域的研究可以發現，國內對于多模態互動意義構建的研究整體上已經取得了一系列的研究成果，其研究主題大體上可歸類為案例分析、符際間互動探究、多模態隱喻性語篇解讀以及人際互動意義構建探究四大類。但總體而言，現有研究仍有一些問題值得深入思考。

第一，研究方法以單一文本分析為主。當前研究對案例分析處于一邊倒的局面，且所選取樣本量不足，缺乏理論的實質性探討以及分析闡釋的普適性。同時，在理論建設上，依然以“拿來主義”為主，未能真正構建出一套契合某一特殊多模態話語研究的理論框架。

第二，研究輻射范圍較窄。首先，現有研究多集中于靜態書面語篇及部分動態多模態話語的探討，如對廣告類語篇和城市旅游宣傳片的研究占整體研究的半數以上。研究“扎堆”痕跡明顯，多為以往研究的重復性解讀。然而，對新媒體時代下涌現出來的多種新型多模態文本未能給予充分關注度。其次，當前研究多局限于對某種單一話語或語篇的解讀，而未能做到將同質性話語進行對比探討，進而分析與總結該類模態話語在互動意義構建時的規律性和差異性所在。

第三，研究整體層次不高。首先，這10年對多模態互動意義構建的研究主要集中在對動靜態多模態話語的泛泛式經驗分析上，而未能真正剖析出話語意義建構過程中，符際間存在怎樣的關系以及各種符號資源之間是如何共同實現人際互動的。其次，現有研究多局限于從互動意義的四個要素(接觸、社會距離、態度/視角和情態)對所選取的多模態話語進行逐一式解讀，而未能深挖出隱含在話語背后的意識形態。因而，現有研究仍不夠深入，整體研究層次有待提高。

第四，研究以主觀性解釋為主，缺乏客觀闡釋力。現有研究多以某個或某類多模態語篇為研究對象，對該類型語篇進行質性分析，且多為個人主觀化的經驗解釋，缺乏真正調查之后客觀數據的證實與支撐。人類互動交際是動態性的，同樣對多模態話語的互動解讀也應深入實踐，進行調查，不能只坐而論道，還得起而行之。主觀能動性解讀與客觀性數據支撐互補存在，主客觀分析共同發力才能將模態話語中各個模態資源的配置及其互動意義構建規律深入剖析開來。

(二)研究展望

綜觀以上對這10年相關文獻的梳理與綜述，筆者對多模態話語互動意義構建的未來研究提出以下四點展望，希望給相關領域研究一些的啟示。

1.改進研究方法

針對國內現有研究在方法上的不足，未來研究可從以下兩方面加以改進，以使研究方法多樣化和科學化。

第一，采用定性分析和定量研究相結合的方法，打破以往僅局限于以案例分析為主的純文本性研究。實證個案研究所得出的結論，需要靠客觀的數據來驗證其有效性與真實性。未來在從事相關話題的研究時，可選取樣本數量大于或等于30的文本或語篇來進行量化研究。通過對所選取的數據進行統計學意義上的數據分析，以證實研究結果的可靠性。

第二，加強對國內外或東西方同質性多模態文本對比分析的研究力度。從國內現有研究上來看，當前研究大多僅停留在對文本純文字性解讀的探討上，未能真正做到與國外從事相關話題研究的對比分析。因此，未來研究可從對比分析的角度對東西方兩種不同文化背景下的多模態文本進行比較性探討，之后找出兩種不同背景下的多模態文本類型設計的優勢與不足所在，從而為國內未來對多模態語篇文本的解讀及設計提供新的啟示。

2.擴充研究范圍

國內研究主要集中于廣告語篇、旅游宣傳片、電影海報、會徽/徽標以及平面文本信息等方面，而對其他類型的多模態語篇文本關注度不夠。具體來說，當前新媒體時代下的新型多模態文本也可作為未來從事相關研究的選題，如慕課或微課話語、電子圖書或教科書、微信版式話語、多模態公共衛生教育話語、帶有故事情節的游戲等。互聯網時代，多種新型的多模態文本類型相繼出現的同時，與此相關的研究也應大踏步緊跟時代發展，把握當下新興多模態生活類語篇的脈搏，擴充新型多模態文本類型的研究范圍。

3.提高研究層次

從發文期刊來源來看，與該話題相關的研究多來自非核心期刊。研究結構存在集中化傾向，且論文質量不高，同質化現象嚴重，缺乏理論與研究對象的創新，亟須加強。高層次水平文章的缺乏也驗證了選取研究文本時的盲目跟風、人云亦云，歷年選題多為往年研究的重復循環，從而導致論文質量一再下滑，研究層次不高。未來研究的論文數據選取要堅持理論與實踐相結合原則，應盡可能向當下背景涌現的新型文本靠攏，重在與國際研究接軌，高站位、寬視野、全方位分析問題，以創作研究層次較高、研究視角較新穎、研究方法客觀、研究意義明確以及研究層次更高的優質文章。

4.加強跨學科性研究

現有研究整體上局限于單一視角的多模態話語分析，而與認知語言學、計算機語言學的跨學科交叉研究明顯不夠。當前對多模態文本互動意義的研究應突破單一學科研究的模式，加強與認知心理學、計算機科學以及傳播學等多學科交叉的綜合性研究。未來在多模態文本分析的研究中，可從多學科交叉視角有意識地探尋多模態文本互動意義的構建，深挖跨學科視域下同一多模態文本不同研究視角的互動意義構建研究。

四、結語

本文對2010—2019年國內關于多模態話語互動意義的建構進行了回顧與梳理。國內相關領域學者的研究熱情愈來愈高，也取得了一系列研究成果。根據研究趨勢可將其劃分為三個階段，即增長期、高潮期和反彈期。研究內容大體上可歸類為案例分析、符際間互動探究、多模態隱喻性語篇解讀以及人際互動意義構建探討四大類。在分析與總結的基礎上對未來研究進行展望，希望為未來展開相關領域研究的學者提供一些新的啟示。本文的局限之處在于所采用的文獻均是學術期刊，未來在進行相關方面的研究時可將碩博學位論文、論文集、著作等也作為研究對象。