基于多模態(tài)話語分析的計(jì)算機(jī)媒介交流研究
——以表情包圖像為例

吳佳怡

（紹興文理學(xué)院 外國(guó)語學(xué)院，浙江 紹興 312000）

0 引言

科技發(fā)展日新月異，隨著依托網(wǎng)絡(luò)的新的交流形式和工具不斷涌現(xiàn)，計(jì)算機(jī)媒介交流(Computer-Mediated Communication，CMC）及計(jì)算機(jī)媒介交流話語分析(Computer-Mediated Discourse Analysis，CMDA）從20世紀(jì)80年代出現(xiàn)發(fā)展至今，從形式到內(nèi)容上都發(fā)生了變化，形成了多種模態(tài)同時(shí)進(jìn)行意義表達(dá)的多模態(tài)CMC，其話語分析也面臨著新的挑戰(zhàn)和趨勢(shì)。國(guó)內(nèi)關(guān)于CMC語篇的多模態(tài)研究大多限于傳統(tǒng)分析方法和范圍，新的多模態(tài)分析視角和方法還有待發(fā)現(xiàn)。

1 CMC的定義

CMC指人們之間以計(jì)算機(jī)為媒介、基于因特網(wǎng)的交換文本、圖像和視頻等信息的交流，通過由全球的計(jì)算機(jī)互聯(lián)所實(shí)現(xiàn)的因特網(wǎng)所進(jìn)行的交流都屬CMC范疇。 “模態(tài)” (Mode）指 “可對(duì)比和對(duì)立的符號(hào)系統(tǒng)” ，包括書面語言、話語、動(dòng)作、姿態(tài)、圖像、聲音等符號(hào)系統(tǒng)［1］。CMC原本是一種鍵入文本的單模態(tài)話語。隨著科技的進(jìn)步，新媒體得到廣泛運(yùn)用，以圖片、音頻、視頻為途徑的交流漸漸地出現(xiàn)和形成了多模態(tài)CMC。CMC從前網(wǎng)絡(luò)時(shí)代(1983—1993）發(fā)展至Web2.0時(shí)代(2004—2017），網(wǎng)絡(luò)交流已經(jīng)變得十分普遍，并且不同的模態(tài)融合于同一語篇中。在Herring［2］提出的CMC概念重構(gòu)中，圖像、語音、視頻及人機(jī)話語是除文字之外的重要模態(tài)，這些新興的模式涉及口頭語言以及其他的符號(hào)語言，人與人之間溝通的調(diào)節(jié)以及社交互動(dòng)，因此通過這些模態(tài)產(chǎn)生的語篇也組成了計(jì)算機(jī)媒介交流語篇。這些新興的模態(tài)同樣強(qiáng)調(diào)了需要新的方法來分析多模態(tài)語篇。交互式的CMC以及多模態(tài)和媒介的融合給話語分析領(lǐng)域的研究帶來了諸多挑戰(zhàn)。

2 多模態(tài)話語分析概述

在傳統(tǒng)的話語分析中，語言可以作為社會(huì)符號(hào)進(jìn)行意義表達(dá)，同樣的，其他的非語言符號(hào)也可作為社會(huì)符號(hào)進(jìn)行意義表達(dá)。多模態(tài)話語分析拓展了語言符號(hào)，考察包括圖片、聲音和視頻等在內(nèi)的非語言符號(hào)與文本符號(hào)的獨(dú)立表達(dá)與相互作用，從而系統(tǒng)準(zhǔn)確地分析話語意義構(gòu)建過程。話語的分析不再是對(duì)語言文字的分析，任何非語言符號(hào)都可以納入分析對(duì)象中。基于社會(huì)符號(hào)學(xué)和系統(tǒng)功能語言學(xué)，多模態(tài)話語分析由此發(fā)展。在英國(guó)著名語言學(xué)家韓禮德(Halliday）創(chuàng)立系統(tǒng)功能語言學(xué)之后，以Kress＆Leeuwen為主的一些學(xué)者，以系統(tǒng)功能語言學(xué)為基礎(chǔ)，結(jié)合社會(huì)符號(hào)和意義潛勢(shì)觀點(diǎn)，創(chuàng)建視覺語法，為多模態(tài)話語分析提供了依據(jù)及分析方法。基于社會(huì)符號(hào)學(xué)和系統(tǒng)功能語言學(xué)，多模態(tài)話語分析由此發(fā)展。在多模態(tài)話語分析理論下，語篇中各個(gè)模態(tài)得以用完整的話語意義進(jìn)行分析。

3 圖像交流的多模態(tài)話語分析實(shí)際案例分析

近年來，社交媒體網(wǎng)站上的圖像已經(jīng)從人們出于娛樂目的而分享可愛有趣的圖片視頻演變?yōu)橛脕韨鬟_(dá)話題內(nèi)容的符號(hào)，成為當(dāng)下新興的社群信息交流模式。包含圖像的CMC引起了越來越多學(xué)者的關(guān)注，包括表情符號(hào)、動(dòng)圖、自拍，尤其是表情包圖像。表情包圖像在娛樂輕松、包容性強(qiáng)且傳播速度快、受眾廣的網(wǎng)絡(luò)中應(yīng)運(yùn)而生，這些圖像取代了文本或者和文本結(jié)合在一起，形成包括表情符號(hào)、貼紙、動(dòng)圖、文字、圖片的表情包。本節(jié)擬選取一個(gè)網(wǎng)絡(luò)流行表情包圖像，從整體形象、圖像顏色、語言文字、版面設(shè)計(jì)對(duì)其進(jìn)行多方面的多模態(tài)解析，探究各種模態(tài)如何共同作用展示其語篇意義。在選取的表情包案例中，人物形象為暴走漫畫中的蘑菇頭，配有文字 “oh my god學(xué)它” 和釘釘圖標(biāo)以及釘釘軟件界面的圖像。

3.1 整體形象

從整體形象上來看，整個(gè)表情包的語義表達(dá)愉快且具有娛樂性。圖中的人物形象來自暴走漫畫中的蘑菇頭，傳達(dá)出一種漫畫的娛樂化精神，其構(gòu)成較為簡(jiǎn)單，易于廣泛傳播。人物位于圖像左側(cè)，戴著眼鏡、涂著鮮艷的口紅，其倚靠于一邊的姿態(tài)表現(xiàn)出人物比較輕松的狀態(tài)，加之其張嘴的動(dòng)作，很容易讓人聯(lián)想到老師滔滔不絕授課的形象。圖像右側(cè)是電腦屏幕和智能辦公平臺(tái)軟件 “釘釘” 的圖標(biāo)。從電腦顯示屏幕中可以依稀辨認(rèn)出密密麻麻的黑色紅色字體，可聯(lián)想到屏幕呈現(xiàn)的是題目、知識(shí)點(diǎn)講解等與學(xué)習(xí)相關(guān)的內(nèi)容。

此表情包圖像左側(cè)的教師形象及其五官表情、肢體動(dòng)作，右側(cè)的 “釘釘” 圖標(biāo)、電腦顯示屏這些多模態(tài)元素相結(jié)合，十分形象地與疫情時(shí)學(xué)生宅家進(jìn)行網(wǎng)課學(xué)習(xí)的情景相聯(lián)系，體現(xiàn)出網(wǎng)絡(luò)表情符號(hào)的娛樂性和直觀反映流行事物的特征。

3.2 圖像顏色

在多模態(tài)話語分析中，情態(tài)可以劃分成高、中、低3個(gè)等級(jí)［3］。此表情包圖像中色彩飽和度和色彩協(xié)調(diào)呈現(xiàn)出簡(jiǎn)潔、對(duì)比性強(qiáng)的特點(diǎn)，人物嘴唇的紅色和 “釘釘” 圖標(biāo)的藍(lán)色稍帶視覺沖擊，充滿趣味性和娛樂性，容易吸引人的注意力。黑和白作為基礎(chǔ)且對(duì)比強(qiáng)烈，配上較為夸張的人物形象，體現(xiàn)出網(wǎng)絡(luò)文化的簡(jiǎn)潔卻不乏趣味。

3.3 語言文字

多模態(tài)話語分析認(rèn)為，文字和圖像之間互動(dòng)，互為補(bǔ)充［3］。它們存在互補(bǔ)關(guān)系并形成一種符合語言。在多模態(tài)表情符號(hào)中，盡管少量文字所占的畫面少，但是與圖像模態(tài)的互動(dòng)使表情符號(hào)傳達(dá)了完整意義。

此表情包中的 “oh my god學(xué)它” 一句話由網(wǎng)絡(luò)流行語 “oh my god買它” 改編而來，而此網(wǎng)絡(luò)流行語出自美妝帶貨主播李佳琦。同時(shí)，他有 “口紅一哥” 的稱號(hào)，因此與表情包中人物的鮮紅嘴唇有直接的聯(lián)系，使得文字與圖像的聯(lián)系更加緊密。此外，李佳琦以互聯(lián)網(wǎng)上的直播電商平臺(tái)向大眾推薦產(chǎn)品并進(jìn)行銷售， “oh my god買它” 是他的標(biāo)志性語言，因此具有很強(qiáng)的表達(dá)力、號(hào)召力和推薦語氣。但是，結(jié)合 “釘釘” 軟件和網(wǎng)課學(xué)習(xí)的具體語境和人們普遍傳達(dá)出的情感，可知表情包中的 “oh my god學(xué)它” 一句帶有諷刺含義，因此此表情包中的字面意義與話語意義是相反的。若不具備流行網(wǎng)絡(luò)的語境與相關(guān)信息儲(chǔ)備，會(huì)導(dǎo)致理解上的偏差。最后，表情包中的文字符號(hào)的位置相對(duì)隨意，因?yàn)閳D像的上半部分被基本占滿，文字符號(hào)被簡(jiǎn)單置于圖像下方。與傳統(tǒng)海報(bào)等圖像不同的是，表情包中的文字不會(huì)限定于某些特定的位置上，充分體現(xiàn)了網(wǎng)絡(luò)文化中隨意性較大的特點(diǎn)。

3.4 版面設(shè)計(jì)

表情包的版面設(shè)計(jì)是各種符號(hào)資源的運(yùn)用和符號(hào)事件的構(gòu)想。CMC具有娛樂性、開放性和虛擬性，也擺脫了傳統(tǒng)紙媒的制約，因此在社會(huì)符號(hào)資源的呈現(xiàn)方面不再受限，其設(shè)計(jì)也更加自由靈活。表情包構(gòu)圖中的文字具有位置隨意性，可出現(xiàn)在圖片中的任何地方，與圖片符號(hào)相比，文字不再居于附屬地位，從而營(yíng)造了一種輕松愉悅的氣氛。

3.5 整體意義構(gòu)建

在多模態(tài)話語分析中，多種符號(hào)資源統(tǒng)一協(xié)調(diào)，共同構(gòu)建話語意義，而不以單一的模態(tài)出現(xiàn)。其雜亂無章和松散隨意性也正是網(wǎng)絡(luò)文化的體現(xiàn)。網(wǎng)絡(luò)文化潛移默化地對(duì)表情包的圖像和設(shè)計(jì)有重要影響，體現(xiàn)在表情符號(hào)中的網(wǎng)絡(luò)流行用語、趣味人物形象和簡(jiǎn)單的圖像及其配色，突出其多模式的網(wǎng)絡(luò)特征。獨(dú)立的符號(hào)資源并不能完整地構(gòu)建話語意義，表情符號(hào)中的語言文字、板式設(shè)計(jì)和符號(hào)顏色等各種符號(hào)資源可作為輔助語言相互補(bǔ)充。

4 結(jié)語

以計(jì)算機(jī)為媒介、基于因特網(wǎng)的CMC從最初的單模態(tài)話語發(fā)展為多模態(tài)話語，成為新媒體時(shí)代的重要部分。符號(hào)模態(tài)的多樣性推動(dòng)了基于系統(tǒng)功能語言學(xué)的多模態(tài)話語分析發(fā)展。盡管表情包中有許多無法完整表述話語意義的單一語言模態(tài)，但作為輔助語言資源，它們與多種模態(tài)和多種語言符號(hào)相融合，共同參與意義構(gòu)建和話語表達(dá)。