多模態(tài)話語(yǔ)分析視角下MV語(yǔ)篇的圖像意義構(gòu)建——以MV《唐詩(shī)》為例

田文杰，吳琦

（空軍工程大學(xué)理學(xué)院，陜西西安，710051）

多模態(tài)話語(yǔ)分析視角下MV語(yǔ)篇的圖像意義構(gòu)建——以MV《唐詩(shī)》為例

田文杰，吳琦

（空軍工程大學(xué)理學(xué)院，陜西西安，710051）

近年來(lái)，功能語(yǔ)言學(xué)與語(yǔ)篇分析的多模態(tài)轉(zhuǎn)向使多模態(tài)話語(yǔ)分析成為話語(yǔ)分析研究的新手段、新熱點(diǎn)。MV是含有多元符號(hào)且需要多種感官互動(dòng)的多模態(tài)語(yǔ)篇，是用多模態(tài)語(yǔ)篇構(gòu)建意義的典型范例之一。從視覺模態(tài)出發(fā)，運(yùn)用Halliday的系統(tǒng)功能語(yǔ)法以及VanLeeuwen的視覺語(yǔ)法綜合分析畫面要素在意義構(gòu)建中的作用，探討多模態(tài)話語(yǔ)分析手段在MV語(yǔ)篇意義構(gòu)建中的作用與可行性。

多模態(tài)話語(yǔ)分析；MV語(yǔ)篇；系統(tǒng)功能語(yǔ)法；視覺語(yǔ)法；意義

話語(yǔ)分析由來(lái)已久，但是之前的研究過多關(guān)注語(yǔ)言本身，忽視了語(yǔ)言之外其他要素的作用與意義。在此基礎(chǔ)上，多模態(tài)話語(yǔ)分析應(yīng)運(yùn)而生，“多模態(tài)話語(yǔ)主要是強(qiáng)調(diào)運(yùn)用聽覺、視覺、觸覺等多種感官，通過語(yǔ)言、畫面圖像、聲音以及動(dòng)作等多種手段和符號(hào)進(jìn)行交際的現(xiàn)象。”（胡壯麟，2007）MV語(yǔ)篇涉及視覺、聽覺等一系列模態(tài)，本文將從多模態(tài)話語(yǔ)分析的視角對(duì)MV《唐詩(shī)》中的圖像意義進(jìn)行分析，以便更好地理解語(yǔ)篇傳達(dá)的意義以及探索多模態(tài)話語(yǔ)分析的可行性。

一、多模態(tài)話語(yǔ)分析簡(jiǎn)介

自Harris于20世紀(jì)50年代提出話語(yǔ)分析（discourse analysis）研究以來(lái)，學(xué)者們?cè)诖朔矫孀隽撕芏嘌芯浚岢隽嗽S多話語(yǔ)分析的理論與方法，比如流行的有批評(píng)性話語(yǔ)分析（critical discourse analysis）和積極話語(yǔ)分析（positive discourse analysis），研究了話語(yǔ)的內(nèi)在規(guī)律性以及與意識(shí)形態(tài)間的關(guān)系。隨著研究的深入，針對(duì)之前研究中僅僅關(guān)注語(yǔ)言層面的局限性，基于Halliday的系統(tǒng)功能語(yǔ)言學(xué)，多模態(tài)話語(yǔ)分析在20世紀(jì)90年代應(yīng)運(yùn)而生，突破了話語(yǔ)研究在社會(huì)文化和心理認(rèn)知之間關(guān)系的局限性，同時(shí)關(guān)注了語(yǔ)言、音樂、圖像等諸多符號(hào)系統(tǒng)。多模態(tài)話語(yǔ)主要是強(qiáng)調(diào)運(yùn)用聽覺、視覺、觸覺等多種感官，通過語(yǔ)言、畫面圖像、聲音以及動(dòng)作等多種手段和符號(hào)進(jìn)行交際的現(xiàn)象。（胡壯麟，2007）其意義在于它可以將語(yǔ)言和其他諸如圖像、音樂、顏色等符號(hào)系統(tǒng)整合起來(lái)，關(guān)注多種符號(hào)系統(tǒng)共同作用產(chǎn)生的效果，使話語(yǔ)意義的解讀更加全面和準(zhǔn)確。本文將在多模態(tài)話語(yǔ)分析的框架下，著眼視覺模態(tài)，綜合運(yùn)用Halliday的系統(tǒng)功能語(yǔ)法以及Van Leeuwen的視覺語(yǔ)法，分析富有中國(guó)風(fēng)的音樂視頻《唐詩(shī)》中畫面要素及其在意義構(gòu)建中的作用，深入探討多模態(tài)話語(yǔ)分析手段在MV語(yǔ)篇意義構(gòu)建中的作用與可行性。

二、音樂視頻及MV《唐詩(shī)》簡(jiǎn)介

音樂視頻，也叫音樂短片（Music Video），是指與音樂（通常大部分是歌曲）搭配的短片，是把對(duì)音樂的解讀同時(shí)用電視畫面呈現(xiàn)的一種藝術(shù)類型。音樂視頻主要依據(jù)音樂作品所提供的表現(xiàn)內(nèi)涵和詩(shī)歌般的意象進(jìn)行視覺形象設(shè)計(jì)，確立畫面的類型特征和情境氛圍，使音樂與畫面在運(yùn)動(dòng)著的時(shí)空中相互滲透、相互作用，并以鮮明的視聽結(jié)構(gòu)運(yùn)用畫面語(yǔ)言最大程度地表現(xiàn)音樂作品。MV中涉及到了聽覺和視覺兩種模態(tài)，也有語(yǔ)言、音樂、畫面等多種符號(hào)系統(tǒng)，通過鏡頭畫面、歌詞與音樂的完美結(jié)合，達(dá)到音樂視頻中的完整意義構(gòu)建。

《唐詩(shī)》是央視音樂頻道電視節(jié)目《One Journey One Song一次旅行一首歌》的一期節(jié)目。歌詞講述了唐朝一位外國(guó)人不遠(yuǎn)千里來(lái)到長(zhǎng)安尋找詩(shī)人李白的故事。在這個(gè)MV中，作者用英文的歌詞詮釋著極具中國(guó)風(fēng)的曲調(diào)與畫風(fēng)，中西元素的碰撞使得唐朝曾經(jīng)的浩瀚文化與厚重底蘊(yùn)展示在聽眾面前，詩(shī)與人、情與景，從淺吟輕唱到恢宏壯闊，詞曲如詩(shī)如畫。

三、對(duì)MV《唐詩(shī)》的多模態(tài)話語(yǔ)分析

多模態(tài)話語(yǔ)分析是指綜合運(yùn)用視覺、聽覺、觸覺等多種模態(tài)種類，通過聲音、圖像、色彩等多種形式和符號(hào)系統(tǒng)進(jìn)行交際的現(xiàn)象。張德祿在2009年提出了多模態(tài)話語(yǔ)分析的綜合理論框架，其模態(tài)形式及關(guān)系如下圖所示：

MV作為一種特殊的藝術(shù)表現(xiàn)形式，其文字、音樂、畫面三要素之間的關(guān)系并非以畫面為主導(dǎo)推動(dòng)情節(jié)發(fā)展及為了畫面或劇情的需要配以合適的文字或音樂，而是音樂（聽覺模態(tài)）與文字（兼有聽覺模態(tài)和視覺模態(tài)）先行，畫面起輔助作用，先有成型的歌曲，后有畫面的存在，這點(diǎn)與電影或者廣告有所不同。但是畫面在MV中所起的作用也并非可以忽略不計(jì)，它在意義構(gòu)建方面也有其獨(dú)特而重要的功能。

對(duì)于MV中的畫面分析，我們將采用Kress和Van Leeuwen提出的視覺語(yǔ)法。視覺語(yǔ)法是將系統(tǒng)功能語(yǔ)言學(xué)中的元功能理論擴(kuò)展到視覺圖像上，構(gòu)建視覺圖像的三大元功能：再現(xiàn)意義（representational meaning）、互動(dòng)意義（interactive meaning）和構(gòu)圖意義（compositional meaning）。下面我們將利用視覺語(yǔ)法對(duì)該MV中畫面在意義構(gòu)建中所起的作用加以深入分析。

圖2　視覺語(yǔ)法功能框架

（一）再現(xiàn)意義

與語(yǔ)言的概念功能相對(duì)應(yīng)的概念是再現(xiàn)意義，再現(xiàn)意義是表示圖像所描述的人、事、地之間關(guān)系的方式，分為敘事性和概念性兩大類。

根據(jù)Kress和Van Leeuwen的觀點(diǎn)，敘述再現(xiàn)包括動(dòng)作過程（action process）、反應(yīng)過程（reactional process）和言語(yǔ)過程（speech process）。在動(dòng)作過程中，矢量的發(fā)出者即動(dòng)作者（actor），矢量指向的參與者是目標(biāo)（goal）。當(dāng)矢量不再由動(dòng)作而是由眼神或者目光構(gòu)成時(shí)，就形成了反應(yīng)過程。由于反應(yīng)過程主要體現(xiàn)的是參與者眼神的交流，所以反應(yīng)過程中的參與者不再是動(dòng)作者和目標(biāo)，而是反應(yīng)者（reactors）和現(xiàn)象（phenomena）。在該長(zhǎng)度為5 分23秒的MV中，按畫面可以分為157個(gè)小鏡頭，其動(dòng)作過程、反應(yīng)過程和言語(yǔ)過程出現(xiàn)的次數(shù)分別為：11次、32次和114次。由于在MV中，畫面的推進(jìn)過多依賴于音樂的發(fā)展，言語(yǔ)過程占絕大多數(shù)比例不難理解，同時(shí)，作為MV宣傳的一種策略，鏡頭頻繁地切換于錄音棚內(nèi)歌手的演唱空間和敘事畫面之間，在這里涉及了過多的反應(yīng)過程。MV的第37秒第12個(gè)鏡頭畫面，此時(shí)歌詞演唱至“Mum said it’s called Tang”，畫面上出現(xiàn)了一個(gè)戴著黑框眼鏡的外國(guó)青年（主人公），身穿休閑裝，脖子上掛著相機(jī)，眼神凝視鏡頭，雖然在畫面中沒有任何文字描述該感知者的內(nèi)心活動(dòng)，但他的想法從他的眼神中已然流露了出來(lái)，在他的眼神中看到了渴望與向往，顯示了主人公對(duì)這次探訪之旅的期待，這是一個(gè)典型的反應(yīng)過程。

圖3　“再現(xiàn)意義”結(jié)構(gòu)圖

與敘事再現(xiàn)不同的是，概念再現(xiàn)則表示更為穩(wěn)定的意義關(guān)系，分為分類過程、分析過程和象征過程三類。其中象征過程指的是關(guān)于參與者是什么或者意味著什么。舉個(gè)例子，以第30句歌詞為例，“Ah I see the Emperor through the street”（帝過千人迎），在歌手演唱該句時(shí)，從3分33秒到3分42秒共9秒鐘的時(shí)間，其中畫面由演唱空間切換至西安南門的入城儀式，再回切到演唱空間，再切到永寧門的城門，然后又回切到演唱空間，最后切換至立在西安城墻上的戰(zhàn)鼓。在這句歌詞的演唱中，從畫面的角度來(lái)看，這是一個(gè)典型的象征過程，其中永寧門、入城儀式等多個(gè)象征物的存在使該句歌詞乃至整首歌曲的表達(dá)更加有力，更加豐滿，象征了古都的悠久歷史，也印證了該首MV為大唐盛世而歌而和的主題。

（二）互動(dòng)意義

互動(dòng)意義是關(guān)于圖像的制作者、圖像所表征的事物（包括人）和圖像的觀看者之間的關(guān)系，同時(shí)提示觀看者對(duì)表征事物應(yīng)持的態(tài)度（Kress，G& Van Leeuwen，1996）。圖像的互動(dòng)意義主要依靠接觸、社會(huì)距離、權(quán)勢(shì)關(guān)系和情態(tài)來(lái)實(shí)現(xiàn)。

接觸指的是圖像中參與者通過目光與觀看者建立起來(lái)的一種關(guān)系，可以分為“提供”和“索取”兩類。很多圖像表現(xiàn)畫框中的人直接看著觀看者，Kress和Van Leeuwen把這種圖像叫做“索取”類圖像，即圖像中的人似乎在向觀看者索取什么。在MV的第2分47秒到2分48秒，映入眼簾的是一位在小雨中吹笙的老人，眼睛直視鏡頭，這就是一幅“索取”類圖像，老人的眼神堅(jiān)毅又富有思想，其“索取”的是一種認(rèn)可與期待。在3分03秒，一位美女遙遙指著兵馬俑博物館的2號(hào)坑，這就是一個(gè)“提供類”圖像，給觀眾提供了新的信息，同時(shí)配合了整個(gè)情節(jié)的推進(jìn)。

圖像中參與者與觀看者之間的親疏關(guān)系取決于社會(huì)距離，社會(huì)距離通常與鏡頭取景的框架大小有關(guān)系。在這個(gè)MV里，鏡頭時(shí)近時(shí)遠(yuǎn)，比如在第8秒，畫面里出現(xiàn)的是大明宮丹鳳門的正面全景，取景單一，在固定的鏡頭里該景觀便顯得小一些，與此相反的是，在MV的第1分42秒，全部鏡頭對(duì)焦于一堆線裝版古書，取景內(nèi)容雖然少，但是突出了該內(nèi)容，拉近了距離。

至于權(quán)勢(shì)關(guān)系，它是通過視角來(lái)區(qū)分的，表達(dá)參與者所持有的主觀態(tài)度。從水平的視角來(lái)看，正面角度給觀看者帶來(lái)的是感同身受，還是以第13句歌詞為例（Ah the kids read in morning），在MV的第1分27秒，從正面角度拍攝了兒童與主人公的見面，也使觀眾融入其中。與正面角度不同，傾斜視角的拍攝可以使觀眾感覺自己是作為一個(gè)旁觀者的視角出現(xiàn)的，第2分12秒，兩位游客在大明宮博物館內(nèi)交談，用側(cè)拍的角度體現(xiàn)了第三方的視角，與正面角度拍攝有所區(qū)分。除了水平視角，垂直視角也是權(quán)勢(shì)關(guān)系的一個(gè)方面，在垂直視角里，仰視代表著參與者處于強(qiáng)勢(shì)地位，俯視代表觀看者的強(qiáng)勢(shì)。在MV的第1分21秒，閃出了佇立在大雁塔南廣場(chǎng)上的玄奘雕塑，用仰拍的手法顯示了觀看者的弱勢(shì)地位，也表達(dá)了對(duì)歷史名人的尊重，并且在MV里多次出現(xiàn)仰視手法的拍攝，主要表達(dá)的也是對(duì)悠久歷史的尊重以及對(duì)名勝古跡的向往。在第3分40秒，主人公在城墻上俯視繼續(xù)觀看南門入城儀式的人群，在這個(gè)視角里，俯視并非完全體現(xiàn)觀看者也就是主人公的強(qiáng)勢(shì)，而是與前面平視視角相結(jié)合，使西安南門的入城儀式展現(xiàn)得更加立體。

互動(dòng)意義的最后一個(gè)維度就是情態(tài)，圖像分析中的情態(tài)指的是對(duì)世界所作出陳述的真實(shí)度或者可信度。Kress&van Leeuwen以八個(gè)視覺標(biāo)記為基礎(chǔ)，探討了圖像中情態(tài)的現(xiàn)實(shí)意義量值的高低，即色彩飽和度、色彩區(qū)分度、色彩協(xié)調(diào)度、語(yǔ)境化、表現(xiàn)、深度、照明和亮度。我們將簡(jiǎn)單指出幾個(gè)主要的因素進(jìn)行分析。這首MV的主題是為大唐盛世而歌而和，在整首MV中，色彩以暖色調(diào)為主，主要就是黃色和紅色，偶爾穿插部分綠色，不過無(wú)論是哪種顏色，其飽和度相對(duì)較低，整體色彩的營(yíng)建略顯柔弱，但又碰巧與歌手演唱空間灰黃的背景相協(xié)調(diào)，不至于在鏡頭頻繁切換時(shí)過于突兀。具體來(lái)看，在《唐詩(shī)》中，無(wú)論是白天第2分24秒時(shí)城墻灰白的墻壁，還是夜晚第4分01秒時(shí)高家大院大紅燈籠的色彩；也不論是自然景觀第1分13秒遠(yuǎn)方夕陽(yáng)西下前絢麗的云彩，還是人文景觀第2分50秒斜拍的丹鳳門，整體上都是昏黃的色調(diào)，充分展示了盛世文明下飽經(jīng)滄桑的長(zhǎng)安城以及與之緊緊相隨的悠久歷史。

（三）構(gòu)圖意義

與語(yǔ)言的語(yǔ)篇功能相對(duì)應(yīng)的是圖像的構(gòu)圖意義，它指的是圖像整體構(gòu)成，即表現(xiàn)性與互動(dòng)性元素彼此關(guān)系的方式，構(gòu)圖意義主要是靠其圖文關(guān)系、取景、突出度以及信息值等機(jī)制得到實(shí)現(xiàn)。

圖文關(guān)系指的是圖像與文字之間的相對(duì)關(guān)系。以MV中第31個(gè)鏡頭為例，第1分17秒背景的畫面是三個(gè)小孩單臂舉起，一個(gè)搭在一個(gè)肩膀上統(tǒng)一向左望去，整體顏色是夜幕已悄悄降臨的黑綠色，在這里該畫面所要配合的歌詞是“Dad’s afraid I was too young.”（父恐吾尚青）。這個(gè)畫面，其圖像和文字處理的比較和諧，圖像用三個(gè)小孩向左望去貌似期待著什么的畫面?zhèn)让骟w現(xiàn)了作為父母對(duì)孩子遠(yuǎn)走別國(guó)的擔(dān)心。圖文相互補(bǔ)充和延伸，意義上體現(xiàn)一種邏輯銜接，實(shí)現(xiàn)了這個(gè)圖像和文字的信息銜接。

再說(shuō)取景和突出度，取景是指用架構(gòu)的方法，通過劃分框線來(lái)連接或切割影像中的元素，以象征它們?cè)谀承┓矫姹舜讼鄬倥c否。突出度則指的是元素的設(shè)計(jì)，可以通過前景或者背景、相對(duì)大小、色調(diào)值的對(duì)比、清晰度的差異來(lái)表現(xiàn)，以該不同程度來(lái)吸引觀看者的注意力。還是以MV中開頭第7秒到第10秒的鏡頭為例，從大明宮宏偉的正面到虛化的包含丹鳳門三個(gè)字的牌匾，再到最后丹鳳門三個(gè)字顯得愈發(fā)清楚，這樣就使丹鳳門這個(gè)景觀印在了觀眾的腦海里，同時(shí)畫面鏡頭由大至小、緩緩遞進(jìn)，開篇明義，為后面歌曲的正式演唱以及畫面的正式開端打下了一定基礎(chǔ)。

根據(jù)Kress&van Leeuwen的理論，信息值這個(gè)概念涉及的是圖像中任何特定元素在整體中的角色取決于其所處位置，左邊還是右邊、中間還是邊緣，這一點(diǎn)主要是基于Halliday在系統(tǒng)功能語(yǔ)言學(xué)中的主位推進(jìn)模式。舉個(gè)例子，從MV的第2分32秒到第2分39秒，拋開所涉及歌詞不談，這幾秒的視頻是靠以下幾個(gè)部分的圖像串起來(lái)的：（1）手捧古書的睿智中年坐在放滿茶具的圓桌邊仔細(xì)閱讀；（2）一位青年走到茶桌前虛心求教；（3）在微風(fēng)輕拂的草地上兩人相談甚歡。其中，第一幅畫面中先出現(xiàn)的是茶具和古書，其次才是那位中年，在第一幅畫面中，茶具和古書屬于已知信息，而這位中年為新信息，等轉(zhuǎn)到第二幅畫面后，中年成為了已知信息，而這位青年對(duì)于整幅畫面而言是新信息，這其實(shí)也就是主位推進(jìn)模式的第三種類型，T2= R1，新單元中的已知信息為上一個(gè)單元的新信息。在這種情況下，整個(gè)畫面信息值的出現(xiàn)順理成章，同時(shí)也配合著整個(gè)故事情節(jié)的發(fā)展。

音樂視頻作為融多種藝術(shù)形式于一體的綜合藝術(shù)手段有著獨(dú)特魅力，其中音樂、語(yǔ)言、圖像等眾多模態(tài)或符號(hào)系統(tǒng)共同構(gòu)建話語(yǔ)意義，給觀眾帶來(lái)了深刻的印象。本文利用Halliday的系統(tǒng)功能語(yǔ)法以及Van Leeuwen的視覺語(yǔ)法對(duì)音樂視頻《唐詩(shī)》進(jìn)行了多模態(tài)的話語(yǔ)分析，主要指出了圖像符號(hào)系統(tǒng)在該MV語(yǔ)篇意義構(gòu)建中的作用，同時(shí)也反證了多模態(tài)話語(yǔ)分析手段在MV語(yǔ)篇意義構(gòu)建中是可行的。

［1］Halliday.M.A.K.An Introduction to Functional Grammar［M］.London：Edward Arnold，1985.

［2］VanLeeuwen.T.Introducing Social Semiotics［M］. London：Routledge，2005.

［3］VanLeeuwen.T.Speech，Music，Sound［M］.New York：St Martin's Press，1999.

［4］陳珺.音樂結(jié)構(gòu)認(rèn)知的奧秘初探——以?shī)W爾夫教學(xué)法為例［J］.樂器，2012（10）：53.

［5］陳子娟，耿敬北.中國(guó)多模態(tài)話語(yǔ)分析回顧與展望［J］.云南開放大學(xué)學(xué)報(bào)，2014，16（4）：72-77.

［6］胡壯麟.社會(huì)符號(hào)學(xué)研究中的多模態(tài)化［J］.語(yǔ)言教學(xué)與研究，2007（1）：1-10.

［7］胡壯麟，等.系統(tǒng)功能語(yǔ)言學(xué)概論［M］.北京大學(xué)出版社，2008：115.

［8］李慧艷.視覺語(yǔ)法與多模態(tài)公益廣告的整體意義構(gòu)建［J］.長(zhǎng)春理工大學(xué)學(xué)報(bào)：社會(huì)科學(xué)版，2014，5：99-103.

［9］李戰(zhàn)子.多模式話語(yǔ)的社會(huì)符號(hào)學(xué)分析［J］.外語(yǔ)研究，2003（5）.

［10］梁永革.音樂電視的音畫關(guān)系創(chuàng)意［J］.遼寧師范大學(xué)學(xué)報(bào)：社會(huì)科學(xué)版，2005，28（5）：110-111.

［11］汪劍，張琳.多模態(tài)視覺語(yǔ)法構(gòu)建的思考［J］.齊齊哈爾師范高等專科學(xué)校學(xué)報(bào)，2011（5）：131-133.

［12］辛志英.話語(yǔ)分析的新發(fā)展——多模態(tài)話語(yǔ)分析［J］.社會(huì)科學(xué)輯刊，2008（5）.

［13］袁艷艷，張德祿.多模態(tài)電影海報(bào)語(yǔ)篇的社會(huì)符號(hào)學(xué)分析［J］.濟(jì)寧學(xué)院學(xué)報(bào)，2012（4）：35-39.

［14］尹富林.視覺語(yǔ)法觀照下的多模態(tài)語(yǔ)篇分析——以一則平面廣告為例［J］.南京工業(yè)大學(xué)學(xué)報(bào)：社會(huì)科學(xué)版，2011，10（4）：96-100.

［15］張德祿.多模態(tài)話語(yǔ)分析綜合理論框架探索［J］.中國(guó)外語(yǔ)，2009（1）：24-30.

［16］張德祿，張兢田.多模態(tài)語(yǔ)法建構(gòu)問題探索［J］.外語(yǔ)學(xué)刊，2012（3）：38-43.

［17］朱永生.多模態(tài)話語(yǔ)分析的理論基礎(chǔ)與研究方法［J］.外語(yǔ)學(xué)刊，2007（5）：82-86.

H030

A

田文杰（1966-），男，教授，研究方向?yàn)閼?yīng)用語(yǔ)言學(xué)和語(yǔ)義學(xué)。