聾人題材漫畫的多模態(tài)分析

李鳳英 賈振峰 徐冬梅

信息時代，人類交際多模態(tài)化特點日益凸顯，多種多樣的符號共同作用于交際過程。這其中圖像符號搭配文字符號使用最為頻繁。人類的思維和鑒賞習(xí)慣在新的視覺文化沖擊下悄然發(fā)生了變化，多模態(tài)分析能力日漸引人關(guān)注。而在眾多的圖文模態(tài)語篇中，漫畫就是其中一員。漫畫是以圖畫模態(tài)為主，輔以文字符號模態(tài)的多模態(tài)語篇。本文嘗試運用多模態(tài)分析的相關(guān)理論和框架分析聾人題材漫畫，旨在為解讀聾人題材漫畫提供一個新的視角。

一、多模態(tài)語篇分析的理論基礎(chǔ)

模態(tài)是指交流的所有媒介。除了語言符號以外，其他還包括了手勢、音響、圖像、顏色、視頻、音樂、技術(shù)等多種符號系統(tǒng)。具體語篇的意義和讀者對語篇的理解，是各種模態(tài)排列組合的結(jié)果。

話語分析早期以語言研究為主，后來逐漸延伸到其他模態(tài)。多模態(tài)話語分析以Halliday的系統(tǒng)功能語言學(xué)為理論源泉，20 世紀(jì) 90 年代Kress&Van Leeuwen與O’Toole提出了視覺語法概念，自此多模態(tài)話語分析進(jìn)入了快速發(fā)展時期。多模態(tài)話語分析理論倡導(dǎo)任何符號系統(tǒng)都是有意義的，而且認(rèn)為語言外的其他符號模態(tài)也具有系統(tǒng)性和功能性特征。視覺語法以再現(xiàn)意義、互動意義和構(gòu)建意義為主，分別相當(dāng)于系統(tǒng)功能語法中的概念功能、互動功能和語篇功能。

二、多模態(tài)分析對聾人題材漫畫語篇的解讀

本文分析的漫畫選自韓國漫畫大師高英勛(Nasty Cat)所創(chuàng)造的漫畫《看不見聽不到的愛情》的漢譯本。[1]漫畫敘述了一個失明的漫畫家與一個聾啞女孩的愛情故事。我們嘗試從再現(xiàn)意義、互動意義以及構(gòu)成意義等三個方面來分析漫畫場景。

（一）再現(xiàn)意義

Kress&Van Leeuwen針對系統(tǒng)功能語法中的概念意義，提出了視覺語法的再現(xiàn)意義。再現(xiàn)意義分為概念再現(xiàn)和敘事再現(xiàn)。矢量是區(qū)分概念再現(xiàn)和敘事再現(xiàn)的關(guān)鍵要素。概念再現(xiàn)相當(dāng)于系統(tǒng)功能語法中的關(guān)系過程和存在過程。敘事再現(xiàn)則區(qū)分為行動、反應(yīng)及言語和心理三個不同類別的過程。

視覺語法中矢量代表過程與方向的力量。一方面，圖像敘事的參與者通過矢量相互連接達(dá)到敘事的目的，另一方面，觀看者則通過矢量關(guān)系來判斷圖像敘事中參與者的互動關(guān)系。一般而言，圖像敘事中各元素構(gòu)成的對角線矢量性質(zhì)最為突出，又因為敘事圖像以矢量為標(biāo)志，發(fā)出矢量的參與者即為行動者，因此在敘事再現(xiàn)的行動過程中，非常容易辨別動作者，有利于觀看者理解圖像語篇意義。

《看不見聽不到的愛情》漫畫關(guān)于兩個人起床情節(jié)的一幅漫畫組合中，共有三幅漫畫。第一幅漫畫中間是桌子上的筆記本電腦，電腦屏幕正中間是打開的記事本，左側(cè)是男主人公失明的漫畫畫家，右下角露出一部分鬧鐘。男主人公與筆記本電腦之間形成一條無形的矢量斜線，表明了男主人公所關(guān)注的事務(wù)，又因為男主人的盲人特性，因此可以推斷出：他是在展示筆記本電腦中的記事本內(nèi)容。第二幅漫畫中間是筆記本的一角，顯示的是記事本中間的一段文字“睡得好嗎”。第三幅漫畫前端三分之二是筆記本電腦的背面，中間是女主人公，占據(jù)了三分之一的畫面，后端右上角是男主人的身體的十分之一。女主人公和電腦屏幕形成另一個矢量，鑒于女主人公聾啞特征，并結(jié)合整個三幅漫畫，可以推斷出男主人公、筆記本電腦記事本展示的文字、女主人公形成一條無形的立體斜線，即矢量，鑒于交際主體的特殊性（盲聾）導(dǎo)致了該矢量不同于常見的矢量關(guān)系，具有自身的特殊性。這個矢量關(guān)系構(gòu)成了敘事再現(xiàn)的言語過程，男主人公是話語的發(fā)出者（以筆記本電腦文字為媒介），女主人公是話語的接收者。這個言語過程表明了男主人公與女主人公之間的信息交流，也表明了男女主人公盲聾的特征，以及他們克服困難進(jìn)行交流的特殊性。

（二）互動意義

Kress&Van Leeuwen視覺語法中的互動意義，對應(yīng)功能語法的人際意義。互動意義由接觸、社會距離、態(tài)度和情態(tài)四個要素構(gòu)成，體現(xiàn)了漫畫家、漫畫表征與觀看者的互動關(guān)系。[2]

接觸是指漫畫中的參與者通過其目光的指向與受眾之間形成的一種想象中的接觸。根據(jù)漫畫中的參與者與漫畫受眾之間有無直接的視線接觸，可以分為索取和提供兩種關(guān)系類型。漫畫參與者與受眾是否存在直接的目光接觸，可以判斷漫畫是提供類還是索取類。

鑒于該漫畫主人公盲聾的特征，因此漫畫中的參與者男主人公幾乎沒有與漫畫受眾有直接的目光接觸，因此作品中的大部分圖像屬于提供類，意在向受眾提供欣賞和思考。然而也有一部分圖畫屬于索取類，例如第一卷中的一幅圖畫，圖畫的背景是窗戶，窗臺上蹲坐這小貓，旁邊是一盆仙人掌。小貓面向受眾，大大的眼睛注視著前方，有跟受眾進(jìn)行充分的目光接觸。一方面，可以理解為小貓對盲聾夫婦奇怪行為的好奇，另一方面，似乎是在索取受眾對這對盲聾夫婦這些看似古怪又合情合理舉動的看法。另外，第一卷中一幅夫婦倆吃飯后并排躺在一起，面向受眾，男主人公（失明）瞇著眼睛，而女主人公（聾啞）則是眼睛睜的圓圓的，一方面向受眾展示了盲聾夫婦生活的幸福快樂（提供信息），另一方面，也是女主人公向受眾索取對他們幸福生活的關(guān)注和看法。

社會距離是指圖像中參與者與受眾之間的遠(yuǎn)近親屬關(guān)系。根據(jù)取景框架大小可以分為親近距離、個人近距離、個人遠(yuǎn)距離、社會遠(yuǎn)距離、公共距離。不同距離體現(xiàn)了不同的社會關(guān)系，漫畫中參與者取景距離長短決定了他們與受眾之間的遠(yuǎn)近親屬關(guān)系。

《看不見聽不到的愛情》漫畫中，大部分表達(dá)主人公喜怒哀樂的圖畫都是以臉部或頭部特寫為主，拉近了主人公和受眾之間的距離；而情節(jié)發(fā)展則以整個人占據(jù)整個圖片不到一半的圖畫為主，客觀敘述了漫畫故事情節(jié)的發(fā)展。

態(tài)度指受眾與圖像參與者對漫畫敘述內(nèi)容參與程度，以及參與者與受眾之間所處的等級關(guān)系。態(tài)度通過視角體現(xiàn)，通常視角(正視、側(cè)視、仰視、俯視等)不同會給受眾帶來不同的心理感受，反映了受眾對參與者的態(tài)度。[3]不同的視角往往對于漫畫所要表達(dá)的主旨，作者的思想、立場和態(tài)度有著深層含意。正視視角給受眾帶來的是感同身受、融入其中的感覺，或者平等對待的關(guān)系；側(cè)視視角表現(xiàn)出作為旁觀者的漠然與事不關(guān)己；俯視視角代表受眾處于強勢，仰視視角則代表了受眾處于弱勢，而平視表示觀看者和參與者相對平等的關(guān)系。

作品中絕大部分的漫畫圖片是正視視角，因此給受眾帶來的是對盲聾夫婦喜怒哀樂感同身受，讓讀者對他們的生活困難有充分的認(rèn)識，同時也體現(xiàn)了受眾與主人公之間平等的關(guān)系。然而有關(guān)于男主人公（一名漫畫家）因為日以繼夜的畫漫畫而導(dǎo)致失明，而絕望的圖畫不約而同地采用了俯視視角，表明了此刻的主人公處于弱勢地位，引起受眾的憐憫之心。

視覺圖像與語言一樣能真實地再現(xiàn)現(xiàn)實世界，越是真實的情態(tài)越能表現(xiàn)圖像的現(xiàn)實主義。[4]這部聾人題材漫畫，結(jié)合寫實的手法和夸張的表現(xiàn)方式，真實地再現(xiàn)了一對盲聾夫婦的故事，整個作品處于高中情態(tài)。

（三）構(gòu)圖意義

構(gòu)圖意義對應(yīng)系統(tǒng)功能中的語篇功能，是指語篇成分的空間布局，是再現(xiàn)意義和互動意義的基石，主要由框架、信息值和突出情態(tài)三方面構(gòu)成。[5]

信息值由圖像中元素位置所決定。一般而言，圖像上方元素為理想化的，而下方的元素真實、客觀。左方的為舊信息，右方的為新信息。中心位置是平衡點，這里的元素被視為圖像的重心。突出情態(tài)通過位置、顏色、尺寸對比等實現(xiàn)。框架是圖像取景的結(jié)構(gòu)。

《看不見聽不到的愛情》漫畫第一卷第一集有一組圖畫，左邊是女主人公側(cè)對著受眾在切菜做飯，右邊是男主人公坐在一個凳子上等候，中間的煤氣爐上正在燒開水。男主人公聽到了水燒開的聲音，然后起來摸索著來到女主人公背后，拍了一下女主人公的肩頭，女主人公嚇了一跳，隨后男主人公示意她水開了，兩個人呵呵的笑了起來。前三幅都是左右結(jié)構(gòu)，左邊是專心致志做飯的女主人公（聾啞），背對著煤氣灶，是舊信息。右邊男主人公（失明）從坐在板凳，到聽到水燒開的聲音，到起身去提醒女主人公，不斷提供給受眾新信息。中心位置的煤氣爐可以看作三幅圖的重心，起到了平衡男女主人公行為的作用，也有效的解釋了雙方的行為。另外一組漫畫，是快遞員送快遞，快遞包裹很重，女主人公簽收后，費力地把東西搬進(jìn)屋里。快遞員對男主人公在一幫站著的行為很不滿（快遞員并不知道男主人公失明了）。之后的三幅漫畫都是快遞員為背景分別是表達(dá)不滿的表情并“哼”的轉(zhuǎn)身而去、哐當(dāng)?shù)拇罅﹃P(guān)門，關(guān)閉的門和“這個男的真夠混蛋的”的話語。而男主人公則占據(jù)了畫面的前端，突出了他的被人冤枉而又無從解釋的表情。

通過聾人題材漫畫《看不見聽不到的愛情》進(jìn)行多模態(tài)語篇分析，應(yīng)用視覺語法理論分析了視覺符號在聾人題材漫畫語篇中的作用，為有效理解漫畫形象提供了新的途徑，讀者可以通過提高多模態(tài)識讀能力，更加充分欣賞漫畫作品。

漫畫《看不見聽不到的愛情》

[1]精明眼.看不見聽不到的愛情[EB/OL].(2013-08-21)[2015-02-01]http://www.iieye.cc/mh/3B253AC9D733F25F/.

[2]Halliday，M.A.K.An Introduction to Functional Grammar［M］.London:Arnold，1994：72-128.

[3]賈振峰，李鳳英.綏化網(wǎng)絡(luò)信息傳播的多模態(tài)分析[J].河北聯(lián)合大學(xué)學(xué)報,2013(6)：37-39.

[4]李戰(zhàn)子.多模態(tài)話語的社會符號分析［J］.外語研究,2003(5)：1-7.

[5]Kress,G.and van Leeuwen,T.Reading Images:The Grammar of Visual Design[C].London:Routledge,1996：123-145.