多模態話語映射下的語言意義主觀性*

彭兵轉 姜毓鋒

(哈爾濱理工大學，哈爾濱150040)

1 引言

任何意義，不僅是書面語的意義，諸如視覺、聽覺、嗅覺、味覺、觸覺，以至抽象的模型、結構、主體意識都應納入它的視線之內?！叭藗冊谒麄內粘５恼Z言交換過程中，實現社會結構，肯定自己的地位和角色，建立和傳遞共享的價值系統和知識系統?！?胡壯麟2007:2)所有模態都可能發展成產生意義的、互相連接的、可供選擇的網絡，當符號制造者在這些意義網絡中進行選擇，可視做符號制造者為表達他在已知語境下想表達的意義所作決策的軌跡。這個軌跡就是符號制造者的興趣所在(胡壯麟2007:5)。然而，大部分研究者更加注重對語言的研究，忽略對除語言外其他社會符號的探討。因此，多模態話語分析理論被許多語言學界的研究者遺忘，關于多模態話語功能及意義的研究也比較匱乏，而對多模態話語中的意義主觀性的探討更為罕見。實際上，多模態話語的意義存在于話語和語境構成的3大系統之中，由說話人和受話人通過多種媒介和符號建構，從而留下自我印記，體現語言意義的主觀性。

2 多模態話語

人們發現單純研究語言已不能對話語進行深入全面的分析，特別是隨著現代科學技術的發展，交際已不是利用一種模式進行，而是用兩種或者多種模式同時進行。本文討論的“模態”(modality)意義源自“模式/方式/模態/型”(mode)，而非“情態”(modality)，后者與“情態動詞”(modal verb)中的“情態的”(modal)更為接近。

近年來，國外學者對多模態話語進行了深入的分析，掀起了多模態話語探索的浪潮，話語的多模態性成為語言學研討的新熱點之一。從2003年至今，盡管我國引進國外多模態話語分析理論的歷史還很短暫，研究尚處于萌芽階段，但研究者從不同角度對多模態話語分析的理論進行思考與創新，對多模態話語分析的研究價值給予了充分的重視，研究領域不僅涉及傳統文本，而且對圖文二維平面、超文本電子語篇、影視作品、漢語多模態口語語料庫建設以及教學實踐應用等領域的多模態話語分析都有一定的研究。這些研究成果對推動我國語言學的縱深發展具有重要的價值，有助于我們更好地認識多模態話語，為開創多模態話語分析新紀元奠定堅實的基礎。然而，話語的多模態性只是作為一種語言的輔助表達系統，沒有作為意義表達模態來研究。

3 語言意義的主觀性

語言意義的主觀性已成為語言學尤其是語義學研究的焦點之一，主觀性是語言的一種本質屬性，因為如果語言沒有深深地烙上主觀性印記，語言就不可能運作，也不可能稱其為語言。語言界不少學者都探討過語言意義的“主觀性”。從認知語言學的角度來看，語言的主觀性主要表現為認知主體的主觀識解在語言結構和意義中的反映。系統功能語言學也認為，人類借助語義系統來識解經驗是一種主觀的過程，說話者/作者的選擇就是意義，形式即意義的體現。而語用學對語言主觀性的關注更多地是和英美分析哲學中日常語言分析學派的研究緊密地聯系在一起的。

國內語言學界普遍采用的“主觀性”定義主要來源于Lyons:“主觀性(subjectivity)指語言的這樣一種特性，即在話語中不同程度的總是含有說話人‘自我’的表現成分”(Lyons 1977:739)。也就是說，說話人在說出某一話語的同時表明自己對這段話的立場、態度和感情，從而在話語中留下自我的印記。Lyons強調的是說話人的自我表達，并主張區分主觀性表達(說話人的自我表達)和客觀性表達(交際命題)。在語言運用層面上，“主觀性”體現為說話人在話語中的“自我表露”(self expression)，這種自我表露往往伴隨說話內容(在語言哲學和語言學中稱之為“命題”)的表述，或表達說話人對所表達內容的認識，或反映說話人的觀點、態度、感情。在這個意義上，語言的主觀性即話語的主觀性。自然語言充斥著主觀性現象，說話人總是通過他們使用的句子結構、詞語、語音、語調以至身體語言體現“自我”。在語言結構層面上，語言中普遍都有一些詞類和語法結構中編入“自我”這一標志著語言主觀性特征的語義成分。

學者對主觀性的研究主要集中在3個方面:說話人的視角、說話人的情感和認知，但研究者們的理解卻存在著差異。人類語言的發展過程就是一種賦予意義與理解意義不斷交換的過程，因而語言的意義不僅包括它的賦予意義，而且包括它的理解意義。在語言使用過程中，語言意義的主觀性同樣體現在說話人和受話人兩個方面，說話人與受話人與言語和語言的使用、構建與解讀相聯系，因此多模態話語中的語言意義主觀性應分別從說話人和受話人兩個角度進行探討。

4 多模態話語中語言意義的主觀性

語言是一種表達觀念的特殊的符號系統，包括文字、聾啞人的字母、象征儀式、禮節儀式、軍用信號等(Saussure 1972:15)。語言體系和體語體系都不可能單獨構成交際體系，只有二者相結合并與其他感官渠道的相應系統相配合，才能形成完整的交際體系(Birdwhistell 1952:5)。沈家煊指出，語言必然帶有自我表現的印記，這一點現在已經明確;不明確的是，語言的這種自我印記是如何表現和如何被理解的?長期以來，交際中的多模態話語所表現出來的意義主觀性在語言學界沒有得到應有的重視，因此使我們對語言的認識不夠全面(沈家煊2001:269)。

4.1 從說話人的角度看多模態話語中意義的主觀性

語言是符號與意義的統一體，其作為一種復雜的交際手段，不僅包含著人們怎樣理解意義，而且包含著人們賦予了什么意義。換言之，任何一種語言符號或非語言符號的出現和使用，首先意味著說話人賦予它一定的意義，然后才由受話人對意義進行識解。其實，語言及其建構材料與人密不可分，因此人的因素，尤其是說話人，是研究語言意義問題的關鍵。從說話人的角度看，主觀性體現在說話人的態度、情感和觀點中，說話人根據自己的文化背景、知識體系和信仰等反省、思考、理解各種模態及其生成的語篇，互相交流，對語篇進行評價和批判性的解讀。由于主體的不同，從語篇語境、符號形式、語言特征等方面對同一語篇的理解，對其表現出的意義進行批判性的思考，從而留下自我印記，得出多角度的不同闡釋，使他們建構起一個更全面的語篇意義。概言之，對語篇進行評價和批判性解讀的過程其實就是一個構建意義的過程。例如，胡壯麟利用2005年中國人民大學在澳大利亞文化節上的一次PPT競賽演示，從音響、圖像、語言等方面，分別分析了參賽者是如何通過PPT演示展示澳大利亞文化的，指出在演示過程中，他們在利用多模態手段向觀眾構建異國文化意義的同時，也體現了他們個人深刻的思想、觀點與身份(胡壯麟2006:5－9)，進而體現了語言意義的主觀性。

在多模態話語中，語言意義的主觀性在具體的語境范圍內以某種語言形式加以表現，通過話語的概念意義、人際意義和語篇意義體現，借助一定的媒體，通過語言、伴語言(圖畫、字體、布局)、體勢語、工具(網絡、PPT)和環境 (網絡教室)表現，以口語模態、聽力模態、書面模態或電子模態實現人際互動。其實，不同模態話語的運用本質上都是為了體現說話人的整體意義，一定的模態具有特有的表義潛勢，如語義的語言表達往往適合于解釋深奧概念、理論和哲理，聲音、音樂、圖像顏色、字體形狀等適合于表達說話人的情感態度，圖形結構、體勢指示更適合表達方向、形狀等語篇意義，而多模態話語，如圖形加口頭語言，能解釋陌生的，特別是抽象的事物，建構整體意義。

在具體語境中，如身體語言的面部表情等、單詞和句子的重音、語調等語言符號在語言運用中往往傳達說話人的交流目的或主觀感受。說話人可運用聽覺、視覺、觸覺等多種感覺，通過語言、圖像、聲音、動作等多種模態手段和符號資源，在各種不同因素作用下產生說話人個體性主觀意義。事實上，不僅說話習慣千差萬別，而且賦予話語的意義也各不相同。換言之，說話人的主觀意義與某一話語的字面意義或客觀意義不同，在使用社會語言符號時，可能擴大、加深語言符號的本來意義，也可能縮小、淺化語言符號的本來意義，也可能完全改變語言符號的本來意義;或者可能偏離字面意義，如隱喻、情態等;或者表示與字面意義對立的意義，如譏諷、憤怒等。例如:

例①a升調模態配以圖片模態，再將isn’t she涂紅配以顏色模態，表明說話人不確定她是否在這兒這一命題態度，而例①b降調模態配以圖片模態，再將isn’t she涂紅配以顏色模態，表明說話人確定她就在這兒這一命題態度。

從具體功能上講，說話人如果在陳述句中使用升調，則往往隱含一種“抱怨”或“態度不明”等態度。例如:

說話人如以降調配以圖片說出例②a，則表明只是陳述不壞的事實;而如以升調配以圖片說例②b，說話人則賦予了它新的意義，其表達的意義可能完全相反，還可能表明說話人對這個事實的不滿，甚至可能有憤怒的感受。

4.2 從受話人的角度看多模態話語中意義的主觀性

說話人和受話人都是構建語言意義的主體，他們的社會文化背景和切身體驗及對交際環境的看法、認識和態度會體現在所說的話語及對話語的理解當中，對話語的結構和意義也會產生重要影響。一個表達方式的意義是由它激活的概念內容和該內容按其表達目的被理解的方式共同作用所決定的，語言意義是由概念形成過程中的說話人和受話人共同構建的。因此，主觀性同樣也體現在受話人或讀者的解碼過程中，受話人在理解、賞析、解析和創造話語過程中會利用含意、語義預設、語境支持等進行意義推理，在此過程中會將其態度、情感和觀點等賦予語言中，根據自己的理解和需要對概念內容進行構建和組織的認知操作。意義的解讀是在多個模態相互作用、相互影響下達成的。受話人通過各種感官與外界信息發生多模態互動，通過感覺、表象、知覺、范疇化形成概念，存儲在大腦的不同功能區域，形成各種神經模塊。這些模塊有各自的功能，有的負責視覺模態、有的負責聽覺模態、有的負責嗅覺模態、有的負責味覺模態、有的負責觸覺模態，他們之間相對獨立又相互聯系，形成系統網絡。每種模塊受到認知特點的制約，只對特定類型的刺激做出反映，留下自我印記，具有認知差異性和相對獨立性，同時又具有系統性、層次性和兼容性。因此，我們應關注交際中受話人的自我意識、意向性，分享受話人的情感、態度、觀點及看法等。

當接受語言信息時，受話人往往會注意言語以外的眾多其他因素，如果是面對面的交流，那么受話人往往會注意到人的眼睛、面部和身體。在交際中，受話人的主要任務是將語篇中各模態和符號資源轉變成理解，不再是知識的被動接受者，而是主動、積極的識解者。他們經常通過視覺、聽覺、觸覺等感覺，借助一定的媒介(如物理媒介、電子媒介、紙質媒介、語言符號等)同外界信息互動，通過各種感官跟外部環境(如人、機器、物件、動物之間)互動，自主地通過各種實踐活動表達自己的態度、觀點和看法，將自身的潛力最大化。因此，受話人在分析多模態資源構建的文本意義的同時，建構自我身份，留下自我印記。例如:It’s Sunday today.如單獨看此命題，也許僅表達“說話人說這句話的當天是一個星期中的第一天”。但如將此句配以不同的模態，則其表達的意義就會遠遠超過它的字面意義。

(1)假設上句是孩子對平日難得帶他外出游玩而恰好此前許諾過這個星期要帶他出去的父母說的話，配以孩子的聲音模態、表情模態或動作模態及父母繁忙工作的圖片模態，受話人應理解其意義是“請求或提醒他的父母帶他出去游玩”。

(2)假設上句是父母看見孩子平時天天伏案學習，星期天也不肯休息時使用，并將此句配以父母的聲音模態、音樂模態以及孩子學習的圖片模態，受話人應理解其意義是“建議孩子星期天好好休息”。

(3)假設上句是父母看見孩子星期天正準備早起床而使用時，配以父母的聲音模態、表情模態及孩子睡覺的圖片模態，受話人應理解其意義是“希望孩子多睡一會兒”。

上述3種不同的理解都建立在不同的具體語境與具體模態基礎上，受話人要真正有效地理解話語意義，首先必須發揮其主體性，先考慮言語交際上的上下文中相關的話語意義及其對應的不同模態，再從共有常識中激活相關的背景語境要素，同時加入行為環境中相關的信息。只有把握語境的建立是呈動態發展這一趨勢的，交際者才能有意識地利用這一特征提高自己的釋義能力。

在“主觀性”的視閾、情感方面，多模態話語可以通過圖像、聲效突出注意焦點。情感可以通過音樂、顏色表達，也可以借助圖像、聲音等多種情感隱喻形式實現。受話人可對他人表情、性格、社會角色、人際關系和社會規范進行認知，通過認知，借助言語、動作、服飾、語氣和表情等多模態形式，認識他人內在的性格、社會角色、心理狀態(如需要、信念、意圖、感受、動機、情感和意向等)，對社會態度做出推測和判斷，繼而實施社會互動(如獎賞、懲罰、欺騙、合作等)，認識人際關系。如文字文本The washing machine is a good housewife配以圖片模態一臺洗衣機，并配以a good wife的聲音模態，則受話人須調動多重感官以實現符號信息之間的有效互動，在符號上留下自我印記。

在多模態認知過程中，受話人因不同的文化背景或地域背景，其性格和認知方式表現出一定的主體差異性，表現出特有的認知風格。認知風格可以通過認知風格測量確定，具體分場依存型(field dependence)和場獨立型(field independence)、沖動型(impulsivity)和沉思型(reflectivity)、整體型(associative)和分析型(analytic)3類，不同認知風格的受話人偏愛特定模態的表達方式和接受方式。場獨立型很少受環境和他人的影響，能獨立思考，因而可以不受模態影響;而場獨立型需要一定的情境來幫助理解信息，須要借助各種聲效、圖像等多種模態以創設情景，偏愛交際法，需通過活動體驗完成對信息的吸收和知識的建構。沖動型能根據部分媒體信息或部分模態做出快速反應，但往往會出錯;而沉思型須要借助多種模態對信息進行全面深思熟慮后才做出反應，準確性高但速度慢。沖動型適合口頭模態的即興表達，而沉思型適合于先形成完整構思(如借助書面模態形成構思)后做出口頭表達。整體型使用整體、聯想的思維方式，從具體的例子入手歸納出一般概念，通過圖形或例子的直覺學習規則;而分析型往往把問題分解，根據語義規則和理論解決問題，用邏輯語義關系將信息加以演繹、聯系起來。因此，只有當說話人關注受話人的認知風格，采用和受話人匹配的模態時，才能降低受話人的情感焦慮和認知負荷，才能反映說話人的主體意識和對受話人的關注，體現意義的主觀性，從而更好地和受話人分享經驗、情感和態度。

5 結束語

在多模態文本中，說話人與受話人須要調動多重感官對多種模態形式的外部符號進行編碼與解碼;同時，通過這些不同感官模式獲取的信息間會互動，或者生成某種形象作為文字文本的部分，或文字文本形式生成形象文本形式等。他們經常對表達和信息傳遞的模態加以改變，改造已有模態，創造新模態。這樣，必然會留下自我印記，體現語言意義的主觀性。

陳前瑞.漢語內部試點體的聚焦度與主觀性［J］.世界漢語教學，2003(4).

成曉光.語言哲學視域中主體性和主體間性的建構［J］.外語學刊，2009(1).

胡壯麟.意義的多模態構建——對一次PPT演示競賽的語篇分析［J］.外語電化教學，2006(3).

胡壯麟.社會符號學研究中的多模態化［J］.語言教學與研究，2007(1).

李洪儒.試論語詞層級上的說話人形象［J］.外語學刊，2005(5).

李洪儒.意見命題意向謂詞與命題的搭配［J］.外語學刊，2007(4).

李洪儒.索緒爾語言學的語言本體論預設——語言主觀意義論題的提出［J］.外語學刊，2010(6).

李洪儒王 晶.說話人意義及其結構的研究維度——語言主觀意義研究(一)［J］.外語學刊，2011(9).

錢 軍.語言系統的核心與邊緣——布拉格學派理論研究［J］.福建外語，1996(3).

沈家煊.語言的“主觀性”和“主觀化”［J］.外語教學與研究，2001(4).

涂紀亮.現代西方語言哲學比較研究［M］.北京:中國社會科學出版社，1996.

王 寅.語義理論與語言教學［M］.上海:上海外語教育出版社，2001.

徐晶凝.語氣詞“吧”的情態解釋［J］.北京大學學報，2003(5).

楊永龍.句尾語氣詞“嗎”的語法化過程［J］.語言科學，2003(1).

張德祿.語篇跨類銜接研究［J］.解放軍外國語學院學報，2002(6).

趙艷芳.認知語言學概論［M］.上海:上海外語教育出版社，2002.

朱永生.多模態話語分析的理論基礎與研究方法［J］.外語學刊，2007(5).

Benveniste，E.Subjectivity in Language［A］.In Coral Gables(ed.).Problems in General Linguistics［C］.Florida:University of Miami Press，1971.

Birdwhistell，R.An Introduction to Kinesics:An Innotation System for Analysis of Body Motion and Gesture［M］.Louisville:University of Louisville，1952.

Finegan，E.Subjectivity and Subjectification:An Introduction［A］.In D.Stein ＆ S.Wright(eds.).Subjectivity and Subjectification［C］.Cambridge:Cambridge University Press，1995.

Grice，H.P.Studies in the Way of Words［M］.Beijing:Foreign Language Teaching and Research Press，2004.

Kress，G.＆ van Leeuwen.Reading Images:The Grammar of Visual Design［M］.London:Routledge，1996.

Kress，G ＆ van Leeuwen.Multimodal Discourse:The Modes and Media of Contemporary Communication［M］.London:Hodder Arnold，2001.

Leech，G.＆ J.Coates.Semantic Inderterminacy and the Modals［M］.Cambridge:Cambridge University Press，1979.

Lyons，J.Semantics II［M］.Cambridge:CUP，1977.

Lyons，J.Linguistic Semantics［M］.New York:Cambridge University Press，1995.

O’Halloran，K.L.Inter-Semiotic Expansion of Experiential Meaning:Hierarchical Scales and Metaphor in Mathematics Discourse［A］.In C.Jones ＆ V.Eija(eds.).From Language to Multimodality:New Developments in the Study of Ideational Meaning［C］.London:Equinox，2008.

Palmer，F.R.Mood and Modality［M］.Cambridge:Cambridge University Press，1986.

Searle，J.Expression and Meaning:Studies in the Theory of Speech Acts［M］.Beijing:Foreign Language Teaching and Research Press，2003.