技術多模態語境中表意系統的消解與重構

提 要：從人類表意衍化的進程與人類自身的感知習慣看，既具有多形態性又具有多模態性的多模態語境最契合人類的認知心理。計算機技術為新的人工語境的構建提供了可能。在技術多模態語境中，不同表意形態得以融合，但語言的功能在一定程度上被消解了，而那些自語言文字產生后退居次要地位的非語言表意形態被一定程度地激活，表意系統因此產生結構性調整或重構。技術多模態語境是一種人工語境，從某種意義上說，它是人們從以語言為主流的表意形態向多形態合成表意的回歸，也因此引發了對傳統語言學一些理論問題的重新思考。

關鍵詞：表意形態；表意系統；語境；多模態；多模態文本；技術

中圖分類號：H085 文獻標識碼：A 文章編號：1000-0100(2008)01-0058-5

Dispersal and Reconfiguration ofHuman Expression System

in Technological Multimodal Context

Zeng Fangben

(Huizhou University， Huizhou 516007，China)

From the viewpoint of the evolution of human expression and the habit of human perception， multimodal context with multiform and multimodality fits human cognition best. Computers make it possible to create a new manmade context. In technological multimodal context， different expression forms are integrated while the function of language is dispelled to some extent. Some nonlinguistic forms that used to be regarded secondary are also activated to some extent， which has resulted in the structural adjustment and reconfiguration of the expression system. In a sense， technological multimodal context is the retreat of human expression system from language to multiple expression forms. Some related questions are also conspicuous.

Key words： expression form;expression system;context; multimodality; multimodal context; technology

人類對周圍事物的認知歷來是多模態的，多模態感知是人類千百年來形成的慣性認知心理。同時，在彼此的交際中，人類的表意系統也呈現出多形態同構性，以適應自身的這種感知習慣。至今，人們在說話時常伴以表情、手勢等來傳情達意。人類的初級表意形態（體態語、聲符語等）具有直觀性與本能性，但它們傳達的消息瞬間即逝，自身無法復制，也不能遠距離傳播。書寫文字彌補了這種缺陷，在歷史上帶來的是人類文明的升級，但由于語言符號和所指物之間的關系是“強制性”的（索緒爾1980：103），同時，人類開始時對文字符號的感知只可能是單模態的（通過視覺閱讀或聽覺理解），因而人類對文字的認知實際上并不符合自己的天性。隨著計算機技術的發展與廣泛應用，人們正在越來越頻繁地構建技術多模態語境，并將其視為表意語境。這種人工語境具有表意的多形態性和感知的多模態性，這些都與人類自身的認知心理相吻合。從某種意義上說，技術多模態語境是人們從以語言為主流的表意形態向多形態合成表意的回歸，也因此引發了對傳統語言學一些理論問題的重新思考。

1 幾組概念

表意形態與表意系統 根據《辭海》的解釋，“形態”是“事物在一定條件下的表現形式”，語言、圖像等屬于不同的表意形態；“系統”是“相同或相類的事物按一定的程序和內部聯系組合而成的整體”，顯然，系統可能是單形態的，如口語系統、圖像系統等；也可能是多形態同構的，如本文所要討論的技術多模態語境下的合成表意系統。

形態與模態 就本文而論，形態是對表意的信息主體而言的，而模態是對表意所面對的客體（信息接受者）而言的，客體要感知某種表意形態的信息則必須調動一種或多種感知器官。簡單說，形態與表意有關，它是語境的編碼工具，而模態與感知有關，它是語境的解碼方式。形態與模態的關系就像表意與感知一樣，它們是語境的不可割裂的兩個方面。

多模態文本與技術多模態語境 文本是具體語境中的信息載體，一個單形態文本（如印刷文本）可能含有多模態的信息（如“他聽見……”，“他看到……”）， 但卻不可能是多模態文本。一個多形態文本可能是多模態文本，也可能不是。而一個多模態文本同時應該是多形態的。多模態與多模態文本是目前探討較多的問題。一個多模態文本就是一段關于某項多模活動的含音頻的視頻流（顧曰國：2007），顯然這是從技術角度提出的命題。本文的技術多模態語境概念，從廣義上說，其外延涉及到影視等，但本文的討論主要是從它的狹義面來說的，即計算機多媒體，如PPT(powerpoint)。正如開頭所述，人們日常交際語境常常就是多模態的，但技術多模態語境是一種人工語境，它具有建構的技術性、表意的多形態性與感知的多模態性等特點。

2 人類表意的衍化及其多模態感知的慣性認知心理

2.1 人類的初級表意形態

對語言的起源有不同的說法，但普遍認為先有口語，后有書面語。如果是這樣，口語系統也應該是從簡單到復雜、由低級到高級發展起來的。語言起源的“人造說”就認為，語言最初很可能源自于一些簡單的聲符，那時人們出于模仿自然或其他動物的聲音，或者為了表達特定的情緒要求，如痛苦的呻吟、無奈的感嘆、豐收的喜悅等，而這種由接觸（包括與自然的接觸和人際間的接觸）、模仿，到規律性感覺的形成就是一定語感的生成（湯富華：1999）。顯然，原始聲符的本能性反應的特征很強，有些至今仍為人類所用。但那些聲符語言太感覺化與個性化，談不上系統的約定性和明晰性。

人類對圖像的感受來自于對自然景觀畫面的接受。“枯藤老樹昏鴉，小橋流水人家，古道西風瘦馬，夕陽西下……” 這一切都會構成人的視覺成像，也就是現代認知科學所說的“圖式”（schema）。但是，真正的圖符語言是脫離人體而能獨立表意的人工圖像系統（湯書昆1998：13）。就像我國的陰山巖畫，它不僅表達制作者的情意，同時通過寫意的手法再現中國北方原居民的部分生活場景。從某種意義上講，圖符語言彌補了聲符語言受時空限制的不足。但是，圖符語言費時低效的缺陷也是明顯的，因為繪制的速度太慢，幾乎無法構成融暢的圖景流，因而不可能單獨滿足日常表意的需要。

體態語作為一種無法脫離人體的自然語言，與聲符語言一樣，自古以來就保持著它的恒定性，“形-意”的對應關系緊密而又直接，因為動態與表情都是本來情意的反應，屬軀體自身的行為，因此體態語的表意功能是不容置疑的。但是，對體態語的科學研究在二戰以后才正式開始（畢繼萬 1995）。這表明，它作為人類表意形態的語言學地位原來并不受重視。

綜合起來看，幾種人類初級表意形態具有以下三個主要特點。第一，本能性。幾種表意形態基本都源自人的生理本能，都是人類感覺器官直接感受的結果，具有鮮明的本能特征，屬軀體自身的行為，不是軀體之外的折射或抽象表意。盡管圖符是通過手工借助其他工具和材料完成的，但圖符本身也是客觀世界圖式化的外化。第二，直觀性。本能性與圖式化外化的結果，決定幾種初級表意形態的直觀性，形－意或者音－意的關系很直接。第三，模糊性。初級表意形態基本上都是對客觀世界的模仿，而用直接模仿的方法準確描述世界上的萬事萬物是很困難的。因此，音、像、體態語等初級表意形態往往具有多義性，有時甚至很晦澀（李佐豐1999：7）。

2.2 認知與交際中的多形態性和多模態性

對信息的獲取與儲存，是人類自古以來賴以生存和進化的重要本能之一。在叢林時代，人類總是竭力調動視、聽、嗅等多種感官，既是為了獲取盡可能多的消息，同時也因為信息感知的不確定性（包括由表意形態的模糊性因素所致），須要通過交互檢索以確認來自多感官渠道信息的準確性。人類利用多種感官同時感知外部世界的心理習慣極其古老，并不斷為千萬代人的生存實踐所鞏固，因而早已成為人類近乎本能的一種心理結構。同時，原始人的表意系統也呈現多形態同構性以適應人類自身的感知習慣。他們利用一定的手勢、姿態、動作、烽煙等與呼喚、擊鼓、吹笛等結合起來傳遞信息。在非洲叢林里，一些部落既用大聲呼喊通知部落成員，又用煙火告知自己所處的位置以及遭遇的情況（蘇越等1997）。因此，原始人的表意系統是多形態的，多形態性和多模態性是人類感知周圍世界與彼此交際的重要認知特征。當然，人類社會表意衍化的歷史是漫長和復雜的，同時，因為各部落或各民族地域與文化的離散性，現在很難考證語言文字產生之前人類表意形態與系統的詳細情況，包括系統內各表意形態之間可能存在的主次關系，但共性是存在的。現代傳媒學大師麥克盧漢認為，原始人的感知主要由聽覺來把握，但同時牽動著全部感覺的相互作用和相互影響，因而他們的各種感知能力大體上是平衡的（麥克盧漢2000：47）。也就是說，對原始人來說，作用于他們不同感官的不同表意形態的價值功能大致相當。

2.3 文字和表意系統的消解與重構

人類的初級表意形態契合人類認知的本性，形態本體與人的親和度高，但局限與不便也顯而易見：聲符和體語轉瞬即逝，難以復制擴散，也無法保存；圖符制作過于緩慢，無法形成正常交流要求的同步圖景流。事實上，人們曾經認識到了這些問題，因而一直試圖將表意形態系統化、抽象化，以強化其功能，像中國上古名著《禮記》就規約了一整套體態行為范式，京劇里也有生、旦、凈、丑對應的一整套表演藝術程式語言。但由于它們只能在特定語境中發揮作用，人類依然無法依賴它們進行文明升級，因而只能另謀發展。

對于文字形成的年代，并沒有準確的說法，但普遍認為圖符就是意音文字的原型。此外，世界上還有一類拼音文字。對于不同的兩類文字系統的產生，徐通鏘認為，印歐語社團的認知途徑以聽覺為主，視覺依附于聽覺，所以發展出拼音文字；漢語社團的認知途徑以視覺為主，聽覺依附于視覺，所以發展出意音文字(徐通鏘2006)。從本質上說，這兩個文字系統是殊途同歸的。文字給人類帶來的文明升級自不必說，人類原來的多形態表意系統在一定程度上消解了，從此單憑語言就基本可以有效地表意與交流，不管是直接的還是間接的，明示的還是隱含的。另一方面，正如盧梭在《論語言的起源》一書中所指出，人們原本指望文字使語言具有穩定性，但文字卻閹割了語言，以其精確性取代了表現力（盧梭2003：32）。我們在口語里可以比較自由地利用語調、重音、語氣等超切分特征傳情達意，但書寫文字卻喪失了這種功能。同時，人類對文字的認知并不符合自己的天性。譬如，圖符就更接近于客觀世界，因其結構與客觀世界的結構很相近，語言描述并不具備這種類比特征，因而也就不難解釋兒童有著喜看圖畫的天性，因為習字需要專門的引導與訓練。

3 技術多模態語境中的表意形態與系統

3.1 技術多模態語境

如上所述，人類初級階段的表意是通過非語言表意形態進行的，感知與交際具有多形態與多模態特征，但那些表意形態因其本身的限制無法滿足人類發展的需要。語言文字的發明提升了人類文明，然而人類對文字的認知卻不符合人類的天性。顯然，如果文本形式既是多形態又是多模態，則兩全其美了。隨著計算機技術的發展與廣泛應用，新的人工語境的建構成為可能。技術多模態語境里的表意形態有文字、圖像、聲響，其中的文字與書本的印刷文字同源，只是所存在的載體不同。技術多模態語境中的文字可能用屏幕文字的形態表征，有時用聲音文字的形式表征，兩種形式也可能同時出現。多模態語境里文字的聲音符號表征賦予語言原生態的魅力，一定語境中話語的語音、語調等超切分特征得到體現，而這些在書面文字形態里被吞噬、被屏蔽。此時的圖像與聲響從形式上比初級表意形態更加逼真，人與它們的親和度更高，從內容上則突破了原來本能性與直觀性的局限，可傳達某種抽象的寓意。也就是說，形－意或聲－意的關系可能是間接的了。

從語境學角度看，技術多模態語境中的語境因素呈現出視聽意義上的動態性，因為其中蘊含的表意形態是動態的。因此，可以認為技術多模態語境即為視聽意義上的動態語境。值得注意的是，技術多模態語境一般是以靜態文本為基礎構建的，即使是現場錄音錄像，也是事先有目的有計劃的，通常還要根據一定的目的和計劃進行剪輯加工。在媒體或計算機多媒體技術的作用下，靜態文本所蘊含的靜態語境轉化為動態語境（曾方本 2004）。

技術多模態語境經歷了由單形態表意發展到多形態合成表意階段。這種單形態表意是指憑借技術并訴諸于單官能的方式，如只通過聽覺和視覺，像電話、攝影、錄音、廣播等。顯然，這種單形態表意語境同時是單模態的。技術多形態合成表意指表意過程有兩種或兩種以上表意形態參與，同時訴諸于視覺、聽覺與觸角等多感官的方式，如影視、多媒體等。合成表意具備人類感知與表意的整體效果，能夠創造出各表意形態高度融合后近乎真實的語境。它的實現標志著人類思想與信息交流的歷史性飛躍，也預示著經典語言理論整體創新的內涵。如果說借助技術的單形態表意還只是彌補了文字語言功能的缺陷，增強了表意的愜意度，實現了同步、遠距離表意和實錄、保存，那么，多形態合成表意則帶來了整體仿真的語境效果。人類第一次從技術層面創造了逼真的多形態多模態語境，這在人類表意形態衍化史上是意義空前的突破。

3.2 語言的消解與多形態合成表意的回歸

多形態合成表意技術以20世紀初的影視技術拉開序幕。但由于電影與電視制作的技術與設備要求高，制作起來不但費時費力，而且需要專業技術人員，因而在制作方面無法推廣，而使之成為可能的則是以計算機為主體的數字化技術。影視與計算機多媒體在表意形態方面并無大的區別，但后者卻實現了使合成表意成為大眾化、人際化、日常化的形式。既然這樣，技術多模態語境中的合成表意系統與傳統語言學所認定的語言表意框架又有什么不同呢？首先，技術多模態語境中多形態合成表意系統的不同形態出現功能性消長。在純語言、非技術參與的語境中，為了表達的準確和避免歧義，通常要不厭其詳地調用形態資源——文字（口語或書面語），而語言的功能在技術多模態語境中被一定程度地消解了。例如：

“XXX，你看，那不是ⅹ廠長來了嗎？”

“對，咱們去找他。”

“好！”

“走！”

周傳基教授認為，在技術多模態語境中的影視畫面里，這段對話的意思其實只用三個字就夠了：“瞧，廠長！”（周傳基1991：147）。語言功能被削弱的同時，其他表意形態，如圖像，甚至語言的超切分特征的功能被提升了。這從一方面來說彌補了語言功能的缺省；另一方面，語言表意形態與非語言表意形態（圖像與聲響）的并用，二者在功能方面得到強化或互補，是技術多模態語境合成表意與單形態表意所不同的。其次，從系統論看，在傳統語言學框架里，語言是個自足的表意系統，即“雙面雙軸”（組合與聚合）的線性系統（黃華新2004：182-185），而技術多模態語境中的多形態合成表意系統是立體的、多維度的。盡管技術多模態語境里文字表意形態（字幕或語音文字）依然占重要位置，但其所蘊涵的各表意形態是開放的，它們相互依賴、相互補充、相互影響。

人類初級形態的表意語境（圖1）、日常語言表意語境（圖2）、技術多模態語境（圖3）中的表意系統分別圖示如下：

上述圖表清楚地表明幾種語境中不同表意形態的組合方式（表意系統的構成）與形態之間的關系。圖1與圖2比較，后者有了L(語言形態)的參與，使得其中非語言表意形態F1， F2， F3…（體語、聲符、圖符……）的作用被消解，它們對表意系統來說并不是必須的了。而圖3與圖2更相似，因此從某種意義上說，技術多模態語境是初級形態表意語境的“回歸”。同時， 這兩種語境里至少有兩種表意形態參與，這就是“多形態同構”的含義。當然，從歷時角度看，不同語境里相應的非語言表意形態（F1， F2， F3…）本身之間具有一定差異， 但它們同質。

4 對所引發的相關問題的思考

4.1 語言學的研究范式

技術多模態語境是技術推動下人類表意的新形式，而這對于經典語言學框架而言，是否意味著研究范式的變革呢？以Grice (1975)的會話含義理論為例。會話含義指的是話語者想要表達的一種特殊的推理（Levison1983：101），這種推理是通過話語的字面意義，結合語境推導出來的（何自然1986：93），而語境可能是語言的（上下文），也可能是非語言的（情景語境等）。然而，技術多模態語境是立體的、多維的，技術多模態語境本身就是語言語境與非語言語境的融合體。由于各種原因，由單表意形態（包括語言）表達的意義可能不完整或不準確，但其他表意形態的存在同時可為之提供補充，這也是多種表意形態同時存在的價值。因此， 從這個意義上說，會話含義在技術多模態語境里可能是自動取消的。當然，Grice在討論會話含義的特征時認為“可取消性”是會話含義的特征之一，條件是在原來的話語上附加某些話語前提。何兆熊補充認為，非語言語境也可引起會話含義的取消（何兆熊2000：161），但這就意味著必須要從顯性的語言語境切換到隱性的非語言語境。而作為語言語境與非語言語境的融合體，技術多模態語境中的合成表意系統為話語意義（包括含義）提供了更充分的解讀條件，湯書昆稱之為言－意界面的整體滑入機制，由此而會引起“言不盡意”（會話含義）現象的淡化（湯書昆1997：57）。

4.2 電子技術與外語教學

微軟公司聲稱，目前世界上已有4億用戶在使用PPT軟件。PPT同時已成為一種新語類，正如已由電影、電視分別歸納出的“電影語言”、“電視語言”或“視聽語言”一樣，它們都是技術多模態語境中多形態合成表意所催生的。PPT等新語類對語言教師與學習者提出了新要求。傳統的語言教學主要是基于印刷文本進行的，并專注于讀寫能力的培養。而如今被廣泛利用的PPT文本，不論是其構建還是使用，都有一個技術層面的問題。同時，這種語類具有其特殊的詞匯與句式方面的特點。既然這樣，在語言教學中，對于運用如此廣泛的PPT等新語類的語言特點理應引起足夠的注意。不僅如此，相關的多媒體技術應該不能是語言課堂所排斥的內容，正如Kramsch指出，電子技術的熟練程度已成為測量多元讀寫能力(multiliteracy)的一個方面（Kramsch 2000）， 外語教學不能不予以重視。

4.3 技術多模態語境的本體論及其構建

在技術多模態語境里，語言的功能被一定程度地消解了，準確地說，是技術消解了語言。技術手段與表意形態結合在一起，對表意內容倒成了強勢，從而限制和擠壓作為表意主體的人的思維空間。因此，盡管技術多模態語境往往具有驚心動魄的視覺沖擊、別開生面的新穎取材、花樣翻新的表現技術，但真正具有表意水準的課件并不多見。技術多模態語境本身的魅力常被技術所掩蓋，這種錯位導致構建觀念的偏差，出現許多花瓶式、游戲式的課件或PPT文本。因此，很有必要對技術多模態語境進行本體論的追問。技術多模態語境是技術的產物，但語境是傳遞意義的，因此，技術多模態語境的構建應該是以意義為中心而不是以技術為中心。本體論的思考對技術多模態語境的構建具有方法論的指導意義。

5 結束語

縱觀人類表意衍化的進程可以知道，表意形態經歷了由本能性、直觀性向抽象性的發展；表意系統則由原始人的多形態合成表意發展到以語言形態為主流，這種情況一直延續到現在，不管是面對面的交際還是各種形式的間接交流形式。但是，技術對人類表意的介入已越來越深入和廣泛，技術多模態語境已成為人們所熟悉與廣泛使用的一種表意語境。對語言學來說，技術多模態語境是一個新課題，具有認真研究的理論與應用價值。



參考文獻

畢繼萬. 體態語［A］. 胡文仲. 英美文化詞典［Z］. 北京: 外語教學與研究出版社， 1995.

費爾迪南·德·索緒爾. 普通語言學教程［M］. 北京: 商務印書館， 1980. 

顧曰國. 多模態多媒體學習剖析［J］. 外語電化教學， 2007(2).

何兆熊. 新編語用學概要［M］. 上海: 上海外語教育出版社， 2000.

何自然. 語用學概論［M］. 長沙: 湖南教育出版社， 1988.

黃華新. 符號學導論［M］. 鄭州: 河南人民出版社， 2004.

李佐豐. 電視專題片聲畫語言結構［M］. 北京: 北京廣播學院出版社， 1999.

馬歇爾·麥克盧漢. 理解媒介——論人的延伸［M］. 北京: 商務印書館， 2000.

讓·雅克·盧梭. 論語言的起源［M］. 上海: 上海人民出版社， 2003.

蘇 越等. 兩種符號系統的起源、本質、功能及命運［J］. 中國人民大學學報， 1997(4).

湯富華.On Language Sense Training in CET Practice［J］. 中國英語教學，1999(1).

湯書昆.技術傳播環境下的表意語言理論［M］. 北京: 中國科學技術大學出版社， 1997.

徐通鏘.漢字與認知［Z］. 第二屆現代兒童識字教育國際研討會， 2006.

曾方本.靜態語境與動態語境的轉換及其語義位移研究［J］. 四川外語學院學報， 2004(4).

周傳基. 電影、電視、廣播中的聲音［M］ .北京: 中國電影出版社， 1991.

Kramsch，C. Social Discursive Constructions of Self in L2 Learning［A］. In Lantolf， J. P.(ed.). SocialculturalTheory and Second Language Learning［C］. Oxford University Press， 2000.

Levison， S. C. Pragmatics［M］. Cambridge University Press， 1983.

收稿日期：2007-05-22【責任編輯 鄭丹】