多模態(tài)微課的符號間關系與意義共建*

張青妹

（北京工業(yè)大學 實驗學院，北京 100024）

多模態(tài)微課的符號間關系與意義共建*

張青妹

（北京工業(yè)大學 實驗學院，北京 100024）

微課是一種新生事物，其作為多模態(tài)語篇意義的構建方式尚不明晰。文章首先明確了微課的多模態(tài)屬性，然后嘗試以圖文關系理論和聲畫關系理論為研究基礎，對多模態(tài)微課的符號間關系進行了梳理，并對視覺模態(tài)符號間關系、聽覺符號和視覺符號間關系分別進行了分析。文章指出，文本、圖像和聲音同為語篇制造意義的資源，它們各自有著對方所不能代替的功能，它們相輔相成、互補整合，從而達成語篇意義的共建。

微課；多模態(tài)；符號；圖文關系；聲畫關系

引言

微課是近兩年異軍突起的一種教學形式，作為教育領域的新生事物，其定義尚未固定——胡鐵生、焦建利、黎加厚等學者分別給出了各自的理解，教育部教育管理信息中心和教育部全國高校網(wǎng)絡師資培訓中心等教學管理部門也在各級比賽中給出了不同的定義。隨著各教育機構相關微課的探討及其實踐的迅速升溫，學界對微課核心內(nèi)容的理解開始逐漸集中在針對性、碎片化、視頻化、情境化四個方面。其中，針對性和碎片化是指微課的選題內(nèi)容，不屬于本文的討論范圍；而視頻化和情境化等微課的表現(xiàn)形式，則是本文要研究的范疇。

從制作方法來區(qū)分，微課包括課堂式、錄屏式和混合式等。課堂式微課在形式上相當于傳統(tǒng)的課堂教學實錄，不能完全體現(xiàn)在線學習和情境化這些典型的微課特征。錄屏式微課一般包括無需展示教師風采的講解類或演示類微課，通過文字、圖像和聲音等符號傳遞教學信息，整合了文字、圖像、聲音等不同符號的功能，可全面激活微課學習者的認知、情感等各方面資源；混合式微課則指融合了錄屏式和軟件合成等制作方法的微課，故本文主要探討的是錄屏式和混合式微課。

一 微課的多模態(tài)語篇屬性

多模態(tài)語篇是指除了文本之外，還包含圖像、聲音等的復合語篇，或是任何由一種以上的符號編碼實現(xiàn)意義的話語。在多媒體時代，圖像和聲音等逐漸上升為主流地位，并和語言文字符號一起構成多模態(tài)話語資源，共同參與信息的傳遞。

根據(jù)朱永生[1]對多模態(tài)的判斷標準，將微課歸屬為多模態(tài)話語資源主要基于以下兩點:首先，微課涉及的模態(tài)種類不止一種，即微課通常情況下含有聲音、圖像和文字等呈現(xiàn)方式，融合了聽覺模態(tài)的收聽和視覺模態(tài)的讀屏；其次，微課涉及的符號系統(tǒng)也不止一種，如微課視頻大都是多模態(tài)的，有些視頻雖然只涉及一種模態(tài)卻涵蓋了多種符號系統(tǒng)——只有圖像和文字的無聲視頻，雖只涉及視覺模態(tài)但卻涵蓋了圖像和文字兩種符號系統(tǒng)。具體來說，微課包含文字、圖像和聲音三個模態(tài)參數(shù)，按照目前的微課定義，單一的模態(tài)不構成微課，所以理論上微課共有四種:文字+聲音、文字+圖像、圖像+聲音、文字+圖像+聲音。根據(jù)曾方本[2]的研究，文字+圖像仍是目前多模態(tài)語篇研究的重點；因聲音模態(tài)是缺省的，故對聲音模態(tài)的研究較少。本文選取多模態(tài)微課中最典型的、也是模態(tài)最豐富的“文字+圖像+聲音”作為研究基點，試圖探討各種模態(tài)間的互補關系，并共同達成多模態(tài)語篇的整體意義構建。

二 模態(tài)關系的理論基礎

探討多模態(tài)意義構建過程中各種模態(tài)間的關系，必須依托多模態(tài)語篇分析理論，因為任何對多模態(tài)語篇的分析歸根到底都是意義的分析。目前對視頻語篇的分析還沒有統(tǒng)一框架，本文嘗試將多模態(tài)語篇拆分為文字、圖像、聲音三種符號系統(tǒng)。針對錄屏式微課的特點，即多個PPT畫面和聲音的整合，本文在視覺模態(tài)方面借鑒圖文關系理論來分析圖像符號和文字符號間關系，在聽覺模態(tài)方面則借鑒聲畫關系理論來分析聽覺符號和視覺符號間關系。

1 圖文關系理論

在各種語類的多模態(tài)語篇里，圖、文是兩種最主要的符號表征，它們既獨立存在又彼此關聯(lián)。學者們對多模態(tài)語篇里的圖文關系進行了解構性研究，其中最具代表性的圖文關系理論是圖文地位論[3]、圖文位置論[4]和圖文系統(tǒng)論[5]。Barthes的圖文地位論認為，在多種符號組成的復合系統(tǒng)中圖文之間有三種關系:或者是錨定、或者是說明、或者是接遞。Kress的圖文位置論比照功能語法中語言的概念功能、人際功能與組篇功能，認為圖像同時具有再現(xiàn)、互動和構圖三種功能，其中構圖關系的原則包括信息價值原則、突顯原則和分格原則。為了擺脫上述兩種理論的直觀性和經(jīng)驗性，Martin和Salway創(chuàng)立了圖文系統(tǒng)論，他們借用功能語法中的小句關系理論，從地位關系和邏輯—語義關系兩個子系統(tǒng)的組合來闡述多模態(tài)語篇的圖文關系。為了厘清理論脈絡，本文對上述三種理論的主要內(nèi)容進行了概括，如表1所示。

表1 圖文關系

2 聲畫關系理論

聲畫關系是影視藝術中關于聲音和畫面如何結合并共同作用于影視主題意義的闡述。根據(jù)黃昌林[6]的觀點，聲音和圖像在形式上表現(xiàn)為互斥、互補和整合。其中，互斥是指聲音系統(tǒng)與圖像系統(tǒng)屬于獨立的兩個系統(tǒng)，彼此之間互相對立、相互排斥、互相斗爭；互補是指電視聲音和畫面系統(tǒng)在與外部環(huán)境的物質交流過程中同時共存、互相聯(lián)系、互相補充；整合是指聲音和畫面在交流的過程中出現(xiàn)了中間環(huán)節(jié)，聲畫關系的內(nèi)在機制發(fā)揮整合的作用，最終形成了聲畫同構、交相扶持的時空復合藝術，即聲畫一體論。

根據(jù)上文相關微課核心內(nèi)容的理解，可知微課是視頻化、情境化的教學語篇，其信息載體包括文本和情境兩部分。從模態(tài)和符號系統(tǒng)的構成來看，微課與影視藝術并無本質區(qū)別。也就是說，微課所運用的語言符號和非語言符號與影視基本相同。因此，本文借鑒聲畫一體論來闡述多模態(tài)微課聽覺符號與視覺符號間關系。

三 多模態(tài)微課的符號間關系

不同的微課內(nèi)容要求微課的主模態(tài)各不相同，其余模態(tài)協(xié)調(diào)配合，共同完成意義的構建。綜合上述圖文關系理論和聲畫關系理論，本文依托首屆全國高校微課教學比賽來探討微課中各個模態(tài)符號間的關系。根據(jù)中國高校微課研究報告[7]，該賽事具有參賽規(guī)模大（全國1600多所高校上萬人參加）、學科種類廣（154個學科分類）、甄選嚴格（總獲獎率5%）等特點，因此，本文將研究范圍定位于該賽事，并且選取的都是該賽事獲獎作品中具有典型微課特征的案例。

1 視覺模態(tài)符號間關系

（1）圖文平等，相互依賴，圖文互釋

以“十句話談論天氣”為例，這是該賽事中唯一獲獎的外語類錄屏式微課，也是筆者本人的作品。在該微課的設計過程中，通過介紹十句話并配以富有表現(xiàn)力的圖片，使學習者能夠快速掌握天氣表達的常用語句。如圖1所示，“It is scorching hot today!”“今兒真是個大熱天！”是主要傳遞的教學內(nèi)容，文字成為了該微課中承載教學信息的主要模態(tài)。同時，選取的圖片因有效地闡述了該文本信息也成為凸顯模態(tài)。該微課中的圖像包括圖片和色彩兩種符號，通過視覺感知，學習者可以借助已有的感性經(jīng)驗，邊聯(lián)想邊體會圖中藍天、沙漠和墨鏡所營造的那種艷陽高照、驕陽似火、干燥炎熱的語境。需要說明的是，學習者的聯(lián)想具有一定的分散性，如相關墨鏡的聯(lián)想可能是艷陽，也有可能是神秘、盲人、隱私或黑社會等，因而需要有其它符號（如紅顏色、沙漠的背景）對其“錨定”才能實現(xiàn)設計的語篇意義。文本中的“scorching”是該微課重點推介的單詞，學習者對該單詞的認知很大程度上是通過圖片的闡釋來完成，圖像對文字的元功能意義進行了闡釋，即文字指導圖像的闡釋，圖像則有助于更好地理解文字。在該微課中，文字和圖像兩種模態(tài)共同作用，文字的象征性屬性與圖像的象似性屬性使得二者在表達語篇的意義時相互依賴、缺一不可，它們更像是兩種模態(tài)的合奏，對篇章意義的貢獻不分彼此，體現(xiàn)了圖文互釋的關系。

圖1 微課“十句話談論天氣”截圖

圖2 微課“畫法幾何與機械制圖”截圖

（2）圖文不平等，圖像〉文字，圖像增強文字

文字與圖像有時明顯呈現(xiàn)不對等的關系。錄屏式微課中，文字不僅包括內(nèi)容介紹中的文字，也包括屏幕下方動態(tài)呈現(xiàn)的字幕，它們與圖像同樣需要互相配合。字幕是視覺語言的一種，它作為動態(tài)文本與圖片同時以視覺模態(tài)表征；它以文字符號的方式傳遞著信息，是對聲音和圖像所表達內(nèi)容的強化和補充。以大賽另一個獲獎作品“畫法幾何與機械制圖”為例，該微課視頻中包含豐富的靜態(tài)圖例和動態(tài)演示。如圖2所示，圖例演示是闡述主體，靜態(tài)文字作為依附而存在；“配置圖:表達機器或部件的裝配、連接關系的圖樣”作為概念文本出現(xiàn)在屏幕上方；“球閥的工作原理”是圖例的名稱，起介紹語篇主題的作用；“將扳手順時針扳轉90度”作為字幕在屏幕下方呈現(xiàn)，可對重要信息進行提示或對關鍵的環(huán)節(jié)予以說明。在該微課中，圖文的不平等關系符合圖文位置論的“突顯原則”，即圖片占據(jù)了顯眼的位置和大部分畫面，而文字相對邊緣化、不凸顯；與圖片相比，文字的意義更加確定但卻不完整，需要配合圖片強大的闡述功能才能完成語篇的信息傳遞，可以說是圖片增強了文字，文字依賴圖片而存在。在圖像大于文字的情況下，邏輯語義上文字對圖像進行功能性的說明，圖像則是信息傳遞的主模態(tài)。

2 聽覺符號與視覺符號間關系

根據(jù)聲畫關系理論，視覺和聽覺屬于兩大獨立的系統(tǒng)。當信息傳遞以視覺和聽覺同時表征時，二者在爭奪注意力資源上彼此排斥，但互斥性并非圖像和聲音關系的本質，因此強調(diào)聲音或者強調(diào)圖像為微課的主模態(tài)都是片面的。圖像和聲音兩大系統(tǒng)關系的根本出發(fā)點應是如何配置并發(fā)揮其各自的功能，即聽覺模態(tài)和視覺模態(tài)的各個符號應根據(jù)其各自承擔的不同的信息傳遞功能來進行整合、實現(xiàn)互補，從而達到微課語篇意義的聲畫同構。

在錄屏式微課和混合式微課中，聲音作為重要的模態(tài)和包括圖像文字在內(nèi)的視覺模態(tài)一起達成意義共建。微課中的聽覺模態(tài)主要指聲音符號，具有言語與非言語的雙重特性。其中，言語性是指教師的講課畫外音，是對PPT靜態(tài)文本內(nèi)容信息的闡述。言語性表達的話語意義與錄屏時對應的PPT靜態(tài)文本的意義是一致的，承擔著靜態(tài)文字和圖片的伴隨功能，內(nèi)容為視覺模態(tài)所承載信息的重述，并與圖像和文本一起構建意義。非言語性是指微課中插入的各種聲效或音樂，其功能更多地表現(xiàn)為對意境的渲染和語境的創(chuàng)建。在微課信息傳播的過程中，圖像、文字和聲音一起組成了共時空、多渠道的信息傳播手段。

以大賽獲獎作品“心臟聽診”為例，該微課通過畫外音對教學內(nèi)容進行陳述，通過PPT靜態(tài)文本來提示教學重點信息，同時用圖例展示心臟聽診的部位，并加入心臟跳動的模擬音效來表現(xiàn)不同狀態(tài)下的心臟跳動情況——這幾種不同模態(tài)符號的共存互補和功能整合成就了該微課視頻的意義達成。一方面，微課中的人聲畫外音使得復雜抽象的醫(yī)學講述成為可能，實現(xiàn)了主要教學信息的傳遞。另一方面，微課視頻畫面承載了非語言系統(tǒng)的全部具象性符號。如伴隨著圖中心臟律動的動態(tài)展示，學習者在視覺接收心臟圖文信息的同時，聽覺系統(tǒng)也接收著心臟跳動的聲音信息刺激，這不僅強化了微課內(nèi)容的可理解性，而且實現(xiàn)了微課在假定情景下的真實性，營造出了一種可觸及的在場感，符合微課的情境化要求。根據(jù)信息加工心理學理論，微課視頻中聽覺刺激所引發(fā)的互文聯(lián)想激活了學習者原有的認知語境，此聯(lián)想通過對靜態(tài)文本所提供的語言意義進行補充、修復和強化，使學習者獲得更為豐富的感知和更為強烈的情感體驗。在該微課中，心臟跳動模擬音頻以其特有的功能特性刺激著學習者的感官，它不僅從理性層面展示著心臟跳動的科學信息，還從感性層面推動著微課語篇節(jié)奏的變化，結合教師的畫外音一起影響著微課的語篇意義發(fā)展。可以說，包括人聲畫外音和聲效在內(nèi)的聽覺符號，與圖像、文本一起構成該微課信息符號的鐵三角。

四 結束語

多模態(tài)微課是當今讀圖時代和微媒體語境下產(chǎn)生的一種視頻化學習方式，它基于現(xiàn)代教育技術，多方位訴諸于學習者的視覺和聽覺，是各模態(tài)符號間功能和意義的互動，也是各模態(tài)符號情感和理性互動的結果，更是現(xiàn)代多媒體信息技術與語言的完美結合。總之，語言模態(tài)和非語言模態(tài)都是意義的源泉，在結構和組織上都能成為意義體。

本文以圖文關系理論和聲畫關系理論為基礎，通過對典型微課案例的語料分析，探討視覺、聽覺等各種模態(tài)符號在微課語篇意義達成方面的關系。本文認為，文本、圖像和聲音同為語篇制造意義的資源，它們各自有著對方所不能代替的功能，它們相輔相成、互補整合，從而達成語篇意義的共建。鑒于微課是新生事物，從文獻來看尚未有相關微課多模態(tài)語篇的研究，因此本文的研究可視為一種嘗試，期待能為如火如荼的微課教學語篇的設計提供語言學和符號學的理據(jù)，并為視頻語篇的多模態(tài)研究帶來啟示。

[1]朱永生.多模態(tài)話語分析的理論基礎與研究方法[J].外語學刊,2007,(5):82-86.

[2]曾方本.多模態(tài)符號整合后語篇意義的嬗變與調(diào)控[J].外語教學,2009,(11):28-32.

[3]Barthes R. Image, music, text[M]. New York: Hill and Wang, 1977:15-19.

[4]Kress G T, Leeuwen V. Reading images: The grammar of visual design[M]. London: Routledge, 1996:183-185.

[5]Martin R A, Salway. A system for image text relations in new and old media[J]. Visual Communication,2005,(3):337-371.

[6]黃昌林.電視敘事聲畫一體論[J].西南民族學院學報,2001,(6):49-52.

[7]教育部全國高校網(wǎng)絡培訓中心.中國高校微課研究報告[R].北京:教育部,2014:25-32.

編輯:小米

Studies on Inter-semiotic Relations and Construction of Meaning in Micro-lecture as a Multimodal Text

ZHANG Qing-mei
(Pilot College, Beijing Institute of Technology, Beijing, China 100024)

Micro-lecture is a newly born multimodal text, and how its meaning is constructed remains unclear. This paper clarified its nature of multimodality, and presented some research on the inter-semiotic relations in micro-lecture based on image-text relation theory and sound-picture relation theory. It also focused on the inter-semiotic relations both in visual mode and visual-auditory modes. The paper shown that texts, image and sound were all the resources which played irreplaceable role in constructing the meaning of micro-lecture by complementing each other.

micro-lecture; multimodal; sign; image-text relation; sound-picture relation

G40-057

A 【論文編號】1009—8097（2015）09—0065—05

10.3969/j.issn.1009-8097.2015.09.010

本文受北京工業(yè)大學 2013年教育教學研究課題基金“微課程應用于大學英語教學的研究與實踐”（項目編號：ER2013B35）資助。

張青妹，副教授，碩士，研究方向為英語教學法、語料庫和現(xiàn)代教育技術應用，郵箱為newgloria@sina.com。

2015年3月2日