多模態外語微課的人際互動意義構建探析

李倩 劉慧

[摘 要] 從多模態話語分析角度出發，在系統功能語法和視覺語法的理論基礎上，運用視頻分析軟件ELAN4.9.4對一則中國外語微課大賽一等獎獲獎作品進行了個案研究，探討目標微課教師在構建人際互動意義時調用的模態符號及符際間的協同作用，為微課教師提升微課互動性和教學效果提供了一定的借鑒和幫助，也驗證了ELAN在分析微課視頻中的應用價值。

[關 鍵 詞] 多模態話語；外語微課；人際互動

[中圖分類號] G642 [文獻標志碼] A [文章編號] 2096-0603（2018）22-0022-03

一、引言

多模態話語指運用聽覺、視覺、觸覺等多種感覺，通過語言、圖像、聲音、動作等多種手段和符號資源進行交際的現象（張德祿，2010：2）。外語微課指圍繞外語學科某一特定主題展開教學的簡短視頻（馬武林，2017：4）。根據朱永生（2007：5）提出的識別多模態話語的兩個標準，微課是一種多模態話語資源。首先，微課涉及視覺、聽覺等多種模態，學習者需要讀屏、聽音，甚至跟讀或回答、記錄內容等；其次，微課同時使用了文字、聲音、圖像等多種符號系統，而有的圖像還會涉及手勢語、面部表情和身勢語等副語言。Halliday（1994）的系統功能語法是多模態話語分析的理論基礎。他認為語言的三大元功能是概念功能、人際功能和語篇功能。Kress & Van Leeuwen（1996）將此功能應用到視覺語篇中，對應為再現功能、互動功能和構圖功能。外語微課作為多模態話語資源，可以通過每種模態和符號具有的共用特征，體現出意義潛勢，實現這兩套理論論證的三大功能。而人際互動功能作為三大元功能之一，維系著教師與學生之間的關系，營造課堂氛圍，直接影響學生的學習態度和積極性，對外語微課的教學效果發揮著至關重要的作用。

國內對微課的多模態話語分析主要集中在探索微課各種模態間的關系及視覺模態中圖文的符際間性（張青妹，2015；吳婷，2017）。還有的學者通過分析教師多模態微課意義構建意識和能力，探討通過微課發展學生的多元識讀能力（馬愛梅，2015；彭圓，2016）。但探索微課三大元功能建構的研究并不多見。微課教師不能直接與學生進行面對面交流，那是通過哪些途徑實現人際互動功能的呢？本文將探討外語微課教師實現微課人際互動意義時調用的模態符號及不同模態符號間的配合，以期對外語微課教學有所啟示。

二、理論基礎

（一）語言系統中的人際功能

在系統功能語法（Halliday，1994）中，語言的人際功能是講話者作為參與者的“意義潛勢”，是語言的參與功能。講話者使自己參與到某一情景語境中，來表達他的態度和推斷，并試圖影響別人的態度和行為（胡壯麟等，2017）。語言的人際功能可以從兩方面來考查，即互動和態度?！盎庸δ堋敝概c會話雙方互動有關的語言功能，在語法結構上可由陳述語氣、疑問語氣和祈使語氣等實現；態度方面的功能指對話雙方對話語的態度和評價，由情態系統來實現。情態系統值可分為高、中、低三級。（見下表）

另外，人際功能還可以通過語調、稱呼語、人稱代詞以及可以表達說話者態度的動詞、名詞、形容詞和副詞等具體詞匯來體現。

（二）視覺語法中的互動功能

在視覺語法（Kress & Van Leeuwen，1996）中，與人際功能相對應的是互動功能，形成觀看者和圖像中的世界之間特定的關系。在實現這種互動意義時，有四個要素：接觸、距離、視點和情態。“接觸”指圖像參與者通過目光的指向與觀看者之間建立起來的一種想象中的接觸關系。直接看著觀看者即接觸，是“索取”類圖像，表明索取信息或服務。如果參與者不是有生命的人或動物，或目光不指向觀看者時，就沒有接觸，被稱為“提供”類圖像，表達提供信息或服務的意義。圖像通過“距離”，即鏡頭取景的框架尺寸來反映親疏關系。以下是一些距離尺寸，親近距離：只看得見臉或頭；個人近距離：頭和肩部；個人遠距離：腰部以上；社會近距離：整個人；社會遠距離：整個人且周圍有空間環繞；公共距離：至少四到五個人的軀干?！耙朁c”象征著權勢。從垂直角度看，仰視表明圖像參與者有權勢，俯視表明觀看者有權勢，平視表明二者平等；從水平角度看，正面是情感上的介入，而側面是二者的疏遠?！扒閼B”指的是“某種圖畫表達手段”使用的程度，可以從色彩飽和度、區分度、調協度等八個視覺標記反映其高低值。在微課這一語域中，情態可通過視頻、文字或圖像中的圖片、高亮、符號等來表現高低值。

視覺圖像還可以通過手勢表現互動意義，Norris（2004）認為可供選擇的意義潛勢有具象性、意象性、指示性和節拍性。具象性手勢表達言語中某個具體詞或行為的語義；意象性手勢表征抽象概念，標示出隱喻源域的手勢，如“手指指向前方”隱喻為“未來”等；指示性手勢是一種指向某一空間位置的手勢，如用手指指向黑板等；節拍性手勢指簡單的重復性節奏動作，意在對某詞或詞語進行強調。

根據以上語言模態和視覺模態中體現人際互動意義的特征，可以把各種符號分成31層標注、統計和分析。

三、研究設計

（一）研究對象

研究語料為第三屆中國外語微課大賽獲獎作品展中一等獎作品《英文轉述》，時長6分4秒。教學目標為明確英文轉述概念，并讓學生通過三個簡單明了的步驟進行轉述。教學過程包括引入概念、講解基本方法、找出例句關鍵詞、講解具體轉述方法、復習、強調注意部分等六個步驟。視頻中有教師出鏡、人物動畫、PPT講解等，涉及語言模態和視覺模態，在實現人際互動功能方面具有典型性和示范性。

（二）研究問題

研究問題包括：微課教師主要借助哪些模態符號構建人際互動意義，語言模態和視覺模態的各符號是如何協同配合構建人際互動意義的。

（三）研究工具

研究工具采用多模態視頻分析軟件ELAN4.9.4，可以對集語言、聲音、動作、圖像于一身的視頻作同步標注，并且可以自動檢索和統計。在安裝、注冊、激活并運行ELAN軟件后，選擇文件—新建或打開所要分析的視頻。接著選擇類型—添加新的語言學類型，本文根據研究需要添加了語言系統和視覺系統。然后選擇層—添加新層，本文添加了31層，定義了其語言學類型及輸入法。以上類型和層在視頻標注階段也可添加、修改、刪除等。視頻標注階段，光標定位在開始標注的位置，點鼠標左鍵并拖動即可選定標注范圍，在對應層點鼠標右鍵新建標注?？梢岳媒缑嬷虚g的工具欄精確標注范圍，回退或往前一秒、一幀甚至一像素，也可點擊播放選段，重復播放所選的標注范圍。而標注內容也可以修改、刪除、與前后合并等。標注完成后，點擊查看—標注統計即可保存各項統計參數。

四、結果和討論

（一）外語微課的人際互動意義構建各模態符號分析

目標微課中總計有117句話，其中陳述語句61句，標注時長占60.416%；疑問語氣28句，占10.739%；祈使語氣28句，占24.523%。教師課堂話語的語氣能夠直接反映師生互動的效果。結果表明，本微課陳述語氣居多，以提供信息為主。但是為了構建人際意義，教師在陳述句后使用了不少如“OK？”“Right？”“Ready？”“What do you think？”等疑問語氣來獲取反饋，引導學生思考，喚起學生注意，加強師生互動。此外，教師使用了如“Lets…”開頭的祈使語氣發出活動指令，降低命令語氣，號召學生參與的同時，也使師生關系更加輕松融洽，有助于人際意義的構建。

在態度方面，高情態值系統使用14處，占標注時長的13.065%，中情態值8處，占8.297%，低情態值20處，占20.359%。教學中，中低情態值話語更委婉，更有利于構建平等的師生關系。結果表明，目標微課教師在構建情態系統時，為了構建人際意義，更多使用“would， should，be to， can，could”等中低情態動詞給出自己的推測、意見和建議，表明教師努力弱化自己的主導地位，讓學生感到被尊重，營造一種平等、和諧的微課氛圍。

在語調上，主要使用升調，占標記時長61.315%，而降調占34.237%。目標微課教師雖然使用陳述語氣居多，但經常使用升調來調動課堂氣氛，如開頭的“Hello， everyone.”“Welcome to todays lesson”等皆使用升調營造輕松活潑的課堂氛圍，拉近與學生的距離。此外，教師在較長的陳述句中停頓時也使用升調，一方面表明句子尚未陳述完整，另一方面引起學生對采用升調的詞或升調后的語義群信息的重視。

在人稱上，第一人稱33處，第二人稱26處，第三人稱17處。目標微課中，教師使用第一人稱最多，以“we”和“us”為主，表明教師在組織課堂活動時與學生一體的整體觀念，拉近了與學生的距離。I做主語的句子多為教師發表個人觀點，如“I think…”“I know…”。教師使用第二人稱的場合多為提問：“Can you…”“Do you…”，推測學生思路如“when you…”“you want…”，或給學生提建議如“you can…”“you are gonna…”等。第二人稱的使用在微課語境下使教師能盡可能與學生互動，讓學生有參與感，從而實現人際意義。

在目光接觸方面，圖像參與者與觀看者目光接觸時長長達59.69%，無目光接觸時長為37.142%。目標微課教師自己出鏡或者利用類似自己形象的動畫人物出鏡，以此與學生進行目光接觸，屬于典型的“索取”類圖像。教師雖然不能看到學生，但希望能借此與學生交流，索取關注與反饋，構建互動意義。

在距離上，教師未選擇親近距離或社會距離，以個人距離（39.171%）和公共距離（23.972%）交替出現。教師的這種設計表明與學生不是親密的私人關系，也不是疏遠的社會關系。教師出鏡時，學生可以看到教師腰部以上，屬于個人距離，可見教師希望與學生之間保持較近的互動關系。代表教師的動畫人物出現時，雖然是公共距離，但教師是為了留更多空間突出授課重點。相比單純的PPT頁面，動畫人物的出現通過其他要素構建出互動意義。

在視點方面，從垂直角度看，沒有俯視視角出現，而平視標記23次，占62.443%，只有一次仰視，占0.688%。這表明教師與學生的互動關系是平等的。從水平角度分析，正面出現27次，占58.587%，側面出現5次，占4.513%。正面視角為主也表明教師與學生平等的互動關系，是面對面交流，有教師對學生情感上的介入。

在情態方面，教師片頭使用非常簡短的視頻進入微課，而后主要通過文字的高亮、放大、加粗等凸顯教學重點，占58.843%；配以圖片15.795%和一些符號、形狀29.637%，及動態圖5.204%。教師使用高情態值的文字、圖片、符號等使畫面顏色豐富多彩卻不雜亂，色彩搭配協調，深淺有致，不僅有助于學生快速把握視覺重點，幫助學生理清知識框架和邏輯思路，而且避免繁冗和視覺疲勞，從而實現可靠、有效的互動意義。

在手勢方面，節拍性手勢37次，占標記時長24.882%，指示性手勢22次，占標記時長16.854%，意象性手勢15次，占標記時長6.347%；具象性手勢11次，占8.614%。結果顯示，節拍性手勢是教師最常用的，一般出現在句子實詞處，如“same”，“different”，“read”等，這種簡單重復有節奏的手勢搭配語感，能引導學生區分語義群，關注句子重點。教師使用指示性手勢指向黑板或PPT頁面，將學生的關注點引向知識點。通過意象性手勢，教師表征地出一些抽象概念，如伸手指向前方意為“go beyond”，伸出食指拖走或引進內容等，也可輔助學生理解教師語言；具象性手勢使用較少，如搖手表示“dont”，記筆記表示“recap”等，幫助學生理解詞匯含義并加深記憶。各種手勢的運用加強了師生間交互，完善了互動意義的構建。

（二）外語微課人際互動意義構建模態間符際配合分析

目標微課主要使用了語言系統和視覺系統的各符號進行講解，涉及聽覺模態和視覺模態。聽覺模態主要是教師講解，視覺模態包括圖像和文本。

整個微課視頻中，教師主要使用四種畫面：教師本人形象和教室背景作為圖像加文本，教師動畫形象和PPT背景作為圖像加文本，黑板作為圖像加文本，人物照片作為圖像加文本。四種畫面中，字幕文本、空間距離、目光接觸、動作手勢等多種符號協同配合，產生和構建最佳的人際互動意義。表2以一個片段為例說明教師是如何協同利用多種模態符號構建人際互動意義的。

示例中，教師以語言系統為主，先使用陳述語氣傳達知識。陳述中開頭的“The meaning”配以動畫人物的側面指示性手勢，將學生的關注點引向PPT上的文字，“meaning”一詞加粗標藍，表明是句子重點。接著采用should這一中情態值的情態動詞使話語更委婉，弱化自己的主導地位，使學生處于平等和諧的課堂氛圍中。而此刻人物轉為正面，代表教師與學生進行面對面交流，目光接觸使學生感受到教師在向他們索取關注與反饋，鼓勵學生積極思考。在講到“the same”時，教師使用升調，表明句子尚未陳述完，但已完成一個語義，暗示學生繼續聽。畫面上“meaning”一詞上方出現綠底高亮的單詞“same”，表明英文轉述重點是意義相同，同時教師抬起雙手向右側做出節拍性手勢，也配合強調“same”一詞。在講到“different”時，畫面上“words”一詞上方同樣出現綠底高亮的詞，為“different”，與前面作出對比，表明英文轉述的另一重點是單詞不同，同時教師向左側作出節拍性手勢配合強調“different”，與前半句作出對比。陳述完后教師使用疑問語氣“OK？”確認學生注意到本句重點，并尋求認同與反饋，好像在做面對面交流。整個過程人物動畫處于畫面左側，與學生為公共距離，在起到互動交流作用的同時，主要引導學生將關注點放在PPT文本上。這段示例表明，在微課教學中，語言系統各符號和視覺系統各符號既可獨立實現人際功能，傳達和增強互動意義，也可互補接力，不同符號實現不同的功能。多種模態符號協同作用，有助于構建更加完善有效的人際互動意義。

五、結束語

外語微課視頻作為一種多模態話語資源，通過多種模態和符號系統生成和構建三大功能。在實現人際互動意義時，教師充分利用各種符號系統特點以取得良好的互動效果，如調用語言系統中的疑問語氣和祈使語氣、中低情態值情態系統、升調、第一人稱和第二人稱；調用視覺系統中的目光接觸、個人距離、正面平視、各種手勢、高情態文字、符號和圖片等。聽覺模態和視覺模態既獨立構建意義，也相互依賴配合，協同構建有效的人際互動功能。文章從實踐上分析了構建三大功能意義時調用多模態符號系統的可行性，對提升人際互動效果和教學效果具有啟發意義。還借助ELAN視頻分析軟件使多模態話語分析更加客觀便利，驗證了其在微課研究中的應用價值。

參考文獻：

[1]張德祿，王璐.多模態話語模態的協同及在外語教學中的體現[J].外語學刊，2010（2）：97-102.

[2]馬武林，何靜靜.優秀外語微課特征分析：以中國外語微課大賽一等獎作品為例[J].外語電化教學，2017（4）：22-26.

[3]朱永生.多模態話語分析的理論基礎與研究方法[J].外語學刊，2007（5）：82-86.

[4]Halliday， M.A.K. An Introduction to Functional Grammar [M]. London： Arnold，1994.

[5]Kress.G.R， T. van Leeuwen. Reading Images： The Grammar of Visual Design [M]. London： Routledge， 1996.

[6]張青妹.多模態微課的符號間關系與意義共建[J].現代教育技術，2015（9）：65-69.

[7]吳婷.外語微課的多模態話語符際間性研究：以兩則微課大賽視頻為例[J].外語教學理論與實踐，2017（1）：72-77.

[8]馬愛梅.多模態話語分析下大學英語微課教學的實踐探索[J].湖南科技學院學報，2015（12）：188-191.

[9]彭圓.外語教師多元識讀教學能力初探：以外語微課教學為例[J].外國語言文學，2016（3）：200-207.

[10]胡壯麟，朱永生，張德祿，等.系統功能語言學概論（第三版）[M].北京：北京大學出版社，2017.

[11]Norris.S.Analyzing Multimodal Interaction： A Methodolog-ical Framework [M]. London： Routledge，2004.