英語學習者英漢口語產出多模態話語分析

王平平 洪雅妮

內容摘要：二語學習者的口語產出作為重要且棘手的問題一直受到學界的高度關注，但鮮有研究提及到口語產出中的多模態特征。本文運用多模態的方法，基于張德祿構建的多模態話語分析的綜合理論框架，借助ELAN5.5作為多模態視頻分析軟件，對2名研究生產出的英漢口語中涉及到的符號模態做定量標注，并對收集到的數據進行定性分析。研究顯示：（1）在語言層面上，相較于漢語口語產出，兩名被試的英語口語產出存在一些問題，表現在語速慢，停頓多;句子聲調單一，傾向于使用降調等。（2）在非語言層面，兩名被試的個體差異較大，動作特征因人而異，但存在的共同問題是目光交流偏少。

關鍵詞：多模態話語分析 口語產出 ELAN

1.引言

Vygotsky（1978）認為語言習得是將認知過程和社會活動聯系在一起的社會文化現象，是個體與外部世界不斷相互作用的結果。這一過程是間接的，需借助中介工具調節完成，這些中介工具包括物質工具（如電腦）和心理工具/符號（如語言）。除語言本身外，非語言手段（如手勢），也具有認知和交際雙重功能（McNeill，1992）。然而，人類的交際方式多種多樣，因此僅僅關注語言和手勢是不全面的。例如，本文所關注的二語學習者的口語產出就具有很強的多模態性，語調、語速、頭部移動、面部表情、眼神、手勢等都在口語產出中發揮作用。20世紀90年代興起的多模態話語分析（Multimodal Discourse Ananlysis）則可以在很大程度上克服目前二語習得研究的局限性，將對語言的研究擴展到其他表達意義的符號資源，如圖像、聲音、動作等。

2.社會文化理論與多模態話語分析

社會文化理論最基本的概念是人類的思維是有中介的（Lantolf，2000）。其核心思想是：人類高級思維功能的發展是依靠文化建構的中介工具的調節完成的，這些中介工具包括數字、地圖、手勢等。在此基礎上，McNeill（1992）提出手勢-語言辯證觀，引起國內外二語研究者對手勢研究的關注。由此可見，社會文化視角下的語言研究不僅僅局限于語言本身，也關注其他表達意義的符號資源（手勢）。研究視角由宏觀轉向微觀，但目前僅局限于手勢研究。

多模態話語分析領域的學者Scollon（1998）將語言看作社會行為，以中介活動（mediation action）為基本分析單位。在此基礎上，Norris（2004）提出高層活動（higher-level action）和低層活動（lower-level action）的概念，例如，一次晚餐是高層活動，而其中具體使用的話語、手勢、表情等屬于低層活動。多模態話語分析就是對這種現象的分析，強調話語意義不止由語言因素組成，非語言因素同樣占據舉足輕重的地位（張德祿，2009）。O'Halloran （2011）指出，在話語研究中，多模態話語分析是一種新興的范式。它不僅可以顯示出語言系統在交際過程發生的作用，而且可以呈現出圖像、手勢等其他符號系統在這個過程中所產生的的效果，從而使話語研究更加全面、更加準確，進而發現人們如何通過多模態實現交際的目的。

綜上發現，社會文化理論與多模態話語分析不謀而合，即信息交互是多模態性的，這其中包括語言及非語言行為（手勢、表情等）。但多模態話語分析更勝一籌，將除語言和手勢之外的符號模態納入考慮之中。因此，本文基于多模態話語分析的研究方法，運用ELAN5.5對2名被試的英漢口語產出視頻進行標注，考量2名被試口語產出中的多模態特征。

3.研究設計

3.1被試

被試是某外國語大學英語專業研二的2名學生，均通過專八考試，且順利通過本校研究生部組織的研究生英語綜合水平測試口試考試。2名學生均沒有海外生活經歷，學習英語時間約為15年，被試被標記為被試A和被試B。

3.2實驗材料

因此本研究采用圖片故事Frog， where are you？《青蛙你在哪里？》（Mayer，1969）作為實驗材料，全書共有25張圖片（加封面），沒有文字介紹，在故事理解上沒有難度。但是在進行實際操作中，發現由于圖片數量過多，被試在進行故事敘述的過程中會有不同程度的遺漏，因此本研究在正式實驗之前調整了實驗材料，選取其中16張（加封面）圖片組成完整的故事。

3.3研究工具

本研究以ELAN5.5作為研究工具進行定量標注，該軟件可以幫助ELAN還可以開展多種語言研究，尤其是對應用語言學研究十分有用，例如，可以對演講話語、教師課堂話語、學生口頭中介語等進行多模態分析（王立非等， 2008）。

3.4實驗過程

為避免實驗過程中相互干擾，2名被試分別進入一個安靜的房間內參與實驗。除被試外，研究者也會參與到實驗中，擔任聽話者及錄制視頻的角色。在實驗過程中，2名被試分別在規定時間內自行瀏覽完圖片故事，然后使用漢語進行故事復述。間隔四周后，同樣的實驗流程，被試再使用英語進行故事復述。研究者對復述過程進行全程錄像，最終得到4段完整視頻。

3.5標注框架

張德祿（2009）將多模態話語分為語言媒體和非語言媒體兩個層面，嘗試建立了一個多模態話語分析的綜合框架。本研究以該框架為基礎，結合二語學習者口語產出的實際情況，提煉出了一套詳細的標注框架（表1）。

4.結果與討論

4.1語言特征

表2顯示被試A在進行漢語口語產出中純語言為20句，時長約為96秒。這其中語速標記10處，主要以慢速和停頓為主，快速較少;聲音標記2處;語調較單一，多以降調為主。同樣，表3顯示被試B共產出26句，時長約為103秒，包括語速標記5處，以停頓和慢速為主;聲音標注2處，以音量提高為主;語調以降調為主，平調次之。由此可見，兩名被試的語調使用較單一（降調），語速時有減慢或停頓，有時會出現音量提高的現象。在英語口語產出中，兩名被試的語言產出時長增長。如表2所示，被試A共使用句子18句，時長為106秒。語調仍以降調為主;慢速和停頓標注10次。在表3中，被試B共使用句子22句，總時長為155秒，語調較豐富，包括降調，升調和變調;語速7處，以停頓為主。相較于漢語口語產出，英語口語中出現了語調變化特征;語速更慢，停頓次數更多;音量大小無明顯變化。

造成上述現象的原因有很多。首先本文口語產出方式為故事敘述，大多是陳述句，因此語調上更多出現降調。在英語表達中并未出現過度使用變調的現象，相反，其中一名被試語調比較單一，多為降調。其次，在英漢口語產出中都出現了語速慢且停頓的現象，且多出現在故事情境變換或推進的時候，尤其是在英語口語中更為明顯。因此本文認為在這一過程中被試既要思考故事發展、內容表達，又要兼顧單詞和語法等的準確性，加重了工作記憶的負擔，造成語速減慢，停頓的現象。最后是聲音特征，英漢口語產出都出現了音量小的特征。被試在此時往往是對自己的表達猶豫不決;而對某一些詞或句子提高音量則是想進行強調

4.2非語言特征

本研究以身體部位作為劃分單位，從上到下依次觀察被試頭部、四肢和軀干動作。頭部動作細分為頭部移動、眼神和表情;四肢動作包括手勢和腿部動作;軀干動作則主要觀察姿勢變化。在分析被試非語言特征時發現，兩人一致的特征較少，動作的差別較大。在漢語故事敘述中，被試A和被試B（表2、表3）的動作都集中在頭部和四肢。其中被試A頭部移動較多;與聽話者的眼神接觸少;表情一直保持微笑狀態，無明顯變化。四肢的動作以手部動作為主，無腿部動作，且手勢標以指示手勢、隱喻手勢為主。被試B（表2、表3）的頭部移動較少;與聽話者的眼神接觸較多;表情平靜，同樣無明顯變化。無腿部動作，手勢標注多，以圖示手勢為主;姿勢變化有6處，以身體左傾和前傾為主。相比之下，在使用英語進行故事復述時，被試A（表2）的非語言特征與漢語表達相似，但是手勢減少。同樣被試B（表3）僅有細微變化，例如眼神接觸減少。

總的來看，非語言特征的個體差異性強。被試A在進行英漢口語產出時以頭部移動為主，且習慣頭部右傾進行思考;眼神交流、手勢、姿勢偏少。被試B則是手勢產出較多，且以圖示手勢為主，頭部移動、眼神交流和姿勢特征偏少。其次，較漢語口語產出而言，兩名被試在使用英語時相應的非語言特征有不同幅度的下降且類別減少。再就單個動作來看，腿部動作和軀干動作在標注中極少出現，這是因為實驗對象坐在椅子上，可能限制了一部分動作的產出。手勢特征的差別很大，被試A手勢較少，而被試B則傾向于大量運用手勢來配合表達。此外二者存在的一個共同問題是與聽話者的目光交流少，她們傾向于不斷變換的目光接觸（如向下看、向上看、向左右看等），顯然將此次實驗當做任務來完成，而非一次交流活動。

5.結語

本文分析了兩名英語專業研究生的英漢口語產出的多模態特征，彌補社會文化理論當下研究的不足，肯定了交際的多模態性。同時發現，在語言層面上，相較于漢語口語產出，兩名被試的英語口語產出存在一些問題，表現在語速慢，停頓多;語音語調還有待完善。在非語言層面，兩名被試的個體差異較大，但存在的共同問題是目光交流偏少。本文是一個探索性的研究，選取的被試數量較少，因此后續研究需要繼續進行完善，在大樣本的基礎上對中國英語學習者的口語產出進行多模態研究。

參考文獻

[1]Lantolf， J.P. Sociocultural Theory and Second Language Learning[D]. Oxford： Oxford University Press，2000.

[2]Mayer， M.Frog， Where Are You？ New York：Dial Press.1969.

[3]McNeill， David. Hand and Mind. What Gestures Reveal about Thought [M]. Chicago： Chicago University Press， 1992.

[4]Norris， S. Analyzing Multimodal Interaction. A methodological framework[M]. New York & London： Routledge， 2004.

[5]OHalloran， K. L. Multimodal Discourse Analysis[A]. In K. Hyland and B. Paltridge（eds） Companion to Discourse[C]. London&New York： Continuum. 2011.

[6]Scollon， R. Mediated Discourse as Social Interaction[M]. London： Longman. 1998.

[7]Vygotsky， L.S.Mind in Society： the Development of Higher Psychological Processes[M]. Cambridge， MA： Harvard University Press，1978.

[8]王立非，文艷.應用語言學研究的多模態分析方法[J].外語電化教學，2008（03）：8-12.

[9]張德祿.多模態話語分析綜合理論框架探索[J].中國外語，2009，6（01）：24-30.

基金：大連外國語大學研究生創新項目“中國英語學習者英漢口語產出的多模態話語分析-對3名研究生的個案研究”（YJSCX2018-099）的研究成果。

（作者介紹：王平平，洪雅妮，大連外國語大學英語學院碩士研究生，研究方向：二語習得）