多模態互動分析視角下中國英語學習者直接抱怨行為研究

趙繼鴻

（大連外國語大學 英語學院，遼寧 大連 116044）

一、研究背景

語用能力是交際能力的重要組成部分，指交際者在具體交際情景下合適、得體使用和理解話語的能力［1］。目前，大多數相關研究僅從語言層面分析，缺乏非語言層面的考察，對語用能力這一概念的描述不夠全面。在交際過程中，語言能夠傳遞信息和表達情感，其他模態如手勢、面部表情、眼神等都可能會發揮信息傳遞的作用。近年來，語用能力的多模態研究逐漸被學者關注，如貝爾特蘭-帕蘭克斯（Beltrán-Palanques）和奎羅·朱利安（Querol-Julián）［2］、裴曉宇等［3］，但僅為初步探索，相關理論和方法并不成熟，需要進一步探討。

抱怨行為是生活中較為常見且值得研究的言語行為，是語用學研究的重要課題［4］。抱怨是指說話人對過去或正在進行的對自身不利的行為表達的不滿或煩惱［5］。根據聽話人是否對自身不當行為負責，抱怨語可分為直接抱怨語和間接抱怨語［6］。合理有效地實施抱怨可視為語用能力的體現之一，既可以達到交際目的，又可以減少對雙方關系的負面影響。近年來，國際上有個別學者從多模態視角研究學習者抱怨語產出，但研究數量較少。國內相關研究依舊聚焦于語言層面的探討，鮮少有研究從語言和非語言層面考察學習者抱怨語使用的全貌。鑒于此，本研究以抱怨行為作為主要研究對象，采用多模態互動分析法［7］79-94分析國內英語學習者直接抱怨行為的多模態特征，以期彌補二語語用研究單模態分析的不足，為二語語用多模態實證研究和二語語用教學提供參考。

二、語用能力與多模態話語分析

多模態話語分析作為一個新興領域，在國內外都處于起步階段，有很大的研究空間。而且，多模態分析用于語用學的研究更為匱乏。近些年，僅有國外少數研究用多模態話語分析方法考察學習者的語用能力，如肯頓（Kendon）［8］、貝爾特蘭-帕蘭克斯（Beltrán-Palanques）［9］15-30、貝爾特蘭-帕蘭克斯（Beltrán-Palanques）和奎羅·朱利安（Querol-Julián）［2］等。在國內，陳新仁、錢永紅探討了多模態分析法應用于語用學分析與研究中的必要性與可行性，構建出一個適用于語用闡釋的多模態分析框［10］。黃立鶴指出，運用多模態方法研究語用問題，可在研究方法上對語用學研究進行升級，從而對相關語用學理論進行拓展、修正［11］。但這些研究只停留在理論層面，至今國內多模態視角下語用學相關的實證研究剛剛起步。裴曉宇等通過角色扮演任務，對2 名中國英語學習者與2 名津巴布韋英語學習者的道歉行為進行了多模態互動分析。研究發現：4 名研究對象凝視模態強度普遍較高［3］。相比之下，中國英語學習者模態復雜度略低，但仍使用言語與非言語模態共建會話。

綜合以上研究發現，二語語用能力的研究被國內外學者廣泛關注，但更多研究局限于語言這一單一模態的思考，缺少多模態的綜合考察。近年來，多模態視角也被一些學者發掘，但僅為初步的探索。因此，本研究通過多模態的視角，利用角色扮演收集數據，考察我國高水平英語學習者在使用英語和漢語抱怨時表現出的語用能力，以期進一步探究多模態與語用研究結合的可行性，為后續相關研究提供參考。

三、研究設計

（一）研究問題

1.中國英語學習者在使用英語和漢語抱怨時各模態密度是否有差異？如果有，表現在哪些方面？2.中國英語學習者如何使用不同的模態抱怨？

（二）研究對象

本研究的研究對象為國內某外國語高校的研三學生，女，25 歲，擁有17 年英語學習經歷，通過了英語專業八級測試，無出國留學經歷，可被認定為高水平英語學習者，能夠順利進行英語交流。為進行角色扮演任務，在同校隨機選取一名研三學生，女，27 歲，擁有18 年英語學習經歷，通過了英語專業八級測試，且分數與研究對象相近，無出國留學經歷，可被認定為與研究對象二語水平相近。雙方現實關系為普通同學。

（三）研究工具

本研究使用開放式角色扮演收集數據，設定了兩個場景，場景1 交流語言為漢語，場景2 為英語。

場景1：你（抱怨者）和同學被安排為一組完成期末小組作業。你想約她出來討論，但她一直以沒有時間為由拒絕。臨近期末，她突然主動聯系你，說要一起討論期末作業。你如期到達約定地點，但是她卻沒有來，等了近40 分鐘后，你打算回圖書館繼續學習，剛要離開，她走了進來。

場景2：你（抱怨者）和同學被安排到一組完成期末小組作業。你們分工后，各自完成自己負責的部分。最終你看到這門課的成績不合格，你詢問老師后得知，是同伴所做的那份小組作業太差，導致你們的分數不及格。你找到她質問為什么做得那么差，她說忘記最后的截止日期，當天晚上匆忙趕出來的。

這些場景與大學生活有關，在后續的訪談中，研究對象表示自身經歷過或可以輕易想象出這些場景。同時，她們認為自己在實際的生活中也會表現得和角色扮演基本一致。在角色扮演中，研究對象首先進行熱身性質的角色扮演任務來熟悉任務類型。在隨后的正式任務中，研究對象被要求表現自然，盡可能和現實情景的表現一致。角色扮演無時間限制，她們自行選擇飾演的角色和決定哪一方開始談話，兩個場景的抱怨者均為同一位研究對象。當雙方認為準備好后，即可進行對話。本研究在征得研究對象同意的基礎上對她們的談話進行了錄像。

（四）數據分析

本研究根據貝爾特蘭-帕蘭克斯（Beltrán-Palanques）的編碼方案［9］125-126，對抱怨語步進行編碼劃分。其中，將抱怨過程分為三步：

抱怨前步（pre-complaint moves）：抱怨者提出抱怨話題，被抱怨者對此作出回應。

話題協商（topic negotiation）：雙方就抱怨話題施展話語功能，如責備、解釋等。

抱怨后步（pre-complaint moves）：雙方試圖修復局面。

本研究使用ELAN 軟件，對抱怨者的口語、副語言（本研究主要考察語速和音量變化）、面部表情、手勢動作、頭部動作和凝視進行標注和時間測量。模態密度可由模態強度和模態復雜度兩種形式體現。模態強度是指一種模態在互動過程中的重要性或權重。模態復雜度是指多種模態相互作用共同完成活動［12］。一種模態承載的強度越大，模態密度就越高，多個模態交織越復雜，模態密度就越高［7］79。本研究通過計算參與者在交互過程中選擇每個模式的時間（以秒為單位）來測量模態強度。

四、結果與討論

（一）多模態特征

本研究在用ELAN 軟件得出數據后，繪制成雷達圖，圖中數據以秒為單位（見圖1）。其中，模態復雜度是話語構建中使用的模態數量；模態強度體現為每個單獨軸從中心開始到外環結束所代表的時間長度；模態密度則表現為軸上各個點相連呈現出的圖形面積。

圖1 各語步中的模態密度

在抱怨前步中，抱怨者提出抱怨話題并得到對方的回應。研究對象在使用漢語抱怨時，話題展開更快，而用英語交流時展開較慢，經歷了從隱性到顯性的過程。從圖1 可以看出，抱怨者在使用英語交流時的模態密度大于用漢語交流（虛線相連呈現的面積大于實線），主要表現在模態復雜度（模態使用數量）和模態強度（模態使用的時間長度）均高于漢語，同時伴有手勢語、頭部動作和面部表情。在用兩種語言交流時，凝視都為高強度模態。

話題協商是抱怨的核心部分，恰當的談判要求抱怨者具有較高的語用能力。在話題協商階段，抱怨雙方就抱怨內容施展話語功能，如表達不滿、解釋原因等。從圖1 可以看出，研究對象在用英語協商時，模態密度比漢語高。這其中模態復雜度具有一致性，造成密度差異的原因主要是模態強度不同。在用英語實施抱怨時，研究對象各模態的強度都高于漢語，凝視、口語、手勢模態強度差異顯著。與抱怨前步一致，凝視在漢英場景中都占據較高的模態強度。

在抱怨后步中，抱怨雙方試圖修復局面。從圖1 可以看出，研究對象在用英語、漢語修復局面時的模態復雜度非常接近，主要差異依舊表現在英語交流時的各模態強度比漢語高。口語和凝視作為主要的模態在抱怨后步中構建話語，而副語言、手勢、頭部移動和面部表情則出于較低的模態強度。

綜上所述，研究對象在抱怨的過程中利用豐富的多模態資源一起構建抱怨話語，尤其在話題協商部分，抱怨者呈現出比其他語步更為豐富的模態密度。整體來說，凝視和口語作為主要的符號資源在其中發揮作用。交流語言對研究對象抱怨時呈現的模態強度影響較大，對模態復雜度影響較小。

（二）討論

研究發現，交流語言會影響學習者在各語步中的模態密度，主要體現在對模態強度的影響，即研究對象在使用英語與漢語抱怨時，各語步中的模態復雜度大致相同，而各模態強度相差較大。這可能由于交流語言不同，對語言模態造成影響，從而進一步影響其他模態的表現，如副語言和非語言模態。

本研究發現，交流語言對語言模態的影響主要表現在研究對象提出抱怨的過程在英漢場景中存在一定差異，漢語抱怨過程更直接。相比之下，研究對象在運用英語抱怨前會交代抱怨背景，給出抱怨理由，以此作為暗示，誘導聽話者主動承認錯誤或承擔責任。凝視作為高強度的模態參與抱怨行為的實施過程，這與裴曉宇等的結果相似［3］。他們的研究中發現，中國英語學習者在用英語道歉時，凝視的模態強度較高。與他們的研究相似，本文研究對象的凝視方向在傾聽及話語產出過程中大多直指聽話者，這具有關注、勸說功能。在凝視這一非言語模態與言語模態的交互關系中，關注及勸說功能體現了凝視對言語模態的強化作用，即凝視在一定程度上協助了言語模態的意義生成［13］146-147。

本研究發現，手勢語及頭部動作等非語言模態也在抱怨過程中受到語言模態的影響。研究對象的手勢差異表現為在二語中手勢的模態強度高于母語場景。作為英語學習者，研究對象在用英語表達時，會借助手勢來彌補語言上的不足。說話人也會通過節奏手勢調節英語表達時的節奏和韻律，從而保證表達的流利度［14］。研究發現，用英語抱怨時，研究對象情緒激動便會更加頻繁地使用手勢動作。這與貝爾特蘭-帕蘭克斯（Beltrán-Palanques）和奎羅-朱利安（Querol-Julián）的結果吻合［2］，反映出手勢在語言表達過程中起到了強調和表達不滿情緒的語用功能。綜上討論表明，學習者用英語實施抱怨言語行為時，會因個人情緒影響手勢的使用，同時會通過手勢彌補、輔助和強調語言表達和外化個人情感。研究對象在英語情景中的頭部移動頻率更高，模態強度也更高。這可能由于研究對象用英語交流時，有時無法清楚表達意義，從而會用頭部動作來彌補，這與哈達爾（Hadar）等人的研究結果一致［15］，他們也觀察到研究對象因語言不流暢而作出的頭部運動往往頻率和速度都更大。研究對象用英語提出抱怨內容和協商受阻時，會用表示否定的搖頭強化自己的表達，而頻繁搖頭也可能是她氣憤的外顯，這呼應了麥克拉夫（McClave）的觀點，即頭部移動會涉及人物心理意象和情緒狀態的表達［16］。

在日常交際過程中，直接抱怨語的產出具有多模態共現特征。當一種模態不足以清楚地表達交際意圖時，交際者會利用其他模態來進行強化、補充、調節、協同，達到充分表達意義，讓聽話者理解話語的目的［17］。研究對象利用語言和非語言中的多種模態完成抱怨過程，如在提出抱怨時會加快語速，提高音量，頻繁移動頭部和出現皺眉表情。在話題協商時，會用頭部動作和手勢強化或補充表達。

結語

本研究考察了1 名英語專業研究生直接抱怨語語用能力的多模態表現。研究結果表明，研究對象在用英語抱怨時各模態強度都高于漢語，這可能是因為語言模態的改變會影響非語言模態的使用。抱怨過程中，凝視和口語作為高強度的模態參與抱怨話語的構建。抱怨行為是各個模態共同作用的，即多個模態相互協作完成抱怨。同時，個別模態會對意義和情緒表達起到補充和強化作用，這在一定程度上彌補了學習者語用能力的不足。

本研究僅對1 名英語學習者進行分析，數據和結論具有一定片面性，今后的研究可增加研究對象數量，并從更多模態如音調、軀干等入手，提高研究的全面性和可信度。另外，可以嘗試從其他言語行為入手，進一步探索多模態話語分析與語用學研究結合的可行性。