理工科大學生學術英語口語非言語特征研究

臧悅　劉芹

摘要：基于自建多模態學術英語口語語料庫，運用多模態互動分析方法，對中國理工科大學生學術英語口語中的非言語特征進行研究，重點分析非言語模態結構配置、模態特征和模態協同。結果顯示：目光交流和聲調為高強度模態，與主模態為補缺關系；手勢、面部表情、身體移動和頭部活動為次要模態，其中手勢與主模態成強化關系，其他模態與主模態成交疊關系。學生在學術英語口語表達中傾向于運用目光交流和聲調變換構成非言語交際，也有意識使用手勢強化表達內容，但存在語氣平淡、表情不自然、身體僵硬、缺乏情感等情況。

關鍵詞：多模態；學術英語口語；理工科大學生；非言語特征

中圖分類號：H 311???? 文獻標志碼：A???? 文章編號：1009?895X（2023）01?0001?07

DOI：10.13256/j.cnki.jusst.sse.2023.01.001

Nonverbal Characteristics in Academic Spoken English among Chinese Science and Engineering Majors?From a Multimodal Perspective

ZANG Yue，LIU Qin

（ CollegeofForeign Languages， University ofShanghaifor Science and Technology， Shanghai 200093， China）

Abstract：Based? on? the? self-built? Multimodal? Corpus? of? Academic? Spoken? English，? nonverbal characteristics of Chinese science and engineering majors are studied by using multimodal interaction analysis method，? focusing on nonverbal modal configuration， modal? features and modal coordination. Results show that eye contact and intonation are high-intensity modes， which are complimentary to the main mode. Gesture， facial expression， body movement and head movement are secondary modes， among which gesture? strengthens the main mode and the other modes overlap with the main mode. Chinese science and engineering majors tend to form nonverbal communication through intonation and eye contact， and? consciously use? gestures to? strengthen? spoken? English? expression， but? certain? cases? of flat tone， unnatural facial expressions， rigid body movements and lack of emotion could be found.

Keywords ：multimodality； academic? spoken? English； Chinese? science? and? engineering? majors；nonverbal characteristics

當前我國“新工科”建設要求人才培養與國際接軌，亟需能夠運用英語開展學術交流和從事相關工作的專業人才。近年來，國內高校日益重視學術英語教學，聚焦于學術英語讀寫能力的研究較多，如顧鈞儀[1]、王華[2]、朱效慧等[3]，而關注學術英語口語能力的較少。王華等[4]的相關研究表明，學生認為參加學術英語口語小組活動、在班級內作學術英語口頭報告等具有很大困難。因此，有必要對高校中人數眾多的理工科大學生學術英語口語展開研究。本文以第二作者主持的國家社科基金中自建的多模態學術英語口語語料庫為研究對象，旨在厘清理工科大學生進行學術英語口語表達時的非言語特征，以期幫助他們提高學術英語口語能力。

一、多模態視角下的非言語特征

Samovar 將非言語交際定義為在特定交際環境中除了語言交際之外的，交際各方認為有信息的因素，這些因素可以是人為的，也可以是交際環境中產生的[5]。Ross 認為非言語交際行為傳達的信息占整個交際活動的65%，遠大于言語交際行為[6]。而隨著現代技術發展，多種模態共同參與了人類交際活動，如音樂、圖像、圖標等，可見非言語交際在交際活動中的重要性。繼張德祿提出多模態話語分析理論框架[7]之后，涌現出許多基于多模態理論的研究，大部分將非言語特征視為多模態理論中的一部分。例如：孫志楠提出可以將多模態理論應用于大學英語口語教學[8]；唐嘉梨利用參與者的體勢語研究了動態視頻中的模態協同[9]；孫鑫等提出多模態分析方法可以全面描述教師的言語和非言語特征，并從口語、書面語和非語言行為方面對一名英語教師90分鐘課程的教學支架進行多模態分析，發現其使用大量非言語行為來輔助言語行為[10]。然而，鮮有運用多模態理論探討特定群體或特定體裁非言語特征的研究。

二、研究設計

（一）研究問題

（1）理工科大學生學術英語口語非言語模態結構如何？各模態有什么特征？

（2）不同年級與不同性別學生在非言語模態使用方面存在什么差異？

（3）理工科大學生學術英語口語的模態協同方式如何？

（二）研究對象

本研究的研究對象為中國理工科大學生，采用的語料為多模態學術英語口語語料庫（Multimodal Corpus? of Academic? Spoken? English，? MUCASE ）。該語料來源于國家社科基金項目“中國理工科大學生學術英語泛在學習模式構建研究”（項目編號：19BYY232），包含用 Elan 6.2軟件進行多模態標注的100個學術英語口語視頻。學術口語的定義是用正式語言口頭匯報專業學習和研究的內容。這些視頻來自上海某高校的100名理工科專業學生，涵蓋機械、土木工程、電氣工程、能源動力等專業，分為兩類。第一類為一年級學生在 PPT 輔助下用學術語言進行關于小組研究的英文匯報，例如：網絡工程專業的學生匯報了區塊鏈的現狀、特點及發展前景；熱能專業的學生匯報了渦輪式噴射引擎的構造、工作原理、優點和局限性。第二類為二年級學生在沒有 PPT 輔助的情況下進行關于自身專業的英文匯報，例如：通信工程專業的學生闡述了該專業的重要性、課程內容及就業前景；電子信息專業的學生介紹了該專業的研究方向、未來前景及自身的學習感受。此100個視頻的每個視頻時長為3～6分鐘，按年級包含25個一年級學生視頻和75個二年級學生視頻，按性別包含56個男生視頻和44個女生視頻，合計時長為399分13秒。

（三）研究方法

1.語料庫標注

本文采用的標注框架是劉芹、潘鳴威結合大學生英語口語輸出特點設計的多模態英語口語語料標注體系[11]，分為言語和非言語兩大類。每個視頻在標注時分為6種模態，即聲調（intonation）、目光交流（ eye contact）、手勢（gesture）、身體移動（body movement）、面部表情（facial expression）和頭部活動（head）。在實際標注時，每種模態又進行細分。標注軟件 Elan 6.2的標注界面，能清晰展示不同的模態層級，以及不同模態下具體的模態活動，界面同時展示各具體模態發生的時間和時長等（見圖1）。

2.多模態互動分析

多模態互動分析是多模態研究的重要方法之一，其分析的對象是社會交際活動，因而具有現實意義。本研究中大學生進行的學術英語口語輸出可以對應現實情境里的交際活動，例如在班級課堂上或是國際會議上用英語介紹自己的專業或某一領域的成果等。張德祿、王正[12]提出的多模態互動分析基本框架從文化語境、情景語境、互動話語、模態和媒介五個方面分析互動活動。他們對大學英語課堂進行多模態互動分析后發現：教師在朗讀和講解時的模態資源配置為教科書和口語是主模態，因為這兩種模態缺一不可，且都為高強度模態；其他模態可有可無，為次模態。教師在教學活動時應突出一種高強度模態，避免頻繁改變模態結構配置，分散學生注意力，影響教學效果。多模態互動分析研究的重點問題之一是多種模態的特征及其它們之間的關系，這種關系由模態密度和模態資源配置來體現。模態密度能夠展現交際者交際過程中各種模態所占的比重，而模態結構配置能夠展現各種模態的重要性和關系，以及各種模態如何協作完成交際活動。本研究嘗試將多模態互動分析方法應用于中國理工科大學生的學術英語口語教學，探討其非言語特征。

3.數據統計

模態密度可以體現為模態強度和模態復雜度兩種形式。模態強度指的是一種模態在互動中的重要性或權重。本研究的模態強度表現為每種模態的時長占視頻總時長的比例。模態復雜度指活動者進行活動時使用的模態數量，模態數量越高，模態復雜度就越高。本研究提取 MUCASE 中全部學術英語口語多模態標注文件的各個具體模態時長，并作統計分析。

三、結果及討論

（一）非言語模態特點

本研究統計了6種模態各自的總時長以及所有視頻的總時長，并計算出6種模態各自占總時長的比例。結果顯示，目光交流和聲調的模態密度占比遠高于其他模態，分別為38%和37%；接下來是手勢模態，占比20%；另外3種模態中，面部表情占比3%，頭部活動和身體移動各占比1%。可以推斷，學術英語口語的非言語模態資源配置中目光交流和聲調為高強度模態，是學術口語必需的模態；其次是手勢模態；頭部活動、身體活動和面部表情對于學術口語并非必須，但參與者仍在使用。因此，本研究重點分析目光交流和聲調兩種模態。

1.目光交流

本研究中的目光交流模態分為看手稿（ look atdraft）、看向觀眾（ with? audience）、看輔助 PPT （ look at PPT ）、抬頭看（look up ）、向下看（ look down）和眨眼（blink）。統計目光交流模態中不同目光交流活動的時長占比可知：學生看向 PPT 的時間最長（占比66%）；其次是看向手稿（17%）和與觀眾目光交流（13%）；抬頭看和向下看的時間占比較小（分別為3%和1%）；沒有眨眼的情況發生。在有 PPT 輔助的情況下，學生傾向于機械地朗讀 PPT 上的文字；而沒有 PPT 輔助時，學生也會朗讀預先準備的手稿。這時他們的聲調大多是平調，因而呈現的學術英語口語語氣平淡，沒有重點，缺乏感情。而交際過程中最重要的部分，與觀眾目光交流的占比卻很小，且為數不多的目光交流時間也僅出現在開頭的問候或結尾的感謝中。筆者推測，學生由于緊張，迫切地想完成任務，害怕出現忘詞的情況，因而過于依賴 PPT 和手稿等工具，導致看向輔助工具的時長過多，忽略與觀眾的目光交流。影響學術英語口語非言語特征的因素有演講內容的難度、學生的個性與性別、外界環境等。為了解影響目光交流模態的具體原因，筆者對個別學生進行了訪談。目光交流時間過少的學生表示，除了上述原因，雖然他們能夠意識到與觀眾目光交流的重要性，但他們對自己的英語口語感到不自信，擔心演講內容不夠充實，害怕忘詞的情況出現。目光交流時間較多的學生同樣表示：目光交流對學術英語口語不可或缺，與觀眾目光交流可以提高學術英語口語的質量，幫助觀眾更好地理解內容；成績的壓力也使他們努力背誦口語內容，減少看手稿的頻率。

2.聲調

聲調作為伴語言特征，和身體特征一起起著輔助語言的作用，從而完成社會交際活動。本研究中，聲調模態分為聲調（ R ）、降調（ F ）、平調（ L ）、升降調（ RF ）和降升調（ FR ）。統計聲調模態中不同聲調的時長占比可知：使用最多的聲調模態是平調（62%）；緊接著是升降調和降升調，分別為15%和13%；占比最小的是升調和降調，分別為7%和3%。筆者發現，內容在很大程度上影響學術英語口語的聲調模態。在陳述過渡句和轉折句時，學生傾向于用升降調吸引觀眾注意并表達重點。例如“At this time we need a green environmental pro- tection， clean renewable energy to stand out.”一句，學生對時間狀語“at this time ”使用升調，試圖吸引觀眾的注意，接著對“clean renewable energy to? stand out ”使用降調，起到強調的作用，突出清潔能源的重要性，便于展開后面的論證。在陳述展示類內容，例如調研活動步驟等時，學生傾向于使用平調。而對于學術英語口語里的問句，學生有意識地對選擇疑問句使用降調，而對于一般疑問句卻忽略使用升調，比如說到“Is the charging rate of solar? charger faster than that of ordinary battery charger？”一句。筆者推測，這是由于句子字數過長，學生會忘記此句的重點，從而傾向于將每個詞都讀成平調，忽略聲調的變換。

3.其他模態的特點

手勢分為移動左手（ move left hand）、移動右手（ move? right? hand）、移動雙手 （ move both hands）、把左手放在胸前（ put left hand on the chest）、把右手放在胸前（ put right hand on the chest）、把雙手放在胸前 （ put both hands on the chest）、揮手（ wave hands）和不斷擺動雙手（constantly shake hands）。統計手勢模態中不同手勢時間占比情況可知：不斷擺動雙手的手勢時間占比最大（39%）；其次是移動右手（21%）；而移動雙手、移動左手和將雙手放于胸前的時間占比較小，分別為15%、14%和11%；其余手勢很少發生。內容也是手勢模態的影響因素之一。進一步分析視頻，發現有學生在匯報全程僅有兩次手勢，有的學生手勢頻次雖然很高，但均為無效手勢，如推眼鏡、撥頭發等，這表現出他們表達學術英語口語時的緊張和不安。也有的學生有意識地利用手勢，配合 PPT 來輔助自己的口語輸出，比如在介紹重要概念時，他們會在陳述時移動左手指向 PPT ，引導觀眾注意圖片上的內容。在遇到忘詞或單詞難讀等停頓情況時，有些學生會配上用單手在胸前劃圈的手勢幫助表達口語內容。有些學生進行學術英語口語表達時，絕大部分時間都在不斷地晃動雙手，這是一種緩解緊張的下意識行為。雖然幅度較小的晃動雙手手勢并不影響口語輸出的質量，但如果幅度較大、頻率較高則會影響口語表達效果，帶給觀眾不佳的體驗。關于其他三種模態，許多學生沒有表情或面部表情不自然，也有學生在一些引入概念的問句處皺眉，比如會通過問“What is the blockchain？”為下文新概念的引入作鋪墊。關于頭部活動，學生多在意識到自己說錯并想要更正時，會用到搖頭的頭部活動，而點頭多發生在難讀的句子的停頓處。最后，大部分學生沒有身體動作，為數不多的身體動作發生在開頭的問候和結尾的感謝部分。筆者對手勢較少的學生進行訪談，有些學生表示是由于緊張，有些學生表示沒有意識到手勢可以幫助學術英語口語表達。手勢較多的學生表示，在強調重點內容、引入重要概念時，手勢可以幫助內容的表達，使觀眾更好地理解內容，但在緊張或忘詞造成的停頓時還是存在許多下意識的無效手勢，它們可能會影響學術英語口語的整體質量。

（二）差異性分析

本研究首先計算出每位學生6種模態的模態強度，即每一模態的時長占視頻總時長的比例，再運用 SPSS 26.0對100名學生6種模態的模態強度進行描述性統計，見表1。只有目光交流模態的偏度（ skewness）和峰度（ kurtosis）在?2和+2之間，符合正態分布，數據統計方法見 Bachman[13]。因此采用獨立樣本 t 檢驗方法進行目光交流模態的年級和性別差異分析，用 Mann-Whitney U 檢驗方法進行其他5種模態的年級和性別差異分析。

1.年級差異分析

MUCASE 包含25個一年級學生視頻和75個二年級學生視頻。對比分析結果顯示，一年級和二年級學生的6種模態密度均不存在顯著差異（ p>0.050）。筆者認為原因如下： （1）雖然二年級學生比一年級學生多學習一年的英語課程，但他們的學術英語口語非言語交際能力并沒有顯著提高；（2）學生進行學術英語口語活動時，有無 PPT 的輔助對他們的非言語特征并無顯著影響。

2.性別差異分析

MUCASE 包含56個男生視頻和44個女生視頻。對比結果顯示，男女學生進行學術英語口語表達時，面部表情和目光交流模態有顯著差異（ p1=0.014， t1（98）=?2.0， p2=0.047， t2（98）=2.1），其他4種模態均不存在顯著差異（ p>0.050）。因此，本研究進一步分析男女學生面部表情和目光交流兩種模態下的具體動作。

面部表情分為微笑（ smile）和皺眉（brow）。先對面部表情下兩個具體表情的模態強度進行描述性統計，通過傾斜度和峰值可知數據呈現正態分布，因此采用獨立樣本 t 檢驗方法檢驗男女學生在具體表情的使用上是否存在顯著差異。結果顯示，在進行學術英語口語表達時，男女生微笑和皺眉的模態強度均顯示顯著差異（ p1<0.001， t1（98）=?4.9， p2=0.046， t2（98）=2.0）。描述性數據顯示，女生微笑的模態強度比男生高，而男生皺眉的模態強度比女生高。

對具體的目光交流動作模態進行描述性統計可知，與觀眾目光交流和看 PPT 這兩個動作的數據呈現正態分布，其他4種動作模態的數據不顯示正態分布，因此利用獨立樣本 t 檢驗方法檢驗這兩個動作的性別差異，用 Mann-Whitney U 檢驗方法檢驗目光交流模態其他4種動作模態的性別差異。結果顯示，男女生只有在看 PPT 這一個動作上呈現顯著差異（t（98）=?2.2， p =0.029）。且描述性數據顯示，女生看向 PPT 的時間長于男生。觀察具體視頻，發現女生傾向于借助 PPT 上的內容進行學術口語表達，而男生則傾向于借助手稿，忽略對多媒體的使用。

（三）模態協同

張德祿等將模態之間的關系分為互補關系與非互補關系[14]。互補關系中通常一種模態為基本模態，另一種起補充作用。這種補充可以是強化也可以是補缺，前者指一種或多種形式強化作為基本交際形式的模態，而后者指兩種模態缺一不可。非互補關系表示一種模態對另一種模態的表現沒有大的貢獻，但仍然作為一種模態出現。非互補關系一般表現為交疊和語境交互。交疊指兩種或多種模態同時出現，但它們之間并沒有相互強化關系。語境交互指模態與語境之間的關系，可以是消極的也可以是積極的。由于學術口語的進程由學生的口語交際進程控制，所以言語模態在研究學術口語活動模態協同時不可或缺。本研究的模態協同部分從言語模態和非言語模態入手，探討非言語模態如何與其他模態協同，結果見表2。

表2顯示，學生進行學術口語輸出時，聲調、目光交流和手勢模態與主模態的關系為互補，聲調和目光交流模態表現為補缺，手勢模態表現為強化。這是因為聲調和目光交流模態為高強度模態，對于主模態來說非常重要。聲調模態有著輔助口語、表達情感、強調重點的作用；而目光交流模態起著輔助口語、給予提示、吸引觀眾注意的作用。手勢模態為次要模態，可以輔助并組織口語活動，強調內容重點并吸引觀眾注意。頭部活動、面部表情和身體活動模態與主模態關系為非互補關系，表現為交疊關系。它們在學術英語口語中占比較小，但仍然以模態形式出現，都起著輔助口語表達的作用。

四、結論

本文基于多模態學術英語口語語料庫，運用多模態互動分析方法，探討理工科大學生學術英語口語中的非言語特征。研究發現，目光交流和聲調為高強度模態，與主模態為補缺關系。學生進行學術英語口語表達時，目光交流模態中看向 PPT 的時間占比最大，其次是看向手稿和與觀眾目光交流，抬頭看和向下看的時間占比較小。聲調模態中，使用最多的是平調，接著是升降調和降升調，升調和降調使用較少。手勢、面部表情、身體移動和頭部活動為次要模態，其中手勢與主模態成強化關系，其他模態與主模態成交疊關系。不同年級的學生在非言語特征上并不存在顯著差異。女生微笑的模態強度比男生高，而男生皺眉的模態強度比女生高，且女生更傾向于使用 PPT 進行學術英語口語表達。學生有意識地使用手勢和輔助工具，如指向PPT 這類動作等強化口語，但仍然存在面部表情不自然、身體僵硬等問題。

Morell[15]對國際會議發言進行多模態分析，發現： （1）在發言中有意識地增加模態數量并將其結合能夠提高發言的質量；（ 2）恰當利用視覺輔助工具可以彌補言語上的缺陷；（ 3）優秀的學術發言者傾向于使用交疊的多種模態傳達具體的信息。在進行學術英語口語表達時，理工科大學生應有意識地增加模態數量，例如增加手勢、身體語言模態，同時學會將手勢等模態與多媒體輔助工具結合來幫助表達口語內容。

在學術英語口語教學方面，建議教師在課堂上讓學生觀摩高質量的國際學術發言并設計相應的課堂討論，同時實施動態評估，通過不斷介入提高學生的非言語交際能力。

王華等[4認為學術英語口語能力的核心是語言知識、學術背景知識和策略能力。本研究言語模態中的學術口語部分可以對應語言知識，非言語模態可以對應策略能力中的非語言策略。因此研究結果一定程度上體現了學生的學術英語口語能力。筆者希望藉此為提高理工科大學生學術英語口語能力提供借鑒。

本文研究了理工科大學生學術英語口語的非言語特征，但樣本只涉及一所高校，代表性有限。在未來研究中，筆者將擴大語料庫庫容，在更廣泛的層面上開展研究。

參考文獻：

[1]?? 顧鈞儀.學術英語閱讀行為研究：影響因素及作用機制[J].外語電化教學， 2020（6）：92?98.

[2]?? 王華.語料庫驅動的學術英語寫作教學模式探索?以摘要寫作為例[J].外語學刊 ， 2020（1）：49?55.

[3]?? 朱效慧， 袁欣.活動理論視角下的學術英語寫作教學研究[J].外語界， 2018（1）：71?78;87.

[4]?? 王華， 金艷.學術英語口語特征描述：以中國英語能力等級量表為例[J].北京第二外國語學院學報， 2020，42（5）： 18?31.

[5]?? SAMOVAR L A. Communication between Cultures [M].Beijing： Foreign? Language? Teaching? and? Research Press， 2000.

[6]?? ROSS R S. Speech Communication： Fundamentals andPractice [M]. Englewood? Cliffs： Prentice? Hall， Inc. ，1974.

[7]?? 張德祿.多模態話語分析綜合理論框架探索[J].中國外語， 2009，6（1）：24?30.

[8]?? 孫志楠.多模態話語理論在大學英語教學中的應用[J].教育探索， 2011（8）：45?46.

[9]?? 唐嘉梨.動態多模態話語的模態協同研究?以視頻演講為例[J].湘潭大學學報（哲學社會科學版）， 2021，45（4）： 187?192.

[10]? 孫鑫 ， 王平平 ， 洪雅妮.內容語言融合型課堂中教師支架多模態研究[J].中國外語， 2021，18（1）：63?71.

[11]? 劉芹 ， 潘鳴威.理工科大學生學術英語口語多模態語料庫構建研究[J].現代教育技術， 2010，20（4）：69?72;119.

[12]? 張德祿， 王正.多模態互動分析框架探索[J].中國外語， 2016，13（2）：54?61.

[13]? BACHMAN? L? F. Statistical? Analyses? for? LanguageAssessment? [M]. Cambridge： Cambridge? UniversityPress， 2004.

[14]? 張德祿， 王璐.多模態話語模態的協同及在外語教學中的體現[J].外語學刊， 2010（2）：97?102.

[15]? MORELL?? T.?? International?? conference?? paperpresentations： A? multimodal? analysis? to? determine effectiveness[J]. English? for? Specific? Purposes， 2015，10（37）： 137?150.

（編輯：朱渭波）