多模態語料庫建設與外語教學
——現狀與前瞻

梁燕玲

(山東大學威海校區 翻譯學院， 山東 威海 264209)

●教學改革與實踐研究

多模態語料庫建設與外語教學
——現狀與前瞻

梁燕玲

(山東大學威海校區 翻譯學院， 山東 威海 264209)

多模態語料庫建設始于20世紀末，它在外語教學中的應用具有極大的研究價值。多模態語料庫研究現已成為一個新的研究領域。我國多模態語料庫外語教學研究起步比西方晚，理論探討不夠深入，現有的多模態語料庫數量少，建庫難度大，且應用范圍過于狹窄。因此，有必要深入探討多模態語料庫外語教學理論，建設大中型語料庫，引介與開發相關軟件以及擴寬研究對象與范圍。

多模態語料庫； 外語教學； 現狀； 前瞻

一、引言

20世紀末，國內一些學者[1]、[2]開始關注語料庫在英語教學中的應用研究，包括詞匯教學、語法教學、翻譯教學、教學模式改革等。這些都是基于文本語料的傳統語料庫，但如今外語教學已進入多媒體時代，傳統語料庫已無法滿足外語教學的需要。于是，多模態語料庫應運而生。

多模態語料庫被譽為“語料庫在外語教學中最具發展潛力的領域”[3]，在我國正方興未艾，吸引了不少外語界學者的研究興趣[4]、[5]。筆者嘗試梳理多模態語料庫的發展歷程，分析多模態語料庫在外語教學中的應用，并根據其現狀提出未來發展方向。

二、多模態語料庫的發展歷程

目前學界對多模態語料庫還缺乏一個統一的定義。張霄軍[6]對多模態語料庫的定義是：“建立在‘言語理論’基礎之上的，以言語活動為研究對象，以從原始數據中抽取信息和知識為手段，以語境模型為驅動的囊括整個言語活動的語言、聲音、圖像和動作的多媒體語料庫。“顧曰國[4]認為多模態語料庫是指“把文字語料、音頻語料和靜、動態圖像語料進行集成處理，用戶可以通過多模態方式進行檢索、統計等操作的語料庫。”

多模態語料庫是語料庫經由文本語料庫、口語語料庫發展到目前的新型語料庫，具有可實現語境化、音頻和視頻內容存儲豐富、語料可信度高、語料來源容易確認等優點，但也有語料內容轉寫與標注麻煩，處理起來比較困難等缺點[6]。歐洲多個國家開展了較大規模的多模態語料庫建設與相關研究(如MATE, NITE, ISLE和AMI等)，其中關于概念、標準及工具等方面的問題，成為學者們的重要議題[7]。國內多模態語料庫研究除了應用在外語教學，還集中于語言研究[4]、多模態語料庫建設[8]和語篇分析[9]。

多模態語料庫在許多語料庫國際會議上都成為焦點，如2014年“首屆中英語料庫語言學論壇“暨“首屆中英語料庫語言學研討會”上，顧曰國深入系統地介紹了多模態語料庫的語言學和語言哲學理念、設計原則、制作流程、分析維度與方法等。多模態語料庫代表著語料庫語言學未來發展的一種重要方向。2015年“第2屆中英語料庫語言學論壇”主題之一是多模態語料庫研究；2015年“第2屆中英語料庫語言學講習班”上，顧曰國通過工作坊的形式，對多模態語料庫語言學的最新理論與數字化技術進行了深入淺出的介紹。

三、我國多模態語料庫外語教學研究現狀

多模態語料庫應用于外語教學起步于2000年。意大利系統功能語言學和多模態話語分析專家Anthony Baldry和其他學者共同研發了多媒體信息檢索工具——“多模態語料庫標注系統”(Multimodal Corpus Authoring System，簡稱MCA)，現已應用于多所高校外語電化教學中。2008年歐洲多國合作建成的SACODEYL多模態教學語料庫，是世界上首個將數據驅動學習付諸實踐的多語種多模態語料庫。

在我國，多模態語料庫應用于外語教學的文獻最早可以追溯到2010年[10]。筆者以“多模態語料庫”為主題詞、關鍵詞和摘要檢索詞，在CNKI中進行檢索，共檢索到與外語教學有關的文獻11篇，時間覆蓋2010年至2015年7月。6年時間共11篇文獻，僅從數字可以看出，多模態語料庫外語教學研究是一個尚待開墾的領域，具有很大的研究空間。

按照研究內容，本文將多模態語料庫外語教學研究分為理論探討和實證研究兩類，將理論探討細分為文獻綜述、教學模式和語篇分析模型三類，實證研究細分為檢索工具、語料庫建設、口語教學以及多模態隱喻能力四類。統計如表1：

表1 多模態語料庫外語教學研究內容分類統計結果

從統計數據來看，多模態語料庫外語教學研究文獻共11篇，關于理論探討的文獻共4篇，其余7篇為實證研究，說明國內多模態語料庫外語教學研究剛剛起步，理論研究不足，在不斷發展的實證研究中補充理論。

(一)理論探討

多模態語料庫外語教學的理論探討主要包括文獻綜述、教學模式和語篇分析模型探討。

1、文獻綜述

黃立鶴[11]對現場即席話語多模態語料庫的語料采集、轉寫、切分、標注以及建庫等若干共性問題進行探討，分析尚存問題，展望基于多模態語料庫開展的相關研究。劉娟[12]綜述了多模態話語理論在中國的研究，包括模態本身的研究、模態間的研究、多模態語料庫軟件開發以及多模態在教育中的作用，并發現研究中的優勢與不足，為未來的研究提供指導。

2、教學模式

2010年12月“首屆全國外語教師教育與發展專題研討會”上，顧曰國以他的團隊建設的多模態語料庫為例，做了題為“Classroom teaching and teacher development-A chess master model”的主旨發言。該語料庫從文字、圖像、音頻、視頻等多個維度綜合而真實地記錄語言課堂中教師、學生的行為及其情境，還原人際互動的全貌。顧教授用自己教學的片段展示了用語料庫方法對語言課堂的多模態信息進行標注和量化分析可以使教學研究和反思更系統、客觀和有效[13]。

3、語篇分析模型

李學寧和李向明[14]從理論上深入研究John. A. Bateman于2008年提出的“文類與多模態模型”(Genre and Multimodality Model，簡稱GeM模型)及其組成部分的工作原理，并提出GeM模型能夠在大數據檢索、外語教學、設計等其他領域得到進一步應用。

無論是文獻綜述、教學模式還是語篇分析模型的探討，對于外語教學領域來說都是非常有益的嘗試，具有廣泛的應用價值。但目前的理論研究遠遠不夠。由于多模態語料庫相對于傳統文本語料庫而言，創建難度更大，相關的理論問題亟需解決。如何結合中國信息技術與媒體技術發展特征，構建本土多模態語料庫外語教學理論，也是需要重視的一個方面。

(二)實證研究

多模態語料庫外語教學的實證研究包括以下四方面：

1、檢索工具

李學寧和馬利霞10介紹了一種能夠對多模態語料庫中的影視語篇進行檢索的多媒體信息檢索工具——多模態語料庫標注系統(MCA)，及兩種基本的標注方法和系列的標注工具，并通過實證研究證明MCA有助于改進詞匯和句法教學。最后指出MCA的開發和應用代表了系統功能語言學與多模態話語分析研究的一種新動態，即把語言學理論與計算機技術有機結合起來，不僅有助于開發與功能主義語言學研究相一致的語篇分析工具或檢索工具，又能反思原有的語言學理論框架，形成新的理論和方法。但作者并未證明MCA對聽力教學、口語教學等領域的作用。

2、語料庫建設

張振虹等[15]首先剖析多模態語料庫的理論基礎和現實意義，繼而綜述國內外的語料庫、尤其是多模態語料庫的建設和語言教學應用研究現狀，在此基礎上選取了總長約為100小時的英語視頻和音頻材料，基于Elan技術構建大學公共英語多模態語料庫，最后從詞匯教學、聽說教學和閱讀教學三方面，初步探索多模態語料庫的應用模式。

3、口語教學

劉芹和潘鳴威[16]基于口頭交際和多模態話語分析理論，從語音、詞匯、句法、篇章、非言語交際等多個標注維度構建我國理工科大學生英語口語多模態語料庫，最后列舉了一項對英語口語交流過程中目光交流的研究。理工科大學生英語口語多模態語料庫建成后，將可深入進行一系列的研究。如不同院校和不同水平學生在這些方面相似和不同之處；將該語料庫與國內其他口語語料庫(如COLSEC、SECCL和SECOPETS)作對比研究，提煉該類學生區別于其他中國英語學習者的英語口語特征。將這些特征與本族語口語語料庫相似部分進行對比研究，以發現問題癥結所在。上述研究結果最終可以用于該類大學生的英語口語教學，為編寫口語教學資料、優化教學和評價方法提供有價值的反饋信息，為我國理工科大學生英語口語教學和研究提供幫助。但該口語多模態語料庫是中型的語料庫，庫量有限，仍需拓展。

4、多模態隱喻能力

鐘元[17]以奧巴馬兩次就職演說及四篇國會演講為語料庫來源，以多模態視頻分析軟件ELAN 4.6.2為數據收集和分析工具，自建了多模態隱喻語料庫，分析奧巴馬政治演講中手勢語的隱喻性，也對中國未來的語言教學提供相關啟示：教師不僅要注重學生言語隱喻能力的提高，而且要將學生的多模態隱喻能力作為評判學生隱喻能力高低的指標之一。

多模態語料庫建設方法與檢索工具、轉寫標注軟件的介紹，吸引了大量學者的研究興趣，為基于多模態語料庫的外語教學實驗提供了硬件支持。但由于存在語料內容轉寫與標注麻煩等困難，多模態語料庫構建還是讓很多人望而卻步。多模態語料庫在詞匯教學、口語教學上的應用初步證明了其可行性，但仍需更深入的實證研究加以完善，需要全面拓展基于多模態語料庫的聽說讀寫譯教學，這給外語研究者帶來了極大的挑戰。

四、我國多模態語料庫外語教學研究前瞻

多模態語料庫信息儲存量大，圖文音像等多媒體多模態結合，檢索快捷準確方便，學生通過語料庫中的多模態視頻和文本展示、索引工具提供的語境共現、專門的教學標注、豐富的教學活動以及資源和網絡互動的有機結合，在新型的語言學習環境中構建自己語言知識的工具和資源，自行探索語言，完成學習任務。國內的多模態語料庫建設還處于起步階段，現有的多模態語料庫有顧曰國建立的現場即席話語多模態語料庫，以及劉芹和潘鳴威建立的多模態口語語料庫。多模態語料庫在外語教學中的應用是我國外語教學的熱點之一，但在深度與廣度上都有極大的研究空間，未來的發展趨勢可以概括為以下三方面：

(一)深入探討多模態語料庫外語教學理論

國外多模態語料庫應用于外語教學領域較早，語料庫分析技術也相對較成熟。一方面，國內學者應掌握多模態語料庫語言學的基本原則、理論和方法，以指導具體應用性研究的開展。另一方面應借鑒國外教學理論，同時結合中國媒體技術現狀，構建本土多模態語料庫外語教學理論。

(二)建設大中型語料庫，引介與開發相關軟件

現有的多模態語料庫庫量小，多為某一領域的小型語料庫，在研制更多的小型專用語料庫同時應發展大中型通用語料庫。除了引進國外現成的多模態語料庫，還要在吸收國外建設經驗的基礎上，建設和開發有地方特色的多模態語料庫，同時注意加強語料庫建設的設計和規劃、語料的采集及加工、語料庫管理系統建設的規范化，促進語料庫資源的共建共享，提高使用效率，避免重復建設帶來的資源浪費。

另外，國外多模態語料庫轉寫、標注和檢索軟件相對比較成熟，需大力引介。但國外常用語料庫工具存在不能處理中文的缺憾，國內學者應結合中國國情與外語學習者實際，根據研究需要自主開發相關軟件，使多模態語料庫外語教學研究更客觀全面。

(三)擴寬研究對象與范圍

在處理多模態語料庫外語教學的語料過程中，應更多關注文本以外的非語言因素，從詞匯、句法、篇章、非言語交際、伴語言特征(如音響度、聲調、語調、語速等)、身體特征(手勢、表情、動作)及非身體特征(周圍環境)等多個標注維度綜合分析。多模態語料庫可以在外語聽說讀寫譯教學中應用，并且在某一個領域的研究應深入下去，如在英語口語方面還可繼續深入研究學生在言語(語音、詞匯、句子和語篇)和非言語(體勢語)各個維度的特征。目前多模態語料庫應用于外語教學的對象均是高校大學生，還可用于小學、初高中的學生，內容可拓展到多模態教材設計、教師培訓、網絡課件開發、大綱設置、教學模式與教學評價方法、教材評估、練習設計改革等領域。

五、結語

多模態語料庫在多元語境中反映語言在語音、語義和語用等方面的全貌，學生能更直接地體驗語言使用的多模態語境，有利于建設“以學生為主，以教師為輔”的新型教學模式，對外語教學改革具有重大意義。多模態語料庫在我國應用于外語教學仍是有待深入研究的領域。今后應深入探討多模態語料庫外語教學理論，建設大中型語料庫，引介與開發相關軟件，拓展研究對象與范圍，讓多模態語料庫更好地服務于外語教學。

[1]李文中. 語料庫、學習者語料庫與外語教學[J]. 外語界,1999(1):51—55.

[2]何安平. 語料庫與外語教學[J]. 國外外語教學, 2001(3):15-19.

[3]潘璠. 基于語料庫的語言研究與教學應用[M]. 北京: 中國社會科學出版社,2012.

[4]顧曰國. 論言思情貌整一原則與鮮活話語研究: 多模態語料庫語言學方法[J]. 當代修辭學, 2013(6):1—19.

[5]陳曦, 孫靜波, 聞燕. 基于多模態語料庫的大學英語互動式教學的研究[J]. 海外英語,2015(7):40—43.

[6]張霄軍. 多模態語料庫:搶救瀕危語言的有效途徑[C]//民族語言文字信息技術研究——第十一屆全國民族語言文字信息學術研討會論文集. 北京: 中國中文信息學會, 2007：35—41.

[7]Bernsen, N. O. & L. Dybkjr. Annotation schemes for verbal and non-verbal communication: some general issues[C]//In A. Esposito et al. (eds), Verbal and Nonverbal Communication Behaviours. Berlin, Heidelberg: Springer-Verlag Berlin Heidelberg,2007：11—22.

[8]黃立鶴, 何繼紅. 從《Routledge多模態分析手冊》看多模態語言研究[J]. 語言教育, 2013,1(1):92—96.

[9]馬利霞. 多模態話語分析的發展: Baldry的影視語篇多模態語料庫研究方法[D]. 江南大學,2012.

[10]李學寧, 馬利霞. MCA檢索方法及其在外語電化教學中的應用[J]. 現代教育技術,2010,20(11):83—87.

[11]黃立鶴. 語料庫4.0：多模態語料庫建設及其應用[J]. 解放軍外國語學院學報,2015,38(3):1—7.

[12]劉娟. 多模態話語理論在中國的研究綜述[J]. 遼寧工程技術大學學報(社會科學版), 2015,17(2):209—213.

[13]陳霄, 何安平. 教育信息技術、語料庫與外語教師專業發展:首屆全國外語教師教育與發展專題學術研討會綜述[J]. 嘉應學院學報(哲學社會科學),2011,29(6):71—74.

[14]李學寧, 李向明. 多模態語篇分析新進展:GeM模型及其應用評述[J]. 現代教育技術, 2014,24(6):58—63.

[15]張振虹, 何美, 韓智. 大學公共英語多模態語料庫的構建與應用[J]. 山東外語教學, 2014(3):50—55.

[16]劉芹, 潘鳴威. 理工科大學生英語口語多模態語料庫構建研究[J]. 現代教育技術,2012,20(4):69—72.

[17]鐘元. 基于多模態語料庫的手勢隱喻研究[D]. 江南大學,2014.

The Construction of Multimodal Corpus and Foreign Language Teaching——The Status Quo and Future

LIANG Yan-ling

(School of Translation Studies, Shandong University, Weihai 264209, China)

The construction of multimodal corpus began at the end of the 20th century, and its application in foreign language teaching has great value, thus multimodal corpus has become a new area of research today. The research on multimodal corpus in foreign language teaching in China started later than in the west. There exist some problems such as no enough theories, small number of existing multimodal corpora, difficult construction of corpora, and narrow scope of application. Therefore, it is necessary to explore deeply into the theory of multimodal corpus in foreign language teaching, build large and medium corpora, introduce and develop related software, and widen the object and scope of research.

multimodal corpus; foreign language teaching; status quo; future

2015-11-01

梁燕玲(1991— )，女，廣西玉林人，在讀研究生，主要從事英語語言學與英語教學研究。

H319.3

A

2095-7408(2016)03-0114-04