英文電影字幕多模態效能實證研究

楊 勇

(廣東白云學院外國語學院，廣東 廣州 510450)

【傳媒文化】

英文電影字幕多模態效能實證研究

楊 勇

(廣東白云學院外國語學院，廣東 廣州 510450)

當前，國內對于英文電影字幕的研究主要集中于翻譯與外語教學兩大領域，以模態視角探討字幕對以英語為外語的學習者認知效能的實證研究較少。在簡介國外已有成果的基礎上，本文嘗試以綜合性路徑實證研究雙模態字幕對英文電影內容理解與詞匯識別兩大維度的效能。實驗數據以T檢驗法配對樣本進行檢測。結果表明：雙模態字幕對英文電影內容理解有積極效能，受試者理解有字幕電影比無字幕電影正確率高。然而，基于某些不確定因素，雙模態字幕對受試者詞匯識別沒有顯著性認知效能。

英文電影；雙模態字幕；認知效能；內容理解；詞匯識別

“大數據”與“新媒體”雙時代的交織，不僅虛擬地縮小了人際距離，資源傳播與獲取也是唾手可得[1-2]。作為一種文化資源，英文電影以其強力的適應性植根于多國外語教學中。從相關期刊數據來看，當前國內對于英文電影，特別是英文電影字幕的研究，主要集中于翻譯與外語教學兩大領域，如薛豐年描述了微電影不僅讓大學英語學習更具新穎性與趣味性，還能有效激發學生外語學習潛能[3]；馬萌蕓探討了影視翻譯在大學英語視聽說中的應用[4]；呂玉勇、李民研究了英文電影字幕翻譯的“文體”變化[5]；鄭寶璇則以“語內”與“語際”兩大視角對電影字幕翻譯進行思辨[6]。相較而言，國外對于英語電影字幕的研究，20世紀末業已拓展到了“模態效能”(modal efficacy)的視角。本文論及的模態效能，非醫學研究領域的相同術語，如Suraj Kumar、Kelley etc的相關研究[7-8]。本文所說的“模態”(modality)，在人文社會科學領域，言指表義的符號資源，是一種信息交際“模式”(mode)，如聲音、顏色、空間等[9-12]。而“效能”(efficacy)，根據維基百科與麥克米蘭英語詞典，等同于“效力”(effectiveness)，是產生預期結果的一種能力。

鑒于國內對于英文電影字幕模態效能研究的滯緩，特別是缺乏實證性研究，本文擬在概述國外相關研究的基礎上，以相應的公開成果為借鑒，嘗試合成一種“綜合性”(holistic)實證研究途徑，以“配對樣本T檢驗”(paired samples T-test)程序，力求對英文電影雙模態字幕“內容理解”與“詞匯識別”兩大維度的效能進行同步實驗并討論。其中，對于英文電影字幕的分類，依據Johanna E. Katchen、Tim Fox、Vernon Chun等人的標準，共分為六大類，分別為：標準字幕(第二語言聲道加母語字幕)、雙模態字幕(第二語言聲道加第二語言字幕)、逆向型字幕(母語聲道加第二語言字幕)、雙語字幕(第二語言聲道加母語與第二語言的同軌字幕)、雙語逆向型字幕(母語聲道加母語與第二語言的同軌字幕)、無字幕(第二語言聲道，沒有字幕)[13]。

一、文獻綜述

(一)字幕對語言學習的效能

Borras、Lafayette把字幕加入到互動多媒體課程的短視頻片斷中，受試者可以觀看并控制有或者無相同語言字幕的視頻片斷[14]。該研究顯示，有機會觀看并能控制字幕對視頻內容理解及語言輸出有積極的效能。

Kusumarasdyati研究了DVD影片的字幕效能，結果發現，有字幕電影對于提高以英語為外語的學習者的聽力技能是一種有效的教學手段[15]。與之相近，Zanon研究了基于計算機的字幕對語言學習的幫助，結論認為，以不同語言的配音形式，受試觀眾無法完全理解電影內容，而字幕的加入卻可以觸發受試觀眾的欣賞動機[16]。

Grgurovic、Hegelheimer應用含有一段學術講座視頻的多媒體聽力來比較第二語言字幕和報告錄音文本對學術報告理解的效能[17]。結果表明，受試學生更傾向于字幕應用，其頻次遠高于錄音文本。

(二)字幕對詞匯學習的效能

Koolstra、Beentjes研究了荷蘭一所小學兩個年級的學生是否愿意通過觀看具有英語配音和荷蘭語字幕的電視節目來學習英語詞匯[18]。結果表明，有字幕條件下受試學生的詞匯習得成績最高。其具體實驗過程描述如下：246名4和6年級(年齡在9～11歲)荷蘭小學生作為受試對象，要求觀看一段15分鐘時長的紀錄片。所有受試學生在三種條件下進行實驗：(1)關于灰熊的節目要求是英語配音加荷蘭語字幕；(2)同樣的節目要求英語配音不加字幕；(3)一項關于草原土撥鼠的荷蘭語電視節目(實驗對照組)。這兩個實驗年級5年級才開始英語學習，所以4年級時，他們未曾接受過常規英語學習，而到了6年級，他們已具備英語常規學習的基礎。

實驗結果表明，觀看有字幕節目的學生詞匯成績比觀看無字幕節目者要高，并且實驗條件(2)之下的學生成績比對照組的高；6年級的學生表現比4年級的要好；觀看有字幕紀錄片后，相比無字幕而言，更多詞匯被識別出，且同樣6年級表現勝于4年級；在家中以較高頻次觀看有字幕節目的學生其英語詞匯成績遠高于較低頻次的學生。這些研究發現為字幕不會干擾詞匯聽力學習的論斷進一步提供了佐證。

Bird、Williams進行了兩項實驗，旨在探究單模態(聲音或文本)和雙模態(聲音和文本)表征方式對詞匯學習的影響[19]。兩項實驗皆認為，字幕對新詞學習有強化效能。

Stewart、Pertusa以中等學校學生為受試者研究了他們在詞匯識別方面的成績[20]。實驗條件分成兩類：一是觀看有英語字幕的西班牙語影片；二是觀看有西班牙語字幕的相同影片。研究報告稱，同一語言內的字幕設置在提高學生詞匯識別方面更為有效。

(三)字幕對電影內容理解的效能

為了研究字幕對電影內容理解的效能，Grignon、Lavaur、Blanc對比研究了同一部電影的三個版本，即配音版、字幕版和原版。結果發現，配音版與字幕版相比原版而言，對受試者均有較好的認知效能[21]。

Hinkin對有字幕電影在內容理解效能方面進行了兩次調查研究[22]。兩次調查均展示了從三部影片《義海雄風》(A Few Good Man)、《非禮勿視》(See No Evil)和《非禮勿聽》(Hear No Evil)選取的時長10分鐘的片斷。對于每一部影片，受試者要完成三種類型的單項選擇題，其中包括：單圖畫題，單文字題，圖畫、文字雙模態耦合題。實驗一用以調查理解水平的差異，其中文字信息僅以受試者母語展示(即英語音軌和/或字幕)。實驗一結果顯示，當受試者母語以字幕展示而非音軌時，其對于單文字及模態耦合型測試題有突顯性的良好表現。這些發現證實了前人關于“閱讀字幕形式的文字信息比傾聽音軌信息更為有效”的研究。實驗一中針對單圖畫題不同表征模式間的表現對比顯示，在英語音軌無字幕條件下，受試者表現要遠強于其他條件下的設計。盡管實驗一對母語音軌與字幕如何影響電影內容理解作了基本的證實，但需要強調的是，當觀看外語影片且文字信息的表征為“剛性需求”時，主要應用的模態還是字幕模式。實驗二在實驗一的基礎上又加入了一種受試者不熟悉(無認知學習背景)的語言(如，法語)。實驗一中的一組問題同樣應用于實驗二中。不同之處在于，兩項法語詞匯測驗也加到實驗二中，目的是測量“伴隨性”(incidental)外語習得表現。與實驗一結果一致，當受試者的母語以字幕模式表征時，其對于單文字問題及模態耦合型問題表現得更佳。這項發現拓展了已有的研究結論，即對于外語學習材料，在需要文字提示的問題方面，視覺模態表征(如，字幕)的母語文字信息比口語表征(如，音軌)的母語文字信息效能強。而在圖畫問題的表現方面，實驗二中不同表征模式的對比分析結果卻沒有顯性不同。兩組實驗的對比分析均反映了因某一外語的存在而帶來的相關“分心效應”(distraction effect)。而在各種多模態條件下，受試者對于法語詞匯測驗的表現均非常糟糕，且無顯性不同。這或許表明，該項實驗任務對于受試者而言過于困難。

依據對外公開的期刊PLOS ONE，Mitterer & McQueen也于2009年進行了一項研究，旨在調查提供文字信息的字幕是否支持關于外語的認知學習[23]。一組荷蘭受試者不熟悉蘇格蘭和澳大利亞地方口音的英語(即方言英語)，觀看了以荷蘭語、英語，或者沒有字幕的蘇格蘭或澳大利亞英語電影，然后重復了兩種方言電影的音頻片斷。結果表明，受試者觀看以荷蘭語字幕呈現的電影后，對于電影片斷音頻重復方面的表現更加糟糕，但比觀看以英語字幕呈現的電影之后的表現要好。上述研究發現亦可理解為：母語字幕體現了一定程度的詞匯“負遷移”，但外語字幕通過提示正在表達的單詞(和聲音)，卻有助于語言學習。

基于上述文獻分析，可以清晰地看到，盡管國外對于字幕模態認知效能的實證研究較早，但“單維度”的研究痕跡突顯，也即反向映射了“綜合維度”的“擦除”(erasure)，不論研究者有意或無意為之。“擦除”概念作為研究話題，在批評語言學(CDA)、生態語言學(eco-linguistics)等學科領域多有探討，指“something important has been ignored, sidelined or excluded from consideration within a discourse.”[24-25]因此，借用該理論框架，本研究“綜合維度”的嘗試，旨在研究行為的一種“提醒”(reminding)，希望能為學界提供參考。

二、實驗研究

(一)研究設計

本研究為“一次性個案”(one-shot case)研究，沒有“實驗對照組”(controlled group)，沒有預備測試，本研究嘗試以“綜合性”途徑同步探討英文電影雙模態字幕對“內容理解”與“詞匯識別”的認知效能。

(二)實驗對象

本研究受試者是以科技翻譯為專業方向的兩個班級，共計44名本科生，年齡18～20歲不等，2013年秋季入學，其中女生34名，男生10名。按照廣東省的學制學情，44名同學均從小學三年級開始學習英語，小學均為六年學制，初中三年學制，高中三年學制。所有受試者國籍與語言背景無差異，均為中國國籍且母語為漢語中的粵語方言。所有受試者均無在國外講英語國家的生活經歷。

(三)實驗材料

兩部BBC(英國廣播公司)紀錄片電影，一部有英語字幕，一部沒有。有字幕電影名為《危險的知識》，講述的是一名數學教授George Cantor開啟了一場他從未真正打算發起的革命，并最終威脅到了整個數學科學領域的根基。這部影片大約播放30分鐘。另外一部無字幕電影名為《我的機器人在哪》，主要介紹不同種類的機器人。這部電影時長為20分鐘。

選取的兩部電影主要依據內容的趣味性，其語言難度水平適合受試者，并且電影時長均未超過30分鐘。

(四)研究工具

為了收集數據，每部電影均有兩項不同的測試。一項為10個單項選擇題型的內容理解題，另一項為10個單項選擇題型的詞匯理解題。單項選擇均為4個選項的設計，且所有測試內容均從兩部紀錄片電影中抽取。對于要測試的內容理解題，研究者首先對影片進行整體觀看，了解影片的主題，然后又分部分地仔細觀看，從而提出4選項設計的內容理解測試題；在詞匯測試題中，電影中呈現的高級詞匯一并進行了選擇，相關詞匯的測試句子則從劍橋與牛津高階詞典中選取。為了評估本次測試實驗的信度(reliability)，所應用統計分析軟件為SPSS。內容理解與詞匯測試題(有字幕和無字幕)信度值計算為0.756，對這種類型的實驗測試而言，是可以接受的。

(五)研究過程

1.數據收集

正式開始實驗之前，受試者被告知實驗計劃，目的是激發動機與興趣。首先，兩個班均觀看同一部電影，但組一先觀看有英文字幕的《危險的知識》，然后再看無字幕的《我的機器人在哪》。為了中和“次序效應”(order effect)，組二觀看順序與組一完全相反。每部電影均在某一時間段內集中觀看，中間不停斷。電影欣賞完畢，兩個班級的所有受試者都要進行詞匯和內容理解的實驗測試。第一部影片觀看結束后，受試者有15分鐘的時間回答共計20道單項選擇題型的內容理解與詞匯識別題，然后播放第二部影片，觀看結束后在15分鐘內完成相關的測試問題。

2.得分與數據分析

本研究數據由受試者對內容理解與詞匯測試題答案得分構成。正確回答一項問題，受試者得分為一。所收集數據以SPSS進行統計分析。首先計算得分，每位受試者有兩項分數，一項為觀看有字幕電影后的得分，另一項為觀看無字幕電影后得分。然后，這兩項得分歸類為四組別，包括內容理解/詞匯，有字幕/無字幕。每位受試者其在某一組別與另一組別中的成績對比，通過運行“配對樣本T檢驗”(paired samples t-test)來計算不同受試條件下兩項分數的差異。四組別全部計分，分別是有字幕電影內容理解得分、無字幕電影內容理解得分、有字幕電影詞匯得分和無字幕電影詞匯得分。

三、結果與討論

統計分析軟件SPSS應用的目的是清楚了解受試者對本實驗研究任務的表現，而“配對樣本T檢驗”則用來計算兩項得分途徑差異的顯著性。得分類別劃分為三大維度：有字幕與無字幕整體得分；有字幕內容理解得分與無字幕內容理解得分；有字幕詞匯識別與無字幕詞匯識別得分。統計分析數據見表1。

表1 基于字幕的內容理解與詞匯識別SPSS配對樣本分析

注：受試者兩項得分途徑差異t值，其中“+”表示“有”，“-”表示“無”。

根據表1，全部詞匯識別與內容理解題t值統計為顯著性(t=2.475，P<0.017)，這意味著兩種途徑得分間有顯著性差異。換言之，受試者回答有字幕電影的問題表現優于無字幕電影的表現。基于表1t值數據，內容理解題比整體而言統計更為顯性(t=4.650，P<0.000)，這些數據表明受試者理解有字幕電影優于無字幕電影。然而，兩種途徑間對于詞匯識別題無顯著性差異。

進一步分析得出，受試者對于雙模態字幕呈現的電影理解表現更佳，這包括全部的詞匯識別與內容理解問題。表中第三行是關于受試者對于內容理解方面的數據，從其結果看要優于整體數據。據此表明，受試者對于理解有字幕電影的表現優于無字幕電影。然而，對于電影中的詞匯識別，觀看有字幕電影與無字幕電影之間并無顯性差異。所以，可以得出結論，受試者在理解雙模態英文電影方面比無字幕電影更為成功，書面形式的言語呈現或表征是關鍵要素。但就詞匯識別而言，觀看有字幕電影并無特殊或顯性效能，或可歸因于從有字幕電影中進行詞匯識別與認知學習，需要多頻次實踐這一事實。

四、結論

本項關于觀看雙模態字幕英文電影的實證研究表明，作為文化資源之一的電影，其效能不僅可以激發學習者的娛樂動機，還有助于學習者理解各類方言口音的言語。以英語為外語的學習者，有機會接觸美國、英國、澳大利亞等不同地區帶有不同鄉音的真實言語已是不爭的事實。然而，鑒于學習者對標準英語的習慣性認知，通過聽力來理解真實言語中的每個單詞，毋庸置疑，相當困難。本實驗數據表明，雙模態英文電影字幕對于這些以真實言語表達的電影內容理解是最佳的選擇。

然而，本研究中雙模態字幕對于以英語為外語的學習者詞匯識別沒有產生顯著性效能，或可歸因于本實驗為“一次性個案”研究，受試者接觸作為研究材料的兩部英文電影頻次太低，這也是此次實驗研究的局限性所在。另外需要指出的關鍵影響要素是，依清華大學崔剛教授之言：“實驗方法也有一致命的問題，那就是它的非自然性。心理語言學研究的目的在于發現人們在自然狀況下使用語言的心理過程，而實驗方法都要控制變量，實驗環境都有人為的因素參與其中，在實驗室里取得的結果能否說明人們在自然環境中使用語言的情況往往是令人懷疑的。”[26]這是實驗研究路徑的通用癥狀所在，故而本文實證研究的數據與分析結果，更多彰顯的是參考價值。

[1]南旭光.大數據時代高等教育“循數治理”解析及實現路徑[J].中國電化教育，2016，(8)：20-26.

[2]杜志強，支少瑞.微課在新媒體時代的“位”與“為”[J].高校教育管理，2015，(2)：96-100.

[3]薛豐年.微媒體視域下的大學英語教學[J].教育理論與實踐，2016，(36)：53-54.

[4]馬萌蕓.影視翻譯在大學英語視聽說課堂中的應用[J].教育理論與實踐，2014，(34)：49-50.

[5]呂玉勇，李民.論英文電影字幕翻譯的娛樂化改寫——以《黑衣人3》和《馬達加斯加3》的字幕翻譯為例[J].中國翻譯，2013，(3)：105-109.

[6]鄭寶璇.電影字幕的語內和語際翻譯[J].中國翻譯，2011，(4)：75-78.

[7]Surai Kumar. Efficacy of two multimodal treatments on physical strength of occupationally sub grouped male with low back pain[J].Journal of Yoga & Physical Therapy，2016，(6)：237.

[8]Kelley，MJ Adams，BD Mulliken，et al. Efficacy of multimodal perioperative analgesia protocol with periarticular medication injection in total knee arthroplasty: a randomized, double-blinded study[J].Journal of Arthroplasty，2013，28(8)：1274.

[9]Lemke. Multiplying meaning: Visual and verbal semiotics in scientific text. In J.R. Martin & R. Veel (eds.), Reading science[M].London：Routledge，1998.87-113.

[10]胡壯麟.社會符號研究中的多模態化[J].語言教學與研究，2007，(1)：1-10.

[11]馮德正，張德祿，Kay O'Halloran.多模態語篇分析的進展與前沿[J].當代語言學，2014，(16)：88-99.

[12]楊勇.“耦合”觀照之一:多媒體外語教學[J].現代交際(學術版)，2016，(13)：6-8.

[13]Johanna E. Katchen，Tim Fox，Vernon Chun，et al. Developments in Digital Video[EB/OL].(2012-03-14)[2017-08-12].http://mx.nthu.edu.tw/～katchen/professional/developments%20in%20digital%20video.htm.

[14]Borrras，Lafayette. Effects of multimedia courseware subtitling on the speaking performance of college students of French[J].Modern Language Journal，1994，78(1)：66-75.

[15]Kusumarasdyati. Subtitled movie DVDs in foreign language classes[Z].Aare Conference，2006.

[16]Zanon. Using subtitles to enhance foreign language learning[J].Porta Linguarum，2006，(6)：41-52.

[17]Grgurovic，Hegelheimer. Help options and multimedia listening: students' use of subtitles and the transcript[J].Language Learning and Technology，2007，11(11)：45-66.

[18]Koolstra，Beentjes. Children's vocabulary acquisition in a foreign language through watching subtitled television programs at home[J].Educational Technology Research and Development，1999，47(1)：51-60.

[19]Bird，Williams. The effect of bi-mod al input on implicit and explicit memory: an investigation into the benefits of within-language subtitling[J].Applied Psycholinguistics，2002，23(4)：509-533.

[20]Stewart，Pertusa. Gains to language learners from viewing target language closed-captioned films[J].Foreign Language Annals，2004，37(3)：438-447.

[21]Grignon，Lavaur，Blanc. The effect of subtitles on film understanding[EB/OL].(2012-02-12)[2017-08-12].http://google.com/site/jeanmarclavaur/grigronlavaurblanc2007.pdf.

[22]Hinkin. Comprehension of multiple channel messages: are subtitles more beneficial than soundtracks[D].Kansas State：Kansas State University，2009.

[23]黃國文.Erasure and Writing[EB/OL].(2016-10-11)[2017-08-12].http://fls.sysu.edu.cn/node/1099.

[24]Mitterer，Mcqueen. Foreign subtitles help but native-language subtitles harm foreign speech perception[J].Plos One，2009，4(11)：7785.

[25]Arran Stibbe. Ecolinguistics and erasure: restoring the natural world to consciousness. In Christopher Hart & Piotr Cap(eds.)[J].Contemporary Critical Discourse Studies，2014，(2)：583-602.

[26]崔剛.《心理語言學導論》導讀[M].北京：世界圖書出版公司，2007.3.

【責任編輯：周丹】

H315.9

A

1673-7725(2017)11-0152-06

2017-09-06

本文系吉林省教育科學“十二五”規劃課題“多模態視域下的英語教學設計的研究”(項目編號：GH12170)；廣東省普通高校特色創新類項目(教育科研)“應用型本科教育的理論解析與實踐探索”(項目編號：2016GXJK175)；廣東省教育研究院課題“應用型大學多模態外語教學探索”(項目編號：GDJY-2014-C-b077)；廣東白云學院課題“大學生口語交際能力多模態構建研究”(項目編號：BYKY201537)的研究成果。

楊勇(1978-)，男，山東諸城人，講師，主要從事系統功能與認知語言學、外語教育與翻譯。