國外字幕翻譯認知實證研究:分析與展望?

王 娟

（上海師范大學，上海200240）

提 要：字幕翻譯認知實證研究主要涉及受眾的認知加工。 本文對1985 -2016 年間相關英文文獻①進行梳理分析發現，研究過程包括受眾表現研究路徑、行為研究路徑兩種類型（Kruger， Steyn 2013:1038）。 2000 年后，前者日益萎縮，而后者則如雨后春筍；此外，涉及內容呈多樣化，如語言習得、閱讀影響因素、注意力分配、文本分塊等多方面。 本文在梳理分析其研究的成就和存在的不足以及對未來的研究進行展望的基礎上，對國內相關研究進行分析并給出建議。

1 引言

字幕翻譯指對視聽文本進行文字轉錄和翻譯，如英文電影的中文字幕。 相對配音而言，由于字幕成本低廉，效果良好，可以讓視聽產品得到迅速傳播，同時又有幫助二語教學或有視聽障礙的人享受觀看視頻的多種效應，所以被廣泛應用，字幕研究也成為視聽翻譯中關注較多、發展較快的一部分。

本文聚焦于字幕翻譯的認知實證研究，討論在字幕翻譯中認知加工的作用，涉及生產端（譯者的認知加工）和接收端（受眾的認知加工）。 在目前的研究中，前者涉及較少，而以后者為主。 這可能是因為就字幕翻譯性質而言，它要比其他形式的翻譯更需要注重受眾的感受，以更有針對性地作出翻譯決策。 對觀看字幕翻譯的受眾的認知加工情況，我們還知之甚少。 研究受眾的認知特點將有助于我們了解他們的認知規律，同時避免字幕翻譯的誤區。

近年，國內對字幕翻譯的研究呈不斷發展的態勢，但大多是借用傳統語言學或翻譯學的理論，對字幕翻譯的討論比較零散，且多是個案研究，同質化傾向較重，亟需提高學科性理論和研究方法（林娜席紀新2016:57）。 對西方視聽翻譯研究的關注和總結（劉大燕2010，呂潔2013）也涉及字幕翻譯，這些論（綜）述促進我們對國外視聽翻譯的理解。 就已有的國內文獻資料看，其關注點多是介紹各種新的視聽翻譯形式，還沒有專門研究字幕翻譯這一較為重要的領域，也沒有關注過程實證研究這一方面——而這恰恰是近年來國外研究關注最多、最突出的一個分支。 因此，有必要對西方字幕翻譯過程實證研究進行梳理、總結，了解其最新進展及成果，反思其中的不足，并對未來的研究提出問題與展望，以期對國內相關研究給予積極的建議。

2 數據來源

本研究首先確定文獻來源，獲取全面且具代表性的字幕翻譯認知實證研究成果。 選用Translation Studies Bibliography，Bibliography of Interpreting and Translation 和Google Scholar 這3 個數據庫。 在摘要中搜索subtitling 及其相關詞subtitle，subtitler，caption. 經過梳理、通讀全文，排除無關內容、去重。 同時也考察這些文獻后的參考文獻，看是否與本研究相關。 以這種“滾雪球技術”（snowballing technique）篩選出總共80 篇英語文獻。

3 數據分析

根據已有的文獻，較早的字幕翻譯認知實證研究可以追溯到1985 年（d'Ydewalle et al. 1985），2000 年后相關研究在數字技術的推動下才越來越多。 受翻譯研究過程轉向②的影響，近10 年來逐年上升，尤其是近5 年來增長顯著（見圖1）。

圖1 字幕翻譯研究的發展趨勢

4 字幕翻譯認知實證研究的路徑及成就

研究者認為，對認知過程的探索可以有兩個研究路徑:受眾表現研究路徑和行為研究路徑。依此，字幕翻譯認知實證研究可分為表現研究路徑和行為研究路徑。 前者占比例較小，主要是字幕翻譯對受眾外在學習表現的影響。 通過問卷、調查，將有正確答案的作為表現的指標；后者占主要部分（見圖2），一般使用行為研究或者生理性（physiological）技術手段研究，如眼動跟蹤（eyetracking）、神經科學等。

圖2 字母翻譯研究主要路徑

4.1 表現研究路徑

表現研究所占比例小（見圖2），主要圍繞語言學習中字幕的使用所帶來的益處。 具體而言，字幕是否會促進語言習得。 對此有兩種截然相反的意見:一方面，多數學者持肯定觀點。 如Bird 和Williams 認為，字幕可以促進理解和聽力、詞匯獲得（Bird， Williams 2002:525）；另一些學者則持不同的意見，如Diao 等基于認知負載理論認為，字幕雖然對理解有所幫助，但也會讓受眾分散注意力，不能專注于聽（Diao et al. 2007:240）。 Markham 認為，如學習者層次較低，從字幕中受益就會很少（Markham 1999:322）。 Vanderplank 則指出，在運用字幕時，必須有合適的任務設置和教學設計，否則受眾在語言習得上不會有很大的收獲（Vanderplank 1999:255）。

這一路徑的研究成果主要來自教育心理學，所用的方法多是一些問卷調查、被試自己的反思等。 由于難以控制細微的閱讀變量（如字幕出現的時候，被試是否在閱讀、閱讀的深度），因此難以確定信息來源變量（被試接受信息時，是通過字幕、聽覺通道、還是視覺通道），很多研究只是簡單地比較在有字幕和沒有字幕情況下觀看的感受。 由于研究設計的不完善、所選材料不科學（同上2016:260），導致研究雖多，但收獲有限。

表現研究或者說以表現路徑為主的字幕翻譯認知實證研究，在新世紀之后逐漸減少（見圖3）。

圖3 字幕翻譯路徑趨勢

4.2 行為研究路徑

這一路徑的研究在上世紀90 年代就有所涉及，但參與者寥寥。 之后，尤其是近年來得益于翻譯研究的過程轉向、實驗手段及數字技術的不斷發展，有增多的趨勢（見圖3）。 其所運用的生理性研究技術手段可以較為精確地、客觀而實時地測量和確定字幕認知加工過程中的一些變量。 將這一路徑進一步細分，對研究關鍵詞中出現頻率較多的詞加以歸類，發現這一研究路徑主要圍繞字幕閱讀的影響因素、注意力分配、字幕的文本分塊3 個問題展開（見圖2）。 不同的研究主題之間會有重疊、交叉的情況。 在統計的時候，以該文獻圍繞的主要問題來歸類。

4.21 對字幕閱讀的影響因素

字幕閱讀和靜態文本閱讀不一樣。 與閱讀紙質文本相比，受眾對字幕的回溯（regression，即眼睛去看已經閱讀過的材料）的增加，固視持續時間較短，固視數量較多（d'Ydewalle， De Bruycker 2007:7），其影響因素如下。 （1）受眾本身。 受眾是否熟悉字幕形式會影響字幕閱讀，這一點尤其體現在兩行字幕的長度延遲（latency）上:字幕在屏幕上停留的時間有一定行規限制，兩行字幕比一行字幕的停留時間長一些。 如果被試有這種期待，就會慢悠悠地將視線從影像轉到字幕。 也就是說，此時將視線從影像轉到字幕會發生一個較長的延遲。 研究人員還發現年齡因素的影響。 年幼的孩子，如二年級學生，會對文本有更長的固視和更短的掃視（同上:203）。 Perego 等學者（2015:19，2016:270）比較配音和字幕條件下年輕人和老年人的表現時發現，老年人在所有認知測量上的得分都要差一些，但相對來說字幕更支持老年人的認知，不過年齡不會導致太大字幕閱讀行為的差異。Linebarger 等學者認為，受眾的閱讀能力非常重要。受眾閱讀能力差，理解屏幕上的文字很困難，閱讀字幕的動力就不高。 而如果受眾閱讀能力高，會在一定程度上忽視字幕（Linebarger 2010:160）。

（2）信息冗余度。 字幕條件下有很高的信息冗余度，因為各個渠道（聲音、畫面、字幕）輸出的信息都有部分重疊。 信息冗余度高低會引發不同的認知加工行為。 d'Ydewalle， De Bruycker 在對一行字幕和兩行字幕的閱讀比較中發現，一行字幕一般很短，其中包含的信息多已包含在畫面或聲音中，因此觀察到有更多的回溯（即眼睛去看已經閱讀過的材料），有更多的詞被跳過（d'Ydewalle， De Bruycker 2007:198）。 Kruger 等人在此基礎上進一步指出，認知加工程度不僅與字幕長度有關，更與其中所包含的詞匯頻率高低有關，高頻率詞匯在字幕中經常會被跳過，要求加工方式更像是一種形狀識別和匹配、掃視，而非閱讀（即持續地關注）（Kruger 2015:10）。

（3）研究較多的顯示方式包括:1）行間距離。研究人員發現，兩行字幕的行間距離小，被試的視線從一行末跳到另一行首，會增加修正眼動的頻率，降低閱讀效率。 研究人員因此假設，行間距離會對認知產生一個橫向干擾。 依此推之，干擾效果會隨著行間距離增加而減少（d'Ydewalle， De Bruycker 2007:202）。 但到目前為止，對行間距離的操縱還沒有產生更多足夠的證據去支持這個假設。 2）視頻類型和剪輯。 受眾一般感覺不到電影的剪輯，認為它是連續的整體，這就是所謂的“剪輯盲癥”（Kruger et al. 2015:9）。 但是，如果剪輯過多，受眾為維持這種整體感，認知負載就會增加，從而影響對字幕的理解。 d'Ydewalle 和Van Rensbergen 發現，如果電影動作多、節奏快、視覺效果強烈，受眾來不及關注其他因素，因此對字幕的關注就較少（d'Ydewalle，Van Rensbergen 1989:240）。 3）字幕呈現速度。 Kruger 和Steyn 認為，當字幕的呈現速度加快時，認知資源會優先分配給更穩定的信息源（如幻燈片），或者非言說的視覺語境信息（如演講者的面部）（Kruger， Steyn 2013:110）。 4）語言。 標準字幕（字幕是母語，聲音是外語）、反向字幕（聲音是母語，字幕是外語）和語內字幕（字幕和聲音是同一語言）的比較。研究人員發現，標準字幕的認知加工程度一般比反向字幕的要深（Bisson et al. 2014:400）。 反向字幕有更多不規則的閱讀模式，如更多的字幕會被忽略，更少的固視，更長的注意力延遲。 令人驚訝的是，反向字幕對外語詞匯習得的促進作用比正向字幕更大（d'Ydewalle， De Bruycker 2007:200）。 Kruger 等（2014:10）調查不同語言的字幕對認知負載的影響，地點是在南非，大學課程授課語言是英語。 實驗中放英語PPT，分別用母語和二語字幕。 研究者發現，母語字幕會導致較好的長時記憶表現，而英語字幕則會提高短時記憶表現。 5）翻譯策略。 在Ghia （2012:160）的研究中，被試是學習英語的意大利人，觀看有母語字幕的英語電影。 研究者發現，意譯會導致視線在文本和影像之間有更多的轉移。 不過，因為該研究是通過回放每個被試的凝視來獲取數據，所以其研究的被試數量、視頻的長度都有限。

這類研究有助于我們了解受眾如何加工、融合、理解不同來源的信息，但還可以在以下方面作進一步的探索:受眾對不同機器出現的字幕內容的加工情況；系統地探索有字幕節目的確切特點，以及它如何影響加工策略（如對話和視覺信息的相關重要性、情節的復雜性，文本—影像冗余性程度）等（Perego et al. 2010:269）；需要進一步考慮受眾的特別差異，需要探索受眾的執行控制力、注意力的差異、加工速度的差異如何影響其加工字幕的能力等。

4.22 字幕和畫面之間的注意力分配

首先，字幕出現時對注意力的自動吸引。 研究人員發現，字幕一出現，受眾的視線就會自動轉到字幕上，注意力從畫面轉移到文本（d'Ydewalle，De Bruycker 2007:200）。 字幕對視線的這種自然吸引不僅因為文本是有意義的信息。 換句話說，受眾下意識地對照字幕來理解視頻，效果會更好。在有限的時間內融合信息的不同方面，而不必使短時記憶過載。 還因為字幕的出現會給屏幕帶來變化——受眾會下意識地把眼睛移到屏幕變化的地方，這是一個從下到上的沖動。 即體現出一種視覺通道主導性:說明視覺在和聽覺相互競爭注意力時，視覺總會占上風（d'Ydewalle et al. 1991:660）。

其次，注意力分配會不會導致認知負載的加重？ 注意力初始早期選擇理論（Early-selection Theories of Attention）推測，在觀看有字幕的視頻時，受眾要在文本和畫面之間進行多重注意力轉換，對復雜的信息來源的監控需要不同的加工策略，而且也必須分配出一些認知資源去證實不同信息源的信息。 因此字幕會導致認知過載，對觀看體驗產生消極影響（Perego et al. 2010:244）。隨著研究方法的進步，研究人員對此做出不同的回答。 以d'Ydewalle， De Bruycker（2007:201）為代表的觀點是，注意力的轉換不費力，不同的認知過程可以同時平行進行，受眾有能力同時加工字幕和畫面；以Kruger 等（2016:20）為代表的觀點則認為，心理測量③和EEG 技術④證明，字幕會刺激大腦后頂葉皮層這一和具象認知活動密切相關的區域。 這充分證明，字幕能夠促進影片的代入感（immersion）。 也就是說，幫助受眾更沉浸于視頻的故事敘述，仿佛置身于另一個世界。 從而為字幕的認知有效性從另一個角度提供實證證據支持。

然而，很多研究并沒有考察被試對各個信息渠道的信息加工情況，因而其證明并不十分令人信服。 以Perego 等（2010）為代表的研究者進一步指出，如果在不同的信息源之間轉換注意力，融合這些信息須要付出很大的認知努力，且吸收不同渠道的信息不可能等值:如果更多的認知資源被投入于字面加工，那么視覺場景加工就不太有效率，反之亦然。 為檢驗這個假設，Perego 等（2010:269）用眼動跟蹤（eye-tracking）、文字識別（word recognition）、電影場景識別（visual scene recognition）等方法研究發現，在一般情況下，被試能夠成功融合多源信息、合理分配在各個信息源上所花的時間，字幕只會促進認知，而非導致認知過載。

以上研究雖然已具有一定的成果，但在字幕加工認知有效性的界限等方面，還需要進一步的探索。 如果不同來源的信息很復雜，信息變化很快，信息來源之間冗余度很少，那么注意力轉換、分配和信息的融合就可能會出現問題。 受眾可能會更多地關注需要較少認知努力的信息來源（即視覺信息），而對字幕的關注就會減少。

4.23 字幕的文本分塊

以往對字幕翻譯中文本分塊的討論主要基于審美。 隨著行為路徑研究的發展，研究人員試圖基于實證為文本的分塊找出科學依據，目的在于給字幕分段提供更為合理的解釋，讓字幕分段進一步符合認知規律，減輕受眾的認知負載。

有學者認為，文本分塊不會對受眾的觀看體驗有明顯的影響。 Perego 等（同上:243）觀察不同的分段方式在固視數量、整個固視時間、字幕區域和畫面區域之間視線轉移的數量，結果并無太大差異。 字幕的認知加工不太受分段限制，受眾很容易自行調整適應分段。 但他們對同一組被試使用同一字幕的不同分段，實驗結果會受被試記憶的影響，并且字幕樣本少會使其結論無法推廣。也有研究人員對其研究方法提出質疑，認為其沒有考慮到字幕過程的特點，將靜態文本中固視計算方法沿用到字幕研究中（Rajendran et al. 2013:10），但這不影響其是一個很細致的心理語言學研究。

更多的學者則認為，不同的文本分塊對字幕認知加工有很大的影響:Rajendran 等（同上:5）研究發現，滾動字幕（一個字一個字地出現）的認知加工效率最低:被試對滾動字幕（字對字的）需投入大概兩倍的固視，花較多的時間去加工文本，而不是視覺場景。 他們（同上:11）認為，短語分段和句子分段能夠讓受眾花較少時間在字幕閱讀上，使受眾的觀看體驗更好，認知加工較為省力。 但就理解來說，沒有太大差異。 該研究分析詳盡，但視頻時間很短（不到一分鐘），沒有聲音，因此結論仍不具有可推廣性。

5 問題與展望

首先在理論方面，字幕翻譯研究一直深度依賴于翻譯研究的發展。 事實上，學者們對于視聽翻譯本身的未來走向目前觀點不一。 它可能會繼續停留在翻譯研究之內，也可能會開辟出一個新的學術領域，逐漸自成一個獨立的學科。 但肯定的是，目前過于借鑒其他學科的理論和模型，其理論和研究方法都不甚統一，這將妨礙其研究的進一步發展。 對字幕翻譯的相關思考始于上世紀30 年代，但局限于隨感式的討論。 因為與傳統的翻譯形式不同，也無法遵循對等的翻譯要求，所以一直被認為無法理論化，被排除在翻譯研究之外。90 年代末隨著翻譯定義的擴大⑤，此時翻譯不再局限于對等概念，字幕翻譯才得以被納入到學術研究中，逐漸擺脫邊緣化的狀態。 但翻譯研究中能夠支持其進一步發展的理論顯得后勁不足。 與之相關的只有Roman Jakobson 的符際（intersemiotic）翻譯，詳細探討非言說（non-verbal）因素對意義形成的貢獻。 但它過于強調結構和編碼，忽略語義系統的功能和社會用途（Pérez-González 2014:126），并不完全適用于作為字幕翻譯的理論框架。 字幕翻譯認知實證研究要取得進一步的發展必須要找到合適的概念網絡和理論框架及系統整合研究方式。 而適合字幕翻譯實證研究特點的應該是一種多模式（multimodality）意義翻譯的理論假設，即對影像和詞匯的結合所構建的意義、視聽信息不同因素之間的影響進行系統的理論化。所謂多模式指使用不止一個信息模式同時表達一個交流事件，如圖像、手勢、姿勢、言語、音樂等，不同模式的信息有重疊和互動。 在數字技術日益發展、網絡和合作化日益參與意義創造的今天，多模式的意義實踐也會成為主流，多模式必然是未來文本的一般呈現方式，在字幕翻譯中體現最為突出。

在這方面目前已有一些初步的探索，如雙重渠道（Dual Channel）理論和雙重編碼（Dual Coding）理論對不同感官渠道接受信息是否會導致認知過載作出完全不同的回答。 也有一些研究者對其作出驗證（Specker 2008， Kruger， Steyn 2013），不過學術界對此仍有爭論。 研究者應在已有理論資源的基礎上，積極開發新的理論來整合字幕翻譯認知實證研究的成果。

其次在方法方面，直接測量法用得較少。 研究認知過程的方法可分為間接測量法和直接測量法，即所使用的方法是否能直接探測到認知加工，抑或是一種間接的推測（Kruger et al. 2014:5）。在字幕翻譯認知實證研究中，間接測量法使用較多，如自我報告、訪談以及大量眼動數據，考察眼睛在閱讀時的移動（如受眾看哪里，看多長時間），得出大腦活動的間接數據，多基于眼睛—大腦假設，即視線的移動反映大腦的認知。 但直接測量法，如EEG，fMRI⑥，瞳孔擴張（pupillometrics）等，則用得較少。

而且，眼動跟蹤目前仍以定性數據為主。 長期以來主要限于對掃視途徑視覺化（scanpath visualizations）的比較，結論上沒有什么突破。 不像固視、固視持續時間等眼動指標，單一的視覺化掃視途徑不能對眼動因素提供定量的比較（Rajendran et al. 2013:4）。 近年來，定量研究有所增多（如Ghia 2012， Kruger et al. 2014）。 但與相關研究的需要相比，眼動跟蹤中的定量研究還很少。因此，研究人員（Uzquiza 2010:165， 169 -170）呼吁要擴大定量研究，以提高字幕加工研究的準確性，將定性和定量相結合，以發揮各自的優勢。

此外，對字幕閱讀的特點還需要更多的研究。多數研究對字幕閱讀與靜態文本閱讀的差異關注不夠，數據收集和實證設計也不夠嚴謹。 如很多用眼動跟蹤技術研究定義的AOI（興趣區，area of interest） 包含整個字幕區域（如Perego et al.2010； d'Ydewalle et al. 1985， 1991 做的多數研究）。 這意味著，屏幕上沒有字幕時，也能收集眼動數據，這在一定程度上淡化研究的科學性。 也有一些研究者注意到這些不同點。 如Specker（2008:28） 提出， 看字幕不等于閱讀字幕；d'Ydewalle 和De Bruycker （2007）試圖了解具體的閱讀方式；Kruger 等（2014）設計閱讀指標來試圖了解對字幕的閱讀程度。 但它們多屬于小型研究，對具體的閱讀方式的測量也不夠嚴謹，達不到靜態文本閱讀需要研究的高度。

我們認為，未來的研究應注意字幕閱讀的以下兩個方面。 首先，要注意動態影像上的字幕。停留不過幾秒，更像是影像而非文本。 不像靜態文本中的閱讀，受眾很少有時間針對語言難點進行思考或有頻繁的回溯。 同時，字幕還要和其他信息源，如動態影像、各種聲音爭奪注意力和認知資源，受眾的閱讀往往會被其他的信息所打斷，如何挖掘適應這些特點的研究方法顯得尤其重要。

其次，未來應根據研究的需要開發適應字幕閱讀的眼動跟蹤軟件。 因為目前的眼動跟蹤軟件針對的是靜態文本閱讀，用于字幕閱讀時，顯得有些不足。 如將視頻和眼動數據同步很困難，目前大部分商業軟件都缺乏這一功能。 另外，數字視頻格式也越來越多樣化，這導致商業眼動軟件無法對其進行必要的解碼和編碼。 隨著數字技術的進步，將會進一步促進字幕翻譯認知實證研究更科學。

第三，對國內相關研究的啟示。 國內字幕翻譯研究大多集中于技巧的討論，對字幕翻譯技術的研究不夠重視。 事實上，數字化的潮流導致翻譯實踐和研究正在經歷“技術轉向”⑦。 未來占主導地位的必然是多重模式的翻譯，而非僅僅是傳統的紙質翻譯，字幕翻譯的比重將會越來越大，因此注重這方面的研究十分重要。 國內在這方面的研究可以吸收國外研究的一些比較成熟的方法、成果，尤其是將一些心理測量技術用于字幕研究，并在剛開始時就應注重定量及直接測量的應用，以避免國外相關研究所走過的彎路。 此外，目前該研究領域很多亟待開發的地方，如國外的研究目前只集中在西方語系，中文字幕的認知研究有哪些特點。 又如，目前國外研究中的“受眾”多指一般的觀眾，而譯者在翻譯時對原文的接受過程是否有與一般受眾不同的地方，這種不同是否會對字幕翻譯產生影響？，等等。 國內研究是否可以在這些方面率先做些探索。

注釋

①考慮到英語是國外學者在國際主流學術期刊上發表學術論文采用的主要語言，因此筆者只搜索了英文文獻。

②從21 世紀初開始，隨著翻譯理論的發展，尤其是計算機技術的進步， 使人們可以觀察譯者的在線行為特點，并可以數字化翻譯產品，因此有可能以更先進的手段進一步去探索大腦， 促進過程導向翻譯實證研究的迅速發展，這就是所謂的“翻譯研究過程轉向”（王娟2015:71）。

③心理測量（psychometrics）是指依據心理學理論，使用一定的操作程序，給人的能力、人格及心理健康等心理特性和行為確定出一種數量化的價值。 利用眼動測量解讀人類行為即是心理測量的一種。

④腦電圖（electroencephalography， EEG）是通過醫學儀器腦電圖描記儀，將人體腦部自身產生的微弱生物電于頭皮處收集，并放大記錄而得到的曲線圖。

⑤翻譯不再局限于原文和譯文之間的轉換。 翻譯包括廣泛的活動和成品，不一定與某一特定的原文相關聯。

⑥fMRI（功能性磁共振成像，Functional Magnetic Resonance Imaging）是一種神經影像學技術，其原理是利用磁共振造影來測量神經元活動所引發的血液動力的改變。

⑦數字技術是現代社會的一個常規部分，今天的翻譯實踐同樣不可能脫離數字技術來研究。 學界有人（O'Hagan 2013）將這種影響稱為翻譯學科中的“技術轉向”（盡管這種轉向目前在學術界的影響還遠比不上“文化轉向”或者“社會學轉向”那樣巨大）。