輸入模態與練習頻次對口譯質量的影響
——一項基于認知負荷理論的研究

周忠良

(寧波財經學院人文學院，浙江寧波)

1.引言

模態是指人類通過感官(如眼睛、耳朵等)跟外部環境(如人、機器、物件、動物等)之間的互動方式。用單個感官進行互動的叫單模態；用兩個的叫雙模態，三個或以上的叫多模態(顧曰國，2007：3)。多模態話語是指運用聽覺、視覺、觸覺等多種感覺，通過語言、圖像、聲音、動作等多種手段和符號資源進行交際的一種話語現象(傅曉玲，2014：14)。根據上述定義，口譯是一個以跨語信息傳遞為目的的多模態話語協同交互過程：譯員接受以文字、聲音、動作、表情和圖像等模態或組合模態輸入的源語信息，通過大腦語言認知與信息加工系統對接收到的信息進行記憶、解碼與重新編碼，最后以語音模態用目標語將信息傳達給聽眾。

認知負荷是指人在學習或任務完成過程中進行信息加工所耗費的認知資源的總量，包括三種類型：(1)由學習材料的結構和復雜性引起的內在認知負荷，(2)由信息呈現的形式和方式施加的外在認知負荷，(3)由學習者努力地加工并理解材料所造成的有效認知負荷；在大腦進行信息加工時，三種認知負荷相互疊加、交互作用(Sweller，1988：261)。現有研究發現，不同的信息輸入模態對二語學習者的語篇理解(戴勁，2007)、詞匯記憶(楊學云，2009)、詞義習得(范燁，2014)和聽力解碼能力(邱東林 李紅葉，2010)均有直接的影響。這是因為信息呈現方式直接影響著認知負荷的消耗；認知負荷的消耗量與信息加工的準確性和效率呈負相關，認知負荷消耗越大，信息解碼能力就越弱(Leeser，2004：589)。

頻次在二語習得領域是指學習者語言接觸的經歷或語言練習的次數。頻次效應是指重復的語言練習給學習者語言能力變化和發展所起的作用(Harrington & Dennis，2002：261)。重復練習引起的頻次效應能有效提高學習者的二語能力(周丹丹，2010：55)。頻次理論的倡導者Ellis(2002：186)將頻次視為語言學習的決定性因素。2002年，System出版專號討論頻次作用，Ellis(2002)、Hulstijn(2002)和Larsen-Freeman(2002)等學者從不同角度闡釋了頻次對二語習得的作用機制，涉及語言心理、語言認知、語言教學和語言學習策略等諸多方面。現有研究證實，頻次效應有助于學生掌握外語語音韻律特征(陳樺 孫欣平，2010)，增強學生聽力理解能力(Jensen & Vinther，2003)，改善學生口語流利性和表達質量(譚曉晨 董榮月，2007)，提升學生詞匯與短語學習效率(周丹丹 徐燕，2014)，提高學生的閱讀理解與分析能力(Gorsuch&Taguchi，2010)，增進學生整體的二語寫作水平(周丹丹 黃湘，2015)。

口譯是衡量大學生外語應用、雙語轉換和專業實踐能力的重要指標。口譯技能的獲得和口譯質量的提高需要大量的重復訓練。因此，頻次效應對學習者口譯技能的提高有重要作用。口譯是一個集聽辨、記憶、解碼、重新編碼和輸出于一體的高認知負荷活動(王建華，2015：14)。口譯的質量很大程度上取決于譯員對源語信息的解碼、整合和轉換的能力(Gile，1999：168)，也與源語發言的輸入方式密切相關(王斌華，2012：94)。有鑒于此，我們有必要從認知負荷視角研究練習頻次和輸入模態對口譯質量的影響。

本研究擬考察不同模態的輸入方式與練習頻次對英語專業大學生口譯質量的影響，呈現學生的口譯質量諸指標在不同的輸入模式和頻次作用影響下的細微變化和進步，并基于認知負荷理論揭示輸入模態與練習頻次對口譯質量產生影響的作用機制，以便為理解學生口譯能力發展機制和提高口譯教學質量提供參考。

2.研究設計

2.1 研究問題

本研究設置2個自變量：源語信息輸入模式和口譯練習頻次。本研究設計了3種輸入模式：第一種為多模態輸入(字幕+視頻+語音)；第二種為雙模態輸入(視頻+語音)；第三種為單模態輸入(純語音)；練習頻次設計為3次。本研究主要回答以下問題：(1)在不同的輸入模式下，各頻次間的口譯質量存在何種差異？何種輸入模式下的口譯質量最好？原因何在？(2)不同頻次下的各輸入模式間的口譯質量存在何種差異？哪一個練習頻次下的學生口譯質量進步最大？

2.2 被試

被試為寧波某高校本科英語專業大三學生。樣本數為60，從3個平行班中等數抽取。將被試隨機按照輸入模式分為三組：字幕視聽組、視聽組和純聽組，每組20人。

2.3 實驗材料

實驗所用材料為3個中譯英講話：李嵐清的申奧陳述、胡錦濤在奧運會歡迎宴會上的祝酒辭和劉淇在奧運會閉幕式上的講話，分別用于第一、第二、第三頻次口譯訓練。三個講話以帶中文字幕視頻、不帶字幕視頻和純語音等三種輸入模式分配給三組被試進行口譯訓練。這三個講話話題相同，語言難度相當，語速大致相近。我們在不影響內容完整性的提前下對講話長度進行了剪輯，確保其播放時間大致相同。

2.4 口譯質量指標體系

傳統的口譯標準是準、整、順、快(王斌華，2012：95)。本研究將之操作化為準確性、完整性、流利性和口譯效率等4項口譯質量評價指標。

準確性是指譯語語言使用的準確程度，要求譯語選詞得當、語法正確、邏輯貼切，用譯語語言表達錯誤的頻數來衡量；錯誤越少，準確性就越高。

完整性是指口譯內容輸出的完整程度，要求譯語與源語內容與意義一致，用錯譯漏譯的頻數來衡量；譯語信息錯譯漏譯越少，完整性就越高。

流利性是指語言輸出的流暢程度，要求譯語輸出流暢通達，用非流利因素的頻數來衡量；非流利因素的頻數越少，流利性就越高。非流利因素分為不當停頓①不當停頓分為靜默停頓和有聲停頓兩類。符榮波(2012: 439)將口譯中超過.250秒的靜默片段視為靜默停頓。但目前關于靜默停頓的閾值尚未有公認的標準(徐海銘，2010: 65)。有鑒于此，本研究未將靜默停頓納入考察范圍。有聲停頓主要指不當使用的、影響譯語流利度的語氣詞，如中文的嗯、啊、呃，英文的err、ah、um等。、重復和修補三類，是造成口譯表達不順的常見原因(符榮波，2012：439-440；2013：199-200)。

口譯效率是指單位時間內的口譯量。口譯效率=被試譯文詞數/以秒計量的口譯時間*60，即被試每分鐘的口譯詞數。得分越高，說明被試1分鐘內的口譯字數越多，口譯效率就越高。

根據上述指標定義，我們對被試譯文進行了人工賦碼和標注：WZ用以標注漏譯錯譯；ZQ用以標注各類語言表達錯誤；LL用以標注譯語的非流利因素。標注方法示例如下：

源語：2800多年前在神圣的奧林匹亞興起的奧林匹克運動，是古代希臘人奉獻給人類的寶貴精神和文化財富。誕生于1894年的現代奧林匹克運動，繼承了古代奧林匹克傳統，發展成為當今世界參與最廣泛、影響最深遠的文化體育活動。

譯語：The Olympic Movement started over 2,800 years ago①[WZ].It is a valuable, er②[LL],spiritual and, and③[LL]cultural asset provided to④[ZQ]the human race by ancient Greece, the people of Greece in ancient times⑤[LL].The modern Olympics, which⑥[ZQ]was born in 1894 and has taken on the ancient Olympic traditions and developed into the most influential cultural and sporting event in the world today⑦[WZ].

①源語中的“在神圣的奧林匹亞”未譯出，⑦漏譯原文的“參與最廣泛”，故用WZ來標注；②為不當停頓，③為不當重復，⑤為回修，三者皆為非流利因素，故用LL標注；④短語結構不當，正確的結構應該是provided for或offered to，⑥為句法錯誤，二者均屬語言表達錯誤，因此用ZQ標注。

2.5 實驗步驟

在《英語口譯》課的前三周每周一下午組織各組被試同時進行一次允許做筆記的不限時口譯練習。被試被要求記錄完成口譯任務的時間。教師將口譯錄音轉寫成文字，并根據所設口譯質量評價指標及賦碼方法對轉寫文字進行人工標注。標注先由課題組三位老師分別進行，之后集中統計校對，以確保標注的準確性。

2.6 研究工具與方法

實施實驗前，被試接受了統一的口譯水平測試。試題為2015年5月份的上海市外語中級口譯崗位資格證書考試試題的漢譯英部分。我們采用單因素方差法在SPSS17.0上對各組被試平均成績進行對比，結果顯示三組成績均值之間無顯著差異(=.05，F=2.02，p=.143)。

本研究采用語料庫統計軟件BFSU PowerConc統計WZ、ZQ和LL的頻數。為便于分析，我們將上述指標進行標準化處理，計算出每個被試譯文各項觀察指標每100詞的統計得分。具體方法如下: Z=M/Y*100。Z代表觀察指標得分，M代表觀察指標的頻數，Y代表被試譯文總詞數。以完整性指標為例，假如某個被試譯文錯譯漏譯頻數為16，譯文詞數為377，則完整性指標Z得分為16/377*100=4.24。

本研究利用SPSS17.0對數據進行統計分析，使用一般線性模型重復測量方差法和單因素方差法，對被試口譯質量諸指標得分和口譯總分的均值進行逐項對比分析，以考察輸入模態和頻次對口譯質量的影響。統計分析的顯著性水平設定為=.05。

3．結果與討論

3.1 實驗結果

表1 口譯質量完整性指標的實驗結果

3.1.1 輸入模態和練習頻次對口譯質量完整性的影響

根據表1，三組被試的完整性得分均值均隨口譯練習頻次的增加呈下降趨勢。使用一般線性模型重復測量方差法對各組不同頻次均值之間的統計差異性進行檢驗，結果顯示存在顯著統計差異：字幕視聽組F值為55.74***，視聽組F值為55.10***，純聽組F值為32.98***，表明頻次效應對各組被試口譯內容傳譯的完整性作用顯著。換言之，練習頻次與各組完整性得分呈顯著負相關，三組被試錯譯漏譯數量隨口譯練習頻次的增加顯著減少，譯語內容的完整性逐次大幅提高。

為比較第二頻次和第三頻次對口譯完整性指標的提升作用，我們將各組第二頻次與第一頻次的均值之差的絕對值均(下文簡稱J1)和第三頻次與第二頻次的均差絕對值(下文稱J2)進行對比，發現各組J1大于J2：字幕視聽組J1為.98，大于J2的.93；視聽組J1為.74，大于J2的.47；純聽組J1為1.59，大于J2的.82，說明第二次口譯練習的頻次效應對譯語信息完整性的提升作用更大。

為了解各頻次不同組別均值之間的差異，我們以頻次為自變量，對各組均值進行單因素方差分析，結果顯示均具統計差異性：第一頻次F值為10.97***，采用LSD法進行的續后分析表明字幕視聽組與純聽組均值存在顯著差異，均值差為-1.58***，視聽組與純聽組的均值也差異顯著，均值差為-1.50***；第二頻次F值為3.56*，續后分析表明視聽組與純聽組均值差異顯著，均值差為-.97*；第三頻次F值為7.75**，字幕視聽組與純聽組差異顯著，均值差為-.57*，視聽組與純聽組差異顯著，均值差為-1.08***。上述數據說明，純聽組各頻次完整性指標均值都顯著大于其他兩組；視聽組均值大于字幕視聽組，但差異不顯著；也就是說，純聽組被試在各頻次的信息錯譯漏譯數量最多，視聽組次之，字幕視聽組最少，呈現出輸入模態越多元，譯語信息表達越完整的特點。

3.1.2 輸入模態和練習頻次對口譯質量準確性的影響

表2 口譯質量準確性指標的實驗結果

根據表2，三組被試準確性得分均值在重復的口譯練習中呈下降趨勢。重復測量方差檢驗結果顯示各組不同頻次的均值之間均存在顯著統計差異：字幕視聽組F值為11.58***，視聽組F值為11.83***，純聽組F值為9.94***，說明重復練習對各組口譯目標語語言表達的準確性的提高發揮了顯著的影響。不同輸入模態的被試均通過重復的口譯訓練，大幅減少了語言表達錯誤的數量，極大地改善了譯語輸出質量。

對各組的J1和J2進行對比，發現各組J1均大于J2：字幕視聽組J1為3，大于J2的1.47；視聽組J1為2.64，大于J2的2.17；純聽組的J1為2.62，大于J2的1.15；這說明第二次口譯練習時各組被試語言表達錯誤數量減少的幅度最大，因此第二次訓練是頻次效應發揮影響的最佳節點。

表2顯示，不同頻次各組的均值字幕視聽組最小，視聽組次之，純聽組最大。單因素方差檢驗結果顯示各頻次不同組間的均值不具統計性差異：第一頻次F值為.58；第二頻次F值為1.48；第三頻次F值為1.17。

3.1.3 輸入模態和練習頻次對口譯質量流利性的影響

表3 口譯質量流利性指標的實驗結果

根據表3，三組被試流利性均值呈現逐次下降特點。重復測量方差檢驗結果顯示各組組內不同頻次均值之間存在顯著統計差異：字幕視聽組F值為72.65***，視聽組F值為50.50***，純聽組F值為39.29***，表明不同輸入模態的被試在實施重復性口譯任務過程中不當停頓的數量大幅減少，語言表達的流暢度和連貫性不斷增強，譯語輸出的流利性得到明顯改善。

對各組J1和J2進行對比，發現J1均大于J2：字幕視聽組J1為1.58，大于J2的.73，視聽組J1為1.20，大于后者1.12，純聽組的前者為1.99，大于后者1.29，說明各組被試在實施第二次任務時譯語表達流利度提升的程度最大。

單因素方差檢驗結果顯示各頻次不同組間的均值存在顯著差異：第一頻次F值為15.01***，LSD續后分析表明字幕視聽組和視聽組與純聽組差異顯著，均值差分別為-2.21***和-2.18***；第二頻次F值為9.50***，續后分析也顯示字幕視聽組和視聽組與純聽組差異顯著，均值差分別為-1.80***和-1.38**；第三頻次F值為11.31***，續后分析同樣顯示字幕視聽組和視聽組與純聽組差異顯著，均值差為-1.24***和-1.21***。上述數據說明純聽組被試的流利度最低，與其余兩組在不同頻次上的表現具有顯著性差異。

3.1.4 輸入模態和練習頻次對口譯效率的影響

根據表4，三組被試口譯效率均值隨練習頻次的增加不斷上升。重復測量方差檢驗結果顯示各組內部不同頻次的均值之間存在顯著統計差異：字幕視聽組F值為6.69**，視聽組F值為8.59***，純聽組F值為16.77***，表明練習頻次與口譯效率之間存在顯著正相關，重復練習對被試口譯效率的影響效應顯著，學生可通過持續的口譯訓練大幅提高單位時間內的口譯量。

表4 口譯效率指標的實驗結果

對各組J1和J2進行對比，發現J1均小于J2：字幕視聽組J1為.94，小于J2的16.17；視聽組J1為6.29，小于J2的8.02；純聽組J1為6.89，小于J2的11.27；說明第三頻次是提升口譯的效率最佳節點。

以頻次為自變量的單因素方差檢驗結果表明，各頻次不同組別之間的口譯效率無顯著差異：第一頻次F值為2.08，第二頻次F值為.23，第三頻次F值為2.19。

3.2 基于認知負荷理論的理據分析

3.2.1 練習頻次對口譯質量的提升效應

如前文所示，學生譯語輸出的完整性、準確性、流利性和口譯效率均隨練習頻次的增加顯著進步。從認知心理學上看，學習者的認知負荷與其工作記憶直接相關(Sweller, 1988: 261)。工作記憶分為經過深層認知加工的長期記憶與未經思維深度處理的短期記憶(Baddeley, 2003: 829)。研究證明，工作記憶對二語語篇理解有重要作用，影響著從詞句解碼到語篇意義構建的整個過程(Walter, 2004: 328)。信息和知識以圖式形式存儲于長時記憶；圖式是根據信息的功能及其用途范疇化或經過歸類的信息單元，是一種無需控制性過程的自動化加工單元，在工作記憶中只需極少的貯存空間(Sweller, 2006: 355)。所以，有意識地建構圖式有助于貯存和組織長時記憶中的信息并減少工作記憶的負荷。學習者是在儲存于大腦長期記憶中的前知識中建構概念的。在執行學習任務時，學習者利用前知識從各種以不同形式呈現的外部學習材料中選擇相關信息，然后將所選信息與前知識相結合，最終形成自己的知識結構(Cook, 2006: 1084)。前知識有利于圖式的形成，這些圖式又可以幫助選擇信息建立新的圖式，從而減輕信息加工的內部認知負荷和有效認知負荷。

在重復的口譯練習中，學習者逐漸熟悉了口譯的主題內容和相關的語言表達形式與結構，使之形成相應的圖式，這些圖式以前知識的形態存儲在長期記憶中。這樣，在下次口譯練習時，這些有關某個主題及其相應的語言表達形式就會以前知識的形態，被從長期記憶中迅速調用出來，參與新的信息加工過程，從而減輕了譯員信息處理的內部認知負荷和有效認知負荷，使譯員可以利用更多的認知資源來應對口譯過程中的其他任務，從而使口譯的信息的完整性、語言的準確性、表達的流利性和工作效率得到逐次進步。另外，頻次效應對口譯質量的促進作用也符合學習曲線理論。該理論認為，在一個合理的時間段內，當學習者重復同一學習過程時，其語言處理的自動化水平會不斷地提高，錯誤率和反應潛時會呈負加速度下降趨勢，形成“熟能生巧”效應，學習效能得到極大提高(Patten & Williams,2007: 252)。

3.2.2 輸入模態對口譯質量的影響

口譯是一個集聽、理解、記憶、表達于一體的高認知負荷的活動。譯員需接受源語信息輸入，通過大腦語言認知和信息加工系統對信息進行解碼，最后將之以譯語輸出。在大腦對源語信息進行加工的過程中，認知負荷起著關鍵作用，是影響信息解碼能力的重要因素(Paaset al, 2004:6)。認知負荷的消耗量與信息解碼能力呈顯著負相關，學習者認知負荷消耗量越大，解碼能力就越弱(夏寧滿，2014: 36)。認知負荷的消耗狀況受語言信息輸入方式的影響(Van Merrinboer & Ayres,2005: 12)，不同的外部信息輸入方式直接引起個體認知負荷的變化，從而影響英語信息解碼的速度和效率(Mayer et al, 2001: 191)。

負責信息解碼的人腦信息加工系統里存在兩個獨立的通道：聽覺通道和視覺通道，前者加工聽覺輸入與言語表征，后者加工視覺輸入與圖片表征，每個通道的加工容量是有限的(Leahy et al，2003: 415)。有效的學習要求教學材料能最大限度地發揮模態效應(modality effect)，即所呈現的教學內容可充分調動起學習者的各種感官通道對教學信息進行協同加工，以避免這些信息在工作記憶中“堵車”而出現認知超載，從而影響信息加工的質量與效率(Tindall-Ford et al, 1997:284)。因此，給學習者提供的教學信息應以多模態的形態加以呈現，使用具有文字、圖像和聲音等多模態整合功能的多媒體展示文件或工具，把教學信息多維度、實時、動態地呈現出來，為學習者提供認知支架，如此就能幫助學生有效地注意所呈現的材料，高效地將所呈現材料組織成一個有條理的結構，與大腦中的先知識進行整合，構建出新的理解圖式，從而降低學習過程中認知負荷。

如前所示，三組被試相較，字幕視聽組口譯質量最好，視聽組次之，純聽組各項指標均落后于其他兩組。這是因為在口譯中，采用文字、圖像和聲音等多模態整合的方式輸入信息，能有效地降低譯員的認知負荷。其基本理據是，在口譯中采用多模態的輸入方式，能使文字、圖像和聲音等信息模態實現協同互動，促進進入人腦認知系統的信息得到有效整合，極大地減少了學習者信息解碼需要調取的認知資源，也就減輕了學習者信息加工所需的認知負荷，從而提高了學習者的信息加工能力。換言之，多模態的信息輸入方式，因為形成了一個由文字、圖像和聲音等不同模態構成的有機信息呈現生態，不但沒有增加譯員的認知負荷，反而有助于譯員充分利用聽覺通道和視覺通道對輸入的信息進行協同加工，在工作記憶中建立起文字、聲音和圖像之間的聯系，形成圖式，從而大幅緩解大腦的信息處理壓力。較之于字幕視聽組，視聽組被試由于沒有文字信息的提示作用，其口譯信息處理所需的認知負荷更大，相應地，信息處理能力就更弱，因此口譯質量次于字幕視聽組。純聽組只能依靠單一的語音模態輸入獲取信息，無法像其他兩組那樣通過文字和/或圖像捕獲相關信息，因此信息處理所需的認知負荷消耗量最大，因而信息處理的準確性和效率最低，口譯質量自然不如其他兩組。這一點與辛自強、林崇德(2002)的研究結果不謀而合：組合型音頻信息較之于純語音信息具有不可比擬的優越性，其圖形、圖像等具象信息能激活大腦信息加工體系中的認知圖式；圖式是提高聽力解碼的重要因素，圖式越充足，認知過程中耗費的認知負荷就越小，聽力解碼越容易。

人的認知資源和注意力資源是有限的。在口譯中，譯員要同時完成聽辨、解碼、記憶和輸出等任務，各項任務均需要一定的認知資源和注意力資源來應對，因此認知資源和注意力資源在多任務處理過程中處于競爭狀態。多模態、雙模態的輸入模式有利于減輕譯員聽辨、解碼和記憶的認知負荷，減少其注意力資源的使用，使譯員有更多的認知負荷和注意力資源來處理譯語輸出任務，提高譯語的完整性、準確性、流利性，從而最終提高口譯總體質量。總之，在教學中，較之于用單模態單媒體呈現內容，用多模態多媒體整合的方式呈現教學內容效果更佳。

4．總結與啟示

本研究基于認知負荷理論，考察了輸入模態與練習頻次對口譯質量的影響，研究結果總結如下：首先，練習頻次對口譯質量有顯著的提升作用。第二次練習是發揮頻次效應的最佳節點；其次，輸入模態對口譯質量影響顯著，各頻次不同輸入模態間的口譯質量差異顯著；多模態輸入方式對口譯質量提升作用最大，雙模態次之，單模態最小。第三，重復練習與多模態輸入方式均能有效減輕譯員的認知負荷，提升譯員的信息處理能力和多任務協調能力，從而使口譯質量得到提高。

上述研究給我們口譯教學帶來諸多啟示：首先，應重視重復練習對提升口譯教學質量的積極作用。口譯課是一項實踐性非常強的課程，口譯技能的獲得離不開重復練習。在口譯教學中，要制定有效的練習計劃，在合理的時段內安排學生進行重復性的專項練習，以充分調動學生的長期記憶資源和圖式構建能力，減輕學生的口譯過程中信息加工的內部認知負荷和有效認知負荷，提高學生總體的口譯質量。其次，要注意教學材料呈現的模態效應，在口譯教學中可多采用多模態多媒體的輸入方式，以有效緩解學生信息處理過程中的外部認知負荷，增強學生的多任務協調能力，從而提高學生口譯能力。

本研究基于認知負荷理論分析了輸入模式與練習頻次對口譯質量的影響，對于我們理解學生口譯能力發展機制有重要意義。盡管如此，本研究仍有許多問題尚未觸及，例如，頻次效應和輸入模態的作用與學習者的語言水平和認知風格等個體因素可能存在密切關系，因此研究這些因素間的互動作用機制也極有意義。另外，本研究樣本較小且來自同一高校，研究結果是否具有代表性有待進一步論證。