口譯測試的反撥效應實證研究
——以全國翻譯專業資格（水平）考試為例＊

吳文梅

廈門大學

1 引言

語言測試反撥效應（washback/backwash effect）指語言測試對教師與學生以及語言教學與學習的影響（Hamp-Lyons，1997；Wall，1997；Cheng et al.,2004；Wall，2005；Green，2007），是語言測試社會效果的一個重要方面（Bachman&Palmer，1996），應被視為測試構念效度的一個組成部分，而效度是衡量測試最重要的指標之一（Messick，1996）。由此可見，反撥效應研究非常重要。

2 反撥效應理論

反撥效應理論研究可以追溯至20 世紀五六十年代。弗農（Vernon,1956）與懷斯曼（Wiseman,1961）認為，考試扭曲了教學課程并指責教師在備考課上只注重教授應試技巧而非語言技能。反撥效應理論研究直到20世紀80年代才得到一定發展。斯溫（Swain,1985）提出，試題設計者要以反撥效應為宗旨而工作（work for washback）；莫羅（Morrow,1986）提出反撥效度（washback validity）概念，即衡量考試效度的首要標準是觀測預期反撥效應在多大程度上在實踐中得到印證，而測試效度的高低取決于測試對教學產生正面反撥效應的大小。20世紀90年代，反撥效應理論研究更深入系統，其中，最有代表性的理論研究成果如下。

2.1 PPP反撥效應模式

休斯（Hughes,1993）的模式即參與者（participants）-過程（process）-結果（product）。參與者主要指學生、教師、教學管理者，以及教材設計者與出版者；過程指參與者所采取的有利于教與學的各種措施與行為；結果指所學知識或技能，以及所學知識與技能的質量。該模式指出反撥效應的工作機制，即測試會影響參與者對其教學與學習任務的認知與態度，反過來，認知與態度又會影響參與者完成任務的進程與結果。該模型強調，學生是參與者中尤為重要的一個群體，其學習受考試、各類參與者與參與者行為的影響。

2.2 反撥效應假設

奧爾德森和沃爾（Alderson&Wall,1993）從“學生-教師”與“學習-教學”兩個方面提出l5 個反撥效應假設，比如，測試會影響教學與學習，影響教與學的內容、方法、速度與順序、廣度與深度以及態度等，而且測試會對所有學生與教師產生反撥效應，測試本身可能有正面或負面的雙重反撥效應。后來，奧爾德森和漢普-萊昂斯（Alderson & Hamp-Lyons,1996）發現，測試本身不一定會產生正面或負面的反撥效應，反撥效應的產生也受其他因素影響，如教學理念與風格等，因此他們補充了一個假設：測試會對不同教師與學生產生不同程度與類別的反撥效應。

3 文獻綜述

張建珍（2012）對2001-2010年國內九種主要外語類期刊上的英語語言測試反撥效應研究論文（共計17篇，其中7篇為實證研究論文）進行了檢索與統計。分析顯示，反撥效應研究成果尚少，已有研究成果主要涉及大學英語四、六級考試，英語專業四、八級考試，高考英語測試，小型英語考試，反撥效應與語言測試設計，反撥效應理論模型及其形成因素等方面，缺乏對考試主體的研究，并且以非實證研究為主。

研究者較多關注語言測試及其對教與學的反撥效應研究，其理論研究成果為教學提供目標，并為教師與學生成功實現目標提供理論依據。國外研究者探討了反撥效應的維度與模型等主題（Watanabe，2004；Green，2006、2007；Shih，2007）；國內研究者探討了反撥效應的考試后效、研究模式、理論模型、概念模式，以及多重屬性與主要因素等主題（亓魯霞，2006；陳曉扣，2007；辜向東，2007a；黃大勇，2011；劉曉華、辜向東，2013）。

國內反撥效應實證研究集中于大學英語四、六級考試（金艷，2000，2006；唐雄英，2005；辜向東，2007b；辜向東、彭瑩瑩，2010；石小娟，2010；Wang，2010；肖巍、辜向東，2012；Xie 與Andrews，2012；亓魯霞，2012）與英語專業四、八級考試（陳穎，2009；鄒申、孔菊芳，2013；徐倩，2014；鄒申、徐倩，2014）；國外反撥效應實證研究集中于考試對教學的影響（Cheng，1997；Ferman，2004；Watanabe，2004），而甚少涉及考試對學習的影響（Gosa，2004；Stoneman，2006；Mickan &Motteram，2009；Tsagari，2009；Cheng et al.,2011）。

上述文獻梳理顯示，研究者更關注測試對教師與教學產生的影響，而將學生作為研究對象的研究寥寥可數。國內外語測試研究多關注考試本身，較少涉及考生這一考試主體（劉慶思，2011）。語言測試反撥效應包括測試對教學與學習的影響，而這些論文往往以考試本身為研究對象，而忽視了對學生學習的影響（張建珍，2012），反撥效應研究中對學生及其學習的研究顯得還很不夠（劉曉華、辜向東，2013）。

具體到翻譯測試而言，對于翻譯考試的反撥效應研究屈指可數，而且理論探討多，實證研究嚴重缺乏。翻譯測試的反撥效應作為翻譯學與測試學的交叉領域卻被忽視了（Hatim & Mason，1997；Campbell & Hale，2003）。再具體到口譯測試而言，口譯測試對口譯教與學的反撥效應研究更少，主要有以下兩項：王文宇等（2014）通過2007年與2010年的口譯語料，分析了英語專業八級口譯考試中考生的口譯成績，發現考生的口譯能力（特別是英譯漢能力）不夠令人滿意，并據此提出加強英語專業口譯教學的對策與建議。王洪林（2016）以上海英語高級口譯證書考試第二階段英譯漢考試數據為基礎，探討口譯測試對口譯教學的反撥效應。研究發現，考生普遍語言表達能力較差，百科知識欠缺，心理素質較弱，口譯基本技能欠佳，尤其聽辨能力與短時記憶較差。

漢普-萊昂斯等（Hamp-Lyons, 1997）早就呼吁，出于道德層面的考慮，更多研究應關注學生的觀點及其對反撥效應、考試與考試結果的看法，因為學生才是最直接的風險承擔者。因此，反撥效應實證研究應更多關注備考與考試情況下學生的心理過程、學習過程與學習結果，以及三者之間的關系。

翻譯資格考試在翻譯人才評價、篩選與認證等方面起著重要作用，對翻譯人才培養起著愈加重要的反撥效應。其中，全國翻譯專業資格（水平）考試（CATTI）由于規模大、風險高，其考試結果對考生與其他利益相關者在許多方面都會產生反撥效應。

為探究CATTI對口譯學習過程與學習結果的反撥效應，本文使用了量化研究與質性研究兩種研究方法，利用考試、問卷調查與深度訪談等三種研究工具，調查了該考試對139名（本科或碩士）男女考生的學習過程與學習結果的影響。

4 研究設計

反撥效應的理論研究成果在一定程度上影響其實證研究的質量，為本實證研究奠定理論基礎，實證研究成果為本研究勾勒操作框架，文獻綜述為本研究找出研究定位。下面說明本研究的研究假設、研究對象、研究方法與工具、研究步驟，以及數據收集與分析等情況。

4.1 研究假設

本研究主要基于休斯（Hughes,1993）的PPP 反撥效應模式，以及奧爾德森和沃爾（Alderson&Wall,1993）的反撥效應假設中與學習者相關的理論成果，嘗試探討CATTI口譯考試對考生學習過程與學習結果的反撥效應，并結合該考試、考生與本研究的實際情況與現實條件，提出以下兩個研究假設：（1）CATTI口譯考試影響考生的口譯學習結果；（2）CATTI口譯考試影響考生的口譯學習過程（學習內容、方法與態度等）。

4.2 研究對象

本研究的對象為來自中國與美國共36 所大學的139 名（本科或碩士）男女考生。這些考生來自7 種院校類型、3 種院校層次、7 個（英語或翻譯）專業，并且都參加了CATTI口譯考試。

本研究中的參與者均愿意接受問卷調查與深度訪談。在此之前，本研究者向所有參與者解釋所獲得的任何信息都僅用于學術研究且嚴格保密，讓所有參與者信任并參與。參與者所在院校類型、院校層次與院校地理位置等情況見表1。參與者的性別、所學專業與學歷，以及（未）獲得的CATTI口譯考試證書類別等見圖1、圖2與圖3。

圖1 參與者性別分布

圖2 參與者所學專業與學歷分布

圖3 參與者獲得的CATTI口譯考試證書類別分布

表1 參與者所在院校分布

4.3 研究方法與工具

研究方法的選擇由反撥效應的本質決定。奧爾德森和沃爾（Alderson&Wall,1993）指出，對于反撥效應，我們更多的是談論，缺乏調查；更多的是假設，證據不足。而實證研究以系統化、有計劃的數據收集與分析為特點，包括量化研究與質性研究兩種研究方法。由于反撥效應涉及的變量錯綜復雜，且各變量間相互影響，因此，本研究嘗試使用量化研究與質性研究兩種研究方法，盡可能多層面、多角度、系統深入地描述CATTI口譯考試對考生的口譯學習過程與學習結果產生的反撥效應。

測試反撥效應的研究工具主要有問卷調查、訪談與課堂觀察等。結合CATTI 口譯考試、考生與研究的實際情況與現實條件，本研究采用考試、問卷調查與深度訪談三種研究工具。問卷調查信度高，可做定量研究，且能幫助總結調查結果（Babbie，2001）；訪談針對性強，效度較好（Anastas，1999），屬于定性研究。無論是哪種工具，單獨使用都有其局限性。因此，兩種研究方法與三種研究工具互補互證（即三角驗證法triangulation），多種工具的使用從多個角度反復驗證數據，提高研究效度，從而提高研究質量。具體來說，本研究對139 位（＞100）CATTI 口譯考試考生進行問卷調查并對其中6位進行深度訪談（Dornyei，2007）。

4.3.1 調查問卷

問卷調查的內容是有選擇的，選擇的依據來源于該研究的理論基礎、操作框架、研究定位與研究對象。本研究結合研究目的、反撥效應理論，以及考試、問卷調查與深度訪談的相關理論與方法，利用筆者對反撥效應理論的理解和12年來對口譯教學情況的了解，沿用吳文梅、劉建珠（另文詳述）根據國內外相關文獻的綜述并經過人工統計得到的排位前13項“譯員能力要素”。同時，在調查問卷設計與調查使用前，筆者根據多次向相關專家請教，與資深口譯教師、口譯研究博士生以及口譯專業學生的交流與探討的結果，對該調查問卷進行了反復修改。調查問卷設計完成后，經過兩輪試做、三輪修改，最終定稿。為了提高調查問卷的問題回答真實性，本問卷采用匿名形式，沒有作答時間限制，并允許參與者在任何時段放棄答卷，這在一定程度上保證了調查問卷的效度。

調查問卷包含三部分。（1）基本信息：參與者的性別，所在院校名稱（人工統計院校的類型、層次與地理位置分布情況），所學專業與學歷、（未）獲得的證書類別等。（2）13 個封閉性問題：參加CATTI 口譯考試是否能提高英語能力、漢語能力、抗壓能力、跨文化交際能力、筆記技能、口譯職業道德認識、記憶能力、公眾演講能力、聽辨理解能力、分析能力、表達能力、策略能力與拓展百科知識？（3）1 個開放性問題：參加CATTI口譯考試對口譯學習有何影響？

本調查問卷采用李克特（Likert）五級量表計分，分別代表“非常不同意”到“非常同意”。每項最低評分為1分，最高評分為5分。為方便參與者理解與作答，整份調查問卷使用漢語呈現。

4.3.2 深度訪談

根據調查問卷的題目設置與統計結果，深度訪談相應地針對考試對考生的反撥效應情況進行考察，深入了解各項數據背后的原因。

為收集不同特征考生對該考試反撥效應的看法，在對調查問卷結果進行初步統計分析后，研究者根據參與者的性別，所在院校（院校的類型、層次與地理位置），所學專業與學歷，（未）獲得的證書類別等基本信息從調查問卷參與者中挑選6人進行面對面訪談、電話訪談與書面訪談等形式的深度訪談，深度訪談的對象特征見表2。訪談提綱中的問題需參與者結合考試經歷，學習過程（內容、方法、態度等）與學習結果，全面深入詳細地思考為什么會產生“10+3”項譯員能力要素的反撥效應統計結果的差異。

表2 深度訪談對象特征

4.4 研究步驟

首先，研究者對調查問卷進行預測，適當修改、調整個別措辭，使其利于參與者理解與作答。本調查問卷使用問卷星軟件進行設計、發布與回收，并按照方便抽樣、分層抽樣與隨機抽樣的要求，通過互聯網發送給CATTI口譯考試的考生。在參與者所在院校的選擇上，本研究綜合考慮了院校的類型、層次與地理位置等因素，以確保問卷調查的覆蓋面與代表性。CATTI口譯考試2019年第一次考試時間為6月15日，成績公布時間為8月15日，調查問卷發出時間為9月3日，截至9月5日回收調查問卷141份。由于每題均為必答題，所以不存在空白卷、答題率低等問題。經過對回收的調查問卷進行仔細甄別、篩選與整理，本研究將回答單一（同一參與者的全部回答為同一選項）、回答前后矛盾的問卷視為問題卷。同時，研究者刪除了未參加CATTI考試（盡管本調查問卷在卷首部分提醒參與者應為參加過該考試的學生）、未正確填寫所在院校名稱的無效問卷各1份，所以，有效調查問卷共計139份。抽樣結果與設計方案的要求基本相符。

隨后，研究者對其中6 名參與者進行深度訪談，采用錄音與筆記兩種形式進行記錄。

4.5 數據收集與分析

研究者將所有數據在2019年9月5日收集完畢，然后對這些數據進行相應處理與分析。數據分析分兩步進行。

首先，研究者先用問卷星軟件SPSS 對問卷調查數據進行在線統計分析。其中，對1個開放性問題，研究者通過對數據的詮釋，將有關影響因素概括為考生對考試的理解、考生對自己作為學習者的認識、考生以往的考試與學習經歷、他人的考試經歷以及學習環境。這些編碼最后濃縮成兩大類，即學什么與怎么學（學習內容、方法與態度）。

其次，研究者將深度訪談的錄音轉換成文字，并對所獲文字進行分類與概括。文本的轉寫、數據的核對與分析均由研究者完成。研究者采用歸納法分析深度訪談數據，按照艾利斯和巴爾克赫伊曾（Ellis&Barkhuizen，2005）提出的質性數據分析步驟展開，對數據進行了直讀與詮釋。研究者對深度訪談參與者的考試經歷，學習過程（學習內容、方法與態度），學習結果以及關于“10+3”項譯員能力要素反撥效應的深度訪談結果等所有與考試有關的數據進行歸納與編碼。

在進行具體統計之前，研究者首先對原始數據進行信度檢驗，結果顯示內部一致性信度系數為0.915（＞0.9）（Dornyei，2003）。由此可見，調查問卷的信度較高，內部一致性較好，數據非常適宜進行統計分析。

5 結論

本研究呈現并討論該考試對139 名男女考生的學習過程與學習結果反撥效應的問卷調查與深度訪談的結果。表3呈現了調查問卷中13個封閉性問題的統計結果。鑒于研究目的，本研究重點關注CATTI口譯考試對考生學習結果，即譯員能力要素提高的影響。圖4呈現了該考試對考生的譯員能力要素提高的同意度。

圖4 參與者同意度統計

表3 CATTI口譯考試對考生譯員能力要素的反撥效應

根據問卷調查與深度訪談的結果，本研究提出并回答了如下兩個研究假設：（1）CATTI口譯考試影響考生的口譯學習結果；（2）CATTI口譯考試影響考生的口譯學習過程。

5.1 CATTI口譯考試影響考生的口譯學習結果（調查問卷封閉性問題）

CATTI口譯考試考查并檢驗了考生在此階段的學習結果，提高了考生的聽辨理解能力、表達能力、筆記技能、分析能力、英語能力、抗壓能力、記憶能力、策略能力、漢語能力、公眾演講能力、跨文化交際能力、口譯職業道德認識，并拓展了百科知識。

但是，考生對該考試的譯員能力要素提高的同意度有差異。半數以上考生認為，該考試能提高考生的前10 項能力。然而，只有29.49%至43.88%的考生認為，該考試能提高考生的公眾演講能力、跨文化交際能力與口譯職業道德認識。這在一定程度上可以促使考生根據測試的反饋，了解、反思自身的口譯能力與水平，選擇學習內容、注重學習方法，端正學習態度。

5.2 CATTI口譯考試影響考生的口譯學習過程（調查問卷開放性問題）

調查問卷中1個開放性問題（參加CATTI口譯考試對口譯學習有何影響）的結果顯示：一些因素會調節考試的反撥效應，如考生對考試的理解、自我認識、過去的考試與學習經歷、他人的考試經歷以及學習環境等。這些因素與備考情況下考生怎么學相關。原因有兩個方面。一方面，一些考生對考試認識不夠，使得其學習行為僅發生了量的改變。另一方面，當考生調整怎么學時，很大程度上受到其過去學習與考試經歷的影響。概括來說，考試的積極反撥效應需多要素、各方面與全過程的協同作用與配合才能實現。

考生們反映，參加該考試可以反饋學習效果，進而督促訓練，提高積極性，也可以提高學習興趣、信心與動力，養成緊跟時事的習慣、毅力與耐心，學習目標更明確。

5.3 CATTI口譯考試影響考生的口譯學習過程與學習結果（深度訪談）

深度訪談主要結合考生的考試經歷，學習過程（學習內容、方法與態度）與學習結果，圍繞考試對考生的10+3項譯員能力要素提高的反撥效應及其相關同意度差異，全面、深入、詳細地探討為何會產生此統計結果。

深度訪談結果顯示，該考試對考生的學習過程產生了多樣化影響。

5.3.1 學習內容方面

考試內容不但會直接影響學習內容，也會通過影響教材或備考材料的編寫而間接影響學習內容。考試形式也會影響學習的針對性，這主要體現在針對具體考試題型的應試技能訓練。因此，考生重視語言知識、專題知識與百科知識等知識的學習。同時，考生特別注重技能訓練，因為聽辨理解、分析與表達等技能在口譯考試中起重要作用。雖然考試的內容、形式等因素會影響學習行為，但由于個體因素的參與，這些因素的影響又因人而異。

5.3.2 學習方法方面

考生對考試設計的感知與對考試用途的看法直接影響備考方法與策略，從而影響考試成績。大多數考生傾向工具取向型動機，導致短期的、策略偏少的學習行為，而僅有少數考生有成就取向型學習動機，表現在有長期學習計劃，以全面提高能力為目標。但是，考生主要依靠已有學習方法準備考試，缺乏有效的方法來區別對待不同考試。

5.3.3 學習態度等方面

對學習與考試的態度、能力水平、努力程度、學習動機與興趣，以及學習目標等因素都會介入考試對學習的反撥效應。考生備考現象較普遍，但由于其學習目標不同，備考時間與強度有異。考生能力水平往往與考試的難度相互作用，形成對考試的感知難度，并影響其是否付出努力以及努力的程度。總體來說，中等能力水平的考生面臨考試時付出的努力最多，對考試抱有的期望也最大。

總之，考試對考生的積極反撥效應大于消極反撥效應。考試對考生今后的口譯學習起到了較好的導向作用，可以有效督促其學習行為并指引學習重點，而且提高了口譯能力，尤其是在以后有意識地培養口譯能力方面。

6 建議

針對本研究得出的上述研究結論，為進一步增強CATTI口譯考試對考生口譯學習過程（學習內容、方法與態度等）與學習結果（即提高譯員能力）等的顯性積極反撥效應，以及提高測試任務效度，本研究在完善考試設計理念與增加相關資源投入方面提出以下五點建議。

6.1 增加“現場口譯”考試環節

作為考查譯員能力的專業資格（水平）考試，CATTI口譯考試雖然設置了口譯測試的錄音材料與書面試卷，也配備了人機對話設備，但缺少中外評委的現場評分互動與中外聽眾的現場參與互動，所以未能充分平衡地創設模擬真實的現場口譯環境。如果能夠增加現場口譯環節，則考生不僅需要注重口譯產品的現場語言質量，還需注重副語言與非語言行為的現場表現，如此自然會涉及跨文化交際能力、口譯職業道德認識與公眾演講能力，當然也包括抗壓能力與策略能力等多項譯員能力要素的考核與提高。比如，廈門大學英語口譯證書考試的三四級考試就采用現場口譯面試，分值占總分的10%。

6.2 增加“概要口譯”考試題型

鑒于口譯質量標準、口譯現場壓力與口譯任務難度，尤其對新手譯員來說，概要口譯能較好地考查考生的理解能力、邏輯分析能力與轉換能力等雙語輸入與輸出能力。比如，全國翻譯專業八級考試（TTIM-8）（英語口譯科目）概要口述部分與廈門大學主辦的海峽兩岸口譯大賽采用的主旨口譯環節就采用的概要口譯考試題型。

6.3 增加“百科知識”與“職業道德”考試內容

口譯是一項考查譯員的語言知識、專題知識與百科知識等全面知識的活動，CATTI口譯考試可以增加對譯員專題知識與百科知識（如中外的政治、經濟、文化、社會、地理、歷史、文學、科技等領域的基本知識與從事相關行業口譯所需的相關專業知識）等內容的考查。比如，翻譯碩士專業（MTI）入學考試與全國翻譯專業八級考試（TTIM-8）（英語口譯科目）就采用了百科知識測試。此外，CATTI口譯考試還可以增加對譯員職業道德（如語言服務產業的基本運作機制以及口譯職業規范）等內容的考核，可參考全國翻譯專業八級考試（TTIM-8）（英語口譯科目）采用的職業道德測試。

6.4 增加“口譯實踐”考核部分

由于口譯是一項實踐性、職業型與專業化等特征極其明顯的認知—社會行為，各項譯員能力要素需要在口譯實踐中逐步提高，所以CATTI口譯考試可以增加考生已經參與的口譯實踐經歷的考核部分。比如，翻譯碩士專業（MTI）入學考試就有學生的實踐學分部分，即用人單位出具的記錄學生口譯實踐經歷時長的工作證明或口譯實踐錄音資料等。

6.5 擴大考試主題覆蓋面或考前公布當次考試主題及其主要相關信息

口譯實踐涉及的行業領域多，主題專題也多，而CATTI口譯考試當次考試能涉及的主題有限，涉及的專業知識不廣，練習材料與考試材料不夠貼近現場口譯實際。為了盡量保障考試對大多數考生的公平性與測試效度，盡力保持類似于口譯實踐（如現場口譯前可獲得當次口譯活動的有關信息資料）、口譯比賽（如廈門大學主辦的海峽兩岸口譯大賽賽前一周公布當次比賽的主題）與口譯考試（如廈門大學英語口譯證書考試考前一周公布當次考試的主題與關鍵詞）的客觀現實性與科學合理性，考試前一定時間內可以公布當次考試的主題及其主要相關信息，如口譯場合、講話人背景、講話主題、關鍵詞、主要觀點，以便考生進行相關的考前準備。如此，則能更好地體現測試的真實性原則，既能考查考生的譯前準備能力，又能降低考生因在主題知識掌握方面差異過大而給評估帶來的負面影響，從而更為客觀公正地評估考生的口譯能力（陳菁、肖曉燕，2014）。

7 結語

劉潤清（2003）認為，有測試就有應試；如果測試本身設計合理，應試過程本身也可以變為扎實的學習過程。引起譯員能力提高、參與反撥效應過程的潛在因素很多，如學生水平、教師差異、教學條件等。尤其是，大規模、高風險考試下的學習是一個過程，需要長時間系統跟蹤調查。雖然該考試是引起這些變化的主要因素之一，但譯員能力變化是諸多因素協同作用的結果。一個考試對學與教的影響到底是正面的還是負面的，這是一種價值判斷。在判斷口譯考試是否反映科學的交際語言能力觀的同時，還需考慮反撥效應研究的考生群體特征、考試場合與現場口譯的差異、時間條件，以及研究的目的與方法等，只有這樣才能全面深刻地把握反撥效應的本質。