翻譯能力測試構念和效度研究?
——以俄語翻譯碩士專業學位為例

韓博文

（北京外國語大學俄語學院，北京 100089）

提 要：截止至2020年，全國共有21所院校開設俄語翻譯專業，教學中翻譯能力的界定一直是翻譯學者關注的問題之一。本文以PACTE翻譯能力模式為基礎，對俄語翻譯碩士專業的翻譯能力進行分析和討論，并在此基礎上，對測試構念和效度兩方面問題進行剖析，以測促評，以測促建，對俄語翻譯碩士專業教學起到積極的反撥作用。

1 引言

新世紀以來，國內高校紛紛設立翻譯碩士專業學位（以下簡稱MTI）或成立高翻學院。2006年經教育部批準，國內3所大學首次獲批作為試點開設英語MTI，“招生規模從2007年約350人，發展到2017年超8000人”（仲偉合2017：7－10）。俄語MTI招生開始于2009年。

MTI的核心培養任務是提高學生的翻譯能力，而對翻譯能力的測試成為翻譯專業教學中的核心問題，對于“教什么”和“怎么教”有較強的指導作用。翻譯能力測試在很大程度借用語言測試理論，測試的“構念與效度”是以測試分數為基礎對假設的能力做出推理判斷。它主要研究兩個方面的問題：一個是從正面提出能力構成作為翻譯測試的判斷依據，另一個方面是通過實驗證據對測試進行效度驗證。

2 翻譯能力構念的界定

2.1 翻譯能力

翻譯能力是通過翻譯過程和結果，對譯者內在能力的一種理論假設，是一種抽象概念。翻譯能力一直是翻譯理論研究關注的焦點問題之一，國內外諸多學者從不同視角提出諸多翻譯能力模式。國外學者對翻譯能力中“能力”概念的界定從不同視角有著不同詮釋，Pym（1992）和Hatim（1997）等學者認為翻譯能力中的“能力”是一種技能（ability或skills）或者是屬于應用（performance）性質。依照Chomsky對行為表現和“理想說話者、聽話者”語言能力的區別，也有學者認為翻譯能力中“能力”應為competence.Campbell經過多次修正，認為翻譯能力是以譯者為研究中心，翻譯過程為研究對象的一種能力，包括譯者的性情、熟練程度和監控能力（Campbell 1998：8－26）。

國內學者結合翻譯研究本地化特點對翻譯能力概念進行界定，認為翻譯能力是由若干個相互關聯、作用、補充、辨識的要素子能力構成。姜秋霞和權曉輝（2002：11－15）認為翻譯能力是由語言能力、審美機制能力、轉換能力和文化能力構成。劉宓慶認為翻譯能力是源語的語言分析能力與文化思辨能力通過審美判斷能力轉換成譯語的雙向表達能力與邏輯校正能力（劉宓慶2003：34）。多項子能力的觀點越來越被研究者接受，即翻譯能力可以拆分成若干多元要素次能力。

2.2 俄語MTI專業翻譯能力構念模式

巴塞羅那自治大學的PACTE研究小組成立于1997年10月，以西班牙語、英語和加泰羅尼亞語等語種為研究對象，利用實證—實驗研究方法，一直致力于翻譯能力的特性、組成和習得過程及評估等問題的研究。該小組借用“語言能力”構念，基于假設前提，認為翻譯能力不僅是一種雙語技能、交際能力或主觀條件，提出TC多元要素模型，是迄今為止最為系統、復雜的可視化翻譯能力模型，該模型被翻譯界研究者廣泛接受，對于教學中翻譯能力的界定有較強的指導意義。TC模型由6個要素組成，6要素間是一個動態、相互作用的系統，如圖1所示（PACTE 2008：106－107）。

圖1 TC模型要素圖

翻譯專業教學核心任務是培養提高學生的翻譯能力，而測試翻譯能力的核心就是將翻譯能力拆分成子能力多元要素進行評估，測試命題時圍繞翻譯能力多元要素，通過翻譯實踐操作體現。

3 俄語MTI專業背景下的翻譯能力測試

3.1 翻譯能力測試實踐

我國現有翻譯測試有兩類，第一類為教育部與北京外國語大學聯合舉辦的全國外語翻譯資格考試，只針對英語一個語種；第二類是人力資源和社會保障部委托中國外文出版發行事業局組織和實施的全國翻譯專業資格（水平）考試（CATTI），涵蓋俄語、日語、阿拉伯語、西班牙語、英語、法語等8個語種。CATTI分為4個等級，分別對翻譯口譯和筆譯能力進行測試和評價，俄語MTI專業學位的研究生入學前如未取得二級口譯或筆譯證書，學習期間必須參加口譯或筆譯二級測試。我們擬以二級筆譯考試為例，對CATTI測試的內容進行介紹。俄語MTI在校生免試“筆譯綜合能力”，只需參加“筆譯實務”的考試，考試時間為180分鐘，題型為2篇俄譯漢，約八百個俄語單詞，2篇漢譯俄，約四百個漢字。

CATTI二級筆譯俄語測試中“筆譯實務”題型較為單一，以篇章翻譯來考查譯者的翻譯技巧和策略，無法全面評測學生的俄語翻譯能力，忽略測試的效度要求。俄語MTI在校課程“筆譯綜合能力”的題型為閱讀理解、詞匯語法選擇題和完形填空，著重測試學生的語言能力。翻譯活動是在真實情景中語際間的轉換，因此應確保目標語使用特征與測試特征具有一致性、真實性和多樣性。該考試中譯者的超語言子能力要素、工具子能力要素等考查不能有效、客觀地反映出來。

3.2 翻譯測試的分類

根據測試題型的類別差異，將翻譯測試分為分立式測試和綜合測試（徐莉娜1998：31）。分立式測試方法一般為客觀題，具有較高的信度，題型為選擇、判斷、改錯，考查學生的翻譯知識和技能。綜合測試一般為主觀題，題型為譯評題、篇章翻譯、問答題等。根據測試目的與終生學習教育理念，測試分為終結性測試和形成性測試，終結性測試是課程學習的效果，形成性測試是課程的發展。

3.3 測試構念的提出

構念為測試提供一個概念特征框架，是檢查人類行為特質或變量的假設性概念（AERA et al.2014：11－15）。測試構念則是以測試為顯現基礎，將不可測量的行為過程變為可觀測有意義的闡釋，是測試效度研究的必要先提條件。測試構念內涵特點有兩方面的顯著特質：第一，測試的設計者從理論和實證兩個方面，結合研究結果提出理論假設；第二，測試構念通過可觀察事件表現，翻譯能力測試構念是由若干相關聯子能力要素集合成的構念域（construct domain）。

俄語MTI專業測試以學生學習成果為考察對象，為保障測試和評估具有較高的可行性、信度和效度，要結合職業翻譯評估方法。國內開設俄語MTI院校中，測試文本體裁多是文學翻譯語體。根據PACTE的TC模型，對于翻譯知識子能力、超語言子能力、工具子能力等方面考察還不夠全面。我們應結合不同體裁文本，針對不同目標，使用不同的評估標準對翻譯能力各項子能力要素進行測量考查。

我國《翻譯專業碩士學位基本要求（2018）》（以下簡稱《要求》）對MTI專業明確規定學生能力的考查目標，學生應具備“語言能力、翻譯能力、跨文化交際能力、百科知識獲取能力及團隊協作能力”。翻譯能力測試構念以效度為導向，結合TC模型對翻譯能力構念界定和《要求》為基礎，對測試的內容、方式和評價等進行設計。

3.4 表征行為子能力構念測量

翻譯測試根據測量原則、理論和目標能力而判斷測試是否涵蓋翻譯能力構念中的各子能力要素。區別于語言測試，翻譯測試功能具有多重性特點，對6個表征行為子能力進行考查。我們以俄語MTI專業為例，各表征行為子能力與測量要素間關系概況如表1所示。

表1 俄語MTI專業翻譯能力表征行為子能力的測量

3.5 測試的設計與實施

俄語MTI翻譯能力測試是一個教學評估過程，在TC模型多元要素指導下，我們對翻譯測試設計原則、試題題型、評分方法進行闡釋。

3.51 試題設計原則

翻譯測試的試題設計原則應遵循一致性、多樣性和真實性原則以及應有良好的測試效度。一致性指對翻譯能力多元要素的測試需與教學大綱知識內容一致，測試的特征與目標語使用任務特征需保持一致（Bachman 1996：23）。多樣性指在目標語言使用域，語段和語篇選取上保證句法、語用結構的多樣性。真實性指測試任務（test task）和真實的目標語使用任務（TLU task）之間的相關聯程度（同上：46）。

基于認知效度和效度整體觀，翻譯測試效度是對考試結果做出判斷和決策提供的驗證證據。既要關注測試效度的統一性，也應考慮效度的差異性，在測試中應充分將TC模型的子能力元素納入效度考查范圍。

3.52 測試題型

科學的測試題型是保證測試效度的基礎，翻譯測試以診斷翻譯能力為目的，命題的難度為重要依據。PISA2015測試框架提出，認知需求、解答問題所需知識數量、術語的復雜程度與命題難度密切相關。參數設定法指根據源語的題材、文化符號、語境特點來確定試題難度。根據翻譯測試分立式測試和綜合測試分類觀點，除CATTI測試規定的題型之外，常見的測試題型還包括：（1）判斷正誤：考查學生的漢俄互譯基礎知識，試題錯誤類型不僅局限語言上，還要涉及語境得體使用的語用能力。（2）譯文評述：考查學生翻譯知識深度與綜合分析能力，對指定語篇的譯語進行翻譯評論，用辯證、動態的視角來審視翻譯過程和譯文的巧拙。

3.53 評分方法

關于翻譯測試的標準和評分方法，不同的MTI培養院校和翻譯組織都有各自的評價體系。為保證客觀、公正、準確評估翻譯能力，翻譯測試評分方法我們采用“整體印象評分法和分項評分法相結合的方式”（嚴明2012：27－28）。整體印象評分法是評卷人根據翻譯任務總體完成效果打分，即依據設定的譯語若干個翻譯評分參數，其中參數包括：源語信息是否有遺漏、語言和語域選擇是否適當、語法是否正確、語義是否清晰、有無嚴重錯誤干擾譯語的理解等。參照美國譯者協會（ATA）研發的5級評分等級量表，依據譯語的完成效果，從源語的理解和譯語的表達視角，我們將整體印象評分劃分成5級評分等級量表，其中5級為最高級大師級。分項評分法是評卷人通過分析翻譯文本和任務過程所表現的6個維度子能力作為評分指標，賦予每個子能力要素一定的權重／分值。測試目的不同，子能力要素權重／分值配比也不同。分項評分法兼顧考查學生翻譯子能力要素不均衡的發展，適用于以教學成果檢驗為目的的診斷方法。

在俄語MTI翻譯能力測試中我們采用整體印象評分與分項評分相加，將二者得分合成總分的評分方式。該評分方式的優點在于一方面可以將翻譯能力進行總體判斷，另一方面可以將翻譯能力分解成可以測量的表征行為進行考查，并據此準確地推斷學生的翻譯能力。

4 翻譯能力測試效度研究

4.1 測試效度框架研究

效度因素反映測試目的成功實現程度，是否考查翻譯能力預期內容，效度是測試質量的有效闡釋。Weir的社會認知效驗框架如圖2所示，將理論框架從社會、認知與評分3個層面對測試效度進行驗證，體現出翻譯測試中言語交際功能的社會屬性和認知過程。語境效度、理論效度、效標關聯效度、評分效度和后效效度彼此間關聯，用于相關效度關系做出理性假設（Weir 2005：12）。該框架按照測試的時間順序，將效度驗證過程分為“測試前、實施階段和測試后”3個階段（嚴明 呂曉軒2018：100）。本研究以俄語MTI課程“俄漢經貿翻譯”測試為證據來源，為翻譯能力測試效度驗證提供一個理論框架。

圖2 社會認知校驗框架（Weir 2005）

4.2 測試效度診斷：以俄漢科技翻譯為例

“俄漢科技翻譯”是針對俄語MTI二年級上學期開設的一門課程，測試對象人數為26人，測試時間為120分鐘，試卷由5個部分組成，試題內容側重考查翻譯專業技能、翻譯專業知識和科技相關專業知識，命題性質為產出性試題與接受性試題相結合。俄漢科技翻譯題型設計如表2所示。

表2 俄漢科技翻譯測試試卷構成

4.3 基于認知效驗框架下效度驗證模式

本研究收集俄漢科技翻譯測試的相關數據，結合調查、訪談等方式，基于Weir的社會認知效驗框架，從語境效度、理論效度、效標關聯效度、評分效度和后效效度5個效度維度對翻譯能力測試進行效度驗證。

第一，語境效度是測試內容對于學生所學知識掌握程度及科技語體翻譯能力的水平判斷，測試的翻譯涵蓋測試任務“所提出的語言要求、對話者的需求和任務情境要求”（Weir 2005：19）。語境效度是教學與測試間一致性的效度驗證，反映測試內容與預期項目的關聯。閱卷專家通過教學大綱與測試分值比例、試卷構成之間的契合度來評價測試的語境效度。

第二，理論效度是5個效度驗證的核心效度，是測試構念可操作化檢驗的重要驗證手段，用于驗證測試是否達到預期的目的。俄語MTI測試構念是對翻譯能力的測量，依據本文對翻譯能力構念的界定，結合測試實證做出測試推論的適合性效度。理論效度反映學生的雙語次子能力、翻譯的技巧和策略，互文轉換和功能對等表征能力。

第三，校標關聯效度是測試工作結果與外部校標關聯性的解釋說明，外部校標是學生另外一門考試的成績，測試成績與外部校標間的相關系數體現出測試目標的校標關聯效度。學生提供的外部校標成績應與所做測試相關聯，從而保證測試結果校標關聯效度的解釋具有公平性和概推性。

第四，評分效度是主觀題的評分驗證。俄漢科技翻譯考試主觀題評分是由兩位專家根據整體印象評分和分項評分得分相加的綜合評分方法進行背對背打分，利用SPSS 20.0軟件對結果的評分效度進行校驗。回訪結果進行校驗表明KMO值大于0.9，為0.905，Cronbach'α系數顯示內部一致性在0.815－0.837之間，表明該課程測試具有良好的評分效度。

第五，后效效度是測試結果對教學方法和學生學習效果的影響，通過對測試結果和測試后學生調查反饋信息的收集，用于分析測試結果預期和非預期教學反撥作用，指導學生對自我翻譯能力的有效認知和改進，進一步提高教學方法和內容。

5 結束語

俄語MTI教學的核心任務是培養學生的翻譯能力，翻譯能力測試是將“翻譯能力”拆分成可以量化評估因素的科學衡量過程，而效度驗證是保障測試質量的有效手段。本文依據現有測試理論與教學經驗，確定俄語MTI專業測試的原則、設計與實施和評分方法。并以“俄漢科技翻譯”課程為例，闡釋翻譯能力測試的效度研究框架。希望通過本研究進一步推動俄語MTI專業教學質量，對教學起到積極地反撥作用。