外語學能之語言分析能力試題的開發、試測與效度研究

李蘭榮

(北京師范大學外國語言文學學院，北京 100875)

1.0 引言

外語學能是影響外語學習的重要個體因素。(Skehan，1989)根據Carroll(1981:86)給出的定義，外語學能指的是“個體學習一門外語的最初準備狀態和能力，以及學外語時可能的容易程度”。簡單地說，它就是一種“學習外語的特殊能力”(Ellis，2008:652)。Carroll(同上)在大量實證研究的基礎上，對外語學能的性質和結構作出了以下陳述:首先，外語學能不是學習外語的必要條件，但在學習條件和動機程度相似的情況下，個體所擁有的外語學能能夠預測其學習某門外語的快慢和輕松程度;其次，外語學能不是一個不可再分的構念，而是由幾個相互聯系又相對獨立的成分構成，包括了語音編碼能力(phonetic coding ability，對語音的編碼和記憶能力)、歸納語言學習能力(inductive language learning ability，從新的材料中歸納規則并運用規則的能力)、語法敏感性(grammatical sensitivity，識別單詞或短語在句子中的語法功能的能力)和關聯記憶能力(associative memory，構建外語單詞和母語意義之間的聯系的能力);最后，外語學能在個體的一生中是相對穩定的。

在學能測試工具方面，上個世紀50年代末，Carroll＆Sapon(1959)開發出了“現代外語學能測試”(Modern Language Aptitude Test，簡稱 MLAT)，目的是用來預測那些在強化外語學習環境中大學生或成人的外語學習的成功程度。之后，Pimsleur(1966，轉引自 Pimsleur，Reed ＆ Stansfield，2004)又研制出針對中學生的語言學能組題(Language Aptitude Battery，簡稱PLAB)。多項研究表明，外語學習者的MLAT和PLAB的分數與外語學習成績和外語水平存在顯著相關，相關系數經常在0.4～0.6(參看Skehan于1989，1998，2002年關于這方面研究的回顧)，MLAT和PLAB也隨之已成為被研究者最廣為認可的且具有較高信度和效度的學能測量工具，并成為研制新的學能試題的基準。然而，MLAT和PLAB畢竟是為英語母語人士設計的，直接用它們來測非英語母語學習者會不可避免地產生傾向性。(吳一安等，1993)

中國擁有世界上人數最多的外語學習群體。然而盡管外語學能如此重要，在這方面的研究與國外相比卻相對滯后。回顧國內關于外語學能的研究，多數是對國外研究的綜述和介紹(如范琳、杜國寧，2001;戴運財、蔡金亭，2008)，只有少數研究者(吳一安等，1993;戴運財，2006;馬拯、王同順，2011)進行了實證研究。國內的這些研究都不同程度地表明了外語學能是影響外語學習的重要個體因素，然而這些研究都直接使用了MLAT，對于研究中國的外語學習者，直接使用MLAT顯然存在很大的局限性。因而，推動國內外語學能研究深入開展的一個重要前提就是研制出適合中國外語學習者的且具有較高信度和效度的外語學能工具。鑒于開發整套試題的復雜性和任務的艱巨性，本文的研究目的只集中于開發測量歸納語言學習能力和語法敏感性的外語學能試題。

2.0 國內在外語學能測量工具方面的研究

國內已有研究者在學能測量工具方面做過一些有益的探索。例如劉濤等(2005)試圖開發測量外語學能中的語法敏感性的工具。他們按照學生的英語成績選取了高分組和低分組各15名學生。為了探討哪項任務最能揭示學生的語法敏感性，他們設計了8項不同的任務。他們的研究結果表明生造詞、英語排歧義句和段落閱讀與不同英語科目的成績存在顯著性相關，而所有漢語部分的測試均與英語學習成績不存在相關，他們對此的解釋是漢語與英語屬于不同的語系，因而漢語語法敏感性無法預測屬于不同語系的英語成績。然而，他們的這個結論首先與前人的研究結果相悖(Carroll，1962)，即對母語的語法敏感性是可以預測學習者學習任何外語的成功程度的，盡管這種成功程度確實會隨著不同的語言而有稍微的差異。一個最有可能的解釋是他們設計的漢語試題并未有效地測量出受試在語法敏感性上的差異，這可能與測試任務的質量本身有關系，但對于測試質量本身的數據研究者們并未提供。其次，劉濤等(2005)認為的生造詞、英語排歧義句和段落閱讀可以有效測試外語學能的結論難以令人信服。盡管他們設計的試題是在測量被試的外語學能，但用一種學習者正在學習的外語作為試題語言會干擾對測量結果的解釋，因為受試的外語水平會直接影響其在學能試題上的能力表現。(Abedi，2006)因此，盡管劉濤等人在設計適合中國外語學習者的外語學能試題方面做了有益的嘗試，然而，從總體上來言，這些試題還是無法被用于進一步的推廣使用。

劉駿和蔣楠(2006)也試圖開發適合中國大、中學生的外語學能的整套外語學能試題。他們參照了MLAT和PLAB。301名外語一年級英語專業學生參加了他們設計的學能試題的測試。盡管研究結果表明外語學能總分與三項外語成績(入學時的分班英語成績，第一學期的期末成績和這兩者的平均值)存在不同程度的相關(相關系數從 .154到 .306)，但總的來講這些相關系數與國外的一些使用MLAT和PLAB的研究比起來，系數還是有點偏低。另外，他們的研究也未提供關于試題質量本身的數據。夏慧言(2011)也試圖開發適合中國學生的外語學能試題。她在參照國外的學能測試工具的基礎上設計了兩套外語學能試題，一套是基于法語的，一套是基于韓語的。她的研究結果發現，基于法語的學能測試能夠解釋學生在第四學期的英語期末成績的31.6%的方差，但基于韓語的學能測試沒有進入回歸模型。作者根據這個研究發現認為基于韓語的學能測試無法預測學生的外語學能。作者對試題內部各部分的分數進行了相關性研究，并從多個角度對試題進行了效度驗證，然而遺憾的是作者并未提供學能試題的信度數據和各個部分與學生的英語成績的相關性數據，而僅憑漢語語法敏感性與學能試題其他部分的分數的相關性就斷定漢語語法敏感性可以預測外語學能的結論缺乏充分的依據。同時，如果運用基于法語或韓語的外語學能試題來測試正在學習或學習過這兩門外語的中國學習者時，他們的學能成績勢必會受到這兩種外語水平的影響，因而使用一種現成的且具有較大學習群體的自然語言來研制外語學能工具必然會使學能工具的推廣性受到限制。

綜上所述，盡管以往的研究在開發外語學能試題方面做出了有益的探索，但在開發一套具有較高信度和效度且具有推廣性的學能測試工具方面，這些努力整體上還不算成功。鑒于這些問題和不足，本研究試圖在這方面繼續探索?？紤]到已有的學能理論和研制整套學能試題的復雜性，本文從研究外語學能中最為穩定的成分入手:即歸納語言學習能力和語法敏感性。Skehan(1998)認為兩者可以合二為一，統稱為語言分析能力。歸納語言學習能力和語法敏感性也分別在MLAT的第四部分(句中詞)和PLAB的第四部分(語言分析)得到了較好的體現。因此本文從理論框架和實際操作中采用了Carroll(1981)的理論框架，而從名稱上則把這兩個成分合二為一。作者在設計這兩個學能的測試工具時，也主要參考了MLAT和PLAB的相關部分。本次研究的主要問題是:

(1)中國外語學習者是否存在歸納語言學習能力和語法敏感性上的差異性?

(2)這兩個外語學能成分的測試題的難度、區分度和信度如何?

(3)修改后的語言分析能力學能試題是否與學生的英語學習成績和英語水平存在相關?

3.0 研究設計

3.1 被試

參加本次學能測試的是34名中國某重點高校英語專業三年級的本科生。他們的母語全部是漢語。他們來自選修該校某門課程的同一個班級，其中男生有4人，女生有30人。平均年齡為21.09歲。

3.2 研究材料和工具

3.2.1 歸納語言學習能力試題

由于MLAT的試題中沒有專門測量的歸納語言學習能力的試題部分，本研究在設計歸納語言學習能力時模仿了PLAB中的第四部分“語言分析”。PLAB-4包含有15道題?？紤]到最終包含在總的學能測試題中這部分的題目數量，這部分也相應地設計了15道題目，每道題目均是四選一的單選題。在正式的題目之前有題目說明和一道例題。學生先會看到帶有漢語意思的兩個人工語言的單詞和句子。被試需要根據給出的漢語句子，想出這個句子相對應的外語翻譯。例題的具體形式如下:

下面給出了兩個外語單詞和一個外語句子以及它們相對應的漢語意思:

aijo:媽媽

la ponra:那只狗

aijo la ponram ne:媽媽喜歡那只狗。

現在請你根據上面給出的內容，想想下面的中文句子該如何用這種新的語言來表達:

那只狗喜歡媽媽。

3.2.2 語法敏感性試題

語法敏感性部分設計時模仿了MLAT第四部分“句子中的詞”。原題目有45道題目。每道題中先給出一個關鍵句，其中有一個詞被重點標出。第二個句子中有5個劃線的單詞。被試需要從這5個單詞中選出與關鍵句中的劃線單詞的語法功能類似的單詞。由于考慮到實際的課堂時間的限制和這部分最終要采納的試題數目，這部分編制了35道題目。每道題目均是五選一的單選題。下面是一個例題:

仔細閱讀下面兩個句子，第二個句子中的哪個單詞與第一個句子中的“北京”在句中所起的作用是一樣的?

3.2.3 問卷

所有的被試被要求在答完第一部分和第二部分的試題之后，再完成一份關于被試的基本信息、其他語言學習情況、和對本次試題難度進行反饋的一個調查問卷。

3.2.4 英語學習成績和水平測試

由于學生處于三年級，給他們所開設的課程中能夠反映他們的英語語言能力的科目只有高級英語閱讀和高級英語寫作。因此，本研究運用查詢的方式獲取了他們第一學期的這兩個科目的期末考試成績。另外，為了進一步搜集關于他們的英語語言能力的證據，作者又搜集了這些學生在二年級下學期的英語專業四級考試(簡稱TEM-4)的成績。

3.3 研究步驟

語言分析能力學能試題在2012年的三月份對學生進行了施測。測試在正常的課堂時間內進行。在考試進行施測之前，作者向學生講明了本次研究的目的，測試過程中的注意事項等，現場由另一位老師協助監考。由于是預試，其主要目的是探索哪些題目能夠較好地測量學生的歸納語言學習能力和語法敏感性。因此，本研究中沒有設定嚴格的考試時間，而是在測試之前告訴學生考試時間約為35分鐘，但可以提前交卷。根據筆者在現場的記錄，第一個交卷的學生大概用了33分鐘答完全部試題。最后一名交卷的學生大概用了45分鐘全部答完試題。

3.4 數據分析

對于收集來的數據全部用SPSS 16.0進行了試題質量分析和相關性分析。首先，在對這兩部分的試題的描述性分析、題目質量分析和信度分析的結果的基礎上，對質量不符合要求的題目進行了刪減，以求得最佳信度。之后，為了檢驗題目刪減后的試題的效度，又用皮爾遜積差分析法研究了被試在學能成分試題上的分數與他們上學期高級英語閱讀和寫作的英語學習成績和他們的TEM-4成績的相關性。

4.0 結果與討論

4.1 語言分析能力試題的描述性數據

本研究的第一個研究問題是“中國外語學習者是否存在歸納語言學習能力和語法敏感性上的差異性”。為了回答這個研究問題，表1給出了學能試題的描述性數據。

表1 歸納語言學習能力和語法敏感性試題總分的描述性數據

第一部分共有15道題，每題1分，滿分15分。在這34名被試中，最低分為9分，最高分為15分，平均分約為13.18分，標準差為1.64。偏度為 -.650，峰度為-.329。從這里的數據可以看出第一部分歸納語言學習能力的試題偏易。第二部分的最低分為15分，最高分為30分，平均分為25分。標準差為4.01。偏度為 -1.271，峰度為 1.11。從第二部分的描述性數據可以看出這部分試題難易適中，且分布趨向正態。

4.2 試題的難度、區分度和信度分析

為了考查所涉及的試題質量，作者對所涉及的每一道試題進行了難度、區分度和這兩部分試題的信度分析?，F在我們再來看這兩部分試題的難度和區分度數據。

表2 歸納語言學習能力試題的難度和區分度

從表2可以看出，第一部分多道題目的難度為1(第2、3、4、11 題)，導致其區分度為 0，這說明這些題目太容易，所有的學生都能答對，因而無法區分在在這個能力上高與低的學生。其中一個原因可能是這部分測試沒有設定答題的時間限制，有的學生可能在這部分花了更多的時間試圖把題目全部作對。另外一個原因可能是學生都來自一所重點大學的一個班級，他們入學時候的英語高考成績普遍較高且分布集中，他們本身可能已經具備了較強的歸納語言分析能力。最后，由于這部分是模仿PLAB的第四部分研制的，而PLAB主要針對的是13到19歲的以英語為母語的中學生，因而從以上的研究結果可以推斷此次研究中的被試的語言分析能力可能無法被PLAB的語言分析部分有效測出來。由于這部分存在多道太過容易的題目，導致這部分整體的難度較低，區分度也不高(平均區分度為0.31)。

表3 語法敏感性試題的難度和區分度

從表3可以看出，雖然第二部分語法敏感性試題整體上要比第一部分難(難度系數為.72)，但第二部分中有多個試題的區分度為負(第2、6、14、22、34題)，這說明這些題目沒有能夠很好地區分在語法敏感上能力高和能力低的學生，這也直接導致了該部分題目的平均區分度系數(.29)還要低于第一部分。

現在我們再來看這兩部分試題的信度系數。

表5 歸納語言學習能力試題的項目-總分數據

綜合這部分每道題目的難度、區分度和信度系數，一些過于容易的、區分度較低的、影響內部一致性系數的題目被刪除。下面是第一部分刪除了第2、3、4、5、6、11、15 題之后第一部分試題的內部一致性系數(.634)。這個信度系數還是有點偏低，這一方面與剩下的題目的數量較少有關，另一方面也與受試者在這部分的得分普遍偏高有關，導致了這部分試題的信度較低。

表6 題目刪減后的歸納語言學習能力試題的原始信度

接下來是第二部分語法敏感性試題的原始信度分析數據。

表7 語法敏感性試題的原始信度系數

表8 語法敏感性試題的項目-總分數據

表9 題目刪減后的語法敏感性試題的信度

與第一部分的歸納性語言學習能力試題一樣，基于每道題目的難度和區分度以及它們對整個部分試題的信度的貢獻率，刪除質量較差的題目后，語法敏感性試題的內部一致性系數最高達到.802(見表9)。

4.3 學能與英語學習成績和英語水平的相關性

為了檢驗題目刪減后的學能試題的效度，我們現在來看學生在這兩部分的試題分數與他們在第一學期的高級英語閱讀、高級英語寫作和TEM-4的相關性。

表10 題目刪減后的語言分析能力試題與英語專業四級和上學期期末成績的相關性數據

從上面的數據可以看出，第一部分可能由于信度較低，因而它不管是與英語閱讀、英語寫作的成績還是與學生的英語專業四級成績均不存在顯著性相關。第二部分語法敏感性試題分數與學生上學期的高級英語寫作成績存在顯著性相關，相關系數達到.438。這與D?rnyei＆ Skehan(2003)在他們對外語學能與外語學習的相關性研究進行回顧時取得的結果是一致的，即相關系數范圍在0.2到0.6，平均為0.4。這部分試題與英語專業四級成績的相關系數為.310，盡管p值(.079)在統計學意義上不顯著，但仍可以看出這個值接近.05。語法敏感性與學生的高級英語閱讀分數也不存在相關。這個結果表明語法敏感性可能與寫作存在較高的相關，另一種可能是不管是英語專業四級成績還是高級英語閱讀的成績未能準確地反映出這些學生實際的英語閱讀能力。

另外，從上面的數據我們還可以看出，歸納語言學習能力和語法敏感性試題之間不存在相關，這對Skehan(1998)所認為的兩者存在較高的相關性的假設似乎提供了相反的證據，然而對這個結果最可能的解釋是這與試題的質量本身有關系，如第一部分試題過易及信度過低導致與第二部分不相關。

為了進一步驗證語法敏感性與英語寫作之間的關系，筆者把學生的語法敏感性分數作為自變量，把英語寫作成績作為因變量，對二者進行了一元回歸分析。表11和表12顯示的是回歸分析的結果。

表11 回歸模型綜述表

表12 回歸系數表

a.因變量:高級英語寫作

從表11可以看出，R平方為.192。方差分析結果中F值統計量的顯著值為.011。表12中顯示語法敏感性的Beta標準系數為.438，其t值達到了顯著性水平。這表明被試的高級英語寫作成績中19%的變異可以由他們的語法敏感性來解釋，這在一定程度上為語法敏感性試題的效度提供了證據。

5.0 結語

本文報告了語言分析能力試題的開發、試測的研究結果，并通過研究學能試題成績與英語成績和水平測試成績的相關性來對試題的效度進行驗證。關于學能試題的描述性數據和質量分析數據表明歸納性語言學習能力試題的難度偏低，直接影響了這部分試題的區分度、信度和與外語學習的相關性。第二部分的語法敏感性試題表明難易適中。在刪去一些不合格的題目之后，這部分達到了良好的內部一致性，且與學生的英語寫作成績存在顯著性相關。然而，此次研究還存在諸多的局限性，例如受試樣本過小，而且他們都來自同一所學校的同一個班級，這個群體的同質性會對試題的信度造成直接的影響。同時，由于樣本過小，其他的效度研究如因子分析則無法展開。本次設計的試題需要在修改后施測于更為廣泛的外語學習群體來進一步驗證其信度和效度。同時，開發適合中國外語學習者外語學能試題還需要對外語學能的其他成分進行進一步的研究。

［1］Abedi，J.Language Issues in Item-Development［A］.In S.M.Downing＆ T.M.Haladyna(eds.)Handbook of Test Development［C］.New Jersey:Lawrence Erlbaum，2006.377-398.

［2］Carroll，J.B.，＆ S.M.Sapon.Modern Language Aptitude Test(MLAT)［M］.San Antonio:Psychological Corporation，1959.

［3］Carroll，J.B.The prediction of success in intensive foreign language training［A］.In R.Glaser(ed.).Training and Research in Education［C］.Pittsburgh:University of Pittsburgh Press，1962.87-136.

［4］Carroll，J.B.Twenty-five years of research on foreign language aptitude［A］.In K.C.Diller(ed.).Individual Differences and Universals in Language Learning Aptitude［C］.Rowley，MA:Newbury House，1981.83-118.

［5］D?rnyei，Z.＆ P.Skehan，Individual differences in second language learning［A］.In C.Doughty＆ M.Long(eds.).The Handbook of Second Language Acquisition ［C］.Oxford:Blackwell，2003.589-630.

［6］Ellis，R.The Study of Second Language Acquisition(2nd ed.)［M］.Oxford:Oxford University Press，2008.

［7］Pimsleur，P.，D.J.Reed ＆ C.W.Stansfield.PimsleurLanguageAptitudeBattery:Manual［M］.Bethesda，MD:Second Language Testing，Inc.，2004.

［8］Skehan P.Individual Differences in Second Language Acquisition［M］.London:Edward Arnold，1989.

［9］Skehan P.A Cognitive Approach to Language Learning［M］.Oxford:Oxford University Press，1998.

［10］Skehan，P.Theorising and updating aptitude［A］. InP. Robinson(ed.). Individual Differences and Instructed Language Learning［C］.Philadelphia:John Benjamins，2002.69-93.

［11］戴運財.語言學能對二語習得的影響［J］.外語教學與研究，2006，(6):451-459.

［12］戴運財，蔡金亭.二語習得中的語言學能研究:回顧、現狀、思考與展望［J］.外國語，2008，(5):80-90.

［13］范琳，杜國寧.語言潛能及其對語言學習的影響［J］.山東外語教學，2001，(2):65-68.

［14］劉駿，蔣楠.中國學生外語學習能力傾向研究［J］.中國外語，2006，(4):63-68.

［15］劉濤，劉利民，鄧雋.語言學能傾向中語法敏感性測驗指標的相關系數法研究［J］.西南民族大學學報(人文社科版)，2005，(10):292-295.

［16］馬拯，王同順.外語學能和工作記憶對外語閱讀的影響［J］.山東外語教學，2011，(3):41-47.

［17］吳一安，劉潤清＆P.Jeffrey.中國英語本科學生素質調查報告［J］.外語教學與研究，1993，(1):36-46.

［18］夏慧言.漢語語境下的外語學能測試研究及效度驗證［J］.山東外語教學，2011，(5):52-55.