大學英語網絡教學中單元測試分界分數的設定

【摘要】該研究運用經典的安哥夫標準設定法為新理念大學英語網絡教學系統的單元測試設定分界分數， 從北京、上海、深圳、重慶四地挑選了40位專家參與研究。 在標準設定過程中采取一系列措施把誤差控制到最低。通過對專家們得出數據的計算和分析，該研究確定了單元測試的分界標準。

【關鍵詞】新理念大學英語網絡教學系統; 單元測試; 分界分數; 安哥夫標準設定法

【中圖分類號】G420 【文獻標識碼】B 【論文編號】1009—8097(2010)09—0076—04

隨著網絡技術的發展和迅速普及，互聯網介入了大學英語教學，這使得大學英語教學模式發生了巨大變化。大學英語教學從傳統的以教師講授為主的單一教學模式逐漸演變為采用基于計算機和課堂的英語教學相結合的模式。網絡英語教學作為一種新興的教學模式正在快速發展。這一教學模式改革順應了社會發展的趨勢也符合學生對英語學習的要求。

與此同時，《大學英語課程教學要求》提出:“大學英語的教學目標是培養學生的英語綜合應用能力，特別是聽說能力，使他們在今后學習、工作和社會交往中能用英語有效地進行交際，同時增強其自主學習能力，提高綜合文化素養，以適應我國社會發展和國際交流的需要”。[1]要實現這一目標，培養學生自主學習能力是關鍵所在。大學英語網絡教學模式要求體現學生在教學過程中的主體地位:學生選擇適合自己的學習材料和方法學習，通過完成網絡單元測試，學生和老師得到即時的學習情況反饋，教師針對學生不同問題進行學習策略的指導，從而逐步提高學生自主學習的能力。

在上述基于計算機的英語學習過程中，網絡單元測試是一個重要的環節。通過單元測試，老師可以了解學生的知識掌握情況，如果單元測試合格，學生自動進入下一單元的學習;如果不合格，學生則返回學習課程，重新開始本單元學習。如何設定單元測試及格分數是這一重要環節中的重點。它的設定直接影響學生的學習進度、自信心和學習興趣。

我國多年來一直把百分制的60分設為考試及格分數，這樣的設置往往缺乏科學性，因為忽略了試題的難度、考生之間的差異、試題內容的差異等重要因素。在心理與教育測量領域，采用不同的分界標準會得到不同的及格分數。即使是同一次測試，也會出現幾個不同的及格分數。對一些同學來說，用一個及格分數可以通過測試，而用另一個及格分數卻不能通過。分界標準究竟如何確定和在哪里確定，這一問題一直爭論不斷。本文將運用眾多標準設定法中最經典，最常用的安哥夫標準設定法設定新理念大學英語網絡教學系統中單元測試的及格分數，希望能運用該分數去準確區分掌握單元知識和沒掌握單元知識的同學。

一 為何選用安哥夫標準設定法

在客觀標準化測驗中常用的制定及格線的方法很多，如:對照組標準設定法，邊緣組標準設定法，聶習思基標準設定法及安哥夫標準設定法等等。這些標準設定法各有利弊。其中安哥夫標準設定法由于其可靠性高，易于操作，便于計算切分點，適于成績分析的特點而被廣泛運用。[2]

安哥夫標準設定法是現今最流行，應用最廣泛的標準設定法。[3]正如Berk所指出，該標準設定法與其他方法比較有其獨特的優勢:它能提供適當的分類信息，充分可靠的統計信息并能識別真正的標準。[4]這些都是完成本次研究最重要的部分。然而美國國家教育局的報告也指出其局限性:對測試每一題的判斷非常難，而判斷得出的結果與被挑選參與的專家直接相關。[6]在比較了諸多分界方法以及安哥夫標準設定法的利弊后，本文決定采用安哥夫標準設定法，并針對其局限性在專家的選擇和標準設置過程中采取一些彌補措施，力求把誤差控制到最低。

二 安哥夫標準設定法簡介

安哥夫標準設定法(1971)分為三個步驟。在前兩步，專家們分別獨立找出及格分數，并估計出可以達到某一個標準的最低水平的學生，我們稱之為邊緣組。在最后一步，專家們互相討論并調整他們的標準。該方法需要專家們對測試的每一個題目進行研究，然后估計邊緣組可以正確回答每一道題的概率。使用此種方法主要需參照測驗本身的信息，如試題內容和難度等，所以我們稱之為以測驗為中心的方法。在使用安哥夫標準設定法時有兩個關鍵點:一為邊緣組，是指可以達到某一標準的最低水平的考生群體(既最低勝任能力的考生群體);二為可能正確回答每一道題的概率，是指100名最低勝任能力的考生中，有多少人能正確回答某題。

三 研究過程及結果

1 研究樣本

本次研究選用新理念大學英語網絡教學系統第四冊第三，四單元后的測試(第四冊第二次單元測試)作為研究試題樣本。由于少數同學在網上完成第一，二單元測試時還不太熟悉測試過程，甚至因電腦操作失誤而丟分，本文為了讓統計數據更真實、準確的反映學生情況，選擇第二次測試作為研究樣本，給學生一個熟悉的過程。

完成兩個單元的學習內容后，同學即可開始單元測試進行自我檢測。單元測試主要檢測各位同學的聽力能力是否達到該階段要求。單元測試聽力部分總分為70分，分為:短對話(10%)，填表(20%)，聽短文判斷正誤(10%)，聽短文選擇(10%)，短文填空(10%)及看視頻判斷正誤(10%)六種題型，共80小題。研究試題樣本與其余單元測試在題型、分值分布及題目數量上完全相同， 測試難度隨著學習知識的增多相應加大，所以研究得出的分界分數可用于其余的單元測試，具有一定參考價值。本次研究主要為聽力部分設定分界標準。

2 專家的選擇與培訓

專家的選擇與培訓是安哥夫標準設定法非常重要的組成部分，因為專家組的判斷直接影響最后及格分數的高低。研究中，為了彌補安哥夫標準設定法的局限性并盡量將誤差值控制得最小，在選擇專家時考慮到了專家的代表性。挑選專家時以性別、年齡、職稱、工作地點等不同因素為參考，進行平衡選擇。最后從北京，上海，深圳，重慶四地分別選擇了10名經驗豐富的大學英語教師(共40人)，其中男教師20名，女教師20名，專家組的年齡在30—55歲之間，分別包括講師、副教授和教授。他們不僅教學經驗豐富，而且非常熟悉學生情況。

確定專家后，下一步需向他們介紹單元測試的性質、目的、內容和形式。由于大部分專家是首次參與該類評估，他們對安哥夫標準設定法的步驟并不熟悉，這些都需在培訓環節中給專家們解釋清楚。

培訓中需要向專家們闡明大學英語課程教學對學生聽力的三個層次要求，讓專家們以此作為標尺對題目難度進行判斷。它們分別為:

一般要求:能聽懂英語授課，能聽懂日常英語談話和一般性題材的講座，能聽懂語速較慢(每分鐘130-150詞)的英語廣播和電視節目，能掌握其中心大意，抓住要點。能運用基本的聽力技巧。

較高要求:能聽懂英語談話和講座，能基本聽懂題材熟悉、篇幅較長的英語廣播和電視節目，語速為每分鐘150-180詞，能掌握其中心大意，抓住要點和相關細節。能基本聽懂用英語講授的專業課程。

更高要求:能基本聽懂英語國家的廣播電視節目，掌握其中心大意，抓住要點。能聽懂英語國家人士正常語速的談話。能聽懂用英語講授的專業課程和英語講座。[1]

以這三個層次的要求作為標準，專家們對單元測試的所有題目進行試聽、分類、比較，最后以答對題目學生的百分比來判斷每一題的難度。

培訓的最后環節是讓專家對單元測試樣題進行試評。首先從樣題中分別選出題型、難度各異的10題。然后讓專家根據自己對邊緣組同學聽力能力的理解來判斷他們答對該10道題的概率。概率越大，證明答對該題的同學越多，既該題難度就越小;反之則難度越大。為了降低專家判斷難度，縮小判斷誤差，本次研究根據題目難度事先設定9種概率:高難度，5%、15%、25%;中等難度，40%、50%、60%;容易，75%、 85%、95%。專家仔細研究題目后，從9種概率中進行獨立選擇判斷。最后專家們對比各自的數據，對出現的差異進行討論，并試圖找出出現差異的原因。

3 界定最低勝任能力的考生群體

界定最低勝任能力的考生群體(即邊緣組考生)，是使用安哥夫標準設定法的關鍵，并直接影響最后數據的準確性。邊緣組學生是聽力能力剛好能通過新理念大學英語網絡教學單元測試的同學。由于各班同學英語程度不同，邊緣組可能是一個班里的差等生，也可能是一個班里的中等生，需根據具體情況而定。

由于專家教學經驗豐富且熟悉學生情況，他們首先根據大學英語課程教學對聽力的三個層次要求、考試的性質和目的以及自己對學科認識討論出最低勝任能力考生所應具備的知識和技能，從而界定出最低勝任能力的考生群體。在此過程中，專家還需進行討論，并指出最低勝任能力的考生在該測試中的一些具體表現和特征。這樣能使隨后的概率判斷更容易、清晰、準確，從而控制誤差，保證最后數據的準確性。

4 正式評判

經過培訓、試評、討論和對邊緣組考生的界定，專家對該研究有更深的了解，同時對題目難度的判斷也把握得更準確，更一致。有了這樣的前提，專家可以開始正式評判了。

專家們首先獨立完成樣本試題的6個題型(共80小題)， 并根據事先設定的9種概率:高難度，5%、15%、25%;中等難度，40%、50%、60%;容易，75%、85%、95%對題目難度進行選擇判斷，全部完成后專家根據聽力正確答案調整自己的判斷。整個過程需要一小時左右，專家一氣呵成對所有題目的判斷，中間不設休息時間，這樣有利于判斷標準的統一，同時專家也更能體會考生做題的感受，有助于提高判斷的準確性。

為了讓最終結果更為準確一致，在第一輪判斷結束后，本次研究最后采用了由Livingston 和Ziekey提出的改良安哥夫標準設定法。[5]專家公布各自的判斷結果，并就判定的結果進行討論，闡述判定理由。針對判定結果差異較大的題目，專家認真比較研究。討論結束后，專家們再各自進行第二輪題目判斷。通過兩次判斷，專家們得出的最終判定結果更為準確一致。

5 數據匯總，計算合格線

使用安哥夫標準設定法最大的優勢就是數據容易匯總統計。在專家估計出邊緣組考生能夠正確回答樣本試題每小題的概率后，將專家對樣本試題中80小題估計的概率值求和， 既為專家估計的分界分數，再將每位專家的分界分數求平均既為樣本試題的分界分數。具體情況如下表:

如上表所示，來自北京、上海、深圳、重慶的40位專家判定的樣本試題分界分數各不相同。為了便于比較，本文按地區分類，分別算出了每地區10位專家判斷的平均分界分數，分別是:北京38.10、上海38.58、深圳38.02、重慶37.44。從專家們得出的具體結果來看，上海的測試分界分數最高，北京次之，深圳居于第三位，重慶最低。這些計算結果證明了各地學生英語水平各不相同的事實，因此我們在設定測試及格分數時也應有所差異。上表不同的數據為我們今后在各地使用新理念大學英語網絡教學系統設定具體的單元測試分界分數提供了依據。

數據匯總最后一步是把各地的平均分界分數相加并再次求出平均值，得出樣本試題的分界分數:38.04。該分界分數為新理念大學英語網絡教學系統單元測試的參考分界分數。

6 數據分析

根據離差公式:離差分數 = - (其中 為樣本數據，即專家對考生回答樣本試題的判斷數據; 為樣本均值，即專家判斷結果的均值)可以判斷，本次研究題目判斷的最大離差為.41，最小離差為.00。離差表明了樣本與均值之間的差距。本次研究離差偏大的情況僅存在于少數專家對少量題目的判斷中。由于采取了不同措施控制和減少誤差，并在研究最后一步采用了改良的安哥夫標準設定法，專家得出的最后數據較接近，存在的個體差異也較小，這證明了本次研究數據的準確性。

四 與實測數據比較

截止2009年4月23日，本次研究收集匯總了深圳大學二年級1974名同學完成研究樣本(新理念大學英語網絡教學系統第四冊三，四單元測試)的數據，并把實測數據與研究數據進行了對比，結果如下表:

通過對比，我們發現深圳大學實測結果比研究算出的分界分數低1.79分，與研究結果相差不大。從單項題型來看，深圳大學的實測分數在聽短文選擇和短文填空分別高出專家判斷的平均值;而在短對話、填表和判斷題上，深圳大學的實測結果分數落后于各地平均值。

五 結論

從總體上看，本次研究各位專家得出的分界分數數據接近，個體差異較小，最后數據與實測數據比較也相差不大。這些都證明了結論數據的準確性，同時也說明了本次研究專家判斷的及格分數是符合實際情況要求的。本次研究得出的數據和為樣本試題設定的分界分數為今后大學英語網絡教學單元測試設定分界分數提供了科學的依據。

綜上所述，為了能讓《大學英語課程教學要求》得到進一步的貫徹和實施，更加有效的完成大學英語的教學目標，我們在基于計算機的英語教學過程中，一定要認真研究測試這一重要環節。本文雖然運用安哥夫標準設定法設定了單元測試的分界標準，但是由于地區差異和各專家之間存在主觀差異，他們對邊緣組的理解不盡相同，所以專家評判得出的結果也有差異。[7]這些都是本次研究出現細微差異的主要原因。在今后的工作和研究中，我們要以《大學英語課程教學要求》為指導，結合學校的具體情況，準確、合理地設定單元測試分界分數，抓好教學評估這一環節，從而更加客觀、全面、科學地評定學生的學習成績，促進學生更好地學習。

參考文獻

[1] 教育部高等教育司.大學英語課堂教學要求[M].北京:外語教學與研究出版社，2007:1.

[2] 弓嫣嫣，孫寶志.用安哥夫方法制定及格線的研究[J].醫學教育，1995，(2):40-42.

[3] Angoff，W.H.Scales，Norms and Equivalent Scores，in: R.L.

Thorndike(Ed.)[J]Educational Measurement，1971，2:508-600.

[4] Berk，R.A Consumer’s Guide to Setting Standards on Criterion-referenced Tests[J].Review of Educational Research， 1986，56:137-172.

[5] Livingston，S.，Zieky，M.Passing Score:A manual for setting standards of performance on educational and occupational tests[M].Princeton，New Jersey:Educational Testing Service， 1982.

[6] Shepard， L.A.，Glaser，R.，Linn，R.L.Setting Performance Standards for Student Achievement [M].Stanford， CA:Stanford University， National Academy of Education，1993.

[7] ireci，S.G.，Robin，F.，Pateils，T.Using Cluster Analysis to Facilitate Standard Setting[J].Applied Measurement in Education， 1999， 12: 301-325.