大學英語測試中信度和效度的個案研究——以呂梁學院為例

樊紅紅

（呂梁學院 外語系，山西 呂梁 033000）

目前，對大學英語教學成果的評價主要還是通過一系列的測試。無論是全國性的大學英語四六級考試，還是大學每個學期的期終考試，都是通過測試來評價大學生的英語學習成績。2014年，呂梁學院大學英語測試進行了改革，改過去的終結(jié)性評價為形成性評價+終結(jié)性評價，即平時考核加上期末的測試。平時的考核主要是對學生寫作和翻譯這兩類主觀題的測試。通過這兩類題型來測試學生的英語語言運用能力和英語綜合技能運用能力，這樣可以提高英語測試的效度。期末考試則模擬四級考試的聽力，閱讀等客觀試題類型來對學生進行測評，不同級別的題分別由兩位不同的老師負責出A、B兩種試卷。出題要求與大學英語四級卷相似。這兩類題可以衡量學生對英語基本能力的掌握。這類題通常題量較大，相對而言，基本能保證評分的客觀準確，從而有效地提高測試的信度。盡管如此，在實際的考核中也存在一些問題，命題時，不同的老師負責命不同題型，命題的難度系數(shù)就會存在有差異；不同的命題老師對語言點測試的側(cè)重點不盡相同，有的是大相徑庭，且對主、客觀試題的評分標準的確定也會有偏差；所命的題目是否能較好地反映學生的學習效果、是否對教師的教師的教學具有反駁作用；命題是否遵循了教學大綱總體目標；教師的專業(yè)素養(yǎng)是否也會對命題信度和效度產(chǎn)生負面影響等。這一切均都對測試的信度和效度產(chǎn)生不同程度的影響。

一、信度和效度

（一）信度

信度就是語言測試的可靠性。它體現(xiàn)了測試結(jié)果與試題，試題與被測試者之間的關(guān)系［1］。信度主要受被測試者的水平，試題的質(zhì)量、數(shù)量，考試結(jié)果的評價，測試的組織和實施等因素的影響。如果所有被測者的水平接近，試卷的可靠性較低，如果被測試者的水平間隔性較大，可靠性就較高。試題題量少，可靠性就低；題量大，可靠性就越高。同時，考試的結(jié)果要有一定的離散度，要呈正態(tài)分布，也就是說試題的區(qū)分度要高，即可以把不同層次的被測者區(qū)分開來，并且試題的難度要適中，這樣才能區(qū)分被測者的水平，測試的內(nèi)容應與被測者相適應，應屬于被測者的能力水平之內(nèi)。如果測試問題太難或太容易，或測試分數(shù)發(fā)現(xiàn)在一個點和一個地區(qū)，那么測試也會失去可靠性［2］。在組織和實施測試方面，測試環(huán)境和條件應有利于考試。另外，無論測試環(huán)境和條件是否一致，所有的被測者也會影響測試的信度。

（二）效度

效度就是語言測試的有效性。即測試所考的內(nèi)容是否符合命題者想要考的內(nèi)容［1］。也就是說測試是否達到了考核的目的。效度顯示了測試和測試目標之間的關(guān)系，也就是說，效度檢驗我們的測試是否達到了預期目的。效度在測試中是很重要的。如果一次測試的信度很高，但所考的內(nèi)容并不是想考的或應考的，那么該測試的效度就不高。相應地，這樣的測試就毫無意義。在我國，衡量和區(qū)分人與人之間的差異主要是通過各種各樣的考試，但幾乎所有的考試都是關(guān)注考試結(jié)果，即只注重測試結(jié)果的可靠性。人們很少對測試結(jié)果進行分析［3］。這樣久而久之，命題者還是按照慣例去命題，測試的效度就很難提高。因此，我們應加強對測試的效度的研究，因為，在測試中效度與信度一樣重要，任何一方面的忽略都不能保證測試題的質(zhì)量。

二、大學英語測試中信度與效度的現(xiàn)狀

呂梁學院平時考核主要是寫作和翻譯，即主觀題的考核。期末則以聽力、閱讀等客觀題的形式來命題。在教師評分的過程中，主觀題需要閱卷者根據(jù)自己所讀到的內(nèi)容進行主觀判斷，這種判斷的結(jié)果決定學生的考試成績。主觀題越多，效度就越高。主觀測試旨在衡量學生的英語語言運用能力。因此，平時對大學生的測試側(cè)重的是考試的效度，而忽視的是測試的信度，盡管這類的測試不是沒有信度。與之相反，每個學期的期終測試題型主要是聽力理解題和閱讀理解題，測試的形式多半是選擇題、判斷題等客觀題型。這種題目的答案具有唯一性或固定性，這種題型主要有機器來閱，無需閱卷人的主觀判斷。它測試的主要是大學生對大學英語基礎(chǔ)知識掌握，主要考查大學生的語言三要素中的其中兩項，即考查的是他們的語法知識運用和詞匯知識運用。這種題型的優(yōu)點是評分客觀準確，不受閱卷人主觀情緒的影響；這種題考查的目的比較單一，答題比較簡單，因此，覆蓋面很廣，有利于學生雙基能力，即基礎(chǔ)知識和基本技能的全面考查；這種題目有助于考查學生的答題速度；這種題型還可以用機器閱卷，這樣可以大幅度的提高閱卷效率、節(jié)省大量的人力和物力；這種題的評分標準比較客觀，對被測者也能提供比較準確的評價，進而提高了測試的信度。因此，這種測試的信度較高。這種題目的不利因素主要是考生會投機取巧，不會的題目，他們會采取投硬幣或是瞎猜去解題，這樣就會降低其評價的效度。

呂梁學院大學英語測試目前尚無口語測評。口語測試是一種比較傳統(tǒng)的題型，其優(yōu)點是能夠考查大學生的語音語調(diào)、詞匯量的大小、語法知識豐富與否等，最重要是考查了學生綜合運用語言的能力?？谡Z測試的不利因素主要體現(xiàn)在考生與測試老師面對面，必定會差生心理壓力，影響考查的效度；另外，測試需要的考官比較多，而且耗時比較長，有時還需要電話設(shè)備等測試輔助手段等。其評分標準的尺度把握會因考官的不同而不盡相同，客觀上造成測試的區(qū)分度低，進而影響了測試的整體信度。由于期末考試幾乎都是客觀題，難免有學生抄襲舞弊，影響對學生真實水平的把握。總之，通過一個學期的形成性考核試點，結(jié)果幾乎所有的學生都能過關(guān)。由于這種測試不能完全反映學生的真實水平，這樣學生的實際水平與考試結(jié)果出現(xiàn)了差異，也就出現(xiàn)了高分低能的現(xiàn)象。因此，大學英語教學的形成性考核方案還需逐步完善，盡可能地做到信度與效度的兼顧統(tǒng)一。

三、英語測試信度與效度及其分析

我們大學英語教研室針對大學英語的信度、效度的測試，設(shè)計了大學英語診斷性（Diagnose）試題。2014年4月8日，我們從2012級抽取物理系的物理教育專業(yè)兩個班共83人，教育系的學前教育專業(yè)兩個班67人，數(shù)學系的數(shù)學教育兩個班81人，中文系的語文教育專業(yè)兩個班75人以及化學化工系的化學教育專業(yè)兩個班87人等五個專業(yè)393人參加測試。我們從2013級抽取經(jīng)濟管理系的財務管理專業(yè)兩個班82人，計算機系的信息管理專業(yè)兩個班76人，礦業(yè)工程系的礦井通風與安全專業(yè)兩個班68人，生命科學系的食品生物技術(shù)專業(yè)兩個班72人，以及化學化工系的應用化工專業(yè)兩個班88人，總計386人。對779名同學共10個專業(yè)的學生進行了測試，其中因病、因事請假的18人，最終有效問卷674份。為了對該試題進行有效地分析，讓被試在測試卷的最后寫上自己CET-4通過的分數(shù)。下面是對被試答卷統(tǒng)計分析，被試的成績頻數(shù)分布曲線如下:

圖1 大學非英語專業(yè)測試成績分布曲線圖

從曲線圖上可以看出，被試的總分分布情況基本上呈正態(tài)分布。如圖所示，本次大學非英語專業(yè)測試的總分基本上是呈正態(tài)分布。依據(jù)測試結(jié)果，我們采用了比較實用的信度計算方法，沒打算采用再測信度和等值測試信度。本測試采用的是α系數(shù)公式（Cronbach，1951）。公式如下［4］：

其中，α為信度系數(shù)；

K為題目數(shù)；

表1 2013級非英語專業(yè)學生測試信度與效度分析

由表1可知：（1）從學生本次考試與國家四級成績來比較，財務管理 r=0.385**，P<0.05；（2）信息管理r=0.459****，P<0.001，表明本次考試有效，即有很大的信度和效度。（3）礦井通風與安全專業(yè)與期末考試成績相比較，r=0.458****，P<0.001相關(guān)度很高；（4）食品生物技術(shù) r=0.388**，P<0.05，說明本次考試也是有效的，有很大的信度和效度。（5）應用化工r=0.387**，P<0.001。總的來說，相關(guān)度還是很高的。

表2 2012級非英語專業(yè)學生測試信度與效度分析

由表2可以看出：（1）從本次測試來看,總體相關(guān)性還是很大的，r=0.589*****，P<0.001。測試結(jié)果表明本次考試有著很大的信度與效度。（2）從表中五個專業(yè)的測試與這次考試的相關(guān)性來看，除了學前專業(yè)以外，其它專業(yè)的聽力與本次考試的相關(guān)度都比較高。語文教育專業(yè)的四級成績與本次考試也剛好相關(guān)，r=0.433*，P<0.05，調(diào)研顯示，該班來自農(nóng)村的比較多，聽力基礎(chǔ)薄弱，主要是語音不夠好，因此，其聽力考試與本次考試不甚相關(guān)，不過這次考試的難度值也是最大的。（3）總體來說，專業(yè)好的學生，無論是四級成績，還是單項成績與本次考試的相關(guān)性都很大。

四、結(jié)語

語言測試的基本要求就是保證其信度和效度。大學英語教師要命題時要充分考慮到信度設(shè)計測試結(jié)果的穩(wěn)定性和可靠性，即該項測試是否真正度量了學生的語言水平。命題過程中語言教師也應該同時考慮測試是否達到了命題人想要考的目的，即考查效度。在我校大學英語測試實踐中，所試點的部分形成性考核方式，從測試的信度和效度兩個方面進行設(shè)計，但是測試結(jié)果表明這兩方面的效果都不夠理想。因此，今后的大學英語測試，大學英語教師要多重視語言測試理論的研究，準確語言測試的命題原則；命題前做好預測，命題后做好調(diào)研。盡量采取集體命題的形式，命題時要把握好測試信度和效度兩個方面的平衡關(guān)系，不斷優(yōu)化測試的質(zhì)量，并引導學生不僅要注重雙基訓練，還要把學習的重心逐步地轉(zhuǎn)移到學習策略和運用語言的能力的培養(yǎng)上，從而更有效地推動我校大學英語教學的發(fā)展。

［1］孫成崗.現(xiàn)代語言測試與試卷分析［J］.解放軍外國語學院學報，2000（4）:82-83.

［3］桂詩春.語言測試：新技術(shù)與新理論［J］.外語教學與研究，1989（3）:2-10.

［2］李筱菊.英語測試的科學與藝術(shù)［M］.長沙:湖南教育出版社，1995:7.

［4］黃萍.大學專業(yè)英語的測試信度與效度研究［J］.外語與外語教學，2001(11):16-18.