李傳益
(湖北科技學院 外國語學院,湖北 咸寧 437100)
高校英語專業四級考試質量考生問卷調查*
李傳益
(湖北科技學院 外國語學院,湖北 咸寧 437100)
本文對我校英語專業二至四年級的384名學生進行了一次TEM4質量問卷調查,內容涉及試卷難度、題目數量、區分度、效度以及與TEM4有關的考生自我評價。通過對調查問卷的統計分析,我們認為,考生對TEM4試卷總體和六個分測驗的質量評價與我們的期望一致。
高校英語專業四級考試;信度;效度;問卷調查
作為應用語言學的分支,英語教學與學習都離不開科學的測試理念和方法,反過來,測試也會對英語教學與學習產生重要的反撥效應。因為英語測試關系到每位教師、學生以及與測試相關的使用者。從某種意義上來說,測試既是對學生學習程度的檢測,也是對教師教學成敗的檢驗。因此,在中國這樣一個歷來極為重視考試并且以應試教育為主的國家,它在很大程度上在某些地方已經成為整個教、學過程的指揮棒,深刻地影響著教師的教和學生的學,即考什么,就教什么。比如,在有些中小學校,英語口語和聽力技能的訓練被擱置在一邊,整個教學活動圍繞著語法和試卷進行,很多學生是通過做試卷來學英語的,高校的英語教學也不容樂觀。作為全國唯一的測量英語專業學生基礎階段英語水平的大規模標準化考試,高校英語專業四級考試(TEM4)在評估英語專業學生的基礎能力水平中占有不可替代的地位,很多學校將TEM4通過率作為教師評定職稱和晉級的標準,很多用人單位也將TEM4證書作為選拔人才的依據,因而學生十分看中TEM4成績,有些學生在考試中鋌而走險,頻頻作弊,有些甚至不惜重金請人代考。從這個意義上說,TEM4實際上已經成為一項高風險的考試,因此,對其質量的考查就顯得尤為重要。一項不科學的考試不但會毀掉一些考生的前途,也會在很大程度上誤導教學,一項考試只有具有較高的質量才能真正發揮其作用。
衡量和評價考試質量的最重要的指標是信度和效度,因此,我們的調查問卷選取了與這這兩個指標最密切相關的一些內容:試卷難度、區分度、題目數量等,這些調查項目分試卷總體和聽寫、聽力理解、完型填空、語法和詞匯、閱讀理解以及寫作等六個分測驗進行。同時,考慮到考生的總體差異,在調查問卷中我們還編制了一些考查考生基本情況的項目,如考生考試次數、考試動機、考生對考試的自我評價以及對考試結果的自我預測等。
我們選取了我校英語專業二年級以上學生430人參加此次問卷調查,剔除填寫不合乎要求的問卷(當考生沒做答的題目超過10個時,我們有理由懷疑該考生反應的可靠性),回收有效問卷384份。
此項調查問卷由47道題構成,都是多項選擇題,每題都采用5級評分制,考生只能選擇一個答案。1-7題分別考查考生對TEM4試卷總體和聽寫、聽力理解、完型填空、語法和詞匯、閱讀理解以及寫作等六個分測驗難度的評價,選項為:A.非常難,B.比較難,C.一般,D.比較容易,E.非常容易。8-14題分別考查考生對TEM4試卷總體和六個分測驗區分度的評價,選項為:A.非常具有區分度,B.比較有區分度,C.一般,D.沒有區分度,E.非常沒有區分度。15-21題分別考查考生對TEM4試卷總體和六個分測驗題目數量的評價,選項為:A.非常多,B.比較多,C.很合適,D.不多,E.非常少。22-28題分別考查考生對TEM4試卷總體和六個分測驗效度的評價,選項為:A.能真實考查考生的實際水平,B.基本能考查考生的實際水平,C.不清楚,D.不太能考查考生的實際水平,E.完全不能考查考生的實際水平。29題涉及考生考試次數(A.3次以上,B.3次,C.2次,D.1次,E.沒參加過)。30題是關于TEM4對考生英語學習影響力的評價:TEM4能有助于提高你的英語水平嗎?選項為:A.幫助非常大,B.幫助比較大,C.說不清楚,D.幫助比較小,E.基本沒有幫助。31-34題涉及考生參加TEM4動機的四個維度:檢驗英語水平,父母或畢業要求,從眾心理,找工作。選項為:A.非常贊成,B.贊成,C.不贊成也不反對,D.反對,E.非常反對。35-48題為考生對TEM4總體和六個分測驗的自我評價以及對考試結果的自我預測,選項為:A.非常好,B.比較好,C.一般,D.不太好,E.非常不好。
通過對回收的384份有效問卷進行統計分析,我們發現:
題目難度決定某題對某一被試群體是否適用,它也決定該題在某一試卷中的取舍(Henning,2001)。它是分析題目特征的關鍵因素,也影響考試的信度。如果某題或某次考試對某一被試群體太難,它就失去了意義。
考生對TEM4試卷總體和聽寫、聽力理解、完型填空、語法和詞匯、閱讀理解以及寫作等六個分測驗難度的評價從難到易依次為試卷總體(45%),聽寫(24.3%)、聽力理解(19.5%)、完型填空(16.6%)、閱讀理解(14.4%)、寫作(13.8%)、語法和詞匯(11.4%)。其中,聽寫、閱讀理解、完型填空都有近半數的考生認為偏難,其中尤以聽寫被認為是所有分測驗里最難的。也有超過半數的考生認為寫作、語法和詞匯兩項比較容易。這和我們的實踐經驗基本一致。平時的教學經驗也告訴我們,聽寫和聽力理解過程中的語速、生詞(短語或句子)、背景知識以及考生對聽寫和聽力理解的產出等對考生的影響極大,比如,考生聽懂了聽寫和聽力理解原文,但寫不出來或回答不了問題。而影響完型填空和閱讀理解的最大障礙是考生的語篇能力以及考試的時間因素。由于語法和詞匯項較少受語篇的影響,而考生又積累了一定的詞匯量,因而這部分對考生影響不大。但考生對作文的反應出乎我們的意料。平時,考生的寫作并不理想,存在主謂、性數格的不一致,修飾語錯位,句子不完整,懸垂修飾語,詞語亂用,一個簡單句出現多個謂語動詞,累贅以及意思表達不連貫等問題。其原因主要是考生還沒有意識到自己存在的問題,只要他們認為自己寫完了作文規定的字數,就覺得自己的寫作能力還不錯。
除難度外,區分度是試題的另一個最重要的特征,它能有效地區分被試的能力水平(王孝玲,2004)。
考生對TEM4區分度的評價和對TEM4難度的評價一致??忌鷮β爩?、聽力理解、完型填空、語法和詞匯、閱讀理解以及寫作等六個分測驗區分度的評價從高到低依次為聽寫(25.4%)、聽力理解(18.7%)、完型填空(16.3%)、閱讀理解(15.2%)、寫作(13.9%)、語法和詞匯(11.5%),對TEM4試卷總體的區分度評價約為53%。
一般來說,一項考試的題目數量越多,其信度越高,因此,題目數量是影響,也是考查信度的一個重要指標(張凱,2002)。在此次問卷調查中,考生對六個分測驗題目數量的評價存在顯著差異,他們對語法和詞匯題目數量的滿意程度最高,近62%的考生選擇了“很合適”;近45%的考生認為聽力理解和完型填空題目數量“很合適”,但也有約21%的考生認為聽力理解和完型填空題目數量“比較多”;考生對閱讀理解題有點排斥,因為約43%的考生選擇了“比較多”,近11%的考生選擇了“非常多”,沒有考生選擇“很合適”和“非常少”兩項,也有很多考生反映他們的閱讀理解沒有做完;57%的考生認為聽寫和寫作題量“很合適”,也有22%的考生認為這兩題“不多”。認為TEM4試卷總題量“很合適”的為36%,認為“非常多”和“比較多”的分別占25%和23%,沒有考生選擇“非常少”。這表明,考生認為,TEM4題目數量偏多,在此意義上,與其說影響考生答題的重要因素是題目難度,還不如說是速度。其中,閱讀理解花費他們的答題時間較長,也最容易讓他們疲勞。從考生對TEM4試卷總題量的反應來看,也符合他們平時的學習狀況、答題情況和英語水平。
效度是衡量考試質量的最重要的指標之一,它指考試是否測出了或在多大程度上測出了它想測的東西(Heaton,2000)。此次問卷中的22-28題分別考查考生對TEM4試卷總體和六個分測驗效度的評價。從考生的反應來看,他們對六個分測驗效度的評價都是積極態度>中間態度>消極態度,對TEM4試卷總體效度的評價則是中間態度>積極態度>消極態度。其中,聽寫和聽力理解的效度評價是最高的(22%和 21%),完型填空(19%)、閱讀理解(17%)、寫作(13%)、語法和詞匯(8%)次之。雖然考生認為聽寫難度較大,但他們仍然認為這個題目能有效地考查考生的聽寫水平。其它五個分測驗的效度評價符合我們的期望值,因為這些題型相對來說能鼓勵猜測,并不能真正代表學生的能力。
1.考生考試動機
關于參加TEM4的動機,“同意”或“非常同意”“找工作”的考生占69%,其次為“檢驗英語水平”,“父母或畢業要求”和“從眾心理”;也有31% 的考生選擇了“反對”或“非常反對”“檢驗英語水平”,這從另一側面佐證了相當一部分考生學習英語和參加TEM4的目的并不是自發的,而是來自就業的壓力,這也從約24%的考生參加了2次以上的TEM4可以反映出來。而且,這一結論與考生對第30題的反應也高度一致:約60%的考生選擇了中間和消極選項,即“說不清楚”,“幫助比較小”,和“基本沒有幫助”。所以,我們有理由相信,不是積極、主動學習英語的學生,他們對參加TEM4的動機評價和關于TEM4對考生英語學習影響力的評價都持不樂觀的態度。
2.考生對自身英語水平的評價
通過考查考生對自身各項英語語言技能的評價和對自己參加TEM4成績的預測,我們發現,考生選擇“一般”的超過半數。在對自身各項英語語言技能的評價中,只有語法和詞匯項的“非常好”和“比較好”超過消極選項“不太好”和“非常不好”,而聽寫、聽力理解和完型填空的選項都是消極選項超過積極選項,尤以聽寫的消極選項最多。考生對自己參加TEM4成績的預測評價與技能評價一致:只有約19%的考生認為自己的聽寫成績“非常好”和“比較好”,選擇“不太好”和“非常不好”的達到51%,同樣,預測自己語法和詞匯成績“非常好”和“比較好”的最多,達58%。這說明,考生對自己語言技能和TEM4成績預測的評價與對TEM4各分測驗難度的評價一致,多數考生都認為自己的聽寫技能最薄弱,而語法和詞匯技能相對要優秀一些,因而對聽寫成績的預測就不太樂觀。
通過對 TEM4的考生問卷調查,我們發現,盡管對TEM4的難度、區分度、題目數量、效度等還有不勝滿意之處,他們對TEM4試卷總體和各分測驗的評價持積極態度的還是占多數,結論如下:
1.考生普遍認為TEM4偏難,其中尤以聽寫和聽力理解最難。但我們對試卷的分析結果發現,學生認為較難的測驗,如聽力理解和完型填空未必如此,而學生認為較易的測驗,如寫作等也未必容易。這說明,考生的感覺和試題的實際難度并不完全等價;
2.接近半數的考生認為TEM4題目數量多,特別是閱讀理解材料較長,花費他們答題的時間也相對較長,也最容易讓他們疲勞,有些學生反映他們的閱讀理解沒完成,這和考生平時的學習狀況、答題情況和英語水平一致;
3.對TEM4區分度和效度的評價,絕大多數考生都持積極態度,認為它能有效區分能力水平不同的考生,并能測出考生的真實水平;
4.考生考試動機越積極(選擇“檢驗英語水平”和“學英語興趣”越多者),其成績預測越樂觀,其對TEM4區分度和效度的評價,以及對TEM4對考生英語學習影響力的評價也越積極;
5.平時英語水平高的考生,其自我評價就高,其成績預測就更樂觀,或者說,他們對英語語言技能的自我評價和對自我TEM4成績預測的評價高度一致;
綜上所述,盡管考生個體差異影響他們對TEM4質量的評價,但他們總體上都對TEM4質量持積極態度,基本上能反映TEM4的質量。但考生的反應也給我們反饋了一些問題,值得我們深思。在今后的教學實踐中,我們應該充分發揮“以學生為主體”的教學理念,幫助學生樹立正確的英語學習觀,杜絕他們為了應試而學英語的做法,切實有效地培養他們的語言技能。同時,讓全社會真正認識考試的本質,使考試真正指導和服務教學,而不是教學的指揮棒。
[1]Heaton,J.B.(2000)Writing English Language Test[M].Beijing:Foreign Language Teaching and Research Press.
[2]Henning,G.(2001)A guide to Language Testing:Development,Evaluation and Research[M].北京:外語教學與研究出版社.
[3]王孝玲.教育測量[M].上海:華東師范大學出版社,2004.
[4]張凱.語言測驗理論與實踐[M].北京:語言文化大學出版社,2002.
G642
A
1006-5342(2012)04-0054-03
2011-12-18
TEM4質量考查研究(2011B036);2012年湖北省教育廳人文社科課題:高校英語專業四級考試質量考查與評價(2012G380)的階段性成果之一