聽力水平測試的效度分析

周 穎

聽力是一項重要的語言技能，是衡量個體綜合語言能力的重要指標。聽力測試作為一種綜合語言能力的測試，具有較高的效度。測試的合理設置和實施能對教學其到很好的反撥作用。而要使聽力測試準確地反映受試者的實際聽力理解能力，在教學中發揮其指導作用，促進學習者聽力理解水平的提高，就必須保證試題設計的科學性，判分的可行性和可靠性，保證對受試者的語言能力做出準確，公正的測量。而談及評估聽力測試，人們往往將目光放在全國性的甚至是國際的大型測試，事實上，平時學校內部的考核跟教與學有著更直接的關系，更值得關注。本文將結合聽力理解和聽力測試的特點，對教師自行設計的英語專業大一期末聽力測試的題型和選材等方面進行效度分析和研究。希望通過研究，反映是否能通過測試對象在有限的測試任務樣本中的表現推斷出其是否具有相應的語言能力。

一、語言測試的效度相關理論

自20世紀60年代以來，語言測試與評估的研究一直圍繞效度展開（Kunnan，1998）。但在此前及此后的很長一段時間里，效度理論一直處于眾說紛紜的狀態，缺乏明晰的效度研究理論模型。鄒申（2005）將效度理論的演化分為三個階段。20世紀30年代到40年代，“效度”被簡單地看成兩個相同目的的測試所得結果之間的相關性；20世紀40年代到50年代，“效度”產生了林林總總的分類，如內容效度、共時效度、預測效度等等。20世紀90年代以后，“效度”被界定為一個不可分割的整體性概念，統指測試的有效性。李清華（2006）也以三個階段來劃分效度理論的發展。60-70年代，效度和信度是語言測試的兩大重要質量標準。證明效度即需證明“……在多大程度上這項測試與其他有效二可靠地語言測試相關”（Oller，1979）。效度則一般分為三類：內容效度，效標關聯效度和構念效度。80年代，三分法得以擴展。同時，國內外研究者開始認識到效驗就是假設檢驗過程。90年代至今，效度被認為是一整體概念，構念效度是其核心。

兩人的階段劃分有所區別，但其共同點在于都把Messick（1989）的效度思想引入語言測試領域后的90年代初認為是效度理論發展的分水嶺（Douglas，1995），確立了效度整體觀的主流理論地位，而此前的效度分類成為討論效度的證據。綜合國內外語言測試界學者的研究，效度作為一個整體概念，構想效度是其核心，內容和效標關聯證據是構念效度證據的一部分。效度定義由某一測試相對于另一測試的相關，完善為是基于多種理論依據和經驗證據的論證，對測試分數在多大程度上能夠正迷宮測試的解釋和使用合理性的論證。

按照Ebel和Frisbie（1991）的定義：構想指的是一個無法直接測量或觀察到的心理特征或理論概念，如智力、動機、進步、焦慮等。就語言測試而言，擬測試的“構想”及時某項語言能力，它可分析為若干個分范疇或指標。語言測試需要有效地考查學生在這些指標上的表現，從而評估該向能力提供可靠的依據。聽力測試的有效性就在于測試結果能夠真正反映測試對象在生活中應該負有的聽力理解能力。聽力理解能力極為聽力測試的構想。

在聽力理解過程中，環境刺激以聽覺形式輸入，永久記憶中的語音，詞匯，句法和語義知識被提取，用于感知儲存器中的語音，并進行詞匯識別，語法分析和語境推到等環節（Rost，1995）。經過處理的語言信息進入工作記憶即進行答題。部分信息有可能進入永久記憶，補充已有知識。控制過程即控制手，眼，耳協調，調出永久記憶，辨認和修正語音輸入的過程。聽力理解的信息處理同時包含了自上而下（top-down process）和自下而上（bottom-up process）兩個過程。此外，在測試過程中，除了理解過程以外，還有兩個過程會直接影響測試結果：信息的保持過程和題目解答過程。這兩個過程與信息處理的準確性，反映速度和熟練程度密切相關，表現為聽力技能。因此，可以認為，聽力測試想要測量的構想包括三個組成要素：信息理解能力，信息保持技能和答題技能。信息理解能力又包含語音感知，詞匯識別，語法分析，語境推導；信息保持技能包含記憶，筆記，速記；答題技能包含信息提取和信息應用（鄧杰，朱小舟，2007）。

基于以上對于“效度”及“構想效度”的認識，本文試圖從以下兩個方面收集證據來驗證聽力測試的效度：聽力測試的內容效度分析；聽力測試與精讀成績之間的關系。前一項屬于內容相關性證據，后一項屬于效標關聯性證據。

二、調查方法

（一）調查對象及調查方法

調查對象為浙江工商大學外國語學院英語專業一年級兩個班51個學生。調查在2011年6月期末考試期間進行。

調查主要從兩方面進行。第一，進行考試試卷文本分析，研究材料是聽力課程期末試卷。聽力測試中，往往在一段聽力材料后有一至多題與之對應，每一題考查不同的內容：或考查對材料的整體理解，或針對細節的判斷推理，等等。作者將每一題所考查的內容對應一項相應的聽力構想。然后計算各項構想的總頻數。以此對照2000年出版的《高等學校英語專業英語教學大綱》，檢查聽力測試內容是否符合《大綱》對英語專業二級聽力的要求。該項調查旨在獲得聽力測試內容相關性的證據。第二，對期末聽力測試成績與精讀測試的成績進行對比分析。雖然，聽力測試與精讀測試性質不同，兩者考查的能力亦不同。但兩者依據同一個教學大綱，反映同為運用英語的能力，兩者有者密切的關系。國內也已有拿英語專業四級口試與筆試進行對比，獲得標準關聯性證據的研究（文秋芳，王凌，2009）。同樣，聽力測試中的信息理解能力和精讀中大量的局部語言意義理解能力或篇章語言理解能力；聽力測試中的信息提取及應用的能力也和精讀測試中的閱讀答題能力都有大量共通之處。因此，作者將同期進行的兩場考試聽力和精讀成績進行比對分析，旨在獲得效標關聯性證據。

（二）結果和討論

這套自行設計的英語專業一年級聽力測試題型設計包含：I.短對話聽解選擇（20題），II,篇章聽解選擇（20題），III，數字填空（10題），IV，根據篇章意思判斷正誤（15題），V，篇章聽寫（1題）。VI，根據篇章將文字轉換為圖像填空（10題），VII，根據篇章原文填空（15題）。共90題，期中I到IV為客觀題，V，VI，VII為主觀題。另外，為激勵學生對于平時課堂的重視，短對話聽解選擇和篇章聽解選擇中各有10題出自課堂內容。

作者首先把每一道聽力題目上將測試到的各項聽力構想進行歸類計算。基本確定了聽力構想在整套測試中的總頻數（聽寫作為綜合語言能力的測試，不考慮在歸類中）。出現頻率為：語音感知：100%，詞匯識別：100%，語法分析：66.7%，語境推導：50%，記憶：100%，筆記：27.8%，速記：27.8%，信息提取：100%，信息應用：100%。

可以看出，該套測試的聽力題目表現形式不同，或填空、或選擇、或判斷；聽力的輸入材料內容也不同，有對話、數字、講座、訪問等。整套測試基本都考查了聽力測試覆蓋的所有構念。

然后，作者對照《高等學校英語專業英語教學大綱》對于英語專業二級的聽力教學要求（《大綱》在教學要求上按級劃分，每學期為一級，一年級第二學期期末考試即為二級）。“聽懂英勇語國家人士所作的難度不超過所學語言知識的講座，掌握中心大意，理解主要內容，并能辨別說話人的態度和語氣。聽懂VOA慢速新聞廣播和文化節目，抓住主要內容。能在15分鐘內聽寫根據已學知識編寫而成或選用的錄音材料（詞數150個左右，念四遍，語速為每分鐘100個單詞），錯誤率不超過10%”。可以看出，該套聽力測試的具體內容，以測試構念所體現的測試目標與《大綱》對二級的聽力的要求完全吻合。由此可以得出結論：聽力考試具有內容相關性。

作者再將參加聽力考試的51名學生的成績進行統計，其80分以上有11人（21.6%），70分以上28人（54.9%），60分以上10人（19.6%），60分以下2人（3.9%）。同時，將這51名學生在幾天前參加的精讀考試的成績進行統計，80分以上有5人（9.8%），70分以上17人（33.3%），60分以上25人（49%），60分以下4人（7.8%）。通過SPSS軟件，作者得出的兩項成績的總相關系數為0.712.這一結果可以表面聽力測試對于精讀測試來說，具有較強的相似性。聽力考試具有標準效度。

但是，在研究過程中，就效度實現而言，這套聽力測試依然暴露出不小的問題。第一，整套試題中有占20%分值的題目是從平時課堂聽力資料中選取。也就是說，雖然這些題目的確涵蓋了聽力構想，但對絕大部分受試學生來講，只需憑借記憶即可作答。因此，這部分的試題并不能有效推斷測試對象的聽力能力。可是，這也是我們大多數考試往往遵循的老模式，即在期末測試中以部分分值體現課堂教學的效果，同時促進學生平時的學習積極性和學習效率。因此，如何解決這兩者之間的矛盾值得在設計題目時好好考慮，從而使考試更好的為教學服務。第二，整套測試題量較大。1個小時的大量聽力輸入，令一些學生產生心理焦慮。已有研究證明測試中，往往焦慮程度越高，考試成績越低。焦慮程度影響了測試結果反映真正的聽力水平。因此，老師如何盡量減低學生的焦慮程度，使測試結果更加公平準確，也值得進一步的探討。第三，雖然整套測試的確基本涵蓋了聽力構想。但是，題材過多地以文化歷史社會人文為主，內容比較貼近現實生活，文體屬于口語體較多。而實時性的新聞評論等內容較少，體裁稍顯單一。那么究竟在試題設計時，改如何實現聽力測試的構想，使聽力測試具有效度？確保聽力測試材料的真實性，確保聽力測試任務的真實性，明確目的語使用場景的聽力需要等是基本的三項要求。

因為教師自行設計的各種課程的期中，期末考試和平時的教與學更息息相關，更對實現教學目標，提高教學質量有舉足輕重的作用，所以，借此研究，希望能引起廣大教師的重視，促進考試對教學的積極導向作用。本研究從構想效度角度對教師自行設計的英語聽力測試進行檢驗。文章陳述了構想效度，及聽力的構想的基本理論。并從內容相關性和效標關聯性兩個方面進行研究。研究結果發現聽力測試具有一定的效度，但也存在影響效度實現的問題。只有保證測試的效度，才能公正，合理地反映出考生的真實聽力水平，真正推動聽力教學的發展。

[1]Douglas，D.Development in language testing[J].Annual Review of Applied Linguistics 1995，(15).

[2]Ebel，R.L.& D.A.Frisbie，Essentials of Edu －caional Measurement[M].5th edition.En glewood Cliffs,NJ:Prentice Hall,1991.

[3]Kunnan，A.J.(ed.).Validation in Language Assessment[C].Mahwah,NJ:Lawrence Erlbaum Associates.1998.

[4]Messick，S.Validity[A].In R.L.Linn(ed.).E－ducational Measurement（3rd edition）[C].New York:Macmillan.1989.

[5]Oller，J.W.Language Tests at School[M].London:Longman.1979.

[6]Rost，M.Listening in Action[M].London:Prentice Hall International Ltd，1991.

[7]鄧杰，朱小舟.英語聽力學習在線質量評估與輔助決策研究[J].外語與外語教學，2007，（9）.

[8]李清華.語言測試之效度理論發展五十年[J].現代外語，2006，（2）：87-95.

[9]文秋芳，王凌.英語專業四級口試的效度研究[J].解放軍外國語學院學報，2009，（9）.

[10]鄒申.語言測試[M].上海：上海外語教育出版社，2005.

[11]高等學校英語專業英語教學大綱[Z].上海：上海外語教育出版社，2000.