基于社會認知效度框架的大學英語聽說教材課堂聽力測評任務效度評析

孫桐

聽說教材是大學英語聽說課程的主要教學參考材料，也是學生聽力和口語技能培養的媒介，其設計質量會直接影響教學效果。隨著時代的需求，我國大學英語聽說教材不斷更新迭代，編寫和出版蓬勃發展[1]，但內容設計尚有較大改進余地[2，3]。大學英語聽說教材研究涉及設計理念[1]、編寫原則[4]、內容規劃[5]、使用情況[6]、多模態元素[7]等方面，但決定教材品質的根本，即課堂測評任務設計的質量，學界還未曾予以系統分析。在聽說交際中，理解是表達的基礎，因此聽說教材中優質的聽力任務設計是促學的關鍵因素。基于此，本研究以《全新版大學英語聽說教程》（第二版）中聽力測試任務為例，借鑒社會認知效度框架（Socio-cognitive Validation Framework，簡稱SCF）中的“認知效度”和“語境效度”兩部分框架[8]，對教材中聽力任務設計質量進行評價，探究教材中聽力習題編寫的普遍問題及改進路徑。

一、文獻綜述

（一）大學英語聽說教材研究

“英語聽說教材”在本研究中泛指針對聽力和口語技能進行綜合性訓練和提升的教材，其聽力素材形式多樣，無論是視頻還是音頻材料，取自真實場景或人工錄制，都可用作學習材料。21世紀以來，我國出版的大學英語聽說教材數量繁多，種類豐富，但相關研究數量較少，涉及的理論視角、研究內容及方法思路也較為局限，難以對教材開發和改進提供系統性建議。

理論方面，相關研究大都局限于聽說教材本身采用的理論視角，內容介紹及特色總結居多，客觀評價及改進建議較少[1]。理論視角主要來自語言習得及外語教學等領域，忽略了更多跨學科的視角。

內容方面，相關研究主要集中在對教材語篇選材[9]及使用效果和評價[10]等問題。隨著近年來外語課程思政建設在全國高校的踐行，英語教材中語篇的思政元素挖掘問題也開始廣受關注[11]。然而，對于聽說教材，語篇選材質量再好，沒有優良的聽力課堂測評任務設計，也很難達到預期使用效果，畢竟聽力是聽說技能訓練的出發點和口語表達的基礎，如果聽力任務的效度出現問題，勢必危及整體教材編寫質量。目前，對于英語聽說教材中聽力任務設計系統性的質量評價，尚少有研究涉及。

類別方面，文獻綜述和反思總結類文章偏多，教材編寫理論、原則及使用方面的實證類研究偏少[12]，選用的評價標準往往比較宏觀[1]，不適合對教材中具體元素進行細致評價。

基于上述問題，本研究從語言測試的理論視角出發，使用SCF中的“認知效度”和“語境效度”框架，對一套大學英語聽說教材中聽力任務的效度進行評析。

（二）聽力課堂測評任務設計研究

外語課堂測評任務促學功能的研究近年來在學界頗受重視[13]。為了突出測試在語言教學中的不同地位和作用，學界依據測試功能將其分為“學習測評”（assessment of learning）、“以測促學”（assessment for learning）和“作為學習的測評”（assessment as learning）三類[14]。學習測評是對學生學習收獲的總結性評價，類似終結性評價。以測促學和作為學習的測評都是形成性評價的體現形式。前者強調學生在教師的引導下通過測試任務提升學習效率，后者將學生置于教學的中心地位，將課堂測評視為教學中的常用方法，有規律地向學生提供診斷性信息，鼓勵其反思當前學習狀態并主動制訂提升計劃。

對于外語課堂中的聽力測評，為達到“作為學習的測評”，優質的任務設計是達成目標的保障。任務設計是聽力課堂測評效度評估的重要依據，涉及構念界定、目的語使用域的界定、素材選取、試題編寫、教學中的使用方法、評價效果及反撥作用等諸多因素。迄今為止，外語課堂測評的效度檢驗還有待繼續探索，需在教學過程中不斷收集各類證據，是一個動態循環并不斷演進的過程[15]。

目前，聽力測試課堂測評研究涵蓋了聽力認知模型及技能的界定、聽力理解策略的培養及任務設計方法原則等[16-18]。相關實證研究大都聚焦于聽力任務的構念及測試任務的使用效果[19，20]，從任務設計出發對聽力課堂測評任務效度進行考察的研究還很少見。由于SCF對4項基本技能測試的效度評價均有較強針對性，各類效度證據亦設置了豐富細致的內容，故該框架能夠在合理利用的前提下，深入探索上述問題。例如，Zainal曾利用SCF寫作框架中的“認知效度”“語境效度”和“評分效度”部分對寫作技能課堂測評任務的效度進行評析[21]。同理，SCF聽力框架也同樣可以經過適當調整，用來檢驗聽力課堂測評任務的效度。聽說教材中的聽力習題是課堂測評的重要來源，本研究以這些聽力任務作為研究對象，借鑒SCF聽力框架“考前證據”中部分內容，對任務設計質量進行檢驗和評價。

（三）社會認知框架

“社會認知框架”（SCF）是Weir[22]基于Messick[23]的整體效度觀提出的語言測試效驗模式，采用社會建構主義（social constructivism）的語言學習觀[24]。該框架設立了6種相互獨立又彼此聯系的效度證據，并針對聽說讀寫技能測試的特點建立了各自的框架。

對于SCF聽力測試框架，Geranpayeh和Taylor[8]在Weir原型的基礎上，對各類效度證據的詳細清單進行了全面優化。新版SCF聽力框架在對效度證據的分類上與Weir相似：一類是“考前證據（apriori validity evidence）”，包 括 考 生 特 征（test taker characteristics）、認知效度（cognitive validity）、語境效度（context validity），是在考試初期設計和籌備中收集的效度證據。另一類是“考后證據（a posteriori validity evidence）”，包括評分效度（scoring validity）、結果效度（consequential validity）和校標關聯效度（criterion-related validity），是考試實施后收集的效度證據[8]。本研究聚焦大學英語聽說教材中的聽力任務，是教材內部評價研究，不涉及測評結果的解讀和學生特征，僅借鑒改編“認知效度”和“語境效度”部分框架檢驗聽力任務設計的質量。

二、研究方法

（一）研究素材

選用上海外語教育出版社出版的《全新版大學英語聽說教程》（第二版）中的聽力習題為研究素材。這套教材共6冊（每冊有學生和教師用書），每冊14單元，每單元的學習均圍繞某一日常生活中的話題進行，聽力材料以純語音形式的對話和獨白為主，聽力和口語練習分別置于不同模塊。該教材立足于我國大學英語教育的需求，設計上注重實際效果，對國外教學理論兼容并包，結合當代教育技術，以“基于任務的方法”（task-based approach）設計聽說練習，已在全國各地高校廣泛使用，得到了高校師生的普遍認可。依據第一版教材的使用者反饋，《全新版大學英語》修訂出版了第二版教材（2013-2017），聽說教程在結構編排、語篇選材、難度控制、生詞解釋和練習題設計等方面完成了一系列改進，反映了外語教材編寫與時俱進的需求。隨著社會進步和語言教學及測評等領域的發展，英語教材的使用需求和評價標準日新月異，這意味著該教材的任務設計如今仍有繼續改進的余地。

（二）分析框架的制定

借鑒SCF聽力測試框架中的“認知效度”和“語境效度”框架，依據大學英語聽說教材中聽力任務的特點，擬定了聽力測試任務分析框架。認知效度和語境效度各提供了4個方面可供核查的具體內容，見表1。

表1 基于SCF的聽說教材聽力任務分析框架

表1 所示，SCF中“社會認知”的核心理念體現在“認知效度”（X）和“語境效度”（Y）的分類上。認知效度包括4方面具體事項，分別是“低層次聽力理解信息加工過程”（X-1）、“高層次聽力理解信息加工過程”（X-2）、“聽力元認知策略”（X-3）和“非聽力思維過程”（X-4）。語境效度同樣有4方面事項，包括“任務設計特征”（Y-1）、“任務輸入/輸出”（Y-2）、“說話者”（Y-3）及“與口語任務的銜接”（Y-4）。認知效度和語境效度中的每類事項都有更為具體的檢驗項目，以便細致排查可能存在的具體問題。

（三）數據分析思路及過程

數據分析過程借鑒“技術主義”（technicalism）的效度驗證理念，亦稱“清單式檢驗法”（checklist approach）[25]。數據分析分為4個具體步驟：

（1）體驗——研究者瀏覽所選全部6冊聽說教材中各單元主題和內部的結構編排，熟悉其整體結構和聽力任務設計的整體規劃，并在每冊書中選取一個單元的內容，嘗試完成聽力任務并核對答案，記錄答題過程中的體會和疑問；

（2）核查——在“體驗”的基礎上，根據擬定的分析框架，結合Green的聽力任務設計原則和方法[18]，對聽力習題的設計質量逐項檢查，盡可能詳盡地記錄任務設計中普遍存在的不足及有爭議之處；

（3）歸納——判斷記錄的問題是偶然失誤，還是系統性問題，其后按分析框架的結構，篩選有普適性價值的問題，提供一份完整的聽力任務設計質量分析“報告單”；

（4）案例分析——針對“報告單”中發現的問題，從教材中選取典型的任務作為具體案例，結合聽力測試設計的科學方法原則，分析任務設計中存在的問題，指出改進方法或未來研究方向。

三、研究結果及討論

（一）聽力任務效度檢驗情況概覽

本研究使用SCF聽力框架中的“認知效度”和“語境效度”部分檢驗《全新版大學英語聽說教程》中聽力任務的效度，針對8個方面具體問題展開分析。分析結果以“報告單”形式匯總，見表2：

表2 基于SCF的聽說教材聽力任務設計檢驗報告單

表2 呈現了聽說教材中聽力任務設計的現存問題。分析框架借鑒了SCF“社會認知”的雙重維度，分別以“認知效度”（X）和“語境效度”（Y）2類效度證據為評價依據，從8個具體方面切入（X1-X4；Y1-Y4），指出聽力任務設計中有待改進或存有爭議的問題（普遍存在的問題，不含失誤）。結果顯示，除語境效度中“任務輸入/輸出”1項內容未發現普遍問題，其余7項內容均反映出聽力任務設計中有待改進或存有爭議之處。

（二）認知效度評析

1.低層次聽力理解信息加工過程

低層次聽力理解信息加工能力包括輸入解碼、詞匯檢索和解析三個層次的認知過程，雖然前兩個層次的能力考查已在教材中普及，但解析層次的聽力訓練被忽略。解析是聽者將理解的詞匯組建成句法結構的過程，在此過程中時常會預測句子整體結構，為語調輪廓建立整體感知，并能推測說話者意圖或態度[26]。教材中雖有考查解析技能潛力的任務，但實際意圖卻限于對細節性信息理解的考查，例如第六冊教材9單元Part D的一個練習題[27]：

該任務是基于“人生向導”（Life Coach）主題獨白設計的聽力句子填空題，各題項內容歸納為“專家建議”（Expert Advice）和“生活故事”（Life Story）兩類。顯然，該任務中題目的正確作答不能確保對整句語義的理解。若需有意識地訓練解析層次信息加工能力，可將原任務稍作調整和改編：還原全部完整句子，將每題作答區域設定為句子的中后半段，并在任務說明中要求學生在聽力播放前，根據題目內容猜想正確答案，并在聽后檢查自己對答案的預測。

2.高層次聽力理解信息加工過程

高層次聽力理解信息加工過程包括意義表征構建和語篇表征構建兩個層次，需聽者在理解字面意義的基礎上，運用已有知識和圖示建構新的意義。教材中的聽力任務雖然涉及了相關能力的考查，但建構性作答方式任務（包括簡答題和填空題）中存在的問題影響了聽力測試的效度。不足之處體現在以下3個方面：（1）正確答案長度設置未限定；（2）參考答案并非唯一正確解讀方式；（3）忽視了對語篇層面聽力理解技能的培養。

例如第五冊教材6單元Part D的聽力簡答題[28]62，主題為一起有關運鈔車事故的獨白：

該簡答題任務的設計體現了前兩個方面的不足。Green指出聽力簡答題正確答案一般不宜過于復雜或冗長，須為每個題項答案長度設定詞數限制，以減輕作答的認知負擔和評分標準的不確定性[18]。由于缺乏這一考慮，第1、2、7題答案過長，使其難度大，且不易評判。如第1題和第2題的作答若是“Lots of cash.”、“They grabbed the money and run away.”（抓住核心信息，但表述不同），教師提供反饋評價會有困難。另外，聽力理解問題答案應具有唯一性，在語篇中應能找到答案的依據。如第7題在聽力原文中的對應信息為“I took two bags of money，

I’m going to take the money and leave Columbus.I now have enough money for the rest of my life.”該題參考答案雖合理，但不見得是唯一解讀，如將“smart”替換為“happy”或者“lucky”等詞，依然符合情理。

又如第五冊教材13單元Part B的聽力填空題[28]130，是一段國際象棋人機大戰的比賽講解：

上述聽力任務語篇結構清晰，講解了卡斯帕羅夫與X3D弗里茨弈棋程序的比賽過程，并總結了人類和機器各自的優勢。遺憾的是該任務僅設置了對細節性信息理解的考查，學生難以通過聽力練習獲得對語篇內容的整體把握。

面對教材中建構性作答方式任務的問題，應分別采取措施優化任務設計。對于答案長度的問題，首先應設置合理長度限定（如每題答案不超過3詞），再從語篇中選出符合題目要求的關鍵詞，設置題干及作答區域。對于解讀方式多樣化的問題，應確認題項在聽力語篇中能明確對應信息，盡力避免針對容易有解讀歧義的內容設計題目。對于語篇表征構建的問題，可對任務類型做調整（如多項匹配題、筆記填空題），使學生能通過聽力習題清晰地了解語篇結構層次和要點，對語篇建立整體性的把握。

3.聽力理解元認知策略

聽力元認知策略反映了學習者對聽力理解的控制、評價和反思，包括注意力支配、對聽力理解的監控與評價、識別理解中的問題，以及對個人聽力水平的反思等諸多類別策略，對學生聽力水平提高有重要影響。部分元認知策略與聽力測試的作答聯系緊密，但此類策略未在教科書的任務設計中充分體現。例如第三冊教材8單元主題為環保，其中Part B有兩個聽力語篇“Plastic Bags-A Big Problem in Hong Kong”和“The Rhine River”，每個篇目各有兩個不同題型的聽力練習，教師用書的教學建議為[29]：

以上指導建議雖然可以體現對聽力元認知意識的培養，但系統性和嚴謹性不足。雖然第2步后半部分的選擇性關注主旨和第3步的難點反思屬于元認知策略教學的內容，但并不能形成體系，操作本身也有疏漏。例如，第1步提到的背景信息（background information）雖然在教參中提供了詳細資料，但平鋪直敘的介紹不易引導學生主動關注反思，因此在介紹時應化繁為簡，呈現要點，并且準備和聽力任務相關的問題，讓學生在思考中互動。又如，每個語篇對應的兩個聽力任務側重點有所不同，應盡量避免“做題+講解”的機械授課模式，將不同的聽力任務環環相扣地銜接在一起，逐步引導學生深入思考。可以借鑒Vandergrift和Goh提出的聽力教學“元認知教學流程”（Metacognitive Pedagogical Sequence）的理念及模式[16]，將聽力元認知意識的培養融合到聽力測試的設計和使用中。

4.非聽力思維過程

非聽力思維過程是考生在聽力測試作答中運用的聽力理解之外的認知過程，此類過程雖無法完全避免，但應盡可能減少其對構念效度的影響。聽說教材中的聽力任務需要學生邊聽邊作答，但可能會受到閱讀和寫作過程的干擾。教材中的聽力任務設計雖然大體合理，但有些填空題或簡答題答案內容過多，或信息密度過大，這不但會為作答帶來困難，而且學生的聽力理解會受到書寫過程較大影響。例如第二冊教材第10單元Part B中的語篇“Surviving a Plane Crash”對應的簡答題任務題項之一[30]：

該問題詢問飛機墜機后救援隊伍趕到是否及時及原因何在，答案共3句話，長度近40詞。這對于簡答題來說信息量過大，學生抓住全部關鍵信息并寫出正確句子的難度很大，書寫負擔還會影響聽力理解及完整作答。答案較長的題目可做如下調整：（1）通過問題的調整，控制答案的長度；（2）將答案本身改編為其他任務類型（如填空題、選擇題），以減輕學生的作答認知負擔。

（三）語境效度評析

1.任務設計特征

聽說教材中的聽力任務設計應細致考慮諸多任務特征，包括應答方式的選擇、任務說明的設置、項目編寫、時間限制等事項。本研究結合Green總結的聽力測試設計原則[18]分析了教材中聽力任務的特征，發現建構性作答方式聽力任務存在一些系統性問題：（1）未對每題正確答案的詞數加以限制；（2）填空題題干直接復制聽力原文中的語言表達；（3）填空題作答區域設置在句子開頭。以第四冊教材4單元Part B中基于跨文化會面禮節話題的會話設計的表格填空題為例[31]：

上述聽力語篇談論了6個不同國家的人士在正式場合會面時交流方式的差異。配套的表格填空題每空最少1詞，最多6詞，范圍過大；部分單句設有2-3空，數量偏多。建議每空詞數盡量不超3詞，每句僅設1空。另外，大多數句子題干的措辭都與聽力原文相差無幾，如第二行“Proper Behavior”一欄中的“Shake hands with everyone in the group when leaving.”在原文中對應內容為“...shake hands with everyone in the group before leaving.”。這種設置容易使學生把該任務當成聽寫題，僅關注詞匯層面信息，忽略更高層次的信息加工。如果復述每個題項的內容，保留答案的關鍵詞不變，應能取得更好效果。關于作答區域，Green提倡句子填空題盡量避免在句首挖空，以減小考生僅憑語法知識猜測答案的可能性，并建議盡量將作答位置集中在句尾處[18]。像“Go round room and shake hands...”這樣的作答位置明顯不合理，建議取消。

2.說話者特征

聽說教材的聽力語篇中有關說話者的一些重要特征與聽力材料的真實性有較大關聯。本研究選用的6冊教材中各單元聽力錄音的說話者特征比較相似，顯然是在編制腳本的基礎上由數量有限的配音演員直接錄制的。聽力材料的播放效果呈現出明顯的“教科書式”風格：語速比母語使用者正常說話偏慢，語調相對平緩且變化較少，使用標準英式或美式發音。這種出于教材編寫需要“訂制”聽力材料的方式，雖然制作方便，易于控制難度，但會在一定程度上犧牲真實性，影響聽力任務的語境效度。

上述聽力材料稱為“人工語篇”（scripted text），此外“半人工語篇”（semi-scripted text）和“真實語篇”（authentic text）也同樣可以用作聽力測試語篇的素材[32]。半人工語篇是在對初選的真實語篇進行一定加工處理的聽力材料，以適應聽力測試設計的需要。真實語篇則是在真實交際場合錄制或從互聯網中直接獲取且未經改動的聽力材料，其內容直接適用于聽力測試設計。雖然半人工語篇和真實語篇的真實性通常高于人工語篇，但其中的說話者特征會對任務設計及任務效度帶來何種影響，還有待進一步研究。另一方面，即便選用人工語篇，也能較大程度提升材料的真實性，如要求錄音人員盡可能以自然的講話方式配音，以類似方式制作的聽力材料稱為“仿真語篇”（authenticated text）[33]。這意味著聽說教程中聽力材料的真實性仍有繼續提升的空間，同時亦能避免相關操作可能為測試效度帶來的負面影響。

3.聽力與口語任務的銜接

聽說教程中的語言任務應為提升英語綜合應用能力服務，其中聽力和口語習題盡管在技能培養上有不同側重，但彼此應緊密聯系。由于真實世界的交際活動往往涵蓋不同技能的綜合運用，涉及至少兩種語言技能的復合任務類型（integrated tasks）無疑在提升測試真實性、深化思辨能力培養、以測促學等方面都具備顯著優勢，現已成為學界重要研究方向[34]。所選教材中每個單元聽力和口語技能的訓練安排在獨立的模塊中，聽說技能的融合不太明顯，不同模塊內容雖然圍繞同一話題，但內容相對獨立，體現不出邏輯銜接。以第一冊教材9單元Going on Vacation的結構為例[35]：

表3 呈現了第9單元的總體結構和任務編排方式，能夠通過任務基本特征判斷聽力與口語任務的銜接情況。由此可知，該單元分4個部分，聽力和口語模塊穿插呈現。其中B部分的“Questions for Discussion”是“A Visit to Bangkok”的聽前準備活動，其后的“Pair Work”是在聽力輸入基礎上實施的口語訓練，這3個任務一定程度上體現了聽力和口語技能的銜接，但聯系不夠緊密，因為學生不太方便把聽力理解構建的意義用口語的形式表達，思考深度有限。其余3部分是獨立聽力練習，雖然內容都和旅游有關，但話題并無直接聯系。該教材應在單元結構的總體編排和任務之間的過渡上加強邏輯銜接和聽說技能的綜合運用，以便為教師在聽說教學中任務的使用提供有益參考，設計環環相扣的課堂環節。

表3 Going on Vacation單元結構

四、結論及展望

通過檢驗聽力任務設計，研究發現了《全新版大學英語聽說教程》（第二版）中聽力任務的一些有待改進之處。認知效度方面的問題有：忽略了對解析層次聽力理解能力的培養；對高層次聽力理解能力的考查缺乏規范性和系統性；未能明確體現聽力元認知策略培養的意識；對作答過程中書寫負擔控制不夠。語境效度方面的問題有：建構性作答方式聽力任務的設計有待系統性改進；說話者特征有明顯的“教科書式”風格，影響了聽力材料的真實性；聽力和口語技能訓練相對獨立，銜接不夠緊密。

這些問題反映了大學生英語聽說教材編寫中4個未來改進方向。第一，聽力任務的測量目標設置應全面覆蓋各層次聽力理解技能，包括各類認知過程和元認知策略能力。第二，聽力任務設計應合理控制與構念無關的思維過程，尤其應關注答案信息密度及考生的書寫負擔。第三，聽力建構性作答方式任務設計應參考Green的聽力測試設計細則[18]，為該任務類型良好的效度提供保障。第四，重視聽力語篇真實性的提升，可從改進說話者特征、加強聽力和口語技能的銜接等方面著手。期待未來研究針對更多類別聽說教材（如視聽說教材）中的聽力任務設計進行評析，針對任務設計的評價和使用效果開展調查，并對其在教學中的使用過程和效果進行深入考查。