大學英語分級測試聽力理解認知診斷研究

[摘 要] "認知診斷理論在英語聽力測試中的應用鮮見，對不同水平群體的診斷更為匱乏。應用G-DINA模型的認知診斷分析，基于湖南大學分級測試， 對新生聽力進行了診斷。研究從語言學與認知心理學角度確認了8種認知屬性，通過分析40道題與2691名被試作答，從學生總體、不同水平群體、學生個體三個層面探索其聽力的認知發展特點及存在問題。

[關鍵詞] "分級考試;聽力理解;認知診斷;G-DINA模型

[中圖分類號]" H08""" [文獻標識碼] A"" [文章編號] 1008—1763（2019）01—0113—06

Cognitive Diagnostic Assessment of Listening

Comprehension in College English Placement Test

XIAO Yun-nan1，LUO Juan1，2

（1.College of Foreign Languages and International Studies， Hunan University， Changsha 410082， China;

2.College of Foreign Languages，Central South University of Forestry and Technology， Changsha 410004， China）

Abstract： This research employed Cognitive Diagnostic Theory on the listening comprehension test of CEPT. Based on the G-DINA model， it made an analysis of the listening comprehension test， which composed of 40 items， and of the responses from 2691 learners to explore their weaknesses and strengths. Listening comprehension ability is defined from the perspective of communicative language ability model and cognitive psychology theory， which involved 8 major attributes. Diagnostic information was provided to the overall group， three listening proficiency groups （i.e.， beginner， intermediate， and advanced）， and individual learners.

Key words： "placement test;listening comprehension;cognitive diagnostic assessment; G-DINA model

一 文獻綜述

（一） 認知診斷理論簡介

認知診斷理論是現代測量學與認知心理學相結合的產物，作為新一代測量理論階段的核心， 成為國外心理測量學研究的重要熱點[1-2]。

認知診斷通常指對個體知識結構、加工技能或認知過程的診斷評估。它主要將認知心理學與現代教育測量方法相結合，通過被試個體在測試中的作答反映來推測其不可觀察的知識狀態，測量個體特定的知識結構與加工技能[3]，并對存在的問題進行診斷與反饋。相對于標準測驗理論（即CTT、GT及IRT理論），該理論提供的診斷結果可同時反映被試的宏觀能力與微觀認知屬性的狀態，有助于學生開展有效的補救學習， 同時指導教師因材施教，促進素質教育改革。

（二） 前期研究

認知診斷在語言測試中的應用作為新興課題，受到眾多研究者重視。目前研究主要體現為對英語作為二語/外語考生的語言能力， 如詞匯、閱讀、寫作等能力的診斷[4]。

聽力理解因其涉及的認知過程復雜， 一直是研究者試圖突破的瓶頸[5]， 國內外的認知診斷研究較為鮮見[6]。Buck等人[7]對二語測試中的聽力簡答題進行了研究，他采用空間規則模型確定了15種屬性與14種有交互作用的屬性組合，將96%被試歸入相應的屬性掌握模式，為其作診斷分析。此外，Lee與Sawaki[8]應用廣義診斷模型、融合模型及潛在分類模型，對托福聽力受試進行了認知診斷研究，在確認4類認知屬性后，發現3個模型對被試的分類較一致，診斷結果也較相近。Alderson[9]等人開發的歐洲在線語言診斷系統DIALANG，可對被試聽力能力進行診斷。但該診斷僅涉及3項屬性：大意理解、推論與細節信息理解，對屬性分解的粒度過于簡單粗糙，包含微技能過多，影響了診斷信息對被試的教學指導作用。

國內語言認知診斷的基礎研究勝于實踐研究[2]，尚停留在研究領域和小規模應用領域，實證研究集中于閱讀理解能力方面[10]，聽力研究寥寥無幾。針對英語聽力的研究僅有一例，即孟亞茹[5]運用G-DINA 模型對大學生聽力能力進行了認知診斷研究，確定了7個認知屬性，總結被試在聽力過程中的屬性掌握模式及其能力特征，并提供即時網絡診斷報告與針對性指導。

（三） 研究局限

現有研究的局限主要體現在兩個方面：首先，聽力涉及認知過程較為復雜，語言學界對其涉及的認知屬性尚存爭議[6][11][12]，部分研究對英語聽力屬性的定義不夠細致， 且忽視了聽力過程中的認知心理過程，導致聽力認知診斷研究較為滯后。其次， 診斷對象多為個體， 只注重微觀層次的評估，傾向于從個體身上發現問題，僅能提供個體診斷信息。由于個體間認知能力差異較大，診斷信息往往過于零散，難以指導課堂統一的彌補性教學，只適用一對一教學及學生自主學習。現有研究缺乏以群體為對象的宏觀層面的診斷評估，認知診斷研究成果對教學指導作用有限，并未見令人興奮的實際應用[13]。

聽力一直是大學外語教學中的薄弱環節， 有必要結合我國英語教學實際， 為不同水平群體及學生個體，從多個層面對我國大學生的聽力進行評估。

二 研究方法

（一） 研究問題

基于目前研究局限， 本文提出以下研究問題：

（1） 影響英語聽力的主要認知屬性有哪些？

（2） 大學非英語專業學生總體/不同水平群體的英語聽力能力有哪些特征？

（3） 認知診斷結果對我國大學英語聽力教學有何啟示？

（二） 測試內容

本文以湖南大學2006年開發的新生入學英語分級機試（Computerized English Placement Test，簡稱CEPT）為平臺，以2017級新生為測試對象，抽取當年9月完成測試卷編號為LAxx013的2691名考生為診斷對象。測試包括聽力、閱讀與寫作（口語為選考）。聽力有45個小題，均為二元計分客觀題（見表1）。CEPT測試能力等級標準參考加拿大語言標準（Canadian Language Benchmarks 2000）設定， 將聽/說/讀/寫能力分為六個等級，即010-060。大學外語部根據考生在各部分所得分數，將學生劃分為初、中、高三個層次實施分級教學。010、020為初級，030、040為中級，050及以上級別的學生為高級，可免修大學基礎英語，選修高級英語課程或第二外語。

（三） 計量模型

認知診斷模型現有一百多個，每種模型都有其優缺點，研究者應依據所測語言技能的特點，選擇適合模型以確保認知診斷結論的準確性及分析的合理性。

語言能力的各組成部分之間不是簡單的線性關系，而是一種互動關系，即交際活動中的各種知識、技能、心理活動以及場景因素相互作用、相互影響， 且不可分割[14]。由于語言能力的這些綜合與抽象性特征，對認知診斷模型要求較高。在眾多模型中， 補償型模型契合了語言能力的綜合性和多元性，飽和型模型比較理想地應對語言技能的抽象性和難區分性[15]， 因此本文采用補償飽和模型—G-DINA模型[16]進行診斷分析。

在數據分析前，先采用RMSE（root mean square error[17]）進行模型擬合度檢驗。RMSE即均方根誤差，屬于絕對擬合指數，是預測值與真實值的誤差平方根的均值， 可準確反映測量的精度， 作為擬合優度檢驗的理想評價指標被廣泛使用。本研究中RMSE估計值為0.069，說明模型與實測數據及Q 矩陣的擬合度較高，為認知診斷分析確立了前提。

三 研究結果

（一） 確定聽力認知屬性

認知屬性（attribute，以下簡稱屬性）是被試準確作答時所運用的知識、策略及答題技巧等。[2] [3] [18]它既包括語言知識，也涵蓋了心理機制與答題技巧等。

聽力理解是一種復雜的語言認知活動，是聽者基于已有相關知識應用有關技能、策略，與聽力輸入信息進行積極互動和意義建構的動態過程[19]。本文嘗試將語言學與認知心理學相結合， 從雙重維度， 即語言的組成成分及語言運用過程兩個體系出發， 確定英語聽力的屬性[20]。

隨著聽力研究的不斷深入，諸多研究者傾向于將聽力能力看成一種運用各種知識與策略來理解聲音信息的認知能力[12][21-24]。由Bachman與Palmer構建的交際語言能力模型（簡稱CLA）是當今測試界最具影響力的理論模型，強調語言知識與策略能力。對于語言交際能力中首要技能的聽力，該模型對其屬性的定義極具指導意義。模型將交際語言能力分解為語言知識與策略能力兩個因素，其中語言知識包括語音、詞匯、語法、語義與語用知識，策略能力包括認知策略與元認知策略。

基于CLA模型，本文認為聽力能力由語言知識與理解策略組成，并從該兩個層面來識別影響聽力理解的屬性。結合5名CEPT測試命題專家的分析，本文綜合出聽力理解的8種基本屬性（見表2）。

從認知心理學出發， 借鑒朱正才、范開泰[20]構建的聽力能力認知結構模型，聽力理解過程可分為兩種不同認知水平的技能：低級聽力技能與高級認知技能。前者包括辨音能力、辨明語調能力、認識語法成分能力等; 后者則主要包括信息選擇能力、預想與猜測能力、推理能力、綜合歸納能力和元認知能力等。以上8種屬性中，常用詞語與詞組、較難詞匯、復雜句子及結構可歸為低級聽力技能，其余5種屬性則歸為高級認知技能。

與已有模型相較，本文中聽力理解的屬性在組成成分上更具體明確，且能較準確地反映聽力理解的認知過程，為認知診斷分析提供了可解釋性的理論基礎，有助于進行認知診斷分析研究。

（二） 試題質量分析

本文采用IRT的雙參數模型，對聽力中的45個小題進行參數估計，并估計試卷信息函數。刪去區分度低于1.5的5個項目： 35，37， 38， 41， 42，由表1可見，其他40個項目組成的聽力卷在能力值（-1.2，1.2）間提供的信息量在10以上，標準誤在0.5以下，全卷信度較好（見表3）。然后用主成分分析法進行因子分析，得到因子分析的總解釋方差，共有3個因子的特征值大于1， 解釋了49.86%的方差，可見全卷效度較好。以上試題分析結果為后續認知診斷分析提供了前提。

（三） 建立Q矩陣

在確定聽力屬性后，再對試題各項目測評的屬性進行一一定義以建立Q矩陣。大部分研究依靠專家經驗，但這種方法完全依靠專家主觀判斷，而考生在答題過程中實際運用的技能與策略往往與專家判斷不一[2] [11]。本研究先以學生為主，對6名英語專業三年級學生培訓后實施考后口頭報告。由2位大學英語教師（語言測試方向博士）整理報告，依據涉及的關鍵詞確定試題考察的屬性， 并建立初步Q矩陣。

然后由5位命題專家參考試題編制大綱， 對矩陣進行調整后確立各自的Q矩陣，其內部一致性Fleiss Kappa系數為0.61，一致性較好，最后經集體討論后確定最終Q矩陣， 以此保證其合理性與有效性。

診斷測試中任一屬性的測量次數不宜少于3次， 否則該屬性的診斷誤差較大， 應刪去或與相關屬性合并[25]。本次測試對屬性“較難詞匯”只測量了1次， 無法對其進行有效診斷， 其余屬性均被測量了3次或3次以上，故本文只對其他7個屬性進行診斷， 并對其從A1到B4進行標記（見表4）。下節采用基于R軟件的CDM軟件包[16]進行診斷分析。

（四） 認知診斷分析

（1） 學生總體的聽力認知診斷

掌握概率描述的是學生掌握某項屬性的可能性。總體來看（表4），學生對“語言知識”包含的3個屬性的掌握概率介于（0.6～0.8）之間，對“理解策略”涉及的4個屬性的掌握概率在（0.5～0.6）之間。可見， 學生掌握“理解策略”的難度比“語言知識”更大。掌握概率在80%以上的屬性有A1（詞語與詞組）與A3（細節）， 說明這兩個屬性的難度相對較小，學生掌握較好。但在使用“理解策略”時， 學生對涉及的4個屬性：B1、B2、B3及B4掌握相對較差， 尤其B4與B1掌握比例最低，僅為51.5%與58.2%。因此補救教學的重點應集中在“理解策略”中， 特別是針對以上兩個屬性。

從認知角度來看，學生總體對低級聽力技能中的兩個屬性（A1、A3）的掌握情況相對最好，而在處理高級認知水平的屬性（A2、B1、B2、B3、B4）時有所欠缺。

為總結學生所犯的認知錯誤類型， 本節對學生的認知屬性的主要模式進行統計。文中的7種認知屬性在理論上存在128種認知模式， 用“0”表示學生未掌握該屬性， “1”表示已掌握。統計發現， 這些模式中有10種認知模式較為普遍（表5）， 其人數占全體學生的67%， 其他模式比例較低。所占比例最大的模式為全部掌握（1111111），其他9種為學生所犯認知錯誤的主要類型，其中（1110101）、（1111101）兩種類別的分布比例較大， 有13.55%學生屬于此類模式， 而它們均與屬性B3的缺失相關。

（2）不同水平群體的聽力認知診斷

根據CEPT測試對聽力能力的分級標準，將全體學生分為初級、中級與高級水平三個群體，然后分別做診斷分析， 旨在探索不同水平群體的聽力能力特征。單因素方差分析發現（表6），三個群體對7種屬性的掌握概率存在顯著差異（ p lt;. 001），初級群體的均值顯著低于中級群體， 中級群體的均值顯著低于高級群體。除高級群體外， 初級與中級兩個群體的主要問題都集中在“理解策略”的加工過程中，對其涵蓋的四個認知屬性的掌握概率均低于“語言知識”的掌握情況。且不論哪一群體， 掌握最差的屬性為B4， 說明三個群體應加強這方面的補救性學習。

（3）個體學生的聽力認知診斷

認知診斷可為學生提供個人聽力診斷報告，分析其各個屬性的掌握情況。學生A與B為從中級群體中隨機抽取的兩名考生， 其聽力能力在總體上雖同為中級， 如圖2與圖3所示， 兩人對各屬性的掌握情況差異甚大：學生A掌握了屬性A1、A2、A3、B2（掌握概率大于0.6），未掌握屬性B1、B3與B4（掌握概率小于0.4）。而學生B只有A2未掌握。可見， 認知診斷分析可輕而易舉地將總分相同的個體特質區分開，這是傳統測量理論無法實現的，充分體現了該理論相比其他測量理論的優勢。

四 討論及結論

本文將認知診斷理論應用于大學英語分級測試，針對聽力理解能力，結合語言學與認知心理學， 首先依據CLA模型，從語言知識與理解策略兩方面確定了影響英語聽力的8種屬性;然后借鑒聽力認知結構模型， 將屬性劃分為低級聽力技能與高級認知技能。該兩個維度既明確了聽力能力的構成成分，又反映了語言聽力理解的認知心理過程，為聽力能力的認知診斷研究提供了科學的理論框架。

采用G-DINA模型，本文對非專業大學生的英語聽力從學生總體、群體與個體三個層面進行認知診斷分析，結果顯示：

總體來看，在“語言知識”加工過程中， 學生總體掌握屬性A1（理解常用詞語與詞組）與A3（細節）的比例超過80%， 說明學生對于基礎語言知識掌握較好，這些屬性正是高中英語教學的重點。而學生對于“理解策略”存在諸多困難，尤其對于屬性B4（選擇性注意）， 近50%的學生不具備對聽力信息進行篩選的能力，無法有針對性地捕捉與當前任務相關的重要信息;超過40%的學生對屬性B1（總結與概括）掌握不足，而該技能是教學大綱的重要教學目標， 也是相對比較高級的技能， 需要進一步培養與訓練;對于屬性B3（做筆記）， 超過35%的學生在如何有效做書面筆記以記錄關鍵性信息方面有待提高。

從認知角度來看，學生總體對低級聽力技能，即A1（詞語與詞組）與A2（復雜句子及結構）的掌握最為熟練，而對高級認知水平中的5種屬性的掌握有待提高。

初級、中級水平學生群體的共性在于，對于“語言知識”層面涉及屬性的掌握程度優于“理解策略”層面的屬性， 其主要問題集中在“理解策略”。而高級水平學生群體對兩個層面的所有屬性掌握比較均衡。

對于個體，診斷報告揭示了其在各屬性上的具體掌握情況。同一水平群體的考生在“語言知識”與“策略能力”層面上可能存在諸多共同特征，認知診斷評估的優勢在于，它可區分學生個體掌握各屬性情況的多樣性與差異性。

本文還發現學生對聽力理解策略的使用與聽力水平高低密切相關， 不同水平學生群體對策略的選擇與使用存在差異。高級水平群體對各種策略的使用更熟練，也更多樣化;而低水平群體成功使用各種策略的概率較低。O’ Malley amp; Chamot[26]的調查也與本文發現一致，聽力水平不同的學生在使用聽力策略方面差異顯著，前者使用更為廣泛，較多使用選擇性注意，根據上下文及背景知識進行推斷等高級認知技能。而低水平群體只能將大多數精力集中于語音語調辨認、詞組及語法成分識別等低級聽力技能，難以處理高級認知技能。

以上結論反映出我國高中英語教學中，長期重視語言知識與語言技能學習， 卻輕視策略的培養。Oxford[27]與Cohen[28]指出，培訓策略至關重要的一步是清楚學生策略的使用情況，根據其特點及需求選擇合適的策略。以上群體診斷報告為教師提供了各水平學生群體的聽力認知發展特點，有助于指導教師針對不同水平學生，調整教學方案與教學方法。針對這一薄弱環節，大學英語應做相應的彌補性教學，關注學生聽力理解過程中的策略培養與使用。

[參 考 文 獻]

[1] "劉聲濤， 戴海崎， 周峻. 新一代測驗理論——認知診斷理論的源起與特征[J].心理學探新， 2006 （4）： 73-77.

[2] 范婷婷，曾用強. 認知診斷測試及其在閱讀理解能力上的應用述評[J].中國外語， 2016 （2）： 82-89.

[3] Leighton，J.P.amp; Gierl，M.J.Cognitive Diagnostic Assessment for Education：Theory and Applications [M].Cambridge：Cambridge University Press，2007.

[4] 黃小平，胡中鋒.認知診斷評價理論視角下的教育測量理論述評[J].測量與評價，2012（12）： 3-10.

[5] 孟亞茹.大學英語聽力認識診斷評估模型的構建與驗證[D].上海：上海外國語大學，2013.

[6] L Harding，JC Alderson，T Brunfaut. Diagnostic Assessment of Reading and Listening in a Second or Foreign Language： Elaborating on Diagnostic Principles [J]. Language Testing， 2015， 32 （3）： 317-336.

[7] Buck G， Tatsuoka K. amp; Kostin I.The Sub-skills of Reading： Rule-space analysis of a Multiple-choice Test of Second Language Reading Comprehension [J]. Language Learning， 1997， 47（3）： 423-466.

[8] Lee Y amp; Sawaki Y.Application of Three Cognitive Diagnosis Models to ESL Reading and Listening Assessments [J].Language Assessment Quarterly，2009a，6（3） ： 239-263.

[9] Alderson J C.Diagnosing Foreign Language Proficiency： The Interface between Learning and Assessment [M].London： Continuum，2005.

[10] 蔡艷，丁樹良，涂冬波. 英語閱讀問題解決的認知診斷[J].心理科學，2011 （2）： 272-277.

[11] Alderson， J. C. Assessing reading [M]. Cambridge： Cambridge University Press， 2000.

[12] Buck G. Assessing listening [M]. Cambridge：Cambridge University Press， 2001.

[13] 關丹丹. 認知診斷理論與考試評價[J]. 中國考試， 2009 （4） ：8-12.

[14] Bachman L F， Palmer A S. Language Testing in Practice： Designing and Developing Useful Language Tests [M]. Oxford：Oxford University Press， 1996.

[15] 陳慧麟. 語言測試中的認知診斷及其應用流程[J]. 外語測試與教學， 2015 （2）： 51-60.

[16] de la Torre，J. The generalized DINA model framework [J]. Psychometrika，2011， 76 （2）：179- 199.

[17] Steiger J H， Lind J C. May， Statistically Based Tests for the Number of Factors [C]//Meeting of the Psychometric Society.Iowa City： IA Press，1980.

[18] Lee，Y amp; Sawaki，Y. Cognitive Diagnosis Approaches to Language Assessment：An overview [J].Language Assessment Quarterly，2009b，6（3） ：172-189.

[19] 劉龍根，苗瑞琴.外語聽力理論與實踐 [M].北京： 外語教學與研究出版社，2011.

[20] 朱正才，范開泰. 語言聽力理解能力的認知結構與測試[J]. 語言教學與研究， 2001 （3）：41-46.

[21] Lynch T. Listening： Questions of" Level [M]//Kaplan R B （ed.）. Oxford Handbook of Applied Linguistics. Oxford： Oxford University Press， 2002.

[22] Field J. The Changing Face of Listening [M]//J.C.Richard， W.A.Renandya.Methodology in Language Teaching： An Anthology of Current Practice.Cambridge：Cambridge University Press，2002： 242-247.

[23] Rost M. Teaching and Researching： Listening [M]. London：Routledge， 2013.

[24] Vandergrift L. Listening to Learn or Learning to Listen？ [J].Annual Review of Applied Linguistics， 2004（24）： 3-25.

[25] Hartz， S.， Roussos， L. amp; Stout， W. Skills Diagnosis： Theory and Practice[D].NJ：ETS Research Report， 2002.

[26] J. M. O’Malley， A. U. Chamot. Learning Strategies in Second Language Acquisition[M]. Cambridge： Cambridge University Press， 1990.

[27] Oxford R. Language Learning Strategies： What Every Teacher Should Know [M]. Boston： Heinle amp; Heinel， 1990.

[28] Cohen A. Strategies in Learning and Using a Second Language [M]. London： Longman， 1998.