“大學生學習評價”（CLA+）工具

吳智泉　張公鵬

摘??? 要：“大學生學習評價”（CLA+）測評大學生批判性思維、分析推理、書面溝通等能力，測評結果成為展現一所大學教育質量、教學管理水平、學生能力的一個獨立坐標系。不僅可以指導學校改進教學，而且能在國際間高等教育能力測試比較和大學生就業招聘等方面運用。在評價標準的制定中，CLA+題目使用了擴展的安格夫法和書簽法，科學準確評價學生的總體表現。CLA+測評不僅在測評題目設計本身值得借鑒，同時測評結果解釋的可靠性和有效性也應重視。

關鍵詞：CLA+;評價;批判性思維;方法;應用;標準

中圖分類號：G640????????? 文獻標識碼：A????????? 文章編號：1002-4107（2019）04-0011-05

2000年，美國教育補助委員會（Council for Aid to Education， CAE）成立“大學生學習評價”（Collegiate Learning Assessment，CLA）研究機構，其目標是促進教學、衡量大學的績效以及評價學生高階思維能力的發展[1]。在迎來十年的發展里程之際，2014年美國教育補助委員會（CAE）在原來測評方案的基礎上，開發推出了CLA+。CLA+和CLA是同一種測評工具不同時期的版本，變化顯著，為了保持一定的延續性和區別，美國教育補助委員會（CAE）將2014版大學生學習評價簡稱為CLA+[2]。新版本CLA+是一種創新的評估測量工具，不僅可以進行院校層面的比較，還可以對大學生個人的批判性思維和書面交流等能力做出分析評價，并給出成績。

一、大學生學習評價工具（CLA+）升級原因

美國教育補助委員會（CAE）升級CLA+，主要是基于以下考慮。

（一）時代的需求

全球化背景下，高等教育要不斷提高服務經濟社會發展能力，不僅培養各種各樣的專業人才，而且需要培養學生的核心能力，因此批判性思維的訓練和培養比以往更加重要;同時，直面無盡的信息世界，學生必須學會收集、分析和評估哪些信息是有效的，哪些信息是無效的，這越來越成為在今天信息世界中生活、學習、工作的必備技能。CLA+使用貼近現實的問題測量評價批判性思維，其結果有助于引導高校關注了解這些思維技能，并促進學生分析、凝練、歸納信息的能力和技巧[3]。

（二）展示學校教學成果，回應社會對高校教育質量的關切

CLA+可以向社會更全面地展示出學校課程及教學的質量和特點，提供給學生及家長們更具說服力的信息，如展示畢業生的就業能力等。

（三）利于教學效果研究，推動教學改革

相對于CLA，CLA+更加重視課堂教學的效果與提升，更認同教師在大學教育中的作用。CLA+通過評估學生能力，分析與展現一所學校通識教育、課程改革、教育創新等方面的成果和進步，也包括問題與不足，這有助于學校開展更有效的教學改革。

（四）對學生能力進行評估

CLA+測量不同于學校專業課考試，其重點在于幫助學生和學校了解在批判性思維方面的水平和差距，并形成成績憑證;對于取得CLA+熟練等級的學生，這樣的能力憑證會幫助他們就業。通過改進題型結構、優化精選題目、科學制定成績標準，對成績的評判更加全面，并更適合成績比較。

在芝加哥大學出版社2014年出版的Aspiring Adults Adrift一書中，對超過一千名在大學里選擇CLA+的應屆畢業生進行追蹤調查。該研究發現，在CLA+測試中成績更好的學生，其職業生涯早期挫折的可能性較低。這本書證明CLA+所關注的能力對一個畢業生職業生涯的成功是至關重要的[4]。

（五）利于CLA+成績的國際比較

美國教育補助委員會（CAE）和經濟合作與發展組織（Organisation for Economic Co-operation and Development，OECD）合作開展CLA+國際合作項目，相對于傳統CLA版本，CLA+在測量的科學性和有效性方面更有優勢，能更好地滿足經濟合作與發展組織（OECD）開展國際測量工作的需要。

2008年，經濟合作與發展組織（OECD）開始評估是否能開發一個國際通用的測量工具，即高等教育學習成果評估（AHELO）計劃。經合組織領導人聲稱結果將實現以下目的：大學能夠評估和改善他們的教學;學生能夠對學校做出更好的選擇;提高高等教育經費的使用效益等[5]。為此，組織者開發了若干所謂的“鏈”，最重要的一個是“通用鏈”，而“通用鏈”目前正是依托 CLA+測量方案。參與測評的國家通過CLA+進行通用能力的測試，可以進行國內教學情況的診斷，以及國際間學生能力的比較。

二、CLA+版本的主要變化

傳統版本只有表述類題型，CLA+結合了選擇類題目與表述類題目，對題型進行了重組，提高了測試標準化程度。CLA +保留了原版本新穎、獨到的測評特點，如表現性任務（Performance Task）測量方法與題目結構與之前基本保持一致，仍是側重評價學生分析和解決問題、寫作技巧等能力，但在原始概念和評估重心方面進行了改進。在CLA+前60分鐘的測試中，學生回答表現性任務題型，模擬解決現實問題。測試題目一般會提供學生三個或三個以上文件，如數據表、圖表、文章、研究報告或其他信息資料，這些信息學生通常會在工作或學習環境中遇到。測試要求學生進行批判性的閱讀和分析文檔信息，然后寫出一個書面報告或回應。學生對表現性任務的問題場景做出分析，并從文章中梳理證據，或被要求反駁某方論點。

CLA+新增加了選擇型題目（Selected Response Items，SRIs），通過多種題型，更全面的評價定量分析和解決問題的能力;這些新增題項，都是以真實場景或問題為素材。CLA+最后30分鐘測試，由3組共25個選擇題目組成：10道科學和定量推理題，10道批判性閱讀和評價題，5道駁論題;如表現性任務一樣，每組問題來自一系列文章，需要學生仔細分析和評價信息[6]。每一個測評點，學生需要回答兩個以上的問題，這些問題考查同樣的能力結構（如推理和解決問題），這提高了學生分數的信效度。CLA+更加注重考察素養而不僅僅是數學計算，例如學生可能會認識到，兩個變量之間的相關性并不意味著因果關系，這需要學生確定問題中定量數據之間的聯系或沖突關系等，并根據數據做出推斷。CLA+與CLA的比較見表1。

三、實現測評結果的校內外應用

（一）著眼于提升課堂教學效果

CLA+的主要目標是提供對學生批判性思維的客觀評價，并記錄和了解他們在大學期間能力的變化。CLA+保留了以往版本中院校間成果數據比較的功能，并使大學生有機會展示個人批判性思維和書面交流等技巧，設計理念上承接以學生為中心和重視價值增值理念，并進一步發揮在課堂教學、社會應用等方面的作用。

CLA+不只限于對高校進行問責或績效考評，還注重促進教師教學和提高學生學習效果。與其他一些第三方評價工具比較而言，其評價重點回到促進學校和學生發展上面。以CLA+測驗結果為評價基礎，并把評價結果有效地反饋到教學中，從而教師的課堂教學能夠更有針對性地幫助學生學習和提高能力。該評價理念體現了教師在教學過程中起積極作用的思想，這與一些過度強調學生自學的觀念不同。基于以往大學生評價的研究經驗，CLA+并不否認校園環境及學生個體特征等因素對學生發展的影響，它只是進一步縮小了影響因素的范圍及強調了學生發展的具體表現。

正如韋伯所言，“材料的選擇包含著一種評價”[7]。CLA+把課堂或學習中的一些材料作為測試的資料來源，通過挑選測試素材等方式，把課堂教學和學生學習恰當地結合起來，最終通過測評結果來反饋分析學生能力水平。 CLA+認為大學課堂教學作為一種可控因素或變量應該成為影響大學生發展的主要因素，盡管其他因素也有影響，但是它們往往難以控制，故應注重開發課堂教學潛力。

（二）實現測評結果的社會招聘應用

以CLA+測試為基礎的CLA+ CareerConnect，是測評技術與社會需求結合的范例。CLA+提供了CareerConnect方式，具有有效和經濟的特點，方便企業招聘和學生求職，使招聘工作更加“客觀和標準化”。CLA+ CareerConnect虛擬招聘會用于克服招聘中的“能力盲區”，為企業提供準確的畢業生信息。學生以透明和公平的方式參加CLA+測評，以測評結果作為參與競爭的參考[8]。參考CLA+測試結果，可以改善學生、院校和雇主之間的溝通效率，提高工作質量或效果。

美國哈特研究公司調查“提高門檻：雇主對大學學習的看法”，對于應屆畢業生，企業雇主們認為會越來越被強調的技能及其比例是：有效交流的能力89%，批判性思維和推理能力81%，運用知識和技能解決實際問題能力79%，解決復雜問題的能力75%。雇主們挑選候選人的時候，目光聚焦在能力上面，而不只是院校的名聲。

在CLA+推出以前，沒有公認的、可靠的學生能力測試作為招聘的直接依據，大多數雇主依靠面試做出是否雇用的最后決定。作為招聘過程的一部分，他們經常會測試申請人的關鍵技能。CLA+填補了這一空缺，對于一個參加CLA+測試的畢業生，這個測試結果可能會幫助他在競爭日益激烈的就業市場中獲得就業機會。CLA+ 推出CLA+CareerConnect模塊作為招聘工具，如同一個虛擬招聘會，是在CLA+測試結果的基礎上，根據企業雇主需求而設計的，有助于克服招聘中的“能力盲區”。 那些在CLA+測評中獲得高分的學生參加這個虛擬招聘會，將有更多就業機會。2015年4月，該類招聘會在德克薩斯州進行了試點。

從學校的角度講，這是一條為學生提供就業服務的新途徑。CLA+測評技術與市場需求的巧妙對接，是符合學生、學校、企業及社會多方愿望的有益嘗試。未來CAE將與數百名參與CLA+項目的高校管理領導人合作，建立大型的優秀人才的候選人池，并建設迭代的CLA+ CareerConnect，該過程將對接企業組織和政府的專門工作委員會。CLA+測試工具雖然收取一定的費用（2015—2016年每個學生收取35美元），但是對于學生求職、企業招聘、大學的教學改革與發展都顯現出價值，而且已經被實踐和反饋數據所證實。

四、測評標準制定方法科學嚴謹

CLA+另一個突出的特點在于測評分數制定方法及標準的科學嚴謹。表述類及開放類題目極易受到詬病及質疑的原因在于分數評價的不穩定性。對于一個題目的回答結果，評價標準的分界點位置總是涉及主觀判斷，而好的技術方法，則有助于產生好的判斷，避免偏差，從而提高測驗的準確性。

（一）廣泛借鑒各類標準制定方法

早期許多行之有效的標準制定技術，如Angoff法（1971）、Ebel法（1972）等，這些方法更適用于選擇題型，而不太適合表述型題目。書簽法在一定程度上同時適應選擇題和表述型題目特點，也減少了Angoff方法中對于評價者高認知的要求。書簽法的典型特征是按難易程度給項目小組展示，小組成員放書簽在臨界合格者（MCP，Minimally Competent Person）所能完成的題目上。因為題目按難易排序，小組成員不需要估算每個題目臨界合格者所答對的概率，使得評判者的認知負荷降低。主要分數標準制定方法見表2。

工作體方法（Body of work）的評判者檢查每個學生的整體回答（包括選擇題項和表述型題項），把每個學生的總體表現分類（或排序）成不同表現層級。類似于書簽法，學生回答可以按整體成績從低到高排序。其他常用的表述型測驗的方法還有分析判斷法（Analytic Judgment）。這種方法的評判者將學生的應答分類，對應各種水平標準，與工作體方法不同，在每個表述型題目和選擇題目中學生的表現，是分開評判的[9]。

CLA+題目中同時包含選擇題和表述型題，在評價標準的制定中，使用了擴展的安格夫法（Extended Angoff Method）和書簽法（Bookmark Method）[10]。這些方法，保證了對測試結果解釋的準確性，而這種準確性的基礎在于測試評價方法和標準的可靠性與有效性上面。

（二）科學評判學生水平

CLA+選擇題得分由作答正確的題目個數和題目難度系數構成，并可以方便地計算各題的平均數和標準差，而且可以和其他測驗方法進行結果比較。表述型題目通過若干專家小組按照書簽法劃定的幾個層次進行評判：基本、熟練、精通、高級，每個層次描述出學生應掌握的相應水平。

這些專家小組的討論結果顯示，評判專家必須閱讀大量的學生答案才能獲得足夠可靠的評判水平，而這可能轉化為可觀的時間量， 對評判人也有較高的要求。實際上，這些測驗方法的功效需要更多的研究，也需要有新的方法或變體出現，豐富和提高測試標準的制定技術。

專家小組依據CLA+測評的目的，以及各層次學生的知識、能力的表現展開討論，意見一致后進行描述概括，見表3[11]。

學生參與CLA+測試成績，對應表格中的各個層級。學校之間可以據此了解學生的知識、能力的發展狀況，并采取相應的教學措施。每個學生將獲得自己的成績證明，這些體現個人批判性思維等能力的成績證明是學歷學位證書的重要補充，將在就業求職中發揮作用。

五、對我國構建學習成果評價方法的啟示

（一）題目設置科學，評價標準嚴謹

CLA+方法在素材資料選用、題型結構設計、評價標準方面都發生了新的變化， 測評形式向混合化發展，這使得測試結果更為可靠和準確。

CLA+的測試題目與分數標準之間，建立了批判性思維等能力發展水平的對應關系。CLA+題型中，表述型題目的開發設計是突出特點，一個表述型題目具有更佳的開放性和更好的真實性，而開放式的應答模式有更好的忠誠度（fidelity）[12]。忠誠度成為一個關鍵的CLA+設計特點。

諾里斯（Norris，S.P.）指出 ，“只是擁有批判性思維能力不能算作有足夠的教育素養，能力必須恰當地使用”[13]。表述型題目答題形式強調在一個模擬的現實世界的場景下的執行，其目的并不是衡量一個一維的構造。相反，CLA+表述型題目測量幾個相互依存的結構，要求學生應用思維能力的幾個方面，包括批判性思維、問題求解，分析推理、書面溝通技能等，作為回答問題的基礎，該題型設計有助于考察他們在現實環境中的執行能力。

CLA+在題型上除了表述型題目外，還增設了選擇型題目。從十年前推出CLA時全部都是表述型題目，發展到今天的表述型題目與選擇型題目的混合結構，這不是倒退，而是一種發展，是對考試特點、評價方法、評價標準、社會需要以及未來發展的綜合考量與取舍的結果。

CLA+分數標準制定方面亦給我們提供了良好的模式與方案?？茖W建立測評標準獲得了學校和教師的認可，提升了對學生批判性思維等能力的評估效果和公眾信心。

（二）加快發展評價理論和技術

美國的第三方評價組織多、測評工具豐富，如CLA+、CAAP、EPP、NSSE等，都是一些具體實用的評價方案。這些評價方法和技術經過近些年的發展，日臻成熟和穩定，成為美國高等教育質量的重要保障。而先進的理論與技術背后，是美國幾十年甚至上百年以來，所積淀的大量教育理論成果與實踐經驗。我國清華大學引進的NSSE測評工具，經過漢化以后，形成中文版的測評工具NSSE—China，該工具已經在我國各類型高校中得到應用，并初步成為一些高校教育教學自評診斷的參考。北京航空航天大學課題組對ETS 能力水平測試（ETS Proficiency Profile，EPP）也開展了漢化研究工作[14]。雖然中美兩國文化背景差異巨大，然而“大學作為高等教育組織是嵌入其所在社會文化體系中的……”[15]評價工具本身所依據的教育理論具有規律性、普適性，本土化后其信度、效度基本保持了一致，這為借鑒開發其他測評工具起到了良好的示范作用。

參考文獻：

[1]Klein，S.，Benjamin，R.，Shavelson，R.， & Bolus，R.（2007）.The Collegiate Learning Assessment： Facts and Fantasies[J].Evaluation Review，（5）.

[2]吳智泉.美國“大學生學習評價”（CLA）的特色與啟示[J].黑龍江高教研究，2015，（3）.

[3]Why CLA+[EB/OL].[2016-08-01].http：//cae.org/flagship-assessments-cla-cwra/why-cla-and-cwra/.

[4]Richard Arum，Josipa Roksa.Aspiring Adults Adrift：TentativeTransitions of College Graduates[M].Chicago：University of Chicago Press，2014：17-18.

[5]John Douglass，Gregg Thomson，and Chun-Mei Zhan.?Searching for the Holy Grail of learning outcomes，Inside?Higher Ed[R].[EB/OL].[2016-08-01].http：//www.?Insidehighered.com/blogs/global-highered/searching-holy-grail-learning-outcomes#ixzz2oPSpV8XW.

[6]CLA+ Overview[EB/0L].http：//cae.org/participating-?institutions/cla-institution-users-portal/cla-overview.

[7][德]馬克斯.韋伯.社會科學方法論[M].李秋零，田薇，譯.北京：中國人民大學出版社，1999：118.

[8]CareerConnect：Lessons Learned and the Road Ahead[EB/0L].[2015-05-16].http：//cae.org/cla-career-connect?/what-is-cla-career-connect.

[9]李珍，辛濤，陳平.標準設定：步驟、方法與評價指標[J].考試研究，2010，（4）.

[10][11]CAE.Standard-Setting Study Final Report[EB/OL].[2015-06-08].http：//cae.org/images/uploads/pdf/cla_ss.pdf.

[12]Hersh，R.H.，Life Isnt a Multiple Choice Question[EB/OL].[2014-08-16].http：//cae.org/content/pdf/Her-shLifeIsntAMultipleChoiceQuestion.pdf.

[13]Norris，S.P.，“Can we test validly for critical thinking？”[J].Educational Researcher，1989，（18）.

[14]趙婷婷，楊翊，劉歐，等.大學生學習成果評價的新途徑?——EPP（中國）批判性思維能力試測報告[J].教育研究，2015，（9）.

[15]羅燕，海蒂·羅斯，岑逾豪.國際比較視野中的高等教育測量——NSSE-China工具的開發：文化適應與信度、效度報告[J].復旦教育論壇，2009，（5）.