批判性思維測評的核心要素與技術演變趨勢*

任永功 賈 佳 多召軍

批判性思維測評的核心要素與技術演變趨勢*

任永功 賈 佳 多召軍[通訊作者]

（遼寧師范大學 計算機與信息技術學院，遼寧大連 116081）

促進學生批判性思維的發展是21世紀創新人才培養的重要內容，而批判性思維測評對批判性思維發展的教學實踐具有重要的導向作用。基于此，文章以批判性思維測評工具為研究對象，對國內外近十年來37篇實驗研究涉及的19個批判性思維工具進行對比分析，探索了K-12階段與高等教育階段批判性思維測評的核心要素與技術特征；同時，文章從評價取向、測評題目形式兩個維度，構建四象限空間的批判性思維測評工具分類框架，梳理了結果取向的封閉性測評、結果取向的開放性測評、過程取向的封閉性測評及過程取向的開放性測評四類測評工具的關鍵技術及發展趨勢，以期為推動批判性思維測評工具的本土化研發與規范化實踐應用提供一定的參考。

批判性思維；測評要素；測評技術；測評工具

批判性思維能力是21世紀人才必備的核心能力，直接影響創新能力的培養。2019年，經濟合作與發展組織（Organization for Economic Co-operation and Development，OECD）教育研究和創新中心發布《培養學生的創造力和批判性思維》研究報告，明確指出要大力推動發展批判性思維的教學實踐[1]。2020年，教育部發布《未來技術學院建設指南（試行）》，也提出要“培養創造性思維和批判性思維能力，營造創新無邊界、思維無界限的人才培養生態”[2]。而在推動批判性思維教育發展的過程中，批判性思維測評的作用非常重要，它既是批判性思維培養的重要環節，也是驗證培養成效的重要依據。就現有研究來看，批判性思維測評的理論框架設計廣泛沿用了美國哲學協會的《德爾菲報告》[3]，將闡明、分析、推論、評估、解釋作為測評要素，從K-12階段到高等教育階段，針對特定階段學生認知發展規律的測評要素還不夠清晰[4]；同時，測評工具不斷更迭，越來越趨于多樣化、智能化、個性化，這導致針對特定階段學生測評工具的技術特征模糊，在實踐應用中存在一定的局限性。基于此，本研究整理、歸納并對比分析國內外近十年批判性思維測評的實證研究，梳理不同階段學生批判性思維測評的核心要素，從評價取向、測評題目形式、關鍵技術等方面分析批判性思維測評技術的演變過程，期望為推動批判性思維測評工具的本土化研發與規范化實踐應用提供一定的參考。

一 研究設計

1 研究問題與研究方法

為了明確批判性思維測評的核心要素和測評工具的技術特征、發展趨勢，本研究將研究問題確定如下：①K-12階段與高等教育階段批判性思維測評的核心要素是什么？兩者有何差異？②針對K-12階段與高等教育階段的測評工具有哪些不同的技術特征？③批判性思維測評工具呈現何種發展趨勢？

本研究以國內外學者或機構開發的批判性思維測評工具為研究對象，采用內容分析法，提取與分析各測評工具采納的測評要素，明確不同階段批判性思維測評的核心要素；同時，采用案例研究法，梳理各測評工具的關鍵技術與方法，分析其發展趨勢及不同階段批判性思維測評的技術特征。

表1 19個批判性思維測評工具的測評要素與測評技術

2 數據收集

本研究中，國內研究樣本以“中國知網”（CNKI）為數據源，選取2010～2021年期間發表在CSSCI期刊的中文文章，檢索主題為“批判性思維測評”或“批判性思維測量”。國外研究樣本來源于ScienceDirect、Springer和Web Of Science數據庫，搜索2010～2021年期間發表在SSCI的英語文章，以“critical thinking”“critical thinking measure”“critical thinking assessment”為關鍵詞進行搜索。搜索過程中設置5個篩選標準對論文進行篩選，具體為：研究方法為實驗研究或準實驗研究；測評對象僅為K-12和高等教育階段的在校學生；研究內容為評價測評對象的批判性思維能力；研究結果有充足的數據信息；排除重復文獻，若同一篇文獻以不同形式發表，則只取其一。最終，本研究得到37篇符合篩選標準的文章。

3 數據分析

本研究對37篇實驗研究中涉及的19個測評工具（7個面向K-12階段的測評工具、12個面向高等教育階段的測評工具）的測評要素與測評技術進行挖掘，結果如表1所示，可以看出：從K-12階段到高等教育階段，批判性思維測評要素具有一定的差異；從標準化測試到開放性測試、從紙質版測試到基于在線平臺的多樣化測評形式，批判性思維測評工具呈現出一定的發展趨勢。

二 針對K-12階段和高等教育階段的批判性思維測評核心要素

測試內容的適切性決定了批判性思維測評工具的有效性，對比K-12階段和高等教育階段的批判性思維測評工具，可以發現測評要素存在差異。因此，結合學生的認知水平、思維特征，分階段剖析批判性思維測評的核心要素，能夠確保測試內容符合特定年齡群體的認知發展規律。

1 K-12階段批判性思維測評的核心要素分析

從對比分析結果來看，面向K-12階段的測評工具普遍將《德菲爾報告》中的闡明、分析、推論、評估、解釋作為測評要素，而較少涉及決策、問題解決等要素。例如，包括、《小學生批判性思維能力測驗》、MCTS、、Critical Thinking Test在內的5個批判性思維測評工具主要圍繞《德菲爾報告》的闡明、分析、推論、評估、解釋等測評要素進行相應的改變；僅有Wang等[5]開發的Chai等[6]開發的Critical Thinking Scale將決策也作為K-12階段批判性思維測評要素。從認知發展階段理論出發，皮亞杰將兒童思維發展劃分為四個性質不同的階段，分別是感知運算階段、前運算階段、具體運算階段、形式運算階段，并認為前一階段是進入后一階段的前提條件，各階段間是連續且不可跳躍的，具有動態性和連續性[7]。K-12階段學生的認知大多處于具體運算階段、形式運算階段，主要應用語言文字在頭腦中進行抽象思維，通過構建事物和過程來解決簡單的問題；也可以根據假設對簡單的命題進行邏輯推理、分析論證，但在復雜問題解決、基于證據的決策等方面仍不成熟。因此，結合K-12階段學生的認知水平、思維特征，該階段的批判性思維測評核心要素應以闡明、分析、推論、評估、解釋為主，針對高年級學生可酌情開展決策與問題解決維度的測評。

2 高等教育階段批判性思維測評的核心要素分析

從對比分析結果來看，面向高等教育階段測評工具中的測評要素體現了多元化特征，既采納了《德菲爾報告》中的分析、評估、論證、推理等測評要素，也出現了決策、問題解決、寫作能力、元認知等測評要素。例如，Akpur[8]研發的Critical Thinking Scale、Shavelson[9]研發的WT、Diane[10]研發的HCTA都將決策作為測評要素；Danczak[11]研發的DOT test、Diane研發的HCTA都將問題解決作為測評要素；CAE[12]研發的CLA+、Shavelson研發的WT都有寫作能力要素。從學生能力素養出發，高等教育階段學生的認知發展基本處于形式運算階段，可以進行形式命題的運算，根據假設對各種命題進行邏輯推理，從而掌握各種概念和基本規律；高等教育階段學生的溝通交流、實踐操作、書面表達等能力都較為完備，能夠在真實的問題情境中完成復雜任務。從批判性思維的本質出發，批判性思維與問題解決具有內在一致性[13]，批判性思維的目標不應該是簡單的邏輯推理，而是在真實的情景中解決問題，問題解決的技能就是批判性思維所需的技能。因此，高等教育階段的批判性思維測評核心要素應面向源于生活情景的問題解決過程、自我調節的元認知過程、證據導向的決策過程進行抽取，需與K-12階段的闡明、分析、推論、評估、解釋等要素加以區分。

三 針對K-12階段和高等教育階段的批判性思維測評技術特征

對比分析K-12階段和高等教育階段批判性思維測評工具的測評技術，由于不同階段學生的認知特征存在差異，因此測評工具的技術特征也有所不同。

1 面向K-12階段的沉浸式測評

從學生認知能力來看，K-12階段的學生缺乏抽象邏輯推理能力，但能憑借形象思維的支持進行邏輯推理。因此，針對K-12階段的測評工具需要結合一定的情境，如將故事情節和游戲元素與封閉性任務或問題相融合，為學生帶來良好的用戶體驗，激發學生的主動思考，提高其參與度、動機與交互時間。例如，以諾亞王國中的“選美比賽”和“大學學費”為故事情節：以主人公尼古拉的沙漠探險為游戲情境；《小學生批判性思維能力測驗》以兩個耳熟能詳的童話故事“三只小豬”和“龜兔賽跑”為故事情節；以漫畫內容為游戲情境，將批判性思維的測試題目改編成圖文敘述。

2 面向高等教育階段的在線開放性測評

高等教育階段學生的思維已經超越了對具體感知事物的依賴，能夠認識命題之間的關系，對事物進行一定的概括，通過邏輯推理、歸納演繹的方式來解決復雜的問題。因此，針對高等教育階段學生的測評工具需要設計較為復雜的開放性任務或問題。例如，Critical Thinking Assessment Tool基于視頻、新聞文章和信息圖，設置了28個開放性問題；HCTA基于25個人的日常生活情境，設置了開放性問題與封閉性問題；CLA+設置了表現性任務，要求學生扮演假設性的角色，通過收集信息并分析、推理，來完成具體的任務；Shavelson以風力發電機為問題情境，要求學生合作，共同解決具體的問題，并在問題解決的過程中測評學生的批判性思維。

四 批判性思維測評工具的演變趨勢

針對不同階段的批判性思維測評技術，與之對應的批判性思維測評工具也存在一定的演變趨勢。本研究根據評價取向，將批判性思維測評工具劃分為結果取向、過程取向兩大類；根據測評題目形式，將批判性思維測評工具劃分為封閉性、開放性兩大類。同時，本研究以評價取向為橫坐標、以測評題目形式為縱坐標，依據表1中19個批判性思維測評工具的技術特征，形成四象限空間的批判性思維測評工具分類框架，如圖1所示，批判性思維測評工具呈現出從結果取向的封閉性測評向結果取向的開放性測評發展、從過程取向的封閉性測評向過程取向的開放性測評發展的演變趨勢。

1 結果取向的封閉性測評

結果取向的封閉性測評主要針對采用選擇題、李克特量表等形式的封閉性問題，在某課程學習前后，通過分析學習者提交的試卷、量表來評價學習者的批判性思維能力，是學校教育中最傳統、普遍的測評方式。早在20世紀90年代，美國加州學術出版社就率先編制了選擇題形式的加利福尼亞批判性思維技能測驗（California Critical Thinking Skills Test，CCTST）和李克特量表形式的加利福尼亞批判性思維傾向問卷（California Critical Thinking Disposition Inventory，CCTDI）[14][15]。這類測評工具對測評環境要求較少，操作簡單且能在短時間內獲得豐富的數據，易于進行大規模的使用，可幫助學習者迅速了解自身的能力水平。然而，封閉性問題難以闡明學習者選擇某個選項的原因，也就無法充分揭示學習者的思維過程，故測評結果缺乏全面性。

圖1 四象限空間的批判性思維測評工具分類框架

2 結果取向的開放性測評

結果取向的開放性測評可以為學生提供更多的發揮空間，也可在一定程度上揭示學生的思考過程，重視寫作能力、決策、問題解決等維度的測評。1985年，Ennis等[16]發表了論文寫作形式的測試工具《恩尼斯-韋爾批判性思維語篇測試》（The Ennis-Weir Critical Thinking Essay Test，EWCTET），但這種工具測評成本較高，在教育實踐中難以大規模實施。針對這一情況，研究者逐漸開始轉向建構性反饋與選擇題形式相結合的工具，增加了半開放性或開放性的問題，如HCTA中設置半開放性的問題，需要被測者為自己的選擇說明理由，表達自己的觀點，其反饋更具開放性、效度更高。與封閉性問題相比，該形式的測評結果缺乏連續性，被測者的答案具有一定的靈活性。

為了彌補上述不足，基于機器學習算法構建的自動作文評分系統（Automated Essay Scoring，AES）逐步被引入課堂。例如，Tracey[17]利用WEKA開源平臺構建AES，采用359名學生的短回答作為訓練集建立AES模型，并對40名學生的回答進行評分，旨在測評護理專業本科生的批判性思維能力。早期的AES只能對文本的表層特征進行分析，隨著問題和相關答案的復雜性增加，預測的準確性可能會降低，致使評分信度受到影響。隨著自然語言處理技術的迅速發展，AES的評分信度將大幅提升，成為重要的批判性思維測評工具。

3 過程取向的封閉性測評

過程取向的封閉性測評是指在教學過程中基于在線平臺，采用標準化試題，依據評分或信息認證等數據，對學生的批判性思維能力進行測評。這類工具通常采用圖文敘述方式的呈現試題，如Gelerstein[18]將測試題目與漫畫小說相結合，利用故事情節，以圖文呈現題目，評價三、四年級小學生在語言藝術方面的批判性思維能力。相較于結果取向的測評工具，此類測評更加詳細、多維，不僅有助于優化評價過程，而且能使學生沉浸其中，以更快的速度完成評價。但此類測評傾向于從量化角度分析數據，測評結果呈現的是一種靜態特征，難以分析批判性思維的變化過程。相較于結果取向的封閉性測評工具，過程取向的封閉性測評工具在平臺開發上對技術要求較高，但測評內容更為詳盡。

增值性評價技術被廣泛應用于過程取向的封閉性測評，以學生的考試成績為依據，通過統計分析技術，計算在教學干預下學生的質量增值，進而評價學生的批判性思維能力。例如，CLA、CLA+都采用增值性評價技術，選擇分別對大學新生和接受了階段性高等教育之后的學生或大學畢業班學生開展測評，通過計算批判性思維的原始得分與實際得分之間的差值，進而判斷學生接受高等教育前后其批判性思維能力的變化。這種測評方式對于評價學生的認知水平較為有效，但在思維策略性知識的測評效果上并不顯著，難以對批判性思維的變化過程進行探討。

4 過程取向的開放性測評

過程取向的批判性測評主要采用定量分析和定性分析相結合的方式，分析學習過程中受測者的各項表現，多角度評價其批判性思維能力。僅從量化分析的角度出發，通過編碼、數目統計分析被測者的日志數據、交互文本等表現，數據呈現的是一種靜態、結果特征。而定性分析很好地彌補了這一不足，如Claire[19]采用內容分析法（Content Analysis，CA）與測試量表相結合的方式，多角度地對被測者的批判性思維能力進行評價。在測評要素方面，其測評內容較為全面，不僅包括《德菲爾報告》中提及的要素，而且涵蓋了寫作能力、決策、問題解決等要素。

在大數據分析支持下的自適應測評系統根據多模態數據，可以全面地記錄、跟蹤和掌握學習者的不同學習特點，并對不同類型的學習者進行個性化測評，實現個性化學習服務。例如，利用學生在測評過程中產生的痕跡性數據分析學生的批判性思維能力，并允許學生依據自身特點個性化地調整測評進程。冷靜[20]將批判性思維的5個“過程”定義為5種思維的“行為”，將兩個“過程”之間的轉換定義為一個單行為序列，利用兩個“過程”的編碼組合代表兩個思維過程過渡的序列，依靠其轉換方式繪制行為轉換圖，從而探究在線討論期間學生批判性思維的特征及其變化規律；黃雪嬌[21]將LSA、ENA應用于批判性思維研究中，分析學習者批判性思維各階段的特點，并將各階段的特征、總體變化趨勢進行比較，以分析學習者批判性思維的變化規律。

從關鍵技術與方法的發展過程可以窺見，隨著增值性評價技術的引入，基于在線平臺的批判性思維測評工具開始興起；隨著自動作文評分系統的引入，過程取向的測評開始流行；隨著游戲化測評、計算機自適應等技術的引入，情境化、個性化的批判性思維測評開始受到關注。然而，當前基于在線平臺的批判性思維測評工具的研發仍然脫離于教學的實踐過程，雖然可以測量學生的思維水平，但仍然難以揭示其批判性思維的變化規律，對發展批判性思維的教學實踐的引導作用還很有限。因此，本研究認為未來的研究重點應傾向于面向常態化學習環境的批判性思維測評工具開發，并將其融入教學實踐環節，實現思維參與和思維發展過程的測評。

五 結語

批判性思維測評既是批判性思維培養過程的重要環節，也是驗證批判性思維能力培養成效的重要依據。本研究通過對比、分析已有的批判性思維測評工具，進一步明確了K-12階段和高等教育階段批判性思維測評的核心要素、測評工具的技術特征。此外，本研究還梳理了批判性思維測評工具的演變趨勢，并針對批判性思維測評工具的研發仍然脫離于教學實踐過程的現狀，提出將批判性思維測評技術融入常態化學習環境，通過視覺、情感、語義等多模態數據，對學習者的思維過程進行識別，全面記錄、跟蹤和掌握學習者在不同階段的批判性思維特點，以實現對批判性思維的精準評估。未來，在理論框架研究方面，仍需結合學生的認知水平、思維特征、語言文化等，進一步明確各階段學生批判性思維能力的測評要素，并分析各要素的外顯特征，以制定有針對性的、本土化的批判性思維測評框架；而在教學實踐方面，應依據教學實際，規范化應用批判性思維測評工具，保證測評結果的有效性。

[1]OECD. Fostering students’ creativity and critical thinking: What it means in school[OL].

[2]喬愛玲.學習風格對大學生批判性思維發展的影響研究——基于在線教學環境的實證研究[J].現代遠距離教育,2020,(5):89-96.

[3]Facione P A. Critical thinking: A statement of expert consensus for purposes of educational assessment and instruction. Research Findings and Recommendations[M]. Newark, DE: American Philosophical Association(eric document reproduction service), 1990:8-30.

[4]Pucer P, Trobec I, ?vanut B. An information communication technology based approach for the acquisition of critical thinking skills[J]. Nurse Education Today, 2014,(6):964-970.

[5]Wang D, Liu H, Hau K T. Automated and interactive game-based assessment of critical thinking[J]. Education and Information Technologies, 2021,(2):1-23.

[6]Chai C S, Deng F, Tsai PS, et al. Assessing multidimensional students’ perceptions of twenty-first-century learning practices[J]. Asia Pacific Education Review, 2015,(3):389-398.

[7]畢景剛,董玉琦,韓穎.促進初中生批判性思維發展的教學實證研究——基于學習活動設計視角[J].電化教育研究,2018,(7):83-90.

[8]Akpur U. Critical, reflective, creative thinking and their reflections on academic achievement[J]. Thinking Skills & Creativity, 2020,(1):100683.

[9]Shavelson R J, Zlatkin-Troitschanskaia O, Beck K, et al. Assessment of university students’ critical thinking: Next generation performance assessment[J]. International Journal of Testing, 2019,(4):337-362.

[10]Butler H A. Halpern critical thinking assessment predicts real‐world outcomes of critical thinking[J]. Applied Cognitive Psychology, 2012, 26(5): 721-729.

[11]Danczak S M, Thompson C D, Overton T L. Development and validation of an instrument to measure undergraduate chemistry students’ critical thinking skills[J]. Chemistry Education Research and Practice, 2020,(1): 62-78.

[12]Zahner D, Ciolfi A. International comparison of a performance-based assessment in higher education[A]. Assessment of Learning Outcomes in Higher Education[C]. Cham: Springer, 2018:215-244.

[13]俞樹煜,王國華,聶勝欣,等.在線學習活動中促進批判性思維發展的問題解決學習活動模型研究[J].電化教育研究, 2015,(7):35-41、72.

[14]Facione P A. The California critical thinking skills test: College level technical report #1- Experimental validation and content validity[R].Millbrae: The California Academic Press,1990:13-21.

[15]Facione N C, Facione P A, Sanchez C A. Critical thinking disposition as a measure of competent clinical judgment: the development of the California Critical Thinking Disposition Inventory[J].The Journal of nursing education,1994,33(8):345-50.

[16]Ennis R H, Weir E E. The Ennis-Weir critical thinking essay test: An instrument for teaching and testing[M]. Pacific Grove: Midwest Publications, 1985:1-14.

[17]Tracey C S. Using automated essay scoring to assess higher-level thinking skills in nursing education[D], Edmonton: University of Alberta, 2019:41-51.

[18]Gelerstein D, Del Río R, Nussbaum M, et al. Designing and implementing a test for measuring critical thinking in primary school[J]. Thinking Skills and Creativity, 2016,(20):40-49.

[19]Hart C, Costa C D, D'Souza D, et al. Exploring Higher Education Students' Critical Thinking Skills through Content Analysis[J]. Thinking Skills and Creativity, 2021,(82):100877.

[20]冷靜,黃旦.基于LSA的大學生批判性思維在線話語分析[J].中國電化教育,2019,(4):70-78.

[21]黃雪嬌,周東岱,劉鳳娟.在線交互活動中學習者批判性思維發展軌跡研究[J].現代遠距離教育,2021,(01):24-31.

The Core Elements and Technology Evolution Trends of Critical Thinking Evaluation

REN Yong-gong JIA Jia DUO Zhao-jun[Corresponding Author]

It is an important content of cultivating innovative talents to promote students’ development of critical thinking in the 21st century, andcritical thinking evaluation plays an important guiding role in the teaching practice of critical thinking development. Based on this, taking critical thinking evaluation tool as the research object, this paper compared and analyzed 19 critical thinking tools from 37 experimental studies in recent ten years at home and abroad, and explored the core elements and technical characteristics of critical thinking evaluation in K-12 stage and higher education stage. At the same time, from the dimensions of evaluation orientation and evaluation topic form, a four-quadrant space critical thinking evaluation tool classification framework was constructed, and the key technologies and development trends of four types of evaluation tools that included results-oriented closed evaluation, result-oriented open evaluation, process-oriented closed evaluation, and process-oriented open evaluation were summarized, expecting to provide certain reference for promoting the localization research and standardized practice application of critical thinking evaluation tools.

critical thinking; evaluation; core elements; key technologies

G40-057

A

1009—8097（2022）06—0081—09

10.3969/j.issn.1009-8097.2022.06.009

本文為遼寧省教育廳自然科學項目“多元數據驅動的智慧學習路徑推薦研究”（項目編號：LJ2020016）的階段性研究成果。

任永功，教授，博士，研究方向為人工智能、數據挖掘，郵箱為ygren@lnnu.edu.cn。

2021年10月18日

編輯：小時