題庫型游戲評測批判性思維能力研究

冷 靜 路曉旭

(1.華東師范大學 上海數字化教育裝備工程技術研究中心，上海 200062；2.華東師范大學 教育信息技術學系，上海 200062)

一、 問題提出

為了適應21世紀社會的需求，溝通、協作、創造力、創新、批判性思維和解決問題的能力已成為個人不可或缺的必備技能(Miri et al., 2007; Trilling & Fadel, 2009; Yemenici, 2016)。其中，批判性思維被認為是一種高級思維，是科學素養的集中表現(褚宏啟, 2016)。批判性思維能夠增強學習者辨別信息真偽的能力，且基于多元觀點辯證地進行問題分析、思考和決策(冷靜等，2018)。很多研究指出，在教育教學中培養批判性思維能力非常重要 (Bassham et al., 2010; Facione, 2013; 瑪雅·比亞利克等, 2019)。加強批判性思維的培養，需要對學習者的批判性思維進行測評，以提出培養批判性思維的對策。然而，目前針對批判性思維的測評工具形式單一，主要以紙質版問卷或量表為主，存在一定局限性，比如題目枯燥且題量多，不適于對中小學生進行測評。

近年來，游戲化學習研究廣受關注。游戲化環境可以呈現真實的情境，提高學習者的參與性，彌補紙質測評的不足。特別是題庫型游戲(Item bank game)可以將游戲化元素和批判性思維能力測量指標相結合，通過測評對象在游戲中的行為實現對其能力的評估。本研究設計并開發了一款測評游戲，測量中小學階段(四年級以上)學生的批判性思維能力，主要考察以下四個方面的能力：歸納、推理、觀察(判斷可信度)以及辨別假設。

二、 文獻綜述

(一) 批判性思維的定義及測評

經濟合作與發展組織啟動的“核心素養”項目，提出將批判性思維放在核心素養概念框架中(鐘啟泉，2016)。美國發布的《21世紀學習框架》明確提出批判性思維的重要性。歐盟發布的核心素養框架指出，就個人、社會能力與學習能力而言，學習者需要具備批判性思維能力。中國核心素養課題組(2016)提出的中國學生發展的核心素養也包含批判性思維的培養。未來社會需要具備21世紀能力的人才，批判性思維是其中的核心能力 (Ab Kadir, 2017; Alnofaie, 2013; Bedir, 2016; Dwyer et al. 2014; Li, 2016; Stupple et al., 2017)。

研究者未能對批判性思維的定義形成統一意見。美國哲學家約翰·杜威(John Dewey)1910年首次提出批判性思維概念，將其命名為“反省性思維”。“反省性思維是根據信仰或假定的知識背后的依據及可能的推論對它們進行主動、持續和縝密的思考”。格拉澤(Glaser, 1941)基于杜威的思想從三方面定義批判性思維：1)傾向于周全細致地考慮自身經驗范圍內的問題和對象；2)了解邏輯質詢和推理的模式；3)應用這些模式的技巧。批判性思維研究代表人物恩尼斯(Ennis)認為，批判性思維是“對論點進行正確地評估”。他從12個方面將批判性思維能力要素進行分類，又將一系列傾向加入了批判性思維概念中。美國批判性思維國家高層理事會主席理查德·保羅(Richard Paul)1999年將批判性思維定義為：積極、熟練地解析、應用、分析、綜合并評估支配信念和行為的信息的過程。綜上，多數研究指出，批判性思維包括三個要素：技能、傾向和知識。其中，技能指符合邏輯探索和推理的技能；傾向指一種價值觀和態度，使人傾向于持續努力參與解決問題和通過使用批判性思維評估別人的論點；知識是和學科相關的信息。

國內外學者一般從批判性思維的技能和傾向兩方面理解批判性思維能力，并嘗試利用測量工具測評批判性思維水平。綜觀國外學術界，批判性思維測評研究可以大體上歸納為以下三種，即多項選擇測試、建構性反饋測試(constructed-responses)以及通過在線平臺收集數據評估。表一列出了三類批判性思維的測評方式，從其開放性是否獨立于特定情境、是否包含批判性思維傾向、測量要素以及使用對象等方面比較幾種測量方式之間的異同。

很多學者嘗試翻譯和修訂批判性思維量表。例如，羅清旭等人(2001)翻譯和修訂了CCTST和CCTDI量表。彭美慈等(2004)修訂了CCTDI量表，形成了 CCTDI-CV量表中文版。趙婷婷等(2015)翻譯和修訂了美國 ETS 水平輪廓測試，形成了中國大學生批判性思維能力測試。

(二) 游戲化學習

在線游戲設計和實施路徑聚焦于兩大主軸：一是education in games，亦即利用現成的商業游戲產品，或稱為commercial-off-the-shelf (現貨供應，簡稱COTS)，應用于教學或學習(Charsky & Mims, 2008)。例如，文明帝國、模擬城市。二是聚焦在games in education，即開發嚴肅游戲(serious games)。不同于商業游戲，其發展目的是教育或是學習用途。如今，游戲已被用作學習和評估的激勵工具(Connolly et al., 2012)。游戲化指在非游戲環境中使用游戲設計元素(如挑戰、分數和級別) 和原則(如競爭和合作)提高用戶參與度和體驗(Zichermann & Cunningham, 2011)。游戲測評作為正規教育評估的補充，能夠使學生更好地完成學習任務，支持高階思維的培養(約翰·班農, 2009)。

雖然教育游戲的好處很多，但是回顧過去的研究可以發現：1)商業游戲雖然內容豐富，種類繁多，但畢竟不是以教學或學習為目的，可能存在游戲關卡過于困難，包含暴力等問題。另外，商業游戲雖然可以降低開發成本，但需要教師花時間挑選；再加上這類游戲通常不提供學生學習狀態的分析，使教師難以掌握學生的學習進度與狀態(趙永樂等，2016)。2)大多數游戲化學習側重學科知識(例如，數學、語文、科學等)的學習與成效測量，而應用于思維訓練，尤其是對批判性思維測評的在線游戲相對較少。

(三) 游戲測評技術

游戲化測評是游戲化學習的一部分，測試者在測試過程中會提高相應的能力與知識。采用游戲化測評能極大地提高測評者的興趣與動機。游戲化使用了在線或離線游戲的元素，為用戶帶來良好的體驗，學生不會覺得他們在考試或測試，從而提高他們的參與度、動機與交互時間(Seufert et al., 2016)。有研究表明，以故事的形式開展評估，不僅有助于評估過程，而且能讓學生沉浸其中，使他們完成這些評估的速度更快(Lee et al., 2013)。馬穎峰等(2019)指出，游戲化測評技術增加的游戲元素能夠激發測評對象的興趣、增加測評的趣味性及吸引力，提高用戶的參與動機。

表一 批判性思維的測評方式

另外，傳統的測評技術只能在課程學習結束后測試，無法記錄學生學習過程行為，缺乏有效的反饋(Ali et al., 2013)。使用計算機評價反饋可以促進學習者學習，利用過程數據代替總結性評價，從而打破傳統測評的弊端(Tanes et al., 2011；Norcini, 2010)。在線游戲評估可用于形成性評價和總結性評價；總結性評估可以采用評分或認證等任務的證據；形成性評價可通過學習者/用戶使用游戲的行為和表現，如利用日志數據、用戶信息軌跡評價學生行為及表現。

在線游戲可記錄大量的用戶行為數據，然而讓數據指導教學很難。游戲化測評技術解決了這一問題。游戲化測評技術，尤其是題庫型游戲，將游戲化元素和能力測量指標相結合，通過測評對象在一系列游戲中產生的行為數據實現對其能力的評估和測評，提取隱含、具有潛在應用價值的信息(李志謝等，2019)。實時記錄測評對象的行為數據，監測測評者批判性思維的行為過程，然后對這些行為數據進行分析可以告知測評者如何運用批判性思維進行決策(張青根等，2018)。因此，游戲化測評技術的出現不僅可以監控學生的學習軌跡，也可以利用海量數據提取有價值的信息。

(四) 現有批判性思維測評的瓶頸

就目前的研究看，測評工具不斷更迭，批判性思維測評的設計越來越趨于多樣化、學科化、動態化、具體化，然而批判性思維測評還存在一定的瓶頸。

從測評方式看，批判性思維的多項選擇題量表只能衡量測評者的認知和知識水平，不能充分反映受測者的性格特點，不能揭示出受測者選擇特定答案的原因和批判性思考過程(Ku, 2009)。而批判性思維能力大多是內隱加工方式，傳統測評無法將內部加工機制呈現出來，無法揭示其思考過程。其次，半開放及開放性問題的建構性反饋測試，相比多項選擇測試，反饋更具開放性。考官需要探究測試者解決復雜問題時是否運用了批判性思維技能。由于學習者對某一問題有不同的回答，因此，對測試結果進行評分比較費時。指導和培訓評估者也需花費較長的時間和人力。同時測試題的答案存在一定的靈活性，所以，相對于多項選擇測試而言，建構性回答反饋測試評估結果缺少連續性(Norris & Ennis,1989; Swartz & Parks, 1994)。鑒于此，研究者開始利用文本話語分析將批判性思維外顯化，但是使用在線文本話語分析需要研究者對大量文本進行質性分析，在大規模測評中沒有優勢。

從適用對象看，針對中小學生的測評工具較少，目前國內對于批判性思維的研究主要采用漢譯或國外研制的修訂版批判性思維測量表或自編量表，測評工具形式單一，絕大多數自編量表缺乏大規模測試和可靠的信效度檢驗。因此，如何對中小學生的批判性思維進行大規模過程數據采集以及批判性思維的有效分析一直懸而未解。

三、 游戲設計與開發

基于文獻的梳理發現，我國對中小學批判性思維測評缺乏科學的測評工具，因此，本研究以CCTT-X為依據，立足游戲化測試的呈現模式，設計開發了一款基于Web的角色扮演類教育游戲——《Nicola Expedition(尼古拉沙漠探險記)》，它主要以K12階段學生為目標用戶群體，采用基于設計的研究范式并結合系統開發法，實現對測評過程和結果的記錄，通過教育游戲的形式診斷學生批判性思維能力的四方面特質：歸納、推理、觀察(判斷可信度)、辨別假設。

(一)游戲架構與場景設計

基于游戲化元素設計以及測評的需求，本研究設計的《Nicola Expedition(尼古拉沙漠探險記)》架構見圖1：

圖1 《尼古拉沙漠探險記》游戲架構

測試者登陸進入游戲化界面。游戲背景假設現在是2101年6月1日，玩家作為尼古拉探險團第二團小隊長，將從地球出發，準備前往一個最近才發現的星球——尼古拉。尼古拉沙漠中有個小村莊，周圍是一望無際的沙漠。兩年前第一團已經登陸尼古拉，到現在一直沒有消息，據說以前有劫匪出沒，只留下神秘的沙匪傳說，所以總部派遣第二團去尼古拉，調查第一團究竟出了什么事。本游戲分五個場景，四個關鍵情節。游戲功能包括反饋評價、計時、提示以及實時數據記錄等。

(二)游戲交互設計

游戲中學習者可以根據自身習慣進行探索，每人可以選擇不同的游戲路徑，良好的交互設計能夠讓學習者對游戲進程有足夠的控制權。在這樣的游戲中，學習者自身對游戲進程的影響較大，同時，學習者本身對自我身份的認同感和價值感也會隨游戲而不斷增強。

本游戲的交互設計分析分為以下幾個方面：首先是設計反饋激勵機制。游戲測評需要設計良好的激勵反饋機制鼓勵學習者沉浸在游戲中，激發他們對故事內容的興趣。在本游戲中，玩家完成某項任務后，會得到“寶盒”“鑰匙”“信件恢復水”等線索獎勵，激發游戲者的求知欲和好奇心。其次是設計沖突競爭和挑戰機制。游戲中的沖突和競爭可以增強學習者的游戲動力，激發學習者的游戲激情，促進其在激烈的挑戰中學習。在游戲情節設置中，本游戲多處設定沖突或挑戰，例如，隊友之間觀點分歧，以考察游戲者如何做判斷。最后，游戲配樂與音效能夠增強測試者情景投入，提升玩家的游戲體驗，引起共鳴。本游戲設計了配樂，為玩家提供良好的視聽效果，采用與游戲畫面風格一致的輕音樂為玩家營造輕松愉悅的氛圍，如“冒險島登錄”“時間之路”“天空之城”等，并在游戲高潮時用配樂“通天塔組隊任務”烘托緊張的游戲情節。本游戲還設計了“玩家跑動”“書本翻頁”“寶盒打開”等互動音效，帶領游戲者切身融入故事情節中，增強游戲畫面感，讓玩家獲得生動的體驗。

四、 預實驗

(一)實驗設計

游戲共有49道題，其中包括4道例題(1、2、19、41)，均記入總分。由于故事情節影響，游戲版測試工具測試時間不超過50分鐘。

(二)實驗對象及過程

本研究選取上海25名初高中學生(初一至高三)為測試對象，年齡在13-19歲之間，實驗時長50分鐘，每個任務由學生自主控制時長，允許提前提交。最終，剔除作答題目少于29題的4人，得到有效數據21人。由于參與實驗人數較少，所以嚴格來說是先導/預備實驗。

五、 數據結果

為了更好地展現研究結果，本文從集體表現和個人表現兩方面分析數據結果。

(一)題目難度

在本次測試的49道題中，當60%以上的測試對象答錯時，我們認為這道題的答題情況較差；當答錯人數介于40%-60%時，我們規定這樣的水平為一般；60%以上的人數答對，說明這個題目答題情況良好。學生答題水平統計見圖2。對學生答題進行統計發現，25道題達到較好水平，9道題答題情況不樂觀，約占18.4%，其中27題和38題答錯人數最多。這說明測試題難度適中。

圖2 學生答題水平統計

(二)批判性思維技能整體水平

將學生答題與批判性思維能力的四個測量維度：歸納(induction)、觀察與可靠性(observation & credibility)、演繹推理(deduction)、辨別假設(assumption)對應，分別計算四個維度的回答正確率，能夠判斷學生批判性思維技能的整體水平。比較發現，四個測量維度題目正確率水平均在50%以上(見圖3)，這在一定程度上反映了學生整體的批判性思維技能尚好，尤其是演繹推理和假設維度相對較強。

圖3 整體能力水平(均值)

(三)批判性思維技能個體水平

本研究將每個學生的答題與批判性思維能力的四個測量維度相對應，分別計算每個學生四個維度的得分，從而判斷每個學生的批判性思維技能水平(見圖4)。

圖4 學生在批判性思維能力四個維度的得分

此外，本研究以學生個體為例對數據進行處理分析，將學生得分線與各能力總分線相對比，可以得到與整體的差距(如以學生S1號為例，見圖5)。我們能直觀判斷出該生演繹推理能力、辨別假設能力水平較高，歸納能力次之，觀察(可信度)能力較弱。我們可以將結果反饋給參與測試的學生，幫助學生自我診斷。

(四)學生查看例題與總分

游戲能記錄測試者查看例題的時間，我們將查看例題的時間與總分比較，發現學生查看例題時間越多，其得分越高(見圖6)。

(五)相關變量回歸分析

為了深入探究游戲過程中涉及到的一些變量與批判性思維能力水平關系，本文選擇學生性別、年齡、查看例題時間這三個可能影響批判性思維能力(得分)變量，利用JMP統計分析軟件，將這三者與分數變量進行回歸分析。通過構造回歸模型，以所得分數為因變量，以性別、年齡、查看例題時間為自變量，運用逐步法擬合回歸模型，篩選出年齡、查看例題時間兩個變量進入方程。結果顯示，性別的P值概率>0.05，這說明學生得分情況與性別不相關。進一步運行模型, 進行回歸方程分析及參數檢驗。可以分析年齡、查看例題時間與因變量“得分”的影響關系。在參數估計值報表中，年齡和查看例題時間P值較小(<0.05)這表示兩個因子在預測得分情況時貢獻顯著。

根據以往研究結果預期學生所得分數與性別無關，且隨著年齡的增長，批判性思維能力水平越高。另外，預期學生所得分數與理解例題的時間成正比。分析結果與預期結果一致，說明該游戲測評工具實證效果較為理想。

圖5 學生S1的能力水平與整體對比

圖6 查看例題時間與總分的對比

六、 結論與展望

分析實驗結果，我們可以得到以下結論：

(一)測評對象的批判性思維能力整體處中等水平

根據上述數據處理結果，我們得出該批次初高中學生分數均值為27.9，81.6%的題目答題情況較理想，且依據測試結果顯示歸納、觀察與可靠性的平均值占比超過各自總分的50%，演繹推理、辨別假設的平均分達總分60%以上，這說明學生批判性思維能力處于中等水平。

(二)游戲化測評工具可以提高學生的學習動機及投入度

在測試完成后，筆者通過微信等線上通訊工具了解用戶游戲過程的主觀體驗，筆者發現，該游戲測量工具存在以下優勢：首先，在測試內容中加入游戲元素。玩家可以通過角色扮演進行場景、興趣點切換，玩家在游戲任務(如尋找打開寶箱的鑰匙、發現讓信件顯示字跡的藥水等)的驅動下，提高了游戲學習動機。其次，游戲設計可以提供連續快速的結果反饋，有助于學生依據結果作出自我診斷。這與帕帕斯特基歐(Papastergiou，2009)和赫羅德托等人(Herodotou，et al.,2015)在學科教育中采用游戲化教學方法的研究結果相同，有效營造出激勵機制的教學環境，能成功激發學習者的參與度、好奇心和創造力。

(三)批判性思維得分高的學生用于查看例題的時間更多

基于游戲化測量可以實時記錄用戶的操作。本研究提取了用戶提交答案時的時間戳，用來代表游戲者閱讀和思考該題目的時間。數據處理分析發現，學生作答時查看例題的時間與得分明顯相關。

本研究還存在一定的局限性：首先，學生批判性思維能力水平的診斷需要長時間觀察，本研究時間條件限制，無法追蹤研究對象的批判性思維能力發展情況，因此也無法驗證本次測試對批判性思維能力的培養和遷移作用。其次，數據是學習分析的信息基礎，現階段游戲版本仍在更新。基于研究環境的約束，本研究只選取了少量中小學生參與游戲測試，主要是利用其初步結果優化設計游戲化測評，以便在后續研究中大范圍收集數據。最后，為了更好地驗證基于題庫型游戲的能力測評工具的效果，未來的研究設計可以將游戲測評和紙筆形式問卷進行對比研究。