大規模計算機交互式測評中科學探究能力表現的實證研究

陽敏 林長春

摘要： 以截取的PISA2015中國學生的log數據，運用關系挖掘、聚類、Logistic回歸分析等教育數據挖掘方法，分析中國學生在“可持續漁業”單元中兩個項目的探究行為的特點、探究行為與探究能力之間的關系，以及學生探究行為的影響因素。結果顯示： （1）依據學生項目反應時間和訪問次數，可以將學生分為4個群組（快速猜測型、任務驅動型、粗略檢查型、反復檢查型），反復檢查型學生科學素養平均成績均最高，而快速猜測型學生科學素養平均成績最低;（2）學生在兩個項目上的探究行為顯著相關;（3）科學樂趣和成就動機越強的學生，越有可能是反復檢查型。最后，基于研究結果，為教師的實踐教學提建設性建議。

關鍵詞： log數據; PISA; 科學探究能力

文章編號： 10056629（2022）06001607

中圖分類號： G633.8

文獻標識碼： B

1 問題的提出

隨著計算機和互聯網技術的不斷發展，計算機在教育領域得到了更為廣泛的應用，基于計算機的教育測評正在進入教育領域。為了培養新時代發展需要的人才，傳統唯分數論的教育測評正在發生重大改變，通過動態、模擬的計算機任務對學生進行測評的方式成為了一種重要的發展方向[1]，國際評估學生項目（PISA）逐漸開始采用基于計算機的教育測評。基于計算機的測評是學生在電腦上完成計算機模擬任務[2]，在計算機的管理后臺可以提供學生在評估期間所有操作的記錄以及相應時間戳的日志文件數據（log數據）。PISA2015在科學素養的測評領域采用了基于計算機的交互式測評方式，其log數據提供的信息不僅包括回答的正確性，還包含了學生作答的時間、項目訪問的次數、操作的次數等數據，對深入了解學生的探究表現提供了可能。PISA 2015中科學素養被視為一項關鍵能力，探究能力成為科學素養測評的核心。因此，本研究著眼于學生在科學素養測評中科學探究能力的表現，通過log數據分析學生科學探究能力差異的原因，理解學生的探究行為和表現，為教育者的實踐教學提供教育決策的依據。

2 PISA2015科學探究能力的測評

2.1 PISA2015科學探究能力測評概述

PISA2015科學素養中評估的科學探究能力主要包括三項： 科學地解釋現象、評估和設計科學調查以及科學地解釋數據與證據。該框架通過計算機交互式測評測量學生的科學探究能力，計算機交互式科學探究測試需要學生在計算模擬環境下解決情境化的科學問題，交互式測試題以單元形式呈現，學生不僅需要應用科學概念和原理解決探究的問題，還需要運用一系列探究技能才能完成，比如調查、推理、評估實驗數據等。

PISA2015對科學素養評估的三種能力定義了認知需求水平，基于知識深度分類法將認知需求分為高、中、低三個水平。低水平的項目只需要執行一步程序，例如回憶事實、原理和概念，在圖表中查找單個信息等。中等水平認知需求項目需要應用概念知識來描述或解釋現象，其涉及兩個或多個步驟。高水平認知需求項目需要分析復雜的信息或數據，在整合與評估證據的基礎上制定解決問題的計劃或步驟。此外，在2006年測評的6個能力水平中，增加了“1b”級，專門對能力最低、科學素養最低的學生進行描述。從而形成了“1b”級、“1a”級、2級、3級、4級、5級和6級一共7個層級，對能力水平的描述更詳細、更具體。

2.2 PISA2015 “Sustainable Fish Farming（可持續漁業）”探究任務

2015年，在參與PISA的72個國家的學校中，約有540000名學生被選入全球范圍，代表了約2900萬名學生。中國樣本由27384名學生組成，其中一共5984名學生對PISA測試題“Sustainable Fish Farming（可持續漁業）”做出了反應。“可持續漁業”項目1（如圖1）需要學生了解養魚場的目標和三個魚缸的功能，以及哪一種生物最適合完成每一項功能，主要考察科學探究過程中“科學地解釋現象”的能力。僅7.8%的學生答對項目1，這主要源于該項目需要學生拖動鼠標來解決問題，并且該項目為開放性的任務，這四種生物中的任何一種都可以放置在三個容器中的任何一個，每個容器中的生物數量沒有限制，難度較大。PISA2015將其認知需求水平設定為高、能力水平等級為6[3]。

項目2（如圖2）需要學生根據對每種生物體的描述，確定列出的生物體中哪一種會減少漁場向海洋釋放的大量營養物質，主要考察科學探究過程中“科學地解釋數據和證據”的能力。78.9%的學生答對項目2，該題是簡單選擇題，學生只需要點擊鼠標就能回答問題，操作簡單。PISA2015將其認知需求水平設定為低、能力等級水平為2（456分）[4]。

由于“可持續漁業”項目1和項目2難易程度、操作程序、操作方式均不同，為了探究學生在復雜程度與認知需求水平不同的項目上表現出來的探究行為是否具有差異性，因此本研究選擇項目1和項目2來進行對比分析。

3 研究的變量與方法

3.1 變量的選取及說明

在PISA探究任務中獲得相似分數的學生不一定以同樣的方式進行答題，學生的最終回答結果無法體現他們如何參與探究任務以產生這樣的結果。研究表明，學生探究過程中的特定行為，如嘗試的次數和任務時間等過程行為可能有助于理解學生取得成就的過程[5]。此外，性別差異在理解學生探究能力方面發揮重要作用[6]，一般女生在學習上更主動，學習目標更明確，探究過程中表現更好[7]。研究表明，喜歡科學并有較高成就動機的學生更熱衷于探索科學研究[8]，而學生對ICT的興趣能夠顯著預測學業成績，ICT興趣越高的學生對科學探究任務表現越積極，科學素養成績越好[9]。

因此，本研究選取PISA2015中國區的科學素養測評的log數據，擬探討如下問題： （1）通過log數據可以確定學生哪些探究行為？（2）學生探究行為與探究能力的關系？（3）學生探究行為受哪些因素的影響？據此，本研究設計了如下變量（見表1）。1FAB15F2-9EBA-480A-9E5E-ABB40618407E

3.1.1 探究行為

學生的科學探究行為可分為響應行為和檢查行為。根據Michalis P.等人的研究[10]，通過任務時間的閾值將學生響應行為分為快速猜測行為（即快速反應而不實際考慮問題）和解決問題行為（即尋求正確答案）。平均任務時間的10%作為閾值，但同時閾值不能超過10秒。在短于閾值的時間內發生的響應被認為是快速猜測，其余響應被認為是解決問題。

由于PISA2015測試中允許學生在一個單元內多次訪問項目，因此學生可以在完成項目后返回檢查自己的結果。本研究利用log數據中學生訪問次數將學生檢查結果行為分為未檢查、粗略檢查和反復檢查。未檢查： 學生訪問的次數=1，即該學生完成任務后沒有再返回對結果進行檢查;粗略檢查： 訪問的次數為2～3，即該學生解決問題后有再返回來檢查了1～2次;反復檢查： 訪問的次數為4及以上，即該學生解決問題后有多次返回來進行了反復檢查。

3.1.2 人口學特征和態度特征

除了科學素養評估，學生還花了30～45分鐘來回答PISA背景問卷。本研究利用問卷中學生的性別、科學樂趣、ICT興趣和成就動機相關數據，進一步分析探究行為的影響因素。

3.2 數據統計方法

本研究采用教育數據挖掘理念下的Log數據挖掘的方法。教育數據挖掘通過算法和心理學方法幫助學校或研究者收集和分析學習者的行為數據[11]，了解學生的學習方式、學習環境，提高教育效果并進一步指導教育決策。聚類分析、回歸分析是教育數據中兩種重要的數據挖掘方法[12]。

我們首先借助SPSS 24.0聚類分析區分不同探究行為群組，分析學生探究行為特征。然后通過不同探究行為群組答題正確率統計和科學素養成就kruskal-Wallis H差異性檢驗，探討學生探究行為與科學能力的關系。最后，為了教師在教學中能夠針對不同的學生群體實施有效的教學策略，本研究試圖探究不同探究行為群組間差異形成的原因，因此運用相關分析、Logistic回歸分析探究項目的復雜程度與認知需求、人口學特征和態度特征對學生探究行為的影響。

4 結果與分析

4.1 探究行為分析

4.1.1 探究行為統計與分析

如表2所示，“可持續漁業”項目1的閾值為10秒。任務反應時間超過10秒為解決問題行為，10秒內則為快速猜測行為。項目2的閾值為3.2秒，任務反應時間超過3.2秒為解決問題行為，3.2秒內則為快速猜測行為。項目1快速猜測者的比例為4.8%，而項目2快速猜測者的比例僅為1%。由此可見，科學探究項目認知需求越高，學生越容易放棄。

此外，項目1中粗略檢查的學生占33.5%，會進行反復檢查的學生僅占6.8%;而項目2中粗略檢查的學生占31.4%，會進行反復檢查的學生僅占5.8%。可見，隨著項目復雜程度的降低，檢查行為（粗略檢查行為和反復檢查行為）會呈現下降的趨勢。

4.1.2 探究行為群組

將響應行為和檢查行為分別納入分類變量，依據對數似然距離計算兩個變量之間的相似性，并對樣本進行兩步聚類分析，共獲得4組穩定的聚類結果。結果如表3所示，群組1在響應行為上表現為快速猜測，在檢查行為上表現為未檢查，說明這類學生尚未認真思考就點擊鼠標草草了事;群組2在響應行為上表現為努力解決問題，在檢查行為上表現為未檢查，說明這類學生正在嘗試參與科學探究的過程，但是沒有進行自查和反思，可見這類學生趨向于完成既定的任務;群組3在努力解決問題同時對結果進行了1～2次的檢查，說明這類學生不僅僅只是把科學探究當成任務，還對結果進行了粗略的檢查;群組4在努力解決問題的同時對結果進行了多次的檢查，表明這類學生不僅在探究過程中努力思考，同時還通過不斷的自查和反思來盡可能減少錯誤。

綜上，群組1是“快速猜測型”，群組2是“任務驅動型”，群組3是“粗略檢查型”，群組4是“反復檢查型”。

4.2 探究行為與探究能力表現

4.2.1 探究行為與答題正確率

由圖3可見，項目1和項目2的正確率由高到低依次為反復檢查型、粗略檢查型、任務驅動型和快速猜測型。說明學生的努力程度會直接影響探究結果，通過猜測的方式來敷衍了事是很難得到正確的答案的，而努力解決問題和對結果的不斷檢查能夠提升做題的準確率。在項目2中反復檢查型的正確率略高于粗略檢查型，而在項目1中反復檢查型的正確率是粗略檢查型的2倍。可見，學生可以通過不斷的自查而避免錯誤[13]，越是復雜的項目越需要反復檢查。

4.2.2 探究行為與科學素養成就

我們進一步調查了四種類型學生在科學素養成就方面是否存在差異。在PISA 2015中，采用項目反應理論為每個學生生成10個科學素養成就似真值。按照Greiff等人的建議[14]，采用PISA提供的第一個似真值得分為科學素養成就值。

如表4所示，項目1和項目2的平均成績由高到低依次為反復檢查型、粗略檢查型、任務驅動型和快速猜測型。分別對項目1和項目2探究行為類型科學素養成績進行kruskal-Wallis H檢驗，項目1（H=381.08， P<0.01）和項目2（H=381.08， P<0.01）中四種探究行為類型的科學素養成績有顯著性差異。進一步對四種探究行為類型進行兩兩比較，在項目1和項目2上四種探究行為類型中任意兩個探究行為類型之間科學素養成績均有顯著性差異。由此可見，學生的探究行為是科學素養的重要體現。科學探究往往不是一蹴而就的，需要鍥而不舍的精神、不斷的探索、反復的思考。

4.3 探究行為影響因素的分析

4.3.1 項目復雜程度與認知需求水平對探究行為的影響

本研究比較了兩個項目中保持相同探究行為的學生和轉向不同探究行為的學生的比例（見圖4）。項目1上為粗略檢查型和任務驅動型的學生在項目2上仍為該類型的比例分別是76.6%和94.9%。從項目1到項目2，快速猜測型學生雖有84.1%發生了轉變，大部分轉變為了任務驅動型，且沒有學生轉變為反復檢查型;反復檢查型學生中有55.2%發生了轉變，大部分轉變為了粗略檢查型，且沒有學生轉變為快速猜測型。這似乎表明學生的探究行為在不同項目上是相互關聯的，進一步進行斯皮爾曼相關分析，結果顯示，學生的探究行為類型在項目1和項目2上顯著相關（r=0.723， P<0.01）。這說明在項目1上某個特定類型的學生很有可能在項目2仍為該類型。可見，學生的探究行為是一種習慣，具有某種特定探究行為習慣的學生有很大概率在不同的項目上均表現該行為。1FAB15F2-9EBA-480A-9E5E-ABB40618407E

但是，學生在不同探究行為類型轉變比例也存在一些差異。在項目1上反復檢查型的學生有將近一半轉變為項目2中的粗略檢查型。項目2的認知需求比較低，學生似乎對自己的結果比較自信，他們表現出不太愿意再多花時間反復檢查。而項目1中快速猜測型的學生有68.6%轉變為項目2中的任務驅動型，項目難度降低時，能力水平較低的學生則表現更為積極。這些數據表明，任務復雜性和認知需求水平是導致學生探究行為發生變化的潛在因素。

4.3.2 人口學變量和態度變量對探究行為的影響

我們對學生探究行為類型與人口學變量和態度變量進行Logistic回歸分析（見表5）。關于學生的人口學特征，性別的顯著性差異僅體現在項目1上，男生更有可能是快速猜測型而不是任務驅動型。即男生在認知需求水平高的項目上更容易放棄作答，探究任務越復雜男生越容易出現快速猜測行為。喜歡科學的學生不太可能是快速猜測型而更傾向于是反復檢查型和任務驅動型，可能是對科學探究感興趣的學生更愿意花時間反復推理來體驗探究的樂趣。對于成就動機較強的學生，更有可能是反復檢查型而不是快速猜測型，成就動機較強的學生會更加期待測試的結果而認真完成并反復檢查。此外，ICT興趣影響僅表現在項目1上，ICT興趣強的學生更有可能是反復檢查型而不是快速猜測型。對信息技術興趣較弱的學生可能不知道如何進行電腦操作，因此他們不太可能會返回來反復檢查，尤其是電腦操作復雜時，他們更容易對這種基于計算機的科學探究任務失去信心而快速猜測來完成任務。

綜上所述，學生的態度對于成功實施科學探究非常重要，創造有利于學生科學興趣和成就動機發展的學習環境有利于科學探究任務的順利實施。

5 結論與建議

5.1 重視學生探究行為習慣的培養

學生大概率在不同項目上表現出相同的探究行為。可見，良好的行為習慣是提高學生科學素養的重要因素，所以重視培養學生良好探究行為習慣對科學探究尤為重要。行為習慣不是簡單的外化動作，其應同時包括理性思維、個人情感等內容。教師在培養學生探究習慣時，不能只是從外部要求學生完成某項動作，而應從學生的科學情感、科學思維等多方面引導學生全身心參與科學探究過程，以此形成良好的科學探究習慣。

此外，當項目的復雜程度和認知需求降低時，快速猜測型的學生傾向于轉變為任務驅動型，對于認知能力比較低的學生，在面對復雜問題時，他們可能缺乏足夠的信心而放棄答題。從項目1到項目2的轉變中，粗略檢查型中轉變為任務驅動型的比例大于反復檢查型，而反復檢查型有將近一半轉變為了粗略檢查型。可見，項目復雜程度越高，學生在解決問題的過程中傾向于更仔細、謹慎。所以學生在應對復雜探究任務時，教師需要更多鼓勵認知水平低的學生，給予更多的時間讓學生參與科學探究實踐，同時引導學生不斷思考，反復檢查。

5.2 促進探究行為群組的轉化

Logistic回歸分析結果表明，喜歡科學的學生更可能是任務驅動型和反復檢查型而不是快速猜測型，成就動機強的學生更有可能是反復檢查型而不是快速猜測型和任務驅動型。學生的科學興趣和成就動機是學習行為的重要內部動因[15]，是行動的引擎[16]，是指導學生科學探究的最原初動力。教師應該鼓勵學生踴躍參與科學探究實驗，并且多提供學生表現自己的機會，讓學生在科學探究的過程中體驗科學的樂趣，促進快速猜測型向任務驅動型和反復檢查型轉變。教師可以根據學生的特點，給予學生相應的肯定和引導，以此來增強學生的成就動機。促使任務驅動型和快速猜測型向反復檢查型轉化，從而提升學生的科學探究能力。

此外，ICT興趣對探究行為的影響體現在項目1上，當電腦操作復雜時，ICT興趣越強的學生越有可能是反復檢查型。學校應該多給予學生電腦實操的機會，提升學生電腦操作的能力，培養學生對計算機模擬任務的興趣。計算機是數據處理的重要工具，是21世紀學生必需具備的技能[17]。培養學生ICT興趣不僅有利于學生科學素養的提升，對于適應未來社會的發展也至關重要。

參考文獻：

[1]殷慧霞. 計算機輔助測試與評價文獻綜述[J]. 當代教育實踐與教學研究， 2017， （8）： 28.

[2]楊菁， 張軍朋. 基于計算機模擬實驗的PISA2015交互式測評的特點與啟示[J]. 物理教學， 2017， （3）： 74～77， 73.

[3]

[4]OECD. PISA 2015 Assessment and Analytical Framework： Science， Reading， Mathematic， Financial Literacy and Collaborative Problem Solving [M]. Paris： OECD publishing， 2017.

[5]LEE Y H， CHEN H. A review of recent response-time analyses in educational testing [J]. Psychological Test & Assessment Modeling， 2011， 53（3）： 359～379.

[6]NEHRING A. Predicting Students Skills in the Context of Scientific Inquiry with Cognitive， Motivational， and Sociodemographic Variables [J]. International Journal of Science Education， 2015， 37（9）： 1343～1363.

[7]Garcia， Arianna. Analysis of Gender Differences in Authentic Science Inquiry Practices [J]. Ursidae： The Undergraduate Research Journal at the University of Northern Colorado， 2017， 7（1）： 17.1FAB15F2-9EBA-480A-9E5E-ABB40618407E

[8]Hsiao-Ching She， Huann-Shyang Lin， Li-Yu Huang. Reflections on and implications of the Program for International Student Assessment 2015 （PISA 2015） performance of students in Taiwan： The role of epistemic beliefs about science in scientific literacy [J]. Journal of Research in Science Teaching， 2019， 56（10）： 1309～1340.

[9]趙寧寧， 王易， 陳小涵， 溫紅博. 信息技術對學生學業成績的影響——基于PISA2018數據[J]. 中國考試， 2020， （11）： 67～73.

[10]MICHAELIDES M P， IVANOVA M， NICOLAOU. The Relationship between Response-Time Effort and Accuracy in PISA Science Multiple Choice Items [J]. International Journal of Testing， 2020， 20（3）： 187～205.

[11]PSAROMILIGKOS Y， ORFANIDOU M， KYTAGIAS C， et al. Mining log data for the analysis of learners behaviour in web-based learning management systems [J]. Operational Research， 2011， 11（2）： 187～200.

[12]Silva， C.， Fonseca， J.. Educational Data Mining： A Literature Review. In： Rocha， .， Serrhini， M.， Felgueiras， C. （eds） Europe and MENA Cooperation Advances in Information and Communication Technologies [J]. Advances in Intelligent Systems and Computing， 2017， 520：87～94.

[13]首新， 何鵬， 陳明艷， 胡衛平. 基于教育數據挖掘的“探索和理解”問題解決過程研究——以PISA（2012）新加坡、日本、中國上海Log數據為例[J]. 現代教育技術， 2018， 28（12）： 41～47.

[14]Samuel Greiff， Sascha Wüstenberg， Francesco Avvisati. Computer-generated log-file analyses as a window into students minds？ A showcase study based on the PISA 2012 assessment of problem solving [J]. Computers & Education， 2015， 91： 92～105.

[15]付曉潔， 張雪蓮， 鄭建君. 中學生成就動機對其學業成績影響的實驗研究[J]. 教育理論與實踐， 2014， 34（17）： 33～35.

[16]龍琪， 倪娟， 李永發. 青少年科學興趣的形成路徑與提升對策——基于模糊集定性比較分析法的實證研究[J]. 基礎教育， 2020， 17（5）： 13～21.

[17]21世紀學生需要具備的技能/學習方式[J]. 遠程教育雜志， 2020， 38（2）： 88.1FAB15F2-9EBA-480A-9E5E-ABB40618407E