基于過程數據的人機“虛擬代理”協作問題解決測評研究*——以PISA中國四地區為例

首 新 田 偉 李 健 劉 楊

基于過程數據的人機“虛擬代理”協作問題解決測評研究*——以PISA中國四地區為例

首 新1,5田 偉2李 健3劉 楊4

（1．重慶師范大學 科技教育與傳播研究中心，重慶 401331；2．北京師范大學 中國基礎教育質量監測協同創新中心，北京 100875；3．重慶高新區教育事務中心，重慶 400041；4．陜西師范大學 生命科學學院，陜西西安 710119；5．西南大學 教育學部，重慶 400715）

當前，隨著交互測評技術的發展，分析個體與“虛擬代理”的協作動態信息已成為當前交互式協作問題解決測評的新趨勢。為此，文章基于過程性視角分析了中國四地區（京滬蘇粵、香港、澳門、臺灣）青少年在PISA項目“Xandar”一題上的協作問題解決過程，結果發現：在交互式測評中，適量的點擊鼠標更有助于思考答題；協作過程注重監控、反思、調整等更可能成為高水平者（如香港），這反映出元認知體驗和策略對復雜技能的重要性；四地區學生表現可形成三類群組，其中京滬蘇粵在“執行與技術”組的占比較大、香港在“決策與組織”組的占比較大，依據PISA等級水平，學生善于主動采取行動進行決策，解決分歧和沖突更可能處于高等級。最后，文章基于研究結果提出了發展協作問題解決能力的教學建議，以期更好地推進協作問題解決能力培養。

協作問題解決；PISA；交互式測評；虛擬代理；青少年

一 研究背景

人機交互是研究人與計算機之間信息交流、影響的技術系統，“人”指操作者和用戶，“機”指新興技術設備。從最初的鼠標拖動、單向瀏覽到現如今的語言識別、情意捕捉等，交互技術已轉向判別交互過程中的認知屬性。隨著交互技術的發展，教育領域的人機交互測評開始嘗試加入虛擬代理（Virtual Agent）開展基于情境的問題解決評估[1]。在這一過程中，虛擬代理通過預先設計好的腳本模擬真實情境中與被試的限定性對話或含義更廣泛的提示、引導、操作、交流等互動，讓被試展現真實的協作問題解決水平。

國際大型測評項目（Program for International Student Assessment，PISA）在2015年已全面在計算機環境下對15歲青少年開展協作問題解決測驗，而測驗中的“虛擬代理”通過與被試對話或含義更廣泛的互動，以提示、協助、引導等方式推進被試與“虛擬代理”的協作問題解決。與“虛擬代理”的協作能反映被試的協作問題解決過程和方向，這為分析協作問題解決提供了新的過程視角。為此，本研究著眼于PISA項目中國四地區（京滬蘇粵、澳門、臺灣、香港）協作問題解決的過程數據來刻畫學生的協作問題解決歷程，比較四地區青少年在協作策略、模式上的差異，為更好地開展協作問題解決能力培養提供有益建議。

二 研究現狀

1 協作問題解決的過程測驗

捕捉協作問題解決過程可以展現個體的社會交互程度，彌補結果性評價的不足。目前國際測評PISA/ATC21S項目采用的交互式測驗，都強調從過程性視角評估個體的協作問題解決能力。體現協作過程的個體表現測驗主要有“人-機”交互、“人-人”交互兩種測評模式，均是基于計算機環境記錄被試在計算機環境中的操作，并生成日志數據來表征問題解決過程[2]。其中，“人-機”交互測驗并不是簡單地將紙筆測試電子化，而是被試與虛擬代理（表征團隊其他成員）對話探討問題解決路徑，通過捕捉被試選擇路徑的過程來判別其協作問題解決水平。“人-機”交互測驗的基本邏輯是，被試在精心創設的試題情境中，通過代理呈現提示，或協助、引導探究過程，讓被試有充分的空間展現其問題解決水平，表達實質推進問題解決的見解。這是一種基于腳本的封閉情境測試，“封閉”是指被試只能選擇腳本已有內容與虛擬代理進行“協作”，進而展現交互性的動態測驗，提高測驗的針對性和有效性[3]。代理是腳本的可視化，除了在測驗中進行引導，還可幫助不能推進問題解決的被試逐步回歸正確路徑，但相應階段的得分會降低。當然，“人-機”交互測驗的封閉性也可能會束縛被試所期望的協作進程，也就是基于腳本的測驗可能阻礙了被試的認知投入和知識激發[4]。

另一種相對開放的“人-人”交互測驗則更能捕捉個體面對小組任務時的認知過程，此時計算機只提供虛擬情境，小組成員合作決策下一步操作，逐步達成共同目標[5]。“人-人”交互測驗的基本邏輯是：充分基于個體已有經驗進行社會交互，由此形成小組內部、個體外部的信息不對稱態勢，以對話交流、討論、操作等過程揭示個體在團隊中的協作問題解決能力。“人-人”交互測驗基本無腳本限制，但也有一些獨立于測驗內容的腳本支架可以引導小組把握正確的方向，以明確下一步操作[6]。“人-人”交互測驗展現了真實的合作過程，并且測驗系統記錄的豐富過程數據為揭示個體協作問題解決水平提供了證據，但計算機的記錄可能會產生成千上萬的碎片信息，這樣建立對關鍵行為可識別的評判標準就顯得尤為重要了。而這也是目前“人-人”交互測驗的核心難題，如ATC21S項目采用“人-人”交互測驗，僅涉及小組兩位被試，這尚未構成個體面向外部的社會交互，顯示了還原協作問題解決能力這一復雜技能的困難。

2 PISA協作問題解決測驗

PISA于2003年首次增設問題解決測試項目，以測評學生綜合解決現實生活實際問題的能力，PISA 2012進一步細化了問題解決中的認知過程，將其分為探索和理解、表征和形式、監控和反思、計劃和實施四個方面。PISA 2015在此基礎上又增加三項協作要素（達成共識、采取行動、建立團隊），由此形成3×4的協作問題解決測評框架。基于該框架和測試結果，PISA制定了協作問題解決能力水平4級精熟度，其中第4級代表最高水平（640分以上）[7]。雖然都是一種個人能力，但不同于個人問題解決，PISA測評協作性問題解決的過程是建立在共同任務上，成員之間進行任務分配，激發個體嘗試用知識、觀點和經驗來解決共同問題，期間會有爭論、激勵等。被試的協作對象為2～3名虛擬代理，利用預先制定的腳本盡可能體現個體與外界的社會交互和構建，在腳本控制下，被試通過選擇與虛擬代理的對話內容來表征協作問題解決進程，這種模擬與情境聊天室集成在一起，以此評估其相關技能水平。

PISA利用“人-機”交互所測的協作問題解決能力用于建立通用的標準進行各個國家或地區的比較，讓教育決策者發現各自學生的協作問題解決能力與其他教育體系學生相比有何差異，反思自我教育系統的不足，以制定更好的教育政策制度，因而PISA測試報告更加關注各國家或地區的結果，但國家內部的地區差異需要根據研究目標進行二次分析，這對于教育決策者關注國家內部教育均衡發展仍至關重要。我國共有四地區學生參與PISA協作問題解決能力測驗，那么這些學生的協作問題解決行為表現有何差異，表現出哪些特征？高水平協作問題解決者有何特質？如何推進有針對性的教學改革揚長避短？對于這些問題的回答，本研究著眼于地區性協作問題解決過程進行比較，嘗試從過程性視角解構中國四地區（下文簡稱“四地區”）學生與虛擬代理協作的路徑及差異，以便從全新的視角提出發展協作問題解決能力的有效策略。

表1 “Xandar”一題的評測內容明細

三 研究設計

基于過程數據分析視角，本研究擬采用關系挖掘、Rasch模型、序列分析、聚類等方法分析四地區學生在國際測評PISA項目“Xandar”一題（樣題）上的協作問題解決過程及特征，進而提出發展學生協作問題解決能力的教學建議。

1 研究對象

本研究以四地區參與PISA協作問題解決測驗“Xandar”一題作答的15歲學生為研究對象。中國四地區共4704名學生作答“Xandar”一題，加權后實際代表281375個樣本。為避免地區樣本差異，所有結果均采用PISA提供的權重變量“SENWT”進行加權處理，將四地區學生總數調整為相同的數值（均為5000）進行分析。

2 研究工具

“Xandar”一題創設的情境是老師把全班同學分成三人一小組進行比賽。率先正確回答出有關“Xandar”國在地理、國民和經濟領域12個問題的小組獲勝，老師建議小組在比賽開始前先花一點時間討論怎樣才能更好地完成任務。項目評估重點并非是回答12個問題，而是被試與另外兩位“虛擬代理”Alice和Zach組成三人小組，以對話的形式商討如何分工協作。該題展現的協作問題解決過程包括：①商定形成答題策略（每位同學負責一個領域）；②選定各自的答題領域（根據對三個領域的熟悉度確定負責哪一個）；③監控答題過程（先關注自己的領域，再幫助其他人解決有困難的問題）。這些過程涉及的協作問題解決要素包含了解問題情境、商議問題策略、達成解題共識、有效參與問題解決、評估團隊進展等[8]。評測內容明細如表1所示。

表2 “Xandar”一題行為序列編碼（1-11）

注：1表示從行為C101到行為C102，形成一個行為序列，其他以此類推。

3 研究過程

本研究首先初步分析四地區學生在“Xandar”一題中答題時間及鼠標點擊次數方面的差異；然后深入分析其答題的行為特征，再進一步解構答題行為序列，進而尋求答題過程群組并分析差異；最后進行教學反饋并提出有針對性的教學策略。本研究涉及的變量包括：①答題時間。②鼠標點擊次數。③答題行為，定義點擊鼠標一次表征一個行為，“Xandar”一題共有12個關鍵行為。④答題行為序列。“Xandar”一題的答題操作順序與問題解決時程一致，是鏈條式且不能跳躍的，因此定義兩個相鄰行為組成一個行為序列，“Xandar”一題設置了12個考察點，組合相鄰行為共有11種行為序列，其編碼如表2所示。每個行為有正（用1表示）、誤（用0表示）兩種情況，因此一個行為序列有0-1、1-1、1-0、0-0四種情形，本研究擬進一步分析行為序列的四種情形以獲得四地區學生協作問題解決的特征。⑤學生協作問題解決表現。本研究采用Greiff等[9]的建議，以PISA提供的第一個似真值（First Plausible Value）得分表征個體協作問題解決水平。

4 研究方法

為了精準分析四地區學生在“Xandar”一題中的作答行為表現，展現其協作問題解決過程，挖掘協作問題解決特征，本研究采用相關、比率、匹配等關系挖掘方法分析四地區學生在“Xandar”一題中的答題時間、鼠標點擊次數以及行為序列時程，擬合Rasch模型比較四地區學生的行為水平差異，并基于序列分析思想進一步揭示四地區學生的協作問題解決過程行為差異，進而運用兩步聚類方法設置協作問題解決群組，表征四地區學生的協作問題解決特征，最終為發展學生協作問題解決能力提供有效建議。

5 數據分析

基于上述研究方法，本研究借助SPSS 22、Winsteps 3.72、Excel等工具對四地區學生作答“Xandar”一題所產生的89628條信息（數據清洗之后所得）進行數據分析，以揭示四地區學生的協作問題解決過程及行為表現特征。

四 研究結果

通過數據分析，本研究獲得了四地區學生在表層答題時間/鼠標點擊、行為水平，在深層行為序列、協作問題解決群組等方面的結果，為揭示學生協作問題解決過程提供了依據。

1 答題時間及鼠標點擊次數

“Xandar”一題的答題時間、鼠標點擊次數如圖1、圖2所示。其中，橫坐標為百分位數，縱坐標為答題時間（秒）/鼠標點擊次數（次）。答題時間方面，澳門學生花費的時間最多（M=320.51秒），之后依次是京滬蘇粵（M=313.26秒）、香港（M=286.26秒），而臺灣學生最少（M=272.67）；尤其在60th～70th，香港學生的答題時間有驟降趨勢，與臺灣學生基本重合。

圖1 四地區在“Xandar”一題的答題時間情況

鼠標點擊次數方面，香港學生最多（M=67.32次），之后依次是京滬蘇粵（M=61.46）、臺灣（M=60.26次），澳門學生最少（M=57.67次）。澳門學生花費最多的時間答題但鼠標點擊次數相對卻最少，說明澳門學生傾向于在思考后點擊鼠標答題，而非一邊點擊鼠標一邊思考進行作答。與此形成強烈對比的是香港學生，其答題時間相對較少，但點擊鼠標次數最多，反映出兩地學生不同的答題策略：香港學生可能更期望通過不斷點擊鼠標來推進思考，加快答題速度，而澳門學生則傾向于靜態思考。如前所述，“Xandar”一題共設置了12個考察點，一般認為答對80%為優良，以此為標準（至少答對9個），那么香港學生的優良率為42.26%，澳門學生為26.67%，說明回答計算機交互試題時，以點擊鼠標進行操作性思考和調整更有助于答題。

2 行為水平差異

本研究建立Rasch模型，分析12個行為與學生協作問題解決表現之間的關系。Rasch模型以對數轉換為基礎，將個體能力（本研究中指學生的協作問題解決表現）與項目難度（本研究中指12個關鍵行為所表征的認知難度）放在同一量尺下進行匹配，將個體與項目的對應關系可視化。如圖3所示，量尺左側呈現學生的協作問題解決能力分布情況，右側呈現關鍵行為認知水平難度。量尺從下到上，隨著學生協作問題解決能力的提升，關鍵行為認知難度也隨之增大。由圖3可知，澳門、臺灣學生答題顯示行為C401較難（Rasch值為3.80、2.23），京滬蘇粵、香港學生答題顯示行為C302較難（Rasch值為2.93、2.57）。行為C302、C401同屬于4級難度，且是相鄰行為，其中行為C302反映學生對團隊問題解決過程的監控，確保成員按照商定策略進行；行為C401反映對階段性問題解決結果的監控，并對后續進程進行有效評估。香港學生認為C302較難而C401較簡單，說明他們更傾向于對階段性結果進行評估和反思，并預測后續過程。澳門學生與之形成鮮明對比，認為C401較難而C302較簡單，說明他們更關注問題解決過程中小組的進度，并進行及時交流。從正確率來看，香港學生在C302上為18.79%，在C401上為58.03%（18.79%＜58.03%）；澳門學生在C302上為21.71%，在C401上為5.31%（21.71%＞5.31%），也充分佐證了上述不同地區學生所表現出的問題解決過程特征。

圖3 四地區行為水平分布Rasch圖（從左到右依次是京滬蘇粵、澳門、臺灣、香港）

PISA已事先標定“Xandar”一題12個行為的認知難度，分為1～4共4個難度水平（參見表1）。利用Rasch模型獲得的大部分行為難度水平分布與PISA標定結果大致相同，但某些行為表現并不一致，如行為C203、C105分別標定為2級、1級難度水平，但圖3顯示相對其他行為其處于量尺上部；行為C201、C301標定為4級難度水平，但其相對處于量尺下部。針對Rasch實測結果與PISA標定難度水平不一致的情況，可進一步對行為所表征的認知難度進行調整。

3 行為序列分析

11種行為序列在1-0（1表示正確，0表示錯誤）、0-0、0-1、1-1四種情形的占比情況如圖4所示。整體來看，在1-0情形中，波動較大的是行為序列7、8、9；在0-0情形中，波動較大的是行為序列6、10；在0-1情形中，波動較大的是行為序列8、10、11；在1-1情形中，波動較大的是行為序列6、10、11。行為序列7在1-0情形中占比較大，在0-1情形中占比較小，行為序列9與之類似，行為序列8與之相反，行為序列7、8、9可構成鏈C202-203-301-302，說明四地區大部分學生能答對C202、C301，卻答錯C203、C302。皮爾遜相關分析結果顯示，行為C203、C302與個體協作問題解決得分相關度為0.05、0.13（＜0.2），說明C203、C302的錯誤導致了低得分，若都答對，學生的協作問題解決得分將增加25.01分。

行為序列10、11在0-0、0-1情形下差異較大。在0-1情形中，香港學生行為序列10占比最大，澳門學生最小，說明香港學生能答對C401，而澳門學生答錯C302。行為C302、C401都屬于4級難度水平，難度較大，構成的行為序列10難度就大，因此在0-0情形中占比都較大，而行為C401要求學生對階段性結果進行監控并評估成功解決問題的可能性，說明香港學生在協作問題解決過程中更關注問題解決進程，進行監控與反思，這與上述Rasch模型分析結果類似。四地區學生的行為序列11分布各不相同，從1-1、0-1情形來看，若前行為C401正確，那么后行為C402正確率會極速增加，這在香港學生身上表現尤為明顯。澳門在C402上的正確率顯著提升，行為C402是監控小組其他成員的進度并調整團隊角色，難度比C401低，說明澳門學生在逐步調整對問題解決過程的監控，但由于C402是最后一個行為，調整效果并不明顯。

圖4 四地區行為序列在4種情形下的占比（%）情況

本研究進一步采用滯后序列分析思想探求哪些行為序列的發生率達到統計顯著水平，并基于顯著性行為序列分析四地區學生協作問題解決的過程及差異：首先統計11個行為序列在四種情形下的頻數，然后以“橫坐標表示先發行為，縱坐標表示繼發行為”生成行為序列頻數表，再進行標準分數轉換，計算其值，若值大于+1.96，則表示相應行為序列達到了概論統計的顯著水平（＜0.05）。由此，本研究構建了四地區學生行為序列在4種情形（1-1/1-0/0-1/0-0）下的顯著性發生率路徑，如圖5所示。

圖5 四地區行為序列在4種情形（1-1/1-0/0-1/0-0）下的顯著性發生率路徑

整體來看，行為序列1～5的顯著性發生率均為1-1情形，這主要源于行為C101～C201難度均較低。但從行為序列6開始，4種情形下的顯著性發生率各有差異，如香港、臺灣出現兩種情形的發生率為顯著，在某些行為序列中，甚至0-0情形也為顯著性發生率，由于越靠后協作問題解決認知水平越難，這表明面對難度較大的行為時，四地區學生的表現差異較大。

分地區來看，從行為序列6開始，香港、臺灣在多種情形下存在顯著性發生率，香港在行為序列7、8新增1-0、0-1，說明其在C203上的正確率較低，行為C203旨在考查學生推進小組協作問題解決分工過程中的能力，反映出學生“達成問題解決共識”方面的能力還有待提高，其他三地區也有類似問題，但由于香港地區仍有1-1情形支撐，因此可以推斷四地區學生在協作問題解決達成共識方面都有所欠缺，但相比而言香港仍處于前列。臺灣在行為序列6、7新增0-1、1-0，這主要源于行為C202難度較小，而前行為C201難度較大，學生不能啟動“解釋分工緣由”的對話，也就是說不能發現小組成員的優勢和觀點，而其他三地區在此階段表現較好，這反映出臺灣地區學生在小組協作分工方面還有待加強。針對行為序列10，京滬蘇粵、澳門的0-0情形均為顯著性發生率，反映出行為C302、C401對該地區的學生而言難度較大；而香港地區出現0-1、0-0情形，說明此階段后發行為C401相對表現較好；臺灣地區出現1-0情形，說明先發行為C302相對表現較好。根據行為所表征的協作問題解決要素，表明針對監控、評估、調整等高認知協作問題解決過程，京滬蘇粵和澳門學生的表現較差，而香港、臺灣學生表現較好。針對行為序列11，香港又以1-1情形為顯著發生率，表明其行為C401、C402正確率較高，而這兩個行為都指向“評估團隊進展”，故可以推斷，香港學生在“監控和反思”階段（反映高水平認知過程）表現較好。PISA報告顯示，中國香港排名第三，可能就是源于學生在協作問題解決中的監控、調整、評估等“監控與反思”過程表現較好。

4 協作問題解決群組

本研究將含有四種情形的11個行為序列納入分類變量，進行對數相似值轉化以測量距離，依據貝葉斯信息準則采用自動確定聚類數量的方式對樣本進行兩步聚類分析，形成了3類穩定聚類結果：第一類占40.66%，第二類占57.81%，第三類占1.53%。從操作過程來看，群組1的答題時間為214.09秒/人，鼠標點擊次數為12.5次/人，協作問題解決得分均值為571.59；群組2的答題時間為218.48秒/人，鼠標點擊次數為15.4次/人，協作問題解決得分均值為477.84；群組3的答題時間為505.61秒/人，鼠標點擊次數為93.7次/人，協作問題解決得分均值為363.07。據此初步發現，群組1和群組2能有效理解題意，通過點擊鼠標對試題信息進行加工，而群組3表現出肆意點擊鼠標的情況，傾向于漫無目的地答題，不能推進整個協作問題解決過程。

進一步從行為序列聚類結果進行分析1聚類群組在四種情形中的分布情況請見https://blog.sciencenet.cn/blog-3361920-1400659.html。：行為序列1～4中，三類群組的最頻繁類別均在1-1情形，行為序列9～10則均在1-0、0-0情形，原因主要在于其中蘊含的行為不是過于簡單就是難度過高，對大部分學生而言考查效果一致；而由中等難度構成的行為序列，三類群組表現各異。在這些行為序列中，群組1在行為序列5、6上的最頻繁類別均在1-1情形，群組2在行為序列7、8上的最頻繁類別均在1-1情形，說明群組1的學生能夠答對行為序列5、6，群組2的學生能夠答對行為序列7、8，反映出群組1在協作問題解決過程中更可能成為決策者和組織者，識別問題解決的關鍵方法，并且善于發現小組成員的優勢以組織分配任務；群組2則傾向于成為協作問題解決過程中的執行者，且對問題解決中的關鍵技術和方法具有一定的話語權，善于辨別并描述重要任務。對群組3而言，在行為序列8、11上的最頻繁類別均在0-0情形，反映出這類學生既不能推進協作問題解決過程，也對其中的關鍵方法或技術缺乏見解，或者信息技術素養較差，不能理解答題操作界面。依據上述群組協作問題解決的特征可知，群組1是“決策與組織”組，群組2是“執行與技術”組，群組3是“錯誤偏向”組。

圖6 四地區學生的聚類群組分布情況

四地區學生的聚類群組分布如圖6所示。總體而言，“錯誤偏向”組占比較小（1.53%），原因主要在于“Xandar”一題并非只有一個問題，而是有12個考察點，且認知難度各不相同，旨在讓學生經歷協作問題解決過程以考察個體的水平，因而全部答錯的可能性較小。“執行與技術”組占比最大（57.81%），反映出四地區的大部分學生在協作問題解決過程中是任務執行者，較少關注共同體問題解決進程以及監控整個過程。分地區而言，香港在“決策與組織”組占比最高（45.90%），這與前述香港學生更傾向于評估和反思不無關系。京滬蘇粵在“決策與組織”組占比最低（33.83%），在“執行與技術”組占比最高（64.07%），這反映出京滬蘇粵學生有較為清晰的任務執行意識，更傾向于明確要做什么，但對學習過程的自主監控、管理等有待進一步加強。臺灣在“決策與組織”組的占比高于澳門（42.19%＞39.92%），在“執行與技術”組的占比低于澳門（56.87%＜59.56%），在“錯誤偏向”組兩地區的比例相當，說明臺灣學生在協作問題解決過程中也多關注進展狀況及小組成員表現，但如前所述，臺灣學生仍不能發現小組成員的優勢，或許正是這一差異，導致了其與香港學生在“決策與組織”組的差異。

五 討論與總結

上述結果展現了中國四地區學生協作問題解決過程及其特征，也反映出了協作問題解決差異及各自的不足，可為發展京滬蘇粵等我國境內學生的協作問題解決能力提供了有價值的參考。

1 關注協作問題解決過程中監控、反思等高階認知過程

行為序列分析發現，若在協作問題解決過程的監控、評估、調整等方面表現較好，其整個協作問題解決水平就較高（如香港學生），這反映了學生的元認知水平。有研究者認為，對自身認知活動進行積極監控、調節、反思等就是元認知，這一過程觸及高階認知[10]，在解決復雜問題、協作問題過程中非常重要。“Xandar”一題共3個行為（C302、C401、C402）對其進行評估，京滬蘇粵地區學生的正確率均低于香港學生，特別是在C401上，京滬蘇粵學生的正確率僅為19.9%，結合聚類分析結果顯示，京滬蘇粵學生在“執行與技術”組占比最大（64.07%），反映出中國境內學生更傾向于充當任務的“執行者”，這或與我國中學教育不太注重培養學生對自身學習過程的監控與反思能力有關。可以預測，我國學生在協作問題解決測評中元認知的不足，源于學校教育過分注重學習結果，而缺乏關注獲得好的學習結果的過程，特別是對復雜的、協作性問題解決而言，或許教師在講授學習策略和方法時，還應該有意識地將重點放在過程監控、階段反思等方面，逐步推進協作問題解決過程中元認知體驗、元認知監控意識的養成。

2 重視協作問題解決過程中決策與組織能力的培養

聚類分析結果顯示，京滬蘇粵在“決策與組織”組占比最小（33.83%），反映出其在問題解決過程中的協作水平、溝通和合作能力還需進一步提升。多重比較（LSD）發現，雖然四地區學生在“決策與組織”組的協作問題解決得分均值均高于540，達到了水平3，但京滬蘇粵與其他三地區均有顯著差異，其中與香港相差29.65分。PISA報告顯示，香港在協作問題解決測評中全球排名第3，而京滬蘇粵排名26，因此京滬蘇粵的教育決策者更應該向香港學習如何培養學生的決策與組織能力。由于教育文化使然，我國教師傾向于訓練學生的個體問題解決能力，我國中學生在國際奧林匹克競賽中的優異表現就是最好的佐證。但隨著“合作與交流”核心素養逐步得到重視，與他人合作開展探究學習成為基礎教育課程改革的重要方向，如香港《中學課程綱要（科學科）》倡導學習伙伴式的學生角色，指出“中學生可以擔當較活躍的角色，啟發其他伙伴一起學習，大家分工合作和分享觀點，給予反饋，一起探索不同的學習方式”[11]，這一學習方式顯然指向協作問題解決中的決策與組織能力。因此，我國應逐步扭轉只注重個人能力而忽視團隊協作的意識，在教育指導綱要、課程方案、課程標準等政策文件中提倡協作學習，在課程活動中設計群體任務導向的協作問題解決活動，并鼓勵學生進行協商、決策，組織討論小組分工、策略、方法等。

3 加強基于核心素養的協作問題解決策略與方法指導

在本研究中，答題時間、鼠標點擊及行為序列的差異反映出四地區學生在解題策略、方法上的特征，廣義而言，這是由學習策略、問題解決方法不同而引起的結果。PISA報告顯示，京滬蘇粵達到協作問題解決4級熟練水平（高水平）的學生占6.4%，顯著低于香港、澳門、臺灣地區（13.0%、11.1%、9.6%）；而協作問題解決低于1級水平（低成就）的學生占5.8%，顯著高于其他三地區（1.9%、2.2%、2.7%）。京滬蘇粵是我國教育資源較發達地區，尚且有如此差異，若將其他欠發達省市青少年考慮在內，差異會進一步加大。隨著以發展學生核心素養為目標的義務教育各學科課程標準的頒布，在課堂教學中讓學生經歷協作問題解決過程，著重訓練學習策略成為新的課程改革方向。發展學生核心素養的基本要義之一，就是使其“善于發現和提出問題，有解決問題的興趣和熱情；能依據特定情境和具體條件，選擇制訂合理的解決方案等”，在科學課程中落地為探究實踐，在數學課程中表現為“運用數學和其他學科的知識與方法分析問題和解決問題”，在藝術課程中闡述為進行藝術創新和實際應用，等等。期待與時俱進的課程方案能逐步推進我國學生協作問題解決過程中認知技能、方法以及學習策略的提升。

4 推進學生信息技術素養的提升

PISA從2012年開始實施大規模的基于計算機的測試，體現了對學生信息技術素養的要求。測評過程需要通過鍵盤和鼠標輸入、點擊、拖放、滑動、下拉等操作完成，雖然只涉及基本的計算機操作，但這種不同于傳統紙筆測試的方式仍會對部分不熟悉計算機操作的學生產生影響。PISA報告顯示，雖然是否使用計算機與協作問題解決總分之間存在弱相關（RR=0.72/0.77），但在控制經濟、社會和文化地位因素后，自我感知信息技術素養高的京滬蘇粵學生的協作問題解決總分比信息素養低的學生高6分[12]。可見，基于計算機的測試對學生有一定的影響。本研究的聚類分析結果也顯示，群組三“錯誤偏向組”比例較小，但人均鼠標點擊次數最多、答題時間也最長，這很可能是此類學生的信息技術素養較差導致，如其不熟悉計算機操作操作界面，胡亂點擊鼠標，從而影響了答題進程。因此，基礎教育階段應當將信息技術素養看成是與識字、讀寫、計算能力一樣的教育基本要求，從根本上提高學生的計算機基本操作能力、簡單信息處理能力等，進而促進其整體信息技術素養的提升。

[1]Ohmoto Y, Takahashi A, Ohashi H, et al. Capture and Express Behavior Environment (CEBE) for realizing enculturating human-agent interaction[A]. Culture and Computing - Computing and Communication for Crosscultural Interaction[C]. Berlin: Springer-Verlag, 2010:22-23.

[2]袁建林,劉紅云.合作問題解決能力測量:真實性與過程性評價視角[J].電化教育研究,2022,(5):100-108.

[3]Noroozi O, Weinberger A, Biemans H. Facilitating argumentative knowledge construction through a transactive discussion script in CSCL[J]. Computers & Education, 2013,61:59-76.

[4]高紅麗,楊磊,徐升,等.智能導學系統人機交互機制研究[J].中國遠程教育,2021,(1):50-56、65.

[5]李美娟,劉紅云,張詠梅.計算心理測量理論在核心素養測評中的應用——以合作問題解決測評為例[J].教育研究,2022,(3):127-137.

[6]Vogel F, Wecker C, Kollar I, et al Socio-cognitive scaffolding with computer-supported collaboration scripts: A meta-analysis[J]. Educational Psychology Review, 2016,29:1-35.

[7][12]OECD. PISA 2015 results collaborative problem solving volume V[R]. Paris: OECD Publishing, 2017:79.

[8]OECD. PISA 2015 CPS-Xandar-scoring-guide[R]. PISA, Paris: OECD Publishing, 2017:13.

[9]Greiff S, Wüstenberg S, Avvisati F. Computer-generated log-file analyses as a window into students’ minds? A showcase study based on the PISA 2012 assessment of problem solving[J]. Computers & Education, 2015, 91:92-105.

[10]劉哲雨,王媛,楊慕嫻.技術支持視角下元認知策略對中小學生學業成績的影響研究——基于54篇相關外文文獻的元分析[J].現代教育技術,2021,(8):60-66.

[11]香港課程發展議會.中學課程綱要科學科(中一至中三)[OL].

Research on the Man-machine “Virtual Agents” of Collaborative Problem Solving Assesment Based on Process Data——A Case Study of PISA Test in Four Regions of China

SHOU Xin1,5TIAN Wei2LI Jian3LIU Yang4

At present, with the development of interactive assessment technology, analyzing collaborative dynamic information between individuals and “virtual agents” has become a new trend of interactive collaborative problem sloving. Therefore, based on process perspective, this paper analyzed the collaborative problem solving process of the PISA“Xandar” test among teenagers in four regions of China (Beijing Shanghai Zhejiang Guangdong, Hong Kong, Macao, Taiwan). It was found that a moderate amount of mouse clicking was more conducive to answering questions in the interactive assessment. Emphasis on monitoring, reflection, and adjustment in the collaborative processes was more likely to be high level (such as Hong Kong), which reflected the importance of metacognition experience and strategy for complex skills. The performance of students in the four regions can be divided into three groups, with Beijing, Shanghai, Jiangsu and Guangdong accounting for more in the “implementation and technology” group, and Hong Kong accounting for more in the “decision-making and organization” group. According to the PISA level, students were good at taking the initiative to make decisions, resolve differences and conflicts were more likely to be at a high level. Finally, based on the research results, the paper put forward some teaching suggestions for developing collaborative problem solving ability, expecting to promote the cultivation of collaborative problem solving ability better.

collaborative problem solving; PISA; interactive assessment; virtual agent; teenagers

G40-057

A

1009—8097（2023）10—0086—12

10.3969/j.issn.1009-8097.2023.10.009

本文為中國博士后科學基金第72批面上資助項目（項目編號：2022M722625）、重慶市教育科學規劃一般課題“雙減新常態下課后服務STEM跨學科課程構建與實施策略研究”（項目編號：K23YG2050232）的階段性研究成果。

首新，副教授，博士后，研究方向為科學教學心理與測評，郵箱為346532216@qq.com。

2023年3月7日

編輯：小時