基于多級評分規則空間模型的教學設計及應用*

葉海智 宋婷鴿 黃宏濤 蘇明驁 李世珍

?

基于多級評分規則空間模型的教學設計及應用*

葉海智 宋婷鴿 黃宏濤 蘇明驁 李世珍

（河南師范大學 教育學院，河南新鄉 453000）

精確診斷學生的知識狀態是開展個性化教學的基礎和前提。然而，目前RSM的0-1評分方法無法對學生的知識掌握程度做出精確評價。為解決該問題，文章提出多級評分規則空間模型，在此基礎上開展教學設計及應用，并從診斷結果準確率、學習效果、滿意度調查三個方面進行分析評價。研究結果表明：基于多級評分規則空間模型的教學設計，能夠準確診斷出學生的知識狀態及掌握程度，為補救教學提供更為精確的依據，從而有效改善個性化教學效果，提高學生的學習效率。

多級評分；規則空間模型；教學設計；認知診斷；個性化教學

引言

個性化教學的核心問題是如何對學生的知識狀態進行診斷。認知診斷（Cognitive Diagnosis，CD）是獲取知識狀態的有效方法之一。該方法可以對個體知識結構、加工技能或認知過程進行診斷評估[1]。診斷結果的準確程度直接影響個性化教學的效果。目前，認知診斷中常用的方法是規則空間模型（Rule Space Model，RSM）。RSM能夠測量出學生的知識狀態，有效消除學生答題時因猜測或失誤而導致的診斷誤差，保證其結果的準確度，進而學生可根據知識狀態開展補救學習[2]。然而，基于0-1評分方法的RSM對學生知識狀態的描述只有掌握和未掌握兩種，不能很好地區分學生的知識狀態及掌握程度。因此，在教學設計中，如何提高RSM診斷結果的精度、為補救學習提供更有針對性的依據，就變得尤為重要了。

一 相關研究

隨著基于0-1評分方法的RSM在個性化教學中的應用，張敏強等[3]根據瑞文標準推理測驗（Raven’s Standard Progressive Matrices，SPM）的難度層級特點，分析其所包含的屬性及其連接關系，并運用RSM分析被試的認知狀態；喻曉鋒等[4]針對在認知診斷中確定屬性層級結構會出現偏差或錯誤的現象，將貝葉斯網技術應用到認知診斷中以確定屬性層次結構；劉慧等[5]將RSM應用在留學生現代漢語普通話基本顏色詞的習得模式中，并提供“學習之路”供補救參考。這些認知診斷系統都能夠有效地對學生的知識狀態進行診斷，但這些基于0-1評分方法的診斷系統對知識狀態掌握程度的描述不夠精確，所以本研究將借鑒自適應測驗的思想對診斷結果進行評級。

美國測量學家Lord首次提出計算機化自適應測驗（Computerized Adaptive Testing，CAT），其核心思想是通過對試題進行難度標定后再對學生進行測試，測試時計算機在題庫中自動選擇難度等級與學生能力相匹配的試題進行推送[6]——該方法能夠在得出學生能力等級的同時減少受試題目的數量。本研究受CAT中多級難度標定思想的啟發，將RSM中的0-1評分方法擴展為多級評分，以實現對學生知識狀態掌握程度的精確評價。

二 多級評分規則空間模型

1 相關概念

與傳統測試相比，認知診斷測試不僅能提供具體分數，還可以區分具有相同分數的個體在知識狀態上的差異。在規則空間模型中，滿足知識依賴關系的合理知識結構稱為理想屬性模式，不存在失誤或猜測的理想答題結果稱為期望反應模式，實際答題結果稱為實際反應模式[7]。

2 多級評分規則空間模型

多級評分規則空間模型是在RSM的基礎上對知識狀態進行多級評分的一種方法。該方法引入多級難度標定的思想對知識掌握程度進行分級，使用自適應答題策略向學生推送試題，最后通過多級評分策略實現對知識狀態的診斷。此診斷結果較0-1評分方法更為精確，使補救學習更具針對性。多級評分規則空間模型包括多級難度標定、自適應答題流程、多級評分三個階段。

（1）多級難度標定

對知識狀態進行多級評分的前提是對知識掌握程度進行分級。基于試題難度系數[8]先將知識掌握程度由高到低分為難、中、易三個等級，接著由專家為知識點設計不同難度級別的題目。

（2）自適應答題流程

本研究在多級評分規則空間模型中使用自適應答題策略，既能保證對知識狀態進行多級評分，又能減少學生在答題過程中的答題量。系統自適應地向學生推送試題，根據學生當前的答題情況判斷其能力等級并推送與其能力等級相匹配的新試題。

（3）多級評分

學生使用診斷系統進行測試后，系統自動收集學生的測試結果并實施認知診斷。認知診斷過程共分為兩個步驟：①使用RSM通過模式識別找出實際反應模式對應的期望反應模式，從而確定理想屬性模式，最終得到學生的知識狀態。知識狀態分為掌握與未掌握兩種，掌握的知識點內一定有答對的試題，未掌握的知識點內沒有回答正確的試題。②在獲取學生的知識狀態之后，還要根據學生的答題情況，判斷其掌握知識的能力等級，而能力等級與多級難度標定的三個級別相對應。系統根據學生在每個知識點上的答題情況，進一步識別該知識點上答對試題的最高難度級別，該級別表示學生的能力等級，即學生的知識狀態掌握程度。

三 基于多級評分規則空間模型的教學設計

本研究基于多級評分規則空間模型開展教學設計，其教學流程分為課前、課中、課后三個階段，分別描述設計測試項目、實施多級診斷和課堂補救、開展補救學習三個方面的教學活動，如圖1所示。

1 課前

首先，教師在課前確定教學目標和教學內容，并通過認知診斷系統向學生發布本節課所需的學習資料。學生利用學習這些資料進行課前預習，明確本節課的重難點，提高聽課的效率。其次，教師準備隨堂測試題并標定難度等級，系統依據測試題及相關知識點生成規則空間，為多級診斷做準備。

2 課中

教師主要采用面授的形式開展課堂教學活動，學生可通過聽講、互動和練習完成初步學習。為了檢驗教學效果，教師組織開展基于多級評分規則空間模型的認知診斷測試，學生通過系統進行答題并按時提交測試結果。系統收集學生的隨堂測試結果后實施多級診斷。診斷結束后，教師通過系統提供的群體知識狀態評級報告了解學生知識掌握程度，并在課堂上對存在問題最多的知識點做進一步的分析和講解，以盡可能地照顧更多的學生。學生通過系統提供的個體知識狀態評級報告，先交流、討論不同個體間的共性問題，再劃分小組交流、討論個性問題，從而有針對性地開展補救學習，解決本次學習過程中的遺留問題。

3 課后

課堂教學結束后，教師進行教學反思，優化教學過程。系統會根據每個學生的知識掌握程度推送個性化學習資源及作業，學生首先可根據學習資源對個體認知缺陷做進一步的補救學習，然后完成個性化作業，以加深對知識的理解。

圖1 基于多級評分規則空間模型的教學設計

四 教學應用

1 應用對象

本研究選取H大學2015級教育技術學和數字媒體技術兩個班級的本科生作為實驗對象。教育技術學班級共有57人，數字媒體技術班級共有53人，兩個班級在人員構成上相差不大。本研究將教育技術學班級設為實驗組，將數字媒體技術班級設為對照組。

2 應用環境

本研究選取“計算機網絡基礎”作為教學內容，并由此開展認知診斷活動。由于開展診斷活動需要計算機的支持，所以整個教學活動在機房中進行。該活動通過基于認知診斷的可編程教學輔助系統（Cognigive Diagnosis based Programmable Teaching Support System，CDPTSS）實現對學生的測試和診斷，同時由該系統負責收集學生診斷后的反饋數據。

3 應用過程

教學應用過程共持續8周。第1周對兩組學生進行前測，測試時間為45分鐘，以確定學生對課程內容的初始掌握水平。

第2～7周分別對兩組學生開展教學活動，每周2個學時，授課內容與授課教師完全相同。在每周的教學活動中，實驗組的教學流程是：課前，教師確定教學內容，并配備已經標定過難度等級的測試題。課中，教師講授新知，時長約25分鐘；講授結束后，學生應用CDPTSS進行隨堂測試，時長為20分鐘；接著，教師根據群體知識狀態評級報告解決共性問題，時長為20分鐘，學生則根據個體知識狀態評級報告有針對性的解決個性問題，時長為25分鐘。課后，學生根據個體診斷結果及系統推送的個性化資源和作業，進行補救學習。對照組與實驗組的區別在于：對照組沒有診斷測試環節，與之相對應的環節是隨堂練習。練習結束后，由于沒有診斷結果的支持，對照組無法像實驗組一樣有針對性地解決問題，教師只能依據自身教學經驗講解學生可能存在的共性問題。同樣，在課后學生也無法開展個性化補救學習，只能完成由教師統一布置的作業。在每次教學活動結束后，教師選擇一定的時間對兩組學生進行后測，并統計學生每次的后測成績，測試時間為45分鐘。

第8周對實驗組學生進行問卷調查，調查目的是了解學生對教學設計的滿意度。最后，整理相關數據，統計分析使用SPSS 22.0。

4 應用結果及分析

結束了8周的教學應用，本研究通過對系統收集的數據、前后測成績、問卷調查數據進行分析，來評價教學設計的有效性。評價主要從診斷結果準確率、學習效果及滿意度三方面進行。

（1）診斷結果準確率

實驗組學生在每次診斷結束后對知識狀態評級結果準確度的評價數據如表1所示。該數據由CDPTSS系統收集并統計，其中Valid表示有效評價的數量，H、M、L分別代表診斷結果準確率位于較高、中等、較低的三個區間。在H區間平均準確率為91.36%，M區間平均準確率為6.73%，L區間平均準確率為1.91%。從實驗對象的主觀評價結果來看，約有91.36%的學生認為診斷結果準確率較高。由此可見，診斷結果準確率能夠滿足教學診斷的需要。

表1 實驗組學生知識狀態評級結果準確率

（2）學習效果

為了對教學設計的有效性進行評估，在教學活動進行前，本研究對兩組學生進行了前測。前測結果中T檢驗的Sig值為0.718，遠大于0.05，表明兩組學生相關這門課的基礎知識水平基本相同。

教學活動共六輪，所以本研究進行了6次后測，結果如表2所示。在后測成績1中，實驗組成績沒有顯著高于對照組。從后測成績2～6可看出，隨著教學活動次數逐漸增加，后測成績差異性顯著提高，且實驗組學生成績明顯優于對照組，其原因在于實驗組在每次測試后可獲取群體及個人的知識狀態評級報告，從而為群體補救教學和個體補救學習提供依據，及時解決課堂學習中存在的問題，為后續學習打下基礎。而對照組學生在每次練習完成后，由于解決問題的針對性不強，所以學習效率不高。兩組學生的后測結果表明，基于多級評分規則空間模型的教學設計能夠幫助學習者提高學習成績。

表2 實驗組、對照組的后測結果

（3）滿意度調查

在教學應用結束后，本研究向實驗組學生發放調查問卷并對調查結果進行了統計分析。調查問卷采用李克特五級量表，共發放問卷57份，有效問卷為54份。問卷從補救資源的精準度、問題解決率、知識狀態掌握等級、學習興趣、教學設計滿意度等五個維度對學生滿意度進行調查，這五個維度的均值分別是4.13、4.58、4.55、4.67、4.72，均接近五級量表最高等級，說明實驗組學生對教學設計具有較高滿意度。

五 總結與展望

為了精確了解學生的知識掌握程度，本研究提出了多級評分規則空間模型，在此基礎上開展教學設計并將其應用于教學實踐。然后，本研究使用SPSS 22.0統計分析軟件對相關數據進行分析，結果表明：基于多級評分規則空間模型的教學設計能夠為教師和學生提供更為精確的診斷結果，使補救教學和補救學習更具針對性，有效提高了學生的學習效率。而滿意度調查結果顯示：學生對該教學設計也表現出較高滿意度。

基于多級評分規則空間模型的教學設計的可擴展性較強，能夠為翻轉課堂、混合教學等開展個性化教學提供支持。后續研究將集中在如何利用診斷結果向學生推薦更為精確的補救學習資源、提高知識狀態診斷和補救教學等環節的自動化程度上。

[1]丁樹良,汪文義,楊淑群.認知診斷測驗藍圖的設計[J].心理科學,2011,(2):258-265.

[2]范士青,劉華山.小學三年級學生整數減法計算錯誤的認知分析[J].教育研究與實驗,2015,(5):82-88.

[3]張敏強,簡小珠,陳秋梅.規則空間模型在瑞文智力測驗中的認知診斷分析[J].心理科學,2011,(2):266-271.

[4]喻曉鋒,丁樹良,秦春影,等.貝葉斯網在認知診斷屬性層級結構確定中的應用[J].心理學報,2011,(3):338-346.

[5]劉慧,邊玉芳.留學生漢語基本顏色詞習得模式診斷研究——以規則空間模型為工具[J].心理學探新,2014,(1):29-35.

[6]姜強.自適應學習系統支持模型與實現機制研究[D].長春:東北師范大學,2012:34

[7]祝玉芳,丁樹良.規則空間模型理論基礎的改進[J].江西師范大學學報(自然科學版),2008,(1):69-72.

[8]宗陽,鄭勤華,張玄,等.學習分析視角下MOOCs形成性測試難度系數研究[J].遠程教育雜志,2016,(3):96-103.

Instructional Design and Application based on Multi-level Rating Rule Space Model

YE Hai-zhi SONG Ting-ge HUANG Hong-tao SU Ming-ao LI Shi-zhen

Precise diagnosis of students’ knowledge status is the basis and premise for carrying out personalized teaching. However, the current RSM 0-1 rating method does not allow an accurate assessment of the student's knowledge. In order to solve this problem, the article proposes a multi-level rating rule space model, and carries out the teaching design and application based on this model. Meanwhile, the analysis results are evaluated from three aspects: diagnostic accuracy, learning effect and satisfaction survey. The application results show that the teaching design based on the multi-level rating rule space model can accurately diagnose students' knowledge status and mastery, provide a more accurate basis for remedial teaching. Finally, this model expects to effectively improve the effect of personalized teaching and the efficiency of students’ learning.

multi-level rating; rule space model; teaching design; cognitive diagnosis; personalized teaching

G40-057

A

1009—8097（2018）08—0032—06

10.3969/j.issn.1009-8097.2018.08.005

本文為教育部人文社會科學研究項目“自組織神經網絡支持下的教學認知診斷模型研究”（項目編號：16YJC880017）、河南省教師教育課程改革研究項目“河南省中小學教師信息技術應用能力發展測評指標體系構建及測評方法研究”(項目編號：2017-JSJYWT-004)的階段性研究成果。

葉海智，教授，博士，研究方向為教育信息化，郵箱為yhz87@163.com。

2017年12月8日

編輯：小西