智能教學(xué)系統(tǒng)測(cè)評(píng)模型的構(gòu)建與實(shí)證研究*

孟青泉 賈積有 張志永 顏澤忠

智能教學(xué)系統(tǒng)測(cè)評(píng)模型的構(gòu)建與實(shí)證研究*

孟青泉1賈積有2張志永3顏澤忠4

（1．首都師范大學(xué) 教師教育學(xué)院，北京 100089；2．北京大學(xué) 教育學(xué)院，北京 100871；3．上海市黃渡中學(xué)，上海 201804；4．成都市棕北中學(xué)，四川成都 610041）

對(duì)智能教學(xué)系統(tǒng)進(jìn)行測(cè)評(píng)，既能評(píng)價(jià)其性能，又可以為其優(yōu)化提供依據(jù)。但是，目前尚缺乏有指導(dǎo)性的智能教學(xué)系統(tǒng)測(cè)評(píng)模型。基于此，文章構(gòu)建了包括智能教學(xué)系統(tǒng)、學(xué)習(xí)者、系統(tǒng)設(shè)計(jì)者、學(xué)習(xí)效果測(cè)試和學(xué)習(xí)風(fēng)格測(cè)量等要素的智能教學(xué)系統(tǒng)測(cè)評(píng)模型，并設(shè)計(jì)了包含獲取數(shù)據(jù)、總體測(cè)評(píng)、精細(xì)測(cè)評(píng)、測(cè)評(píng)分析和系統(tǒng)優(yōu)化等五個(gè)步驟的智能教學(xué)系統(tǒng)測(cè)評(píng)流程。之后，文章以“樂學(xué)一百”智能教學(xué)系統(tǒng)為例開展了實(shí)證研究，結(jié)果表明智能教學(xué)系統(tǒng)測(cè)評(píng)模型能有效區(qū)分不同學(xué)習(xí)風(fēng)格學(xué)習(xí)者的學(xué)習(xí)效果，生成精細(xì)化的測(cè)評(píng)結(jié)果，為系統(tǒng)的優(yōu)化與升級(jí)提供數(shù)據(jù)依據(jù)，具有較大的應(yīng)用價(jià)值。

智能教學(xué)系統(tǒng)；ITS測(cè)評(píng)；學(xué)習(xí)風(fēng)格；學(xué)習(xí)效果

近年來，人工智能技術(shù)得到了飛速發(fā)展，為教育的革新帶來了新的機(jī)遇[1]。智能教學(xué)系統(tǒng)（Intelligent Tutoring System，ITS）是人工智能在教育中的重要應(yīng)用模式，在最近幾年取得了巨大的發(fā)展[2]。智能教學(xué)系統(tǒng)能夠根據(jù)不同學(xué)生的知識(shí)水平和學(xué)習(xí)風(fēng)格，有針對(duì)性地推送適合每個(gè)學(xué)生的學(xué)習(xí)資源，這有助于實(shí)現(xiàn)個(gè)性化教學(xué)[3][4]。針對(duì)智能教學(xué)系統(tǒng)的元分析結(jié)果顯示，智能教學(xué)系統(tǒng)能夠普遍提升學(xué)習(xí)效果，但是不同系統(tǒng)的性能有很大的差異[5]。而Greer等[6]提出，自1993年以來，智能教學(xué)系統(tǒng)測(cè)評(píng)方式未有較大改進(jìn)，其通常以測(cè)驗(yàn)成績?yōu)樾Чu(píng)價(jià)標(biāo)準(zhǔn)，結(jié)果不夠精細(xì)，難以為智能教學(xué)系統(tǒng)設(shè)計(jì)提供參考。基于此，本研究充分利用學(xué)習(xí)行為數(shù)據(jù)，構(gòu)建智能教學(xué)系統(tǒng)測(cè)評(píng)模型，并將測(cè)評(píng)結(jié)果作為系統(tǒng)優(yōu)化與升級(jí)的數(shù)據(jù)依據(jù)，以提升系統(tǒng)性能。

一 文獻(xiàn)綜述

智能教學(xué)系統(tǒng)是一種先進(jìn)的計(jì)算機(jī)教學(xué)系統(tǒng)[7]，它集合了人工智能、計(jì)算機(jī)科學(xué)、認(rèn)知科學(xué)、思維科學(xué)、教育學(xué)和心理學(xué)等多個(gè)學(xué)科，為學(xué)生提供高度個(gè)性化和智能化的學(xué)習(xí)體驗(yàn)，能根據(jù)學(xué)生的需求和喜好調(diào)整學(xué)習(xí)內(nèi)容和知識(shí)表示[8]。近年來，隨著互聯(lián)網(wǎng)的全面普及和人工智能技術(shù)的快速發(fā)展，智能教學(xué)系統(tǒng)迎來了新的發(fā)展機(jī)遇，孕育著新的升級(jí)[9]。陳凱泉等[10]通過對(duì)文獻(xiàn)的綜合分析，指出智能教學(xué)系統(tǒng)正朝著多模態(tài)學(xué)習(xí)分析、適應(yīng)性反饋、人機(jī)協(xié)同等方向不斷拓展。其中，多模態(tài)學(xué)習(xí)分析指智能教學(xué)系統(tǒng)對(duì)學(xué)習(xí)過程數(shù)據(jù)的全方位收集、分析與應(yīng)用[11]；而人機(jī)協(xié)同重點(diǎn)關(guān)注教師如何與智能教學(xué)系統(tǒng)協(xié)同，為學(xué)生提供智能化的精準(zhǔn)教學(xué)[12]。隨著智能教學(xué)系統(tǒng)結(jié)構(gòu)的復(fù)雜化和功能的多樣化，其系統(tǒng)性能的測(cè)評(píng)也需要提升，以提供更為精細(xì)、精準(zhǔn)的測(cè)評(píng)結(jié)果，從而為系統(tǒng)的優(yōu)化和升級(jí)提供數(shù)據(jù)依據(jù)。

在智能教學(xué)系統(tǒng)的測(cè)評(píng)方面，Mark等[13]于1993年提出了初步的智能教學(xué)系統(tǒng)測(cè)評(píng)方法，并于2016年進(jìn)行完善[14]，提出了用戶評(píng)價(jià)、專家評(píng)定、虛擬學(xué)習(xí)者測(cè)試、實(shí)驗(yàn)測(cè)評(píng)、學(xué)習(xí)曲線分析和教育數(shù)據(jù)挖掘等六種測(cè)評(píng)方式；Jeremic等[15]強(qiáng)調(diào)學(xué)生的主觀體驗(yàn)在智能教學(xué)系統(tǒng)測(cè)評(píng)中的重要性；Sykes[16]運(yùn)用準(zhǔn)實(shí)驗(yàn)研究的方法，測(cè)評(píng)了Java智能教學(xué)系統(tǒng)的應(yīng)用效果；Hooshyar等[17]綜合運(yùn)用定性、定量的分析方法，對(duì)某游戲化智能教學(xué)系統(tǒng)進(jìn)行了測(cè)評(píng)；Mousavinasab等[18]指出，智能教學(xué)系統(tǒng)的測(cè)評(píng)應(yīng)包含系統(tǒng)表現(xiàn)、學(xué)習(xí)效果和學(xué)生體驗(yàn)三個(gè)方面。而在國內(nèi)，劉明祥等[19]提出從軟件系統(tǒng)評(píng)價(jià)、教學(xué)功能評(píng)價(jià)和實(shí)踐應(yīng)用評(píng)價(jià)三個(gè)方面，來開展基于Web的智能教學(xué)系統(tǒng)評(píng)價(jià)；賈積有等[20]總結(jié)了智能教學(xué)系統(tǒng)評(píng)價(jià)的定量方法，如T檢驗(yàn)、協(xié)方差方法等；周楠等[21]提出了一種基于深度學(xué)習(xí)的互動(dòng)課堂學(xué)生學(xué)習(xí)行為分析與教學(xué)效果評(píng)價(jià)方法，可利用課堂視頻信息，對(duì)學(xué)生表情進(jìn)行檢測(cè)，從而建立教學(xué)效果的評(píng)價(jià)模型。綜上可知，目前針對(duì)智能教學(xué)系統(tǒng)測(cè)評(píng)的研究成果較少，且已有研究注重總體效果的測(cè)評(píng)，尚未考慮不同學(xué)習(xí)風(fēng)格學(xué)習(xí)者使用智能教學(xué)系統(tǒng)后的學(xué)習(xí)效果差異，其效果測(cè)評(píng)不夠精細(xì)，很難為系統(tǒng)的優(yōu)化設(shè)計(jì)提供數(shù)據(jù)支持，因此有必要建立智能教學(xué)系統(tǒng)測(cè)評(píng)模型。

二 智能教學(xué)系統(tǒng)測(cè)評(píng)模型的構(gòu)建

1 智能教學(xué)系統(tǒng)測(cè)評(píng)的內(nèi)涵

智能教學(xué)系統(tǒng)測(cè)評(píng)是指利用各類過程性與結(jié)果性學(xué)習(xí)數(shù)據(jù)，對(duì)ITS的教學(xué)效果進(jìn)行評(píng)估的行為。智能教學(xué)系統(tǒng)測(cè)評(píng)與學(xué)習(xí)分析的區(qū)別在于，前者是對(duì)ITS的評(píng)價(jià)，在此基礎(chǔ)上優(yōu)化系統(tǒng)性能；而學(xué)習(xí)分析側(cè)重于通過數(shù)據(jù)提取學(xué)生的信息，幫助學(xué)生不斷進(jìn)步。智能教學(xué)系統(tǒng)測(cè)評(píng)的主要功能是對(duì)ITS的性能進(jìn)行精細(xì)評(píng)估，了解不同類型學(xué)生對(duì)ITS的適應(yīng)程度，進(jìn)而發(fā)現(xiàn)設(shè)計(jì)中的不足，為系統(tǒng)的改進(jìn)與優(yōu)化提供數(shù)據(jù)依據(jù)。

2 智能教學(xué)系統(tǒng)測(cè)評(píng)模型的構(gòu)建

基于上述對(duì)智能教學(xué)系統(tǒng)測(cè)評(píng)的內(nèi)涵分析，本研究構(gòu)建了智能教學(xué)系統(tǒng)測(cè)評(píng)模型，如圖1所示。智能教學(xué)系統(tǒng)的測(cè)評(píng)是一個(gè)多要素相互作用的復(fù)雜過程，依據(jù)ITS的通用模型[22]，本研究確定了智能教學(xué)系統(tǒng)測(cè)評(píng)模型的五個(gè)要素：①智能教學(xué)系統(tǒng)是測(cè)評(píng)的對(duì)象，也是測(cè)評(píng)模型的核心；②學(xué)習(xí)者與智能教學(xué)系統(tǒng)進(jìn)行交互，不斷提升學(xué)習(xí)效果；③系統(tǒng)設(shè)計(jì)者匯總測(cè)評(píng)數(shù)據(jù)進(jìn)行分析，并制定優(yōu)化策略；④學(xué)習(xí)效果測(cè)試是智能教學(xué)系統(tǒng)應(yīng)用效果的第三方評(píng)價(jià)，可通過考試、答辯等方式獲得測(cè)試結(jié)果；⑤學(xué)習(xí)風(fēng)格測(cè)量重在實(shí)現(xiàn)學(xué)習(xí)風(fēng)格維度的精細(xì)測(cè)評(píng)。其中，智能教學(xué)系統(tǒng)為學(xué)習(xí)者提供學(xué)習(xí)資源并獲得反饋，生成大量的學(xué)習(xí)過程數(shù)據(jù)，同時(shí)測(cè)試學(xué)生的學(xué)習(xí)效果、測(cè)量學(xué)生的學(xué)習(xí)風(fēng)格，然后將這些數(shù)據(jù)提供給系統(tǒng)設(shè)計(jì)者。系統(tǒng)設(shè)計(jì)者對(duì)這些數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，得出ITS測(cè)評(píng)結(jié)果，并據(jù)此進(jìn)行系統(tǒng)的優(yōu)化和升級(jí)。

圖1 智能教學(xué)系統(tǒng)測(cè)評(píng)模型

為落實(shí)智能教學(xué)系統(tǒng)測(cè)評(píng)模型在教學(xué)實(shí)踐中的具體應(yīng)用，本研究設(shè)計(jì)了智能教學(xué)系統(tǒng)測(cè)評(píng)流程，包含獲取數(shù)據(jù)、總體測(cè)評(píng)、精細(xì)測(cè)評(píng)、測(cè)評(píng)分析和系統(tǒng)優(yōu)化五個(gè)步驟，如圖2所示。具體來說，在進(jìn)行智能教學(xué)系統(tǒng)測(cè)評(píng)時(shí)，首先要獲取數(shù)據(jù)，包括學(xué)習(xí)效果測(cè)試數(shù)據(jù)、學(xué)習(xí)風(fēng)格測(cè)量數(shù)據(jù)和學(xué)習(xí)過程數(shù)據(jù)；第二步是從定量和定性兩個(gè)方面進(jìn)行總體測(cè)評(píng)，了解ITS的總體使用效果；第三步是開展精細(xì)測(cè)評(píng)，對(duì)不同學(xué)習(xí)風(fēng)格學(xué)習(xí)者的學(xué)習(xí)數(shù)據(jù)進(jìn)行分析與對(duì)比；第四步是對(duì)測(cè)評(píng)得出的結(jié)果進(jìn)行分析，發(fā)現(xiàn)ITS的不足；第五步是根據(jù)分析結(jié)果，從測(cè)評(píng)數(shù)據(jù)出發(fā)，針對(duì)智能教學(xué)系統(tǒng)存在的不足對(duì)其進(jìn)行優(yōu)化；之后，對(duì)各項(xiàng)測(cè)評(píng)數(shù)據(jù)進(jìn)行持續(xù)跟蹤，并再次獲取新的數(shù)據(jù)進(jìn)行測(cè)評(píng)，以實(shí)現(xiàn)系統(tǒng)的迭代升級(jí)。

圖2 智能教學(xué)系統(tǒng)測(cè)評(píng)流程

三 實(shí)證研究

為了檢驗(yàn)智能教學(xué)系統(tǒng)測(cè)評(píng)模型的可行性和有效性，本研究按照智能教學(xué)系統(tǒng)測(cè)評(píng)流程，以“樂學(xué)一百”智能教學(xué)系統(tǒng)為例，對(duì)其應(yīng)用于初中數(shù)學(xué)課的學(xué)習(xí)效果進(jìn)行了總體測(cè)評(píng)與精細(xì)測(cè)評(píng)，得到測(cè)評(píng)分析結(jié)果，并據(jù)此進(jìn)行系統(tǒng)優(yōu)化。

1 研究設(shè)計(jì)

（1）測(cè)評(píng)對(duì)象

本研究以“樂學(xué)一百”智能學(xué)習(xí)系統(tǒng)（下文簡稱“樂學(xué)一百”）為測(cè)評(píng)對(duì)象。“樂學(xué)一百”按照智能教學(xué)系統(tǒng)的原理和模型進(jìn)行設(shè)計(jì)，是一種自適應(yīng)學(xué)習(xí)系統(tǒng)。“樂學(xué)一百”覆蓋了小學(xué)和初中數(shù)學(xué)的所有單元，為教師、學(xué)生和家長提供在線智能教學(xué)服務(wù)。“樂學(xué)一百”含有學(xué)生、學(xué)材和行為等三個(gè)核心數(shù)據(jù)庫，以及一個(gè)互動(dòng)學(xué)習(xí)引擎和一個(gè)智能推薦引擎。在個(gè)性化輔導(dǎo)方面，“樂學(xué)一百”可以根據(jù)在線學(xué)習(xí)活動(dòng)指數(shù)（Online Learning Activity Index，OLAI）[23]，分析學(xué)生的知識(shí)掌握水平，并為其推送適合的學(xué)習(xí)資源。而教師可以通過“樂學(xué)一百”布置預(yù)習(xí)任務(wù)和練習(xí)作業(yè)，并對(duì)全班學(xué)生的完成情況進(jìn)行統(tǒng)計(jì)分析，從而了解學(xué)情，調(diào)整教學(xué)策略。

（2）研究設(shè)計(jì)

本研究選取上海市H校八年級(jí)的99名學(xué)生和四川省成都市Z校七年級(jí)的110名學(xué)生進(jìn)行準(zhǔn)實(shí)驗(yàn)研究。其中，H校設(shè)有兩個(gè)實(shí)驗(yàn)班（共51人）、兩個(gè)對(duì)照班（共48人），而Z校設(shè)有一個(gè)實(shí)驗(yàn)班（55人）、一個(gè)對(duì)照班（55人），實(shí)驗(yàn)時(shí)長為一年。實(shí)驗(yàn)班教師在數(shù)學(xué)課上采用“樂學(xué)一百”開展混合式教學(xué)：課前，教師通過“樂學(xué)一百”布置預(yù)習(xí)任務(wù)；課中，教師進(jìn)行線下教學(xué)；課后，教師通過“樂學(xué)一百”布置練習(xí)作業(yè)。對(duì)照班的教學(xué)過程也包含預(yù)習(xí)、課堂講授和課后作業(yè)環(huán)節(jié)，其與實(shí)驗(yàn)班的區(qū)別在于課前的預(yù)習(xí)任務(wù)和課后的練習(xí)作業(yè)不使用“樂學(xué)一百”。實(shí)驗(yàn)班和對(duì)照班的授課教師、作業(yè)數(shù)量、教學(xué)內(nèi)容和進(jìn)度完全一致，且要求授課教師盡可能地以同樣的工作態(tài)度和時(shí)間精力投入開展兩個(gè)班的教學(xué)。本研究將實(shí)驗(yàn)前的期末考試數(shù)學(xué)成績作為前測(cè)成績，而實(shí)驗(yàn)后的期末考試數(shù)學(xué)成績作為后測(cè)成績。實(shí)驗(yàn)按照智能教學(xué)系統(tǒng)測(cè)評(píng)流程進(jìn)行操作，實(shí)驗(yàn)結(jié)束后采用智能教學(xué)系統(tǒng)測(cè)評(píng)模型對(duì)“樂學(xué)一百”進(jìn)行測(cè)評(píng)，并根據(jù)測(cè)評(píng)結(jié)果提出優(yōu)化建議。

（3）研究方法

本研究對(duì)“樂學(xué)一百”應(yīng)用于初中數(shù)學(xué)課的學(xué)習(xí)效果分別進(jìn)行總體測(cè)評(píng)和精細(xì)測(cè)評(píng)：①總體測(cè)評(píng)方面，主要運(yùn)用協(xié)方差法進(jìn)行分析[24]。該方法將一些對(duì)因變量有影響的無關(guān)變量作為協(xié)變量，可得出更加準(zhǔn)確的分析結(jié)果。在本研究中，實(shí)驗(yàn)班和對(duì)照班的前測(cè)成績?yōu)閰f(xié)變量。同時(shí)，本研究通過問卷調(diào)查實(shí)驗(yàn)班學(xué)生對(duì)“樂學(xué)一百”的使用感受，問卷包含使用滿意度、界面設(shè)計(jì)、題目質(zhì)量、單元數(shù)量等指標(biāo)，共設(shè)12道題（問卷總的Cronbach’s α值=0.969），采用李克特五點(diǎn)量表計(jì)分。②精細(xì)測(cè)評(píng)方面，選用面向在線學(xué)習(xí)系統(tǒng)的學(xué)習(xí)風(fēng)格模型[25]，包括視覺、言語、順序、整體、活躍、沉思、感覺、直覺、場(chǎng)依存、場(chǎng)獨(dú)立、適應(yīng)、革新等12類不同學(xué)習(xí)風(fēng)格，并通過直方圖展示不同學(xué)習(xí)風(fēng)格學(xué)習(xí)者的學(xué)習(xí)表現(xiàn)。本研究使用Matlab 2018、SPSS 20.0，進(jìn)行相關(guān)數(shù)據(jù)的處理。

2 研究結(jié)果

（1）學(xué)習(xí)效果的總體測(cè)評(píng)

實(shí)驗(yàn)班與對(duì)照班的前測(cè)、后測(cè)成績協(xié)方差分析結(jié)果如表1所示，可以看出：經(jīng)過協(xié)方差修正后，實(shí)驗(yàn)班的平均值為75.14分，而對(duì)照班的平均值為71.86分，可見實(shí)驗(yàn)班的平均值高于對(duì)照班；值=0.009＜0.05，達(dá)到顯著水平，說明“樂學(xué)一百”的教學(xué)應(yīng)用對(duì)期末考試數(shù)學(xué)成績有顯著的正向影響。

表1 實(shí)驗(yàn)班與對(duì)照班的前測(cè)、后測(cè)成績協(xié)方差分析結(jié)果

針對(duì)實(shí)驗(yàn)班的問卷調(diào)查結(jié)果如表2所示，可以看出：12道題所涉內(nèi)容的結(jié)果均值處于4.07～4.43之間、均高于4分，說明實(shí)驗(yàn)班學(xué)生對(duì)“樂學(xué)一百”的使用感受普遍較好。

表2 實(shí)驗(yàn)班問卷調(diào)查結(jié)果

（2）學(xué)習(xí)效果的精細(xì)測(cè)評(píng)

不同學(xué)習(xí)風(fēng)格學(xué)習(xí)者的數(shù)據(jù)分析結(jié)果如圖3所示，涉及后測(cè)成績、后測(cè)與前測(cè)成績之差、平均得分、平均用時(shí)等四個(gè)方面。其中，圖3（a）顯示，場(chǎng)獨(dú)立型、適應(yīng)型學(xué)習(xí)者的后測(cè)成績較高，而整體型、場(chǎng)依存型學(xué)習(xí)者的后測(cè)成績較低。圖3（b）表明，整體型、沉思型、場(chǎng)獨(dú)立型、適應(yīng)型學(xué)習(xí)者的數(shù)學(xué)成績進(jìn)步不明顯，而活躍型、感覺型、場(chǎng)依存型學(xué)習(xí)者的數(shù)學(xué)成績進(jìn)步幅度較大。圖3（c）展示了不同學(xué)習(xí)風(fēng)格學(xué)習(xí)者完成“樂學(xué)一百”每個(gè)單元練習(xí)的平均得分，可以看出：場(chǎng)獨(dú)立型、適應(yīng)型、革新型學(xué)習(xí)者的學(xué)習(xí)表現(xiàn)較好，而整體型、場(chǎng)依存型學(xué)習(xí)者的學(xué)習(xí)表現(xiàn)相對(duì)較差。圖3（d）展示了學(xué)習(xí)者完成“樂學(xué)一百”每個(gè)單元練習(xí)的平均用時(shí)，可以看出：言語型、整體型學(xué)習(xí)者的平均用時(shí)較長，而直覺型、場(chǎng)獨(dú)立型、革新型學(xué)習(xí)者的平均用時(shí)較短。可見，不同學(xué)習(xí)風(fēng)格學(xué)習(xí)者的學(xué)習(xí)表現(xiàn)和進(jìn)步幅度存在很大的差異。

圖3 不同學(xué)習(xí)風(fēng)格學(xué)習(xí)者的數(shù)據(jù)分析結(jié)果

表3 系統(tǒng)測(cè)評(píng)分析與優(yōu)化建議

（3）測(cè)評(píng)分析與系統(tǒng)優(yōu)化

學(xué)習(xí)效果的整體測(cè)評(píng)和精細(xì)測(cè)評(píng)結(jié)果顯示，“樂學(xué)一百”整體上提高了學(xué)生的數(shù)學(xué)成績，但是整體型、沉思型、場(chǎng)獨(dú)立型、適應(yīng)型學(xué)習(xí)者的學(xué)習(xí)效果提升不明顯。而通過精準(zhǔn)測(cè)評(píng)，可以發(fā)現(xiàn)ITS在資源推送算法方面還有待進(jìn)一步提高。針對(duì)上述問題，本研究試圖通過優(yōu)化不同學(xué)習(xí)風(fēng)格學(xué)習(xí)者的資源推送方式，來進(jìn)一步提升所有學(xué)生的學(xué)習(xí)效果。系統(tǒng)測(cè)評(píng)分析與優(yōu)化建議如表3所示，系統(tǒng)設(shè)計(jì)者可據(jù)此對(duì)智能教學(xué)系統(tǒng)進(jìn)行改進(jìn)，如向整體型學(xué)習(xí)者提供可視化的知識(shí)全貌，為場(chǎng)獨(dú)立型學(xué)習(xí)者推送更適合其知識(shí)水平的、有一定難度的試題等。

四 結(jié)語

為解決智能教學(xué)系統(tǒng)的有效測(cè)評(píng)問題，本研究構(gòu)建了智能教學(xué)系統(tǒng)測(cè)評(píng)模型，并設(shè)計(jì)了智能教學(xué)系統(tǒng)測(cè)評(píng)流程。基于“樂學(xué)一百”的實(shí)證研究結(jié)果顯示，智能教學(xué)系統(tǒng)能夠在整體上提升學(xué)習(xí)效果；同時(shí)，通過精細(xì)測(cè)評(píng)發(fā)現(xiàn)，整體型、沉思型、場(chǎng)獨(dú)立型、適應(yīng)型學(xué)習(xí)者的學(xué)習(xí)效果提升不明顯，資源推送算法需進(jìn)一步優(yōu)化。為此，本研究提出了智能教學(xué)系統(tǒng)改進(jìn)的建議，驗(yàn)證了智能教學(xué)系統(tǒng)測(cè)評(píng)模型的有效性。智能教學(xué)系統(tǒng)測(cè)評(píng)模型可被應(yīng)用于各類個(gè)性化、自適應(yīng)的教學(xué)系統(tǒng)，能夠持續(xù)地為系統(tǒng)設(shè)計(jì)者提供系統(tǒng)優(yōu)化與升級(jí)的精細(xì)化數(shù)據(jù)反饋，從而有效提高ITS測(cè)評(píng)的性能、提升系統(tǒng)的智能化水平。

[1][9]賈積有.人工智能賦能教育與學(xué)習(xí)[J].遠(yuǎn)程教育雜志,2018,(1):39-47.

[2]馬璐,張潔.國內(nèi)外人工智能在基礎(chǔ)教育中應(yīng)用的研究綜述[J].現(xiàn)代教育技術(shù),2019,(2):26-32.

[3][22]劉邦奇,袁婷婷.智能教育系統(tǒng)的總體架構(gòu)及區(qū)域?qū)嵺`模式研究[J].遠(yuǎn)程教育雜志,2019,(3):103-112.

[4]吳曉如,王政.人工智能教育應(yīng)用的發(fā)展趨勢(shì)與實(shí)踐案例[J].現(xiàn)代教育技術(shù),2018,(2):5-11.

[5]Klasnja-Milicevic A, Vesin B, Ivanovi? M, et al. E-Learning personalization based on hybrid recommendation strategy and learning style identification[J]. Computers & Education, 2011,(3):885-899.

[6][14]Greer J, Mark M. Evaluation methods for intelligent tutoring systems revisited[J]. International Journal of Artificial Intelligence in Education, 2016,(1):387-392.

[7]張蓉菲,趙磊磊,李玥泓,等.國外教育人工智能研究主題及趨勢(shì)分析——基于Web of Science文獻(xiàn)關(guān)鍵詞的可視化分析[J].現(xiàn)代教育技術(shù),2019,(12):5-12.

[8]孟亞玲,武帥,魏繼宗.人工智能教育研究的現(xiàn)狀、熱點(diǎn)與趨勢(shì)——基于1979～2019年1043篇人工智能教育文獻(xiàn)的數(shù)據(jù)分析[J].現(xiàn)代教育技術(shù),2020,(3):120-123.

[10]陳凱泉,張春雪,吳玥玥,等.教育人工智能(EAI)中的多模態(tài)學(xué)習(xí)分析、適應(yīng)性反饋及人機(jī)協(xié)同[J].遠(yuǎn)程教育雜志,2019,(5):24-34.

[11]Blikstein P, Worsley M. Multi-modal learning analysis and education data mining: Using computational technologies to measure complex learning tasks[J]. Journal of Learning Analytics, 2016,(2):220-238.

[12]劉偉.智能與人機(jī)融合智能[J].指揮信息系統(tǒng)與技術(shù),2018,(4):1-7.

[13]Mark M, Greer J. Evaluation methodologies for intelligent tutoring systems[J]. Journal of Artificial Intelligence in Education, 1993,(2):129-153.

[15]Jeremic Z, Jovanovic J, Gasevic D. Evaluating an intelligent tutoring system for design patterns: The DEPTHS experience[J]. Educational Technology & Society, 2009,(2):111-130.

[16]Sykes E R. Design, development and evaluation of the java intelligent tutoring system[J]. Technology, Instruction, Cognition and Learning, 2010,(1):25-65.

[17]Hooshyar D, Binti R, Wang M, et al. Development and evaluation of a Game-Based bayesian intelligent tutoring system for teaching programming[J]. Journal of Educational Computing Research, 2018,(6):775-801.

[18]Mousavinasab E, Zarifsanaiey N, Niakan K, et al. Intelligent tutoring systems: A systematic review of characteristics, applications, and evaluation methods[J]. Interactive Learning Environments, 2021,(1):142-163.

[19]劉明祥,朱書強(qiáng).基于Web的智能教學(xué)系統(tǒng)評(píng)價(jià)[J].現(xiàn)代教育技術(shù),2002,(3):51-54、79.

[20][24]賈積有,孟青泉.智能教學(xué)系統(tǒng)的評(píng)價(jià)與選擇[J].數(shù)字教育,2019,(3):1-9.

[21]周楠,周建設(shè).基于深度學(xué)習(xí)的學(xué)生行為分析與教學(xué)效果評(píng)價(jià)[J].現(xiàn)代教育技術(shù),2021,(8):102-111.

[23]賈積有,于悅洋.學(xué)習(xí)活動(dòng)指數(shù)LAI及在線學(xué)習(xí)活動(dòng)指數(shù)OLAI的具體分析[J].中國遠(yuǎn)程教育,2017,(4):15-22、56、79.

[25]孟青泉,賈積有,顏澤忠.面向在線學(xué)習(xí)系統(tǒng)的學(xué)習(xí)風(fēng)格模型[J].教學(xué)考試,2021,(9):57-62.

The Construction and Empirical Research of the Evaluation Model of Intelligent Tutoring System

MENG Qing-quan1JIA Ji-you2ZHANG Zhi-yong3YAN Ze-zhong4

The evaluation of an intelligent tutoring system can not only evaluate its performance, but also provide a basis for its optimization. But, there is still a lack of instructive evaluation models for intelligent tutoring systems. Based on this, this paper constructed an intelligent tutoring system evaluation model, which included factors of intelligent tutoring system, learner, system designer, learning effect test and learning style measurement. Meanwhile, an evaluation process includes five steps of data acquisition, overall evaluation, detailed evaluation, evaluation analysis, and system optimization was designed. After that, taking the intelligent teaching system of “Happy Learning 100” as an example, this paper carried out empirical research. The results showed that the evaluation model of the intelligent tutoring system could effectively distinguish the learning effect of learners with different learning styles, generate refined evaluation results, and provide data support for the optimization of the system, which had great application value.

intelligent tutoring system; ITS evaluation; learning style; learning effect

G40-057

A

1009—8097（2022）05—0068—07

10.3969/j.issn.1009-8097.2022.05.008

基金項(xiàng)目：本文受全國教育科學(xué)規(guī)劃教育部青年課題“核心素養(yǎng)導(dǎo)向下基于語義圖示和思維可視化工具的智能教學(xué)系統(tǒng)優(yōu)化設(shè)計(jì)研究”（項(xiàng)目編號(hào)：ECA190481）、2017年度中央電化教育館全國教育技術(shù)研究規(guī)劃重點(diǎn)課題“基于智能技術(shù)和大數(shù)據(jù)分析的個(gè)性化教學(xué)研究”（項(xiàng)目編號(hào)：176220009）、2020年度北京大學(xué)教育大數(shù)據(jù)研究項(xiàng)目“基于大規(guī)模學(xué)生學(xué)習(xí)活動(dòng)數(shù)據(jù)挖掘的自適應(yīng)性智能教學(xué)系統(tǒng)研究”（項(xiàng)目編號(hào)：2020YBC07）資助。

孟青泉，講師，博士，研究方向?yàn)槿斯ぶ悄芙逃?chuàng)新教育和教師教育，郵箱為6836@cnu.edu.cn。

2021年9月25日

編輯：小米