智慧學(xué)習(xí)視角下在線學(xué)習(xí)成績(jī)智能測(cè)試系統(tǒng)設(shè)計(jì)

高瑞 朱榮

摘 要： 以往在線學(xué)習(xí)成績(jī)檢測(cè)系統(tǒng)，僅能給出得分情況，測(cè)評(píng)效果差。設(shè)計(jì)智慧學(xué)習(xí)視角下在線學(xué)習(xí)成績(jī)智能測(cè)試系統(tǒng)，由初級(jí)資源層、中級(jí)平臺(tái)層、高級(jí)應(yīng)用層構(gòu)成，通過學(xué)習(xí)科目、電子圖書、在線測(cè)試、自我信息四大功能模塊實(shí)現(xiàn)在線學(xué)習(xí)成績(jī)的智能處理分析。采用基于IRT的知識(shí)水平診斷方法測(cè)試用戶知識(shí)水平，通過MCMC方法推算考核參數(shù)，實(shí)現(xiàn)在線學(xué)習(xí)成績(jī)的準(zhǔn)確測(cè)試。實(shí)驗(yàn)結(jié)果表明，系統(tǒng)能夠?qū)τ脩舻牧?jí)詞匯水平進(jìn)行精確測(cè)試，用戶滿意度和性能高。

關(guān)鍵詞： 智慧學(xué)習(xí)； 在線學(xué)習(xí)； 成績(jī)測(cè)試； IRT； MCMC方法； 系統(tǒng)設(shè)計(jì)

中圖分類號(hào)： TN915.5?34； G434 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2018）14?0154?04

Design of online learning performance intelligent test system from

intelligent learning perspective

GAO Rui1， ZHU Rong2

（1. Department of Automotive and Electronic Engineering， Hanjiang Normal University， Shiyan 442000， China；

2. Department of Computer Science， Hanjiang Normal University， Shiyan 442000， China）

Abstract： The past online learning performance test system can only present scores， and has poor test and evaluation results. Therefore， an online learning performance intelligent test system from intelligent learning perspective is designed. The system is composed of the primary resource layer， intermediate platform layer， and advanced application layer. The intelligent processing and analysis of online learning performance are realized by means of four functional modules of learning subjects， electronic books， online test， and self information. The IRT?based knowledge level diagnosis method is used to test users′ knowledge level， and the MCMC method is used to calculate assessment parameters， so as to realize accurate test of online learning performance. The experimental results show that the system can accurately test users′ vocabulary level of CET6， and has high user satisfaction and performance.

Keywords： intelligent learning； online learning； performance test； IRT； MCMC method； system design

多元智能測(cè)評(píng)系統(tǒng)已經(jīng)進(jìn)入人們的生活，但它只是提供給用戶一些智能狀況分析。智慧學(xué)習(xí)視角下在線學(xué)習(xí)成績(jī)智能測(cè)試系統(tǒng)是利用大量的數(shù)據(jù)與云計(jì)算來實(shí)現(xiàn)成績(jī)?cè)诰€智能測(cè)試，并通過對(duì)用戶學(xué)習(xí)情況的分析，提供具有個(gè)人特點(diǎn)的學(xué)習(xí)服務(wù)[1]。智慧學(xué)習(xí)視角下在線學(xué)習(xí)成績(jī)智能測(cè)試系統(tǒng)采取有關(guān)數(shù)據(jù)實(shí)施專項(xiàng)學(xué)習(xí)，滿足學(xué)習(xí)者的學(xué)習(xí)需求。

1 智慧學(xué)習(xí)視角下在線學(xué)習(xí)成績(jī)智能測(cè)試系統(tǒng)

1.1 系統(tǒng)總體結(jié)構(gòu)設(shè)計(jì)

在大數(shù)據(jù)與云計(jì)算服務(wù)的基礎(chǔ)上創(chuàng)建在線學(xué)習(xí)成績(jī)測(cè)試系統(tǒng)，即智慧學(xué)習(xí)視角下在線學(xué)習(xí)成績(jī)智能測(cè)試系統(tǒng)[2?3]。該測(cè)試系統(tǒng)由初級(jí)資源層、中級(jí)平臺(tái)層、高級(jí)應(yīng)用層三個(gè)部分組成，具體見圖1。

1.2 組織結(jié)構(gòu)設(shè)計(jì)

成績(jī)智能測(cè)試系統(tǒng)為每一位需要學(xué)習(xí)的人創(chuàng)建了一個(gè)在線學(xué)習(xí)、成績(jī)智能測(cè)試、相互溝通的地方[4]。圖2為系統(tǒng)的組織結(jié)構(gòu)圖。

1.3 在線測(cè)試模塊設(shè)計(jì)

在線測(cè)試是一個(gè)智能的題庫系統(tǒng)。該系統(tǒng)可以滿足用戶完成各種各樣科目訓(xùn)練檢驗(yàn)的需求[5]。圖3展示了在線測(cè)試模塊的詳細(xì)功能結(jié)構(gòu)。

1.3.1 題庫訓(xùn)練

題庫訓(xùn)練的主要功能是方便用戶在線進(jìn)行知識(shí)考核及訓(xùn)練。其由特定智能訓(xùn)練、章節(jié)訓(xùn)練、錯(cuò)題智能訓(xùn)練與真題演練4個(gè)板塊組成[6]。

1.3.2 能力測(cè)評(píng)

系統(tǒng)將根據(jù)各個(gè)用戶參加訓(xùn)練的數(shù)據(jù)實(shí)行儲(chǔ)存并總結(jié)。按照所參加題目數(shù)量、正確度、平均分等部分提供具有個(gè)人特點(diǎn)的能力測(cè)評(píng)。這樣用戶可以實(shí)現(xiàn)自我評(píng)價(jià)和特定習(xí)題訓(xùn)練[7]。

2 系統(tǒng)診斷實(shí)現(xiàn)

2.1 基于IRT的知識(shí)水平診斷方法

系統(tǒng)以IRT為基礎(chǔ)對(duì)用戶的學(xué)習(xí)知識(shí)水平進(jìn)行測(cè)試。IRT主要包括：三參數(shù)模型、雙參數(shù)模型和單參數(shù)模型，文中構(gòu)建的系統(tǒng)使用三參數(shù)模型[8]。

在IRT的基礎(chǔ)上，對(duì)用戶學(xué)習(xí)知識(shí)水平進(jìn)行判定程序是：用戶知識(shí)掌握的基本程度，通過對(duì)用戶整體能力的了解來決定相應(yīng)的試題，在每一題答完后，還要對(duì)用戶的能力再一次進(jìn)行了解，然后接著考核，最終達(dá)到可以考核結(jié)束要求才會(huì)完成考核。

2.2 用戶知識(shí)掌握的基本程度

新用戶在考核前無法了解自身對(duì)知識(shí)的掌握程度，因此有必要了解新用戶的能力[9]。假設(shè)不能了解用戶的基本情況，則認(rèn)為用戶對(duì)知識(shí)的掌握程度為一般，在題庫中選擇難易程度一般的試題，若回答正確，升為較難的試題考核，否則降低到簡(jiǎn)單的試題進(jìn)行考核，推算出用戶知識(shí)掌握的基本程度。

2.3 采用MCMC方法推算考核參數(shù)

系統(tǒng)考核回饋理論本質(zhì)在于對(duì)考核參數(shù)的推算[10]，馬爾科夫鏈蒙特卡洛算法（MCMC）使用多元后驗(yàn)分布對(duì)隨機(jī)樣本進(jìn)行模仿，能更快更準(zhǔn)確地推算出所需參數(shù)。本文使用MCMC方法來推算參數(shù)。

MCMC方法推算參數(shù)的過程為：創(chuàng)建Markov鏈，符合穩(wěn)態(tài)分布；利用Markov鏈進(jìn)行試驗(yàn)；獲取試驗(yàn)結(jié)果推算參數(shù)。

3 實(shí)驗(yàn)分析

3.1 六級(jí)英語詞匯測(cè)試性能分析

實(shí)驗(yàn)采用智慧學(xué)習(xí)視角下在線學(xué)習(xí)成績(jī)智能測(cè)試系統(tǒng)對(duì)123名考核者實(shí)施檢測(cè)。對(duì)參與測(cè)試人員進(jìn)行大學(xué)六級(jí)英語測(cè)試，將他們的六級(jí)測(cè)試分?jǐn)?shù)逐一記錄下來，借助本文系統(tǒng)的分析軟件將考核人員的詞匯本領(lǐng)與測(cè)試分?jǐn)?shù)二者信息進(jìn)行有關(guān)研究，獲得本文系統(tǒng)推算大學(xué)英語六級(jí)詞匯本領(lǐng)的精準(zhǔn)度。Ability代表考核者的詞匯水平，Score代表考核者的六級(jí)分?jǐn)?shù)，圖4展現(xiàn)了二者的散點(diǎn)排列圖。

圖4的散點(diǎn)排列顯示，橫坐標(biāo)為六級(jí)分?jǐn)?shù)與縱坐標(biāo)為詞匯本領(lǐng)相互對(duì)比可知二者宏觀上體現(xiàn)為線性正關(guān)聯(lián)，說明本文系統(tǒng)檢驗(yàn)出考核人員的六級(jí)詞匯掌握程度和考核人員的六級(jí)本領(lǐng)在一定條件下有相似性。

實(shí)驗(yàn)通過關(guān)聯(lián)系數(shù)與突出性程度的值對(duì)六級(jí)分?jǐn)?shù)與詞匯本領(lǐng)進(jìn)行具體關(guān)聯(lián)深度的驗(yàn)證。突出性概率P在非假設(shè)條件下進(jìn)行分析，先設(shè)想二者變量并沒有線性關(guān)聯(lián)，通常設(shè)想檢測(cè)的突出性值是0.049 9，若P值比該值低，則二者變量存在線性關(guān)聯(lián)，否則不存在線性關(guān)聯(lián)。表1與表2是本文系統(tǒng)獲取用戶六級(jí)分?jǐn)?shù)同詞匯本領(lǐng)變量關(guān)聯(lián)性情況。

表2中Confidence Intervel為94%；關(guān)聯(lián)系數(shù)大小只負(fù)責(zé)表示數(shù)據(jù)之間關(guān)聯(lián)性的大小，和正負(fù)無關(guān)。

根據(jù)表1、表2數(shù)據(jù)得知，智能學(xué)習(xí)視角下在線學(xué)習(xí)成績(jī)智能測(cè)試系統(tǒng)獲取的考核人員六級(jí)詞匯本領(lǐng)和他們的六級(jí)測(cè)驗(yàn)分?jǐn)?shù)間存在的關(guān)聯(lián)系數(shù)為0.801，突出性概率值是0.026，證實(shí)六級(jí)詞匯本領(lǐng)與六級(jí)分?jǐn)?shù)的變量值極其有關(guān)。關(guān)聯(lián)性研究成果里展示的關(guān)聯(lián)系數(shù)0.801符合統(tǒng)計(jì)學(xué)運(yùn)算，它們的確具有關(guān)聯(lián)性。實(shí)驗(yàn)得到的關(guān)聯(lián)系數(shù)，說明詞匯本領(lǐng)和相應(yīng)得分間的關(guān)聯(lián)深度是0.801，說明本文系統(tǒng)可以較精準(zhǔn)地了解考核人員六級(jí)詞匯掌握本領(lǐng)情況，也可對(duì)考核人員的實(shí)際能力情況進(jìn)行準(zhǔn)確測(cè)試。

3.2 調(diào)查報(bào)告統(tǒng)計(jì)測(cè)試分析

實(shí)驗(yàn)檢測(cè)本文系統(tǒng)運(yùn)行的滿意度情況，從表3，表4可以看出，用戶對(duì)本文系統(tǒng)的滿意度較高。表3中，92%的考核人員對(duì)在線成績(jī)測(cè)試系統(tǒng)的運(yùn)行持有“支持”態(tài)度，95%的人表示對(duì)智慧學(xué)習(xí)視角下在線學(xué)習(xí)成績(jī)智能測(cè)試系統(tǒng)的運(yùn)行步驟了如指掌，100%的人表示該系統(tǒng)能夠是他們參加考核不受時(shí)間地點(diǎn)的限制，存在4.3%的人因個(gè)體設(shè)備差異而對(duì)對(duì)本文系統(tǒng)持有“否決”態(tài)度。能夠得出用戶對(duì)本文系統(tǒng)的運(yùn)行情況滿意度高。

表4展示了此系統(tǒng)可以加強(qiáng)考核人員的學(xué)習(xí)狀態(tài)的滿意度，能夠得出有96%的人表示該系統(tǒng)方法使他們對(duì)英語詞匯更加喜歡，有94%的人員表示系統(tǒng)了解的真正六級(jí)詞匯能力，92%的人表示明確了學(xué)習(xí)的重點(diǎn)，能夠自行復(fù)習(xí)。

表5主要是用戶提出關(guān)于該系統(tǒng)的意見總結(jié)，獲取本文系統(tǒng)優(yōu)勢(shì)以及劣勢(shì)情況。能夠看出，95%的用戶覺得本文系統(tǒng)可以減少考核用時(shí)，并且能夠什么時(shí)候需要就什么時(shí)候開始考核，非常方便；98%的用戶覺得本文系統(tǒng)考核試題的難易程度合理，符合自身實(shí)際情況；94%的用戶則表示本文系統(tǒng)適合不同情況的用戶，可以說是“對(duì)癥下藥”。

實(shí)驗(yàn)基于考核人員滿意度訪問情況檢測(cè)本文系統(tǒng)的性能，說明本文提出的系統(tǒng)可以檢驗(yàn)考核者的真實(shí)六級(jí)詞匯掌握情況。而在問卷訪問中可以證實(shí)本文系統(tǒng)可以達(dá)到大部分考核者的要求，獲取使用人員的認(rèn)同。

4 結(jié) 論

本文設(shè)計(jì)出智慧學(xué)習(xí)視角下在線學(xué)習(xí)成績(jī)智能測(cè)試系統(tǒng)，對(duì)系統(tǒng)結(jié)構(gòu)和組織構(gòu)架進(jìn)行設(shè)計(jì)，系統(tǒng)采用基于IRT的知識(shí)水平診斷方法測(cè)試用戶知識(shí)水平，通過MCMC方法推算考核參數(shù)，實(shí)現(xiàn)用戶在線學(xué)習(xí)成績(jī)的準(zhǔn)確測(cè)試。

參考文獻(xiàn)

[1] 謝幼如，劉嘉欣，孫寧蔚，等.智慧學(xué)習(xí)環(huán)境下學(xué)生科學(xué)探究心智技能的培養(yǎng)[J].開放教育研究，2016，22（2）：104?112.

XIE Youru， LIU Jiaxin， SUN Ningwei， et al. Research on cultivating elementary students′ scientific inquiry intellectual skills in a smart learning environment [J]. Open education research， 2016， 22（2）： 104?112.

[2] 張偉，許愛強(qiáng)，高明哲.一種基于積累一致性測(cè)量的在線狀態(tài)預(yù)測(cè)算法[J].上海交通大學(xué)學(xué)報(bào)，2017，51（11）：1391?1398.

ZHANG Wei， XU Aiqiang， GAO Mingzhe. An online condition prediction algorithm based on cumulative coherence measurement [J]. Journal of Shanghai Jiao Tong University， 2017， 51（11）： 1391?1398.

[3] 李爽，王增賢，喻忱，等.在線學(xué)習(xí)行為投入分析框架與測(cè)量指標(biāo)研究：基于LMS數(shù)據(jù)的學(xué)習(xí)分析[J].開放教育研究，2016，22（2）：77?88.

LI Shuang， WANG Zengxian， YU Chen， et al. Mining LMS data for behavioral engagement indicators in online learning environments [J]. Open education research， 2016， 22（2）： 77?88.

[4] 楊紅紅，曲仕茹，米秀秀.基于權(quán)值分配及多特征表示的在線多示例學(xué)習(xí)跟蹤[J].北京航空航天大學(xué)學(xué)報(bào)，2016，42（10）：2146?2154.

YANG Honghong， QU Shiru， MI Xiuxiu. Tracking approach based on online multiple instance learning with weight distribution and multiple feature representation [J]. Journal of Beijing University of Aeronautics and Astronautics， 2016， 42（10）： 2146?2154.

[5] 李宇翀，魏東，羅興國(guó)，等.基于多元增量分析的全網(wǎng)絡(luò)在線異常檢測(cè)方法[J].上海交通大學(xué)學(xué)報(bào)，2016，50（9）：1368?1375.

LI Yuchong， WEI Dong， LUO Xingguo， et al. Online network?wide anomaly detection algorithm based on multivariate incremental component analysis [J]. Journal of Shanghai Jiao Tong University， 2016， 50（9）： 1368?1375.

[6] LIU R， ZHONG G， CAO J， et al. Learning to diffuse： a new perspective to design PDEs for Visual analysis [J]. IEEE transactions on pattern analysis and machine intelligence， 2016， 38（12）： 2457?2471.

[7] 王益斌，黃加亮.海船船員考證網(wǎng)絡(luò)在線平臺(tái)軟件的開發(fā)[J].中國(guó)航海，2017，40（1）：88?92.

WANG Yibin， HUANG Jialiang. Development and application of online platform for seafarer training [J]. Navigation of China， 2017， 40（1）： 88?92.

[8] 郭修敏.漢語口語成績(jī)測(cè)試評(píng)分員培訓(xùn)體系建構(gòu)及實(shí)證研究[J].語言教學(xué)與研究，2016（1）：24?31.

GUO Xiumin. A rater training program for the Chinese oral achievement test： its design and a related empirical research[J]. Language teaching and linguistic studies， 2016（1）： 24?31.

[9] 高媛，黃真真，李冀紅，等.智慧學(xué)習(xí)環(huán)境中的認(rèn)知負(fù)荷問題[J].開放教育研究，2017，23（1）：56?64.

GAO Yuan， HUANG Zhenzhen， LI Jihong， et al. Analysis of cognitive load in smart learning environment [J]. Open education research， 2017， 23（1）： 56?64.

[10] GUILLY T L， NIELSEN M K， PEDERSEN T， et al. User constraints for reliable user?defined smart home scenarios [J]. Journal of reliable intelligent environments， 2016， 2（2）： 75?91.