語法試題個性化推薦系統(tǒng)的研究

季峰

摘? 要： 為了提高試題個性化推薦系統(tǒng)對語法試題推薦的有效性，定義了韓語語法點矩陣、得分模型、潛在學習特征向量等，建立了學習態(tài)勢算法，設計了試題智能推薦的整體框架。該系統(tǒng)以學習者的態(tài)勢計算為基礎，對學習者語法學習能力估算，再進行試題推薦。通過兩組學習者對比，根據(jù)系統(tǒng)的平均使用時間、成績提高率、答卷正確率和試題推薦精準率等指標進行評估，結果顯示，該推薦系統(tǒng)對學習者有顯著的助學效果。

關鍵詞： 試題; 推薦系統(tǒng); 語法; 學習態(tài)勢; 框架

中圖分類號：TP399? ? ? ? ? 文獻標識碼：A? ? ?文章編號：1006-8228（2021）12-10-04

Abstract： In order to improve the effectiveness of the personalized test question recommendation system for grammar test question recommendation， Korean grammar point matrix， score model and potential learning feature vector are defined， the learning situation algorithm is established， and the overall framework of test question intelligent recommendation is designed. On the basis of learners' situation calculation， the system estimates learners' grammar learning ability， and then recommends test questions. Through the comparison between the two groups of learners， the evaluation is carried out according to the indicators such as the average use time of the system， the improvement rate of scores， the correct rate of answers and the accuracy rate of test question recommendation. The results show that the recommendation system has a significant help learning effect on learners.

Key words： test question; recommendation system; grammar; learning situation; framework

0 引言

全球知識一體化的教育框架下出現(xiàn)了很多語言類教育的創(chuàng)新，努力構建高沉浸感的語境，在語言類學習系統(tǒng)中，面對等級考試中的大量語法測試題，如何快速的提高語言水平，精準練習和消除冗余訓練成為焦點，如何打破眾多語言教育專家認為語法學習中需要要反復練習的經(jīng)驗思維，成為重要的課題，盡量減少練習周期掌握語法點顯得尤為重要。

1 相關工作

國內外有不少團隊致力于試題推薦領域的研究，王超等基于DINA模型提取個性化學習能力向量[1]，建立多維離散認知模型，將試題推薦應用在幾何學習中。趙泉通過計算知識點權重[2]結合課程需求建立推薦算法。朱天宇等基于協(xié)同過濾和認知診斷的推薦方法[3]，引入個性化因子提高推薦精度。陳達基于內容相似度的最近鄰方法[4]，分別建立了基于內容和協(xié)同過濾的推薦系統(tǒng)。萬永權等提出了基于反饋的自適應試題推薦方法[5]，通過評價個體學習能力和試題特性，避免了試題屬性中的偏差。魏偉等提出了基于語義關聯(lián)規(guī)則的知識點標注試題推薦方法[6]，在數(shù)學和歷史中性能表現(xiàn)良好。Fang L等通過計算查詢問題與數(shù)據(jù)庫問題之間的相似度[7]來推薦法結構相似的試題，在基于Web的英語語法學習推薦系統(tǒng)中有很好的表現(xiàn)。Ince E Y基于學生行為構建了自適應試題推薦系統(tǒng)[8]，基于學習者的問題系統(tǒng)創(chuàng)建出主題測試。Manna R等基于問題過濾和相似度構建了菜譜試題推薦系統(tǒng)[9]，研究拓展到學科類的問答推薦系統(tǒng)中。基于內容推薦和協(xié)同過濾[10]推薦在語言類領域存在不足，本研究對學習者的態(tài)勢進行計算，結合潛在學習特征等因子進行融合推薦，同時考慮個體對系統(tǒng)的喜愛程度和對語法點的掌握程度等因子，該系統(tǒng)在韓語語法學習中有明顯的有效性。

2 相關概念

2.1 定義

定義1 語法學習者是一個集合用gl表示，gl={gl1，gl2…gli…glm}。測試題T，T={t1，t2…tj…tn}。答卷為R，R=[rmn]m×n，rmn∈[0，30]，當rmn等于0時，表示答錯，當rmn不小于0時，表示得分。定義得分率Prmn，Prmn=rmn/ri，ri為所選試題的總分值。

定義2 測試題與韓國語語法點的關聯(lián)矩陣定義為K，基于Topik考綱進行標注，K=[knk]n×k ，當knk=0，表示k不是n的子集，當knk=1，表示k是n的子集。

定義3 語法點得分分配用sk表示，定義ski=ri/Nk，Nk代表測試題中語法點數(shù)目，通過計算得到語法點的得分分配矩陣sk[ski]。

定義4 gli語法點吸收數(shù)量等級用kpl表示，設某語法點的測試得分為αi，αi值為sk與rmn相乘，再用100除以i得到權值，權值和αi相乘，kpl為多次語法知識點測試結果的累加。

定義5 語法學習者的態(tài)勢用gls表示，得分能力AQ，語法點試題的練習次數(shù)為NK，語法測試題完成的平均時間為AT，gls={AQ，NK，AT }，系統(tǒng)不區(qū)分正確題和錯題。在i次測試中，AQ={Agl，1，Agl，n}，當Agl，1=1時，表示gli對知識點1的得分能力，當Agl，1=0時，代表gl對知識點1沒有得分能力。NK是關于同一語法點演練數(shù)的數(shù)組，Nsk=[Nski]。AT是gl語法測試時長，At=（tt1+tt2+tt3+…+ttn）/n。

定義6 學習者的潛在學習特征向量Mgl，假設學習者gli對語法測試題tj未作答，那么計算出gli對tj的潛在作答系數(shù)?時，首先計算kpl/n，接著代入公式⑵得到?，當?取1表示其對試題的潛在得分為真，?取0表示學習者對試題的潛在得分為假。

定義7 系統(tǒng)中的語法測試題包含一個或多個語法點，那么我們設測試題T中有n個語法點，第i題的分值為Fi，根據(jù)公式⑷，計算語法測試題與語法點的關系強度RS。

2.2 學習態(tài)勢計算

系統(tǒng)中的態(tài)勢計算，首先根據(jù)定義1構建R=[rmn]m×n，再根據(jù)定義2描述關聯(lián)矩陣，設答錯試題的概率st，表示學習者答錯試題t的概率，gt表示kpl接近0時，表示未掌握知識點時答對試題t的概率。kpl漸近1時，代表已經(jīng)掌握此語法點。利用⑸計算學習態(tài)勢，同時考慮了多種形態(tài)，引入kpl、gls、Mgl等與學習者自身學習有很強關聯(lián)的因素。

通過學習態(tài)勢gls和潛在的學習特征向量的計算，得到kpl的概率，按照公式（6-7）算出學習個體的語法點的掌握技能度，也就是語法點學習者的學習能力。

將實際答卷和預測答卷ARglt作差，差的絕對值超過1，表示測試者完成的語法測試題和目標語法點關聯(lián)強度弱，差的絕對值不大于1，表示測試答卷情況正常。根據(jù)gl的潛在作答系數(shù)?，得到潛在特征向量，推薦時避開Topik中的冷試題和學習者偏好試題，答對試題Tj的概率作為試題Tj對于學習者的難度D。限定推薦語法測試題的難度區(qū)間[d1，d2]，難度系數(shù)根據(jù)學習者對應Topik考試等級設定。

2.3 推薦框架

圖1中是韓國語語法試題推薦系統(tǒng)（Korean Grammar Question Recommendation System，KGQRS）的核心模塊，包括學習者測試題庫中記錄了試題的難度、試題和語法的關聯(lián)度等屬性，練習庫中包括學習者的個性化學習的態(tài)勢，包括得分能力、知識點的測試數(shù)目和平均測試時間等屬性。基于測試題庫和練習庫確定學習者的知識點吸收能力、得分預測和難度等級等，配合通用設置中的難度等級等屬性，協(xié)同試題庫進行合理的試題推薦。

3 實驗

3.1 數(shù)據(jù)描述

推薦系統(tǒng)中包括韓國語等級考試TopikⅠ（TopikⅠ包括一級和二級，TopikⅡ包括三級至六級）98個語法點，每個語法映射例句15個，測試題基于例句對語法點進行了留空處理，學習者通過例句演練后再進行語法測試。甲乙兩組學習者來源于兩個韓語培訓機構，歷時六個月的學習，兩組人員母語為中文，韓語水平零基礎，其中甲組來自同一機構的21名學生，全程參與系統(tǒng)測試和數(shù)據(jù)收集。乙組的30人來自另一個機構，只在第二階段的學習中使用系統(tǒng)。數(shù)據(jù)集中還包括兩組人者的年齡、學歷、KGQRS的使用時間、考核成績等。

3.2 評價指標

學習者使用系統(tǒng)的平均時間用AUT表示。為確保實驗數(shù)據(jù)的客觀性，教師面授時系統(tǒng)的基礎使用時長為5分鐘，甲組全程參與系統(tǒng)，乙組在第二階段使用系統(tǒng)，通過后臺數(shù)據(jù)計算出學習者的單獨使用本系統(tǒng)的平均時間，用式子⑻計算。

成績提高率用SIR表示，兩個階段中有三次測評，設一個月為一個測試周期，設Ti為第i次的測試得分，則第i+1次測驗得分對第i次來說的提高率為SIR。當SIR<0時，表示成績下降，當SIR>0時，表示成績上升，用式子⑼計算。

答卷正確率用CRA表示，反應知識點的掌握情況和試題難度，對于個體學習而言，答卷正確率隨著學習者的kpl和gls的提高跟著綜合提高，得分率表現(xiàn)出偏差過大，說明試題中所涉及的語法點難度等級高或者試題難度偏高，文中針對知識點定義答對Tright，總分Ttotal， 則CRA=Tright/Ttotal，Tright和Ttotal都是按照測試的人次來計算。

試題推薦精準率用RA表示，我們定義測試時間為保證學習者可以完成答題的時間，且學習者的kpl不為null，那么答對的試題記錄的數(shù)目為TAn，未答的試題記錄數(shù)目為Tun，則精準率RA=TAn/ （TAn+Tun）。

3.3 結果分析

實驗數(shù)據(jù)分為兩個階段。第一階段中甲組使用KGQRS，乙組不使用。第二階段中甲乙量組均使用KGQRS。兩組使用的學習材料、內容和進度都是一致的。

圖2中曲線為甲組兩階段中使用系統(tǒng)的月平均時間，基于公式⑻，得到第一階段為17.93小時，第二階段為20.22小時，提高了12.8%，在線時長是評價用戶粘性的重要指標，結果顯示學習者對KGQRS有依賴性，也是學習者利用系統(tǒng)表現(xiàn)出的積極性，它是系統(tǒng)有效性檢測指標之一。乙組在第二階段中的月平均使用時長為21.40小時，超過了同階段甲組時間，原因是第一階段乙組沒有使用系統(tǒng)，二階段中激起了使用系統(tǒng)的積極性。從兩組的月平均使用時間可以說明KGQRS對學習者是有明顯正向推動作用的。

圖3中的T1—T6分別代表了甲組21位成員在一二階段的六次測試結果，從曲線分布來看，分數(shù)的絕對差值不大且趨向平穩(wěn)，第一階段平均成績?yōu)?6.24，第二階段平均成績?yōu)?9.89，第二階段提高了4.23%的原因為學習者對KGQRS的適應程度和對韓國語語法學習的適應性的提高，說明系統(tǒng)能激發(fā)了學習者的興趣，促進成績穩(wěn)步提升。

圖4中的T1-T6分別代表乙組30位成員在一二階段的六次測試的成績，六條曲線顯示，第二階段中使用了KGQRS，成績得到了明顯的提高。第一階段乙組的平均成績?yōu)?1.51，第二階段乙組平均成績?yōu)?4.75，SIR為18.5%，說明KGQRS對學習者在語法學習時的有效性。甲組平均成績比乙組高出20.6%，說明使用系統(tǒng)的有效性。

答卷正確率的評估以98個語法點為主線，計算每道題的CRA，CRA<70%的有43題，定義為較難題，例如“??、 ??、 ??、 ??”等詞在不同情境下的變形題。CRA>95%的有49題，定義為簡單題，例如“???、???、??、???”等詞語的語法正確應用。以上兩類題占整個語法題庫的6.3%處在合理的范圍內，從答卷的正確率來看，系統(tǒng)推薦符合學習者的學習目標和要求。

試題推薦精準率通過RA=TAn /（TAn+Tun）計算，RA在5%以內的37題，占題庫的2.51%，說明這類試題推薦誤差較大，總體推薦精準率達到97.49%，說明系統(tǒng)推薦精準率很高。

4 結論

本研究基于語法點矩陣、得分模型、潛在學習向量和學習態(tài)勢構建KGQRS。從兩組實驗來看，系統(tǒng)的推薦是有效的，下一步將深入健全評估指標，結合學習者屬性進行態(tài)勢分析，例如學歷背景、年齡和學習動機等因素，需進一步擴大實驗樣本數(shù)和周期，更客觀的對系統(tǒng)做效用評價，將系統(tǒng)調整到最佳狀態(tài)。

參考文獻（References）：

[1] 王超，劉淇，陳恩紅.面向大規(guī)模認知診斷的DINA模型快速計算方法研究[J].電子學報，2018.423（5）：26-34

[2] 趙泉.大數(shù)據(jù)背景下的智能課程推薦系統(tǒng)研究[J].信息與電腦（理論版），2019.427（9）：107-109，112

[3] 朱天宇，黃振亞，陳恩紅.基于認知診斷的個性化試題推薦方法[J].計算機學報，2017.1：178-193

[4] 陳達.基于深度學習的推薦系統(tǒng)研究[D].北京郵電大學，2015.

[5] 萬永權，燕彩蓉，朱明等.反饋式個性化試題推薦方法[J].計算機應用與軟件，2018.35（7）：81-84，90

[6] 魏偉，郭崇慧，邢小宇.基于語義關聯(lián)規(guī)則的試題知識點標注及試題推薦[J].現(xiàn)代圖書情報技術，2020.4（2）：182-191

[7] Fang L， Tuan L A， Hui S C，et al. Personalized questionrecommendation for English grammar learning[J].Expert Systems，2018：e12244.1-e12244.15

[8] Ince E Y.Adaptive Question Recommendation System Based on Student Achievement[J]. International Journal of Trend In Scientific Research and Development，2019.1（4）：1034-1037

[9] Manna R， Das D，Gelbukh A.Question-Answering and Recommendation System on Cooking Recipes[J]. Computaciony Sistemas，2021.25（1）：896-902

[10] 蔣昌猛.基于知識點的個性化習題推薦研究[D]. 西北大學，2017.