基于概率圖模型的主觀題同行互評系統的開發(fā)與實踐*

許嘉 李秋云 劉靜 呂品

摘 要：為了提高在線教育的教學效率和教學效果，文章開發(fā)了基于概率圖模型的主觀題同行互評系統。該系統提供面向主觀題的同行互評功能，讓學生參與到主觀題作業(yè)的評價中來。基于概率圖模型對學生的評分偏見性和評分可靠性進行建模，保障了基于學生給出的評價分數估計主觀題作業(yè)真實分數的準確性。在多個本科教學班的教學實踐中應用了該系統。教學實踐結果表明該系統在有效減輕教師的主觀題作業(yè)批改負擔的同時，提升了學生的課程參與度并促進學生間的互助學習。

關鍵詞：概率圖模型;主觀題;同行互評系統;教學實踐

中圖分類號：TP393? ? ?文獻標志碼：A 文章編號：1673-8454（2021）10-0087-05

一、引言

隨著大數據、云計算和互聯網技術的發(fā)展，以Coursera、edX、中國大學MOOC 和學堂在線為代表的國內外在線教育平臺成為當下智能教育研究領域的關注熱點。在線教育平臺的興起有助于學生訪問到優(yōu)質的教學資源，從而提升教育的公平性，然而也給平臺上的任課教師帶來了嚴峻的教學挑戰(zhàn)。其中最突出的教學挑戰(zhàn)在于如何高效批改大規(guī)模選課學生在平臺上提交的作業(yè)。批改作業(yè)的方式大致可分為教師批改、機器自動批改、同行互評三種。教師批改是傳統教育中慣用的作業(yè)評估方式，可靠性較高。然而，一個熱門的線上課程的選課人數可高達幾千甚至上萬，因此大規(guī)模線上課程顯然不適于采用教師批改的方式評估學生作業(yè)。機器自動批改的方式對擁有固定答案的客觀題（例如選擇題和判斷題）非常友好，大大減輕了教師批改作業(yè)的負擔。相對于客觀題，主觀題更能考察學生的語言表達能力、知識運用能力與創(chuàng)新思維能力，[1]然而由于沒有固定答案，主觀題的批改很難由計算機自動完成，[2]極大加重了任課教師的作業(yè)批改負擔，使他們無法將精力用于課程內容的改進和提高。可見，如何有效進行大規(guī)模主觀題作業(yè)的批改是當前教育研究領域亟待解決的重要問題。

同行互評是在線教育領域用以解決大規(guī)模主觀題作業(yè)批改問題的重要途徑。同行互評是指學生依照教師制定的得分指導對其他學生的作業(yè)進行評價，具有諸多益處：一方面減輕了任課教師主觀題作業(yè)的批改負擔;另一方面學生通過評判他人的主觀題作業(yè)可以學習到不同的解題思路，還能提高學生的課程參與度。[3][4]雖然不少主流在線教育平臺已提供主觀題作業(yè)的同行互評功能（例如Coursera和中國大學慕課），然而這些平臺只是簡單基于一份作業(yè)對應的所有學生評分的中位數或平均分來估計這份作業(yè)的真實分數。考慮到參與評價的學生擁有不同的評分偏見和評分可靠性，[5]簡單基于平均分或中位數來估計作業(yè)的真實分數顯然不夠準確。[6]近年來，研究人員將同行評價者的評分可靠性及評分偏見作為模型變量，構建了支持同行互評的概率圖模型，能夠基于多個學生的評價分數更準確地估計主觀題作業(yè)的真實分數。[7-10]鑒于此，本文基于目前最好的概率圖模型PG7[10]開發(fā)了主觀題同行互評系統。該系統的教師端支持布置主觀題作業(yè)、設置主觀題作業(yè)得分指導、設置互評前的學生評價訓練、查看學生互評反饋等功能。該系統的學生端則提供主觀題作業(yè)提交、評價訓練、學生互評打分、學生針對其他學生給出的評價分數進行反饋的功能。此外，系統還提供互評作業(yè)自動分配以及基于概率圖模型PG7的作業(yè)真實分數估計等重要功能。基于多個本科教學班參與的課堂教學實踐表明該系統有效減輕了教師作業(yè)批改負擔，激發(fā)了學生的課程參與度，取得了良好的教學實踐效果。

二、主觀題同行互評技術應用現狀

近年來，國內外提出了不少主觀題評判技術。例如，國內主流的MOOC平臺“中國大學MOOC”實現了主觀題作業(yè)的布置與互評功能。國外的大規(guī)模開放在線課程平臺Coursera和edX也均支持主觀題作業(yè)的同行互評。以上平臺均以一份作業(yè)得到的多個互評分數的中位數來估計該作業(yè)的真實分數，進而設定為該作業(yè)的最終得分。為了進一步提高對主觀題作業(yè)真實分數的估計準確性，Alfaro等人[11]提出一個協同評閱和打分系統，命名為CrowdGrader。與中國大學MOOC不同，CrowdGrader系統在學生完成互評之后要求學生對同行評價者針對其作業(yè)給出的評分和評語做出評價反饋，以表明同行評價者給出的評分是否合理、評語是否有幫助。除了考慮某學生提交的作業(yè)所得到的同行評分，CrowdGrader系統還將綜合考慮該生在同行評價中表現出的評分準確性和反饋幫助性來確定該生所提交作業(yè)的最終分數。

然而，以上主觀題互評平臺或技術均未考慮學生在互評過程中的偏見和可靠性，使它們所給出的作業(yè)最終分數往往不夠準確。鑒于此，本文基于目前最好的同行互評概率圖模型——PG7[10]設計與實現了主觀題同行互評系統，通過對學生的評分偏見和評分可靠性建模，以期更準確地估計主觀題作業(yè)的真實分數，有效推進同行互評技術于在線教育中的應用。

三、基于概率圖模型的主觀題同行互評系統的設計與實現

1.系統關鍵技術與開發(fā)環(huán)境

（1）概率圖模型PG7[10]

PG7是近年來最有效的同行互評應用背景下的概率圖模型，該模型對同行評價者的評分偏見和評分可靠性建模，以學生的互評分數、互評相對分數（即同一個評價者針對不同作業(yè)給出的評分間的差值）為輸入，推斷模型中各個潛在變量（即評價者偏見、評價者可靠性和每份作業(yè)的真實分數）的后驗分布，進而采用Gibbs采樣技術[12]估計每份作業(yè)的真實分數。本文基于概率圖模型PG7提出了主觀題同行互評系統，以期保障基于同行評價分數估計作業(yè)真實分數的準確性。

（2）Spring Boot框架

開源的Spring Boot框架簡化了Spring項目的初始搭建環(huán)境以及開發(fā)過程，具有很多優(yōu)勢。本文采用Spring Boot框架配置基于概率圖模型的主觀題同行互評系統，簡化配置過程，使jar文件的依賴管理、應用編譯和應用部署更為簡單，提高開發(fā)效率。

（3）數據持久化工具

在進行主觀題同行互評系統的開發(fā)和應用時，需要對關系型數據庫中的大量數據頻繁進行增刪改查的操作。關系—對象映射（ORM）的出現解決了關系數據和程序對象頻繁轉換的問題。[13]MyBatis是目前主流的 ORM 框架，本文采用MyBatis框架對JDBC的訪問接口進行封裝，在對數據庫中的數據進行增刪改查時通過簡單的XML或注解來配置和映射原生信息，可以自定義 SQL語句、存儲過程以及高級映射。通過此框架，開發(fā)過程中不再需要手動設置參數和獲取結果集，提高了開發(fā)效率。

（4）安全框架

本文采用Apache Shiro安全框架實現了用戶登錄過程的身份認證、授權、加密和會話管理等等，以此保障主觀題互評系統用戶信息的安全。

2.系統設計與實現

（1）系統架構

MVC（即Model View Controller）是一種軟件架構模式，支持用一種業(yè)務邏輯、數據與界面顯示分離的方法來組織代碼，具有耦合性低、重用性高、部署快、生命周期成本低、可維護性高的優(yōu)勢。因此，本文采用MVC架構設計與構建基于概率圖模型的主觀題同行互評系統，該系統的架構如圖1所示。系統中的主觀題同行互評平臺包括客戶端和Web服務器兩部分，該平臺通過與數據庫進行交互讀取或寫入相關信息。為了提高系統應對大量學生同時訪問的并發(fā)處理能力，使用Redis對數據進行緩存處理。Redis是基于內存的數據庫，具備訪問速度快的優(yōu)勢，同時也支持數據持久化功能。

（2）系統功能模塊設計

基于概率圖模型的主觀題同行互評系統支持管理員、教師、學生三種角色。不同角色對系統功能有不同的操作權限。圖2展示了該系統的功能模塊。管理員角色可操作的功能有用戶管理、權限管理、日志管理;教師角色可操作的功能為布置作業(yè)、批改作業(yè)、修改成績;學生角色可操作的功能是提交作業(yè)、作業(yè)互評、互評反饋。本文對不同角色的權限管理采用主流的Shiro安全框架實現。

（3）數據庫設計

從基于概率圖模型的主觀題同行互評系統的功能需求出發(fā)可歸納出用戶、角色、權限、課程、作業(yè)、主觀題題目、答案、互評評價等數據庫實體。這些實體對應于關系數據庫中的不同數據表。以作業(yè)表和互評評價表為例，作業(yè)表涉及的數據庫字段為作業(yè)ID、作業(yè)描述、作業(yè)名稱、批改方式、互評開始結束時間、反饋開始時間和反饋結束時間，互評評價表擁有的數據庫字段為評價ID、作業(yè)ID、評價者ID、被評價者ID、互評評分和評語。

（4）系統開發(fā)環(huán)境

本文提出的基于概率圖模型的主觀題同行互評系統的軟件開發(fā)環(huán)境為：Spring Boot+MyBatis-Plus+Shiro，Windows 7操作系統，開發(fā)語言為Java，數據庫管理系統是MySQL Server 8.0。系統的硬件開發(fā)環(huán)境為：Intel Xeon E7-4850 V2 2.30GHZ CPU、16GB內存、300GB硬盤。

四、系統應用

系統登錄是用戶訪問系統的初始界面，用戶必須通過系統身份驗證才能進入系統主界面。在登錄時，用戶需要輸入自己的用戶名和密碼，系統則會基于數據庫中存儲的用戶數據判斷用戶輸入的用戶名和密碼是否正確，從而確定登錄操作的執(zhí)行結果。若用戶登錄成功，系統會確定該用戶的角色，并根據用戶角色的系統功能訪問權限呈現系統的主界面。下面以教師角色和學生角色為例介紹各自的系統應用功能。

1.教師端

布置作業(yè)：教師進入作業(yè)管理界面后點擊新增按鈕即可布置作業(yè)。作業(yè)管理界面如圖3所示，教師需要填寫作業(yè)名稱、作業(yè)描述、選擇包含主觀題的試卷、設置作業(yè)提交開始與截止的時間，以及選擇批改方式（互評或者教師批改）。若教師選擇以互評的方式批改作業(yè)，則其還需設置作業(yè)互評的截止時間和反饋的截止時間。在作業(yè)提交截止日期之前，教師都可以根據需要修改以上作業(yè)的基本信息。

設置得分指導與互評訓練：教師在完成主觀題作業(yè)的基本設置之后，可以在得分指導設置界面為該作業(yè)設置得分指導，用于指導學生完成互評。得分指導設置界面如圖4所示，教師需要填寫得分指導的內容、指定得分指導對應的分值、設置得分指導可評分數（即在該得分指導下，學生互評時可以選擇的分數）。在完成得分指導設置后，教師還可以設置互評訓練。互評訓練的目的是讓學生在參與正式互評之前熟悉互評流程，從而提高學生的互評質量。設置互評訓練時教師需要設置示例答案和評語，學生在互評訓練中則需要針對教師給出的示例答案和評語完成批改練習。

查看成績和互評信息：在互評活動結束后，教師可以在學生成績查閱界面查看系統基于概率圖模型PG7預測得到的每名學生作業(yè)的最終成績和互評相關的數據信息。學生成績查閱界面如圖5所示，教師可以在該界面查看和調整學生作業(yè)的最終成績，可以查看每個同行評價者針對該作業(yè)給出的評價分數和評語，還可以查看提交作業(yè)的學生針對同行評價者的評價給出的反饋。

2.學生端

主觀題作業(yè)互評：對一份學生提交的主觀題作業(yè)，系統以隨機分配的方式將該作業(yè)分配給3個學生批改。由于每個提交作業(yè)的學生都需要參與作業(yè)互評，因此系統的作業(yè)分配機制最終保證一個學生被分配3份主觀題作業(yè)進行批改。學生互評界面如圖6所示，學生在該界面依照教師給出的得分指導對同行提交的主觀題作業(yè)進行打分并給出評語。

互評反饋：作業(yè)互評活動截止后，學生可以對同行評價者針對其提交的作業(yè)給出的評分和評語進行反饋，以表明同行評價者給出的評分是否合理、評語是否對自己有幫助。教師則可以在教師端依據學生的互評反饋信息調整學生作業(yè)的最終成績。學生互評反饋界面如圖7所示。

五、基于概率圖模型的主觀題同行互評系統的教學實踐

本文提出的基于概率圖模型的主觀題同行互評系統在廣西大學《數據庫原理》課的多個本科教學班的教學實踐中得到應用。涉及的本科教學班為5個，參與互評的學生為284人，布置的主觀題作業(yè)數為3。基于該系統實施同行互評的3次主觀題作業(yè)的相關統計數據如表1所示。

教學實踐表明，概率圖模型PG7對主觀題作業(yè)真實分數的預測準確性高，只有不到2%的學生在互評反饋環(huán)節(jié)中提出PG7基于同行評價者評分預測給出的作業(yè)最終成績不合理，需要教師對該作業(yè)進行人工評判。同時，77%的學生表示同行評價者針對其作業(yè)給出的評語對其是有幫助的。可見，本文提出的基于概率圖模型的主觀題同行互評系統不但可以有效減輕任課教師對主觀題作業(yè)的批改工作量，還能提升學生的課程參與度和促進學生間互助學習，最終有效提高了在線教育的教學效率和教學效果。

六、總結與展望

本文設計與實現了基于概率圖模型的主觀題同行互評系統。系統提供主觀題作業(yè)布置、得分指導設置、互評訓練設置、作業(yè)互評與互評反饋等重要互評功能。系統基于概率圖模型對學生在作業(yè)互評活動中的評分偏見和評分可靠性進行建模，從而有效保障了基于學生給出的評價分數估計作業(yè)真實分數的準確性。由多個本科教學班參與的主觀題作業(yè)互評教學實踐表明該系統的互評功能完善，基于同行評價者提供的互評分數所預測的作業(yè)分數質量高，在減輕教師作業(yè)批改負擔的同時提升了學生的課程參與度、促進了學生間的互助學習。

參考文獻：

[1]Paré D E，Joordens S.Peering into large lectures：examining peer and expert mark agreement using peerScholar， an online peer assessment tool[J].Journal of Computer Assisted Learning，2008，24（6）：526-540.

[2]Caragiannis I，Krimpas G A， Voudouris A A.Aggregating partial rankings with applications to peer grading in massive online open courses[C].AAMAS，2015：675-683.

[3]Kulkarni C E，Wei W P，Le H，et al.Peer and self assessment in massive online classes[J].ACM Transactions on Computer-Human Interaction，2013，20（6）.

[4]Gehringer E F.A survey of methods for improving review quality[C].ICWL Workshops，2014：92-97.

[5]Alfaro L D，Shavlovsky M.Dynamics of peer grading： an empirical study[C]. EDM，2016：62-69.

[6]Capuano N，Caballé S.Towards Adaptive peer assessment for MOOCs[C].3PGCIC， 2015：64-69.

[7]Piech C，Huang J，Chen Z，et al.Tuned models of peer assessment in moocs[C].EDM，2013：153-160.

[8]Mi F，Yeung D Y.Probabilistic graphical models for boosting cardinal and ordinal peer grading in moocs[C].AAAI，2015：454-460.

[9]Chan H P，King I.Leveraging social connections to improve peer assessment in moocs[C].WWW，2017：341-349.

[10]Wang T Q，Li Q，Gao J，et al.Improving peer assessment accuracy by incorporating relative peer grades[C].EDM，2019：450-455.

[11]Alfaro L D，Shavlovsky M.Crowdgrader：a tool for crowdsourcing the evaluation of homework assignments[C].SIGCSE，2014：415-420.

[12]Geman S，Geman D.Stochastic relaxation， gibbs distributions， and the bayesian restoration of images[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，1984（6）：721-741.

[13]喬嵐.基于Mybatis和Spring的JavaEE數據持久層的研究與應用[J].信息與電腦，2017（8）：73-76.

（編輯：王天鵬）