基于離散泊松混合模型的教學評價數據建模

收稿日期：2022-01-26；修回日期：2022-03-22" 基金項目：國家自然科學基金資助項目（61976163，61902284）

作者簡介：黃浩（1986-），男，湖北潛江人，教授，博導，博士，主要研究方向為數據挖掘；顏錢（1994-），男，湖北大悟人，博士研究生，主要研究方向為數據挖掘；甘庭（1989-），男（通信作者），湖北武漢人，講師，博士，主要研究方向為約束求解（ganting@whu.edu.cn）；李石君（1964-），男，湖南岳陽人，教授，博導，博士，主要研究方向為數據庫、數據挖掘、大數據.

摘 要：

分析學生在教學評價系統中對于教師的評價數據有助于教師了解學生對授課教師的真實態度，總結教學經驗，改進后續的教學方式，提高教學質量。但是進行教學評價時，學生中可能會出現隨意評價或者惡意評價等問題，導致評價數據中包含大量噪聲，造成反饋數據的不理想。因此，提出了一種離散泊松混合模型來對包含噪聲的學生評價數據進行建模，將混合模型中的每一個離散泊松分量對應一類具有相似評價模式的學生，借由離散泊松分布中的模型參數來表示對應評價模式中的評價分數。通過構建對數似然函數來衡量混合模型和評價數據的擬合程度，采用梯度下降的方法求解擬合程度最高的模型參數，找到學生對于教師的真實評價，保證教學評價系統中師生間的有效溝通。大量實驗結果表明，模型能夠快速準確地從含有噪聲的評價數據中識別出具有不同評價模式的學生，掌握學生對于教師的真實評價情況。

關鍵詞：教學評價系統； 眾包思想； 泊松混合模型； 參數估計方法

中圖分類號：TP311"" 文獻標志碼：A"" 文章編號：1001-3695（2022）09-010-2626-05

doi： 10.19734/j.issn.1001-3695.2022.01.0042

Teaching evaluation data modeling based on discrete Poisson mixture model

Huang Hao， Yan Qian， Gan Ting， Li Shijun

（School of Computer Science， Wuhan University， Wuhan 430072， China）

Abstract：Analyzing the evaluation data of students to teachers in the teaching evaluation system helps teachers understand the true attitudes of students to teachers，summarize teaching experience，improve subsequent teaching methods，and improve teaching quality. However，when evaluating teaching，random or malicious evaluations may occur among students，resulting in a large amount of noise in the evaluation data，which results in unsatisfactory feedback data. Therefore，this paper proposed a discrete Poisson mixture model to model the evaluation data of students with noise. Each discrete Poisson component in the mixture model corresponded a class of students with similar evaluation modes. The model parameters in the loose distribution represented the evaluation scores in the corresponding evaluation mode. It constructed the log-likelihood function to measure the degree of fit between the mixed model and the evaluation data，and used the gradient descent method to solve the model parame-ters with the highest degree of fit，to find the true evaluation of the students to the teacher，and to ensure the teacher-student relationship in the teaching evaluation system communicate effectively. A large number of experimental results show that the proposed model can quickly and accurately identify students with different evaluation modes from the evaluation data containing noise，and grasp the true evaluation of the students to teachers.

Key words：teaching evaluation system; crowdsourcing ideas; Poisson mixture model; parameter estimation method

0 引言

隨著網絡平臺的普及，學校組織學生通過網絡教學評價系統評價教師的課堂教學，已成為各大高校取代手工統計方式的普遍選擇。學生評教作為高校教學質量評價的重要環節，越來越多的人開始探究如何借助這種方式進一步有效、科學地管理教學。教學評價主要是學生根據相應的評價指標對教師在這段時間內的教學狀況進行打分，從而幫助教師總結教學經驗、改進教學方法，達到最終促進教學中的師生溝通、提高教學質量的目的。

然而，目前大多數高校所采用的教學評價系統中，存在著參與性低及惡意評價的主要問題。學生缺乏參與評價的主動性，認為自己的評價不會改變課程的教授方式，即使許多學校強制進行教學評價，學生在進行評價時抱著完成任務的心態對所有老師隨意打分或故意給老師打出低分的情況也常常能夠看到。這樣會影響教師授課的積極性，進而造成教學效果的停滯不前，同時學生認為教學評價沒有實際作用，導致了惡性循環。

由于收集的學生評價數據通常是包含噪聲的，即隨機給出的、惡意評價的，沒有直接表達他們的真實想法，難以通過簡單的多數性投票策略來獲取學生對于教師的真實評價，需要進一步地從這些包含噪聲的數據中分析出學生的真實情況。如果將學生視為參與眾包的眾包工人，通過收集大量學生對教師的反饋情況實現學生廣泛參與的這種評價行為與眾包服務相似，可以利用從眾包任務獲取真實標簽的方法來處理學生評價數據。但是進行眾包數據處理時，需要非常復雜的參數模型來建模眾包工人的貼標能力，采用類似EM的算法進行參數更新求解，容易陷入局部最優，無法準確便捷地獲取真實的任務標簽。

為了避免上述缺陷，本文建議使用離散泊松混合模型對含有噪聲的學生評價數據進行建模，將具有相似評價行為模型的學生對應于一個離散泊松模型，使用模型中的參數來表示學生的具體評價分數，再構建最大似然函數來評估模型和評價數據的擬合程度，通過梯度下降的方法找到使得擬合程度最高時的模型參數，從而識別出具有不同評價模式的學生，確定學生對于教師的真實評價情況。大量實驗表明，本文模型能夠快速準確地從含有噪聲的評價數據中識別出不同類別打分的學生，同時掌握學生對教師教學工作的準確反饋。

1 相關工作

教學評估主要是收集學生對于所上課程的評價來分析學生對于課程的真實態度，涉及的相關研究主要是對于評價數據的收集和處理。

當前，評價數據收集工作的主要途徑是網絡調查服務，但是學生的評價可能會由于受到調查疲勞或者學生對取得課程成績滿意程度的影響，導致收集的數據是低回復或者低質量的。所以當前有些教學評估研究集中于獲取優質的評價數據，通過利用人工智能技術實現虛擬的會話代理服務［1］與學生進行個人訪談，產生更加高質量的評價數據。還有一些研究人員通過額外的數據平臺獲取教師的相關數據［2，3］作為評價數據的補充來實現更加完整的教學評估。

對于開放性問題的文本評價數據的處理主要是通過相應算法對學生回復文本進行主題檢測，或將其分類為類別或情緒。許多研究人員利用LDA主題模型從學生書面反饋中提取主題［4，5］，與聚類模型相比，LDA模型可以為評論找到更多相關主題，再基于相應的分類技術將學生評論分類為正面或負面評論，從而更好地獲取學生的情緒態度。也有研究人員直接利用自然語言處理的相關技術對于學生的評論文本進行分析［6，7］，捕獲有意義的情緒信息，為了避免收集的評論回復中存在異常信息對分析結果準確性的影響，一些評估方法也使用了基于神經網絡的異常檢測算法［8］來提升算法的效果。

對于一些客觀問題的評分數據的處理與眾包任務相似，也是本文重點研究的內容。下面將回顧眾包模式研究的相關工作，對眾包的出現及現有研究的不足進行介紹。

眾包并不是一個新現象，然而，近年來，互聯網企業商業模式的巨大成功，又引起了大家對眾包的關注。眾包是一種通過互聯網外包和利用分布式人工計算能力來解決特定功能集的方法［9］，人類主動或被動地參與計算過程，尤其是對于人類本質上比計算機更容易完成的任務［10］。眾包主要有兩大發展模式，即整合型眾包和選擇型眾包［11］。整合型眾包是指每一個單獨的個體所帶來信息的作用是微乎其微的，然而眾多個體信息整合的結果可以帶來巨大的價值。選擇型眾包即在眾多解決方案中只存在一個最優的滿足要求會被采納，其他的則被淘汰。

盡管眾包的概念起源于商業，但是其應用已超越了商業，被廣泛地應用于各個其他領域。在計算機方面，許多學者使用眾包來支持他們在數據采集、數據清洗、質量評估等方面的工作［12］，還有交通領域所提出的眾包交通檢測、眾包配送等概念，以及許多其他如圖書情報領域等方面。維基百科是眾包應用中的成功案例，開創了一種人人參與知識創造和積累的運作模式。然而，眾包模式中也存在著一些風險，其中包括較差的任務質量、不誠信的參與者以及眾包過程中因參與者數量多而造成的不可控性等。因此，未來的研究中也會關注到眾包的風險管理。本文中，也是就眾包在教學評價中存在的不足所提出的解決方案。

在教學評價系統中，通過眾包服務的思想收集學生對教師教學工作打分的標簽結果，分析標簽結果中反映的學生認同度來對教師的教學進行反饋。通過眾包服務收集標簽已被證明在許多應用中是有效的，例如自然語言處理和醫療數據處理。收集到的標簽通常是有重復的，即不同的標記者為同一個實例提供了多個可能相互矛盾的標記結果。這種重復標簽的方案在標簽成本與數據質量之間取得了良好的平衡，并引起了對多個不可靠來源建模數據的研究課題的關注。

對于眾包中的標簽任務，最常見的目標是標簽預測，即獲取實例的可靠標簽。為此，主流方法假設每個實例都存在真實結果標記，并嘗試根據標記者給出的標簽預測真實標簽。Karger等人［13］提出了一種算法，該算法在實例和標記者之間迭代地傳遞消息；Liu等人［14］通過引入標記者的先驗知識并使用圖模型的變型方法來推斷相應的生成模型的方式推廣該算法。Whitehill等人［15］提出了不同標記著具有不同的能力以及實例的爭議性問題，這些都是通過概率模型與真實標簽一起推斷出來的。此外，一些新的技術，例如噪聲校正［16］和不平衡學習［17］被用來提高標簽的質量，尤其是在實例中帶有少量噪聲標簽的情況下。

當實例可以在向量空間中被表示時，一個密切相關的主題是從標簽中學習分類器，可以通過首先使用上述標簽預測技術推斷真實標簽，然后通過傳統分類方法學習分類器來輕松完成此任務。更復雜的方法包括直接從標記者給出的標簽中學習，同時推斷隱藏的標記者能力［18］，將標記者看做與最終分類器有關的個人分類器［19］，并將標記者的能力建模為實例空間的函數，與最終分類器一起推斷參數。這些工作以不同的方式對標記者的能力進行了建模，但是當它們將實例空間看做一個整體時，并沒有明確地涉及實例的爭議性問題。這種工作的一個缺點是，對于許多現實世界中的任務而言，實例的向量形式并不總是很容易獲得的。

盡管大多數現有的工作旨在針對每個實例預測一個可靠的標簽［20］，但仍有一些人嘗試從其他方面解決問題。Wang等人［21］提出了一個通用的理論框架來幫助從有高準確性的高質量標記者中識別（或消除）低質量的標簽。Welinder等人［22］提出了“思想學校”的概念，該概念允許標記者標記和提取不同的觀點組；Tian等人［23］通過聚類標記者的標記結果來估計標記者的能力和實例的爭議性，從而擴展了這個概念。Ertekin等人［24］研究了僅通過查詢一部分標記者來估計標記者的主要意見的近似人群問題。

由于眾包帶來的巨大機遇，許多的研究人員開發了大量技術來處理眾包學習中的不精確性、隨機性和不確定性問題［25］，但是，大多數現有工作都僅僅涵蓋了某些方面。相反，本文模型預測標記者本身的數據生成而不是某些方面，并且其功能足以包含標記者的行為模式和不同意見，同時保持模型本身的簡單靈活。

2 相關概念

2.1 混合模型

混合分布模型的出現解決了用單一模型來研究問題的不足，它的本質就是融合幾個單分布模型，使得模型更加復雜，從而產生更復雜的樣本，以此解決單一模型無法產生的樣本的情況。假設隨機變量x=（x1，…，xN）來自由M個總體G1，…，Gm分別以比例λ1，…，λm混合而成的分布G，于是f（x|Λ，Θ）的密度函數可以表示為

f（x|Λ，Θ）=λ1f1（x|θ1）+…+λMfM（x|θM）

其中：∑Mi=1λi=1，λi≥0，i=1，…，M，f（x|θj）和θj分別是相應于總體Gj的密度函數和參數，Λ=（λ1，…，λM），Θ=（θ1，…，θM）。隨機變量x服從混合模型f（x|Λ，Θ）。fm（x|θm）（m=1，…，M）是第m個分模型的概率密度函數，可以看成是選定第m個模型后，該模型產生x的概率；λm（m=1，…，M）是第m個分模型的權重，可看做是第m個分模型的先驗概率，調整權重λm將極大地影響混合模型的概率密度函數曲線，因此通過調整權重，混合模型便可以擬合更復雜更多變的樣本。

混合模型是一個靈活且強有力的概率建模工具，在理論和實踐中得到了極為廣泛的應用，因為它具有以下優勢：

a）混合模型提供了用簡單的結構模擬復雜分布的一個有效模型，比如正態分布是現實生活中最常見、最重要的分布，因此，應用也最為廣泛，許多隨機現象當樣本量足夠大時都可以用正態分布逼近，理論可證明，利用混合正態分布（也稱為混合高斯分布）可以逼近任何一個光滑分布，即只要項數M足夠大，它們之間的權重設定得足夠合理，混合分布模型可以用于描述復雜現象。因此，混合模型有助于解決實際生活中的許多復雜問題。

b）混合模型所提供的模擬較為自然。當M=1時，模型為單一分布，則說明數據具有相同的性質；當Mgt;1時，則說明數據為來自不同分布的混合數據，具有不同的性質，因此，在聚類分析、判別分析等領域中都有著廣泛的應用。

2.2 隱變量

在混合分布模型中，存在著未知的數據，稱為隱變量。

可以設想觀測到的隨機變量x=x1，…，xN是這樣產生的：首先依概率λm（m=1，…，M）選擇第m個分布Gm，然后依這個成分的概率分布fm（x|θm）生成觀測數據xn=（n=1，…，N），N個觀測數據中可能有多個來自于同一個成分。這時，觀測數據x=x1，…，xN是已知的，而反映觀測數據xn來自于總體分布的哪一個成分是未知的，即隱變量，用γnm表示為

γnm=1" 第n個觀測變量來自第m個成分0" 否則

其中：n=1，…，N;m=1，…，M。

3 模型框架

在教學評價系統中，學生評教是最直接、真實和可靠的，因為學生是教師教學效果的直接體現者。學生評價教師的教學情況，其打分者是學生，打分對象是教師的教學工作，通過教學評價系統共同促進教學工作的實施與改進。

3.1 問題描述

假設有S個學生為N個教師進行教學工作評分，每個學生的評分取值于集合{1，2，3，4，5，6，7，8，9，10}，分值越高代表對于教學工作的滿意程度越高。所有學生的打分使用集合Y={{ysi}Ni=1}Ss=1表示，其中ysi∈{1，2，3，4，5，6，7，8，9，10}表示第s∈{1，…，S}個學生對第i∈{1，…，N}個教師的評價分數。教學評估的問題是根據給定的打分集合Y找到不同類別打分模式的學生以及對于每個教師教學工作的真實評價。

為了生成一個簡單但更靈活和實用的模型，試圖直接理解和模擬打分結果集合Y的生成過程。這是因為教師具有豐富的教學經驗，對于所教課程具有相對穩定的課程知識輸出和課堂教學表現，所以學生的評價對象具有相對固定的教學模式，雖然不同類別的學生可能對這種教學模式有不同的接受情況，但是同類別的學生可能會產生類似的教學評價，就可以利用生成式的機器學習模型來找到這種教學模式對不同類別學生產生的效果評價。為此，將一個學生視為一個單元，對于每一個學生s，模擬他對所有任務打分結果標簽的概率分布{ys1，…，ysN}，將分布表示為p（y|θ）并假設每個ys=［ys1，…，ysN］T來自這個分布。這樣，就需要為p（y|θ）選擇合適的模型形式，并根據Y中觀察到的標簽推導出相應的模型參數θ。

3.2 離散泊松混合模型

本文選擇N維離散泊松混合模型來擬合變量y的概率分布，其原因有兩個：a）每個打分結果標簽的值受離散泊松分布的影響；b）變量y是N維的，因為它反映了給定N個打分任務上每個學生的打分結果。在不失一般性的情況下，本文假設離散泊松混合模型可以描述為

p（y|μ，α）=∑Kk=1αkNi=1μkiyiyi！g（μki）

其中：μ={μ1，…，μK}，μk=（μk1，…，μkN）是指第k個泊松成分的泊松參數；α={α1，…，αk}，αk是第k個泊松成分的系數（或權重）；g（μki）是離散泊松分布的歸一化因子，定義為

g（μki）=∑10v=1μvkiv！

在該模型中，每個學生s的打分結果被看做是由泊松成分生成的。如果一群學生的行為相似（例如這些學生都不認真打分并隨機地給出打分結果，學生故意進行惡意評分擾亂結果等），他們的打分結果往往由相同的泊松成分生成。此外，如果該群體的學生占有很大比例，則他們相應的泊松成分系數αk將大于其他的泊松成分系數。同時本文不假設影響因素如何共同造成打分集合Y的不確定性和錯誤，直接模擬Y的生成過程，并將影響因素帶來的影響融入到泊松參數μk中。

3.3 模型參數估計

根據學生打分集合Y={{ysi}Ni=1}Ss=1構建關于上述離散泊松混合模型參數μ和α的似然函數為

p（Y|μ，α）=Ss=1 ∑Kk=1αkNi=1 μkiysiysi！g（μki）

其對數似然函數為

ln（p（Y|μ，α））=∑Ss=1ln∑Kk=1αkNi=1 μkiysiysi！g（μki）

需要最大化上述對數似然函數，得到最優的離散泊松混合模型參數μ*和α*，即

μ*，α*=argmaxμ，αln（p（Y|μ，α））

將上述的對數似然函數分別對μ和α的每個分量求偏導，有

ln（p（Y|μ，α））αk=∑Ss=1Ni=1μkiysiysi！g（μki）∑Km=1αkNi=1μmiysiysi！g（μmi）

ln（p（Y|μ，α））μki=∑Ss=1αkj≠iμkjysjysj！g（μkj）×ysiμkiysi-1g（μki）-μkiysig′（μki）ysi！g2（μki）∑Km=1αmNj=1μmjysjysj！g（μmj）

其中：g′（μkj）是函數g（μkj）關于其自變量的導函數，定義為

g′（μkj）=∑9v=1μvkiv！+1

利用梯度下降法，選取μ和α的初值μ0和α0，再利用上述偏導，按照如下方法更新μt和αt的值得到μt+1和αt+1，重復迭代直到收斂。

μt+1ki=μtki+θtln（p（Y|μt，αt））μki

αt+1k=αtk+θtln（p（Y|μt，αt））αk

其中：θt是第t步的更新步長。為了使迭代終止，本文要求θt滿足如下要求：

limt→+∞θt=0， ∑∞t=1θt=∞

本文取θt=1/t。

3.4 泊松成分分析

在3.3節中利用觀測到的部分學生打分情況，對3.2節中提出的離散泊松混合模型的參數進行估計。對于任意一位學生s，其打分為ys，該學生的打分與離散泊松混合模型中第k個成分的關聯度可以由下面似然函數估計。

r（ys，k）=αkNi=1μkiysiysi！g（μki）∑Km=1αmNi=1μmiysiysi！g（μmi）

3.5 教師教學質量分析

得到教學評分的離散泊松混合模型參數估計后，可根據模型對各教學任務進行教學質量的分析。現考慮第i個教學任務的得分yi，可估計p（yi=m|μ，α）如下：

p（yi=m|μ，α）=∑lp（yi=m，l|μ，α）=

∑l ∑Kk=1αk∏Nj=1μyjkjyj！g（μkj）=∑Kk=1αk∑l ∏Nj=1μyjkjyj！g（μkj）=

∑Kk=1αk∑10y1=1…∑10yN=1 ∑Nj=1μyjkjyj！g（μkj）不包含yi剩下的N-1個yi求和=

∑Kk=1αkμyikiyj！g（μki）∑10y1=1μy1k1y1！g（μk1）…∑10yN=1μyjkNyj！g（μkN）不包含yi剩下的N-1個yj求和=

∑Kk=1αkμmkim！g（μki）

其中：yl是（y1，…，yN）去掉變量yi之后的N-1個教學任務的得分，m∈{1，…，10}。按照概率最大對應的得分m作為該教學任務的得分或者取期望，可以得到第i個教學任務的得分估計如下：

y*i=argmaxm p（yi=m|μ，α）

4 實驗結果與分析

本章首先介紹實驗用到的數據集和評價指標，然后在數據集上驗證本文模型在以下兩個方面是有效的：a）它可以按學生的行為模式對他們進行分類；b）它可以準確地預測真實標簽。

4.1 實驗設置

在進行教學評估時，每個學生收到的教學評估調查問卷包含的主要內容如表1所示，包含所上課程的時間、課頭號、課程名稱、課程號、授課教師、評教分數等內容，學生根據在上課時的課程體驗對該課程進行評分，評分取值可從1～10分進行選擇。本文實驗使用的評分數據是由100名學生對50名教師模擬打分產生，首先給每個教師設定一個真實的評分標簽，然后將學生分為三類進行打分：正常打分的學生是根據給定的教師分數標簽進行上下浮動打分，隨機打分的學生在0～10分隨機打分，惡意打分的學生在0～5分惡意打分。

實驗評價包含兩個指標：

a）根據模擬生成數據時的學生類別計算每個學生對于占比最大的泊松分布分量的隸屬度，統計每一個類別學生的隸屬度均值，以正常學生類別為例計算隸屬度均值的方式為

membershipnormal=∑Ss=1r（ys，k）×I（s is normal）∑Ss=1I（s is normal）

其中：r（ys，k）表示學生s對于最大泊松分布分量k的隸屬度；I（·）是一個指示函數，當括號內的條件成立時取值為1，否則取值為0。

b）根據計算得到的泊松分布參數來獲取教師的分數標簽與給定的真實標簽的差異。假設評分數據中包含N名教師，每個教師i的真實標簽為yi，對應預測的教師分數標簽為pi，計算標簽的差異得分為

score=1N∑Ni=11（abs（yi－pi）+1）！

4.2 結果評估

4.2.1 學生分類

為了驗證本文模型對具有不同行為模式的學生進行分類的能力，首先給予每個教師一個隨機生成的分數標簽，然后根據該標簽生成模擬打分數據，在測試評分數據中除了正常評分，還包含隨機評分、惡意評分或者隨機和惡意評分都存在這三種情況下，不同類別打分學生在主要離散泊松成分中的隸屬度的平均期望。假設評分數據中正常評分學生所占比例為α（α取值為0.6～0.8），當剩余評分學生只有隨機評分或者惡意評分時，對應隨機或者惡意評分學生所占比例為1-α，當剩余評分學生包含隨機評分和惡意評分時，對應隨機評分和惡意評分所占比例均為（1-α）/2。為確保實驗的可信度，本文模擬生成多組實驗數據，記錄每次執行的平均期望，并報告多次運行結果的均值和方差（通過結果圖中的陰影區域標識）。

圖1展示了當評分數據包含不同類別打分學生時，各類學生在主要離散泊松成分中的隸屬度結果。從中可以觀察到，主要離散泊松成分中進行正常打分的學生平均隸屬度顯著高于隨機打分和惡意打分的學生，這表明模型對這些學生進行了準確分類。

4.2.2 標簽預測

為了驗證本文模型能夠從評分數據中心分析出學生對于教師的真實評價，首先給予每個教師一個隨機生成的分數標簽，然后根據該標簽生成模擬打分數據，在測試評分數據中除了正常評分，還包含隨機評分、惡意評分或者隨機和惡意評分都存在這三種情況下，本文模型找到的教師評價分數和真實分數標簽的差異，同時也報告了采用多數投票策略和Raykar等人［12］提出的標簽預測算法得到的教師評價分數和真實分數標簽之間的差異作為對比。假設評分數據中正常評分學生所占比例為α（α取值為0.6～0.8），當剩余評分學生只有隨機評分或者惡意評分時，對應隨機或者惡意評分學生所占比例為1-α，當剩余評分學生包含隨機評分和惡意評分時，對應隨機評分和惡意評分所占比例均為（1-α）/2。為確保實驗的可信度，本文模擬生成多組實驗數據，記錄每次執行的平均期望，并報告多次運行結果的均值和方差（通過結果圖中的陰影區域標識）。

圖2展示了當評分數據包含不同類別打分學生時，找到的教師評價分數和真實分數標簽之間的差異得分，可以看出本文模型找到的教師評價分數與兩個對比策略相比具有更高的準確度，背后的原因是在本文模型中，隨機打分的學生或惡意打分的學生被分配到了非主要的離散泊松成分，留下了進行真實打分的學生在主要的離散泊松成分中。

5 結束語

本文提出了一種離散泊松混合模型來模擬學生對于教師教學工作的打分結果，并提出了一種梯度下降的方法用于模型的參數估計。該模型直接模擬打分結果的生成過程，無須在學生打分能力和實例爭議性等影響因素上進行額外的假設或推斷。在實驗結果上證明了本文模型在標簽預測和對不同行為模式的學生進行分類方面的有效性。同以前的教學評價結果評估相比，本文模型具有更高的容錯性，即使存在隨機打分、惡意打分的學生也能夠得到可靠的評估結果，對教師的教學工作有一個準確的反饋，能夠反映教學中的真實情況。

參考文獻：

［1］Wambsganss T，Winkler R，Sllner M， et al. A conversational agent to improve response quality in course evaluations ［C］// Proc of ACM CHI. New York： ACM Press，2020： 1-9.

［2］Kavalchuk A，Goldenberg A，Hussain I. An empirical study of tea-ching qualities of popular computer science and software engineering instructors using ratemyprofessor.com data ［C］// Proc of the 42nd International Conference on Software Engineering： Software Engineering Education and Training. Piscataway，NJ： IEEE Press，2020： 61-70.

［3］Lin Qika，Zhu Yifan，Lu Hao，et al. Improving university faculty evaluations via multi-view knowledge graph［J］. Future Generation Computer Systems，2021，117： 181-192.

［4］Gottipati S，Shankararaman V，Lin J. Latent Dirichlet allocation for textual student feedback analysis ［C］// Proc of the 26th International Conference on Computers in Education. 2018： 220-227.

［5］Unankard S，Nadee W. Topic detection for online course feedback using LDA ［C］// Proc of the 4th International Symposium on Emerging Technologies for Education. Berlin： Springer，2019： 133-142.

［6］Andersson E，Dryden C，Variawa C. Methods of applying machine learning to student feedback through clustering and sentiment analysis ［C］// Proc of Canadian Engineering Education Association. 2018.

［7］Onan A. Mining opinions from instructor evaluation reviews： a deep learning approach［J］. Computer Applications in Engineering Education，2020，28（1）： 117-138.

［8］Mao Yu，Zhu Yifan，Zhang Sifan， et al. Detecting interest-factor influenced abnormal evaluation of teaching via multimodal embedding and priori knowledge based neural network ［C］// Proc of IEEE ISPA/BDCloud/SocialCom/SustainCom.Piscataway，NJ：IEEE Press，2019： 1201-1209.

［9］Bhatti S S，Gao Xiaofeng，Chen Guihai. General framework，opportunities and challenges for crowdsourcing techniques： a comprehensive survey［J］. Journal of Systems and Software，2020，167： 110611.

［10］Tong Yongxin，Zhou Zimu，Zeng Yuxiang， et al. Spatial crowdsour-cing： a survey［J］. The VLDB Journal，2020，29（1）： 217-250.

［11］霍緒艷. 中國眾包發展現狀研究 ［J］. 商情，2011（47）：117-117. （Huo Xuyan. Research on the status quo of crowdsourcing development in China ［J］. ShangQing，2011（47）： 117-117.）

［12］Raykar V C，Yu Shipeng，Zhao Linda， et al. Learning from crowds ［J］. Journal of Machine Learning Research，2010，11（2）： 1297-1322.

［13］Karger D R，Oh S，Shah D. Iterative learning for reliable crowdsour-cing systems ［C］// Proc of the 24th International Conference on Neural Information Processing Systems. Cambridge，MA： MIT Press，2011： 1953-1961.

［14］Liu Qiang，Peng Jian，Ihler A. Variational inference for crowdsourcing ［C］// Proc of the 25th International Conference on Neural Information Processing Systems. Cambridge，MA： MIT Press，2012： 692-700.

［15］Whitehill J，Ruvolo P，Wu Tingfan， et al. Whose vote should count more： optimal integration of labels from labelers of unknown expertise ［C］// Proc of the 22nd International Conference on Neural Information Processing Systems. Cambridge，MA： MIT Press，2009： 2035-2043.

［16］Zhang Jing，Sheng V S，Wu Jian， et al. Improving label quality in crowdsourcing using noise correction ［C］// Proc of the 24th ACM International on Conference on Information and Knowledge Management. New York： ACM Press，2015： 1931-1934.

［17］Zhang Jing，Wu Xindong，Sheng V S. Imbalanced multiple noisy labeling ［J］. IEEE Trans on Knowledge and Data Engineering，2015，27（2）： 489-503.

［18］Yan Yan，Rosales R，Fung G， et al. Modeling multiple annotator expertise in the semi-supervised learning scenario ［C］ //Proc of the 26th Conference on Uncertainty in Artificial Intelligence. Arlington，Virginia： AUAI Press，2010： 674-782.

［19］Kajino H，Tsuboi Y，Kashima H. Clustering crowds ［C］// Proc of the 27th AAAI Conference on Artificial Intelligence. Palo Alto，CA： AAAI Press，2013： 1120-1127.

［20］Zhao Yuxiang，Zhu Qinghua. Evaluation on crowdsourcing research： current status and future direction ［J］. Information Systems Frontiers，2014，16（3）： 417-434.

［21］Wang Wei，Zhou Zhihua. Crowdsourcing label quality： a theoretical analysis ［J］. Science China Information Sciences，2015，58（11）： 1-12.

［22］Welinder P，Branson S，Belongie S， et al. The multidimensional wisdom of crowds ［C］// Proc of the 23rd International Conference on Neural Information Processing Systems. Cambridge，MA： MIT Press，2010： 2424-2432.

［23］Tian Yuandong，Zhu Jun. Learning from crowds in the presence of schools of thought ［C］// Proc of the 18th ACM SIGKDD Internatio-nal Conference on Knowledge Discovery and Data Mining. New York： ACM Press，2012： 226-234.

［24］Ertekin S，Rudin C，Hirsh H. Approximating the crowd ［J］. Data Mining and Knowledge Discovery，2014，28（5-6）： 1189-1221.

［25］Sheng V S，Zhang Jing. Machine learning with crowdsourcing： a brief summary of the past research and future directions ［C］// Proc of the 33rd AAAI Conference on Artificial Intelligence. Palo Alto，CA： AAAI Press，2019： 9837-9843.