高校學(xué)生評(píng)教信息中文本語(yǔ)義因素的挖掘與運(yùn)用研究

張冕 趙晨

摘?要：越來(lái)越多的高校使用學(xué)生對(duì)教師課堂教學(xué)的評(píng)價(jià)來(lái)作為評(píng)判教師課堂教學(xué)質(zhì)量的關(guān)鍵依據(jù)。多數(shù)高校學(xué)生評(píng)教系統(tǒng)中均同時(shí)包括數(shù)值信息的學(xué)生評(píng)分和非數(shù)值信息的學(xué)生評(píng)價(jià)文本，但出于信息收集與計(jì)算的方便，多數(shù)高校僅使用評(píng)分?jǐn)?shù)值計(jì)算評(píng)教結(jié)果，本文使用了共4001條管理學(xué)原理課程的所有學(xué)生評(píng)教文本信息，對(duì)學(xué)生評(píng)教文本信息要素進(jìn)行抽取，通過(guò)評(píng)價(jià)者異質(zhì)性判別，保證所抽取文本語(yǔ)義因素能適用于絕大多數(shù)學(xué)生所發(fā)布的評(píng)教信息，并使用多種方式判斷了所挖掘文本語(yǔ)義因素，對(duì)課堂教學(xué)評(píng)價(jià)歸類(lèi)的預(yù)測(cè)有效性。

關(guān)鍵詞：評(píng)教信息；文本語(yǔ)義因素；機(jī)器學(xué)習(xí)

中圖分類(lèi)號(hào)：G4?????文獻(xiàn)標(biāo)識(shí)碼：A??????doi：10.19311/j.cnki.16723198.2024.03.079

0?引言

目前，基于人才培養(yǎng)在高校中的重要作用，各高校越來(lái)越重視教師課堂教學(xué)質(zhì)量，并且有越來(lái)越多的高校使用學(xué)生對(duì)教師課堂教學(xué)的評(píng)價(jià)來(lái)作為評(píng)判教師課堂教學(xué)質(zhì)量的關(guān)鍵依據(jù)。多數(shù)高校學(xué)生評(píng)教系統(tǒng)中同時(shí)包括數(shù)值信息的學(xué)生評(píng)分和非數(shù)值信息的學(xué)生評(píng)價(jià)文本，但出于信息收集與計(jì)算的方便，多數(shù)高校僅使用評(píng)分?jǐn)?shù)值計(jì)算評(píng)教結(jié)果，這種僅依賴評(píng)教數(shù)值信息的方式會(huì)引發(fā)學(xué)生對(duì)評(píng)分標(biāo)準(zhǔn)理解不一致、學(xué)生評(píng)分隨意性強(qiáng)、評(píng)分區(qū)分度不高、評(píng)分結(jié)果過(guò)于簡(jiǎn)單，導(dǎo)致教師不愿接受、難以反饋和持續(xù)改進(jìn)等問(wèn)題。

基于上述背景，本文希望挖掘?qū)W生評(píng)教中評(píng)價(jià)文本的語(yǔ)義信息，與評(píng)教中的數(shù)值評(píng)分共同作用，更全面、有效的利用學(xué)生評(píng)教中的各類(lèi)信息，形成更為科學(xué)、系統(tǒng)的評(píng)教結(jié)果，并提升師生雙方對(duì)評(píng)教過(guò)程與評(píng)教結(jié)果的重視程度與認(rèn)可程度，推動(dòng)教師結(jié)合評(píng)教信息進(jìn)行課堂教學(xué)的改進(jìn)，持續(xù)推動(dòng)課堂教學(xué)質(zhì)量和學(xué)生培養(yǎng)質(zhì)量的提升。

1?文獻(xiàn)綜述

目前與本文相關(guān)的國(guó)內(nèi)外已有研究，包括學(xué)生評(píng)教的意義和作用、學(xué)生評(píng)教的問(wèn)題和優(yōu)化策略，及文本語(yǔ)義信息的挖掘運(yùn)用等方面。

別敦榮（2017）強(qiáng)調(diào)學(xué)生評(píng)教是高校教學(xué)質(zhì)量保障的一項(xiàng)根本制度，它的建立使學(xué)生擁有了表達(dá)教學(xué)意愿的常規(guī)渠道，有助于高校樹(shù)立服務(wù)學(xué)生的辦學(xué)宗旨；陳佑清（2016）認(rèn)為通過(guò)學(xué)生對(duì)課堂教學(xué)質(zhì)量的評(píng)判可以系統(tǒng)地促進(jìn)教學(xué)改進(jìn)，成為高校內(nèi)部教學(xué)質(zhì)量保障體系的重要環(huán)節(jié)。但目前在學(xué)生評(píng)教的實(shí)施過(guò)程中也出現(xiàn)了一些問(wèn)題，例如江利（2020）從評(píng)教的功能定位、評(píng)教的指標(biāo)體系、學(xué)生完成評(píng)教的意愿和態(tài)度、評(píng)教結(jié)果的反饋與運(yùn)用等方面剖析了當(dāng)前評(píng)教中的突出問(wèn)題。

在信息管理的研究中，信息可以被分為數(shù)值信息與非數(shù)值信息兩類(lèi)，Liberti（2019）認(rèn)為數(shù)值信息收集過(guò)程簡(jiǎn)單、便于理解，但表達(dá)內(nèi)容單一，非數(shù)值信息雖然難以收集，且需要置于特定的情境中理解，但能表達(dá)更豐富的內(nèi)容，二者需要結(jié)合使用。

2?研究方法與研究過(guò)程

鑒于本文的研究目的和研究對(duì)象，本文采用信息管理和機(jī)器學(xué)習(xí)中的文本語(yǔ)義因素挖掘、分類(lèi)、預(yù)測(cè)的設(shè)計(jì)方法來(lái)完成，具體包括以下3個(gè)步驟：

首先，采用人工初始設(shè)定與機(jī)器關(guān)聯(lián)學(xué)習(xí)結(jié)合的方式挖掘?qū)W生評(píng)教信息中的文本語(yǔ)義因素，形成正向因素詞典與負(fù)向因素詞典。項(xiàng)目組將首先結(jié)合權(quán)威的正向與負(fù)向情感詞典內(nèi)容與課堂教學(xué)的特征，人工設(shè)定評(píng)教文本中正向與負(fù)向的典型詞匯各20個(gè)，例如，將“精彩、收獲、滿意”等作為典型正向詞匯；將“糟糕、無(wú)聊、不負(fù)責(zé)”等作為典型負(fù)向詞匯。之后，收集之前的大量已有學(xué)生評(píng)教文本信息，通過(guò)機(jī)器學(xué)習(xí)形成評(píng)語(yǔ)中出現(xiàn)的其他詞匯與初始正負(fù)向詞典的相關(guān)度矩陣，在給定相似性閾值θ時(shí)，當(dāng)某一詞匯與初始正負(fù)向詞典的相關(guān)度超過(guò)閾值時(shí)即添加該詞進(jìn)入相應(yīng)詞典，形成完整的最終正向評(píng)教文本詞典與負(fù)向評(píng)教文本詞典。令初始詞典為KV，其中的初識(shí)詞匯為wi，詞匯相關(guān)矩陣為DTM，新添加詞匯為sck，則機(jī)器學(xué)習(xí)的基本程序?yàn)椋?/p>

其次，本文將對(duì)于抽取出的文本語(yǔ)義因素進(jìn)行評(píng)價(jià)者異質(zhì)性的判別，以求保證不同學(xué)生給出的評(píng)教文本中，同一詞組卻導(dǎo)致了不同文本語(yǔ)義關(guān)聯(lián)的情況不會(huì)顯著出現(xiàn)。

最后，本文將使用不同的預(yù)測(cè)模型，使用挖掘出的評(píng)教文本信息判別一個(gè)特定學(xué)生對(duì)教師課堂評(píng)價(jià)屬于“好的”或是“不好的”。

本文研究的數(shù)據(jù)使用了我校近2學(xué)期，即2022—2023學(xué)年的兩個(gè)學(xué)期中，管理學(xué)原理課程的所有學(xué)生評(píng)教文本信息，共4001條。使用上述方法完成文本語(yǔ)義因素評(píng)教的結(jié)果會(huì)將每一個(gè)學(xué)生對(duì)于管理學(xué)任課教師的課堂教學(xué)評(píng)價(jià)歸類(lèi)為“好的”或是“不好的”兩類(lèi)之一，并以特定教學(xué)班中教學(xué)評(píng)價(jià)歸類(lèi)為“好的”比例作為課堂教學(xué)評(píng)價(jià)的輔助標(biāo)準(zhǔn)。

3?研究結(jié)果

3.1?文本語(yǔ)義因素的抽取

在使用本文第三部分描述的文本語(yǔ)義因素抽取過(guò)程對(duì)實(shí)際管理學(xué)原理課程學(xué)生評(píng)教文本信息進(jìn)行抽取后，使用R程序中推薦的標(biāo)準(zhǔn)數(shù)值，將與初始設(shè)定詞語(yǔ)相關(guān)聯(lián)的其他詞語(yǔ)進(jìn)入文本語(yǔ)義因素庫(kù)的閾值PMI（wi，wj）=log2P（wiwj）P（wi）P（wj）設(shè)定等于8，最終尋找到87個(gè)詞語(yǔ)構(gòu)成文本語(yǔ)義因素庫(kù)。

3.2?評(píng)價(jià)者異質(zhì)性判別

為了保證所抽取文本語(yǔ)義因素能適用于絕大多數(shù)學(xué)生所發(fā)布的評(píng)教信息，必須保證對(duì)于不同的評(píng)價(jià)者，即學(xué)生，可能使用的詞語(yǔ)沒(méi)有顯著的區(qū)別，因此，進(jìn)行評(píng)價(jià)者異質(zhì)性的判別。

由于參與管理學(xué)原理課程學(xué)習(xí)與評(píng)教的均為我校大一學(xué)生，年齡上并無(wú)區(qū)別，不需要對(duì)評(píng)價(jià)者的年齡異質(zhì)性進(jìn)行評(píng)判。本文對(duì)于另外兩方面的評(píng)價(jià)者異質(zhì)性進(jìn)行的判別，一是性別，即男性或女性；二是課程學(xué)習(xí)情況，即期末考試合格或不合格，將這兩部分的子樣本分別進(jìn)行文本語(yǔ)義因素抽取并進(jìn)行對(duì)比，發(fā)現(xiàn)不同性別的評(píng)價(jià)者有84個(gè)詞語(yǔ)有重合，不同課程學(xué)習(xí)情況的評(píng)價(jià)者有85個(gè)詞語(yǔ)有重合，顯示了不存在明顯的評(píng)價(jià)者異質(zhì)性問(wèn)題。

3.3?文本語(yǔ)義因素評(píng)教預(yù)測(cè)

最后，本文使用實(shí)際數(shù)據(jù)，以所抽取的文本語(yǔ)義因素庫(kù)對(duì)于教師課堂教學(xué)進(jìn)行預(yù)測(cè)，并歸類(lèi)為“好的”或是“不好的”兩類(lèi)之一。由于之前缺乏評(píng)教信息中的文本語(yǔ)義因素對(duì)評(píng)教結(jié)果影響的相關(guān)研究，因此本文分別使用線性預(yù)測(cè)模型與非線性預(yù)測(cè)模型來(lái)預(yù)測(cè)。在線性預(yù)測(cè)模型中，選擇了較常使用的Logistic回歸和Lasso回歸；在非線性預(yù)測(cè)模型中，選擇了較常使用的隨機(jī)森林（Random?Forest）和極端梯度增強(qiáng)（eXtreme?Gradient?Boosting）方式。分別進(jìn)行回歸后，其預(yù)測(cè)顯著性如表1所示。

4?結(jié)論

本文使用了共4001條管理學(xué)原理課程的所有學(xué)生評(píng)教文本信息，對(duì)學(xué)生評(píng)教文本信息要素進(jìn)行抽取，通過(guò)評(píng)價(jià)者異質(zhì)性判別保證所抽取文本語(yǔ)義因素能適用于絕大多數(shù)學(xué)生所發(fā)布的評(píng)教信息，并使用多種方式判斷了所挖掘文本語(yǔ)義因素對(duì)課堂教學(xué)評(píng)價(jià)歸類(lèi)的預(yù)測(cè)有效性。但在獲取上述結(jié)論的同時(shí)，本文對(duì)評(píng)教文本信息的挖掘過(guò)程是否能推廣到其他課程中還有待進(jìn)一步驗(yàn)證，并且將通過(guò)文本信息作出的課堂分類(lèi)結(jié)果如何與傳統(tǒng)的評(píng)分結(jié)果進(jìn)行綜合，是很值得進(jìn)一步探索的問(wèn)題。

參考文獻(xiàn)

[1]趙平，鄔鵬.利益相關(guān)者視角下大數(shù)據(jù)技術(shù)驅(qū)動(dòng)高校學(xué)生評(píng)教改革研究[J].上海教育評(píng)估研究，2020，9（06）.

[2]江利.高校學(xué)生評(píng)教制度問(wèn)題剖析及優(yōu)化策略研究[J].教育教學(xué)論壇，2020（35）：1214.

[3]別敦榮.論“雙一流”建設(shè)[J].中國(guó)高教研究，2017（11）：717.

[4]陳佑清.“學(xué)習(xí)中心課堂”教學(xué)過(guò)程組織的邏輯及其實(shí)現(xiàn)策略[J].全球教育展望，2016，45（10）：4047.

[5]Liberti?J?M，Petersen?M?A.Information：?Hard?and?soft.The?Review?of?Corporate?Finance?Studies，2019，8（1）：141.