自然語(yǔ)言處理在大學(xué)生評(píng)教中的適用性研究

馮 宇，肖源源

（1.貴州師范大學(xué) 教學(xué)質(zhì)量監(jiān)測(cè)與評(píng)估中心，貴州 貴陽(yáng) 550025；2.貴州大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，貴州 貴陽(yáng) 550025）

自然語(yǔ)言處理是利用電子計(jì)算機(jī)對(duì)人類特有的書(shū)面形式和口頭形式自然語(yǔ)言信息進(jìn)行各種類型處理和加工的技術(shù)。這種技術(shù)現(xiàn)在已經(jīng)形成一門專門的邊緣性交叉學(xué)科，它涉及語(yǔ)言學(xué)、數(shù)學(xué)和計(jì)算機(jī)科學(xué)，橫跨文科、理科和工科三大知識(shí)領(lǐng)域[1]。

近年來(lái)，國(guó)家對(duì)人工智能（Artificial Intelligence，AI）相關(guān)技術(shù)在教育領(lǐng)域內(nèi)的相關(guān)研究高度重視。強(qiáng)調(diào)應(yīng)不斷地推進(jìn)AI 在教育各個(gè)領(lǐng)域的應(yīng)用，促進(jìn)現(xiàn)代教育技術(shù)與教育教學(xué)深度融合。[2]在國(guó)家的倡導(dǎo)與推動(dòng)下，自然語(yǔ)言處理在評(píng)教領(lǐng)域的應(yīng)用研究開(kāi)始得到了越來(lái)越多學(xué)者的關(guān)注。

本文查詢了CNKI 數(shù)據(jù)庫(kù)中公開(kāi)發(fā)布的學(xué)術(shù)論文，其結(jié)果表明自然語(yǔ)言處理相關(guān)技術(shù)在評(píng)教領(lǐng)域的研究成果不多。成果主要為情感詞典與神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)與分析，均為技術(shù)層面的探討。檢索非結(jié)構(gòu)化文本數(shù)據(jù)在評(píng)教中可能涉及到的關(guān)鍵字，關(guān)于評(píng)語(yǔ)的有5 篇、情感分析的有31 篇。情感詞典法主要有袁陽(yáng)基于半監(jiān)督集成學(xué)習(xí)的學(xué)生評(píng)教情感進(jìn)行了分類模型有關(guān)研究[3]；張捷則探討了學(xué)生情感分析在課程教學(xué)評(píng)價(jià)中的作用與實(shí)施路徑[4]；機(jī)器學(xué)習(xí)方法方面的研究則有孔凡華的基于模糊綜合評(píng)價(jià)法的中學(xué)學(xué)生評(píng)教模型[5]和張俊飛的基于改進(jìn)樸素貝葉斯算法實(shí)現(xiàn)評(píng)教評(píng)語(yǔ)情感分析[6]。以上研究尚未討論技術(shù)方法層面在評(píng)教理論與應(yīng)用中的適用性問(wèn)題。

自然語(yǔ)言處理作為一種文本量化分析技術(shù)，理論上是可以用于學(xué)生評(píng)教文本數(shù)據(jù)的量化分析的。考慮到評(píng)教構(gòu)成要素與學(xué)生心理行為的復(fù)雜性，自然語(yǔ)言處理作為一種新的技術(shù)要很好地適用于大學(xué)生評(píng)教還需進(jìn)行一定的理論與實(shí)證研究。本文從第四代評(píng)估理論自然語(yǔ)言處理的基本原理入手，結(jié)合具體案例，討論了自然語(yǔ)言處理在評(píng)教領(lǐng)域內(nèi)的理論價(jià)值，旨在分析自然語(yǔ)言處理的文本量化結(jié)果與評(píng)教目的、評(píng)教內(nèi)容、評(píng)教主體客體等維度的契合與適宜程度。

一、自然語(yǔ)言處理基本原理與方法

自然語(yǔ)言處理是基于腦科學(xué)的一種仿生技術(shù)，包含語(yǔ)言解析、語(yǔ)義理解和語(yǔ)言生成，其整體邏輯如圖1 所示。具體用途包括語(yǔ)義分析和語(yǔ)音識(shí)別。

圖1 自然語(yǔ)言系統(tǒng)的整體邏輯[8]

腦科學(xué)認(rèn)為，人類大腦左半球中的布羅卡氏區(qū)和韋尼克氏區(qū)是其運(yùn)動(dòng)語(yǔ)言中樞，功能是使語(yǔ)言映象轉(zhuǎn)變?yōu)檎f(shuō)話所必需的肌肉運(yùn)動(dòng)。布羅卡氏區(qū)負(fù)責(zé)生成語(yǔ)言的形式與結(jié)構(gòu)，即語(yǔ)言的處理與話語(yǔ)的生成；而韋尼克氏區(qū)則負(fù)責(zé)語(yǔ)言的內(nèi)在邏輯與含義，即負(fù)責(zé)語(yǔ)言的解析；另外信息的搜索、推理和決策是由大腦前額葉完成[7]。本文主要討論語(yǔ)義分析部分，側(cè)重于文本內(nèi)容挖掘的詞云和情感分析。

當(dāng)前自然語(yǔ)言處理中涉及語(yǔ)義分析的主要方法有詞云、情感分類、語(yǔ)義網(wǎng)絡(luò)等。其中比較有代表性的是情感分類，方法主要分為情感詞典和機(jī)器學(xué)習(xí)兩類。情感詞典基于分詞引擎對(duì)學(xué)生評(píng)教評(píng)語(yǔ)進(jìn)行切詞，經(jīng)去除停用詞，再匹配正負(fù)面情感詞庫(kù)，來(lái)計(jì)算學(xué)生評(píng)教記錄的正負(fù)面情感強(qiáng)度，亦可將二者相減，得到情感極性；機(jī)器學(xué)習(xí)則通過(guò)標(biāo)注詞性，并在此基礎(chǔ)之上進(jìn)行句法分析，模型上使用較多的有卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)等。以卷積神經(jīng)網(wǎng)絡(luò)為例，可通過(guò)設(shè)定多層的神經(jīng)網(wǎng)絡(luò)，進(jìn)行一系列的卷積池化過(guò)程來(lái)提取最顯著的特征，最后用全連接層來(lái)進(jìn)行情感分類。從相關(guān)文獻(xiàn)所描述的實(shí)際應(yīng)用效果上看，在部署得當(dāng)?shù)臈l件下，兩種方法沒(méi)有明顯的優(yōu)劣之分。

二、自然語(yǔ)言處理在理論層面的適用性

第四代評(píng)價(jià)理論包含響應(yīng)式聚焦和建構(gòu)主義方法論兩大核心思想。對(duì)于評(píng)教而言：一是可通過(guò)響應(yīng)式聚焦（responsive focusing），把學(xué)生的主張、焦慮、爭(zhēng)議等作為組織要素，在多元價(jià)值體系框架內(nèi)，來(lái)提取課堂教學(xué)中存在的不良問(wèn)題或有益經(jīng)驗(yàn)；二是通過(guò)建立一種評(píng)估者和利益相關(guān)者的協(xié)商互動(dòng)模式來(lái)實(shí)施整個(gè)程序[9]。自然語(yǔ)言處理很好地適應(yīng)了評(píng)教理論的現(xiàn)實(shí)要求，可通過(guò)提取評(píng)教文本中的負(fù)面情感極性評(píng)語(yǔ)來(lái)找出問(wèn)題，在反饋渠道暢通的情況下，可通過(guò)積極互動(dòng)，來(lái)達(dá)到優(yōu)化評(píng)教效果的目的。

學(xué)生評(píng)教與專家評(píng)價(jià)、同行評(píng)教以及教師自評(píng)一道共同構(gòu)成了評(píng)教的多元價(jià)值體系，本質(zhì)上是一種對(duì)教師課堂教學(xué)全過(guò)程的情感與心理建構(gòu)。自然語(yǔ)言處理通過(guò)情感分類算法，最終得到的情緒方面內(nèi)容是其重要的組成部分，兩者內(nèi)涵上均體現(xiàn)出高度一致。評(píng)教與情感密切相關(guān)，學(xué)生評(píng)教文本反映的是其對(duì)課堂教學(xué)的主觀認(rèn)識(shí)。自然語(yǔ)言處理得出的量化分析結(jié)果是將文本所蘊(yùn)含的情感強(qiáng)度，情感極性作為新設(shè)變量，與原數(shù)據(jù)集構(gòu)成新的矩陣，所得到的統(tǒng)計(jì)量與情感密切相關(guān)，體現(xiàn)了學(xué)生對(duì)課堂教學(xué)的心理變化。綜上，自然語(yǔ)言處理作為文本量化分析的一種有效方法，與評(píng)教的理論內(nèi)涵、數(shù)據(jù)形式具有很好的一致性，適用于當(dāng)前大規(guī)模的學(xué)生評(píng)教文本量化分析。從而可以實(shí)現(xiàn)方法與理論層面的統(tǒng)一。

三、自然語(yǔ)言處理在實(shí)踐層面的適用性

評(píng)教在當(dāng)前教育教學(xué)實(shí)踐中，作為內(nèi)部質(zhì)量保障體系中的重要環(huán)節(jié)，涉及的利益相關(guān)者主要有學(xué)生、教師、管理者，他們構(gòu)成了評(píng)教在實(shí)踐層面的三個(gè)重要支點(diǎn)。學(xué)生按照行政指令，通過(guò)反思自身的學(xué)習(xí)效果，來(lái)對(duì)課程或者任課教師進(jìn)行評(píng)價(jià)，既滿足其對(duì)課堂教學(xué)情況進(jìn)行傾訴的情感需要，也在一定程度上體現(xiàn)了學(xué)生的滿意程度；教師也需要通過(guò)學(xué)生評(píng)教來(lái)幫助其把握教學(xué)效果，調(diào)適自身的行為，來(lái)進(jìn)一步改進(jìn)教學(xué)；管理者通常站在學(xué)校層面來(lái)思考問(wèn)題，希望評(píng)教能夠幫助其評(píng)價(jià)教師教學(xué)，用于職稱評(píng)定與績(jī)效考核等。因此，自然語(yǔ)言處理要在評(píng)教實(shí)踐層面具備一定的適用性，就必須在一定程度滿足評(píng)教利益相關(guān)者的訴求，符合現(xiàn)實(shí)需要，擁有較好的使用體驗(yàn)，方才具備實(shí)踐層面上的現(xiàn)實(shí)價(jià)值。自然語(yǔ)言處理在評(píng)教中應(yīng)重點(diǎn)服務(wù)以下三個(gè)方面：

1.彰顯學(xué)生評(píng)教主體地位

學(xué)生評(píng)教的積極性不高是評(píng)教飽受質(zhì)疑的一個(gè)重要原因。支撐學(xué)生參與評(píng)教的兩類原因有兩個(gè)：一是行政上的強(qiáng)制。強(qiáng)制措施能夠保證一定的參評(píng)率，但也需看到，特定課堂教學(xué)對(duì)學(xué)生的作用是不可逆的，評(píng)教結(jié)果對(duì)學(xué)生不存在直接影響，也無(wú)法觸及其現(xiàn)實(shí)利益。二是體現(xiàn)學(xué)生權(quán)利。事實(shí)上，各高校評(píng)教結(jié)果普遍沒(méi)有面向?qū)W生進(jìn)行反饋，即便反饋也最多公布任課教師的評(píng)教得分，學(xué)生無(wú)法尋找到自身對(duì)課堂教學(xué)評(píng)價(jià)的歷史痕跡，使得作為評(píng)教主體的學(xué)生存在感不強(qiáng)，彰顯權(quán)利的訴求沒(méi)有得到充分尊重。

2.促進(jìn)教師專業(yè)化發(fā)展

排除個(gè)別學(xué)生的干擾信息，從總體來(lái)把握課堂教學(xué)情況，是任課教師普遍需要的。教師需要從學(xué)生那里得知學(xué)生對(duì)課堂教學(xué)的反饋信息，尤其是涉及情感認(rèn)同的信息。課上的好不好，學(xué)生最有發(fā)言權(quán)。評(píng)教對(duì)于教師來(lái)說(shuō)，最大的一個(gè)難點(diǎn)就是從評(píng)教整體中得出學(xué)生關(guān)注什么內(nèi)容、存在哪些典型問(wèn)題、應(yīng)聚焦哪個(gè)方面予以改進(jìn)。部分課程的情感得分與極性如表1 所示。

表1 部分課程的情感得分與極性

通過(guò)自然語(yǔ)言處理，教師可就學(xué)生評(píng)教中的情感得分來(lái)了解自身的授課水平。將數(shù)據(jù)集中的情感極性做簡(jiǎn)單的篩選，即可提取負(fù)面評(píng)語(yǔ)。部分課程評(píng)語(yǔ)如表2所示。

表2 部分課程評(píng)語(yǔ)對(duì)照表

參照情感極性表，可提取負(fù)面評(píng)語(yǔ)并將其直接反饋給任課教師，供其改進(jìn)教學(xué)方式方法。自然語(yǔ)言處理中的語(yǔ)義網(wǎng)絡(luò)及詞云技術(shù)，能夠從總整體上提取評(píng)教文本特征，給教師提供參考,有利于任課教師有針對(duì)性地改進(jìn)教學(xué)。

3.幫助管理者理順評(píng)教相關(guān)影響因素

管理者普遍關(guān)心的是教學(xué)質(zhì)量好不好，學(xué)生是否滿意等方面內(nèi)容，在制定政策和進(jìn)行決策時(shí)，需要這一類的信息作為參考。自然語(yǔ)言處理能以較低的成本提取所有評(píng)教記錄中的負(fù)面評(píng)價(jià)，改變了以往評(píng)教文本特征提取困難的問(wèn)題，并通過(guò)公開(kāi)發(fā)布評(píng)教結(jié)果，激發(fā)學(xué)生參與評(píng)教的熱情，彰顯學(xué)生評(píng)教的主體地位。譬如可以繪制評(píng)教評(píng)語(yǔ)的詞云。它是按照一定的運(yùn)算模型對(duì)所分析的文本，調(diào)用分詞引擎對(duì)語(yǔ)句進(jìn)行處理，并統(tǒng)計(jì)分詞后各詞出現(xiàn)的頻率，形成詞頻表，如表3 所示。

表3 評(píng)教文本1-10 位關(guān)鍵詞詞頻表

繪制詞云時(shí)，程序根據(jù)各詞出現(xiàn)頻率的大小來(lái)排布結(jié)構(gòu)。頻率越高的詞，將分布在詞云的中心位置，字體也較大，體現(xiàn)了該詞在文本中的重要程度。

圖2 1-50 負(fù)面詞云

圖3 1-50 正面詞云

自然語(yǔ)言處理能夠基于情感因素對(duì)評(píng)教文本進(jìn)行分析，可以輔助管理者了解學(xué)生訴求，進(jìn)而對(duì)教學(xué)質(zhì)量、學(xué)生滿意度做出估計(jì)，為解決教育教學(xué)中現(xiàn)實(shí)存在的問(wèn)題提供依據(jù)。

四、討論建議

基于本文對(duì)大學(xué)生評(píng)教文本的量化分析結(jié)果，可得出以下結(jié)論：一是自然語(yǔ)言處理可有效適用于大學(xué)生評(píng)教文本分析，在大規(guī)模數(shù)據(jù)集中具有優(yōu)勢(shì)；二是自然語(yǔ)言處理對(duì)文本情感因素的提取，較好地符合了第四代評(píng)價(jià)理論的內(nèi)在要求，可把學(xué)生情感作為組織要素，提取課堂教學(xué)中存在的問(wèn)題；三是對(duì)學(xué)生評(píng)價(jià)評(píng)語(yǔ)進(jìn)行自然語(yǔ)言處理，有助于彰顯學(xué)生權(quán)利，輔以面向?qū)W生的結(jié)果反饋，有助于提升學(xué)生評(píng)教的積極性；四是教師、管理者可結(jié)合分析結(jié)果，進(jìn)一步了解學(xué)生的所思所想。

綜合上述問(wèn)題與討論，本文認(rèn)為自然語(yǔ)言處理技術(shù)在學(xué)生開(kāi)放式評(píng)教領(lǐng)域內(nèi)能夠有所作為，但要從根本上解決問(wèn)題，單純依靠技術(shù)效果是有限的，相關(guān)建議如下。

1.廣泛利用自然語(yǔ)言處理等現(xiàn)代化教育技術(shù)，用數(shù)據(jù)說(shuō)話，形成科學(xué)合理的診斷式評(píng)價(jià)機(jī)制

是否具備較強(qiáng)的科學(xué)計(jì)算能力，是衡量高校教育現(xiàn)代化水平的重要方面。其有助于高校從大量的信息稀疏數(shù)據(jù)中提取真正有價(jià)值內(nèi)容。本文認(rèn)為學(xué)生評(píng)語(yǔ)在內(nèi)容維度、情感強(qiáng)度等方面存在“總體無(wú)效，局部有效”的問(wèn)題，其解決方案是通過(guò)現(xiàn)代化的數(shù)據(jù)分析手段從海量的數(shù)據(jù)中找出有價(jià)值的部分并加以分析。實(shí)證結(jié)果表明：真正有高價(jià)值的數(shù)據(jù)只占總評(píng)語(yǔ)記錄的2%，是一個(gè)非常小的比例，但是它所蘊(yùn)含的信息是非常大的，有助于迅速找出問(wèn)題所在并及時(shí)反饋給各利益相關(guān)者，為改進(jìn)暴露出的問(wèn)題提供參考。要認(rèn)識(shí)到評(píng)教是幫助存在缺陷的課程找到問(wèn)題，并通過(guò)不斷地查找問(wèn)題、分析問(wèn)題、解決問(wèn)題、反饋問(wèn)題，來(lái)閉環(huán)教學(xué)質(zhì)量監(jiān)控主要環(huán)節(jié)，最終促進(jìn)教學(xué)質(zhì)量的持續(xù)改進(jìn)。

2.加強(qiáng)管理隊(duì)伍建設(shè)，打造高度專業(yè)化的教學(xué)管理隊(duì)伍

一流的大學(xué)呼喚一流的教學(xué)管理隊(duì)伍。沒(méi)有高度專業(yè)化的教學(xué)管理隊(duì)伍，其教育教學(xué)運(yùn)行與管理狀況將會(huì)是低效且無(wú)能的。新技術(shù)在管理層面的應(yīng)用將極大推動(dòng)高等教育的現(xiàn)代化水平。教育管理有其自身的特殊性，不能簡(jiǎn)單參照企業(yè)管理的思路與標(biāo)準(zhǔn)進(jìn)行實(shí)施。學(xué)生評(píng)教機(jī)制的優(yōu)化關(guān)鍵在高校管理層面。然而管理隊(duì)伍自身的建設(shè)并不樂(lè)觀，據(jù)了解，部分高校將每年新進(jìn)人員的指標(biāo)全部劃撥到教學(xué)一線，以改善師資學(xué)歷結(jié)構(gòu)，管理人員的補(bǔ)充只能從教師隊(duì)伍中補(bǔ)充。這部分人員往往被認(rèn)為不適宜從事教學(xué)工作，就被分流至管理隊(duì)伍中去。且管理隊(duì)伍中因干部個(gè)人發(fā)展需要，人員流失嚴(yán)重，這勢(shì)必會(huì)傷害高校的長(zhǎng)遠(yuǎn)發(fā)展。因此，加大管理隊(duì)伍的人才引進(jìn)，提高待遇與職業(yè)榮譽(yù)已刻不容緩。

3.加強(qiáng)開(kāi)放式評(píng)教的研究，強(qiáng)化信息雙向反饋，并在適當(dāng)?shù)姆秶枰怨?/h3>

開(kāi)放式評(píng)教與封閉式評(píng)教都是評(píng)教工作的重要組成部分，不應(yīng)有所偏廢。尤其是評(píng)語(yǔ)，學(xué)生以敘事、情感表達(dá)等方式，描述了對(duì)課堂教學(xué)的基本看法。它從定性評(píng)價(jià)的角度對(duì)基于指標(biāo)體系的定量評(píng)價(jià)形成了有效的補(bǔ)充。就本文對(duì)學(xué)生評(píng)語(yǔ)的實(shí)證研究經(jīng)驗(yàn)來(lái)看，其中所蘊(yùn)含的教學(xué)能力、師德師風(fēng)、學(xué)習(xí)效果、情感傾向等內(nèi)容，對(duì)指導(dǎo)教師改進(jìn)教學(xué)、促進(jìn)管理者優(yōu)化機(jī)制有著重要的參考價(jià)值。將評(píng)語(yǔ)的相關(guān)內(nèi)容及時(shí)進(jìn)行反饋，有利于強(qiáng)化各利益相關(guān)者對(duì)教學(xué)質(zhì)量的監(jiān)督。缺少結(jié)果反饋的評(píng)教機(jī)制，其課堂教學(xué)質(zhì)量的高低也只能更多地取決于教師的“良心”。很多高校以保護(hù)教師隱私為名，人為阻斷了評(píng)教結(jié)果的雙向反饋，是不利于及時(shí)獲取信息并改進(jìn)教學(xué)的。

4.應(yīng)關(guān)注學(xué)生評(píng)價(jià)的情感因素，集體對(duì)評(píng)教行為和評(píng)教機(jī)制進(jìn)行糾偏

評(píng)教體現(xiàn)出了學(xué)生對(duì)課堂教學(xué)的情感判斷，源于當(dāng)前大學(xué)生特定的心理狀態(tài)，這個(gè)是很難改變的現(xiàn)實(shí)情況。如果學(xué)生普遍具有較高的思想認(rèn)識(shí)和評(píng)教能力，或許能夠做到對(duì)課堂教學(xué)質(zhì)量的客觀評(píng)價(jià)。但是本文認(rèn)為這是一個(gè)短期內(nèi)無(wú)法解決的問(wèn)題，所以評(píng)教所得到的結(jié)果只會(huì)是一個(gè)對(duì)課堂教學(xué)的滿意度評(píng)價(jià)（或許還能通過(guò)技術(shù)手段對(duì)數(shù)據(jù)進(jìn)行處理，提取出能夠反映質(zhì)量的學(xué)生評(píng)價(jià)）。因此各利益相關(guān)者有必要正確認(rèn)識(shí)這一點(diǎn)，將評(píng)教結(jié)果更多地視為指針而非量尺。更多地基于問(wèn)題導(dǎo)向去不斷解決暴露出的問(wèn)題，促使更多人群關(guān)注教學(xué)質(zhì)量，而不僅僅認(rèn)為只是管理者的職責(zé)。這樣才能提高認(rèn)真參與評(píng)教學(xué)生的占比，促成更多學(xué)生進(jìn)行有效的、高價(jià)值的評(píng)價(jià)，提高學(xué)生評(píng)教的信效度。這一狀況改善得越好，評(píng)教工作就越具有公信力，也就越能形成良好的質(zhì)量文化。