基于學習者評價文本挖掘的在線課程質量提升研究

■劉各巧，陸海峰，金莉蘋

（1.四川廣播電視大學工程技術學院，四川成都 610021；2.國家開放大學教育信息管理與信息系統研究中心，四川 成都 610021）

在知識開放共享的時代背景下，大量在線學習平臺不斷涌現。豐富的學習資源、開放的平臺以及不受時空限制的學習模式吸引了大量學習者參與在線學習，與此同時，平臺中積累了大量的學習行為數據。學習分析專家George Siemens教授[1]指出，對教學過程中的行為進行分析加速了教育數據挖掘和學習分析兩個重要分支的發展，其中學習分析旨在理解學習者的學習行為和心理特征。學習行為是學習分析的主要研究對象。在線學習分析不僅應當關注顯性學習行為，如瀏覽、做作業和考試等，還需關注一些隱形學習行為，如對課程的評論和論壇中的討論等。學習平臺中存儲的隱性學習行為極具價值，但在大多數研究中這些隱形學習行為數據往往被忽略，沒有得到更好的利用。隨著大規模開放在線課程的蓬勃發展，在線教育已從課程資源積累期逐步進入課程質量提升期，這種變化使得針對在線課程質量的評價數據受到重視。此外，這些評價數據中蘊含了學習者的情感痕跡，可以為教學決策、平臺建設、資源開發提供重要參考，因而受到研究者的重視。

為了能夠更好地獲取在線學習平臺中課程評價數據所蘊含的價值信息，本文通過依存句法分析和模板匹配方式抽取出課程評價數據中的評價觀點和期望觀點，隨后采用基于情感詞典方式識別評價觀點的情感傾向，進而從課程、授課教師、授課方式、學習感悟以及在線教學平臺等5個評價維度對學習者的評價和期望進行分析，以期對在線課程的質量提升提供參考。

一、在線教育背景下的文本挖掘

近年來，學習者在線文本交互中的情感和主題檢測日益受到關注。目前，已有部分針對在線學習平臺中文本內容進行分析研究，例如，開放大學Ferguson等人[2]構建一套基于標注特征的訓練模型來自動化探究話語的類型，完成對論壇中話語的二元分類；馬里蘭大學Ramesh等人[3]提出了一種基于種子詞的話題模型方法來挖掘MOOC平臺中學習者的話語內容，旨在幫助預測其課程通過率；卡耐基梅隆大學的Wen等人[4]通過分析Coursera平臺中的討論帖，采用情感分析技術來監測學習集體在課程中的情感演化趨勢，并發現其情感比率與退課率有顯著的關聯；Wyner等人[5]在在線異步討論論壇上開展了問答情緒分析，提出了在討論一定教學主題引起對話中產生的五種情緒類別，如緊張、挫折、高確定性、低確定性和禮貌等對話中產生的五種情緒類別，以量化學習效果；Munezero等人[6]采用八種情緒分類對在線學習日記進行情緒識別，以跟蹤學生的情緒狀態；Tian等人[7]提出了電子學習環境下交互式中文文本的情感識別框架。該框架可以提取互動對話中的主題，識別學習者的情感狀態。

總體來看，上述文獻大多數主要是針對某一門課程、某一專業或某一類話題等進行觀點分類和情感識別，這會導致算法應用及數據的分析具有一定局限性。本文將從當前國內外最流行的且具有完善學習者評價體系的MOOC平臺上采集2000余門課程的21萬余條評價數據，并對其進行觀點（正反面）抽取和情感分析，同時開創性地對評價數據中學習者的期望觀點進行挖掘，旨在充分地了解學習者的實際需求和期望，從學習者視角來對課程建設、教學模式改革以及平臺功能優化等方面提出意見和建議。

二、研究方法與過程

本文所述的研究框架如圖1所示，研究過程包括評價數據采集及預處理、評價數據分詞及詞性識別、評價數據依存句法分析、評價觀點和期望觀點抽取、評價情感識別等5個步驟。

圖1 課程評價數據的觀點抽取和情感識別框架

（一）評價數據采集及預處理

本文的課程評價數據來源于中國大學MOOC(慕課)（https://www.icourse163.org/） 和 Coursera（www.coursera.org）兩個平臺上2474門課程的共計21萬條課程評價數據，具體數據概況如表1所示。使用自行編寫的爬蟲程序從中國大學MOOC平臺和Coursera平臺上采集課程評價數據，數據項包括平臺名稱、課程ID、課程名稱、評論文本、用戶名等。在采集過程中去除一些不相關的信息和重復的樣本，對評價數據進行預處理操作。

表1 評價數據概況

（二）評價數據分詞及詞性識別

本文使用的分詞及詞性工具是HanLP[8]，HanLP是一系列模型與算法組成的NLP工具包，提供詞法分析（中文分詞、詞性標注、命名實體識別）、句法分析等功能。但在進行分詞及詞性識別過程中，發現通用的分詞算法對于本領域內的一些專業詞匯不能做很好的區分，如表2中展示的例句“內容很好，但希望授課方式可以再生動流暢一些。PPT有些欠條理，如果能總結知識點，并且提供下載就更好了”。其中“欠條理”“如果能”“就更好了”可以看作一個詞語，“欠條理”可以看作是一個用來修飾PPT的形容詞，“如果能”“就更好了”可以視為期望詞（將在后續作詳細介紹）。為了解決該問題，我們整理出一份行業詞典，并將其作為自定義詞典加載至分詞算法中，對分詞算法進行優化。經驗證，采用該方法的分詞結果更為準確。

表2 評價語句的分詞及詞性分析示例

（三）評價數據依存句法分析

依存句法是由法國語言學家L.Tesniere最先提出[8]，其主要是將句子分析成一棵依存句法樹，描述出各個詞語之間的依存關系。基于前序步驟，本文將使用依存句法分析算法確定評價數據的語法體系，然后推導出句法結構，分析評價語句中所包含的句法單位及之間的關系。例如，“內容很好，但希望授課方式可以再生動流暢一些。PPT有些欠條理，如果能總結知識點，并且提供下載就更好了。”的依存句法分析結構如表3所示，在表3中依存關系表示當前詞語和關系id對應的詞語之間的句法關聯關系，其中核心關系表示該詞是整個句子的核心，它的關系詞語id是0，是整個依存句法樹的根。句子中其他詞語直接或者間接與核心詞語存在關聯關系。比如id=1的“內容”這個詞語和id=2詞語“很好”之間存在一種主謂關系的依存關系，其中名詞性詞語“內容”作為主語是評價的對象，形容詞性詞語“很好”作為謂語是評價的情感特征。

表3 評價語句的依存句法分析示例

從語言學的角度來看，評價對象與其對應的評價情感特征之間滿足一定的依存關系。基于此，我們在采集的評價數據集上通過統計詞語的詞性和依存關系出現的頻率，選取出現頻率較高的規則來建立評論觀點抽取規則，形成依存匹配規則庫，如表4為部分評論觀點抽取規則。為了提高規則的適用度，在選取依存匹配規則時，需考慮選擇名詞性詞語或代詞作為評價對象，形容詞、副詞、動詞以及情感詞典作為評價情感詞。

（四）評價觀點和期望觀點的抽取

評價數據不僅僅包括對課程、授課教師及授課方式等進行客觀評價，同時學習者還會根據自身需求提出主觀期望。為能夠更好地抽取評價數據中的評價觀點和期望觀點并識別情感，基于第三步驟基礎上，通過將依存匹配規則抽取出評價觀點的直接關系詞，與期望詞典中的詞語進行比對判定當前的觀點屬于評價觀點還是期望觀點，為此根據課程評價的數據特征手工整理了一份期望詞典，如表5所示。基于此，本文中的評論觀點將使用<評價對象，情感特征>二元組表示，其中評價對象為評論觀點的評價維度，如課程、授課教師、授課方式以及在線教學平臺等，情感特征為對評價對象發表的觀點或情感表達。但僅僅將情感特征抽取出來往往還不夠完善，缺乏情感傾向分析，我們將在第五步評價情感識別中補充情感的程度修飾詞和否定修飾詞，完善觀點的情感特征，并計算情感極性。

（五）評價情感識別

本步驟主要工作是基于第四步抽取出的評價對象和情感特征基礎上識別出評價數據中情感特征的情感傾向。為了準確描述評價的情感特征，用定義<情感特征，否定修飾詞>程度修飾詞三元組來表示一個情感特征。

首先，提取情感三元組。在實際語言表述中，情感表述往往會搭配一些副詞來修飾。比如：“不”“很”“非常”“有一點”等，這種修飾詞語可以分為兩類：一類是程度修飾，如表6中展示的“非常”“有些”等，這類修飾詞會增強或者減弱被修飾詞所表達的情感特征，而不會完全改變被修飾詞的情感極性。另一類是否定修飾，如表6中展示的“不”“非”等，這類修飾詞會將被修飾詞所表達的情感特征置反。我們將使用依存句法分析的方式來提取評價數據中表達情感傾向特征詞的否定修飾詞和程度修飾詞，即在依存句法樹上提取出與情感特征詞有直接關系的否定修飾詞和程度修飾詞。為了解決程度修飾詞和否定修飾詞互相修飾的情況，再遞歸查找提取出的與程度修飾詞和否定修飾詞還有直接關系的否定修飾詞和程度修飾詞。

表4 依存匹配規則庫部分規則表

表5 期望詞典

表6 部分常用情感特征修飾詞表

其次，確定情感傾向的極性（正評價、負評價和中性評價）。我們采用基于情感詞語詞典的方法計算評價情感特征詞語的情感極性，參考知網Hownet[9]的情感詞語極性表對評論數據集中抽取出的評價情感詞語進行極性的設置，如果評價情感詞語不存在情感詞語詞典中，則通過計算該詞語與詞典中詞語的相似度判斷它的極性。具體的做法是引入Word2vec詞向量模型[10]，Word2vec是2013年Google開發的一款用于詞向量計算的工具，可以很好地度量詞與詞之間的相似性。我們在通用文本數據集和本文所使用的評價數據集上訓練了Word2vec。對于不存在情感詞語詞典中的情感詞極性的計算，采用已訓練的Word2vec模型獲取情感特征詞語的稠密向量表示，并計算該向量與情感詞典中詞語向量表示最相似的5個情感特征詞語，統計排名前五個的詞語極性，采取投票機制確定該詞的最終極性。

最后，結合上述步驟獲取的程度修飾詞、否定修飾詞及情感詞極性共同確定情感特征的情感傾向。

三、實驗結果和分析

本文采用“數據采集—分詞及詞性識別—依存句法分析—評價觀點及期望抽取—評價情感識別”的技術路線對21萬條課程評價數據進行觀點抽取及情感識別，將抽取出的觀點分為評價觀點和期望觀點，其中評價觀點172種81277條，期望觀點56種1289條。下面將對這兩種觀點分別進行分析：

（一）學習者評價觀點分析

圖2 評價維度類別占比

圖3 正面評價觀點

圖4 負面評價觀點

學習者的課程評價是反映在線課程質量的一種重要途徑，與通過問卷調查獲悉教學質量不同，學習者評價和反饋是以非結構化文本數據的形式嵌入到課程評論區中，這無疑增加了數據處理的難度。本研究采取基于依存句法分析和模板匹配方式，將蘊含在課程評論中學習者對課程內容、授課教師、授課方式以及在線學習平臺等方面真實的評價觀點抽取出來，并識別出觀點的情感極性。根據評價維度的主題方向，將評價維度分為對授課教師、課程、教學方式、在線教學平臺、學習感悟等五個方面。如圖2所示，學習者的評價觀點中對課程內容的評價占比最高，達到54.55%，排名第二的學習感悟類占比為38.03%，對授課教師、授課方式、教學平臺的評價占比較少，分別為4.74%、2.39%、0.29%。學習者在評論課程時更聚焦于課程的內容、設計及質量，同時也有大量的學習者在課程評論中表達自己的學習感悟，這些感悟絕大多數體現在課程的實用性以及對工作、生活能有所幫助。對感悟類頻度較高的評價觀點進行課程評論追溯后，發現這些課程大多都是集中于生活、健康、工作，比如“心理急救”“運動科學”“斯坦福食品與健康導論”等，這從側面說明了新時代快節奏的工作壓力下，學習者更加注重生活和健康。從對教師及授課方式的整體評價來看，學習者更偏好教師思路清晰、課程內容講解詳細、授課方式生動有趣的教學模式，同時課程若能夠提供視頻、教學實踐或項目會更好，這有利于學習者課后查漏補缺，完善知識框架。

在評價觀點的情感極性方面，正面評價的占比達到95.25%，如圖3所示，其中課程類評價占比最高，這說明大部分學習者對課程內容、設計以及授課方式感到滿意，同時也說明了中國大學MOOC和Coursera平臺上的課程絕大多數都是優質的，這離不開知名教育機構的參與，更離不開課程教師對課程結構的精心設計、對課程資源的不斷豐富完善以及生動有趣的授課方式等。但仍有4.75%的負面評價觀點，如圖4所示，這些負面觀點主要是因為課程有錯誤、沒有解釋及課程無趣等引發的。為了更好地了解產生錯誤的原因，追溯課程評論后發現課程存在的錯誤主要分布在案例、課件（PPT）、測驗、練習及習題等；課程沒有解釋評論主要集中在計算機、數學類課程中，比如“掌握Excel中的數據分析”“大數據建模與管理系統”等，具體體現為代碼沒有注釋、關鍵概念沒解釋、關鍵操作步驟沒解釋、推導過程沒解釋等；課程無聊及浪費時間主要體現在課程內容設計不符合學習者現實需求、課程內容粗糙、平臺在處理用戶撤銷購買課程不及時導致收費、反饋的問題沒能得到解決以及課程的任務結構設置不合理等問題。相對于正面的評價，負面評價更能幫助授課教師、平臺管理者及時掌握學習者的學習狀況、對課程的滿意度以及對平臺的訴求等，與此同時做出適當調整。

（二）學習者期望觀點分析

通過對圖5中展示的期望觀點及頻度進行分析，期望觀點主要聚焦于課程學習支持、課程內容及設計、授課方式及交流互動等方面。關于課程學習支持的總體期望方面，較多學習者提出了期望課程有幫助和可以獲得知識，追溯到原始評價中發現，這類期望大部分是在課程新開設不久或學習者剛學課程不久發表的占居多。一方面可能是學習者對課程整體內容設計不夠了解，另一方面學習者從自身現實需求出發，對后續課程內容表達學習期望。同時，也提醒了授課教師應注重課程目錄的建設和提前公布，讓學習者在選擇課程時能更清晰地了解到課程的內容和所包含的知識，減少選擇課程時的迷茫。

1.關于課程內容及設計方面，學習者期望課程涵蓋基礎知識，授課教師能對必要的概念進行解釋，同時能夠豐富課程內容，對于一些常規課程或實踐操作類課程能夠設計得更具有挑戰性。這無疑對授課教師提出了更高的要求，教師在進行課程內容設計時需多注意突出課程的新穎、實用、有趣等，讓學習者保持放松狀態就能高效地獲取知識。部分學習者期望課程能夠提供資源下載的功能，包含課程視頻、課件（PPT）、作業及習題等下載。平臺管理者在滿足學習者下載功能需求時，還應該注意保護課程制作者的知識產權，促進在線教學平臺健康持續的發展。

圖5 期望觀點

2.關于授課方式方面，少部分學生提出期望授課教師能夠總結知識點、課程內容講得仔細和具體些、講課速度快一些，這些需求的提出主要是因為每位學習者在知識儲備、理解能力等方面存在個體差異而導致的，這也是“因材施教”在線上教學的一個具體體現。

3.關于互動交流方面，學習者期望平臺能提供作業點評、字幕以及彈幕等功能，這些功能的核心在于互動交流，包括學習者與學習者、學習者與教師之間的交流。課程字幕功能可以解決學習者在學習過程中因教師口音差異、語言差異而導致學習中斷的問題，輔助學習者更清楚了解課程內容；同時還有助于課程的跨語種推廣，擴大課程的覆蓋面。彈幕是指直接顯現在視頻上的評論性字幕，以滾動、停留甚至更多動作特效方式在視頻上呈現，是視頻觀看者發送的簡短評論，是近年來一種新興的視頻觀看體驗。部分學習者期望課程能增加彈幕的功能，一方面將有助于學習者之間的溝通交流，另一方面還可以增加學習的樂趣。但過多的字幕可能會干擾學習者的學習進度和效果，同時彈幕是由學習者自主發表的，這會導致彈幕質量參差不齊，因此還需要平臺管理者能積極地引導學習者發表正面向上的彈幕，為在線教學建立和諧的學習環境。