張靜 胡朕豪 陳倩倩 韓映雄



[收稿日期] 2021-01-12
[基金項目] 國家社會科學基金“十三五”規劃2018年度教育學重點課題(AFA180012)
[作者簡介] 張靜(1995—),女,四川廣安人。碩士研究生,主要研究方向為高等教育評價。 *[通信作者] 韓映雄(1971—),男,寧夏固原人。博士,教授,博士生導師,主要研究方向為高等教育評價、教育質量管理。
[ 摘 要] 為探究線上“金課”的學習體驗結構,揭示線上“金課”的學習體驗現狀,采用文本分析法對中國大學MOOC平臺的592門線上“金課”的原始評價數據進行挖掘。研究發現,線上“金課”的學習體驗包括“知、情、媒、行”4要素,分別是學習收獲、情感體驗、交互媒介和教學行為。線上“金課”的學習體驗整體較好,這表現在學習者的課程評價平均分較高,且“知”“情”“行”3類學習體驗要素中很少包含消極詞匯,課程評價文本中學習者的情感體驗多數是積極正向的。研究也發現,線上“金課”的交互媒介存在問題,體現在視頻功能不夠、互動功能不足和資源功能不全。
[ 關鍵詞] 慕課;線上“金課”;學習體驗;課程評價
[ 中圖分類號] G642 文獻標識碼] A [文章編號] 1005-4634(2021)03-0048-05
0 引言
線上“金課”即國家精品在線開放課程,教育部自2017年以來已認定并推出2 000余門線上一流課程。這些課程的推出不僅代表我國在線教育的整體水平,也為學習者提供了更多優質的課程資源。有關線上“金課”的研究能夠在一定程度上體現國家級一流本科課程的運行情況。在我國,目前線上“金課”的研究主要集中于建設意義、特點和內容[1],建設現狀、問題和對策[2-5]以及個別課程的案例分析等方面[6],側重于從課程建設的視角看待線上“金課”的價值。但是,學習者作為在線課程的直接受眾,他們是如何評價線上“金課”的呢?基于學習者的視角,這些課程給他們的學習體驗是怎樣的?其學習體驗具體又由哪些要素構成?關注學習者的體驗有助于及時發現線上“金課”運行以來的基本情況和問題,從學習者的角度反映出國家一流課程的建設成效,也是我國高等教育發展到普及化階段的必然要求。
由于大規模在線開放課程跨越時空的特征,學習者很難真實地被接觸到,所以傳統的問卷調查或質性訪談都不太適用。因此,本研究以在線課程學習平臺上積累的海量文本數據為研究資料。首先,利用Python工具獲取中國大學MOOC平臺運行的592門線上“金課”的原始課程評價文本;其次,使用結巴中文分詞、自然語言處理模型Word2Vec和K-Means聚類算法分別對課程評價文本進行分詞、編碼和聚類;最后,通過百度AI開放平臺的情感傾向分析對在線課程的情感體驗進行研究。研究的主要目標是從學習者的角度出發探究線上“金課”的學習體驗結構,揭示線上“金課”的學習體驗現狀,以便真實反映出學習者的感受和看法,同時也為線上“金課”的研究提供新的視角。
1 研究對象與數據來源
1.1 研究對象
本研究以2018年認定的來源于中國大學MOOC平臺的592門線上“金課”為對象。之所以選擇這一平臺,一方面是由于國家認定的大部分線上“金課”都在這一平臺開課。據統計,2018年認定的801門線上“金課”中,來源于中國大學MOOC平臺的有594門,在所有課程中占比74.16%。因此,這些課程很具有代表性和典型性,能夠基本反映國家精品在線開放課程的總體情況;另一方面,線上“金課”分散于10多個開課平臺,不同開課平臺的開放程度和計算規則不完全一致,這對于在線教育數據挖掘有較大影響。此外,在搜集數據時,有2門課程暫時無法查看任何開課信息,故最終本研究的研究對象為中國大學MOOC平臺開課的592門線上“金課”。
1.2 數據來源
對于每門課程,分別統計了“評價者”“原始評價內容”“課程評分”“課程名稱”等數據。數據采集截至時間為2020年4月1日。首先,利用Python將相應網頁的所有課程評價文本內容爬取下來,數據示例如表1所示。其次,對獲取的218 067條評論文本進行數據清洗,剔除無效文本評論和完全重復的評論,得到有效評價文本共計183 048條,平均每門課程有309條有效評價文本。
表1 課程評價數據示例
評價者原始評價內容課程評分課程名稱
01“挺好的,主要內容有到位,預習
復習起來都可以借鑒。”4《現代儀器分析》
02“了解了網絡和電腦相關知識,超棒!”5《計算機網絡》
03“對慕課的開設更支持,感覺慕課是一個有時代意義的教學方式。”5《慕課問道》
04“課程截止時間不合理。”4《職場英語》
05“這剪輯有問題吧,圖片不出來,不知道老師在說什么啊。”1《運籌學》
2 數據分析
2.1 課程評分情況
對每門課程的評分情況進行統計,得到所有592門課程評價的平均得分為4.7分(總分為5分)。這表明,線上“金課”的整體學習體驗評分較好。
但是,并非所有的選課者都參與了課程評價。統計表明,約3.7%的人參與課程評價,即27位選課者中僅有1人進行課程評價,說明參與課程評價的人數比例很小。另一方面,并非所有的選課者都參與了全部課程學習,大多數學習者因被課程名稱吸引,或出于專業學習需要而選課,在瀏覽課程視頻后發現課程并不適合自己,難以堅持學習,故中途“輟學”。這類學習者的課程參與較少,不進行課程評價也有其合理性。此外,每門課程的評價文本數量存在較大差異。課程評價文本數量的范圍在0~10 983之間,評分人數最多的3門課程分別是《形勢與政策》(甘玲)、《形勢與政策》(胡寶國)和《教師如何做研究》(汪瓊),這3門課程的評價文本從高到低分別為10 983條、6 020條和5 564條,共計22 567條,占據所有課程評價的12.3%。
2.2 課程評價詞頻分析
在自然語言處理中,分詞是處理非結構化文本的首要任務。結巴分詞作為一款專業的中文分詞軟件,對于中文處理十分有效,能夠將句子精確地切分開來。研究先將評論文本數據導入Python軟件,調用Python語言工具包Jieba對文本進行分詞處理。經過分詞并對所有詞匯進行詞頻統計,最終得到了37 326個不同的詞匯。然后提取詞頻數排名前200的詞匯列表,表2僅顯示詞頻排名前20的詞匯。結果表明,評價文本中出現次數在5 000以上的詞匯分別是:老師、課程、學習、非常、很多、知識、講解、內容、不錯、學到、了解、講授、收獲、感覺、很棒、課堂、挺好、豐富、很好、很棒、更加、受益匪淺、幫助、喜歡、講課、內容、很大、詳細等28個詞匯。這些高頻關鍵詞表明,線上“金課”的學習者在進行課程評價時最關注的是教師對于課程內容的講授情況,以及自己學習到了什么知識,有怎樣的收獲。
2.3 課程評價詞匯聚類分析
詞頻分析結果呈現了課程評價文本的整體狀況,但對于評價文本所能反映出的深層意義則難以體現,如這些詞匯是否能夠歸為某一特定的類別?能否凸顯線上“金課”的學習體驗構成要素?為深入探究課程評價文本蘊含的學習者在線學習體驗的結構,本研究進一步對課程評價詞匯進行了聚類分析。
聚類是數據挖掘中的一種重要分析方法。該算法首先隨機選取k個初始聚類中心,按最小距離原則將每個樣本分配到k類中的某一類。之后不斷迭代以計算類別中心。然后調整各樣本的類別,最終使每一樣本到其所屬類別中心距離的平方之和最小[7]。這一算法的優點是處理速度快、效率高,適合處理大規模的數值型數據[8]。由于課程評價詞匯量太大,采取傳統的獨熱編碼(One-Hot Encoding)方式來表示詞向量會消耗大量的時間與資源,且One-Hot編碼中所有詞向量彼此互不相關,不能體現詞語之間的相似關系。米科洛夫(Mikolov)等提出語言處理模型Word2Vec并利用該模型將單詞轉化為向量來表示進而挖掘詞匯之間的關聯[8]。本研究采取Word2Vec處理模型,將詞匯映射到100維的向量空間,向量空間上的相似度可以用來表示文本語義上的相似度。
根據聚類的效果,所有評論詞匯可劃分為4類,如表3所示。第一類的高頻關鍵詞為很棒、喜歡、感謝、強烈推薦、超級、優秀、有意思等,這些詞匯為學習者表達對課程學習的總體感受和情感體驗,可以定義為情感體驗;第二類的高頻關鍵詞為教師、課程、講解、豐富、內容、授課、清晰、理解、視頻、學生、教學、實用等,這些詞匯基本是學生對教師的授課風格、授課水平、課程內容和課程組織的評價,可歸納為教學行為;第三類的高頻關鍵詞有學習、很多、知識、學到、了解、收獲、幫助、受益、有用、認識、提高、基礎、方法、啟發、思維等,這些詞匯表示學生學習課程后在各方面的收獲與提升,可以定義為學習收獲;第四類的高頻關鍵詞是平臺、錯誤、下載、慢、發音、有待、改進、重復、無法等,這些詞語大多是形容學習平臺的問題,可以定義為交互媒介。根據詞匯總數可知,“教學行為”這一類別的詞匯最多,共計470 854個,
2.4 情感傾向分析
研究根據實際需求調用百度自然語言處理技術中的情感傾向分析接口,對搜集整理后的183 048條課程評價文本開展了情感傾向分析。同時,為驗證情感傾向分析結果的準確度,在所有課程評價中隨機抽取了2 000條評價文本進行人工編碼。結果顯示,2 000條評論中有1 803條評價與機器編碼結果一致,情感傾向分析模型分類的準確率為90.2%,表明編碼結果的可信度較高。因此,可以用這一模型對課程評價文本的情感傾向進行分析。
情感傾向分析結果表明,課程評價文本的情感傾向為積極正向的最多,有171 573條(占比93.7%);課程評價文本的情感傾向為消極負向的有10 014條(占比為5.5%);而情感傾向為客觀中立的課程評價文本有1 461條(占比為0.8%)。這表明,線上“金課”的總體情感傾向為積極正向,但其中也存在部分情感體驗為消極和中立的課程評價文本。
3 研究結論
3.1 線上“金課”的學習體驗包括“知、情、媒、行”4個要素
聚類分析將所有課程評價詞匯分為4類,可分別定義為學習收獲、情感體驗、交互媒介和教學行為,即“知、情、媒、行”,這4種類型是線上“金課”的學習體驗的主要構成要素。據此,可以得到線上“金課”的學習體驗結構圖,如圖1所示。
其中,“知”即學習收獲,是指學習者在學習課程之后獲得了什么知識,掌握了哪項技能。“情”即情感體驗,是學習者在學習課程之后的感受和體會,包括積極體驗和消極體驗。“媒”即交互媒介,是學習者利用在線學習平臺進行課程學習和交互的流暢程度,體現學習平臺作為媒介對學習者的幫助和支持程度。“行”即教學行為,指學習者對教師的課程與教學行為的評價。這4個構成要素可以作為衡量線上“金課”的學習體驗的重要指標。
3.2 線上“金課”的學習體驗整體狀況較好
數據分析結果顯示,線上“金課”的學習體驗整體狀況較好。這主要體現在3個方面:課程平均評分統計結果顯示,學習者的所有課程評價平均分在4.7以上(總分為5分);課程評價詞匯聚類結果顯示,“學習收獲”“情感體驗”“教學行為”這3類學習體驗構成要素中包含的消極詞匯很少;情感傾向分析結果表明,絕大多數課程評價文本的情感體驗是積極正向的。這與已有在線課程學習體驗的研究結論較為一致。對于在線學習體驗的現狀,吳筱萌等調查發現,學生對在線課程的主觀反應較為積極,對課程效果比較滿意[9]。鄧永霞的研究結論也支持了這一觀點,學習者對MOOC學習體驗的主觀反應處于中立和比較滿意之間,學習者對課程學習體驗的滿意度高于對平臺體驗和社群交互體驗的滿意度[10]。
3.3 線上“金課”的交互媒介存在較多問題
在線學習平臺是教師與學習者互動交流的媒介,承載著知識傳遞、資源分享和師生互動等功能,是保障有效學習的重要因素[11]。聚類結果顯示,“交互媒介”這一類別的詞匯大多數是消極負面的,如錯誤、下載、慢、有待改進、重復、無法、麻煩、垃圾等詞匯。這些詞匯反映出學習者的在線學習平臺體驗感差。根據學習者的課程評價,在線學習平臺的問題可概括為3個方面:一是視頻功能不夠;二是互動功能不足;三是資源功能不全。在視頻上,主要包括網站視頻卡頓、沒有字幕、背景音樂太大、視頻畫面不清晰、視頻效果差等問題;在互動上,問題為討論區提問得不到解答、平臺互動規則不合理、教師講念PPT、互動反饋不及時、生生互動不足等;在資源上,主要涉及問題為資源下載緩慢、缺乏課件和教材資源、課程資源無法查看、異常錯誤、無法用移動設備完成作業等。這些問題嚴重影響學習體驗,造成了學習者的消極情緒。
4 結束語
本研究以線上“金課”的課程評價文本為數據來源,采用文本分析法,通過數據挖掘、聚類分析和情感傾向分析,揭示出線上“金課”學習體驗的結構要素——學習收獲、情感體驗、交互媒介和教學行為,為系統科學地評估在線課程的學習體驗以及各要素之間的相互關系機制提供了基本框架和邏輯基礎。未來的研究可以從這4大要素出發檢驗學生的學習體驗。線上“金課”應從提升學生的知識性體驗、重視學生的情感體驗、加強課程平臺的技術保障和追蹤學生對教師教學行為的體驗4個方面增強學習者的學習體驗。此外,本研究還揭示出線上“金課”的學習體驗現狀,補充了關于線上“金課”的研究成果。
研究也發現線上“金課”在學習平臺方面存在的不足與問題。首先,在線學習平臺需引入視頻的彈幕功能和定位搜索功能。彈幕功能可支撐學習者進行實時交互,促進同伴之間的溝通和交流。定位搜索功能可讓學習者實時搜索,以增強學習視頻的交互性。另外,課程開發者應注意課程錄制視頻畫面的清晰和降噪處理。其次,授課教師需設置清晰合理的討論和互動規則,平臺運營者需要增強討論交流的指向功能,讓學習者可以直接@授課教師,或者@其他學習者。這樣不僅能促進學習者與教師之間的互動,還能增強學習者之間的互動,使學習者獲得實時反饋,形成有效的學習共同體,促進討論區互動的有效性。此外,平臺運營者應考慮使用不同設備的學習者體驗,加強網站的穩定性,允許學習者在不同的設備上完成學習任務,實現資源的離線觀看等功能。最后,在線平臺運營者應強化學習分析技術,對在線課程平臺的學習過程數據進行采集和追蹤,以實現在線學習的個性化評估和診斷,并基于學習者需求、現有水平和學習風格的差異,為學習者推薦不同的學習路徑和資源。
值得注意的是,并非所有學習者都參與了課程評價,且每門課程的評價文本數量存在較大差異,所以單從課程評價文本內容的角度探究線上“金課”的學習體驗還存在一定的局限。未來的研究需要結合量化的課程評價數據、質性的評價文本內容以及線上“金課”的其他指標,如在線討論區的數據,更加全面地呈現線上“金課”的學習體驗狀況,也可以對不同學科類型的課程學習體驗進行研究,以探究學習體驗的學科差異。
參考文獻
[1] 顧曉薇,胥孝川,王青.國家精品在線開放課程建設研究[J].現代教育管理,2020(6):77-83.
[2] 方旭.國家精品在線開放課程認定的實證分析[J].中國高教研究,2018(7):94-99.
[3] 覃軍.技術驅動學習打造外語“金課”——外語類國家精品在線開放課程建設現狀、問題及對策研究[J].外語電化教學,2019(3):55-61.
[4] 韓映雄,張靜.“雙一流”建設院校對線上“金課”的貢獻[J].現代大學教育,2019(6):25-30.
[5] 安哲鋒,金妍.從490門國家精品在線開放課程看我國在線教育發展[J].未來與發展,2020,44(5):20-27.
[6] 鄭曉冬,樓程富,陳衛,等.國家精品在線開放課程“食品安全”的建設與應用[J].高教論壇,2020(3):19-21.
[7] 周世兵,徐振源,唐旭清.K-means算法最佳聚類數確定方法[J].計算機應用,2010,30(8):1995-1998.
[8] MIKOLOV T, SUTSKEVER I, CHEN K, et al. Distributed representations of words and phrases and their compositionality[C]// Proceedings of the 26th International Conference on Neural Information Processing Systems-Vol. 2,Sydney,2013:3111-3119.
[9] 吳筱萌,雍文靜,代良,等.基于Coursera課程模式的在線課程學生體驗研究[J].中國電化教育,2014(6):11-17.
[10] 鄧永霞.基于大規模在線開放課程的學習體驗研究[D].桂林:廣西師范大學,2015.
[11] 劉述,單舉芝.在線學習平臺視頻教學交互環境現狀與未來發展[J].中國電化教育,2019(3):104-109+119.
Research on learning experience structure and present situation of online first-classcourses
ZHANG Jing1,HU Zhen-hao2,CHEN Qian-qian3,HAN Ying-xiong1
(1. Institute of Higher Education, East China Normal University,Shanghai200062,China;
2. Software Engineering Institute, East China Normal University,Shanghai200062,China;
3. School of Open Learning and Education,East China Normal University,Shanghai20062,China)
Abstract
In order to explore the learning experience structure of online first-class courses and find the learning experience of online first-class courses, text analysis method is used to analyzethe 592 courses on MOOC platform of Chinese university with mining the original evaluation data from online first-class courses. The results show that the learning experience of online first-class coursesis made up of four elements, including knowledge, emotion, media and behavior, which corresponds to learning gains, emotional experience, interactive media and teaching behaviors. The overall emotional experience of online first-class courses is good, which is reflected in the high average scores of learners course evaluation. In addition, the three types of learning experience elements of knowledge, emotion and action rarely contain negative words. Most emotional experience in the course evaluation text are positive. The research has also found that there are many problems with interactive media in online first-class courses, which mainly manifest in insufficient video functions, scant interactive functions and incomplete resource functions.
Keywords
MOOC;online first-class courses;learning experience;course evaluation
[責任編輯 孫 菊]