基于用戶視角的大學人工智能慕課質量評價研究

錢小龍 羅利君

摘要：慕課是一種新的教學模式，對傳統課堂、教學模式、教育理念等產生了巨大的沖擊，促進了高等教育的改革。基于用戶視角對清華大學在學堂在線網站上開設的人工智能慕課進行質量評價，結果表明，學習者對成就價值、課程內容和策略的滿意度較高，人工智能慕課在教學資源、教學方法、互動交流等方面仍需改進。未來，慕課的發展策略應當包括：明確課程目標，拓展教學資源;改革教學方法，強化教學設計;加強教師能力，改革考核評價;重視社交功能，增進師生交流和同伴交互。

關鍵詞：人工智能;慕課：學習體驗;用戶視角

中圖分類號：G434 文獻標識碼：A 文章分類號：1674-7089（2020）02-0117-10

作者簡介：錢小龍，博士，南通大學教育科學學院教授，碩士研究生導師;羅利君，上海師范大學教育學院碩士研究生。

一、研究背景

慕課（MOOC）的概念源于國外，是指大規模在線開放課程，這是一種新型教學模式，打破了時間和空間的限制，能夠為學習者提供豐富的課程資源和個性化的推薦。在大數據、云計算等技術的支持下，高等院校廣泛使用慕課，可以為師生提供更多的教育資源和更好的學習體驗，從而有效推進高等教育教學模式和教學理念的改革，提高教學質量，在一定程度上加速我國教育現代化的進程。國家支持是人工智能教育發展的有效保障，教育部于2018年4月印發了《高等學校人工智能創新行動計劃》，要求優化高校人工智能領域科技創新體系，完善人工智能領域人才培養體系。國家高度重視人工智能教育，積極鼓勵、引導高校在相關慕課平臺上開設人工智能領域的慕課。

中南大學通過愛課程網提供的人工智能PK人類智能課程在2012年就人選國家精品視頻公開課建設計劃，成為首批播出的課程之一，受到公眾歡迎與好評。國內幾大慕課平臺都積極開設人工智能方面的在線課程，例如學堂在線、中國大學MOOC、華文慕課等均開設了人工智能前沿與產業趨勢等課程。這些課程介紹了人工智能技術的概念、發展歷史、應用領域、對人類社會的影響和應用發展前景等相關知識，為大家打開了學習人工智能的大門。但是，考慮到通俗易懂的要求，為了保證普及性，這些課程的專業性并不強。目前，在一定專業基礎上的深入研究型課程比較少。

清華大學主動對接國家戰略，呼應《新一代人工智能發展規劃》的要求，落實教育部《高等學校人工智能創新行動計劃》要求，推進“新工科”建設，在學堂在線網站上積極開設人工智能慕課。本研究的人工智能慕課是指在慕課平臺上開設的人工智能專業課程，包括以概率統計為基礎的數學課程，以編程和系統為基礎的計算機課程，以及以知識表達、問題求解和機器學習為基礎的人工智能課程，而不是指將人工智能技術運用于慕課教學。基于上述背景，對清華大學人工智能慕課展開質量評價研究。

二、文獻回顧

（一）國內研究現狀

慕課的實際教學效果關系著慕課能否獲得可持續發展，國內不少學者對慕課質量評價展開了研究。馮雪松等從量化考核和定性描述的兩個視角出發，并基于北京大學的慕課的實踐，提出了慕課的評價指標體系。王璐等依據扎根理論，考慮學習者的需要，設計了慕課課程質量評價指標體系。鞏永華等提出了基于知識轉移效率的慕課教學質量評價指標體系，為慕課課程建設與評價提供了新的思路。這些研究的重點不同，但很少有學者從用戶滿意度的角度對慕課質量進行評價。此外，針對人工智能慕課的文獻較少，現有研究主要集中在課程內容設計、教學改革實踐等方面。因此，開展人工智能慕課質量評價具有一定價值。

（二）國外研究現狀

當前，人工智能時代已經來臨，培養人工智能人才成為社會發展的必然要求，各國高度支持人工智能教育的發展，將人工智能納入教學內容，開設人工智能課程。一些著名的高校和公司在Edx、Coursera等平臺開設了人工智能課程。哥倫比亞大學創建了Micro Masters，可以供全世界的學習者在Edx網站上使用，學習者能夠理解人工智能的指導原則，將機器學習等概念應用于現實生活。關于人工智能慕課的研究，學者們的研究角度各有不同。Liu認為，人工智能課程內容豐富、錯綜復雜，傳統教學方法難以滿足教學需要，應開設人工智能慕課，便于學習者掌握抽象的知識。Goel等將認知的原理和實踐融合在一起，介紹了課程的設計、實施和評估等環節，探討如何拓展人工智能的教學。

國外學者從不同的角度進行慕課質量評價研究，以規范和推進慕課建設。Espada等認為，慕課平臺的用戶體驗會影響課程質量，提出了一個可量化的指標以反映用戶體驗的演變，從而更好地促進慕課課程的建設。Dyomin等研究了托木斯克州立大學（TSU）的慕課評價系統，分析數據樣本，發現不同慕課（大眾科學和專業課程）的質量評價存在顯著差異，他們認為不同類型課程的質量標準應當是不同的。Stracke提出了一種新的慕課質量評價指標，即從學習者個體目標和意圖的完成情況著手評價，而不是測量失學率。相對而言，國外慕課質量評價的研究比較成熟。

三、研究設計與研究過程

（一）研究設計

慕課的質量在很大程度上會影響學習者的學習體驗，依據一定評價指標設置評價量表，可以對清華大學人工智能慕課課程進行全方位的、客觀的評價，以便發現人工智能慕課在發展過程中存在的問題，提出有針對性的改進措施，從而促進人工智能慕課的發展，順應人工智能時代的需求，并對其他慕課的建設提供參考。關于網絡課程質量的研究比較多，慕課是一種在線教育方式，可以依據現有的網絡課程和網絡資源的評價標準設計慕課的課程評價指標。2012年，教育部教育信息化技術標準委員會起草了《網絡課程評價規范（cELTS-22.1）》，給網絡課程提供了參考依據和質量評價模型，但是這項規范存在重等級評定、輕質量改進，重競爭、輕合作等缺點。

在《網絡課程評價規范（cELTS-22.1）》的基礎上，結合2018年印發的《教育部辦公廳關于開展2018年國家精品在線開放課程認定工作的通知》和慕課的特征，設計了清華大學人工智能慕課質量評價指標體系。該指標體系分為5個維度，包括14個二級指標，25個三級指標，如表1所示。

（二）研究過程

1.設計問卷

根據上述評價指標體系，借助問卷星平臺設計清華大學人工智能慕課質量評價的調查問卷。問卷總共有三個部分：第一部分是被調查者的基本信息;第二部分是質量評價模塊，根據評價指標體系的三級指標制定了25道單項選擇題，每題均有5個選項，即“很不滿意”“不滿意”“一般”“滿意”“很滿意”，分別記1～5分;第三部分是主觀題，針對學習者對清華大學人工智能慕課的體驗，請他們提出意見，以提高慕課質量。我們向通過學堂在線網站學習清華大學人工智能慕課的用戶發放了120份問卷，回收問卷110份。經檢驗，這110份問卷皆為有效問卷。在分析數據之前，需要分析問卷的信度和效度以衡量問卷的有效性和準確性。經檢驗，本研究中問卷的信度為0.982，大于0.9;KMO值為0.953，大于0.6，而BaItlett球形度檢驗的sig值是0.000，小于0.01，問卷具有很好的結構次序，獲得的數據信度和效度均滿足分析要求。

2.確定權重

評價指標框架確定后，需要對各項指標在整個評價指標體系中的重要程度進行量化分析，即確定指標權重。文中，指標權重的確定主要采用了統計加權方法，邀請10位專家對指標的重要性進行排序，并利用公式Wi=（∑Aj×nij）/（n×∑Ai）計算出一級指標權重，i為項數，j為等級序號。結果如表2所示。

借鑒《地方高校院系本科教學工作考核的研究與實踐》中提出的方法，計算一級、二級指標的平均分和得分率。得分率是指平均得分占該等級指標全分的百分比。也就是說，平均分=該級指標得分/問卷人數/該級指標下的同一級別指標的個數。得分率=[平均分/（權重×100）]×100%。例如二級指標“教學內容”的平均分為[（1×1+2×0+3×11+4×65+5×33）+（1×1+2×1+3×20+4×52+5×36）]/110/2=4.136，得分率為[4.136/（0.11×100）]×100%=37.6%。如表3所示。將二級指標的得分率求平均，得到一級指標的得分率，如表4所示。

四、結果分析

（一）客觀數據分析

本研究設計了5個維度，分別是課程內容與策略、課程活動、學習支持、課程平臺、成就價值。根據表3和表4的數據，可以分析學習者的學習滿意度。

由表4數據發現，學習者對課程內容與策略、成就價值的評價最高，表明學習者對這兩方面比較滿意。課程活動和學習支持的得分較低，說明在課程教學中，這兩個方面需要改進之處較多。而且，課程活動、學習支持會影響學習者的成就價值，進而影響滿意度，所以要不斷提高和改進。由表3可知，內容目標一致性的得分率較高，說明課程內容與教學目標相適應，目標清晰明確并且能夠涵蓋課程的各項學習目標。教學內容的得分率最低，說明學習者對教學的組織結構和內容的合理性、科學性、豐富性等方面不滿意。

為了進一步進行慕課質量評價，筆者借助問卷每一小題的平均得分，分析每一個維度的二級指標。

1.課程內容與策略維度的類目數據分析

課程內容與策略維度主要包括課程說明、內容目標一致性、教學內容、教學資源、教學方法等5個二級指標。在課程內容和策略維度中，課程說明這個二級指標的平均分最高，為4.16，說明人工智能慕課課程基本上明確告知了課程目標和開課時間，安排了常見問題解答，學習者比較滿意。教學方法這個二級指標的平均得分最低，為4.12，說明學習者對教學方法不是特別滿意。未來，案例教學、動畫展示、任務驅動等方法應當得到更多的運用。

2.課程活動維度的類目數據分析

課程活動維度包括互動交流和學習評價2個二級指標。互動交流和學習評價的平均得分為4.04和4.08，說明學習者對課程活動模塊整體上是肯定的，但是相比其他指標，得分較低。進一步分析發現，互動交流包含的三級指標對應的題目得分分別為4.04、4.03、4.04，說明在教師和助教及時協助答疑、參與討論，搭建課程以外的交流平臺（例如微信群、公眾號）促進學伴交互協作，提供充分的交互機會讓學習者討論或協作解決問題等方面有所欠缺。學習評價主要包含2個三級指標，對應的小題得分為4.06和4.10。該指標得分較高，說明課程的教學評價環節符合學習者的期望，課程所采用的評價方法、評價工具比較成熟。

3.學習支持維度的類目數據分析

學習支持維度包括教師支持、同伴支持2個二級指標，得分均值為4.09。通過分析發現，“教師具有較高的教學水平和學術水平，較強的組織能力和管理能力;教師團隊優秀，成員結構合理;團隊成員分工明確，課程維護積極有效”這一題得分為4.15。而“在課程和非課程平臺中，學生提出的問題能夠得到同伴的反饋，在學習過程中能夠自發組成學習共同體進行學習”這一題的得分為4.03。這說明在慕課學習中，同伴交互是不充分的。在學習過程中，不僅要強調人機互動、師生互動，更應該關注同伴交互，組建學習團體，營造良好的學習氛圍，這一點需要改進和強化。

4.課程平臺維度的類目數據分析

課程平臺維度包括2個二級指標和4個三級指標，最終的平均值為4.16。進一步分析每一小題的得分發現，可用性二級指標對應的題目得分為4.15、4.21，這說明學習者能夠隨時隨地使用任意終端設備獲取流暢的視頻，滿意度較高。界面設計二級指標的2個小題的得分為4.11、4.17，在一定程度上說明學堂在線的課程導航系統直觀明確、方便使用，但是界面設計難以令人滿意，文本、圖形等可視元素的搭配不太協調，表現形式較為單一。對慕課平臺來說，這些方面需要不斷加以完善。

5.成就價值維度的類目數據分析

成就價值維度包括3個二級指標和3個三級指標，得分均值為4.13。這個分數說明學習者通過學習慕課，專業知識和技能得到了提升，意識到慕課對今后的學習有幫助，認同課程的價值。

（二）主觀數據分析

在清華大學人工智能慕課質量評價問卷的最后，有一個主觀題，“您對清華大學人工智能慕課的建設有哪些建議？”回答包括：采用多媒體輔助教學，教學時多舉例子，課程內容更貼近人工智能行業要求，更多的互動和反饋，建設高校聯盟，希望授課老師是這個專業里有權威的人士，希望更多“雙一流”名校開設更多的相關課程，采用多樣化的教學方式激發學生的學習興趣，希望能進一步挖掘細節的知識……分析主觀題的答案，調查對象的建議可以分為8個方面，分別是教師隊伍、課程平臺、教學內容、教學策略、拓展資源、教學評價、學習支持、交流互動。對數據進行統計分析，結果如表5所示。

根據表5，學習者關于清華大學人工智能慕課的建議主要集中在教學內容和教學策略方面，分別有35條和26條。進一步分析教學內容這一項，發現建議主要針對教學內容的豐富性、趣味性、多樣性、前沿性等。分析有關教學策略的建議，發現案例的使用、任務驅動、演示法、教學方法的多樣性、教學媒體的合理使用等受到學習者的重視。

關于教學評價，有受訪者提到，可以在視頻中插入嵌入式問題，這種方法有利于學習者保持注意力，教師也能得到及時反饋。此外，同伴互評是學生自主學習、合作學習的重要一環，在學堂在線中，缺少同伴互評這一環，受訪者針對這個問題提出的建議具有一定的實踐意義。關于教師隊伍的建議，受訪者主要針對教師的精神狀態和儀表、教師隊伍建設等問題提出了自己的想法。清華大學人工智能慕課課程包括人工智能前言、產業趨勢、大數據科學與應用等一系列講座和課程，邀請了國內AI領域的專業人員、互聯網公司的技術負責人等進行講授，學習者可以獲得很好的學習體驗，因此，關于師資力量的建議很有意義。拓展資源和課程平臺方面的建議較少，但是不代表這兩個方面不重要。在學習型社會中，人們必須學會學習，秉持活到老、學到老的理念。所謂師傅領進門，修行靠個人，人們可以根據拓展資源深入學習。教師提供的拓展資源可以幫助學生加深理解，提高學習效果。關于課程平臺的建設，學習者針對學堂在線網站的不足，建議修改界面，增加課程評價模塊。

五、策略建議

（一）明確課程目標，拓展教學資源

在新時代背景下，人工智能人才的培養是衡量一個國家核心競爭力的重要指標。根據全面育人、終身教育的理念，教育的目標應該是培養具有批判性思維、創新能力、自主性、跨學科思維的學生。在人工智能慕課教學過程中，需要高度重視計算思維的培養，這樣的課程目標對學習者提出了更高的期望，符合智能時代高素質人才的要求。慕課教學內容的深度、廣度會對學習者的學習興趣和效果產生重要影響。徐振國等認為，教學內容陳舊、教學內容與學習者的心理期待有落差等是學習者中途輟學的重要因素。豐富且具有拓展性的教學資源可以提高學習興趣，學習者在學習人工智能慕課時不能局限于教師講授的知識。人工智能是一個交叉學科，本質是對人類思維進行模擬，因此，人工智能慕課的涉及面很廣。作為學生學習的引導者，教師有責任培養學習者的自主探索能力。教師可以給學習者推薦參考書目，提供拓展視頻的鏈接等，幫助學生及時了解學術會議和頂級期刊的動態，開拓學生的眼界，使學生不局限于慕課，深化在慕課中學到的知識。

（二）改革教學方法，強化教學設計

當學習者使用在線教育平臺時，視頻是他們學習的主要媒體資源。視頻的時長會影響學習者的學習體驗，進而影響完成率，一般為5～10分鐘較好。視頻過長或過短都會降低學習效率，而且視頻的切分不能僅考慮教學內容所需要的時間，更應該考慮教學內容的內在邏輯結構，過短的視頻不利于學生建立完整的學習內容框架。此外，國務院于2017年發布了《新一代人工智能發展規劃》，部署了開展智慧教育的相關工作，要求以思維創新、教學方法創新等落實教育創新。人工智能慕課內容抽象、涉及面廣，在教學過程中不能簡單地羅列知識點，要盡量少用專業術語分析問題，建議大量采用實戰性、趣味性的案例開展教學。這樣可以幫助學生理解抽象的概念，使學習者不僅能識記，更能領會，進而加深理解。針對一些實踐性較強的課程，建議采用任務驅動式教學。總之，在教學方法的改革過程中，教師應結合課程目標，以學生為主體，激發學習興趣，提高學習意識。

（三）加強教師能力，改革考核評價

在慕課的學習過程中，教師的能力非常重要，在很大程度上會影響學習效果。較高的教學水平、學術水平和良好的教學風范、組織管理能力是每個教師都應當具備的。學習動機是將學習者的學習需要和學習目標聯系起來的關鍵，推動并調節學習者感知、記憶和學習，直到解決問題。教師適當提高學生的學習動機，可以使學生的學習效率變高，從而獲得較好的學習效果。第一，教師應該積極參加培訓，學習相關知識，不斷提高教學能力、創新意識和創新能力，豐富自己的教學智慧。第二，教師在教學過程中應當多多采用邀請性的語氣，用溫和而幽默的方式激發學習興趣，使學習者內心產生學習的意愿。第三，教師應不斷進行學習動機的理論研究，以便更好地輔助教學。傳統的面授型教學方式多以考試測驗作為教學效果評估手段，根據教學目的，教學效果評估可以分成診斷性評價、形成性評價和終結性評價，因此，課后習題、單元測試、期末測試較為常見，在嵌入式問題、同伴互評等方面有所欠缺。在慕課的教學效果評價中，應針對這些缺陷，實現評價方式多元化，使學習者得到及時的、人性化的評價，有利于提高學習效果。

（四）重視社交功能，增進師生交流和同伴交互

教學平臺不僅要實現學生和教學內容之間的交互，還要實現教師和學生之間的交流，學生和學生之間的互動。協作學習是指不同的學習者彼此負責，共同付出努力進行學習。師生交流和同伴交互能夠促進協作學習。因此，除了常規的論壇討論，教師應該努力搭建更多的交流平臺（如建立微信群、QQ群等），提供充分的交流互動機會，提高學習者的社交體驗和學習效果。此外，同伴互評能夠增強學習體驗，激發學習動機，提高社會責任感，幫助學習者加深對知識的理解，進行自我反思。慕課的學習者數量龐大，教師、助教在批閱作業時工作量很大，因此，引入同伴互評是一個有效的方法。

（責任編輯：沈丹）