大數據驅動的雙線融合課程教學質量評價體系構建

王筱綸 許鈺 滕汶松 劉夢凡 楊長荻

摘要：隨著政策引導和MOOC課程興起，雙線融合課程成為高校教學實踐新常態。文章基于CIPP評價模式，將定量和定性方法相結合，收集政策公告、理論文獻、人工智能問答3類文本，通過高頻詞分析和語義網絡圖提取雙線融合課程質量3級評價指標。接著，利用信效度檢驗和層次分析法計算指標權重，構建系統的教學質量評價體系。最后，運用多主體問卷和模糊綜合評價法，針對線上比重不同的兩門課程進行數據對比，提出相應改進策略。

關鍵詞：雙線融合課程；CIPP評價模式；教學評價指標；數據驅動

中圖分類號：G64文獻標志碼：A

0引言

雙線融合課程已成為高校教學實踐新常態。國家發改委強調，要構建線上線下教育常態化融合發展機制，形成良性互動格局。線上教學打破了傳統線下教學的時空限制，實現優質教學資源隨時隨地共享［1］，但也存在著缺乏師生互動等弊端，因而將線上線下教學有機結合、優勢互補，是當下高等教育的必然趨勢［2］。

目前，關于雙線融合課程的研究，多集中于教學設計和實施等操作細節［3］，課程評價體系研究還未受到重視。其原因有：（1）雖然已有基于線上或線下課程單獨構建的評價指標，但考慮到兩類課程的差異，兩套指標的關注點不同亦不能通用。（2）部分學者提出利用線上教學平臺監測數據來量化教師和學生的行為數據，但僅依賴于線上數據會忽視教師教學的系統性和學生學習的主體性，導致測量結果偏差［3］。（3）過往以定性研究為主的課程評價方法趨于主觀，無法將線上線下課程的相關指標有機結合，而科學的定量和統計方法能幫助學者提煉更為客觀有效的課程評價體系［4］。因此，結合線上線下教學模式特點，以大數據驅動的定量數據為主，定性分析為輔，構建一套科學有效的雙線融合課程教學質量評價體系已迫在眉睫。

本文將結合政策文本的專業生成內容（Professional Generated Content，PGC）、理論文獻的用戶生成內容（User Generated Content，UGC）以及ChatGPT問答的人工智能生成內容（Artificial Intelligence Generated Content，AIGC）進行高頻詞分析并構建語義網絡圖，通過定量定性相結合的方法甄選雙線融合課程教學質量評價體系指標。由于CIPP模式的過程性、反饋性和全程性特征與線上課程的“過程”監督特征和線下課程的“效果”反饋優勢十分契合。筆者借鑒該模式將3類文本中提取的指標按照背景、輸入、過程及結果4個一級指標整合歸納，構建針對教學全過程的質量評價指標體系。通過信效度檢驗和層次分析法確定每一層次的指標權重。最后，采用多主體問卷調查和模糊綜合評價法對比兩門線上程度有顯著差異的雙線融合課程教學情況，提出改進建議，進而提升雙線融合課程教學效果。

1大數據驅動的雙線融合課程教學質量評價指標提取與構建

1.1政策文本（PGC）采集與挖掘

教育行政管理部門在高校教育中扮演著頂層規劃的角色。本文整理近5年國務院和教育部頒布的與高校線上線下教育相關的法律法規資料，如2021年，針對線下課程，教育部發布《普通高等學校本科教育教學審核評估指標體系（2021—2025年）》；2022年，教育部五部門發布《關于加強普通高等學校在線開放課程教學管理的若干意見》。通過關鍵詞抽取的方法進行詞頻分析，挖掘目前課程教學的側重點。然而，單純的詞頻無法顯示詞語間的關系，因此利用ROST CM 6內容分析軟件進行語義網絡構建。通過提取高頻詞（301個）、過濾無意義詞、提取行特征詞、得到行特征詞共詞矩陣和構建語義網絡5個步驟，本文基于政策文本構建語義網絡圖（見圖1）。最后，回溯到原始文本，用人工閱讀方式進行分類篩選后提取出13項評價指標，劃分為5個類目（見表1）。

1.2理論文獻（UGC）搜索與分析

國內外學者已針對線上或線下課程的教學質量評價展開研究，但關于雙線融合課程的綜合評價研究較少。本文從理論文獻入手，以“教學評價指標”為關鍵詞，在中國知網搜索近5年的337篇中文核心期刊論文，通過人工篩查去除不相關論文后保留256篇論文，通過關鍵詞抽取法進行詞頻分析，挖掘評價重點。利用ROST CM 6從文獻文本中提取1432個高頻詞條，構建語義網絡圖（見圖2）。最后，回溯到原始文獻，分類篩選后提煉出27項評價指標，歸并為11個類目（見表2）。

1.3人工智能問答（AIGC）運用與優化

隨著人工智能技術發展，ChatGPT因具備強大的語言處理能力而引起教育領域的關注。本文從人工智能問答入手，結合從前2類文本中提煉的指標內容，與ChatGPT進行對話探討，諸如“線上課程教學資源評價指標包括哪些”等問題。最終，對收集到的文本進行歸納梳理，進一步完善指標體系。

1.4基于CIPP模式的雙線融合課程教學質量評價指標初建

CIPP評價模式由Stufflebeam［5］提出，涵蓋教學背景（Context）、輸入（Input）、過程（Process）與結果（Product）4部分。由于CIPP模式的過程性、反饋性和全程性特征與雙線融合課程十分契合，本文選用該模式對教學質量評價指標進行歸納和重組。首先，將CIPP模式的4項內容作為一級指標；其次，基于上述多來源數據提取的高頻詞條所屬類目構建13項二級指標；最后，根據回溯的高頻詞關聯文本分析，提煉40項三級指標，初步構建雙線融合課程教學質量指標體系（見表3）。

2雙線融合課程教學質量評價指標體系優化與應用

2.1問卷分析法確定評價指標信效度

根據表3，本文設計包含40道題項的預調查問卷，要求被試對其重要程度打分。最終，回收120份有效問卷，通過信效度檢驗方法優化指標體系。信度分析用來檢驗題項設計的可靠性，當克隆巴赫Alpha系數在0.8～1.0間且修正后的相關性大于0.5時，表明信度較高。效度分析旨在檢驗題項與測量內容的準確程度，當KMO值大于0.7，巴特利球形度檢驗顯著性低于0.05時，表明問卷設計結構效度好。筆者運用SPSS 25.0分析軟件獲得分析結果。其中，觀測點D14由于修正后的相關性為0.473小于0.5，故被刪除。

2.2層次分析法確定評價指標權重

層次分析法（Analytic Hierarchy Process，AHP）是一種多準則決策分析方法，它將問題分解后基于專家的經驗判斷，通過兩兩比較來確定不同要素的相對重要性。本文依據AHP，基于表3、構造判斷矩陣，邀請12名具有雙線教學經歷的專家參與問卷調查。然后，使用Yaahp軟件進行權重計算，對一致性比率CR≥0.1的矩陣進行調整，直到所有判斷矩陣通過一致性檢驗。最終，計算出最大特征值，獲得向量歸一化后的評價指標權重（見表3）。

2.3模糊綜合評價法進行實例應用

本文選擇由同一位教師在不同學期講授的同一門課程“管理信息系統”，采用模糊綜合評價法對雙線融合課程教學質量評價指標體系進行實例應用。由于疫情原因，兩次課程線上授課的比重分別為80%和20%。因此，在其它條件相同的前提下，唯一區別為課程雙線融合的程度差異。調研過程中，邀請上課學生、授課教師及聽課教師三類群體進行教學質量打分，每位被試需對38項評價指標給予評分（1～5）。此外，“線上課程的資源共享互通程度”并非通過問卷測量，是基于線上平臺中學生的資源下載量計算。最終，將權重投入模糊隸屬矩陣，采用矩陣乘法得出模糊綜合評價值。該課程教學質量滿意度總體而言較高，如表4所示。然而，線上比重高的課程質量整體評價（4.59）顯著低于線上比重低的同樣課程（4.97），尤其體現在教學背景闡述不清（4.40），教學過程更加難以集中精力（4.50）。

3結語

隨著雙線融合課程的興起，構建一套科學有效的課程質量評價指標體系已是大勢所趨。本文將定量與定性方法相結合，通過對政策文本、理論文獻和ChatGPT問答3類文本進行高頻詞提取和語義網構建，再結合CIPP模式甄選出三級評價指標，輔以信效度檢驗加以優化，最終構建一套雙線融合課程教學質量評價指標體系。在實例運用中，采用多主體問卷調查和模糊綜合評價法對比兩門線上課程比重不同的雙線融合課程教學情況，針對數據結果提出改進策略。本研究有利于優化線上線下教學資源配置，提升雙線融合課程教學效果。

參考文獻

［1］王月芬.線上線下融合教學：內涵、實施與建議［J］.教育發展研究，2021（6）：19-25.

［2］蔣鴻玲，王曉敏，周全.高校雙線教育融合研究的熱點與前沿：基于CNKI核心期刊論文的知識圖譜分析［J］.教育信息技術，2023（增刊2）：95-99.

［3］吳爽，陽戀雨.基于CIPP模型的線上線下混合式教學質量評價指標體系構建［J］.科教文匯，2023（3）：11-14.

［4］姚凱，李思志，李艷紅，等.MOOC評價模型研究［J］.復旦教育論壇，2017（3）：65-71.

［5］STUFFLEBEAM D S. The use and abuse of evaluation in title III［J］. Theory into Practice，1967（5）：126-133.

（編輯姚鑫）

Data-driven construction of teaching quality evaluation system for online-offline blended courses

Wang ?Xiaolun， Xu ?Yu， Teng ?Wensong， Liu ?Mengfan， Yang ?Changdi

（College of Economics & Management， Nanjing University of Aeronautics and Astronautics， Nanjing 211106， China）

Abstract： ?With policy guidance and rise of MOOC courses， online-offline blended courses become the new trend of teaching practices in universities. Based on CIPP evaluation model， this paper combines quantitative and qualitative methods by collecting three types of texts， policy announcement， theoretical literature and AI-enabled Q&A， and extracting three-level quality evaluation indicator of online-offline blended courses through high-frequency word analysis and semantic network graph. Then， using reliability， validity tests and analytic hierarchy process to calculate the weight of indicators， it constructs the teaching quality evaluation system. Finally， multi-subject survey and fuzzy comprehensive evaluation method were adopted to compare the data of two courses with different online proportions， and proposes improvement strategies.

Key words： online-offline blended course; CIPP evaluation model; teaching evaluation indicator; data-driven analysis

基金項目：國家自然科學基金面上項目；項目名稱：技能共享平臺負面跨邊網絡效應內在機理及治理策略研究：基于信息不確定性視角；項目編號：72372075。南京航空航天大學研究生教育教學改革研究項目；項目名稱：基于CIPP模式的雙線融合研究生課程教學質量評價體系研究；項目編號：2022YJXGG30。

作者簡介：王筱綸（1988—），女，副教授，博士；研究方向：用戶行為分析，教學評價。