基于層次分析-模糊綜合評價的線上課程質量評價研究

夏冬生 姚征 孫先念 于彥 崔春義 劉楊

摘? 要：隨著“互聯網+”時代的到來，純線上教學和線上-線下混合式教學已成為高等教育教學模式發展的新趨勢，也是近年高等教育教學改革研究的熱點。為淘汰“水課”，國家大力打造線上“金課”，期望起到標桿和導向作用。如何對線上課程教學質量進行全面、科學的評價則直接關系著提升線上課程質量、甄別線上課程含金量以及更好地發揮金課的“標桿”作用。該文以學生為中心，突出學生評價主體地位，考慮目前我國主流慕課平臺的發展現狀以及線上課程教學特點和規律，采用AHP層次分析法構建一套較全面、合理的線上課程質量評價指標體系，同時結合模糊綜合評價法對線上課程質量進行量化評估。其成果可為高校或者廣大教師進行線上課程質量評價提供理論支撐和指導建議。

關鍵詞：互聯網+；線上課程；課程評價；層次分析法；模糊綜合評價法

中圖分類號：G642? ? ? ? 文獻標志碼：A? ? ? ? ? 文章編號：2096-000X（2024）02-0096-06

Abstract： With the rapid development of IT technology， pure online teaching and online-offline hybrid teaching have become a significant trend of teaching mode in higher education and a hot spot in the field of higher-education teaching reform in recent years. In order to improve the course quality， the ministry of education is carrying out a "National Level First Class Courses" program to launch a number of "Gold Courses" with excellent quality and high standard. An evaluation system of teaching quality of online courses plays a crucial role in promoting the quality of online courses and helping teachers to reflect. It is worth exploring how to construct a comprehensive and scientific evaluation system of online courses. In the paper， considering the characteristics of online teaching and development status of mainstream MOOC platforms in China， the Analytic Hierarchy Process （AHP） method is applied to design an evaluation factor system which is student-centered and takes students as dominant position of evaluation. Moreover， combining with the fuzzy comprehensive evaluation （FCE） method， the quality of online courses is quantitatively evaluated. The research can provide the theoretical support and guidance for teachers to evaluate quality of online courses.

Keywords： Internet plus; online course; course evaluation; analytic hierarchy process; fuzzy comprehensive evaluation

隨著“互聯網+”時代的到來，純線上教學和線上-線下混合式教學等已成為高等教育教學模式發展的一個新趨勢，也是近年高等教育教學改革研究的熱點。自2019年12月新冠感染疫情爆發以來，國內各高校采取多種形式的線上教學，以保證教學正常展開。據教育部統計，2020年度全國高校采取在線教學形式的課程開出率達到91%。由此可見，這次疫情爆發極大推動了在線教學在我國高等教育領域內的推廣和發展。

線上教學打破了傳統課堂教學在時間和空間的限制，為學生提供了一種更便捷、靈活、開放的學習方式[1-2]。其發揮了學生學習的自主性，但同時也要求學生具有一定的學習自律性。另一方面，線上教學在很大程度上也有效緩解了課堂教學學時不足的問題。但是，近年通過大量的線上教學實踐，線上教學也暴露出一系列突出的問題，例如教師較難對學生的學習進行督促，學生線上學習的完成率不高，課程優秀率和通過率較低，線上課程教學質量的評價體系還不夠完善和科學等。

由于傳統課堂教學與線上教學有很多顯著的差異，因此傳統課堂教學的質量評價體系并不適用于線上課程的教學質量評價。各高校應該充分考慮線上教學的自身特性以及我國線上課程的發展現狀，來構建合理的線上課程教學質量評價體系。此外，線上課程教學質量評價體系在具體實施過程中涉及到不同學科特點和課程性質等諸多因素，需要制訂全面的且科學的評價體系。

近年來，國家級和省級線上一流課程作為高品質的“金課”的出現，受到高校教學管理者和廣大高校教師的重視，也吸引了眾多大學生的關注。為了更好地發揮金課的“標桿”作用以及提升線上課程含金量，迫切需要解決好線上課程質量評價的問題。因此，本課題針對線上課程，期望基于AHP-模糊綜合評價模型構建一套科學合理的線上課程質量評價體系，以此來監督并改進線上課程的質量，提升線上課程的含金量。本項目成果可為各高校以及各高校教師構建線上教學課程評價體系提供理論支撐和指導。

一? 線上課程質量評價組成要素分析

經過近十年的發展，我國已經孕育出一批較知名的慕課平臺，例如愛課程（中國大學MOOC）、學堂在線、智慧樹網、學銀在線等。目前，這些較知名慕課平臺的硬件和技術水平均能夠較好滿足線上課程的教學活動需求。特別是新冠感染疫情期間，由于在線訪問量劇增，眾多慕課平臺均增大了對硬件設備的投入，提升了硬件性能和規模。此外，經過多年的發展，我國各大慕課平臺均具備強大的技術支持，提供完善的教學和學習功能以及擁有人性化的界面設計。各慕課平臺所提供的各種學習活動操作和教學活動操作均簡易且較人性化，在線學習體驗都較好。各平臺所提供的教學功能差異性不大，學習體驗均較令人滿意。因此，結合目前我國慕課網站平臺的發展現狀，考慮到以上因素，本文在構建線上課程質量評價體系時，一些與線上課程的軟、硬件支持和在線學習體驗等有關指標，具體包括課程視頻能否打開并且流暢播放、課程的導航系統設計是否直觀明確、教學和學習功能是否完善、各種操作的簡便易用性、是否能追蹤記錄每個學生的整個學習過程以及提供課程數據的分析、慕課平臺的兼容性等，將不再作為評價指標。本文將從教學資源、教學設計、教學支持、教學評價四個維度，圍繞“學生為中心”，突出學生主體地位，來構建線上課程質量評價體系。

二? 基于層次分析法構建線上課程質量的評價指標體系

（一）? 層次分析法簡介

層次分析法（Analytic Hierarchy Process，AHP）是美國運籌學家T. L. Saaty等在20世紀70年代提出的一種定性和定量分析相結合的多準則決策方法[3-4]。通過構建層次模型，可以利用較少的定量信息將決策的思維過程數學化，非常適合于對決策結果難以直接計量的場合。

層次分析法（AHP）把一個復雜的多目標決策問題視為一個整體，將總目標分解成為多個子目標或準則，再進一步分解成為多指標或多準則、多約束的若干個層次，從而分解為有序的遞階層次結構，即層次結構模型。通過將定性的指標進行模糊量化的方法來計算出各個層次的單排序（權重數）和總排序，從而對多目標、多指標的多方案進行優化決策[3-5]。

（二）? 線上課程質量評價指標體系的設計

本文運用層次分析法（AHP），構建線上課程教學質量評價體系。該線上課程教學質量評價體系包含教學資源、教學設計、教學支持和教學評價共4個一級評價指標和19個二級評價指標，具體見表1。

（三）? 建立判斷矩陣

在AHP方法中，構造兩兩比較判斷矩陣是較關鍵的一個步驟。根據所建立的具有層次關系的線上課程質量評價體系（表1），針對各層次中處于同一級別的任意兩個評價指標，進行重要程度的比較并進行定量化的判斷（表2），從而可構造出面向不同層級的兩兩比較的n×n判斷矩陣A（aij）n×n。

表2中，Ai（i=1，2，3，…，n）是處于同一層級的評價指標，判斷矩陣中的元素aij（i，j=1，2，3，…，n）代表評價指標Ai與評價指標Aj的重要程度的比較。對判斷矩陣中的元素aij的賦值，則需要對同一層級任意兩指標的相對重要程度比較判定進行定量化。常采用的方法是用數字1～9及其倒數來對任意兩要素相對重要程度比較來進行標度，標度值及其含義見表3。

判斷矩陣A具有如下兩個特性：

本項目邀請8位熟悉線上教學的專家和6位具有豐富線上教學經驗的中青年教師對處于同一層次的所有評價指標的重要程度進行兩兩比較，根據表3給定的定量賦值標準進行賦值，構建不同層級的判斷矩陣，即1個A-B層級的判斷矩陣和4個不同B-C層級的判斷矩陣。

本文以A-B層級為例，教學專家和教師給出的判斷矩陣為

（四）? 計算各指標的相對權重并對判斷矩陣進行一致性檢驗

首先計算判斷矩陣A的最大特征值λmax及其對應的特征向量W，即

AW=λmaxW。

歸一化的W向量各元素為相對應評價指標的相對權重值，即該因素相對于上一層級對應因素的相對重要性的權重值。

隨后，通過計算一致性指標CI（Consistency Index，CI）來對判斷矩陣Ａ進行一致性檢驗。一致性指標CI的表達式為

式中：n為判斷矩陣Ａ的階數。若一致性指標CI=0，則表明該判斷矩陣Ａ具有完全一致性；若一致性指標CI≠0，則需要進行隨機一致性比例CR（Consistency Ratio，CR）的計算，繼續檢驗判斷矩陣的一致性。

一致性比例CR的表達式為

式中：RI為平均隨機一致性修正系數（Random Index，RI），其值可通過查表獲得。表4列出了判斷矩陣的不同階數n所對應的修正系數RI值。根據判斷矩陣的階數n，可查找相對應的平均隨機一致性修正系數RI。

若一致性比例CR＜0.1，則可認為判斷矩陣通過一致性的基本檢驗；若一致性比例CR>0.1，則認為判斷矩陣沒有通過一致性檢驗，需要對判斷矩陣進行調整和修正，直至通過一致性檢驗。只有通過一致性檢驗后，歸一化的W向量各元素才能作為權重值。

本文以A-B層級為例，求其判斷矩陣的最大特征值λmax和相對應的歸一化特征向量WB，得到λmax=4.060 6，WB=[0.109 7，0.438 4，0.265 2，0.186 6]。

隨后對A-B層級的判斷矩陣進行一致性的基本檢驗。一致性指標CI

通過查詢平均隨機一致性修正系數對照表（表4），得到當n=4時，一致性修正系數RI=0.89。將其代入下式，計算一致性比例CR。

一致性比例CR值小于0.1，表明該判斷矩陣通過了一致性檢驗，可以將計算得到的特征值和權重作為判斷的依據。

與A-B層級的判斷矩陣分析步驟相同，對4個不同B-C層級的判斷矩陣分別計算其最大特征值和相對應的歸一化特征向量，并對其進行一致性檢驗，最終確定各級指標的權重向量。4個不同Ｂ-Ｃ層級的權重向量分別為

在計算出每一層級各要素相對于上一層級對應要素的相對權重值之后，將其與上一層級中該要素的權重乘積，即可計算出每一層級各要素相對于上一個層級的相對重要性權重值。據此，可以由上而下地計算出最低層級中的各個因素相對于最高層級目標的相對重要性權重值，即綜合權重值。經過計算，最終確定的線上課程質量評價體系中各評價指標的同級權重值和綜合權重值示于表1中。

從表1可以看出，在線上課程質量評價體系的4個維度中，影響從高到低的要素分別為教學設計、教學支持、教學評價和教學資源。教學設計是影響線上課程質量評價的最大要素。在所有二級評價指標中，從綜合權重上來看，教學方法、教學目標與教學組織、學生線上學習滿意度、線上作業批改質量、教學內容排在前五位，這表明它們對線上課程質量的評價起到較重要影響。

三? 基于模糊綜合評價法的線上教學質量量化評估

模糊綜合評價法（Fuzzy Comprehensive Evaluation，FCE）是一種以模糊數學為基礎的綜合評價方法。這種評價法將需評價的模糊對象和反映模糊對象某種性質的模糊概念當作一個模糊集合，根據模糊數學的隸屬度函數（Degree of Membership Function）理論將定性的評價轉化為定量的評價，亦即借助模糊數學的工具對某個受到多種因素影響或制約的對象或事物的優劣做出某種科學的總體的評價[6-8]。

（一）? 設定評定集

本文對線上課程教學質量評價體系所包含的19個二級指標的評價等級劃分為五個等級，其等級劃分示于表5中。如表5所示，評價等級分別劃分為優、良、中、較差和差五個等級。

依據所設計的評價等級劃分，建立評定集E={E1，E2，E3，E4，E5}={優，良，中，較差，差}。隨后對該評定集進行賦值，將定性評價轉化為定量評價，量化后的評定集為E={95，85，75，60，30}。

（二）? 模糊關系矩陣

通過對所有評價指標進行單因素評價，建立模糊關系矩陣。

上式矩陣R中元素rij代表第i（i=1，2，…，n）個評價指標被評定為Ej（j=1，2，…，5）的隸屬度。rij=Nij/N，其中N為參與調查的總人數，Nij為給予第i個評價指標的評定等級為Ej的人數。

（三）? 多指標綜合評價，合成模糊綜合評價結果

模糊綜合評價數學模型的標準形式寫為

運用前面求得的權重向量W與模糊關系矩陣R進行模糊矩陣的復合運算，可得到綜合隸屬度向量。將其與評定集為E相乘得到綜合評定值。

本項目選擇在中國大學慕課平臺2021年秋季學期開設的工程力學慕課為線上課程質量評價樣本。針對所授課學生展開該門線上課程的教學質量問卷調查。

四? 評價數據的分析

根據問卷調查的統計結果，計算得到工程力學線上課程教學質量的各級評價指標的評價分值，其中4個一級指標分值及其總評價分值見表6。

表6? 工程力學課程一級評價指標的分值及其總評價分值

通過應用該評價體系對工程力學線上課程教學質量進行評價，結果表明該線上課程的教學質量評價總分值為90.38，其教學質量評價等級為優。線上課程質量的總得分與二級指標“學生線上學習滿意度”（C16）分值（89.48）接近，這說明應用該評價體系對工程力學課程的評價和學生對該門課程的滿意度基本一致。此外，工程力學線上課程的教學設計、教學資源和教學評價的分值排在前三位，學生對這三方面的滿意度較高。在4個一級指標中，“教學支持”的評價分值最低。通過對其各二級評價指標分數和線上教學過程數據統計結果分析，發現學生在參與線上提問和問題討論等方面的積極性和參與度均不夠充分；此外，教師在采用直播或者錄制課外習題講解視頻等形式為學生提供在線輔導方面力度不夠。這兩方面導致其所對應的“教學支持”一級評價指標分數較低。該評價結果說明在今后的教學過程中，需調動學生參與線上互動的積極性并加大提供直播等形式的在線輔導的力度，進而確保該門線上課程的整體教學質量的進一步提升。

五? 結束語

隨著信息技術的迅猛發展，線上教學隨之不斷迭代和演變。線上課程教學質量評價體系和評價方法也應不斷改進，才能適應線上教學方式的發展。對于線上課程的教學質量評價體系的設計和評價方法的建立，一方面應充分考慮線上課程的自身特點和出現的新特性，另一方面還應體現以學生為中心，突出學生評價主體地位。只有充分考慮以上兩方面，才能獲得與學生學習滿意度和學習體會相一致的客觀、真實和有價值的課程評價結果，該