土木類在線開放課程教學質量評價體系構建

陸 瑩，李 霞，趙 杰

(東南大學 土木工程學院，江蘇 南京 211189)

近年來，大規模在線開放課程(MOOC)和相關學習平臺在我國方興未艾。截至2020年年底，我國上線慕課數量超過3.4萬門，學習人數達5.4億人次，在校生獲得慕課學分人數1.5億人次，慕課數量與學習規模位居世界第一[1]。2015年教育部《關于加強高等學校在線開放課程建設應用與管理的意見》(教高〔2015〕3號)指出，大規模在線開放課程可以激發學習者學習的積極性和自主性，擴大優質教育資源受益面，對高等教育教學改革而言既是機遇又是挑戰，要發揮我國高等教育教學傳統優勢，推動我國大規模在線開放課程的建設，并將建設優質在線開放課程、推廣在線開放課程平臺作為重點任務[2]。2018年8月，教育部發出號召，要求高校淘汰“水課”，打造“金課”。線上線下混合式“金課”作為金課體系中的一環，有助于我國高等教育質量實現質的飛躍[3]。

近年來，隨著“新型城鎮化、一帶一路、建筑工業化”等國家重大政策的出臺，傳統基建行業亟需向智慧建造、智慧城市轉型升級[4-6]。在建筑行業依靠數字技術發生深刻變革的背景下，如何培養適應建筑行業未來發展需要、滿足產業轉型升級的創新型智能建造工程科技人才，以支撐我國邁向建造強國，已經成為相關高校人才培養的重要挑戰[7]。當前，隨著OBE理念在教育領域逐漸得到關注與應用，“以學生為中心、以產出為導向”已經成為新時期高等教育內涵式發展的指導方針，教學設計與實施的目標也更向學生通過教育過程最后所取得的學習成果傾斜，其重點關注的問題之一便是如何判斷學生已經取得應有的學習成果[8]。而這可以借由制定合理有效的教學質量評價體系來實現。由此，為充分發揮課程的“載道作用”，在“新工科”和“金課”的建設背景下，迎合行業發展趨勢，滿足新時期對高校人才培養的新要求，在高校線上線下混合式教學過程中對土木類在線開放課程的頂層設計和教學質量評價體系的改革勢在必行。

一、相關研究

在線開放課程在國外發展起步較早，至今已有諸多相對成熟的教學質量評價方法。英聯邦學習共同體(Commonwealth of Learning)于2016年6月發布《慕課質量保障與評估指南》(Guidelines for Quality Assurance and Accreditation of MOOCs)，將慕課分為普及型、實踐型和學術型，針對普及型慕課，建議采用預設性評價；針對實踐型慕課，建議采用過程性評價；針對學術型慕課，建議采用終結性評價[9]。在美國，在線教育質量保障機構馬里蘭公司(Quality Matters，簡稱QM)編制的《QM在線課程質量評價標準》(Quality Matters Rubric)已成為美國教育領域最具影響力的在線課程質量評價標準[10]。但是，國外評價體系由于適用對象、側重點與國內不同而無法直接為我國所用[11]。

國內對傳統線下課堂教學質量評價的研究已經相對成熟，教育部在2010年已公布國家精品課程的評審指標，包括教學隊伍、教學內容、教學條件、教學方法與手段、教學效果5個一級指標和其下14個二級指標與觀測點[12]。也有國內學者繼續對此進行相關研究，如黃雨恒等[13]借助“以學為本”大學課程教學質量評價框架構建了涵蓋高階認知能力、問題解決能力、讀寫能力、主動學習、生生互動、課堂講授、師生互動和在線教學共8個指標的本科課程教學質量評價指標體系。

由于在線開放課程脫離學校這一地域限制，其學習者既可以是在校學生也可以是社會人士，故而具體評價體系按課程面向對象的不同亦有區別。部分研究將對象明確限定為在校學生，如宋娟和肖安東[9]以武漢大學開設的慕課為研究對象，通過實證研究構建了包含課程內容、課程教學設計、應用效果及影響、課程團隊、教學支持，以及教學技術 6 個一級指標和其下14 個二級指標的慕課質量評價指標體系。魏賢運和陳晨[14]于蘇北高職院校發放問卷，以CIPP模型為指導，將包括自身使用需求、課程平臺實力、教學能力和學習收獲等在內的12個指標分為背景評價、輸入評價、過程評價和結果評價四個維度，而后以其作為一級指標并設28個二級指標，建立了精品開放課程評價指標體系。王璐等[15]以8門學習主體為在校大學生的國家精品資源共享課為代表，基于扎根理論分析有關課程質量的學習者評論，構建了面向學習者感知的在線開放課程質量評價指標體系，囊括系統特性、視頻質量、教師隊伍、教學內容、輔助性學習資料5個一級指標和17個二級指標。

另一部分研究并未對對象作嚴格限制，在校學生與社會人士均可作為適用對象，如鞏永華和李祎茜[16]從知識轉移效率的角度切入，運用魚骨圖分析法和模糊綜合評價方法構建了含有教師、學生、課程、平臺4個一級指標和下屬12個二級指標的 MOOC教學質量評價模型。李爽等[17]采用半結構式訪談方法，綜合扎根理論和關鍵詞分析統計三類在線課程價值主體的在線課程質量觀，將課程目標、課程內容、實施效果確定為在線課程核心質量要素。

此外，層次分析法(The Analytic Hierarchy Process，AHP)作為一種層次權重決策分析方法，具有系統、靈活、簡潔的優點，被廣泛應用于教學質量評價體系的構建。石兆[18]利用層次分析法構造層次結構模型，并通過層次總排序建立高校在線開放課程質量評價指標體系，既使評價全面而系統，又保證了測評結果的客觀準確。王勤香[11]將層次分析法與樣例歸納總結、實踐經驗分析相結合，得到量化而具體的MOOC質量評價標準，有助于客觀、準確、精細地分析評價結果。但AHP法的評價結構十分依賴決策者個人的專業知識和經驗判斷力，具有強烈的主觀性，而群決策方法的引入可以彌補這一不足[19]。岳進等[20]將專家群決策與區間層次分析法結合用于構建MOOC適切性評價模型，提高了決策的容錯性，確保了評價模型的客觀性與普適性。

綜上所述，國內外學者對制定線上開放課程教學質量評價體系予以重視，尤其是國內學者對于相關課題的研究，有助于填補我國在這方面的研究空白。但現有成果大多將在線開放課程與線下課堂割裂，無法很好地應用于高校線上線下混合式教學質量的評價。目前國家層面雖然已經有一流課程的評價體系，但是由于學科的差異性，不同類型學科的課程教學評價體系還可以做得更加細致。在“新工科”和“金課”建設背景下構建高校土木類在線開放課程教學質量評價體系迫在眉睫。由此，本文主要研究高校線上線下混合式教學過程中土木類在線開放課程的教學質量，將基于AHP群決策方法，兼以結合CIPP評價模型，制定金課背景下針對土木類在線開放課程的教學質量評價體系，以期為線上線下混合式教學過程中土木類在線開放課程的教學改革指引方向。

二、研究內容與數據分析

(一)研究內容

本研究以AHP群決策方法為指導。設有k名專家參與群決策，即專家組P=(P1，P2，……，Pk)；對方案進行評價時需要考慮的屬性有q個，即準則層C=(C1，C2，……，Cq)；參與評價的具體方案有m個，即方案層S=(S1，S2，……，Sm)。AHP群決策層次結構模型如圖1所示。

圖1 群決策層次結構模型

在此基礎上，需要確定專家組中各個成員的權重，并要求專家對用于決策的各屬性給出各自的屬性重要性判斷矩陣，進而計算出各層次屬性的組合權重[21]。為此，首先需要明確準則層屬性的具體內容，在此，本研究引入CIPP評價模型。CIPP評價模型由背景評價、輸入評價、過程評價和成果評價四項評估活動組成，具有全程性、過程性和反饋性特點，保證了被評估體系的可持續性，可以合理解決在線開放課程的評估問題[14]?；诖?，本研究將組成在線開放課程的教學活動分為四部分，即課程依托、課程設置、課程實施和課程效果，分別對應CIPP評價模型的四項評估活動，作為層次結構模型的一級指標。而后通過文獻分析參考國內外現有研究成果并輔以專家問卷，在一級指標基礎上設二級指標12項、三級指標35項，最終確定準則層各屬性內容如圖2所示。

圖2 專家Pi的層次結構部分圖

在圖2中，從左至右依次為目標層Z，專家層P，準則層C1、C2、C3和方案層S。目標層Z為評價土木類在線開放課程教學質量這一研究目標；專家組P為參與評價的各位專家，圖中以Pi為例；準則層C1為基于CIPP評價模型確定的一級指標，包括背景評價“課程依托A1”、輸入評價“課程設置A2”、過程評價“課程實施A3”和成果評價“課程效果A4”；準則層C2、C3依次為二級指標和三級指標，如一級指標“課程依托A1”下設三個二級指標，分別為“教學目標A11”“教學團隊A12”和“教學平臺A13”；方案層S則是應用該體系進行教學質量評價的具體在線開放課程。

為構造判斷矩陣以便進行后續權重分析，本研究邀請了20位來自河海大學、南昌大學、西安科技大學等高校的各專業專家參與研究，向其發放問卷衡量各指標間的相對重要性關系。

表1 問卷專家組成員信息

問卷專家組成員分布情況如表1所示。從從教時間看，15年以上共10人占50.0%;11～15年共7人占35.0%;6～10年共2人占10.0%;5年以下1人占5.0%，可見專家組成員以從教經驗豐富的專家為主，同時結合中青年專家思維活躍、創新性強的優勢，優化了專家組成。從所在專業看，土木工程專業共7人占35.0%，工程管理專業共9人占45.0%，工程造價專業共2人占10.0%，給排水科學與工程專業共 2 人占 10.0%，充分吸收土木類各個專業的專家意見，有助于準確制定針對土木類在線開放課程的教學質量評價標準。從專家接觸MOOC數量來看，15門以上共2人占10.0%，11～15門1人占5.0%，其余17人均為6～10門，占85.0%，可見專家組成員接觸在線開放課程數量多，對其教學模式較為熟悉，作出可靠判斷的概率更大。

在判斷矩陣的構造上，本研究沿用Saaty的1～9 標度法，具體如表2所示。

表2 1～9標度法

從而專家Pi根據準則層Cj給出的k個指標兩兩比較的判斷矩陣為：

由此，通過計算矩陣最大特征根λmax和其對應的特征向量ω，再經歸一化處理得到準則層各指標的相對權重系數。

本研究利用Excel軟件對問卷數據進行處理，計算得到各準則層不同指標間的相對權重系數，對其進行層次排序后形成土木類在線開放課程教學質量評價體系，分析各指標間的權重關系，為進一步推進高校土木類在線開放課程教學改革提出改進思路與建議。

(二)專家問卷結果數據處理

專家問卷發放20份，回收20份，回收問卷均為有效問卷，專家積極系數100%，表明本次問卷函詢效果好，專家對課題關心程度高。

在得到專家構造的判斷矩陣后，首先對其進行一致性檢驗。在實際研究過程中發現，部分專家給出的判斷矩陣一致性不高，難以得出較為可信的權重向量結果，因此，本研究借鑒文獻[22]中提出的方法對這部分矩陣進行了修正，在不大幅改變權重向量結果的條件下使其順利通過一致性檢驗，具體流程如圖3所示。

圖3 一致性檢驗流程圖

為計算得到各指標間相對權重系數，需要對通過一致性檢驗的全部專家矩陣進行集結。本研究采用判斷矩陣集結的方法，對各專家判斷矩陣采用加權幾何平均法進行聚類，得到

表3 準則層C1綜合判斷矩陣表

運用方根法，將綜合判斷矩陣按行相乘后開四次方根，并作歸一化處理，計算得到特征向量

此即為準則層C1各元素Ai對目標層的權重系數，同時計算得到該矩陣的最大特征根λmax=4.004 2，則一致性指數

為了衡量CI的大小，引入Saaty隨機一致性指標RI，如表4所示。

表4 隨機一致性指標RI

查表可知，當n=4時，RI=0.90，則該矩陣一致性比例

通過一致性檢驗。

重復以上過程，依次計算準則層C2、C3各元素的權重關系，并進行一致性檢驗，最終整理得到層次排序表，如表5所示。

表5 層次排序表

三、研究結果

在層次排序表中列出一級、二級和三級指標的權重系數，準則層C3下三級指標的總權重按下式確定

總權重ω=權重ω1×權重ω2×權重ω3

讀表可知，從一級指標來看，課程效果在教學質量評價中所占權重最大，達到0.318；課程設置次之，權重為0.278；課程實施與課程設置接近，占0.249；而課程依托最末，僅占0.155。對于CIPP評價模型而言，成果評價是土木類在線開放課程教學質量評價中最為關鍵的一環，這與OBE理念的觀點不謀而合。盡管如此，在該評價體系中，成果評價指標與其余三個一級指標之間并未拉開太大的權重差距，故而背景、輸入與過程評價的作用同樣不容忽視，與聚焦于成果評價的OBE理念相比綜合性更強。在對具體課程進行評價時，一旦發現學生對課程效果的打分較低，可以直接在背景、輸入與過程評價中尋找得分同樣較低的指標，溯源找到導致課程效果低得分的關鍵因素，進而制定針對性的解決方案，為學生取得應有的學習成果提供保障。

從二級指標來看，教學目標在課程依托指標下所占權重最大，占0.495；教學設計在課程設置指標下所占權重最大，占0.434，教學內容緊隨其后，占0.390；課堂組織在課程實施指標下權重占比超過五成，達0.513；學習收獲在課程效果指標下作用最強，權重占比達到0.659。結合權重縱觀教學全過程，可以梳理出這樣一條優質土木類在線開放課程的教學脈絡：以合理的教學目標為指導，確定合適的教學內容，制定恰當的教學計劃，再憑借出色的課堂組織，最終讓學生學有所成。

從三級指標來看，總權重排序前五位的指標依次是提升綜合能力、掌握專業知識、時間分配合理、設置課后討論和學生學習興趣。其中，提升綜合能力、掌握專業知識和學生學習興趣等三個指標屬于一級指標課程效果，而時間分配合理和設置課后討論兩個指標屬于一級指標課程實施?？倷嘀嘏判蚰┪逦坏闹笜税吹剐蛞来问遣僮黜憫俣?、界面設計合理、課程推廣力、市場競爭力和教師教學風格，均屬于一級指標課程依托。可見三級指標總權重排序結果與一級指標大體接近，一定程度上表明層次排序表邏輯自洽。另一方面，末四位指標均屬于二級指標教學平臺，其總權重之和僅有0.028 56，可見教學平臺的選擇對土木類在線開放課程教學質量的影響微乎其微。

此外，三級指標的權重結果也對由一級指標在CIPP評價模型下代表的四項評估活動的重要性程度作了進一步的補充細化。如前所述，成果評價是土木類在線開放課程教學質量評價中最為關鍵的一環，但從三級指標的角度看，真正關系到教學質量好壞的評價點實則為學生是否被激發出學習興趣，并能切實從相應在線開放課程中獲得知識儲備、得到能力提升或是對土木行業的前沿發展有所了解，而非單單指這門在線開放課程能夠取得不錯的學習成績。事實上，關系到學習成績的三項三級指標的權重明顯落后于其他多數指標，其中課程優秀率和學習證書取得率僅在全部35項三級指標中排序第29位和30位。另一方面，雖然課程依托的權重在一級指標中居于末位，但教學目標符合行業需求這一三級指標的總權重排序達到了10位，高于其余七成指標。由此可見，單單從一級指標所代表的四項評估活動對土木類在線開放課程的教學質量進行評價是狹隘的，要得到準確的評價結果應當充分考慮更為細化的三級指標。

四、研究結論與建議

(一)研究結論

近年來在線開放課程的迅速普及對高等教育教學改革既是機遇又是挑戰。為響應教育部“金課”建設號召，在“新工科”背景下培養創新型智能建造工程科技人才，土木類在線開放課程的頂層設計和教學質量評價體系亟待改革。

本文基于高校線上線下混合式教學模式，利用Excel軟件輔助計算，運用AHP群決策方法通過專家問卷制定了包括課程依托、課程設置、課程實施、課程效果等4個一級指標和12個二級指標，以及35個三級指標在內的面向土木類在線開放課程的教學質量評價體系，并得出如下結論：一是課程效果在一級指標中所占權重最大，說明成果評價是土木類在線開放課程教學質量評價中最為關鍵的一環；二是明確了一條優質土木類在線開放課程的教學脈絡，即以合理的教學目標為指導，確定合適的教學內容，制定恰當的教學計劃，再憑借出色的課堂組織，最終讓學生學有所成；三是雖然三級指標總權重排序結果與一級指標大體接近，但仍有部分指標與此不符，要獲得準確的評價結果應當使用細化的三級指標進行具體評價。

(二)建議

(1)課程效果在土木類在線開放課程的教學質量評價中處于最為重要的地位，具體而言，相對于學習成績的優劣，學生綜合能力的提升、對專業知識的掌握和對土木行業發展前沿的了解是評價教學質量的關鍵所在。因此，在土木類在線開放課程的教學設計上，應當將擴展學生的學習收獲放在首要位置，既要讓學生切實掌握課程專業知識，又要給學生以提升綜合能力的機會，還要通過設置專題模塊、穿插現實案例等方式展示土木行業的發展前景，架起學習與就業之間的橋梁。

(2)除學生的學習收獲之外，課堂組織對教學質量的影響最為強烈。受在線開放課程教學形式所限，在線視頻時長較短，章節結構相對松散，對授課教師分配課堂時間的能力要求更高。同時，由于線上課后討論的信息交流存在滯后性，需要教師時常登錄教學平臺檢查和參與討論，以便及時解答學生疑問。

(3)教學平臺下四項三級指標權重居末四位，說明教學平臺的選擇對土木類在線開放課程教學質量的影響微乎其微。而國內現有的如中國大學MOOC、學堂在線等學習平臺發展已久，技術足夠成熟，均能很好地滿足線上線下混合式教學需求，并給學生以優質的學習體驗，故而在進行土木類在線開放課程的教學設計時，可以放寬對平臺素質的要求，在平臺選擇上投入相對較少的經費，將更多資源傾斜給對教學質量影響更大的因素，如聘請優質師資、購入更多學習資源等。

綜上所述，本研究構建的土木類在線開放課程教學質量評價體系邏輯嚴密，具有一定應用價值，可以在高校混合式教學過程中有效評價已有在線開放課程的教學質量，為土木類在線開放課程教學改革提供參考。