



摘 "要:課程質量評價作為高校教學質量監控與保障工作中最為重要的一環,其評價結果能夠為高校教師和管理人員及時調整教學策略提供針對性建議,從而提高教學質量。但現行評估方法的評價指標大多采用簡單加權平均等策略給定指標權重,存在主觀性和片面性局限。針對該問題,該文提出引入機器學習方法,建立基于強化學習的課程教學質量評價指標優化模型。首先分析現有教學質量評價指標體系設置優缺點,然后引入強化學習方法,提出教學質量評價指標自適應優化方法,最后引入蘇州科技大學計算機科學與技術專業的現有教學評估數據,驗證指標優化模型準確性。結果證明,該文模型優化后的評價指標權重更為合理,評價結果更符合基于OBE理念的課程評價結果,將有助于建立一個更加科學可靠的教學質量評估標準體系。
關鍵詞:課程教學質量;強化學習;評價模型;指標優化;評估方法
中圖分類號:G642 " " "文獻標志碼:A " " " " "文章編號:2096-000X(2025)07-0106-05
Abstract: As the most important part of teaching quality monitoring and assurance in universities, course teaching quality evaluation can provide targeted suggestions for university teachers and administrators to adjust teaching strategies in a timely manner, thereby improving teaching quality. However, most of the current evaluation methods use simple weighted average strategies to assign indicator weights, which is subjective and one-sided. In response to this problem, this paper proposes to introduce machine learning methods to establish an optimization model for curriculum quality evaluation indicators based on reinforcement learning. First, The paper analyzes the advantages and disadvantages of the existing teaching quality evaluation indicator system, then introduces reinforcement learning methods, proposes an adaptive optimization method for teaching quality evaluation indicators, and finally it introduces the existing teaching evaluation data of the computer science and technology major at USTS to verify the accuracy of the model. The results show that the optimized evaluation indicator weights in this model are more reasonable, and the evaluation results are more in line with the real teaching evaluation results based on the OBE concept, which will help to establish a more scientific and reliable teaching quality evaluation standard system.
Keywords: course teaching quality; reinforcement learning; evaluation model; indicator optimization, assessment method
隨著我國各領域的人才競爭日趨激烈,作為人才供應重要的基地,高校面臨提升人才培養能力的緊迫課題。為確保培養質量的達成,建立科學合理的教學質量評價方法成為地方高校改革發展的核心任務之一[1]。與此同時,高校也越來越重視工科、師范等專業的人才培養特點,積極參與包括工程教育認證、示范認證在內的各類基于OBE理念的教學質量評價活動,評價專業培養質量時更注重學生實操能力、崗位勝任能力等出口成果導向,因此,這些專業的課程教學質量的評價結果也應以學生為中心,充分服務于出口能力培養目標,從而為客觀評價高校教育質量乃至動態調整和持續改進提供數據支持[2]。
然而目前高校的教學質量評價方法仍存在著一定的傳統性[3],一般來說,大部分高校已建立教學管理者(教學督導)、同行評教和學生評教為代表的多方教學質量評估體系,并設計各方使用的具體評價指標及評教表格,按照表格評分后其值作為教學質量評估結果,這類方法雖然有一定客觀性和合理性,可操作性較強,但相對當前信息類專業教學質量評價的客觀需求,尚有不足:
一是指標權重分配不合理。基于指標的評價結果大多采用加權計算方法,因此權重也是影響評價效果的重要因素,傳統做法或者依賴歷史經驗,或者采用主成分分析、AHP等依賴專家經驗的分配方法[4-7],往往存在主觀性,可靠性不足。
二是缺乏對出口導向的支持。當前信息類專業教學大多已引入OBE理念,并積極參與包括工程教育認證在內的出口導向評估,已存在包括達成度評價等在內的評估結果,但尚缺乏將傳統教學質量評價與這些出口導向評測結果關聯的評估方法,使得傳統質量評估結果缺乏實際意義。
由此可見,針對當前高校基于傳統方法的信息類專業教學質量評價方法的不足,分析研究評價新模型、新方法現實意義顯著。
一 "出口導向的教學質量評價模型設計思路
仔細分析傳統質量評價方法的不足,并結合信息類專業引入OBE理念的教學特點,可以發現上述不足的關鍵原因在于評價方法與基于學生出口能力的評估結果(例如工程教育認證相關的評估結果)聯系松散,指標權重設計過于依賴人為主觀設計,缺乏科學合理的調整,導致傳統方法難以實現對教學質量的客觀評價,更遑論對持續改進的支持。因此本文提出的改進思路為:發揮傳統評估方法對教學過程和涉及要素覆蓋面廣的優勢,同時結合出口導向的定性評估準確性優勢,將質量評價和評估結果聯系起來,基于結果對指標體系尤其是權重進行優化,確保質量評價方法結果符合評估結果,從而實現合理、可靠的評價模型。但其難點在于如何依靠定性的評估結果對面向過程的多方、多維質量評價模型進行調整。考慮到機器學習技術在參數優化問題的優勢及其在教學質量評價領域中的應用經驗[8-9],尤其是強化學習在自適應優化領域的突出優勢,本文引入強化學習技術來實現評價指標優化模型設計與實現。
強化學習作為機器學習領域的一個重要分支,其訓練過程中不依賴于對數據樣本標簽的擬合,而以獲取最大累計獎賞為目標,通過智能體與外部環境相互作用,最終學到最優策略。面向教學質量評價指標體系優化的強化學習模型如圖1所示。首先智能體從環境(即教學質量評價活動數據)中獲取狀態(即評價指標權重),然后智能體根據狀態選擇動作(對指標權重進行調整),并作用于環境,進行教學質量評價,其評價結果與出口導向的評估結果進行對比,其質量(即按更新的權重對課程教學質量評價后其結果與評估結果的符合程度)作為反饋動作相對應的獎賞,并進入下一步狀態。最后智能體根據獲取到的獎賞更新策略。這個過程將不斷重復,直到環境到達終結狀態并結束。通過上述過程,評價指標體系將與出口導向的評估結果相聯系,最終實現兩者的契合,從而實現評價模型的優化,進而支持對教學質量科學、合理的評價。
圖1 "面向教學質量評價指標體系優化的強化學習模型
二 "基于強化學習的信息類專業教學質量評價模型設計
(一) "指標體系建立
教學質量評估的首要前提是如何設計科學合理的指標體系,由于當前信息類專業的課程教學建設一般都遵循出口導向和持續改進等基本原則,因此本研究將評估指標體系設計如下:縱向按教學階段分為“課程建設、教學過程、反饋評價、改進提高”四個一級指標,其下分別設計相應的二級指標,橫向則按評價對象分為教學管理者評價、教師同行評價、學生評教三類,從不同視角設計各自負責評價的指標內涵,以蘇州科技大學計算機科學與技術專業的理論課程環節為例,其指標體系見表1。
該指標體系由教學管理者(教學督導)、同行教師和學生三個評教方開展,其中學生是課程教學內容接收者,但其對教學理論等專業領域并無理解,因此指標內涵更多從學生接受角度進行設計。同行教師一般為相同或相近專業,對培養方案、課程體系以及認證評估等方面理解較為深刻,同時經驗也較為豐富,因此其指標內涵更多反映對教學質量的專業評價。教學管理者(教學督導)通常則由學校層面進行安排,其指標內涵更多從教學管理、質量控制角度設計,更多從硬性指標和可量化角度進行設計。此外,為便于評價者工作,所有指標的評價結果均采用4級制(1級為優秀,2級為良好,3級為一般,4級為不合格),該指標體系與蘇州科技大學的教務系統中有關課程教學質量評價時數據收集的方式一致,從而便于本文進行數據的采集和處理。
(二) "基于強化學習的評價指標優化方法
使用強化學習的指標優化本質上可視為一個馬爾可夫決策過程,以指標體系的權重作為狀態,優化的核心在于決策動作以及相應的獎賞設計,考慮蘇州科技大學的信息類專業已全部實施工程教育認證,在每一屆學生畢業時都需要完成畢業要求達成度計算,計算過程中會得到每一門課程的畢業要求達成度值,同時還會引入社會第三方對畢業生進行相應的調查,共同構成對課程的評價結果,因此從出口導向及與認證評估工作銜接角度出發,本文使用上述課程評價結果作為課程教學質量客觀評價參考,基于評價結果確定不同課程的質量排序關系,而指標權重優化決策的獎賞則以某狀態下計算得到的課程評價排序與參考的評價排序之間的符合程度計算。基于上述思路,基于強化學習的評價指標優化算法可以由元組lt;S,A,R,Q,?琢,?酌gt;以及表示,其中:
S表示有限狀態集{a1,…a4,b1,…b6,c1,…c3,d1,…d3},代表優化過程中表1所示指標體系的當前權重值集合;
A表示有限動作集,表示對指標權重的調整,設計為增加、減少、保持三種動作策略,幅度為1%;
R表示獎賞,其值計算公式為R=?撞fi,j,其中fi,j代表使用當前動作實施后的指標權重所計算出的課程質量評價位序中,課程i和課程j的位序關系符合基于達成度和第三方評價計算出的參考位序關系,記fi,j=1,所有符合位序關系的課程對的總數量為R,其值即當前動作的獎賞;
Q為Q值表(Q-table),是一個二維矩陣,起決策作用,其中的行和列分別表示state和action,Q-table中的元素為Q(state,action)值。Q(state,action)值常用來衡量在狀態state下選擇動作action的好壞。當獎賞值的大小與動作的好壞程度呈正相關時,Q值則越大越好,反之亦然。計算公式如下
式中:?琢為學習速率,決定對之前訓練效果的保留程度;?酌為折扣因子,初始化時算法需建立一個Q-table,初始值為平均設置各指標權重。在學習過程中,假設時刻t,Agent所處狀態為St(算法輸入),采取動作at遷移至下一狀態St+1,并獲得立即獎賞Rt,根據式(1)更新Q值表。通過不斷迭代,最終收斂至最優狀態動作值函數,并依此獲得最優的指標權重。
三 "實例分析
(一) "訓練數據采集和構建
本文選取的教學管理者(教學督導)、同行教師和學生評價表以及基于工程教育認證的畢業要求達成度數據均來自蘇州科技大學計算機科學與技術專業2018、2019兩屆學生的實際數據。
考慮到強化學習算法對數據的樣本數量要求,以及計算指標體系下的評價結果與基于達成度的位序符合程度計算強度,本文僅選擇計算機科學與技術專業所涉及的所有考試課程和專業核心課程(共39門),這些課程分別由學生(兩屆共計160余人)、同行教師(每門課均有2~5名同行教師評教)、教學管理者(教學督導1~2名)進行打分,去除部分有缺失、評分明顯失真(如全是最高分或全是最低分)的低質量數據后,共計形成6 552條評價結果,并結合2022年度由第三方調查公司實施調查并形成的《蘇州科技大學 2016—2018屆計算機科學與技術專業畢業生畢業要求達成與人才培養反饋跟蹤報告》中的課程質量評價反饋數據,以及2022、2023年計算機科學與技術專業進行的畢業要求達成情況評價結果中相應課程的達成度評價數據,使用上述強化學習指標優化算法進行計算,獲得教學管理者評價、教師同行評價以及學生評教各自指標體系的最優權重結果。
(二) "最終結果及其分析
基于上述實際數據的計算,形成的評價指標體系權重結果見表2。
從權重調整結果來看,原來按固定比例分配的四大一級指標中,教學過程中的二級指標權重在三個評教方都得到了增長,其中教學內容、教學方法設計、教學工具應用以及教學態度增長幅度較大,而這幾項二級指標都反映了一個教師的授課水平以及授課態度,只有具備較好能力和態度的老師才能針對一門課程設計有針對性、有價值的教學內容,選用合適的教學工具,并以充分的熱情開展教學工作,講課過程中充分調動學生參與,從而有效地提高教學質量,這在由第三方進行的以學生能力為考核目標的課程評教結果中也得到了印證。這說明在實際的教學評價環節中,需要針對這些方面重點開展評估,以此更好地促進學校教學工作的開展。除此以外,課程建設、反饋評價以及改進提高等一級指標下的各二級指標在不同評價方優化后的權重增減情況不一,其中教學進度、成績評閱兩個二級指標均出現了權重下降,經數據分析發現,這兩個指標大部分評價方評分均較為統一,其區分度不高,導致其對教學質量的評價關聯度下降,而其他二級指標則均出現不同的增減情況,分析其原因較為多樣,例如教師同行與督導對達成度評價這一指標質量要求把握程度不同,導致教師同行評價普遍偏高,督導評分相對客觀,因此權重調整情況出現差異,類似的還有輔導答疑工作,督導和教師同行評分大多比較統一,而對學生來說,其對教師平時的輔導工作有更為切實的了解,其評分更客觀,因此權重調整學生方出現了增加,而督導與教師同行出現了下降。總而言之,本文評價模型通過強化學習自適應的根據OBE出口導向的客觀評價數據對教學評價指標體系進行優化和調整,其結果能夠有效支撐當前工科專業以工程教育認證為代表的教學評估需求。
四 "結束語
利用本模型進行高校課程教學質量評估指標體系的優化,通過在蘇州科技大學的實際數據驗證,發現模型能夠有效地依據出口導向的客觀評價結果數據,較好地對教學評價指標權重進行優化,使得基于指標體系的教學質量評價結果能夠有效、準確地反映課程真實情況,并能夠對以工程教育認證為代表的教學質量評價工作提供有利支撐。強化學習方法本身有嚴格的數學基礎,具有自適應利用數據信息進行學習和推理能力,能夠較好地利用先驗知識。但由于強化學習模型本身的適用性,目前文章涉及的評價模型對已有的客觀評價課程數據的質量有較強的依賴性,這些數據也需要相關人員花費較多精力收集和處理。未來如何利用包括專家知識庫、層次分析方法等其他評價模型的優點,對本文模型進行擴充,以此設計更優的綜合教學質量指標體系優化模型。
參考文獻:
[1] 沈樹聲,鄧沿生,夏建中,等.新工科背景下教學質量評價體系構建與實證研究[J].電化教育研究,2023,44(8):103-107.
[2] 陳紅華,史曉云,余愛華.OBE理念下構建高校教學質量管理體系的思考[J].黑龍江教育(高教研究與評估),2021(2):3-5.
[3] 丁艷,萬千一.高校教學質量評價體系存在的問題研究綜述[J].創新創業理論研究與實踐,2021,4(8):3-6.
[4] 潘丹,邱玉蓮,李瑞瑋,等.基于DM-AHP-FCEM的專業碩士課程的教學質量評價指標體系構建與應用研究[J].黑龍江高教研究,2023,41(7):97-103.
[5] 錢方兵,李政,錢桂芳.基于FAHP分析的高校創新創業人才培養質量評價體系構建與實證分析[J].思想教育研究,2022(10):151-158.
[6] 冉燕輝.基于灰關聯分析的教師教學質量評價研究[D].重慶:重慶師范大學,2015.
[7] 鄧曉衡,劉鐵雄,鄭靜益,等.基于AHP和排序比的高校本科教學質量評價方法[J].計算機教育,2019(5):86-89.
[8] 郭欣,殷子龍,陳瑛,等.基于改進PSO-BP神經網絡的教學質量評價模型[J].現代電子技術,2023,46(12):146-152.
[9] 孟慶祥,王帆,馮苑君,等.基于CNN的教學質量評估模型研究[J].高教學刊,2023,9(S1):14-17.