大模型在學業測評中的研究與應用

關鍵詞：大模型；學業測評；反思報告；課程自反饋平臺；課程高階目標

中圖分類號：G642 文獻標識碼：A

文章編號：1009-3044（2024）36-0107-03 開放科學（資源服務） 標識碼（OSID） ：

0 引言

在教育領域，學業測評是衡量學生學習成效的核心指標，尋找既能精準評估學生核心技能，又能充分激發他們內在潛力的新型學業測評方法，不僅是對現有教育評價體系的創新，也是推動教學公正性和個性化教育發展的重要舉措。基于結構化反思報告[1，2]的學業測評，實施方法是要求學生對一個知識點進行深入反思并在實際場景中加以應用，目的是加深他們對知識點的理解。雖然反思報告已經在多個院校得到推廣，但存在人工批改效率低下、反饋不及時等問題，限制了其進一步的普及。鑒于此，利用大語言模型的強大算力，設計并開發基于大模型的課程自反饋系統，以實現結構化反思報告的自動批改和個性化反饋，顯得尤為重要。

1 新型學業測評

近年來，隨著教育理念的演進和信息技術的創新，國內外高等教育機構正在積極探索多元化評估體系[3]。這些新興模式包括項目作業、課堂參與、小組討論、在線測試和實踐操作等，旨在全面評價學生的知識整合能力、批判性思維、團隊合作精神和創新潛力。在國際上，歐美頂尖學府倡導以過程為導向的評估框架，強調學生在學習過程中的主體地位[4]。美國的杜克大學與英國的牛津大學已運用數據分析技術精煉課程結構，通過集成智能算法分析學生的學習動態，預測學習趨勢，并提出針對性的學習策略建議。澳大利亞的墨爾本大學，則通過自然語言處理技術自動化批改作業以減輕教師的工作量，同時確保反饋的即時性與精確性，從而有效提升教學效率與質量[5]。此類測評不僅能客觀公正地評估學生的學習成果，還能促進教師教學策略的迭代升級，激發學生的學習興趣和動力。

經調研，選擇結構化反思報告作為新型學業評估工具，旨在激發學生的深層次學習動機，并促進批判性思維及自我反思能力的提升。結構化反思報告主要是讓學生針對某個重要的知識點進行深入地研究和探索，并在理解的基礎上回歸學習初心（應用知識） 。即學生需要根據一個明確的框架，詳細描述自己的學習收獲、實際應用以及未來計劃，以此展示他們的知識整合和創新應用能力，目前結構化反思報告已在上百個院校實施。依托數據分析與可視化課程，每份反思報告需要回答三個問題，評價標準見表1。

問題1：知識或技能獲取。作答要求：選一個課程中你認為最重要的知識或技能，詳細展示，并標明出處。

問題2：應用實踐。作答要求：用此知識點來評價自己的學習，說明哪些是需要保持的，哪些是堅決停止的，哪些是需要改進的。

問題3：其他應用展望。作答要求：設想新的應用情景，為實際應用做準備。

2 教學實施

大數據專業核心課程數據分析與可視化的教學實踐圍繞兩大核心目標展開：一是基礎目標，側重理論知識的傳授與吸收，通過期末閉卷理論與實踐相結合的綜合考試，系統評估學生對數據分析與可視化基本原理的掌握程度；二是高階目標，著重于理論向實踐的轉化，激勵學生將抽象知識轉化為解決實際問題的能力，要求學生在復雜情境中靈活運用所學，以展示批判性思維與創新解決問題的技能。

為了實現課程的高階目標并提升學生的實際應用能力，引入了結構化反思報告。這一機制旨在引導學生深入剖析自身學習歷程，反思知識應用的得失，促進批判性思維和自我提升。具體的實施流程如圖1 所示：（1） 設計學業測評方案，根據課程的高階目標，教師設計反思報告的問題、要求，數量、頻次、公布評分標準；（2） 教師在超星系統發布任務；（3） 學生提交反思報告，部分報告實行互評；（4） 教師對反思報告進行校正并給出反饋；（5） 收集反思報告樣本，構建結構化反思報告的訓練數據集；（6） 部署大模型平臺；（7） 通過訓練集對大模型平臺進行微調；（8） 搭建課程自反饋大模型平臺；（9） 學生使用課程自反饋大模型平臺進行反思報告的批閱及反饋；（10） 學業測評方案和課程自反饋大模型平臺的優化和迭代。

在一學期的教學實踐中，積累了980份詳盡的結構化反思報告。在實施的過程中，反思報告依賴人工批改，這一過程不僅耗時且容易產生滯后，導致反饋的及時性和有效性大打折扣。另外，教師工作量的劇增，使得個性化指導難以實現，這無疑成為結構化反思報告機制廣泛應用的一大瓶頸。課程自反饋大模型平臺的引入，不僅解決了反饋機制中的人力資源瓶頸，還極大豐富了學生的學習體驗，促進了個性化學習路徑的形成。學生能夠自行獲取反思報告的評價，并根據評價及修改建議進行相應的調整，以提高效率。

3 課程自反饋大模型平臺的部署

作為智譜AI與清華大學KEG實驗室共研的Chat-GLM3大語言模型，其出色的語言理解和多輪對話能力，為教育革新提供了強大技術支持。ChatGLM3大語言模型的內置代碼和網絡搜索增強功能，豐富了教學資源和互動方式，丌源特性也降低了教育技術應用門檻，因此選它作為大模型平臺。

在部署過程中，選擇了Ubuntu 22.04作為操作系統，PyTorch 2.1.0作為深度學習框架，Python 3.10作為編程語言，以及Cuda 12.1作為GPU加速庫。

通過訪問ChatGLM3 大語言模型的GitHub 倉庫以獲取模型的源代碼。隨后，從Hugging Face平臺下載預訓練模型。接下來進行安裝和配置，這一階段包括了解壓縮模型文件、設定環境變量、安裝所需的依賴項以及運行demo以進行測試。

模型部署是ChatGLM3大語言模型應用的關鍵環節。在服務器上部署該模型時，必須對模型的輸入輸出接口進行配置、設定推理參數以及優化模型性能等步驟。為了保障模型的穩定性和可靠性，還需要進行全面的測試和驗證。具體步驟見表2。

4 數據處理與模型微調

為了針對結構化反思報告構建一個更高效的自反饋系統，需要對大模型進行微調。具體的操作流程如圖2所示。

4.1 數據處理

為構建結構化反思報告的訓練數據集，首先需要精心選擇用于微調的訓練樣本，以適應未來多樣化的反思報告需求。選定樣本后，進行樣本預處理，并根據模型要求，將反思報告的三個問題及其答案整理成標準的json格式。例如，以一位學生的反思報告為例，處理后的數據集如圖3所示。conversations指的是數據集格式的一部分，代表一個對話的集合，role是標識消息發言人的角色。常見角色有“system”（系統） 、“user”（用戶） 和“assistant”（助手） 。role為user代表實際與AI系統交互的用戶，role為assistant代表AI系統所扮演的角色，負責回應用戶的問題或請求，content 是與每條消息相關聯的內容文本，內容反映了發言人的意圖、請求或響應。

4.2 模型微調

模型微調利用預訓練模型與訓練樣本，通過選擇性調整高層參數而非從頭訓練，來適配新任務。此策略特別適用于小數據集，因預訓練模型已蘊含豐富特征與泛化力，通過微調即可快速適應新需求。

通過研究P-Tuning 與LoRA 這兩種主流微調方法，并對其進行系統性對比，如表3所示，結果顯示LoRA在對學生建議的捕捉和反饋上顯得不夠敏感，這可能會導致一些重要信息的遺漏。而P-Tuning方法則較為出色，能夠更精確地調整模型以適應特定的建議，從而提高整體的性能表現。另外在處理大規模數據集時，P-Tuning能更快地收斂并達到更高的準確率，LoRA則需要更多的訓練時間和計算資源才能達到相同的效果。基于上述研究，最終選擇了P-Tuning 作為模型微調的方法。

4.3 模型融合

模型融合其核心理念在于挖掘模型間的互補性。各模型對數據特性的感知差異賦予了它們各自的優勢與局限，通過融合這些模型，能夠構建出兼具多種視角的預測體系，有效彌補單一模型的盲點，提升模型的泛化性能，讓模型在面對新穎數據時展現出更強的適應性，增強預測的準確度與穩定性。

為了優勢互補，改善模型在復雜場景下的表現，將訓練完成的自反饋大模型與原有的通用模型進行融合。通過對比融合前后模型的性能，融合前的模型在處理反思報告時，出現了過擬合現象，表明模型在訓練集上表現優異，但在未見過的數據上泛化能力較弱。

4.4 模型驗證

采用P-Tuning微調后的模型，在學業測評這一專業領域的理解能力和響應質量得到了顯著提升，如學生反思報告的結構、學術語言的規范、評估標準的適用性等。模型學會了如何在反思報告的上下文中，對學生的作業進行細致入微的分析，提供既有深度又具針對性的反饋，使其能夠更好地適應和處理學業測評領域的問題。

5 課程自反饋大模型平臺的搭建

5.1 模型部署

云服務器有強大計算能力和存儲能力，這不僅可以大大減輕本地電腦的資源負擔，而且可以確保模型運行的穩定性和效率，因此本平臺將API服務部署在云端，在算力云服務器中使用FastAPI部署API服務端，本地著重于數據處理，部署網絡服務等。如圖4所示。在云服務器端，大模型接收到來自本地的請求后，立即啟動深度計算流程，對文本進行精細分析與處理。計算完成后，生成的響應結果將沿著相同的通信路徑回傳至本地自反饋平臺，從而完成一次完整的遠程模型調用周期。這一架構充分利用了云端的高性能計算資源，還確保了本地系統的輕量化與靈活性，為自反饋大模型平臺的實時分析與反饋提供了堅實的技術支撐。

5.2 應用開發

第一版課程自反饋大模型平臺的設計聚焦于提升教學效果和學習效率，其核心功能在于自動批改結構化反思報告并提供即時反饋，并將結果保存在MySQL數據庫中用以數據分析，以滿足教師和學生的不同需求。該平臺通過區分用戶角色（教師與學生） ，實現了定制化的界面和功能，確保了雙方都能從平臺中獲得最大價值。整體功能如圖5所示：

1） 學生端介紹

學生端的核心功能是報告評估頁面，是建議性網頁對話系統，如圖6所示。該系統的核心目標是輔助學生在提交作業前進行自我審查，為他們提供即時的反饋和建議。在系統中，學生能夠上傳他們的作業，并向系統提出關于如何改善作業、應注意的問題等咨詢。根據學生上傳的作業，系統會提供相應的報告分數和反饋，幫助學生在最終提交之前對作業進行自我檢查和修訂。通過這種方式，學生可以在完成作業的過程中獲得及時的反饋，提高自主學習的能力，有效提升作業的質量。

2） 教師端介紹

教師端的核心功能集中于提升作業處理的效率和減輕教師的工作量。教師只需簡單上傳或輸入學生的作業文件，即可激活平臺內置的智能算法，自動批改作業。這一過程不僅覆蓋了語法、邏輯、內容深度等多維度評估，還能根據預設標準給出綜合評分，為教師的后續審閱提供初步篩選。如圖7所示。

一旦自動批改完畢，平臺會生成詳盡的評價報告，包括每個學生的具體得分、批注以及改進建議，所有信息均以直觀圖表和清單形式呈現，便于教師快速查閱和分析。通過這一功能，教師能夠顯著節省用于常規批改的時間和精力，將更多注意力轉向課程設計的優化、學生個體需求的滿足以及課堂互動的深化，從而全面提升教學質量和學生的學習體驗。

此外，平臺支持復審功能，允許教師在自動反饋的基礎上，進行針對性的復核和補充，確保評價的公正性和有效性。這不僅提高了批改的效率，還保證了評價的深度與精度，為教師和學生之間的溝通搭建了更加高效和精準的橋梁。

6 總結與展望

為實現課程的高階目標，提升學生的批判性思維與實際操作能力，采用了結構化反思報告這一新型學業測評方式。針對反思報告存在反饋延遲及批改困難的問題，構建了課程自反饋大模型平臺。該平臺可提供反饋與個性化指導，不僅能對學生的學習成效進行更為全面的評估，更是教育與科技融合的有益實踐。

課程自反饋大模型平臺通過教師端和學生端的設計，提升了教學和學習效率，同時推動了教學的個性化與智能化發展。在后續版本中，擬進一步強化平臺功能，如引入更為多元的評估標準，提升人機交互的自然程度，以及提供更為豐富的學習資源與工具，從而滿足不斷變化的教育需求。此外，還將探索將該大模型應用于其他類型學業測評的可能性，研究如何提升其在學業測評中的公平性與有效性等問題。