數(shù)字化轉型背景下高職教育第三方客觀評價系統(tǒng)設計與實施

林健 陳百利

一、引言

隨著高等職業(yè)教育的快速發(fā)展，學生評價已成為教育質量保障的重要手段之一，因其客觀、公正和專業(yè)的特點，日益受到關注。數(shù)字化轉型是當前全球經濟和社會發(fā)展的主要趨勢，它已經深入到各個領域，也給職業(yè)教育帶來了新的機遇和挑戰(zhàn)。第三方客觀評價系統(tǒng)是數(shù)字化轉型在職業(yè)教育領域的一個重要應用，其可以為職業(yè)教育機構提供公正、可用的評價，幫助其發(fā)現(xiàn)問題、改進教學、提高人才培養(yǎng)質量。

本文探討了數(shù)字化轉型背景下高職教育第三方評價體系的現(xiàn)狀、問題及優(yōu)缺點，為設計和實現(xiàn)高職教育第三方客觀評價系統(tǒng)提供參考，并給出了基于云計算和大數(shù)據(jù)分析技術的第三方客觀評價系統(tǒng)的設計和實施方法，意圖借助這套系統(tǒng)更加科學地匯總分析教育評價數(shù)據(jù)，為教學整改提供數(shù)據(jù)依據(jù)。

二、第三方評價體系現(xiàn)狀分析

（一）專門的評價研究機構

麥可思是專門的評價研究機構的代表，是中國最早從事教育評估、人才培養(yǎng)質量評價等項目的專業(yè)研究機構之一，其評價結果在國內外具有較高的認可度和影響力。優(yōu)點是評價指標較為全面，數(shù)據(jù)來源較豐富，評價結果普遍受各大高校認可。其評價主要關注就業(yè)情況和授課效果等方面，忽略了諸如學生綜合素質、用人單位的反饋等。

（二）官方綜合性教育研究機構

以中國教育科學研究院、中國職業(yè)教育研究中心為首的官方機構，是中國教育科學的高端研究機構，在教育決策咨詢、教師教育、基礎教育、高等教育、學前教育、職業(yè)教育、特殊教育等領域擁有豐富的研究經驗和成果。其優(yōu)點是有足夠的權威性和專業(yè)性，其主要評價方式是量化評價，缺乏對教育過程中人文因素和主觀體驗的評價，同時其評價存在一定的滯后，無法及時反映教育現(xiàn)實的變遷和需求。

（三）在線教育平臺

智慧樹、超星、網易云課堂等在線教育平臺，除能夠提供在線學習平臺和課程資源外，還提供課程評價、學習成果認證等服務，能夠滿足不同類型和層次的學習需求。優(yōu)點是評價方式較為靈活，能夠根據(jù)不同學校和專業(yè)的需求進行個性化評價，并且包括在線測試、作業(yè)評價、課堂互動等，能夠靈活地適應不同的學習需求和課程要求，并提供數(shù)據(jù)統(tǒng)計和分析功能，及時收集并分析學習數(shù)據(jù)，為教師和學生提供反饋和指導。這些平臺也存在數(shù)據(jù)質量參差不齊、統(tǒng)計誤差等問題，需要進一步優(yōu)化數(shù)據(jù)采集和統(tǒng)計的流程，提高數(shù)據(jù)的質量和準確性，同時評價結果和反饋比較概括和籠統(tǒng)，難以針對不同學生和課程的具體情況提供個性化的指導和反饋。

根據(jù)上述對第三方評價機構的綜合分析，本系統(tǒng)設計意在將評價的對象聚焦在學生、課程及教學上，作為對于現(xiàn)有評價體系的有益補充和拓展。同時針對現(xiàn)有機構及平臺所采集的數(shù)據(jù)，提供數(shù)據(jù)導入的接口，進行二次統(tǒng)計和分析，深挖數(shù)據(jù)價值。

三、系統(tǒng)設計

（一）指標體系設計

指標體系是客觀評價系統(tǒng)的重要組成部分，它需要涵蓋教育質量的各個方面，包括教學內容、教學方法、教師水平、學生能力等。在設計指標體系時，需要考慮全面、科學、客觀、公正等原則，確保評價結果的真實性和可信度。但目前對于評價維度的設計尚未有行業(yè)公認的標準，本系統(tǒng)的指標體系設計為可定制、可維護的，以適應不同場景、不同課程的評價要求。

（二）系統(tǒng)數(shù)據(jù)流程設計

系統(tǒng)總體的數(shù)據(jù)流程如圖1所示。

1.數(shù)據(jù)來源

通過用戶錄入、外部接口傳入等手段，采集教育過程中的各種數(shù)據(jù)。目前教學過程數(shù)據(jù)主要包括：考勤簽到次數(shù)、學習視頻完成度、平時作業(yè)評分、提問次數(shù)、回答次數(shù)、考試成績、第三方評價等。

2.數(shù)據(jù)處理

對采集的原始數(shù)據(jù)進行清洗、標準化處理、分析等操作，提取有用的信息。這里使用Min-Max標準化的算法進行數(shù)據(jù)處理，但有些時候，我們采集到的數(shù)據(jù)里面，最小值不為零的，人工給予一個零值作為最小值。另外，在這些原始數(shù)據(jù)中，第三方評語的原始數(shù)據(jù)大多以文字方式呈現(xiàn)，故我們需要利用自然語言處理（NLP）技術將其感情色彩進行分析，從而得出一個可量化的百分制的分值。標準化后的數(shù)值，將乘以一個權重系數(shù)來構成學生的其中一個指標維度，比如學生的“學習積極性”可以由“提問次數(shù)”“回答次數(shù)”分別占50%的權重來構成，具體的權重設定，可以視乎每個課程的需要進行調整。數(shù)據(jù)具有時效性，隨著時間的推移，可以看到學生的能力是否有提升。

3.評價模型

根據(jù)設計的指標體系，建立評價模型，進行客觀評價。學生一旦匹配到某個典型的模型，或者某項能力指標偏低，能夠提供預警和改進建議。

4.結果呈現(xiàn)

將評價結果以圖表、報告等形式呈現(xiàn)給用戶，方便用戶了解教育質量的真實情況。而對于文字類的第三方評價數(shù)據(jù)，除了標準化后的數(shù)值以外，還提取評語關鍵詞，并根據(jù)這些關鍵詞的出現(xiàn)頻率，分別生成用于描繪學生個人畫像和群體畫像的評價詞云。

（三）系統(tǒng)架構設計

1.系統(tǒng)后端設計

系統(tǒng)服務后端使用了基于Uni-App的云開發(fā)技術進行開發(fā)，數(shù)據(jù)庫的元結構由一系列的DBSchema json文件進行維護管理，服務器的MongoDB數(shù)據(jù)表會根據(jù)設計好的DBSchema結構進行動態(tài)更新，同時前端頁面和服務端都能以同樣的DBSchema標準文件進行統(tǒng)一的對象操作。服務后端使用基于Node.js語法的“云函數(shù)”實現(xiàn)。

2.數(shù)據(jù)庫設計

本系統(tǒng)底層使用的是阿里云提供的非關系型數(shù)據(jù)庫MongoDB，系統(tǒng)的幾個數(shù)據(jù)表之間沒有實際的外鍵約束，但邏輯上也是一一關聯(lián)的，具體的數(shù)據(jù)庫設計（部分）如圖2所示。

3.功能模塊設計

系統(tǒng)主要分為三個主要功能模塊：學生端、AI助教、系統(tǒng)管理后臺。

學生端是面向學生個人用戶使用的，能看到學生自己實時的教學指標數(shù)據(jù)，也能參與群體排名，具有激勵自我成長的功能。

AI助教是當學生在學習上遇到困難時，可以在本系統(tǒng)發(fā)起答疑對話。目前其核心數(shù)據(jù)主要來源于兩個部分：一是利用AI平臺的智能對話UNIT來實現(xiàn)的AI對話，AI平臺可以根據(jù)需要進行替換；二是由教師預先設定好知識庫，一旦學生對話命中預設關鍵字，則會提供相應知識內容反饋。因目前AI對話在知識庫方面的廣泛性有余，專業(yè)性略顯不足，其不足部分由教師預設的知識庫提供，以保證知識的專業(yè)性和準確性。

系統(tǒng)管理后臺是針對每個不同的數(shù)據(jù)表進行數(shù)據(jù)查詢和維護的入口。

4.系統(tǒng)前端及界面設計

系統(tǒng)界面設計遵循大方、美觀、便捷等原則。前端使用基于Vue.js的Uni-App進行開發(fā)，代碼簡潔易于維護。

（四）系統(tǒng)關鍵技術及特點

1.數(shù)據(jù)存儲

采用OSS云存儲技術及Serverless服務端技術，存儲教育數(shù)據(jù)和評價結果。可以隨時進行升降配置，支持大規(guī)模的數(shù)據(jù)處理和分析。具有很好的可維護性及可拓展性。

2.數(shù)據(jù)處理

采用大數(shù)據(jù)處理技術，如Min-Max Normalization標準化處理等，對數(shù)據(jù)進行清洗、預處理、分析等操作，并使用自然語言處理（NLP）中的感情色彩分析、分詞、關鍵字提取等技術。把文字評價數(shù)據(jù)以量化的方式統(tǒng)計呈現(xiàn)出來。

3.評價模型

根據(jù)設計的指標體系，初步建立評價模型，在系統(tǒng)使用過程中，根據(jù)實際數(shù)據(jù)可進行模型的動態(tài)優(yōu)化調整。理論上該模型經過長期調整后會愈發(fā)趨于客觀公正。

4.結果呈現(xiàn)

采用數(shù)據(jù)可視化技術，如ECharts、詞云等，將評價結果以圖表、報告等形式直觀地呈現(xiàn)給用戶。

四、系統(tǒng)實施成效

目前，系統(tǒng)通過數(shù)據(jù)導入的方式，建立了新媒體營銷課程的數(shù)據(jù)，學生通過本系統(tǒng)，利用雷達圖能夠實時看到自己能力的優(yōu)劣，如圖3所示。

圖3系統(tǒng)個人能力變遷雷達圖其中所有的數(shù)據(jù)都可溯源，保證了數(shù)據(jù)的客觀公正。教師通過本系統(tǒng)也能快速掌握學生個體乃至群體的學情，更有利于開展輔導工作。

五、總結

本系統(tǒng)基于對第三方評價體系的現(xiàn)狀分析，以及教師的實際需求進行設計和研發(fā)，歷時一年，不斷整改及加入新功能而形成了一套可進行推廣的客觀評價系統(tǒng)。該系統(tǒng)可以作為超星等在線平臺的有益拓展。第三方評論數(shù)據(jù)可以來自實習管理系統(tǒng)，或者直接以本系統(tǒng)作為實習評價系統(tǒng)來使用。總體來說，本系統(tǒng)具備數(shù)據(jù)可溯源、評價標準可調整、評價結果相對客觀等優(yōu)點。

但也存在著一些問題和不足，在數(shù)據(jù)標準化批量處理的過程中，云數(shù)據(jù)庫可能會由于網絡原因出現(xiàn)計算中斷的情況。可以先將數(shù)據(jù)全部或者分批下載到本地，計算完畢后再一次性更新到服務器，這樣就可以避免多次請求可能出現(xiàn)的網絡通信失敗的情況。

目前的數(shù)據(jù)來源大多通過導入的方式加載到系統(tǒng)中，后續(xù)可申請一些在線平臺的API接口權限，直接進行數(shù)據(jù)的高效對接。作為一個第三方評價分析系統(tǒng)，可將其他一些評價要素加入，如實習評價數(shù)據(jù)等，從而更好地支撐學生的實習評價工作。

參考文獻：

[1]薛利晨，米靖.2011—2021年我國職業(yè)教育第三方評價研究現(xiàn)狀考察與思考[J].教育與職業(yè)，2023（07）：90-97.

[2]侯敬芹，呂志敏.職業(yè)教育第三方評價：問題與對策優(yōu)化[J].職教論壇，2021，37（08）：163-168.

[項目來源：全國工業(yè)和信息化職業(yè)教育教學指導委員會課題：數(shù)字化轉型下校行企共建職業(yè)教育第三方客觀評價機制研究（GXHZWC44826）。]

責任編輯陳春陽