大數據時代高職院校教學質量評價的探索與實踐*

張喜生，王 璐

（1. 深圳職業技術學院 質量保障中心；2. 深圳職業技術學院 技術與職業教育研究所，廣東 深圳 518055）

大數據時代的到來，使“數據”普及到社會生活各個領域，極大地影響和改變著人們的生活，教育領域亦不例外，大數據對高等教育的影響與變革是宏大而深刻的．與此同時，在“建設質量強國，邁向質量時代”的背景下，伴隨著高職教育發展從規模擴張向質量提升轉向，質量管理成為研判高職教育發展動向、衡量發展水平、評估發展問題、決策發展策略的核心依據，人才培養質量測評作為質量管理中發現問題、挖掘歸因、反饋問題的核心環節，其精準度、效度、信度均成為影響質量管理水平的核心指標．傳統教學質量測評手段的落后使質量評價走向“流于形式”、師生參與積極性不高、評價結果缺乏有效度和區分度、評價結果缺乏分析及反饋等問題已成為制約人才培養質量測評的瓶頸．現有研究對我國職業教育的質量管理、“診斷與改進”等進行了多種有益的探索與實踐[1-9]，但其中的困惑與問題仍然很多．本文從高職院校教學質量評價大數據分析的背景出發，提出高職院校教學質量評價大數據分析的建構思路，并進行了實踐．

1 高職院校教學質量評價大數據分析的背景

隨著《關于建立職業院校教學工作診斷與改進制度的通知》（教職成廳〔2015〕2號）、《高等職業院校內部質量保證體系診斷與改進指導方案（試行）》（教職成司〔2015〕168號）、《關于全面推進職業院校教學工作診斷與改進制度建設的通知》（教職成司〔2017〕56號）等文件的頒布與實施，教學工作診斷與改進制度逐步在全國職業院校推進建立，教學質量測評數據的獲取與采集、數據處理與分析成為診改推進的基礎與依據．人才培養質量是質量管理的核心，教學測評則是窺視質量水平、分析內涵發展問題、反饋問題歸因、設計改進路徑的窗口，質量管理成為高校內涵發展的核心訴求．大數據分析引發高校教學質量評價的震蕩與變革，為教學質量評價的采集與分析提供新路徑，同時高校處于科技第一生產力、人才第一資源、創新第一動力的結合點，以精準教學質量評價為起點，對人才培養、科學研究、社會服務的促進與提升作用又為數據的更新與應用提供了場域．面對自帶“互聯網基因”的學生群體，通過校園網絡進行教學反饋信息的收集、處理、分析，與傳統的教學信息反饋機制相比，采集效率高、分析耗時少、信息損耗低[10]．具體而言，教學質量評價結果以客觀數據為主要構成，當前大數據應用技術、云計算技術等的成熟與運用為客觀數據分析提供了較好的分析工具．伴隨自上而下、層級督導制度的完善，各高職院校教學質量測評數據獲取與采集、數據處理與分析成為診改推進的基礎與依據．高校作為質量自治主體，人才培養質量是質量管理的核心，教學數據測評與分析則是窺視質量水平、分析內涵發展問題、反饋問題歸因、設計改進路徑的窗口．

2 高職院校教學質量評價大數據分析的建構思路

教學運行過程中會產生大量客觀數據，教學質量管理過程中也可以獲得海量的測評數據，隨著大數據時代的到來，數據采集、數據分析、數據管理、數據校驗已成為問題導向的教學質量管理與診斷機制構建的重要抓手．學校應如何利用大數據手段構建教學質量自主監管機制、盤活診斷與改進的質量螺旋呢？從教學質量數據的采集、分析、篩選、應用，到反饋，需要依托明晰精細的業務流程、科學設計的數據分析模型，亦即以數據分析模式的構建為基礎．基于以上流程，遵循數據分析系統開發的“原型—數據喂養—優化迭代—新一版原型”的研究思路，在實踐中不斷迭代優化，教學質量管理的總體業務模型如圖1所示．在此基礎上，以對教師和課程為數據采集起點，進一步抽象數據流圖如圖2所示．

圖1 教學質量管理業務模型圖

圖2 教學質量評價數據流圖

3 需求導向的教學質量大數據分析實踐運用

如何有目標地獲取客觀數據、高效地分析數據，發現教學運行中學校、專業、課程、教師、學生的問題，并將結果反饋到教學主體—專業和教師，就成為診斷與改進工作中最重要的問題，也是難點問題．教學質量的診斷與改進是高職院校內部質量診斷與改進工作的核心，教學質量管理與診斷改進的體系設計以學校、專業、課程、教師、學生的實際需求為導向，注重過程管理，以教學質量過程性監控、狀態數據診斷點監控以及專業與課程的專項診改結合的方式實現．從教學質量數據的采集、分析、篩選、應用，到反饋，需要依托明晰精細的業務流程、科學設計的數據分析模型，亦即以數據分析模式的構建為基礎．大數據環境下教學質量過程性診斷與改進的完整流程如下：頂層設計—指標體系設計—規范化操作流程—大數據采集與反饋—數據分析—診斷與改進．

3.1 頂層設計

由學生、督導、教學部門“點線面”三方參與測評，其中以過程性學生評價為主，即時反饋采集數據信息，數據結果導出2個分支：一是績效考核的依據；二是缺陷發現、診斷分析、改進任務下達及改進跟蹤．

3.2 指標體系設計

1）圍繞“專業、課程、教師、學生”進行指標體系設計，以便對不同測評層面進行診斷．

2）構建定制化指標體系，針對督導評價、同行或者部門評價設計不同的測評方式；針對學生評價不同測評方以及不同測評對象，設計不同的測評內容與問題；針對理論課、實訓課等不同課種的差異，設計不同的測評指標；針對學生期中測評、期末測評，設計不同的測評方式與數據運用范圍．

3）構建可評判度清晰、選項區分度明顯、梯度構建合理的指標體系，測評指標的文字表述匹配不同測評方的認知度．

4）對指標的權重、分數、等級等給予合理的賦值．

3.3 規范操作流程

建章立制，完善各級各類測評制度和標準：包括督導測評細則、同行測評操作細則、學生測評操作細則、教師獲取反饋信息操作方法、學院質量匯總報表標準格式、學校數據分析報告題例格式、學院數據分析報告題例格式、課程數據分析報告題例格式、診改建議書管理辦法、診改任務單標準格式、診改任務跟蹤及管理實施細則等．

3.4 大數據采集方式

數據采集以移動端與PC端同時獲取，推廣運用移動端測評的數據獲取方式．移動端采集注重與移動社交工具的無感嵌入，使數據采集能夠無感進行．通過信息化手段靈活迅速發布過程性測評、監控測評過程、監控教師自定義測評、查看師生互動情況、獲得海量數據，再通過大數據分析的方法，高效地指出教學過程中存在的問題，及時通過微信手段反饋給教師、專業，實現教學質量的診斷與改進，極大提高診改工作效率．

3.5 大數據分析方法

大數據的分析視角“按需”轉換，主要有橫向比較法、縱向比較法、雷達圖比較、綜合分析法．具體而言，橫向比較法可分為同部門不同指標項之間的比較、同指標不同部門之間的比較；縱向比較法可分為同部門同指標不同學期變化的比較、本部門與上下部門之間的比較；雷達圖比較可分為同一指標體系不同部門或教師之間的雷達圖比較；綜合分析法是指分數、指標比較與學生評語結合的綜合分析比較．

3.6 診斷與改進

在學校層面，通過大數據關聯分析查看全校關鍵指標的實現度；專業層面，通過大數據的分析比較，確定專業弱項，進而有針對性地下達專業診改建議書；課程層面，可以分析教學效果差的課程的原因是什么；教師層面，可以分析教師的教學能力、教學態度、教學方法、教學效果；學生層面，可以分析不同教學單位學生的收獲度和滿意度．

4 教學質量大數據分析運用成效

通過“遞歸模型定制-數據采集-數據分析-數據反饋-結果評價-缺陷診斷-診斷跟蹤—質量螺旋改進”的整體過程，解決了教學質量信息化管理閉環問題，保證了教學質量的控制．教學質量大數據分析運用成效如下：

1）以某校為例，建立了督導、同行、學生、領導四方多元測評模型，每年獲取督導和部門測評記錄1000條以上，獲取學生測評數據60萬條左右，測評指標項500萬個，生成各類數據報告20篇以上；數據結果應用于各二級部門績效考核以及學校、專業、課程、教師和學生的診斷改進，應用于教育部人才培養狀態數據、人才培養質量年報以及國務院督導辦公室的高基報表．

2）通過“PDCA反饋平臺”，解決了教學質量測評結果和評價建議快速反饋的問題，及時促進教學改進．通過微信客戶端或者微信小程序，教師可以即時獲取每一門課每一項指標的學生測評反饋和總體雷達圖比較反饋，如表1，圖3所示，在教學過程中即可了解不足，加以改進．

表1 對教師教學滿意度分析表（樣本總數163017）

圖3 數據分析雷達圖

3）通過大數據獲取與概率統計學計算模型，解決了教學質量、人才培養效果由模糊評價轉化為精確評價的問題，為績效管理奠定了基礎．教學質量、人才培養評價的難題之一就是屬于模糊評價、可信度低；通過對大量數據的獲取、概率統計學方法，使得模糊評價趨于精確．

5 結 語

質量管理體系的構建是職業院校自主保證人才培養質量的基礎，是全面開展教學診斷與改進工作的組織建制．同時，教學質量作為衡量人才培養質量的核心標尺，是發現教學問題、診斷教學問題、改進教學問題的核心向度．教學質量評價結果以客觀數據與主觀評語為主要構成，當前大數據應用技術、云計算技術等的成熟與運用為客觀數據分析提供了較好的分析工具，與之相較，海量的主觀評語資源卻只能個別反饋，無法宏觀上定量自動分析，使得教學質量測評中一些真實想法、情感表達、現實問題較難通過數據篩查反映出來，而人工智能的發展恰恰彌補了這一缺陷，為海量主觀評語的分析提供了實現路徑．AI與高校教學質量評價的結合主要通過情感傾向分析和評論觀點抽取2種渠道實現，情感傾向分析即基于深度學習技術和百度大數據，針對帶有主觀描述的中文文本，自動判斷該文本的情感極性類別并給出相應的置信度．評論觀點抽取則通過自動分析評論關注點和評論觀點，并輸出評論觀點標簽及評論觀點極性，從而彌補教學質量評價的短板與不足，這是教育質量大數據分析下一步延伸的方向．此外，質量管理必須依托數字化校園大數據平臺，平臺設計應根據校情學情、分階段分批次分系統逐步實現，不能一蹴而就，要特別注重平臺各子系統是否能夠滿足職能部門日常工作需求．同時，為避免數字化校園中的“數據孤島”，質量管理與診改平臺可通過ETL工具“建橋”，與校園內教務系統、校務系統、學生管理系統等其他子系統實現數據共享互通，這也是高職院校信息化建設中需努力的方向．