大數據背景下高等教育評價體系的構建研究

張善海

一、大數據的概念與價值概述

大數據(Big Data),是指總量極為龐大且快速增長,需要以最新信息處理技術才能夠匯總、儲存和管理的數據。大數據具有四個顯著特征,可表示為“4V”,分別為容量大(Volume)、種類多(Variety)、時效快(Velocity)以及價值高(Value)。從統計的角度分析,大數據的“4V”特征源于數據覆蓋全樣本,并且全程記錄動態數據,反映數據之間的消長變化,以及不同模塊數據之間的聯系。大數據的出現深刻地改變了社會各領域,從大數據中發掘的價值推動了實踐形態的更新。當前,大數據正不斷地深入教育領域,深刻地改變著數據密集型的評價活動樣態。[1]在高等教育的語境下,大數據是指與高校教育活動有關的全部數據,包含多主體產生的數據信息,可以由不同的部門記錄和提供。隨著高等學校信息化裝備水平不斷提高,在辦學各環節中生成的全部數據都可以由計算機完成歸檔、保存和處理,作為開展評價活動的基礎。每個高校都擁有豐富的大數據資料,是學校辦學的重要參考依據。

二、大數據背景下構建高等教育評價體系的意義

(一)轉變高等教育評價理念

大數據可促進高等教育的評價理念從經驗主義向數據主義轉變。從宏觀層面看,傳統的高等教育評價往往依賴專家驅動,具有一定的主觀性和隨意性,而且評價的價值導向并不明確。不同地區與類型高校的發展環境與辦學定位不同,教育產出存在顯著差異,套用共通的評價指標不盡適用。從微觀層面看,在傳統的高等教育評價體系下,高校教學與研究人員憑借經驗分析和利用評價結果,存在許多先在的分析盲區,許多關鍵難點未能突顯出來。部分重要的評價指標未納入評價體系,地位被邊緣化,長期受到忽視。基于大數據的評價可以更清晰地揭示辦學各要素的特征,分析數據與數據之間的隱性關系,準確地定位關鍵問題,以便于更科學地認識對象,并促進高校內形成重視數據與質量的辦學文化。

(二)提升評價的廣度與效度

傳統的高等教育評價對數據的利用大多表現在學業評價、課程質量評價、學生就業評價等模塊,形成描述式的評價報告,以具體的數據表現出來。但是,對學生的綜合素質評定、學科建設、校園文化建設等重要模塊,卻缺少有效的評價依據,僅以組合教育活動事實的方式進行概要表述,其對教育對象的具體作用并不明確。并且傳統的評價報告也多僅僅給出客觀的數據,對造成數據的原因缺少有力的分析,缺少闡釋數據的能力。使用大數據開展高等教育評價,則可以提升高等教育評價的廣度,將大量學習過程與結果方面的數據整合進體系中,從各方面展示教育證據,使高校教育評價建立于更為廣闊的基礎上,建立精細的分析模式。高等教育各主體能夠對教育質量形成基于多因素模型的全面認知,并有效地利用評價數據指導教育活動,以發揮評價對于教學質量調控的間接作用。

(三)豐富教育評價參與主體

評價主體的差異與評價尺度的差異息息相關,評價主體的多元化可以豐富評價的標準,形成有益的高等教育發展監督環境,促進高校以符合學生發展需求和符合公眾利益的路徑辦學育人,是當代高教質量評價發展的必然趨勢。[2]傳統的評價方法以高校和學生為主要的評價主體,學校先期設立評價指標的思路會影響解讀評價數據的方式,并且學生主體發揮的作用較為有限。學生的評價結果多用于指導教學活動的調整,僅為學校主體提供借鑒,無法作為外界的參考數據。大數據背景下的高等教育評價體系依托于互聯網展開,強調要使用信息技術連接一切數據,為多元主體提供了參與教育評價的便捷路徑。教師、學生、學生家庭、用人單位、社會機構、高校辦學出資單位等相關主體都可以成為評價者,從不同的角度給出評判,可提升評價結構的開放性與多樣性,從而避免傳統高等教育評價體系下評價指標與結果的內部指涉現象。

(四)推動教育決策的科學化

大數據是開展科學教育決策的重要依據,可以使決策者掌握客觀的數據,形成基于數據驅動的決策機制。[3]對教育活動作出的決策,特別是涉及專業與學位設置、辦學政策、招生調整等方面的宏觀決策,實行后就可造成全局性和持續性的影響,影響全體學生的發展與學校的未來走向。傳統的評價策略具有滯后性,缺少有效的糾偏機制。評價指標以既往的教學模式為基礎生成,所反映的多為教學活動本身的情況,對高校內外部環境的變化適應能力不足。雖然高校面臨的發展形勢不斷變化,部分教育評價活動仍沿用約定俗成的指標體系?；诖髷祿鞒龅臎Q策可體現科學性,促進對教育資源的高效利用。依托大數據形成的分析技術,又可反映在教育決策背景下生成的新數據。通過對數據開展縱向對比,可以明晰教育決策的有效性,減少傳統決策環境下信息不對稱的問題,促進決策的循環調整,以實現高等教育機體的整體性改善。

三、大數據背景下構建高等教育評價體系的策略

(一)科學采集多模塊教育數據

1.數據的來源

高等教育評價體系的源頭可分為“人”與“物”,“人”包括相關各主體,“物”則指在教育教學過程中需要使用的各項設備。按照高等教育的實施樣態,又可將教育數據分為兩個方面：第一是結果性數據,如學業評價數據、學生發展評價數據、課程質量評價數據、用人單位評價數據、學生就業率與就業質量評價數據等。這部分數據大多以結構化的方式儲存起來,對應不同的教學時段。在數據生成時,包含了大量的量化內容,也是既往的評價活動中較為系統化的模塊,便于提取、整理和分析,并與教與學的質量密切相聯,其中許多數據可以整塊直接調用。第二是階段性數據,如學校的專業設置數據、師資隊伍數據、課程結構數據、科研項目數據,教學環節中產生的講義、微課程、在線教育視頻點播、學習平臺的使用數據以及學生主體的基本信息、書籍借閱、社交自媒體的使用、課堂出勤等方面的教學與管理數據。其中也包含了部分與學生在校生活有關的數據,如門禁出入、在校消費、校園網絡的使用等。[4]這些數據顯示了教育的過程,體現學校在一定時間節點上使用的教育手段、高校教師的教學策略和學校的學生管理方法,可以為回顧教育事實提供重要的參考依據,反映學校運作的全貌。同時提煉結果性數據與階段性數據,使不同的數據模塊共同存在并且相互印證,是開展數據分析的基礎。

2.數據采集方式

高校可以使用系統日志采集、網絡數據采集以及人工采集的方式來匯總數據,構成動態化的數據中心。首先,針對能即時聯網的數據,可以定期采集各系統內的日志文件,了解一定時期內學生與教職工的狀態,以及教學資源與硬件設備的使用、管理、折損率等情況。其次,針對以結構化的形式儲存在專項系統中的數據,如學生學籍信息、科研課題項目及進度、MOOC平臺學習數據、學生終期成績評價等,通過API接口對接的方法采集這些數據,將數據匯總到學校的教育數據中心。最后,對部分數據運用人工采集法。人工采集法是指以人工查詢、整理與錄入的方式來實現對部分數據的采集。人工采集涉及教育軟件資源的上傳,由教師或教學管理人員來完成操作。此外學生出勤率、教師基本信息、學生就業以及教研活動信息中存在部分內容,有待教師或行政人員錄入信息,將其上傳至數據中心,以完整地記錄高校教育與科研痕跡。

針對以上幾種數據采集方式,高校在構建大數據評價體系初期,應當重視提前規劃設計,明確各模塊信息的采集渠道、更新機制和責任人,以提升評價數據的覆蓋面和精確度。[5]數據的粒度應體現適宜原則,對應特定的評價需求,將粒度層級不同的數據儲存于不同的單元中。粒度小的數據信息容量大、精度高,包含詳盡的內容,適宜課程教學質量評價、學生學業評價、創新創業成績評價等項目；粒度大的數據便于使用,能夠方便快捷地進行查詢,適宜辦學水平評價、專業建設質量評價等項目。此外,應當兼顧數據采集的全面性和數據隱私問題,對涉及學生個人信息的數據設置防問限制。[6]針對所采集的有關隱私的數據,可以取百分比分布的形式進行利用,對部分隱私數據應用多重網絡安全保護策略。

(二)形成教育數據分析方法

以符合教育規律的方法分析數據,是有效利用大數據的必然要求,數據的意義經過解讀才能夠呈現。高?？梢园凑赵u價指標的區別將數據中心劃分為多個功能區,聚合相關聯的教育要素,以支持大數據分析的實施,如在辦學條件方面,可綜合學校優勢專業數量、學生數量、教師隊伍規模、學校固定資產現狀等方面的因素進行分析,以反映優勢和劣勢指標。

與此同時,要重視將數據與數據之間建立橫向聯系,為教育結果的原因分析提供便利。如針對在線課程質量的評價,可以將學生對在線課程的評價數據、平臺自動記錄的課程訪問量、課程基本信息統合起來,再將其與學生學業數據對比,分別了解主觀原因與客觀原因的占比,進而明確影響課程使用的關鍵因素。重視挖掘數據之間的縱向聯系,以時間段作為分析線索,反映變化趨勢,并以問題為導向,顯示出異常情況,形成可視化的分析結果,定期出具評價報告。[7]教育數據分析要體現定量與定性相結合的原則,首先依據學校數據系統的內置程序,通過高效的計算機算法列出影響因素的排序,重視“通過指標的類屬關系,進而確定各指標的層級及指標權重”。除以量化方式體現各因素的實際形態外,更應表明變量與變量之間的聯系。[8]其次,學校組建教育分析小組,從各專業中選取專家,對突出的因素進行全面研討,結合教學活動并深入分析細節,以分類指導相關教學工作的開展。

(三)目標管理與過程監控相結合

高等教育評價改革的基本邏輯是通過提升評價效度,影響教育目標的達成度,因此對教學過程的監管是實現目標管理的載體。鑒于此,應發揮大數據挖掘技術的核心優勢,實現目標管理與過程監控的有機整合。高校的人才培養活動是環環相扣的體系,教育過程的完成度對育人目標的實現起決定作用。對課程教學過程,應以分解目標的形式進行數據采集和分析,將評價標尺與教學目標結合起來,以評價促教改?？梢栽O立面向過程監控的評價活動定制,改變傳統的在學期末等時段集中觀察與分析評價數據的方式,在高校教育教學全過程中提取數據進行解讀,使評價活動貫穿于學期始終。為實施基于大數據的有效評價,通過數據挖掘初步提取出有關教學過程的粗糙知識后,應對知識進行“二次挖掘”,即借助關系分析模型,結合以價值判斷為基礎的教研活動,透徹理解在教學期間生成的過程性數據。學期結束后,將過程性數據和評價目標對照,明確后者的達成度,指導后續的教學活動。過程性評價體系應當與目標性評價體系融合,體現教育教學要素之間互為影響的動態發展過程。

(四)創設數據考核與反饋機制

基于數據開展考核與反饋,可以實現大數據的應用價值,使技術優勢轉換為學校的育人優勢。從考核的角度而言,學校內部要形成基于數據的科學考核方法。學校應當成立對教職工開展考核的長效化機制,依據促進學校內涵式發展的要求,將要求分解細化,促進各節點上教育工作的改進。應基于相關的數據生成科學可行的標準,作為人員評價與質量評優的尺度。對于學生,應當改變過去單純以學業終期評價結果定優劣的方法,結合過程性數據生成全面的學生發展評價報告,以督促學生在校努力向上,專注于知識學習與社會實踐。評價策略的應用可反過來影響學生的學習觀念,通過準確的數據引導學生形成正確的自我認知,提升學生調控和管理個人學習活動的能力。[9]

在教學反饋方面,應建立向學校管理部門進行反饋的機制,促進學校管理層掌握可靠的教學數據。此外,應當建立向外部反饋的有效機制,應依據教育大數據,撰寫并發布專項教學監測報告,面向教育管理部門、社會公眾公開部分數據,如教學質量評價報告、年度就業報告、各專業學生人數增減趨勢報告等,以提升高等教育過程的透明度,使相關的利益主體對高校辦學活動形成準確認知。應向第三方評價機構公開部分數據,以促進高等教育評價的多樣化。隨著全社會對知識變現要求的不斷提高,高校應打破傳統的封閉式評價模式,將教育活動與社會要求相對接,全程接受監督。對于重要的教育教學事項,高校要以專項報告形式陳述教學整改過程,結合數據分析中體現出的關鍵教育節點提出所應用的具體教改措施,說明教改效果,進而為教育質量的改進提供持續性的動力。

(五)配套應用評價活動改進措施

首先,評價指標要具備可調適性。應參考在不同時間段內形成的評價數據,對照綜合數據評價結果,調節評價標準,以促進指標與實際的教學活動相適應。只有評價指標合理化,才能有效地考察教學活動。通過對評價指標自身的調適,可以建立對學生發展、科研活動的合理期望值,為教育教學質量的改進提供引領。其次,大數據評價體系的分析模型要具備可調適性。隨著高校辦學活動的推進,教學制度、教學環境、軟硬件設備發生改變,可能出現全新的影響因素。應當對接生成性的要素,不斷將新的影響因素加入到大數據評價體系中,提升評價結果的解釋能力。對于在既往的評價活動中被證明影響性較小的因素,要降低其在大數據評價體系中的權重。最后,應當解讀各個子體系之間的數據,捕捉關鍵性的問題,改變對宏觀評價體系的設計?？舍槍τ杉议L、社會、學生提供的評價數據,調整原有的目標設定方式與評價方式。

四、構建大數據教育評價體系的相關保障

(一)技術保障

雖然高校普遍具有較高的信息化水平,但是“信息孤島”現象也比較突出,不少有關教育的信息并未被整合進數據網絡。很多部門和個人雖然常年累積大量教育數據,如高校的網站平臺中保存著眾多的課堂實錄、數字化學習資源等數據,學校網絡中心長期保存計算機使用、學生上網行為等方面的數據,各院系教師也擁有許多關于學生平時學業的數據。但是,許多數據的價值未能得到有效應用,而是分別被用于支持不同主體的教學與管理活動,尚未形成體系。加強技術與技術之間的互聯,使之被整合成為統一結構,是構建大數據教育評價體系的重要課題。高校要重視進行技術層面的頂層設計,搭設數據庫共享與集成平臺,再在此基礎上開發計算機分析程序,以支持對海量信息的處理。[10]學校可以對部分信息采集終端進行升級改造,以提升計算機網絡的效能,并改進其與學校網絡中心的聯接方式,使其更便于在教育評價活動中使用。

(二)組織保障

大數據評價體系涉及高校的多個部門,因此促進各部門之間的高效協作,便成為創新評價體系的應有之義。高校要改善現有組織構架的合作方式,理順各種流程和制度。部門之間應當在信息收集和分享上高度配合,不同的教育主體要協同互聯,形成溝通交流的長效機制,以組織部門的高效協作打通信息模塊之間的壁壘。在信息的利用和反饋上也應當密切合作,以充分發揮大數據的能動性,形成采集—反饋—改進的良性循環,使大數據真正成為高價值的數據資源。教學評價部門要及時向教學活動負責主體反饋評價結果,將數據以條理化的報告整理出來,促進各院系教師理解教情。高校目前的教育評價活動主要由教學管理部門完成,在現有的組織架構基礎上,高校應擴大教育評價部門的規模,更新對部門職能的要求,使其在促進部門協作方面發揮積極的能動作用。

(三)人才保障

高校要重視人才梯隊建設,增加有能力從事大數據分析的人才,促進大數據評價體系的落地。首先,要增加技術型人才。構建大數據評價體系,要求將粒度細、容量大的教育數據穩定地儲存于網絡空間中,并且支持隨時訪問、調出和使用,與學校的網絡融為一體,這樣的活動必須以高素質技術型人才隊伍為后盾。其次,學校創設條件,引進具有統計學專業素養的數據分析人才,促進其與學校教師、各學科研究專家相對接,依據實際教情,形成具有實效性的教育分析模型,使評價活動體現學校的發展特色。同時要對教學管理崗位的人員進行培訓,以提升人員對評價體系運行要求的理解,使其更好地配合專家開展工作。針對從事教學研究活動的教師,應引導教師依據大數據評價體系下的要求進行授課,以構建完整的教育教學生態。當各方面的保障被落實時,大數據評價體系才可發展為學校的常規化制度,構成高校核心競爭力的一部分。