教育數(shù)據(jù)應用績效評估框架研究

□ 王 娟,高 振,婁方園,孔婉婷

一、引言

教育數(shù)字化戰(zhàn)略的不斷推進,加快了數(shù)據(jù)在教育中的深入應用。然而,教育數(shù)據(jù)在受到越來越多關注的同時,應用過程中出現(xiàn)了教育數(shù)據(jù)安全威脅[1]、教育數(shù)據(jù)孤島[2]、教育數(shù)據(jù)誤用濫用[3]等問題,嚴重阻礙了數(shù)據(jù)的開放與共享,甚至造成了危害師生、社會和國家安全的嚴重后果。為解決教育數(shù)據(jù)應用產生的諸多問題,教育部、國務院辦公廳等部門出臺了多個政策文件。2021年《教育部關于加強新時代教育管理信息化工作的通知》強調,要“建立數(shù)據(jù)質量評估制度,強化教育數(shù)據(jù)質量保障,打通數(shù)據(jù)孤島”[4]。2022年《國務院辦公廳關于同意建立國務院參事建言獻策成果外部評估機制的函》強調,“依據(jù)評估標準與參考指標對多個評估部門的評估職責和工作規(guī)則實施評估”[5]。在相關政策指引下,建立全面、客觀的績效評估框架,評估教育數(shù)據(jù)應用實效,已成為教育數(shù)字化轉型背景下推動教育數(shù)據(jù)應用共享的有效途徑。目前,已有學者依托“開放數(shù)據(jù)晴雨表”“開放數(shù)據(jù)指數(shù)”等國際評估標準,構建了我國政府開放數(shù)據(jù)評估框架[6],并從投入、產出、效果等3個維度對省市政府數(shù)據(jù)開放平臺的服務績效進行評估與分析[7],同時對數(shù)據(jù)的評估指標體系開展研究[8]。然而現(xiàn)有的績效評估還存在評估標準不統(tǒng)一、績效評估指標設計的科學性與合理性有待考量等問題[9],致使績效評估結果準確性不高。因此,亟需設計較為完整的教育數(shù)據(jù)應用績效評估框架,全面、客觀地評估教育數(shù)據(jù)應用在教育數(shù)據(jù)戰(zhàn)略、教育數(shù)據(jù)質量、教育數(shù)據(jù)安全、教育數(shù)據(jù)共享和教育數(shù)據(jù)治理等方面存在的問題,探尋教育數(shù)據(jù)應用改進和發(fā)展的方向,更好地指導教育數(shù)據(jù)應用績效評估工作的開展,推動教育數(shù)據(jù)應用健康發(fā)展。

二、教育數(shù)據(jù)應用績效評估分析

1.教育數(shù)據(jù)應用績效評估的目的

政府績效評估可以提高政府的工作效率與管理能力,促進政府的公共服務質量,提升社會各方的滿意度,營造公眾與政府互相信任的和諧局面。[10]美國學者阿爾蒙德(Almond)將績效評估的發(fā)展目標概括為政治權力、民主化、經(jīng)濟增長、福利分配等4個維度,豐富了政府績效評估的價值取向。[11]在教育數(shù)據(jù)應用方面,通過建立科學有效的教育數(shù)據(jù)應用績效評估框架,教育部門、各級各類學校、教育培訓機構等評估主體依據(jù)新興技術,采取部門自評、監(jiān)管督查、第三方評價和社會評議等綜合評估方式對教育數(shù)據(jù)的數(shù)據(jù)戰(zhàn)略、數(shù)據(jù)治理、數(shù)據(jù)共享、數(shù)據(jù)安全、數(shù)據(jù)質量等方面進行評估,探尋教育數(shù)據(jù)應用過程中的癥結所在,提高教育數(shù)據(jù)的應用效率。基于此,對教育數(shù)據(jù)應用績效中各主客體的評估,可以充分把握主客體在教育數(shù)據(jù)應用過程中存在的問題,以實現(xiàn)教育數(shù)據(jù)應用政策的科學化、區(qū)域發(fā)展的均衡化、學校教育質量的優(yōu)質化、教學效果的顯著化及學生個性化學習水平的提高。

2.教育數(shù)據(jù)應用績效評估的內涵

作為政府向教育提供的公共服務,教育數(shù)據(jù)通過在教育決策、教育評價等方面的應用,在教育領域產生滿意效果并提升學生綜合素養(yǎng)水平,從而產生績效。當前對績效的界定存在兩種不同的觀點,一種是“結果的績效觀”,即“在特定的時間里,由特定的工作職能或活動產生的產出記錄”。[12]一種是“過程的績效觀”,即“與組織目標有關的行動或行為,能夠用個人的熟練程度來測量”“績效不是行為后果或結果,而是行為本身”。[13]此外,研究者從不同角度剖析了教育數(shù)據(jù)應用績效的評估主體。例如,從利益相關者視角看,其數(shù)據(jù)需求是目標達成的評估依據(jù)。[14]績效評估的利益主體可分為政府組織、非政府組織和個人三大類。活動理論視角下的教育數(shù)據(jù)治理由多元利益主體共同參與。[15]因此,研究認為,教育數(shù)據(jù)應用績效評估的利益主體包括政府、教育部門、學校和教育培訓機構、合作單位、社會組織、教師、學生等,綜合借鑒上述兩種不同的績效觀及評估主體相關研究,研究將教育數(shù)據(jù)應用績效定義為:各評估主體基于大數(shù)據(jù)分析等技術,圍繞相關政策、評估制度、法律法規(guī),依據(jù)評估指標,采取綜合評價法,對教育部門、各級各類學校和校外教學組織的教育數(shù)據(jù)應用績效進行評估,以提升教育數(shù)據(jù)應用的效率和質量。

3.教育數(shù)據(jù)應用績效評估的現(xiàn)實困境

教育數(shù)據(jù)應用績效評估能夠提高教育質量、提升教育數(shù)據(jù)的應用效率,但仍存在諸多現(xiàn)實問題。第一,績效評估的理念與內容的價值導向偏離了教育規(guī)律,部分評估指標設計不夠健全,導致評估結果可用性不強。[16]第二,教育數(shù)據(jù)來源有限,數(shù)據(jù)資源配置不合理。[17]教育數(shù)據(jù)應用績效評估體系缺乏科學性,難以全面反映真實的教育情況。[18]第三,績效評估視角單一,多以政府或專家的視角為主,評估多采用定量或定性研究,這種評估方法不夠全面。[19]第四,目前運用較多的“投入/產出比”“DEA(Data Envelopment Analysis,數(shù)據(jù)包絡分析)”等評估模型,并未考慮非線性的情況,然而當下教育數(shù)據(jù)的投入與產出并不是完全線性關系,致使結果不能精準反映現(xiàn)實情況。

三、教育數(shù)據(jù)應用績效評估框架設計

為突破現(xiàn)實困境,實現(xiàn)教育數(shù)據(jù)應用績效評估改革創(chuàng)新,亟須對績效評估的指標進行系統(tǒng)設計。研究以新公共理論、利益相關者理論和TOE理論為依據(jù),遵循科學性、真實性、迭代性、健壯性等原則,基于《數(shù)據(jù)管理能力成熟度評估模型》(DCMM)[20]和CIPP模型,參考諸多相關研究,從教育數(shù)據(jù)戰(zhàn)略、教育數(shù)據(jù)質量、教育數(shù)據(jù)安全、教育數(shù)據(jù)共享、教育數(shù)據(jù)治理和數(shù)據(jù)成果等6個方面設計教育數(shù)據(jù)應用績效評估框架,以提高評估框架的適配性,提升教育數(shù)據(jù)的應用水平。

1.理論依據(jù)

(1)新公共管理理論。主張通過考核目標績效的方式,對單位和個人進行有標準的評價,追求經(jīng)濟、效益和效率[21],以實現(xiàn)評估質量、評估效率、評估成本等方面的優(yōu)化。基于新公共管理理論進行績效評估框架設計,有利于促進教育數(shù)據(jù)質量的改善、數(shù)據(jù)治理的組織和建設、數(shù)據(jù)開放共享等,實現(xiàn)教育數(shù)據(jù)應用的多維度提升。

(2)利益相關者理論。利益相關者是能夠影響組織目標實現(xiàn),或者被組織目標實現(xiàn)的過程所影響的所有個人和群體[22],強調績效評價和管理中心不僅僅取決于領導者。在績效評估過程中涉及多個群體和個體,要充分考慮各群體和個體的意見,改善評估主體單一性,拓展績效評估框架的設計思路,促進教育數(shù)據(jù)戰(zhàn)略的制定。

(3)TOE理論。強調一項技術創(chuàng)新的應用主要受到技術(Technology)、組織(Organization)和環(huán)境(Environment)方面的影響。目前該理論已廣泛應用到共享平臺創(chuàng)新、政府數(shù)據(jù)開放等方面。[23]績效評估框架設計涉及新興技術、基本技術條件等技術因素,財政資源供給、人力資源狀況等組織因素和財政需求、社會環(huán)境等環(huán)境因素,這與TOE理論的靈活性和適用性等特點相契合。

(4)CIPP模型。該模型主要包括背景、輸入、過程和成果等4項評估活動,要求所有的利益相關者參與解釋和建立共識的過程,以協(xié)助確定評估問題、明確價值和價值標準、提供必要信息,并協(xié)助解釋調查結果。[24]這與績效評估中多元主體參與高度契合,同時模型中的4項活動貫穿了評估的整個周期,與數(shù)據(jù)的全生命周期相契合。

(5)DCMM模型。DCMM是我國數(shù)據(jù)管理領域首個正式的國家標準。模型中定義了8個數(shù)據(jù)管理能力域和28個能力項以協(xié)助企業(yè)應用先進的數(shù)據(jù)管理理念和方法,建立和評估自身的數(shù)據(jù)管理能力,不斷完善數(shù)據(jù)管理組織、程序和制度,并充分發(fā)揮數(shù)據(jù)在促進企業(yè)向信息化、數(shù)字化和智能化發(fā)展方面的價值。[25]研究從數(shù)據(jù)管理能力成熟度評估模型中的能力域中選取若干域,形成績效評估的一級指標,具有一定的規(guī)范性和權威性。

2.設計原則

教育數(shù)據(jù)應用績效評估框架設計應保障評估的真實性、準確性和可靠性,需要遵循以下原則促使教育數(shù)據(jù)從多層面、多角度發(fā)揮作用。

(1)科學性原則。開展教育數(shù)據(jù)應用績效評估工作,應遵循客觀規(guī)律,依據(jù)評估目的,獲得經(jīng)得起實踐檢驗、科學有效的評估結果。績效評估框架應科學、全面地反映教育數(shù)據(jù)應用中的諸多問題,如指標可用性不強、教育數(shù)據(jù)來源不足、評估視角單一等。

(2)真實性原則。績效評估框架設計過程中,必須保障評估的真實性、準確性和可靠性,及時剔除虛假信息,并進行責任追溯,避免因此導致的政策誤判等問題。

(3)迭代性原則。建立數(shù)據(jù)評估體系需要遵循循環(huán)迭代檢驗機制。[26]績效評估需要經(jīng)歷“戰(zhàn)略規(guī)劃—數(shù)據(jù)質量—數(shù)據(jù)安全管理—數(shù)據(jù)共享—數(shù)據(jù)治理—新戰(zhàn)略規(guī)劃”的教育數(shù)據(jù)應用周期,遵循迭代性原則,以提高教育數(shù)據(jù)的應用效率,實現(xiàn)教育數(shù)據(jù)評估的結構化、共享化和安全化。

(4)健壯性原則。績效評估框架應在一定限度內避免操作人員的不當操作,需要考慮績效評估的容錯性、穩(wěn)定性和吞吐量。如因不穩(wěn)定而影響教育數(shù)據(jù)應用績效評估的正常運行,這是極其不可取的且極度危險的。

3.評估框架

研究參考《關于防范和懲治教育統(tǒng)計造假弄虛作假責任制規(guī)定(試行)》《教育部關于加強新時代教育管理信息化工作的通知》《國務院關于印發(fā)促進大數(shù)據(jù)發(fā)展行動綱要的通知》等國家標準及政策文件,借鑒DCMM和CIPP模型,梳理教育數(shù)據(jù)應用評估的研究觀點,結合新公共管理理論、利益相關者理論、TOE理論,為教育數(shù)據(jù)應用績效評估框架制定層層遞進的縱向指標,每個縱向指標又細分了一定的橫向指標。在此基礎上,將一級指標具體化、情景化,確定績效評估的核心要素,形成了教育數(shù)據(jù)應用績效評估框架,如圖1所示。

圖1 教育數(shù)據(jù)應用績效評估框架

教育數(shù)據(jù)應用績效評估應遵循其全生命周期,經(jīng)歷戰(zhàn)略規(guī)劃、數(shù)據(jù)質量、數(shù)據(jù)安全管理、數(shù)據(jù)共享、數(shù)據(jù)治理和應用成果的教育數(shù)據(jù)應用周期,如同生命體要經(jīng)歷從誕生到衰亡的生命周期。同時,教育數(shù)據(jù)應用的前一階段會對后續(xù)的應用產生重要影響,表明績效評估應貫穿教育數(shù)據(jù)應用從誕生到衰亡的全生命周期,以一個周期作為評估節(jié)點,通過不斷循環(huán)、迭代、優(yōu)化,構建并維系一種有序穩(wěn)定、持續(xù)發(fā)展的教育數(shù)據(jù)應用生態(tài)。

(1)教育數(shù)據(jù)應用績效評估的指標體系構建

目前,已有學者對教育數(shù)據(jù)應用績效評估提出了相關建議。李莎等認為,對教育數(shù)據(jù)戰(zhàn)略的及時性、實用性、客觀性、完整性進行評估,可以改善教育部門的數(shù)據(jù)生命周期的管理。[27]趙磊磊等認為,教育數(shù)據(jù)質量面臨可用性不強、準確性不高、一致性較弱等問題,會引發(fā)一定的教育數(shù)據(jù)風險。[28]楊現(xiàn)民等認為,教育數(shù)據(jù)安全已成為影響大數(shù)據(jù)發(fā)展的關鍵因素。[29]《開放數(shù)據(jù)全球報告》(OpenDataBarometerGlobalReport)從免費、可更新、可發(fā)現(xiàn)、可持續(xù)、批量獲取、開放許可和機器可讀等7個指標評估數(shù)據(jù)的開放程度。[30]李青等認為,教育數(shù)據(jù)共享應注重數(shù)據(jù)開放的標準和隱私保護。[31]為此,基于上述研究,結合相關政策文件,研究構建了教育數(shù)據(jù)應用績效評估框架的一級指標,包括教育數(shù)據(jù)戰(zhàn)略、教育數(shù)據(jù)質量、教育數(shù)據(jù)安全、教育數(shù)據(jù)共享、教育數(shù)據(jù)治理、數(shù)據(jù)應用成果等6個方面,同時參考CIPP模型中的4項評估活動和相關指標,進一步將確定的6個一級指標細化成20個二級指標,并在此基礎上進一步對核心要素評估內容進行細致描述,其指標劃分、指標說明和相應的評估內容見表1。

表1 教育數(shù)據(jù)應用績效評估指標的劃分與內容

(2)核心要素及其評估內容分析

?教育數(shù)據(jù)戰(zhàn)略

教育數(shù)據(jù)戰(zhàn)略包括教育數(shù)據(jù)戰(zhàn)略規(guī)劃[32]、教育數(shù)據(jù)戰(zhàn)略實施[33]和教育數(shù)據(jù)戰(zhàn)略評估[34]。教育數(shù)據(jù)戰(zhàn)略規(guī)劃是在所有利益相關者之間達成共識的結果,包括時間、成本、效益、風險等。教育數(shù)據(jù)戰(zhàn)略實施是指完成教育數(shù)據(jù)戰(zhàn)略規(guī)劃并實現(xiàn)教育數(shù)據(jù)職能框架的過程。教育數(shù)據(jù)戰(zhàn)略評估指使用結構化的語言將收集到的戰(zhàn)略規(guī)劃和決策中應用的數(shù)據(jù)需求進行綜合分析評估,并按照架構規(guī)范重新組織。通過對教育數(shù)據(jù)戰(zhàn)略的內容進行評估,可以滿足內外部監(jiān)管與外部組織互聯(lián)互通等教育數(shù)據(jù)需要,明確利益相關者的需求,分析教育數(shù)據(jù)戰(zhàn)略落實情況,確定與目標之間的差距,以便及時對實施過程進行監(jiān)控,明確發(fā)展方向。

?教育數(shù)據(jù)質量

教育數(shù)據(jù)質量包括教育數(shù)據(jù)質量需求[35]、教育數(shù)據(jù)質量檢查[36]、教育數(shù)據(jù)質量分析[37]和教育數(shù)據(jù)質量提升[38]。教育數(shù)據(jù)質量需求是度量和管理數(shù)據(jù)質量的依據(jù)。教育數(shù)據(jù)質量檢查是對教育數(shù)據(jù)質量問題進行實時監(jiān)控和評估,并向教育數(shù)據(jù)管理人員反饋。[39]教育數(shù)據(jù)質量分析是對教育數(shù)據(jù)質量檢查過程中發(fā)現(xiàn)的教育數(shù)據(jù)質量問題及相關信息進行分析,并定義教育數(shù)據(jù)質量問題的優(yōu)先級。教育數(shù)據(jù)質量評估應依據(jù)教育數(shù)據(jù)管理目標、行業(yè)的監(jiān)管需求,參考相關標準對教育數(shù)據(jù)質量需求的一致性進行評估,并根據(jù)教育數(shù)據(jù)質量的分析結果,制定、實施數(shù)據(jù)質量改進方案,確保教育數(shù)據(jù)質量不斷改進和提升。

?教育數(shù)據(jù)安全

教育數(shù)據(jù)安全包括教育數(shù)據(jù)安全策略[40]、教育數(shù)據(jù)安全管理[41]和教育數(shù)據(jù)安全審計[42]。教育數(shù)據(jù)安全策略是教育數(shù)據(jù)安全的核心內容。教育數(shù)據(jù)安全管理是在教育數(shù)據(jù)安全標準與策略的指導下,通過對教育數(shù)據(jù)訪問的授權、分類分級的控制、監(jiān)控教育數(shù)據(jù)的訪問等進行教育數(shù)據(jù)安全的管理工作,實現(xiàn)對教育數(shù)據(jù)全生命周期的安全管理。[43]教育數(shù)據(jù)安全審計負責定期分析、驗證、討論、改進教育數(shù)據(jù)安全管理相關的政策、標準和活動,分析實施規(guī)程和實際做法,確保教育數(shù)據(jù)安全的目標、策略等與預期結果相一致。教育數(shù)據(jù)安全評估需要結合監(jiān)管需求、相關標準等制定統(tǒng)一的教育數(shù)據(jù)安全標準[44],提供適用的教育數(shù)據(jù)安全策略,制定教育數(shù)據(jù)安全管理的利益相關者清單,對教育數(shù)據(jù)訪問、控制權限進行授權,保證教育數(shù)據(jù)在應用過程中的隱私性,分析和改進數(shù)據(jù)安全方案,確保教育數(shù)據(jù)安全的目標和預期結果相一致。

?教育數(shù)據(jù)共享

教育數(shù)據(jù)共享包括教育數(shù)據(jù)集成與共享、教育數(shù)據(jù)開放共享。[45]教育數(shù)據(jù)集成與共享是建立各應用系統(tǒng)、各部門之間的集成共享機制,是對數(shù)據(jù)孤島現(xiàn)象、相關數(shù)據(jù)標準和制度等的評估。教育數(shù)據(jù)開放共享是指按照統(tǒng)一的管理策略對教育數(shù)據(jù)進行有選擇地對外開放,是實現(xiàn)教育數(shù)據(jù)跨組織、跨行業(yè)流轉的重要前提,是教育數(shù)據(jù)價值最大化的基礎。一方面,建立教育數(shù)據(jù)集成共享環(huán)境,將多種類型的教育數(shù)據(jù)整合在一起,實現(xiàn)結構化和非結構化數(shù)據(jù)處理。另一方面,建立統(tǒng)一的教育數(shù)據(jù)開放策略,對開放共享的教育數(shù)據(jù)進行全面梳理,保證教育數(shù)據(jù)開放共享滿足安全、監(jiān)管和法律法規(guī)等要求,促進內外部數(shù)據(jù)的互通與教育數(shù)據(jù)價值的提升。

?教育數(shù)據(jù)治理

教育數(shù)據(jù)治理包括教育數(shù)據(jù)治理組織、教育數(shù)據(jù)制度建設和教育數(shù)據(jù)治理溝通。[46]教育數(shù)據(jù)治理組織包括組織架構、教育數(shù)據(jù)責任等內容,是教育數(shù)據(jù)職能工作開展的前提。教育數(shù)據(jù)制度建設是教育數(shù)據(jù)管理和教育數(shù)據(jù)應用工作有序開展的基礎,是教育數(shù)據(jù)治理溝通和實施的依據(jù)。教育數(shù)據(jù)治理溝通旨在確保利益相關者能及時了解相關政策、標準等情況,提高教育數(shù)據(jù)資產意識,構建教育數(shù)據(jù)文化。為有效評估教育數(shù)據(jù)治理需從三方面著手:第一,建立支撐教育數(shù)據(jù)管理和教育數(shù)據(jù)應用戰(zhàn)略的績效評估體系,健全教育數(shù)據(jù)責任體系,明確各方在教育數(shù)據(jù)管理中的職責。[47]第二,遵循嚴格的發(fā)布流程并定期檢查和更新,將教育數(shù)據(jù)治理貫穿數(shù)據(jù)應用的全生命周期。[48]第三,對數(shù)據(jù)的精確性和數(shù)據(jù)的有用性進行評估。

?數(shù)據(jù)應用成果

數(shù)據(jù)應用成果的評估階段旨在了解教育數(shù)據(jù)應用后學生成績、學生參與、數(shù)據(jù)使用率、學習策略應用和教學效果的具體表現(xiàn),以此評估數(shù)據(jù)績效評估的整體成效,是對教育數(shù)據(jù)應用績效的總結性評估,是對教育數(shù)據(jù)績效評估整體效果的有效驗證。通過評估學生的學習成績、參與率和學習策略的使用情況,可以促進學生學習和發(fā)展,提高學習成效。通過評估教師的教學效果和反饋,改善教師的教學能力,提高教育數(shù)據(jù)應用的實際效果。數(shù)據(jù)應用成果涉及學生、教師、教學內容、教學過程和教學管理等方面,需要通過不斷的評估和改進,以提高教育數(shù)據(jù)應用的效果和價值,更好地服務于教育事業(yè)的發(fā)展。

四、教育數(shù)據(jù)應用績效評估框架的實踐路徑

教育數(shù)據(jù)應用績效評估是一項復雜且需要反復迭代的工作,有效實施可以更好地實現(xiàn)教育數(shù)據(jù)應用的價值,促進政府、教育部門、學校、教育教學和師生協(xié)同發(fā)展。研究從多方面、多層次構建了教育數(shù)據(jù)應用績效評估框架,并從基礎支撐、平臺服務和應用創(chuàng)新等3個層面提出了實踐路徑,具體如圖2所示。基礎支撐層作為整個績效評估工作的基石,需要通過頂層設計、技術賦能和工具開發(fā)來保障績效評估的展開。平臺服務層作為績效評估的橋梁,擔負著數(shù)據(jù)采集、分析與結果反饋的一體化功能,滿足基礎數(shù)據(jù)的傳輸與共享,打通各利益相關者參與績效評估的壁壘。應用創(chuàng)新層是評估工作的重要環(huán)節(jié),是在基礎支撐層和平臺服務層的基礎上,通過轉變評估理念、改善評估方式和健全評估主體等創(chuàng)新性轉變,最終賦能教育數(shù)據(jù)應用績效評估的有效實施。

圖2 教育數(shù)據(jù)應用績效評估框架實踐路徑

1.基礎支撐層:奠定績效評估基石

(1)頂層掌舵設計:政策引領教育數(shù)據(jù)應用規(guī)范發(fā)展

教育數(shù)據(jù)應用績效評估涉及政府、教育主管部門、學校、教育機構、企業(yè)、社會公眾等多方利益相關者,需要多個主體共同參與評估以保障評估質量和真實性。然而當前的教育數(shù)據(jù)應用績效評估仍以政府內部評估為主[49],其他利益相關者參與評估的空間較少,致使績效評估工作較難全面開展。評估框架的實施需要明確利益相關者的權責歸屬和評估空間,聯(lián)合各主體共同管理與監(jiān)督,健全教育數(shù)據(jù)應用績效評估體系,形成規(guī)范統(tǒng)一的評估制度。如英國為了得到更加公平、客觀的評估結論,政府不介入教育數(shù)據(jù)應用績效評估,評估主體主要來自社會及學校。[50]為此,一方面,教育部等行政管理部門應發(fā)揮“掌舵者”的角色,充分考慮我國的現(xiàn)狀,及時出臺合適的政策文件以引導教育數(shù)據(jù)應用規(guī)范發(fā)展,加強對績效評估各要素、各主體、各環(huán)節(jié)的監(jiān)管,健全評估機制,以有效推進績效評估工作的順利開展。如日本參考Web創(chuàng)始人Tim Berners-Lee提出通過五級索引制定評價指標制度,以評估開放數(shù)據(jù)的實現(xiàn)程度。[51]另一方面,教育數(shù)據(jù)應用績效評估框架的有效實施需要相關法律法規(guī)的保駕護航,可在法律法規(guī)中明確各利益相關者的權利和責任,實施相應懲處措施。同時,也要明確績效評估框架指標如何落實,做到有法可依,進而保障績效評估的效益和作用。

(2)技術賦能推進:智能技術促進績效評估落實

教育數(shù)據(jù)應用績效評估需要各評估主體充分利用大數(shù)據(jù)、區(qū)塊鏈等智能技術改善數(shù)據(jù)來源問題、評估視角問題、數(shù)據(jù)安全問題等。智能技術為績效評估提供基礎支撐,賦能績效評估的各環(huán)節(jié),實現(xiàn)高效、系統(tǒng)、全面的反饋與評估,從而改善教育數(shù)據(jù)來源不足、評估視角單一、不能精確反映現(xiàn)實等問題,促進績效評估轉型,實現(xiàn)績效評估動態(tài)化、常態(tài)化。提供績效評估的技術支持,構建具有特色的教育數(shù)據(jù)應用績效評估平臺、數(shù)字化管理機制和操作系統(tǒng),形成評估內容與方法整合、評估結果與績效掛鉤的教育數(shù)據(jù)應用績效評估機制,提高數(shù)據(jù)采集、應用的科學性,提升教育管理人員的數(shù)據(jù)素養(yǎng)。

(3)打造螺旋服務:工具開發(fā)提高績效評估效能

教育數(shù)據(jù)應用績效評估是教育數(shù)據(jù)開放共享的重要環(huán)節(jié),打造螺旋服務、開發(fā)評估工具能夠提高績效評估的效能,促進教育數(shù)據(jù)開放共享。開發(fā)教育應用績效評估工具,需要從評估工具的成本效益是否最優(yōu)、評估工具是否單一、能否提高評估工具的拓展性等3個層面考量。第一,需要考慮工具、人員培訓、時間等成本,通過評估工具的選擇與教育數(shù)據(jù)策略相結合,有效提高教育數(shù)據(jù)的利用率。第二,對于大規(guī)模、多線程、多指標的教育數(shù)據(jù)來說,單一工具的使用很難有實效,應使用多種評估工具對不同的指標從多個視角進行評估。第三,不同評估工具可以用于對教育數(shù)據(jù)應用績效進行監(jiān)測和評估、數(shù)據(jù)收集及分析,但收集不同來源教育數(shù)據(jù)時,評估工具的拓展性會影響評估的績效,因此在開發(fā)績效評估工具時應提高工具的拓展性。

2.平臺服務層:打造數(shù)據(jù)處理核心

(1)伴隨式全域數(shù)據(jù)采集:保障教育數(shù)據(jù)應用采集的全面性

匯聚數(shù)據(jù)采集是教育數(shù)據(jù)應用績效評估框架有效實施的重要環(huán)節(jié),避免因收集的教育數(shù)據(jù)片段化而忽略部分應該評價的內容,減少因缺乏可靠的依據(jù)而過于依賴經(jīng)驗進行主觀評價的事件發(fā)生。設計教育數(shù)據(jù)應用績效評估框架需要對教育數(shù)據(jù)進行全方位、全時段的采集,所采集的教育數(shù)據(jù)主要包括非結構化教育數(shù)據(jù)、半結構化教育數(shù)據(jù)和結構化教育數(shù)據(jù)。非結構化教育數(shù)據(jù)和半結構化教育數(shù)據(jù)需要利用智能技術對全域教育數(shù)據(jù)進行匯聚采集,包括教育主體的認知數(shù)據(jù)、情感數(shù)據(jù)和行為數(shù)據(jù)等。結構化教育數(shù)據(jù)主要包括教育主體的教育背景、基本信息等,這部分數(shù)據(jù)可以直接調用數(shù)據(jù)庫或者利用工具進行自動化采集。通過對教育數(shù)據(jù)的全域采集和智能終端伴隨式采集,將碎片化數(shù)據(jù)整合為系統(tǒng)化數(shù)據(jù),以保障數(shù)據(jù)采集的全面性,解決數(shù)據(jù)難以全域采集、數(shù)據(jù)失真等問題。

(2)多維度數(shù)據(jù)分析處理:提高教育數(shù)據(jù)應用的質量

數(shù)據(jù)分析處理是教育數(shù)據(jù)應用績效評估框架有效實施的主體部分,傳統(tǒng)的教育數(shù)據(jù)分析處理存在一些不足。一方面,縱向分析缺乏各機構、各單位的教育數(shù)據(jù)應用績效對比,橫向分析缺少同類機構單位的應用績效對比。另一方面,傳統(tǒng)的教育數(shù)據(jù)分析處理僅局限于績效評估的現(xiàn)狀分析,缺少專業(yè)層面的多維度分析。為此,評估時,政府、教育部門等評估主體可以通過人工智能、大數(shù)據(jù)分析等技術等對采集的教育數(shù)據(jù)進行科學分析和處理,并深度挖掘,剖析績效評估各方面的關系和特征,揭示教育數(shù)據(jù)應用存在的問題與不足,并預測其未來發(fā)展方向。此外,對各單位機構在多方面進行橫縱向對比分析,以提高教育數(shù)據(jù)應用的質量。

(3)可視化反饋評估結果:提供精準化的診斷反饋信息

反饋評估結果是教育數(shù)據(jù)應用績效評估框架有效實施的重要保障。反饋評估結果并非是一個簡單的統(tǒng)計結果的過程,而是需要不斷獲取、管理、評估數(shù)據(jù)的復雜過程。可以通過大數(shù)據(jù)、學習分析等智能技術及評估工具,根據(jù)教育數(shù)據(jù)應用處理分析的結果進行反饋,將反饋的評估結果通過可視化工具輸出,提供精準化的診斷反饋信息,保障教育數(shù)據(jù)反饋評估結果的可靠性和有效性,實現(xiàn)評估框架的迭代優(yōu)化,助力績效評估更加精準,實現(xiàn)教育數(shù)據(jù)應用資源共享和實時反饋。

3.應用創(chuàng)新層:賦能評估有效實施

(1)轉變評估理念:打造動態(tài)評估模式

以往人們提出教育數(shù)據(jù)服務訴求后,政府等部門被動地做出回應,這使得教育數(shù)據(jù)應用績效評估過程僵化、評估內容貧瘠。[52]隨著技術與數(shù)據(jù)的融合、評估主體參與的多樣性,政府等部門可以及時了解教育訴求,轉變教育數(shù)據(jù)應用績效評估的理念。技術的發(fā)展使績效評估從靜態(tài)走向動態(tài),改善了績效評估視角單一等問題,同時借助大數(shù)據(jù)技術,轉變評估理念,對海量的教育數(shù)據(jù)進行收集、分析與處理,從而發(fā)現(xiàn)其中的內在聯(lián)系與發(fā)展規(guī)律,并進行精準預測和評估。

(2)改善評估方式:內部評價與外部評價相結合

以往的教育績效評估主要通過抽樣調查或試點實驗等形式展開,這種評估方式難以滿足不同地區(qū)、不同群體的訴求。為了更真實、客觀地評估教育數(shù)據(jù)應用績效,需圍繞評估主體構建內外部評價相結合的績效評估方式。內部評價包括部門自評和監(jiān)管督查兩種形式。外部評價是保證績效評估結果客觀公正的必要途徑,主要包括第三方評價和社會評價。利用新興技術對教育數(shù)據(jù)應用績效進行評價創(chuàng)新,可以有效融合多種評價方式,避免評估過程過分依賴經(jīng)驗的缺陷,加強教育數(shù)據(jù)應用績效的科學分析,促進教育數(shù)據(jù)的識別、采集、整合、應用走向智能化與精準化,增加教育數(shù)據(jù)產出效益,完善績效制度體系建設。

(3)健全評估主體:多元主體共同參與協(xié)作

傳統(tǒng)的教育數(shù)據(jù)應用績效評估的主體較為單一,沒有充分考慮各利益相關者的權責。通過健全評估主體可以推動多元評估主體共同參與和協(xié)作,解決績效評估視角單一等問題。績效評估不僅取決于政府的領導,更需要以教育部門、學校和教育培訓機構、合作單位、社會組織、教師、學生等所有參與的個體或群體為中心進行評估。智能時代教育數(shù)據(jù)應用績效評估凸顯“去中心化”趨勢,形成了“多中心”評估的結構,使得個人和社會有了更多參與績效評估的機會。在績效評估中要充分考慮各群體和個體的意見,明確利益相關者的需求,健全評估主體,提高評估的科學性,促進教育數(shù)據(jù)戰(zhàn)略的制定。

五、結語

教育數(shù)據(jù)應用績效評估已成為驅動教育數(shù)字化轉型的引擎。加速應用績效評估框架的設計與實施是優(yōu)化教育數(shù)據(jù)要素市場、推進教育數(shù)字化轉型的必由之路。研究設計了教育數(shù)據(jù)應用績效評估框架,從基礎支撐、平臺服務和應用創(chuàng)新等3個層面提出了績效評估框架的實踐路徑。然而,績效評估仍面臨著較多難題,未來研究將需要在相關政策文件的支持下,圍繞如何精準落實績效評估機制與框架在地方政府及部門的應用,提高績效評估框架的適配性,推動教育數(shù)據(jù)應用績效評估的有序開展,助推新時代的教育數(shù)字化轉型。