數據驅動的區域教育質量分析模型與實現路徑

黃濤　王一巖等

摘要：大數據和人工智能技術的發展為區域教育質量分析與評價提供了新思路，致力于還原教育系統的全貌，推動區域教育生態的變革。立足于國內教育改革發展的實際需要，分析大數據環境下區域教育質量評價面臨的機遇和挑戰，通過對國內外教育質量評價項目的研究進展、理論模型、分析方法等方面的整合分析，提出我國教育質量評價的關鍵在于參照核心素養的要求，制定區域教育質量評價指標體系;構建多元分析模型，揭示區域教育發展規律;著眼于國家教育發展長遠規劃，探索區域教育質量評價實現路徑。從區域教育改革和國家人才培養的現實需要出發，各級各類教育部門應該從區域教育質量評價指標體系的制定、大規模學業質量測評工作的開展、教育過程數據智能采集系統和智能分析模型的構建等方面推進教育質量評價工作的開展，助力于區域教育生態的重構。

關鍵詞：大數據;教育質量評價;教育數據挖掘;教育生產函數

中圖分類號：G434 文獻標識碼：A

近年來，隨著以PISA（國際學生評估項目）為代表的大規模教育質量測評項目的開展，各國都更加注重對本國教育質量發展狀況的監測和評估，把握教育發展方向，提升人才培養質量。在國內教育改革快速發展的時代背景下，參考國內外先進的理論和實踐經驗，根據《中國學生發展核心素養》的要求對人才培養目標進行重新修訂，運用大數據的思想和方法構建智能分析模型對學生學業表現的影響因素進行歸因分析，揭示區域教育質量發展規律，對于區域教育質量的提升具有重要意義。

一、大數據環境下教育質量評價的挑戰與突破口

（一）大數據環境下中國教育發展的新態勢

1.教育信息化驅動下的區域教育生態變革

《教育信息化十年發展規劃（2011-2020年）》明確提出“探索現代信息技術與教育的全面深度融合，以信息化引領教育理念和教育模式的創新，充分發揮教育信息化在教育改革和發展中的支撐與引領作用”。以大數據技術為依托，變革傳統的數據采集、分析和應用模式，將區域教育系統作為一個有機整體，以數據化、科學化的方式分析區域教育發展趨勢，制定精準化教育決策，實現數據驅動下的區域教育管理、教學指導、教學行為的科學化，是教育信息化環境下區域教育改革的必由之路。

2.培養目標的異化和教育評價方式的變革

2014年教育部印發《關于全面深化課程改革落實立德樹人根本任務的意見》，提出“研究各學段學生發展核心素養體系，明確學生應具備的適應終身發展和社會發展需要的必備品格和關鍵能力”。2016年發布的《中國學生發展核心素養》中確立了“人文底蘊、科學精神、學會學習、健康生活、責任擔當、實踐創新”六大學生核心素養。核心素養為我國基礎教育的改革奠定了方向，強調以核心素養為基礎的學生學業質量標準的制定，變革傳統的以學生學習結果為導向的評價方式，突出學生關鍵知識、能力、素養的培養，強調學生參與未來社會生活所需的基本知識和技能，推動教育評價方式的變革。

3.教育系統的復雜性帶來的教育決策方式的變化

教育部辦公廳《2015年教育信息化工作要點》中指出：“全方位推進國家教育科學決策服務系統建設，研究制定教育數據管理與使用辦法，規范數據的規劃、采集、共享和使用，推進大數據應用，發揮監測、評價、預測及預警功能，為科學決策、宏觀管理提供依據”。

大數據使管理者從經驗決策轉型到數據驅動的決策，提高其教育管理的科學性。從大數據分析的角度出發，學生的學業水平不僅受學生自身智力的影響，還與教師、學校、家庭、社會以及學生的興趣愛好、身心健康等因素息息相關。對于教育管理者來說，如何構建區域教育質量分析模型，揭示區域教育發展規律，制定精準教育決策，優化資源配置，消除學校辦學水平、家庭社會經濟文化狀況等因素對學生學業成就的影響，進一步保障學生平等的受教育權利，是在未來的一段時間內急需解決的關鍵問題。

（二）大數據技術驅動區域教育質量評價方式變革

斯坦福大學2016年發布的《2030年的人工智能與生活》報告指出，“新一代人工智能技術將深刻地影響教育領域，支撐智慧教育的實現”。大數據、人工智能技術的發展為教育數據采集、分析和評價提供了新思路，多元的數據采集機制能夠覆蓋教學過程、教學結果等各個方面，對學生的知識、能力、情感等方面進行深入分析，構建精準學生畫像。細化教師、學校、區域等各層面的數據對學生學業水平影響機制的研究，從學生學業表現的角度出發助力于區域教育生態的變革。

1.構建深度分析模型，變革數據分析方法

傳統的區域教育質量監測以統計分析和回歸分析為主，注重對教育現象的解釋和教育規律的淺層分析。但教育系統的復雜性使得傳統的線性分析模型不再適用于大規模、多層次的數據分析模式，大數據和人工智能技術的引入為其提供了新思路：（1）利用決策樹、支持向量機、深度神經網絡等機器學習方法構建深度、非線性的分析模型，對教育系統的數據進行深度挖掘，能夠更好地還原教育系統的全貌，助力于教育評價方式的智能化;（2）強化數據關聯規則的構建，構建多領域交叉分析模型，挖掘數據的潛在規律，助力于區域教育決策方式的智能化。

2.挖掘數據潛在規律，推動評價機制變革

大數據技術在教育數據分析方面的全面性和深入性極大地影響著區域教育研究工作的開展，變革傳統的以統計分析和經驗主義為主的教育評價方式。（1）參照國家對未來人才培養的實際需求，細化學生層面的教育質量評價數據模型，將學生的知識能力、情感態度、品德修養、身心健康、實踐創新等方面納入教育質量評價指標體系中，以數據科學的方法來對相關方面的指標進行細化分析，健全區域教育質量評價標準;（2）強化對區域教育發展產生關鍵作用的家庭、教師、班級、學校、區域等方面評價機制的構建，深入挖掘其對區域教育質量的影響權重和作用機理，建立區域教育發展智能評價機制。

二、教育質量評價研究進展

（一）教育質量測評項目研究進展

大規模教育質量評價工作的開展由來已久，國際知名的教育質量測評項目有：國際經濟合作與發展組織（OECD）于2000年發起的國際學生評價項目（PISA）;國際教育成就評價協會（IEA）主導的國際數學和科學教育成就趨勢研究項目（TIMSS）和國際閱讀素養進展研究項目（PIRLS）;美國國家評價管理委員會（NAGB），國家教育統計中心（NCES）等主導的國家教育進步評估項目（NAEP）等。主要的監測科目為閱讀、數學、科學等科目，并對與學生學業水平相關的學習情況、家庭背景、班級特征、教師背景、學校資源等數據進行采集和分析，在此基礎上提出有針對性的教育質量改進的政策和建議。

國內在大規模教育質量測評方面起步較晚，具有代表性的是PISA中國2006、2009、2012年在我國開展的三輪次的獨立研究和教育部基礎教育質量監測中心的教育質量監測項目。后者參照PISA、NAEP的教育質量測評模式在全國31個省（自治區、直轄市）和新疆生產建設兵團總共抽取了973個縣（市、區）的572314名四、八年級學生參加測試。測評學科為德育、語文、數學、科學、體育、藝術6個學科，并于2018年7月發布了國內第一份《中國義務教育質量監測報告》，對于我國教育質量測評工作的開展意義重大。

（二）教育質量監測理論和技術研究

教育質量評價的理論模型大多以Hanushek1986年提出的經典教育生產函數為依據，結合具體的研究問題加以拓展，采用多種方法對教育投入和教育產出進行界定，并運用相關的技術手段對結果進行分析，揭示教育教學規律。

M.A.Dincer和G.Uysal以土耳其PISA2006年的科學素養測試結果為依據，運用廣義最小二乘回歸的方法分析土耳其學校學生成績的影響因素。Jehangir，K.和C.A.W.Glas利用多層線性模型的方法對PISA2009年的測評數據進行分析，探索父母的社會經濟地位（SES）與學生閱讀成績之間的關系。Masci，C.和Ieva，F.在多層線性模型的基礎上構建了多元多層分析模型，對意大利初中一年級學生的詳細信息與學生閱讀和數學成就水平之間的相關性進行分析。Cortez和Silva采用回歸樹和隨機森林等數據挖掘方法，將葡萄牙中學生的數學和閱讀成績與學生的個體特征進行關聯分析。Gabriel，F.，Signolet，J.，和Westwell，M.使用提升回歸樹的方法構建了兩個分析模型，從原始響應和聚合響應兩種不同的級別探索澳大利亞15歲兒童的心理傾向和數學素養之間的關系。Masci，C.，G.Johnes和T.Agasisti利用加拿大、法國、德國、意大利、日本、西班牙、英國和美國等9個國家PISA2015年的測試成績構建了兩階段分析模型，第一階段使用RE-EM樹估計學生考試成績和學校增值的決定因素，第二階段通過提升回歸樹來模擬學校增值的決定因素，證明了學校增值和學生學業成績之間的相關關系。

（三）區域教育質量影響因素分析

在廣泛意義上來講，學生的認知結構、家庭的社會經濟文化背景、教師的專業素養、教學方法、學校的辦學規模、師資力量以及區域的經濟發展水平等各方面都能夠與學生的學業表現產生聯系。Akukwe，B.和U.Schroeders通過對德國543名家長提供的家庭背景信息來研究家庭的經濟、文化、社會和認知方面對德國九年級學生的生物學科學習能力的影響機制。Gustafsson，J.和T.Nilsen致力于研究能夠減少社會經濟地位（SES）與學業成就之間關系的學校特征，從而提高教育成果的公平性。Cordero，J.M.和M.Gil-Izquierdo使用經合組織創建的TALIS-PISA鏈接數據，研究不同教學策略對學生成績的影響，發現相較于創新的主動學習策略，傳統的教學方法對學生的數學能力有更加積極的影響。Giambona，F.和M.Porcu利用PISA2012數據探索了意大利學校規模與學生學業成就之間的關系，發現學校規模能夠影響學生的成就，但并不是簡單的線性關系。Gimenez，G.，A.Martln-Oro和J.Sanau將哥斯達黎加學校地理位置數據與社會發展綜合指數相結合研究區域發展對學生學業成績的影響指數，研究結果表明，社會發展對考試成績有積極影響，但影響力逐年減弱。

三、區域教育質量評價的理論模型、分析方法和實現路徑

（一）理論模型

本文在經典教育生產函數的基礎上結合我國教育改革實踐工作的現狀提出基于大數據的教育生產函數拓展理論模型：

在上式中，A_t代表時間t的教育產出，這里指區域教育質量，主要包括學生的學業成績、知識能力、情感態度和身心健康等方面的綜合表現;F_t代表與學生學業表現相關的家庭社會經濟文化背景，包括家庭結構、父母的學歷、職業、收入水平、家庭的經濟背景和文化氛圍等;T_t代表教師因素，包括教師的性別、年齡、職稱、任教時長、專業技能、教學方式和教學干預措施等方面;C_t代表班級因素，包括班級容量、性別比例、班級氛圍、師生關系等;Sh_t代表學校的辦學條件因素，主要包括學校規模、教育資源、師資力量和教育管理的成效等;D_t代表區域的經濟發展水平、人口分布特征、教育政策和教育項目的實施成效等。f代表教育產出的計算方法，常用的方法有線性回歸模型、多層線性模型等。

（二）分析方法

基于教育生產函數構建大數據環境下的區域教育質量評價模型的常用方法有：

1.多層線性模型

多層線性模型（Hierarchical Linear Models，HLM）是針對經典統計分析方法在處理具有層級嵌套關系數據時所存在的局限而提出的，用于揭示不同層級數據的相互作用。多層線性模型根據其應用場景的不同可以分為零模型、完整模型、協方差模型和隨機效應模型四種，如下表所示。

其中，ρ表示Y的總體變異中有多大比例是由第二層的變異引起的，以“學生一教師”兩層模型為例，ρ表示教師的因素在學生學業表現中的影響權重。

多層線性模型的優勢：（1）多層線性模型能夠對數據的層次結構進行解析，準確表示個體差異和組問差異對學生學業成績的影響權重;（2）根據所得回歸方程截距和斜率之間的相關關系，可以更好地解釋影響因素和學業成績之間變化的規律，為教育管理者提供精準的決策支持。

多級線性模型的局限性：教育系統的復雜性和數據規模的增加使得大多數情況下數據的分布規律不能滿足線性分布的假設，強迫建立數據之間的線性關系容易造成數據分析效率的低下。

2.多級回歸樹模型

決策樹的生成就是遞歸地構建二叉決策樹的過程，對回歸樹用平方誤差最小化的準則尋找最佳劃分節點。假如我們有n個特征，每個特征有Si（i∈（i，n））個取值，則遍歷所有特征，嘗試該特征所有取值，對空間進行劃分，直到取到特征。，的取值s，使得損失函數最小，這樣就得到了一個劃分點。描述該過程的公式如下：

多級回歸樹模型的優勢：（1）利用回歸樹模型代替原有多層線性模型中的線性回歸模型，增強了模型的泛化能力，能夠更好地反映復雜教育系統中的數據分布規律;（2）利用決策樹可視化特性呈現模型分布特征，增強了模型的可解釋性，助力于構造區域教育決策專家系統，為區域教育管理者提供智能化的決策建議。

多級回歸樹模型的劣勢：（1）異常數據的存在會導致回歸樹模型在進行預測時產生較大誤差，對模型的準確性產生影響;（2）樹模型的構建是一個遞歸的過程，對訓練數據的擬合能力較強，容易產生過擬合現象，因此需要設定恰當的剪枝策略，增強模型的泛化能力。

3.梯度提升樹

梯度提升樹是當前階段數據挖掘領域應用最為廣泛的分析模型，在解決分類、回歸問題中均有顯著成效。梯度提升回歸樹是一種基于Boosting思想的集成學習算法，其基本思想以分類和回歸決策樹（CART）作為弱分類器來構建一個強分類器。其原理是：（1）針對同一個訓練集訓練多層的弱分類器，每層使用訓練集訓練一個弱分類模型，從訓練出的模型中得到預測結果;（2）根據訓練集中樣本分類是否正確、總體分類的準確率來確定每個樣本上應重新分配的權值，將修改過權重后的新數據集訓練一個下層的分類器;（3）不斷進行訓練直到有很少的錯分樣本，最后將每層的分類器按照一定的規則融合在一起形成最終的決策分類器。

梯度提升樹的優勢：（1）可以使用一些健壯的損失函數，對異常值的魯棒性非常強;（2）經過簡單的調參便能夠取得相對較高的準確率，是目前數據挖掘領域效率最高的算法之一。

梯度提升樹的劣勢：難以實現并行訓練，計算成本較高。

4.深度學習

深度學習是機器學習領域一個重要的研究方向，近年來在圖像處理、自然語言理解、語音識別等領域取得了突破性進展。深度學習技術與傳統線性模型的區別在于：（1）深度神經網絡以線性模型為基礎，通過使用相應的激活函數來實現模型的非線性化;（2）采用多層神經網絡結構，對數據的特征進行逐層提取。相關研究表明，神經網絡每一層提取的特征各不相同，隨著模型深度的增加，數據特征提取的成效越顯著;（3）采用反向傳播算法對模型中各個層級、各個類別的數據權重進行修正，通過多輪訓練，對模型參數不斷進行優化。

深度學習技術的優勢：（1）模型復雜，靈活性強，可通過增加模型的層數對數據特征進行有效提取;（2）全方位構建多層多維關聯分析模型，可對教育系統數據進行全方面的關聯分析，提升數據分析的準確性;

深度學習技術的劣勢：（1）模型可解釋性差，很難對相關規律加以解釋;（2）在小數據集中容易出現過擬合現象，對數據分析的準確性產生影響。

（三）實現路徑

1.構建數據描述標準，完善教育評價指標體系

教育生產函數的三要素，即教育投入、教育產出和分析模型。利用大數據技術對區域學生的學業表現進行成因分析，需制定標準化的教育投入和教育產出評價體系，使得相關分析工作的開展有章可循。

教育產出的界定需根據核心素養的要求，從學生應對未來社會發展所需的基本知識和技能的角度出發，將教育產出定義為與學生學習和未來發展相關的知識能力、品德修養、創新意識、身心健康等各方面，使得數據標準的制定和相關分析工作的開展能夠服務于國家創新人才培養的實際需求，助力于教育評價方式變革。

根據PISA環境因素測評框架，學生的學業表現受家庭、教師、班級、學校、區域等各方面因素的影響。因此在制定大數據環境下的區域教育投入評價標準的過程中，需要充分考慮教育系統中與學生學業相關的各種因素，使得教育投入數據的采集能夠覆蓋教育系統的各個方面，從而更好地挖掘數據的潛在規律，服務于教育教學工作的開展。

2.構建多元分析模型，增強數據潛在規律挖掘

教育系統的復雜性使得數據分布特征較為復雜，應從區域教育數據挖掘工作的實際需要出發構建多元、多層分析模型，明確相關指標對學生學業成績影響的顯著性大小，增強模型的可解釋性，加強對數據問的關聯分析。通過特征工程的方法對數據的潛在因子進行挖掘，構建學生、家庭、教師、學校、區域不同層級問的聯合效應分析模型，對數據的潛在規律進行分析，更好地還原教育系統的全貌，服務于區域的精準決策。

3.構建區域數據閉環，建立數據應用反饋機制

區域學業質量測評模型的構建需要一支專業化的理論研究和技術開發團隊作為支撐，數據的采集、分析和應用都需要從區域學業質量評價的實際需要出發，制定相應的采集、分析標準，進行模型構建，對區域學業質量發展進行預警、預測，助力于基于大數據的區域教學生態的重構。

（1）制定學業成就測評機制，構建學生學業水平發展診斷模型

對學習者及其所在情境中產生的數據進行記錄和分析并為其提供個性化學習服務是教育大數據背景下學習分析研究在促進有效學習方面的內在旨趣。通過對區域學業數據的采集分析，對學生學科能力、認知能力、學習風格、學習動機、學習偏好、學習態度等方面進行診斷和判別，以此來構建個體和群體學生畫像，幫助教師及時掌握班級和個體的學業水平發展狀況，對學生學業水平的提升提供更及時、更精準的指導。

（2）描繪區域教育生態藍圖，構建區域教育質量發展預測模型

通過對區域教育質量發展狀況進行長時間的監測，結合當前階段區域學生的各項學業表現，構建面向群體的區域的中高考上線率預測模型和面向個體的學生職業發展預測模型。立足于學生職業發展和區域學業水平提升的長遠規劃，分析區域教育發展過程中與教育改革發展不適應的部分，采取及時有效的改正措施，服務于區域教育改革工作的開展。

（3）強化教育質量歸因分析，構建區域教育保障措施預警模型

通過對教育質量發展影響因素的分析，對區域教育系統中與學生學業表現相關的教學資源、師資隊伍、教育政策等各方面進行精準測評，構建區域教育發展保障措施預警模型，對區域教師團隊的結構、教學質量提升機制和教育資源、教育政策等與區域教育發展的適應性進行評價。從區域教育系統運轉的內部機理出發分析其中的深層次原因所在，幫助區域教育管理者更理性地均衡教育資源配置、匯聚優質資源服務、推進教師智力資源的流轉。

四、大數據環境下區域教育質量評價的關鍵任務分析

要構建大數據環境下的區域教育質量評價模型需要對教育投入和教育產出進行量化，變革傳統的以質性研究和統計分析為主的研究思路，從數據科學的角度出發構建深度分析模型，挖掘數據的潛在規律，服務于區域學業水平的提升。通過與國外相關測評工作的對比分析，我們還需要在以下方面加以重視：

（一）教育質量評價標準及相關指標的制定

學業水平監測工作的開展要從國家人才培養的實際需要出發，結合《中國學生發展核心素養》提出的對學生文化基礎、自主發展和社會參與的要求，提升學生應對終身發展和社會發展需要的必備品格和關鍵能力，從國家層面強化學生學業質量標準的制定，以學生學業水平為依托，構建涵蓋學生品德、健康、審美、實踐等各方面的教育質量評價指標體系，為學業水平監測工作的開展建立堅實的基礎。

（二）大規模教育質量測評工作的開展

中國的基礎教育體量巨大，地區差異明顯，如何構建適應國家和區域發展實際需要的教育質量監測標準，需要諸多科研工作者的共同奮斗。教育部基礎教育質量監測中心等科研機構經過多年的積累雖已取得相應的成果，但也均處于起步階段，不能夠滿足教育系統分析的實際需求。后續工作的開展應圍繞學業測試的標準化、問卷編制的科學化以及數據分析的精準化等方面來開展，增強大規模學業測評工作的有效性，通過開放測評數據集等方式，在國內形成規模化、體系化的教育質量分析團隊，引導國內相關領域的研究者關注和投入到相關科研工作的過程中，共同助力于我國教育質量評價工作的開展。

（三）教育過程數據智能采集系統構建

在現有技術水平下，對教育投^數據的采集仍然以事實性、結果性數據為主，缺乏對課堂教學過程中教師的表隋、動作、教學方法等數據的序列化采集和分析。隨著人工智能技術的進一步發展，可利用計算機視覺、自然語言處理、語音識別等技術對教師教學過程中教師和學生的語音、視頻、文本信息進行采集和分析，通過多模態的數據采集和分析技術，對教師的教學風格、教學方法，學生的學習風格、課堂聽講的專注程度等數據進行提取，構建多維度的課堂教學分析模型，對教師和學生進行精準刻畫，以服務于課堂教學的成效分析的實際需要。

（四）智能分析模型的構建

教育系統的復雜性和多樣性是未來學業水平監測過程中面臨的巨大挑戰，如何構建適應教育改革發展的多元數據分析模型，還原教育系統的全貌，是我們在未來的教育發展過程中必須解決的關鍵問題。強化橫向和縱向數據分析模型的構建，運用機器學習和深度學習的方法對數據進行智能分析，增強模型的準確性和可解釋性，能夠有效地服務于區域教育發展的各個環節，以數據科學的手段助力于區域教育的常態發展。

（五）提升教師運用大數據技術解決課堂教學問題的能力

大數據在為教育教學帶來極大便利的同時，也為教師帶來極大挑戰。如何運用大數據進行科學合理的教育決策、變革課堂教學生態，是現階段教師面臨的關鍵問題。區域、學校應加強教師培訓，強化教師對相關智能教育平臺的學習和利用，提升自身數據素養，理解大數據驅動教育質量評價的內部機理，懂得利用大數據技術進行學生學業表現的智能診斷分析，采取及時有效的教學干預措施，使數據能夠服務于教師教學的各個階段。