基于大數據的教育云服務績效評價研究

周鵬 李環 劉佩文 吳砥

摘要：以教育云為載體向廣大基礎教育師生集中提供數字化教育資源和在線教育應用對提升教育質量、促進教育公平具有重要意義。而如何構建一套量化評價教育云服務績效的指標和方法，用于評價教育云服務對教育教學與教育管理的應用績效，成為我國教育云推廣中的關鍵問題。面向教育云服務績效評價問題，該研究設計了基于教育云平臺大數據的教育云服務績效評價指標和方法體系，首先分析了教育云服務內容和服務過程，其次從提升教育質量和促進教育公平兩個維度提出了教育云績效評價目標和評價指標體系，再以教育云平臺大數據為來源設計了評價指標的加工方法，最后以W市教育云為例驗證了本研究所提出的績效評價指標、方法的科學性和有效性。

關鍵詞：教育云；公共服務；教育大數據；績效評價

《教育信息化“十三五”規劃》提出要“積極利用云計算、大數據等新技術，創新資源平臺、管理平臺的建設、應用模式”。從2012年以來，我國各級教育行政部門開始嘗試以教育云為載體集中提供教育資源和教育應用，以提升教育服務質量、降低服務成本，各地教育云平臺建設風起云涌，為基礎教育提供了豐富的教育資源、多樣化的教育教學和教育管理應用服務。隨著教育云服務范圍的不斷擴大，政府對教育云平臺的投入也不斷增長。而投入大量資源建設的教育云平臺能否為區域基礎教育的教育教學和教育管理提供有效的服務，產生顯著、可度量的績效，成為各級教育行政部門在建設和推廣教育云平臺過程中重點關注的熱點。而當前教育云建設實踐中測算教育云服務提供的資源數量、服務種類、師生注冊量、資源訪問量等指標的評價方法，既不能反映教育云平臺的實際績效，也不能成為購買教育云服務決策、制定教育云平臺發展策略的依據。因此，從教育云服務的內容和過程出發，構建一套量化評價教育云服務績效的評價指標和評價方法，成為擴展我國教育云服務覆蓋面亟待解決的關鍵問題。

“績效”的概念源于管理學，作為一項政府向基礎教育提供的公共服務，教育云服務通過支撐特定區域的師生、學校的教育教學和教育管理活動，使師生產生滿意效果并提升學生綜合素養水平，從而產生績效。面向教育云服務績效評價問題，本研究首先歸納了教育云評價相關的現有研究，其次分析了教育云服務的服務內容、服務過程和大數據產生過程，并基于教育云服務的績效評價目標和教育云平臺大數據的特征設計了教育云績效評價指標體系，再從教育云平臺大數據的內容出發設計了面向評價的大數據加工方法，最后以中部W市教育云的績效評價項目為實例驗證了本研究設計的評價指標體系和大數據加工方法的有效性。

一、研究綜述

本研究從在線學習的效果評價、教育信息化公共服務績效評價和信息化輔助課堂教學效果評價三個領域歸納教育云績效評價的理論基礎。

在線學習的效果評價領域，對在線學習的評價往往從服務和應用效果兩方面展開評價。從提供服務的角度，Cann設計了對內容和鏈接評估在線學習資源內容和質量的方法以評價在線學習資源的使用情況，Misook等以認知負荷理論評估不同的在線學習工具對學生學習成效的影響，表明較小的認知負荷能提升學生的學習成效，Hosie等設計了基于教學法、資源和傳遞策略三方面的評價方法，用以評價高等教育在線教學的課件設計質量；更多的研究從學生的應用效果的角度展開，Griff等從考試成績、課堂成績、作業表現等方面評價了學生使用在線平臺學習兩門課程的效果；此外，Reevesi提出了在線學習環境的三種評價組合策略：認知評估、效果評估和組合評估。可見，包括資源內容、質量在內的在線學習服務的評價方法和包括學生作業表現、考試成績在內的應用效果的評價方法，是兩類主要的在線學習平臺評價方法。

教育信息化公共服務的績效評價領域，大多是從各種視角構建了評價概念模型。王海等從基礎設施建設、資源建設、應用程度、主體發展和保障程度五個維度構建了農村基礎教育信息化EEE評價模型，用以評價農村基礎教育信息化發展水平；顧小清提出的區域教育信息化績效的三維評估模型，從視角維度、發展維度和角色維度提出了區域教育信息化評估概念模型；李文光等設計了包括教育信息化建設、信息技術與教學融合、資源共建共享、教師發展、學生培養、政策和機制等6個一級指標、27個二級指標和184個三級指標的指標體系。雖然構建了較為全面的評價概念模型，但是這些研究并未進一步詳細探討作為評價證據的指標數據的采集方法，也未能進一步將這些概念模型具象化并通過實施評價驗證概念模型。

教育云平臺同樣也用作支持信息化課堂教學，而在課堂教學評價領域，現有的研究往往從學生行為和應用效果出發設計了評價方法。早在2011年，孫沛華就通過文獻綜述，提出了包括教師、講授、交流和實踐在內的信息化教學評價框架；左明章等設計的基于多元智能理論的學生學習績效評價方法，以任務驅動的方式評價課堂教學中的活動、項目和學生的學習績效；余艷等基于社會交互模型將學生的課堂動作量化為可分析的行為矩陣，從測試和觀察兩個維度開展信息化課堂的評價。同樣，信息化課堂教學的評價研究能為教育云平臺支撐課堂教學的績效評價提供理論支持。

設計基于大數據的教育云平臺績效評價模型與方法，就要綜合在線學習評價理論、教育信息化評價理論和信息化課堂教學評價理論，結合教育云服務的內容與方式，提出具體的評價理論、模型和方法。

二、教育云的服務內容、服務過程和評價指標

本研究通過對國內多個教育云平臺的調查，歸納了當前我國教育云的主要服務內容、服務過程和平臺大數據產生過程。

（一）教育云服務內容

教育云是以云技術匯聚海量教育資源和各類教學應用程序，通過互聯網提供給教師、學生和學校管理者，用于支撐課堂教學、備課教研、自主學習、學校管理等活動，旨在提升學生的能力和素養的在線平臺。通過對國內多個教育云平臺進行調查，發現海量數字化學習資源服務、課堂教學服務、自主學習服務、教師教研服務和學校管理服務是教育云提供的主要服務，如圖1所示。

1.海量數字化學習資源服務：教育云平臺的核心服務內容，與傳統的教育資源分發方式不同，教育云平臺具有海量、隨時隨地獲取的特性，這種資源服務模式能以更低的成本覆蓋更廣泛的區域；

2.課堂教學服務：支持課堂教學是教育云平臺的主要服務，基于資源服務和工具支持教師備課、上課、分組討論、隨堂測試和課后作業等教學活動，旨在提升課堂教學質量；

3.自主學習服務：支持學生自主學習也是教育云平臺的主要服務，同樣是基于資源服務和工具支持學生根據自身的需求獲取、訪問學習資源，并開展在線學習交互；

4.教師教研服務：旨在支持教師備課、提升教師能力和水平的服務，基于教育云平臺上的教師交互和資源分享，為教師提供備課、教學的同儕建議、示范課程、資源共享和協同研究等服務；

5.學校管理服務：基于師生基礎數據和師生日常教學活動，為學校日常管理流程和學校管理決策提供支持。

當前，各區域教育云為中小學師生、學校提供了這五類服務，旨在提升學生能力素養和學校管理水平；另一方面，師生和學校應用這五類服務的過程也是教育云服務產生績效的過程。

（二）教育云服務過程和平臺大數據產生過程

各地教育云平臺在投入資源、建設運營方式、師生應用模式等方面存在較大的差異，本研究通過對多個教育云平臺的調查，總結出教育云平臺“服務一應用一產出”過程和大數據產生過程，如圖2所示。

從提供教育云服務到服務績效產出，教育云服務包含從教育云服務內容供給、師生應用教育云服務過程和教育云服務績效產出三個過程：

1.教育云服務內容：指直接向區域師生提供教育云服務的硬件、軟件、網絡帶寬、數字化學習資源等，這些是師生提供服務的對象；

2.服務應用過程：指以教育云服務支持課堂教學、自主學習、備課教研和學校管理等活動，用以滿足師生的應用需求、提升學生的綜合素養和學校的管理水平；

3.教育云服務產出：指區域師生接受教育云服務后產生的效果，直接地體現在師生的滿意度上，間接地體現在包括知識、技能、情感和價值觀等在內的綜合素養的提升上。

教育云平臺服務過程既是服務績效的實現過程，也是教育云平臺大數據的產生過程。在教育云“服務—用—產出”過程中，教育云平臺不但存儲了關于資源、工具等服務內容數據，還跟蹤采集以師生等用戶的行為軌跡為主的服務應用過程數據。而要采集教育云服務效果產出數據，一方面可以用抽樣調查的方式采集師生對教育云服務的滿意度，另一方面可以用教育評價方法評價學生應用教育云平臺后在技能和素養上的提升。

（三）教育云績效評價目標

Bredrup提出績效評價是在服務預期和戰略目標范疇內，通過對服務過程和效果的量化評價，支持對服務過程的重整和持續改進。績效是一種多維構建，測量的目標和因素不同，其結果也不同。因此要評價教育云服務的績效，首先要確定教育云服務績效評價的目標。而教育云服務績效評價目標一是來源于教育云服務的戰略目標，一是來源于對績效本身的界定。

《教育信息化十年發展規劃（2011-2020年）》中提出，“促進教育公平、提高教育質量”是教育信息化的兩大戰略目標，而教育云是實現“資源配置與服務的集約化發展途徑”。教育云服務的戰略目標一方面是要以海量資源和支撐服務提升教育質量，另一方面是要以云服務的泛在性促進教育公平。要評價教育云服務的績效，既要評價教育云服務對教育質量的提升作用，又要評價教育云服務對教育公平的促進作用。

對績效的界定也影響教育云服務績效評價目標的設定。當前對績效的界定存在兩種不同的觀點，一種是“結果的績效觀”，Bemardin認為績效是“在特定的時間里，由特定的工作職能或活動產生的產出記錄”；一種是“過程的績效觀”，Campbell認為績效是“與組織目標有關的行動或行為，能夠用個人的熟練程度來測量”。從這兩種不同的績效觀出發，既要評價師生應用教育云服務開展教育教學的過程，又要評價師生應用教育云服務的結果。

從教育云服務的戰略目標和績效觀這兩個維度構建教育云績效評價的目標矩陣，如表1所示。從過程的績效觀看，績效是教育云服務于師生各類教育教學活動的數量；從結果的績效觀看，績效是教育云應用于教育教學后產生的效果，直接的體現是師生等用戶對教育云服務的主觀滿意度，間接的體現是學生知識、能力、素養的提升。在學生知識、能力、素養的提升中，教育云服務只是其中的一個因素，本研究以師生的用戶滿意度作為評價教育云服務效果的目標。

（四）教育云服務績效評價指標

為表1中的四個象限分別設置一級指標，包括：教育云平臺活動量（I₁）、教育云平臺活動均衡性（I₂）、教育云平臺應用滿意度（I₃）、教育云平臺應用滿意度均衡性（I₄）。針對教育云平臺活動量（I₁），對圖1中的5類教育云服務的活動設置二級指標，分別測量教育云服務中資源（I₁₁）、課堂教學（I₁₂）、自主學習（I₁₃）、協同教研（I₁₄）和教學管理（I₁₅）的活動量。針對教育云平臺活動均衡性（I₂），同樣對5類教育云服務的活動設置相應的均衡性評價指標（I₂-I₂₅），用于測量各區各校應用各類教育云服務的差異。針對教育云平臺應用滿意度一級指標（I₃），分別測量學生（I₃₁）、教師（I₃₂）、管理者（I₃₃）和家長（I₃₄）對教育云服務的滿意度。而針對教育云平臺應用滿意度均衡性（I₄），同樣測量4類用戶的滿意度均衡性評價指標（I₁₄-I₄₄）。教育云服務績效評價的指標體系如圖3所示，共包含4個一級指標、18個二級指標。

從評價指標數據采集和加工的視角，二級指標（I₁₁-I₁₅）和（I₂₁-I₂₅）均采用教育云平臺數據采集和加工的方式評價，一旦數據輸人和數據加工方法確定，同一個區域內的評價結果就具有穩定性和區分度，也就具有較好的信度和效度；二級指標（I₃₁-I₃₄）和（I₄₁-I₄₄）則采用抽樣問卷調查的心理學測量方式評價，通過選擇驗證過的滿意度量表和選擇具有代表性的教師、學生、家長和管理者作為樣本來保障指標的信度和效度。

三、教育云平臺大數據加工方法

（一）教育云平臺大數據

為克服傳統方法難以精準評價教育云服務過程績效的問題，本研究選擇教育云平臺數據作為教育云過程績效評價的數據來源。教育云平臺蘊含了海量的過程數據，包括：師生的教學過程數據、學生的自學過程數據、教師的備課和協同教研過程數據、學校管理流程數據和“師一生一家一校”之間的交互過程數據，這些異構數據具備“海量、多樣化、真實性、高速增長、價值稀疏”的“5V”特性。同時，教育云平臺數據還是師生在教育云上開展各類教育教學和教育管理活動的數據再現，是教育云服務績效評價的理想評價證據和數據來源。教育云平臺數據包括基礎數據和行為數據兩大類，如表2所示。

（二）教育云平臺大數據加工方法

以教育云平臺數據為對象，面向教育云績效評價指標，本研究設計了面向評價的大數據加工方法體系，主要包括平臺活動識別和交互網絡測算兩類加工方法。

1.教育云平臺教學活動識別

在圖3提出的教育云績效評價指標體系中，二級指標（I₁₁-I₁₄）和（I₂₁-I₂₄）是評價師生在教育云中的教與學活動量與分布，因此要從表2所采集的云平臺大數據中包含的操作和動作中識別出課堂教學、自主學習、備課教研等活動。對具體教學活動的識別需要以教育云上該活動的模式和規律為基礎，設計專門的識別算法。教育云平臺課堂教學活動識別算法識別出的一個課堂教學活動過程如下頁表3所示，其中包含了教師的課前準備活動、錄課準備活動、作業講解、教師板書講解、學生搶答、學生應用移動終端參與隨堂測試等操作。

2.教育云平臺交互網絡測算

教育云不僅通過資源和工具支持開展教學和學習活動，還支持教師和學生在線開展學習交互、教研交互，而簡單判斷用戶間的交互量并不能完全體現教育云上自主學習水平和協同教研水平，應從社會網絡的視角計算教育云平臺的交互水平。一是以師生、生生間的話題回復，構造自主學習的關系網絡；二是以師師間的話題討論，構造協同教研的關系網絡。以教育云平臺協同教研交互網絡為例，本研究通過交互網絡測算方法繪制的師生交互關系網絡如圖4所示，其中平均度為3.446，而網絡密度僅為0.0016，表明在該實例中，師生的交互水平較低。

四、基于大數據的教育云平臺績效評價實例

從2017年9月到12月，研究者作為獨立第三方對W市的教育云平臺開展了績效評價。通過對本次評價的背景、數據采集過程、數據加工過程和評價結論的描述，驗證本研究提出的基于大數據的教育云平臺績效評價模型、指標與方法的科學性與可行性。

（一）實例背景

W市是國家數字教育資源公共服務平臺規模化應用專項的試點城市，W市通過購買服務的方式向全市基礎教育師生提供免費服務，旨在通過中小學師生的規模化教育云應用，促進教育教學和教育管理方式的變革，提升教師專業能力和學生綜合素養。為推廣教育云服務，W市發布了《教育云示范工程實施方案》等政策文件，還成立了教育云專班，專門推進教育云。W市教育云平臺提供了包括海量教育資源、課堂教學、自主學習、協同教研和學校管理5大類服務，提供服務的資源總量超過450萬條，還提供了包括集成授課服務、自主學習服務、備課教研服務和學校管理服務在內的教育教學和教育管理支持服務。為了掌握當前W市教育云服務應用及效果，W市教育局引入獨立評價第三方對W市教育云服務開展績效評價。

（二）W市教育云評價大數據采集

為開展W市教育云平臺的績效評價，本研究共采集了包括10大類、139個數據表（含Nosql數據集），共126199265條數據。還通過抽樣問卷調查的方式，采集了涵蓋全市各區域中小學校長、教師、學生和家長共31749個樣本的調查數據，其中有效問卷31670份，有效率為99.75%，如下頁表4所示。

（三）W市教育云評價數據加工

通過對表4描述的教育云平臺評價大數據的加工，得到W市教育云平臺的評價指標如表5所示。其中，用各區分布的基尼系數表示W市教育云分布的均衡性。

（四）W市教育云評價結論

面向如前面表1的教育云評價的目標矩陣，對W市教育云的評價從教育云提升教育質量、促進教育公平以及W市教育云的應用過程和應用結果這四個維度得出評價結論。教育云提升區域教育質量的過程指標如圖5（a）所示，W市教育云應用量以資源服務活動最為突出，接近人均1次；而教育云支持課堂教學和自主學習的活動水平較為接近，均超過人均0.5次；而教育云支持協同教研和教學管理的活動水平都較低。教育云促進教育公平的過程指標（基尼系數）如圖5（b）所示，由于基尼系數介于0-1之間，基尼系數越大，表示不平等程度越高，表明W市各區教育云應用活動差距都較大（>0.4），而教育云服務課堂教學、自主學習、協同教研和管理服務更是差距懸殊（>0.5）。從教育云提升教育質量來看，W市教育云服務的績效主要體現在資源服務、課堂教學服務和自主學習服務等在教與學中的應用；而從教育云促進教育公平來看，各區域間應用差異較大，說明教育云服務不僅沒有促進教育公平，反而擴大了各區間的差距。

通過對W市全部區域內學生、教師、家長和管理者的大范圍抽樣調查，可以得出教育云服務績效的結果滿意度評價指標，如圖6所示。其中教育云提升區域教育質量的結果指標如圖6（a）所示，學生和教師的平均滿意度均高于80%，而管理者和家長的平均滿意度均高于70%，表明在教育云推廣的階段，師生切實感受到教育云帶來的變革，從而產生了較高的滿意度評價，而管理者和家長參與教育云的程度較低，滿意度也相對較低。教育云促進教育公平的結果指標（基尼系數）如圖6（b）所示，表明W市各區學生、教師、家長、管理者對教育云的滿意度非常平均（<0.1）。結果表明，W市學生、教師、家長和管理者越多接受教育云服務就能產生越高的滿意度，而各區學生、教師、家長和管理者的滿意度幾乎沒有差異。

通過對W市教育云服務的績效評價發現，W市教育云服務在部分服務內容上（資源服務、課堂教學、自主學習）已經形成了規模化應用，產生了顯著的過程績效，而且用戶對教育云服務的滿意度超過70%，取得了較好的滿意度效果。但在教研服務和管理服務上應用績效還不高，加之各類應用在各區域間應用不均衡，表明W市教育云服務的應用績效仍有提升的空間。從對W市的評價結果看，由教育行政部門主導的教育云應用績效取決于教育行政部門的推進力度，在某些區域、某些應用上推進力度較大，其應用績效就高；在某些區域、某些應用上推進力度不夠，其應用績效就較低。但不論是應用績效高還是應用績效較低的區域，由于教育行政部門的政策驅動，用戶滿意度都普遍較高。教育云服務的應用績效不僅應來源于教育行政部門的推動，還應來源于師生和管理者對教育云服務產生的應用黏性。此外，從評價目標、評價指標和評價方法設計上看，教育云服務的過程績效能較好地反映教育云服務的應用水平，而主觀滿意度很難在外部因素的影響下有效反映教育云服務的應用結果和均衡性。

五、總結與展望

面向教育云平臺的績效評價問題，本研究以教育云平臺大數據為主要評價證據，設計了一套教育云服務績效評價的指標體系和數據加工方法，并用實例驗證了本研究所提出的教育云平臺績效評價指標體系的科學性和可行性。一方面，本研究旨在為我國各區域教育云的績效評價提供一種可行的解決方案，為各區域教育云服務的購買決策提供有效的支持；另一方面，本研究還率先把教育云作為一項教育公共服務，對教育云服務的績效評價問題開展專門的研究。受篇幅的限制，本研究在教育云平臺大數據的加工算法方面未能展開描述。在后續的研究中，筆者將從教育云服務數據的清洗、加工、挖掘方法等方面開展進一步的研究。