大數據解析及其在教育領域的應用綜述

李 丹

（陜西學前師范學院，陜西西安，710010）

大數據解析及其在教育領域的應用綜述

李 丹

（陜西學前師范學院，陜西西安，710010）

從大數據的特征入手，給出了大數據的處理流程，分析了數據采集、數據分析、數據服務、數據可視化的要點，給出了教育大數據的應用模式，從個性化課程分析、教育領域的數據挖掘、監測學生的考試、為教育決策和教育改革提供參考、幫助家長和教師找到適合孩子的學習方法五方面論述了大數據的應用實踐。

大數據；處理流程；教育大數據；應用實踐

隨著物聯網、互聯網技術的進一步發展，人們利用網絡來處理各類事件，由此產生出大量的數據，這些數據大多都是無規則的。隨著云計算技術的發展，將分布在各個角落的無規則的數據進行分析、整理，篩選出有用的信息，從而為各行各業服務，這是大數據所要研究的范疇。

1 大數據的特征

大數據在全球范圍內備受關注，對大數據的定義也有多種提法。IBM提出3V，即認為大數據具備規模性(Volume)、多樣性(Variety)和高速性(Velocity)三個特征：規模性指數據量巨大，量級達到TB級及PB級；多樣性指數據類型繁多，包括結構化數據和非結構化數據；高速性指數據創建、處理和分析的速度持續在加快。在此基礎上，還有人提出4V定義：IDC（互聯網數據中心）認為大數據還應當具有價值性(Value)，大數據的價值往往呈現稀疏性；而IBM認為大數據還具有精確性 (Veracity)，將精確性作為大數據的第四個屬性凸顯了應對與管理某些類型數據中固有的不確定性的重要性。除了3V定義，較典型定義來自維基百科，即認為大數據指難以用常用的軟件工具在可容忍時間內抓取、管理以及處理的數據集。比較而言，3V定義對大數據特征進行了形象的描述，因此成為目前引用最多也最被認可的定義。

2 大數據的處理流程

傳統的數據服務(Data Services)指的是數據操作密集型Web服務，它們對用戶提供接入數據資源的接口，對內則將數據源及操作進行封裝，并對來自用戶的搜索和分析請求進行處理。對于企業來說，數據通常被存儲在多個應用系統當中，如果想要調用數據，就需要分別連接應用的數據存儲系統。數據服務通過提供一個抽象層，為用戶隔離了異構數據源的復雜性，使其能夠以統一的方式訪問或更新數據。目前來說，數據服務的理想應用是數據所有者將數據開放，具有相應權限的用戶、客戶端和應用程序可通過數據服務對數據進行訪問和操作。

圖1 大數據系統流程圖

大數據系統實際上就是數據的生命周期，即數據采集、存儲、查找、分析和可視化的過程，大數據系統流程圖，如圖1所示，其中Hadoop是一種開源實現平臺，其結構如圖2所示。

圖2 Intel Hadoop組件結構

2.1 數據采集：

結構化數據通常是指可以用二維關系表達的數據，如關系數據庫和非關系數據庫存儲的數據；而非結構化數據則是指難以用二維關系表達的數據。非結構化數據的存儲方式有非結構化數據庫、文件系統、內容管理系統，如WinFS、EXT3、HDFS、GFS、TFS等，大數據采集的大量數據是半結構化或非結構化的。因此，通過各種方法采集數據信息便顯得格外重要。

數據采集是大數據處理流程中最基礎的一步，目前常用的數據采集手段有傳感器收取、射頻識別、數據檢索分類工具如百度和谷歌等搜索引擎，以及條形碼技術等。

2.2 數據分析

數據分析在方法論上需要解決的課題首先就在于：如何透過多層次、多維度的數據集實現對于某一個人、某一件事或某一種社會狀態的現實態勢的聚焦，即真相再現；其中的難點就在于，我們需要洞察哪些維度是描述一個人、一件事以及一種社會狀態存在狀態的最為關鍵性的維度，并且這些維度之間的關聯方式是怎樣的等。其次，如何在時間序列上離散的、貌似各不相關的數據集合中，找到一種或多種與人的活動、事件的發展以及社會的運作有機聯系的連續性數據的分析邏輯。其中的難點就在于，我們對于離散的、貌似各不相關的數據如何進行屬性標簽化的分類。不同類屬的數據集的功能聚合模型(用于特定的分析對象)以及數據的標簽化技術，是大數據分析的技術關鍵。

已有數據服務架構主要是為數據統一操作(增刪改查)而設計的，而大數據服務架構是為了在屏蔽數據資源和操作復雜性的基礎上實現數據資源服務化。表1將UE-BDaaSA（面向用戶體驗的大數據服務架構）和WCF DS、OSDI從數據對象、支持的數據模型、支持的數據類型、數據源、語義、數據服務描述、服務構建方式以及支持的服務操作等多方面進行對比。可以看出，每種架構都具有一定優勢，而UE-BDaaSA主要面向大數據服務，通過引入非結構化數據模型GDM（星系數據模型）和語義技術，以及提供完善的服務模型和應用操作，使得UE-BDaaSA在數據模型支持、語義支持、服務描述完善度、服務方式、支持的操作等多方面都表現較好，尤其是UE-BDaaSA對非結構化數據提供支持，并提供了分析和可視化服務等多種服務類型，可見UE-BDaaSA是一種實用的大數據服務架構。

表1 WCF DS、OSDI 、UE-BDaaSA對比

從數據存儲共享來看，一般會選用擴展性極好的hadoop平臺，但是由于hadoop技術的成熟度的問題，在數據高效利用的方面就會出現很多問題，因此就必不可少的需要各類分布式計算的能力來做補充，這其中有數據加載問題，數據查詢分析問題，以及準實時的分析和挖掘應用的問題，因此國內外各種產品和各類服務商也都圍繞著這些現實問題在積極的尋找高效恰當的解決方案。其中actian提出的基于大數據2.0的計算中心解決方案，可以將分布式加載、高性能查詢和流式計算等技術系統的整合在一起，為客戶提供標準化服務。

actian大數據2.0分析平臺具有豐富易用的數據挖掘分析功能，可驅動更快的價值實現。同時作為現有基礎設施（如hadoop平臺，結構化數據倉庫平臺）的補充，該分析平臺可以部署在企業私有云或混合云之上，為適應不同的業務需要，提供了靈活的授權模式。

2.3 數據服務

目前，對外提供大數據服務的既有政府、企業，也有科研機構，其提供的數據服務集中在數據查詢/驗證服務，面向企業的

數據分析服務和數據集市。

(1)數據查詢/驗證服務：該類服務主要提供數據搜索服務或著基于底層數據源為用戶提供驗證服務，例如客戶地址驗證、Email驗證、金融數據服務等。典型的有，Google提供的BigQuery搜索服務；StrikeIron、Xignite等網站提供的金融、電子商務、通信類驗證服務。

(2)面向企業的數據分析服務：該類服務是以幫助企業分析數據為目的的服務，其數據來源可能是企業數據也可能是企業數據與互聯網數據的融合。例如，Precog提供大數據分析服務，可以從各種數據源抓取輸入數據，同時還使用人群統計、態度、位置和其他信息使數據更為豐富，最后綜合進行分析；埃森哲也提供一站式數據分析解決方案；量子恒道和“淘師爺”都是針對淘寶賣家提供電子商務數據的分析，幫助賣家提高銷售量。這類分析服務提供的方式是由服務提供商通過自己的分析系統幫助數據擁有者分析數據，而不是為有分析需求的用戶提供一個分析數據的環境。

(3)數據集市：是以數據提供和數據下載為目的的數據服務。例如，美國政府通過Data.gov向公眾提供各類政府數據；Amazon在AWS基礎上提供的公共數據集服務；實時數據交易網站Factual.com以數據服務的形式向應用軟件開發商和內容發布商提供高品質低成本(甚至零成本)的數據；數據堂Datatang.com提供科研數據共享服務。

2.4 數據可視化

不管是對數據分析專家還是普通用戶，數據可視化是數據分析工具最基本的要求。可視化可以直觀地展示數據。數據可視化的前提是給定要進行可視化的數據，這些數據有可能是用戶檢索的結果，有可能是分析的結果。這樣，大數據的可視化請求的處理流程可概述為，先執行大數據檢索服務或者大數據分析服務，再將其結果數據輸入到可視化型數據服務中，最后輸出可視化腳本或包含可視化腳本的網頁腳本。

數據分析能夠幫助用戶從大數據中洞察價值。然而，在大數據時代，海量數據分析結果依然海量，如果能夠有一種簡單的方式對數據規律進行直觀展現，必將使大數據中的價值得到快速理解和發現，可視化就是這樣的方式。可視化由來已久，隨著20世紀50年代計算機圖形學的出現，信息技術加速了可視化的演變。時至今日，可視化已經發展為數據可視化、科學可視化、信息可視化、可視分析這幾大方向。可視分析起源于2005年，它是一門通過交互可視界面來分析、推理和決策的科學，通過將可視化和數據處理分析方法結合，提高可視化質量的同時也為用戶提供更完整的大規模數據解決方案。

如今，針對可視分析的研究和應用逐步發展，已經出現很多重要而常用的開源可視化編程語言和環境，它們具備的一個共同特點就是為用戶提供了常見的專業可視化模版或圖形庫，用戶可以通過簡單調用即可很快實現可視化效果，此外，由于軟件的開源優勢，專業用戶可以根據其需求，對圖形源代碼進行定制修改。

Processing是由MIT Media Lab的Ben Fry和Casey Reas開發的開源軟件，基于java構建，其特點是簡單，通過使用Processing可以生成圖形、3D圖形、聲音、實時影像等，用戶還可以通過添加交互行為來實現實時的互動。通過該軟件可以導出在瀏覽器中使用的文件，但前提是瀏覽器裝有java插件，這也是該軟件在web中應用面臨的瓶頸。為了解決這一問題，Processing.js框架被設計出來，它主要針對不想使用Flash或 Java applets進行圖片編程以及Web交互的開發者。Processing.js使用JavaScript在HTMLS的Canvas元素上繪制形狀以及操作圖像，這就要求目標用戶的瀏覽器支持HTML5。D3.js是一個基于JavaScript的開源數據可視化庫，它允許綁定任意數據到DOM，然后將數據驅動轉換應用到Document中。用戶可以使用它用一個數組創建基本的HMTL表格，或是利用它的流體過度和交互，用相似的數據創建SVG條形圖[12]。諸多成熟的開源可視化組件庫都為大數據可視化提供了便利，針對大數據可視化服務需求，充分利用現有可視化組件庫，進一步降低用戶學習成本，是大數據研究的重要目標之一。

3 教育大數據的應用模式

基于數據挖掘、數據分析和在線決策面板三大要素的教育大數據應用流程具體可劃分為六個步驟，如圖3所示，一是學生使用在線系統進行學習；二是系統收集和記錄學生的在線學習行為，存入數據庫；三是進行數據分析和處理、預測學生的學業表現；四是對預測和反饋結果進行可視化處理；五是提供適合學生個人的學習材料；六是教師、管理人員和開發人員適時給予學生指導和幫助。

圖3 教育大數據流程圖

4 大數據教育領域應用實踐

4.1 個性化課程分析

進行數據分析和處理、預測學生的學業表現，并向其推薦他們可能取得優秀學業表現的課程。系統首先獲取某個學生以前(高中或大學)的學業表現，然后從已畢業學生的成績庫中找到與之成績相似的學生，分析以前的成績和待選課程表現之間的相關性、結合某專業的要求和學生能夠完成的課程進行分析、利用這些信息預測學生未來在課程中可能取得的成績，最后綜合考量預測的學生成績。

4.2 教育領域的數據挖掘

教育數據與其他領域中的數據比較起來，有一些獨特的特征。總結起來就是教育數據是分層的（hierarchical）。有鍵擊層（keystroke level）、回答層（answer level）、學期層（session level）、學生層（student level）、教室層（classroom level）、教師層（teacher level）和學校層（school level），數據就隱含在這些不同的層之中。

教育中的數據挖掘是邁向大數據分析的一項主要工作。互動性學習的新方法已經通過智力輔導系統、刺激與激勵機制、教育性的游戲產生了越來越多的尚未結構化的數據。教育中最近的趨勢是允許研究者積累大量尚未結構化的數據（unstructured data）。這就使得更豐富的數據能給研究者創造出比過去更多的探究學生學習環境的新機會。

4.3 監測學生的考試

監測學生的考試能讓研究者有效定型學生的學習行為。大數據要求教育工作者必須超越傳統，不能只追求正確的答案，學生是如何朝著正確答案努力的過程也同樣重要。在一次考試中，學生個人和整體在每道題上花費了多少時間？最長的是多少？最短的是多少？平均又是多少？哪些此前已經出現過的問題學生答對或答錯了？哪些問題的線索讓學生獲益了？通過監測這些信息，形成數據檔案，能夠幫助教育工作者理解學生為了掌握學習內容而進行學習的全過程，并有助于向他們提供個性化的學習模式。

用這些學生學習的行為檔案創造適應性的學習系統能夠提高學生的學習效果。利用學生是“如何”學習的這樣重要的信息，考試的出題者們就能為學生量身定制出適合學生的個性化問題，并設計出能夠促進記憶力的問題。

4.4 為教育決策和教育改革提供參考

數據不僅可以幫助改善教育教學，在重大教育決策制定和教育改革方面，大數據更有用武之地。美國利用數據來診斷處在輟學危險期的學生、探索教育開支與學生學習成績提升的關系、探索學生缺課與成績的關系。如果有了充分的數據，便可以發掘更多的教師特征和學生成績之間的關系，從而為挑選教師提供更好的參考。

4.5 幫助家長和教師找到適合孩子的學習方法

比如，美國的麥格勞.希爾教育出版集團就開發出了一種預測評估工具，幫助學生評估他們已有的知識和達標測驗所需程度的差距，進而指出學生有待提高的地方。評估工具可以讓教師跟蹤學生的學習情況，從而找到學生的學習特點和方法。有些學生適合按部就班，有些則更適合圖式信息和整合信息的非線性學習。這些都可以通過大數據搜集和分析很快識別出來，從而為教育教學提供堅實的依據。

隨著大數據理論及其相關技術的不斷完善和發展，其在教育領域的應用將會更加廣泛，對教育的影響力也會日益提高。

[1] 韓晶,大數據服務若干關鍵技術研究:北京郵電大學博士論文2013.4

[2] 劉智慧 張泉靈,大數據技術研究綜述:浙江大學學報（工學版）2014.2

[3] Grobelnik,Marko.Big Data Tutorial [EB/OL]http:// videolectures.net/eswc2012_grobelnik_big一data/

[4] Hamish Barwick.The 'four Vs' of Big Data. Implementing InformationInfrastructure Symposium[EB/OL].http://www.computerworld.coin.au/ article/396198/iiis_four_vs_big_data/

[5] IBM. What is big data? [EB/OL].http;//wvvw901 .ibm. com/software/data/bigdata/

[6] 李國杰,程學旗大數據研究:未來科技及經濟社會發展的重大戰略領域—大數據的研宄現狀與科學思考[J].中國科學院院刊,2012,(06):647-657.

[7] 馬帥,李建欣,胡春明大數據科學與工程的挑戰與思考[J].中國計算機學會通訊,2012, 8(9): 22-30.

[8] Google Big Query [EB/OL].https://cloud.google.coni/ products/big-query

[9] StrikeIron[EB/OL].http://www.strikeiron.com/ strikeironservices.aspx

[10] Xignite [EB/OL].http://www.xignite.com/Products/ ProductDirectory.aspx

[11] serviceobjects.NET http://www.serviceobjects.com/ products/directory ofwebservices.asp

[12] WebserviceX[EB/OL].http://www.webservicex.net/WCF/ webServices.aspx

[13] 張燕南,關于大數據應用于教育的思考:教育理論探索2013.12

[14] COLLEGESTATS.How Can Data Mining & Analytics Enhance Education?[EB/OL].http://collegestats.org/ articles/2013/01/how-can-data-mining-analyticsenhance-education/.

Big data analysis and in education domain application summary

Li Dan
(Shanxi Xueqian Normal University，Shanxi Xi’an，710100)

From big data characteristic obtaining,has given the big data processing flow,has analyzed the data acquisition,the data analysis,the digital data service,the data visualization main point,gave has educated the big data the application pattern,analyzed,the education domain data mining from the personalized curriculum,monitors student's test, provides the reference for the education decision-making and the education reform,helps the guardian and the teacher found suits child's study method five aspects to elaborate the big data application practice.

Big data;Processing flow;Educates the big data;Using practice