基于大數據的學習分析及其系統

文/謝曉廣

近年來，隨著社會快速發展，使得數據數量呈爆炸性增加，從而進入到大數據時代。由于大數據具有數量龐大、內容多樣，傳遞速度較快等特點，使其得到了廣泛的應用，其中當然也包括教育行業。教育行業通過對大數據的應用，開發出了智能化學習分析系統，通過該系統的應用，可以提升各方面人員的學習效率。因此，對基于大數據的學習分析及其系統進行研究具有重要意義，更為在學習分析系統中提升對大數據進行應用奠定良好基礎。

1 智能化學習的需求分析

1.1 動態與靜態分析典型場景

在學習過程中，主要由兩種分析方式構成，一種為動態分析，即學生在利用信息化技術學習時，能夠自主對學生情況進行分析，以掌握其具體要求，如學生學習過程中，在某個模塊上停留了很長時間，則表明其對這一模塊感興趣，或者是很難對該內容進行理解，針對這一分析結果，系統即可向該學生提供相應的學習資料，以確保提升學習效果。另一種為靜態分析，即在整個學習環境內，以日、星期、月、年等為基準，分析學生學習相關的信息，通過這些信息的分析，以了解學生對系統的應用情況，從而為系統進一步優化提供良好支持。

1.2 不同用戶的需求分析

對于學習分析系統用戶來說，可以將其分成四種類型，每種類型的用戶對系統具有不同要求。

1.2.1 教師

教師作為知識的傳授者，注重學生的學習情況，需要針對學生的學習情況，及時調整教學方案。然而在以往階段當中，教師很難利用傳統的技術，獲取學生的全面實際情況，只能利用自身的教學經驗進行觀察與判斷，使得分析出來的結果存在一定差異，導致其制定出來的方案不一定符合學生實際要求。此外，即使可以準確掌握學生的實際情況，但由于精力與時間有限，也很難根據每個學生的不同特點，采用合理的教育方式。因此，教師對學習分析系統應用時，主要用來對學生情況進行分析，并對不同學生的需求采用相應的教育方案。

1.2.2 學生

作為學習的主要參與者，應通過學習分析系統的應用，掌握自己學習情況，獲得更多學習資源，并對學習方法進行調整。

1.2.3 教育決策者

通過這一系統的應用，應獲得整個學習方面的信息，才會從宏觀角度出發，對整個教育工作進行優化。

1.2.4 研究學者

通過該系統內數據的采集，以促進研究活動的進行。

2 智能化學習分析的面向目標

2.1 學習資源管理

目前，在我國教育事業當中，存在數量龐大的學習資源，有效對這些資源進行管理，可以為學習活動的開展提供重要幫助。然而，實際上，對學習資源管理時，主要以消除“孤島信息”為目標，而構建出相應的數據庫，并采用分布式的方式，對其進行儲存從而在物理層次上，對學習資源進行了整合。但由于并未從學習資源管良性角度出發對其進行管理，導致這些資源管理的效率不是很高，用戶對這些學習資源應用時，很難提取出全面、準確的資源，從而影響系統的應用效率。同時，以往對學習資源管理時，很難同時開展多項計算活動，導致系統無法同時為多個用戶提供資源，也表明資源管理效率不是很高。因此，在大數據背景下，應對學習資源管理問題進行優化。

2.2 學習過程

在學習人員學習過程中，涵蓋非常豐富的信息，如學習能力、學習效果等，通過這些信息的分析，可以準確了解其學習情況，如根據用戶的登錄時長，以及系統在線時間的分析，判斷出其學習的意愿；針對系統的回應時間，判斷出用戶的是否專心；根據學習相關頻率，判斷出用戶使用該系統時，是以學習為主，還是以其他方面的交談為主等。總之，這樣對學習過程進行分析，能夠確定出合理的變量與模型，以加強對學習人員的學習狀況，從而為學習方案的高進提供良好幫助。

2.3 動態知識地圖構建

在智能化知識管理系統內。知識地圖是其中非常重要的組成部分，其可以將整個學習過程當中涉及到的人員與資源等結合到一起，以構建出動態的網絡。雖然，不同人員對知識地圖的解釋略有差異，但本質上基本相同，具體來說，主要包括以下兩個方面：

（1）均是通過可視化的手段，反映出知識間存在的關系；

（2）均認為其是一個導航系統，通過其能夠反映出知識的來源，從而為用戶創造出信息交流的空間，使得知識能夠被更多的人員獲取。

所以說，在學習服務當中，知識地圖至關重要。然而，對知識地圖應用時，由于后臺數據計算量較大，傳統技術很難達到這一要求。針對這一問題，即可通過對大數據技術的應用，構建出良好的知識地圖，以提升學習服務的效果。

3 基于大數據的學習分析系統

3.1 功能組件

目前，常見的學習細分析系統通常是利用Hadoop技術開發的，其主要由以下幾個部分構成：

（1）Sqoop。主要為SQL與HDFS間，對數據轉換的Aaache開源框架工具，通過其可以將整個數據庫與Hadoop結合到一起，從而形成良好的互補。當前現有的學習分析系統內，存儲了很多類型的數據，其中關系數據非常關鍵，若想要有效對該類型數據進行應用，則需要使用Sqoop；

（2）Flume。是一個日志聚合系統，其可以根據實際需求，確定出數據的發送者，以使數據能夠得到介紹，同時還具備一定的處理能力，使數據符合實際需求。也就是說，該模塊運行時，從應用方著手，向Hadoop HDFS方發送相應數據；

（3）Map Reduce框架。主要由兩部分構成，一個是Ext：DIS，其主要針對學習資源的相應模型，確定出相應的檢索方案，另一個為Ext：DRC，其主要是分析大數據；

（4）E-HDFS框架，主要完成學習大數據的管理工作；

（5）HBase，即數據庫，主要為系統的分析提供數據支持。

3.2 主要功能

3.2.1 學習信息的記錄與分析

學習分析系統運行時，需要通過學習過程數據的采集與分析，從而掌握學習的實際情況。所以，在該系統當中，應包含學習信息的記錄與分析功能。根據Web環境內，學習分析服務器的實際情況，提供普適的學習分析數據匯聚接口，并通過Hadoop Pig，或者是Hiv與Flume的方式，對所有信息進行收集、分析。在這一功能當中，主要由三部分構成，

（1）數據匯聚模塊，主要從整個學習環境當中，收集到相應的學習信息，將其傳遞給Flume節點；

（2）Flume模塊，其將采集到的學習信息傳送至Hadoop集群；

（3）Hadoop集群模塊，其主要對數據進行分析，并將得到的結果導入到HBaxe內，使得用戶可以對相關信息進行查詢。

3.2.2 學習資源的管理

在學習分析系統內，還具備良好的學習資源管理功能，系統可以將學習相關的信息進行有效存儲，用戶對該系統進行應用時，可以針對自身的實際需求，快速獲得相應信息，同時還可以對學習資源展開全面分析，從而建立出良好的知識地圖，并為用戶提供高質量的學習服務。該功能也有三個部分構成：

（1）通過學習大數據存儲模型，獲取相關的學習資源；

（2）將其傳入到Hadoop集群內，由該模塊分析數據；

（3）利用MapRsducer模塊進行處理，從而得出相應的結果。

3.2.3 學習干預與開放式服務

作為學習分析系統當中的重要組成部分，學習干預可以判斷出學習人員的行為方式，并針對學習人員的實際情況，對其進行相應的干預，以轉變學習人員的不良行為，從而提升學習人員的學習效果。這些干預涉及很多方面，如資源的發送，科學的學習方案確定，不良學習改進方案的確定等。同時，該系統運行時，還要向用戶提供開放式服務，即大量數據的采集、存儲與提取，以及相關數據的分析。對于這一功能來說，主要以兩種方式提供，一種為教育SaaS平臺，另一種為教育PaaS平臺。

4 總結

綜上所述，大數據的出現，為我國教育領域學習分析提供了重要幫助，有效提升了學習分析的效率與質量，不僅可以為學習活動的開展提供良好支持，同時還為教師、研究學者提供了方面，從而推動我國整個教育事業的發展。需要注意的是，大數據技術作為當前非常先進的產物，一直隨著社會的發展而不斷更新與完善，想要使其在學習分析當中發揮出更大的作用，應持續不斷的對這一內容進行研究。