基于大數據平臺的課程教學資源推薦系統應用探究

卜南翔 徐述 王玉婷 曾海洋 湖南城市學院 信息與電子工程學院

1 引言

隨著我國社會的不斷發展，大數據時代隨之出現，在該時代當中，我國教育事業也隨之受到影響，其信息技術同樣得到了不錯的發展，再次背景條件下，現今的課程教學資源數據更是變得多樣化、豐富化、大數據化。課程教學資源信息量的迅猛增加也讓傳統的架構服務器無法將其高效存儲與管理。若要使多元化的、半結構、非結構化的課程教學資源數據得到有效的存儲與處理，需要摒棄傳統的服務器，采用基于大數據平臺上的大數據技術，并通過增加集群中服務器節點計算機擴大平臺的儲存量。本文針對基于大數據平臺的課程教學資源推薦系統應用展開研究，首先對其應用意義進行闡述，其次對基于大數據平臺的課程教學資源推薦系統建設進行規劃與體系框架設計，以供參考。

2 建設基于大數據平臺的課程教學資源推薦系統的意義

隨著我國社會經濟的不斷發展，教育事業得到相應的發展。根據教育部提出的四個回歸要求，可以了解到，結合大數據技術設計個性化的課程教學資源服務十分必要，相關人員需要對其加以重視。但根據具體實施的研究調查可以發現，現如今，我國大部分的課程教學資源共享平臺建設都存在著，如：參差不齊，資源結構差異較大等不良問題。這些問題的存在不僅使得課程教學資源共享利用率變得十分低下，而且嚴重的缺乏個性化推薦服務。就目前而言，傳統架構的課程教學資源共享平臺無法實現通過搜索一個關鍵詞的課程教學資源反映出學習者的個性特征，也不能夠精準的提供學習者真正需要的課程教學資源。

為了改善這一現象，提高學習者獲得的課程教學資源效率，相關人員首先需要做的就是對傳統單機服務器建設的課程教學資源共享平臺進行改進，并在基于大數據的平臺上，科學合理的利用大數據技術建立全新的、完善的課程教學資源推薦系統。因此，相關人員需要對基于大數據平臺的課程教學資源推薦系統的研究與建設應用加以重視。

3 基于大數據平臺的課程教學資源推薦系統設計

3.1 主流技術

根據研究調查可了解到，Hadoop或Spark是目前構建基于大數據平臺課程教學資源推薦系統中不可缺少的重要部分。

其分布式文件存儲框架主要是由NameNode與DataNode兩類節點構成的。其中NameNode節點主要負責分布式文件系的命名空間管理與數據文件元數據管理；對于DataNode節點而言，DataNode節點在整個工作運行的過程中扮演的是一個負責數據文件儲存的角色。在大數據時代，該課程教學推薦系統的優勢主要在于，能夠隨著平臺上的課程資源、教學資源數據量的不斷增加，平臺中的存儲容量以及計算能力也會隨之得到相應的增加。在需要擴大系統存儲容量與計算能力時，系統管理員增加集群服務器節點計算機即可。

最新阿里技術與谷歌技術研究顯示，流式的數據訪問方式已逐漸成為大數據平臺框架的主要訪問方式。而流式的數據訪問方式主要指的是一次寫入，多次讀取數據。并在完成該步驟之后，以追加方式將課程教學資源數據寫入到分布式文件系統HDFS中。為了方便數據訪問，采用代理進行數據訪問以實現數據的負載均衡。這樣的系統設計不但可以減少其他課程教學資源數據對學習者的干擾，而且能夠讓學習者快速精準的找到自己想要的教學資源。

3.2 實現步驟

由1可知，在大數據時代背景之下，傳統的課程教學資源推薦系統已經不能夠滿足多樣化的教學資源儲存，且不能準確的推送個性化服務。因此，相關人員需要對其加以重視。

在實現基于大數據平臺的個性化課程教學資源推薦系統的過程中，相關人員可從以下幾點進行：首先，搭架大數據硬件平臺；其次，利用平臺對課程教學資源進行高效存儲與管理；最后實現課程教學資源推薦服務。

4 大數據平臺的課程教學資源推薦系統框架體系

結合1與2所述，本文設計基于Hadoop+Spark大數據平臺的課程教學資源推薦系統。

4.1 系統框架

系統框架分為終端接入層、業務應用層與底層架構層。

終端訪問層負責終端用戶的訪問，可以是PC、筆記本、瘦終端、平板電腦、智能手機等終端設備；業務應用層為終端提供各種資源推薦服務和數據統計，包括課程資源存儲、課程資源搜索、課程資源推薦和用戶對教學資源統計的訪問。在業務應用層，用戶訪問教學資源統計服務是在虛擬化的基礎上安裝和構建分布式文件系統HDFS。底層架構層對用戶屏蔽,虛擬化技術用于虛擬化服務器硬件，物理服務器被抽象為許多邏輯計算機。計算、存儲、網絡等資源在虛擬環境中運行，而不是在真實環境中運行。多個邏輯計算機可以在同一臺服務器上同時運行，每個邏輯計算機可以獨立運行完全不同的操作系統，可以有效地隔離資源，提高集群節點的工作效率。

4.2 工作流程

用戶點擊共享平臺、Socket或Http協議中的教學資源，將數據傳輸到Web服務器，而Web服務器Apache等接收到的信息將在相應目錄中生成日志數據，此時，相關的用戶就可通過使用Linux系統的計時系統進行初步處理。當被監控的目錄發生變化時，水槽會記錄數據，然后將其交給HDFS文件系統或Hive數據倉庫。最后，SparkStreaming將通過實時流量處理對關鍵信息字段進行分類和計數。

日志數據采集清洗整理后，需要編寫分布式計算程序來過濾數據，并將相關數據存儲在課程推薦系統的HDFS文件系統中。

5 結束語

隨著我國社會經濟的不斷發展，教育事業得到了長足進步。大數據時代，需要先進的大數據技術支持教育事業的信息化技術發展。因此，開展基于大數據平臺，利用大數據技術實現全新的課程教學資源推薦系統的研究與建設十分有必要。再加上，基于大數據平臺的課程教學資源推薦系統可以更好地滿足學生的專業學習需求，也將推動教育信息化技術的高速發展。