Hadoop+GPU大數據平臺架構可行性分析

摘? 要：在信息化高速發展的時代，上海市中職計算機類課程開設與時俱進，各中職校計算機類教學資源日新月異，但由于缺乏統一資源庫，每個學校的教學資源包括教學案例、音視頻等數據不能共享，只能單獨存放在獨立數據庫里。研究旨在分析Hadoop+GPU的大數據平臺架構可行性應用，即集中存儲和挖掘上海市中職計算機課程資源。此構架旨在匯總并挖掘中職計算機類課程資源，做到資源共享、教學資源充分利用，可以多層次多維度建立挖掘聯系。

關鍵詞：中職計算機;Hadoop+GPU;大數據平臺架構;可行性應用

中圖分類號：TP311.13? ? ? 文獻標識碼：A 文章編號：2096-4706（2020）01-0066-03

Abstract：In the era of rapid development of information technology，computer courses in secondary vocational schools in Shanghai are advancing with the times，and computer teaching resources in each vocational school are changing with each passing day. However，due to the lack of a unified resource database，the teaching resources of each school include teaching cases，audio and video data cannot be shared and can only be stored in an independent database. The research aims to analyze the feasibility application of the big data platform architecture of Hadoop+GPU，that is，to centrally store and mine the resources of computer courses in secondary vocational schools in Shanghai. This framework aims to aggregate and mine secondary computer course resources，share resources，make full use of teaching resources，and establish mining connections at multiple levels and dimensions.

Keywords：secondary vocational computer;Hadoop+GPU;big data platform architecture;feasibility application

0? 引? 言

在計算機技術飛速發展的今天，上海市中職計算機課程開設的日益繁多，各中職校計算機類教學資源也與日俱增，但每個學校的教學資源包括課件、教學案例、音視頻等結構化和非結構化數據都是獨立存在的。這么多的計算機類教學資源如果能被集中載入一個大數據平臺并分門別類地存儲，形成數據集市，并進行數據挖掘，將會大大提高中職計算機類教學資源的使用度，迸發出更多的創新思維和創新想法。本文探討的就是上海市中職計算機類課程資源Hadoop+GPU的大數據平臺架構可行性應用分析。

1? 構建Hadoop+GPU大數據平臺的作用分析

構建Hadoop+GPU的大數據平臺的作用主要有以下兩點。

1.1? 收集和存儲

上海市中職計算機類教學資源數據的收集和存儲，包括結構化數據和非結構化數據。結構化數據就是各中職校各系統數據庫中積累的各種計算機課程數據，比如教案、學生分數等;非結構化的數據包括各類音頻、視頻、動畫、圖像等。

1.2? 分門別類貼好標簽建檔整理

平臺存儲完海量數據后，可以從不同緯度不同角度建立數據集市。比如從學生視角、教師視角、學科視角來分類切片建成數據集市，在不同大數據需求分析時可以快速整合。

Hadoop+GPU的大數據平臺架構可以集中挖掘上海市中職計算機課程資源，并深入挖掘各資源間的聯系，做到教學資源充分利用，起到1+1>2的良好效果。

2? Hadoop+GPU整體平臺架構概述

2.1? 平臺邏輯架構

Hadoop+GPU的大數據平臺架構邏輯包含以下幾個組成部分，邏輯架構圖如圖1所示。

2.1.1? 外圍系統

大數據平臺對接的上海市中職計算機類課程資源外圍系統包括各中職校計算機課程教學課件系統、音視頻系統、圖像資料系統等。

2.1.2? Hadoop集群

用來處理大數據平臺的所有計算機課程類資源數據遷移的工作，并且作為歷史數據的存儲，其優點在于保證了各中職校計算機類教學資源數據的安全性，一式三份的文件塊備份，Apache Hadoop的另一個優點就是部署簡單，容易操作。

2.1.3? 文件服務器

用來存儲Hadoop集群加工完成的各中職校計算機類教學資源結果數據，每一份數據都包括一個數據的標志文件，該文件記錄了表數據的行數以及存儲的大小等信息，如果下游系統需要數據，則統一到文件服務器上獲取，保證了統一的數據出口。

2.2? Hadoop節點架構概述

Apache Hadoop是一款支持數據密集型分布式應用并以Apache 2.0許可協議發布的開源軟件框架。支持在商品硬件構建的大型集群上運行的應用程序。Hadoop是根據Google公司發表的MapReduce和Google檔案系統的論文自行實作而成。

Hadoop框架透明地為應用提供可靠性和數據移動，實現了名為MapReduce的編程范式：應用程序被分割成許多小部分，而每個部分都能在集群中的任意節點上執行或重新執行。此外，Hadoop還提供了分布式文件系統，用以存儲所有計算節點的數據，這為整個集群帶來了非常高的帶寬。MapReduce和分布式文件系統的設計，使得整個框架能夠自動處理節點故障，能使應用程序與成千上萬的獨立計算的電腦和PB級的數據很好地存儲、查詢和分析計算機課程類資源數據。

2.2.1? Hadoop在整體架構中的功能

（1）數據存儲。Apache Hadoop的底層HDFS分布式文件系統用來存儲上海市中職計算機類課程資源外圍系統的增量數據和歷史數據;

（2）數據加工。數據倉庫移植的所有程序，包括SQL、Shell和存儲過程的程序加工都是通過Hadoop來進行加工的;

（3）邏輯架構。Hadoop架構的內部邏輯架構如圖2所示。

2.2.2? 各組件的功能描述

（1）NameNode。Hadoop集群的心臟，保存著所有計算機課程類資源數據的元數據序列結構，并且管理所有節點的運行狀態，接收DataNode的心跳，判斷節點是否運行正常;

（2）Secondary NameNode。輔助名稱節點，或者檢查點節點，是監控HDFS狀態的輔助后臺程序，可以保存名稱節點的副本，故每個集群都有一個，與NameNode進行通訊，定期保存HDFS元數據快照;

（3）DataNode。數據節點，每臺從服務器節點都運行一個，負責把HDFS數據塊讀、寫到本地文件系統;

（4）JobTracker。作業跟蹤器，運行到主節點（Name Node）上的一個很重要的進程，是MapReduce體系的調度器。用于處理作業（用戶提交的代碼）的后臺程序，決定有哪些文件參與作業的處理，然后把作業切割成為一個個的小task，并分配到所需要的數據所在的子節點。

（5）TaskTracker。任務跟蹤器，MapReduce體系的最后一個后臺進程，位于每個slave節點上，與DataNode結合（代碼與數據一起的原則），管理各自節點上的Task（由JobTracker分配），每個節點只有一個TaskTracker，但一個TaskTracker可以啟動多個JVM，用于并行執行Map任務或Reduce任務，它與JobTracker交互通信，可以告知JobTracker子任務完成情況，是集群不可或缺的組成部分。

2.3? 對外服務

平臺對接的外圍系統可以通過JDBC或者ODBC鏈接文件服務器，根據表數據的標志文件，獲取文件服務器上的數據文件，FTP到下游系統，供給前臺功能查詢。

2.4? 整體數據流程

根據大數據平臺的需求概述，計算機課程類資源數據的生命周期分為：捕獲數據、數據的存儲加工、數據提供服務三大塊。

2.4.1? 捕獲數據

外圍系統數據經過CDC或者DS工具，將表級的增量數據獲取到文件服務器上，Hadoop集群根據每個表的標志文件獲取數據，并將增量的數據文件裝載到Hadoop-Hive的數據庫里，并且進行數據文件的基本校驗，捕獲數據圖如圖3所示。

2.4.2? 數據存儲加工

計算機課程類資源數據的整體加工是在Hadoop集群中進行的，具體的加工是依賴于Hive的批處理作業的功能來實現整體大數據平臺的作業開發，包括以下幾點：

（1）HDFS數據存儲。HDFS是一個高度容錯性的系統，適合部署在廉價的機器上。HDFS能提供高吞吐量的數據訪問，非常適合大規模數據集上的應用;

（2）ZooKeeper。ZooKeeper的目標就是封裝好復雜易出錯的關鍵服務，將簡單易用的接口和性能高效、功能穩定的系統提供給用戶;

（3）YARN。Apache Hadoop YARN（Yet Another Resource Negotiator，另一種資源協調者）是一種新的Hadoop資源管理器，是一個通用資源管理系統，可為上層應用提供統一的資源管理和調度以及數據共享;

（4）MapReduce。MapReduce是一種編程模型，用于大規模數據集（大于1 TB）的并行運算;

（5）Hive。Hive是基于Hadoop的一個數據倉庫工具，可以將結構化的數據文件映射為一張數據庫表，并提供簡單的SQL查詢功能，可以將SQL語句轉換為MapReduce任務進行運行。

2.4.3? 數據提供服務

整體計算機課程類資源數據的對外服務流程數據提供服務圖如圖4所示，Hadoop集群通過Hive加工完成的數據，通過FTP將數據以文本文件的格式存放到文件服務器中，下游系統根據各自的業務需要，通過判斷文件服務器上表的標志文件進行數據的獲取，這樣就可以將數據服務統一化、格式統一化、服務標準統一化。

3? 結? 論

上海市中職計算機類課程資源Hadoop+GPU的大數據平臺架構非常具有可行性，海量的計算機類教學資源能被集中載入平臺存儲，形成數據集市，可以進行深度的數據挖掘，會大大提高中職計算機類教學資源的使用度。

在Hadoop+GPU的大數據平臺上可以形成各種維度的數據檢索資料庫，可以對結構化和非結構化的數據進行分析，通過大數據抓取、數據挖掘、數據建模等技術，通過時間維度，課程質量維度等可以做課程教學質量評估、學生受歡迎程度等各種科研分析。

參考文獻：

[1] 劉彬斌，李柏章，周磊，等.Hadoop+Spark大數據技術（微課版） [M].北京：清華大學出版社，2018：1-30.

[2] 黃東軍.Hadoop大數據實戰權威指南 [M].北京：電子工業出版社，2017：1-10.

[3] 山姆·阿拉帕蒂.Hadoop專家：管理、調優與Spark |YARN|HDFS安全 [M].北京：電子工業出版社，2019：5-10.

[4] 楊力.Hadoop大數據開發實戰 [M].北京：人民郵電出版社，2019：1-20.

作者簡介：曾貞（1982.06-），女，漢族，江西玉山人，講師，碩士，研究方向：新媒體大數據。