基于Hadoop大數據技術的學生網絡行為的研究

袁偉華

（廣東行政職業學院，廣東 廣州 510800）

1 引言

隨著網絡技術的快速發展，互聯網已經成為獲取信息的重要渠道。目前所有高校、學生都可以通過校園網絡查詢信息或進行網購商品之類的網絡行為，同時學生的這種網絡行為，會在校園網中產生相應的網絡日志信息，而這些網絡日志信息中包含著一些有價值的信息，我們可以使用Hadoop大數據技術從這些信息中分析出學生的日常生活規律以及真實需求，并反饋給學校領導層，以便對學生管理做出正確的決策。所以，如何充分利用校園網絡平臺挖掘出有價值的信息來推動教學的改革，已成為高校的重要課題。

2 建立校園網絡學生行為分析系統的目的

為了促進高校信息化建設的健康發展，防止和遏制不良信息在校園網絡蔓延，我們必須利用校園網絡監控系統，以發掘學生的網絡行為傾向和心理動態。因為高校的學生在思想上尚不成熟，自律能力以及識別能力較弱，心理承受能力也較差，所以有必要加強對大學生網絡行為分析研究。通過采集校園網絡的日志信息，可以發現和發掘大學生上網的日常規律以及上網的真實需求，同時對異常網絡行為進行識別，并且采取相應措施引導大學生健康上網，為校園網絡設置一道天然的屏障，以凈化網絡信息，讓校園網絡真正成為大學生職業素質成長的平臺，從而提高學生的整體綜合素質。

3 系統架構設計

為了達到數據分析的目的，本系統主要采用了Hadoop的HDFS(分布式文件系統)、MapReduce(并行計算框架)、Hive(數據倉庫)三個組件，同時采用zookeeper作為集群中的協調工具，使用Flume 作為數據采集工具，整個系統分為數據存儲模塊、數據分析模塊、日志采集模塊以及結果輸出模塊，圖1所示是整個系統的整體架構圖。

(1)數據存儲模塊：在這一模塊中，由HDFS 完成對數據的分布式存儲，MapReduce 完成并行計算任務，可以由Hive提交MapReduce計算任務，任務完成后，結果發送給Hive。

(2)數據分析模塊：數據分析模塊和數據存儲處理模塊是在一個Hadoop 集群系統中部署完成的。在實際應用中，Hive 部署在Hadoop 集群系統中的NameNode 節點上。在數據分析模塊中，Hive 將校園網的日志數據映射成數據庫表，并提供類SQL 的查詢功能，可以將SQL 語句轉化為MapReduce 任務進行運行，同時可以接收用戶發出的查詢請求，提供給用戶相應的服務，并向結果輸出模塊返回查詢結果。

(3)日志采集模塊：在該模塊中，可以使用Flume 采集數據，Flume是具有分布式、高可靠、高可用性等特點的日志收集系統，Flume 支持在日志系統中制定各類數據發送，同時Flume 也提供對數據進行簡單處理，其設計原理也是基于數據流。使用Flume，網絡日志信息從各種網站服務器中收集起來，先要進行數據清洗，再按照Hive表的結構將采集數據輸送到對應的地址中，可以達到數據實時存儲的目的。

(4)結果輸出模塊：用戶向Hive提交查詢請求，這些查詢請求傳遞到Hive數據分析模塊中，經過Hive的編譯和解析，將生成的MapReduce任務交給數據存儲模塊，經過處理后再通過數據分析模塊返回給結果輸出模塊，并以網頁、圖表、表格等多種形式顯示。

4 利用系統分析學生網絡行為

為了分析學生網絡行為，我們在平臺上利用某高校網絡日志文件進行測試，在我們的實驗環境中，Hadoop/Hive 集群是由7臺配置相同的服務器組成。在集群中的所有服務器上都運行centos 7操作系統，并安裝配置Hadoop 2.8.4。在這7 臺服務器中，主要使用Hadoop 和zookeeper 搭建了大數據集群，其中有2個NameNode節點運行在2臺機器上，2個ResourceManager 節點也 運行在2 臺機 器上 ，3 個DataNode 和NodeManager 節點同時運行在3 臺機器上，構成一個高可用的Hadoop 集群，并安裝配置Hive-0.7.0 以及Flume 數據采集工具。

在實驗中，我們采用實際高校網絡日志作為輸入，從學生宿舍流量、5 日內搜索次數、網購次數、發帖次數以及瀏覽次數等幾個方面進行分析，分析結果通過HTML5展現，如圖2、3所示。

本次實驗，我們采用實際高校網絡日志作為輸入，得到了每棟學生宿舍流量以及五日內學生搜索次數、網購次數、發帖次數和瀏覽次數，從輸出的數據中，我們可以看出第一棟宿舍流量明顯居多以及5日內發帖次數增加，那么我們可以繼續跟蹤學生的上網網址和內容，了解學生的具體需求，摸清學生的心理狀況，為教學計劃做出調整，為教學改革提供正確決策。

5 結束語

隨著科技的發展，大數據技術已廣泛運用在各行各業，對于高校而言，如何運用大數據技術進行教學改革，運用大數據技術分析學生的日常網絡行為，以及如何引導學生合理運用網絡資源，已經成為目前學校研究的重要課題。使用好大數據有利于順應現代科技發展潮流，有利于挖掘出學生隱藏于日常生活的學習規律，并把握好他們的思想動向，從而有利于掌控學生的真實需求，所以高校需要借助大數據技術這一契機實現自身教學工作的改革，從而推動高校教學工作與時代發展相適應。