999精品在线视频,手机成人午夜在线视频,久久不卡国产精品无码,中日无码在线观看,成人av手机在线观看,日韩精品亚洲一区中文字幕,亚洲av无码人妻,四虎国产在线观看 ?

構建大數據在線運行環境初探

2019-05-16 03:06:02劉永濤院志超
中文信息 2019年4期

劉永濤 院志超

摘 要:大數據分析和應用在高校得到廣泛的發展,在線運行平臺是其基礎,因此,本文運用開源軟件Apache Hadoop、Flume、Spark以及Kafka構建了一個大數據采集、計算、存儲平臺。

關鍵詞:Apache Hadoop Apache Flume Apache Spark Apache Kafka

中圖分類號:TP391文獻標識碼:A文章編號:1003-9082(2019)04-000-01

在進行大數據分析之前,需要構建一個支持數據在線采集、分析和存儲的運行環境。本文使用分布式日志收集系統Apache Flume、數據分發中間件Kafka、分布式實時計算框架Spark Streaming構建了一個在線數據平臺。通過使用該平臺,完成了數據信息的實時采集、計算和存儲。

一、大數據平臺整體設計

分布式大數據計算框架由6個節點構成,服務器集群中的服務器操作系統為Centos6.5,服務器集群軟件為Apache Hadoop。1臺服務器為數據采集平臺,運行分布式日志收集系統Apache Flume,1臺服務器為消息中間件,運行分布式的日志系統Kafka,一臺服務器為Apache Hadoop集群的NameNode,負責作業的調度和管理,剩余3臺服務器為數據處理服務器,運行分布式計算框架Spark,為大數據的采集、計算和存儲提供平臺支撐。

二、運行環境的安裝與配置

運行在Centos6.5中,在系統上線運行之前,需要安裝一系列的環境軟件來支撐其運行。環境運行支撐軟件有Java、Scala等,由于系統運行對軟件的運行版本有一定的要求,因此,在選擇正確的軟件版本后進行安裝。

1.Java的安裝和配置

由于Spark streaming僅僅支持Java8以上的版本,因此,使用wget命令從Oracle的官方網站上下載Java SE Development Kit 9.0.1并保存在源碼文件夾下。使用解壓命令tar zxvf jdk-9.0.1_linux-x64_bin.tar.gz-C/home/用戶名/application,將Java的tar文件解壓至目錄/home/用戶名/application。然后使用vi命令編輯./bash_profile文件,添加Java的環境變量以及將java的運行路徑進行映射,配置后使用source ./bash_profile命令啟用環境變量。

2.Scala的安裝與配置

由于Spark2.2.0版本對Scala的版本要求是2.11,因此,使用wget命令從Scala的官方網站上下載scala-2.11.tgz并保存在源碼文件夾下。使用解壓命令tar zxvf scala-2.11.tgz-C /home/用戶名/application,將Scala的tar文件解壓至目錄/home/用戶名/application。然后使用vi命令編輯./bash_profile文件,添加Scala的環境變量以及將Scala的運行路徑進行映射,配置后使用source ./bash_profile命令啟用環境變量。

三、數據流量的采集

網絡數據的采集使用Apache Flume,通過使用端口鏡像技術將數據流截獲并發送到Apach Flume所在的服務器41414端口上,從而實現數據流量的準實時獲取,從而為后續的數據處理提供數據消費源。Apache Flume會啟動Flume Agent監控上網日志采集服務器41414端口從而獲取數據信息。該數據信息被Flume Agent發送到消息隊列Channel中,消息隊列Channel中的數據信息被Kafka作為數據源進行消費,在這種情況下,kafka就是Apache Flume的sink。而Kafaka的數據作為spark streaming應用程序的數據源,被其進行業務邏輯處理。

四、Apache Flume的編譯、安裝與設置

由于默認的Apache Flume在接收數據時,會對接收的數據進行自動裁剪,其source端單event的body數據部分只會留下16字節的信息,為了使其接收的數據不被自動裁剪,就需要修改源碼并對源碼進行編譯,編譯后進行安裝使用。通過對EventHelper.java以及LogerSink.java源文件的閱讀,發現該文件定義了一個靜態私有整數型變量DEFAULT_MAX_BYTES來進行body數據信息的大小,因此,需要對該文件中的變量進行修改,修改完成后使用maven insatll-DskipTests-Dtar來對源碼包進行編譯處理。

編譯成功后,有一個編譯完成后的壓縮包apache-flume-1.8.0-bin.tar.gz。使用解壓命令tar zxvf apache-flume-1.8.0-bin.tar.gz-C /home/用戶名/application,將Apache Flume的tar文件解壓至目錄/home/用戶名/application。然后使用vi命令編輯./bash_profile文件,添加Apache Flume的環境變量以及將Apache Flume的運行路徑進行映射,配置后使用source ./bash_profile命令啟用環境變量。

由于Apache Flume使用代理Agent作為部署的基本單元,因此,在使用時需要定義一個或者更多的Agent。又由于Source組件(源)、Channel組件(通道)以及Sink組件(接收器)構成了一個Flume Agent,因此,在配置文件中既要定義Agent又要定義這些組件。在配置文件中,一個Flume Agent的三個構成部分必須唯一。

五、Kafka的安裝和配置

使用wget命令從Zookeeper的官方網站中下載Zookeeper的壓縮文件并保存在源碼文件夾下。使用解壓命令tar zxvf zookeeper-3.4.10.tar.gz-C/home/用戶名/application,將Zookeeper的壓縮文件解壓至目錄/home/用戶名/application。然后使用vi命令編輯./bash_profile文件,添加Zookeeper的環境變量以及將Zookeeper的運行路徑進行映射,配置后使用source ./bash_profile命令啟用環境變量。

Apache Hadoop和Apache Spark的安裝過程和Apache Flume雷同,在此不在贅述。通過使用開源軟件Apache Hadoop、Flume、Kafka和Spark搭建一個實時數據采集、計算和存儲平臺,為大數據后續的分析提供基本的運行環境支持。

主站蜘蛛池模板: 亚洲欧美另类视频| 亚洲人成网7777777国产| 97在线观看视频免费| jizz国产视频| 久久亚洲国产视频| 91青青视频| 中文字幕66页| 国产精品女在线观看| 国产亚卅精品无码| 欧美午夜理伦三级在线观看| 欧美自拍另类欧美综合图区| 久久久久久午夜精品| 欧美激情视频一区| 99福利视频导航| 原味小视频在线www国产| 91在线视频福利| 欧美日韩在线亚洲国产人| 都市激情亚洲综合久久| 99re这里只有国产中文精品国产精品 | 另类专区亚洲| 永久免费无码成人网站| 亚洲欧美另类视频| 日韩AV无码免费一二三区| 色婷婷成人网| 青青青国产免费线在| 亚洲码在线中文在线观看| 婷婷在线网站| 91福利免费| 国产制服丝袜无码视频| 国产综合日韩另类一区二区| 精品一区二区三区自慰喷水| 91视频区| 欧美激情二区三区| 噜噜噜久久| 国产欧美日韩另类| 国产成人高清亚洲一区久久| 亚洲黄色视频在线观看一区| 国产资源免费观看| 熟女日韩精品2区| 久久综合色天堂av| 夜夜拍夜夜爽| 强乱中文字幕在线播放不卡| 天堂在线www网亚洲| 国产丝袜无码精品| 久久综合亚洲色一区二区三区| 日本一区二区三区精品AⅤ| 国内精品视频| 欧美色视频在线| 亚洲AV电影不卡在线观看| 毛片免费网址| 成人午夜免费观看| 亚洲另类国产欧美一区二区| 日韩欧美中文字幕一本| 亚洲成a人片77777在线播放| 亚洲国内精品自在自线官| 四虎综合网| 91精品国产91欠久久久久| 国产精品综合色区在线观看| 亚洲男人的天堂在线观看| 手机成人午夜在线视频| 在线免费无码视频| 免费高清自慰一区二区三区| 国产成人艳妇AA视频在线| 国产成人你懂的在线观看| 国产成人91精品| 欧美第二区| 伊人色天堂| 国产精品冒白浆免费视频| 国产成人91精品| 亚洲二区视频| 日韩精品一区二区三区视频免费看| 亚洲欧洲日产国产无码AV| 怡春院欧美一区二区三区免费| 亚洲中文字幕国产av| 人妻无码AⅤ中文字| 91无码视频在线观看| 71pao成人国产永久免费视频| 免费国产高清视频| 爽爽影院十八禁在线观看| 国产精品午夜福利麻豆| 大学生久久香蕉国产线观看| 乱人伦视频中文字幕在线|