云計(jì)算下的數(shù)據(jù)共享建設(shè)研究

郭鑫鑫 尹來武 王雪 劉洋 吉林農(nóng)業(yè)科技學(xué)院

云計(jì)算下的數(shù)據(jù)共享建設(shè)研究

郭鑫鑫 尹來武 王雪 劉洋 吉林農(nóng)業(yè)科技學(xué)院

本文主要對(duì)云計(jì)算下的數(shù)據(jù)共享建設(shè)技術(shù)進(jìn)行研究，通過構(gòu)建虛擬化數(shù)據(jù)中心，為云存儲(chǔ)、數(shù)據(jù)交換平臺(tái)和數(shù)據(jù)共享建設(shè)提供云計(jì)算基礎(chǔ)架構(gòu)，結(jié)合數(shù)據(jù)交換工具和ETL技術(shù)，實(shí)現(xiàn)了異構(gòu)存儲(chǔ)結(jié)構(gòu)間的數(shù)據(jù)交換、數(shù)據(jù)共享，和資源的統(tǒng)一集中式管理。

云計(jì)算 數(shù)據(jù)共享 虛擬資源池 ETL

1 引言

云計(jì)算是Internet下的一種超級(jí)計(jì)算模式，隨著大數(shù)據(jù)時(shí)代的到來，海量數(shù)據(jù)處理難題接踵而來，傳統(tǒng)數(shù)據(jù)存儲(chǔ)部署已經(jīng)無法滿足數(shù)據(jù)的囤積。為了滿足存儲(chǔ)需求，提升業(yè)務(wù)信息系統(tǒng)的部署效率，我國(guó)開始建設(shè)云計(jì)算模式下的虛擬儲(chǔ)存方式云存儲(chǔ)，云存儲(chǔ)能夠解決大數(shù)據(jù)帶來的海量數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)的調(diào)用和訪問共享等問題，通過構(gòu)建云計(jì)算虛擬化數(shù)據(jù)中心，為數(shù)據(jù)共享提供平臺(tái)。而現(xiàn)數(shù)據(jù)的分散性、資源利用率低、數(shù)據(jù)孤島等問題突出，數(shù)據(jù)共享受限，數(shù)據(jù)冗余嚴(yán)重，如何建設(shè)面向用戶滿足云存儲(chǔ)共享服務(wù)成為了研究的難題和重點(diǎn)。

2 云計(jì)算數(shù)據(jù)中心建設(shè)

數(shù)據(jù)中心建設(shè)是云計(jì)算運(yùn)行的基礎(chǔ)，通過資源池虛擬化技術(shù)，將云計(jì)算數(shù)據(jù)中心的集成為種資源調(diào)度模式，建設(shè)是為了實(shí)現(xiàn)數(shù)據(jù)中心架構(gòu)的統(tǒng)一，建設(shè)一體化的虛擬計(jì)算池、虛擬網(wǎng)絡(luò)池、虛擬云存儲(chǔ)池和虛擬安全池，融合資源整合手段，簡(jiǎn)化資源管理、調(diào)度的難度，實(shí)現(xiàn)云計(jì)算的核心運(yùn)行[1]。

2.1 數(shù)據(jù)中心虛擬計(jì)算池（Computing Pool）

數(shù)據(jù)中心虛擬計(jì)算池是利用虛擬化部署計(jì)算節(jié)點(diǎn)，虛擬對(duì)稱多處理（虛擬SMP）,為單臺(tái)VM同時(shí)提供多個(gè)物理核心處理器，保證個(gè)處理器同時(shí)執(zhí)行多個(gè)任務(wù)的能力，整合工作負(fù)載，提高CPU利用率、吞吐量和計(jì)算速度。

2.2 數(shù)據(jù)中心虛擬存儲(chǔ)池（Storage Pool）

數(shù)據(jù)中心虛擬存儲(chǔ)池是采用網(wǎng)絡(luò)化的存儲(chǔ)架構(gòu)，通過動(dòng)態(tài)配置將物理上的分散存儲(chǔ)資源整合，通過虛擬存儲(chǔ)空間分配給用戶調(diào)用，這種虛擬存儲(chǔ)結(jié)構(gòu)能夠有效的提高存儲(chǔ)利用率，提高業(yè)務(wù)連續(xù)性和容量需求的調(diào)整。

2.3 安全虛擬（Security Pool）

安全虛擬優(yōu)化是在整合系統(tǒng)上部署VDP數(shù)據(jù)備份，為數(shù)據(jù)中心提供存儲(chǔ)應(yīng)用和數(shù)據(jù)的靜態(tài)倉庫，提供快速響應(yīng)、按需提供服務(wù)的應(yīng)用交付，來解決數(shù)據(jù)集中與不斷分散的用戶訪問需求的矛盾。

2.4 云管理（Cloud Manager）

為了實(shí)現(xiàn)虛擬化數(shù)據(jù)中心的統(tǒng)一管理，方案采用云管理平臺(tái)，將數(shù)據(jù)中心的計(jì)算池、網(wǎng)絡(luò)池、存儲(chǔ)池、安全及優(yōu)化池進(jìn)行集中化管理，對(duì)各系統(tǒng)及設(shè)備進(jìn)行配置、監(jiān)控和資源調(diào)度。

3 云存儲(chǔ)模型建設(shè)

傳統(tǒng)存儲(chǔ)的實(shí)現(xiàn)方式都是通過累積芯片來實(shí)現(xiàn)空間擴(kuò)容，存儲(chǔ)結(jié)構(gòu)固定，數(shù)據(jù)冗余嚴(yán)重，整體空間利用率低。

數(shù)據(jù)中心不斷擴(kuò)展和增加業(yè)務(wù)，需要實(shí)時(shí)的對(duì)IT資源做出動(dòng)態(tài)調(diào)整，業(yè)務(wù)增加和減少需要資源的彈性供應(yīng)，構(gòu)建自適應(yīng)架構(gòu)、實(shí)現(xiàn)動(dòng)態(tài)的業(yè)務(wù)部署是云存儲(chǔ)構(gòu)建的重要特征

云存儲(chǔ)是將物理的存儲(chǔ)設(shè)備，統(tǒng)一的整合虛擬成大空間環(huán)境，動(dòng)態(tài)分配給VM一個(gè)模擬的硬件空間，通過云存儲(chǔ)的動(dòng)態(tài)伸縮性，為各個(gè)虛擬提供疊加、共享的分布式存儲(chǔ)資源，通過全局統(tǒng)一空間，規(guī)范化標(biāo)準(zhǔn)接口對(duì)接和主控?cái)?shù)據(jù)傳輸，為數(shù)據(jù)資源共享提供基石環(huán)境[2]。

4 云計(jì)算的數(shù)據(jù)共享建設(shè)

4.1 ETL技術(shù)

ETL是分布式環(huán)境下，一種能夠在數(shù)據(jù)交換過程中實(shí)現(xiàn)數(shù)據(jù)抽取、轉(zhuǎn)換、清洗、加載的工具。ETL適用于云計(jì)算下多接口業(yè)務(wù)應(yīng)用對(duì)接的數(shù)據(jù)結(jié)構(gòu)共享，它能夠解決在分布式環(huán)境下的異構(gòu)數(shù)據(jù)同步問題，從各應(yīng)用系統(tǒng)中抽取出調(diào)用數(shù)據(jù)，按照規(guī)范的信息標(biāo)準(zhǔn)ETL規(guī)則，將抽出的數(shù)據(jù)轉(zhuǎn)換成統(tǒng)一的格式結(jié)構(gòu)，進(jìn)行加載和傳輸備用。

4.2 數(shù)據(jù)交換平臺(tái)建設(shè)

本文采用數(shù)據(jù)共享交換平臺(tái)DataExchange工具，通過DataExchange工具可以建立異構(gòu)應(yīng)用業(yè)務(wù)系統(tǒng)間的數(shù)據(jù)中心，實(shí)現(xiàn)應(yīng)用業(yè)務(wù)數(shù)據(jù)遷移、數(shù)據(jù)同步和異構(gòu)數(shù)據(jù)交換，能夠滿足在復(fù)雜的數(shù)據(jù)環(huán)境下構(gòu)建數(shù)據(jù)集成的全面需求，包含ETL過程定義、傳輸消息的任務(wù)與元數(shù)據(jù)監(jiān)控管理、增量數(shù)據(jù)捕獲等功能組件。本文構(gòu)建的數(shù)據(jù)共享交換平臺(tái)實(shí)現(xiàn)了在單個(gè)Web端管理控制臺(tái)完成跨域復(fù)雜部署結(jié)構(gòu)下的數(shù)據(jù)遷移、交換任務(wù)的定義、監(jiān)控與調(diào)度，實(shí)現(xiàn)對(duì)運(yùn)行環(huán)境系統(tǒng)資源的統(tǒng)一集中式管理。

4.3 云計(jì)算數(shù)據(jù)共享建設(shè)

本文的云計(jì)算數(shù)據(jù)集成采用數(shù)據(jù)集成工具Informatica PowerCenter，它承載著完成數(shù)據(jù)源數(shù)據(jù)向數(shù)據(jù)倉庫導(dǎo)入的重要任務(wù)，建立、部署、管理倉庫中的數(shù)據(jù)，在數(shù)據(jù)倉庫項(xiàng)目中，根據(jù)數(shù)據(jù)提取信息需求分析和模型結(jié)構(gòu)，通過ETL規(guī)則技術(shù)將分散的各異構(gòu)業(yè)務(wù)系統(tǒng)間共享的主數(shù)據(jù)抽取上來，根據(jù)自定義的信息標(biāo)準(zhǔn)規(guī)則，將數(shù)據(jù)集成平臺(tái)與各個(gè)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)接口進(jìn)行數(shù)據(jù)的抽取、加載和轉(zhuǎn)換，完成全過程數(shù)據(jù)交換，通過數(shù)據(jù)的雙向傳遞，進(jìn)行統(tǒng)一的存儲(chǔ)和對(duì)外發(fā)布及共享，使各系統(tǒng)業(yè)務(wù)數(shù)據(jù)實(shí)時(shí)共享，并保證實(shí)時(shí)的調(diào)度和監(jiān)控。

5 小結(jié)

本文通過構(gòu)建統(tǒng)一交換網(wǎng)絡(luò)、統(tǒng)一計(jì)算平臺(tái)、虛擬化存儲(chǔ)、云計(jì)算系統(tǒng)的云計(jì)算數(shù)據(jù)中心，為云存儲(chǔ)提供了各應(yīng)用平臺(tái)的基礎(chǔ)支撐平臺(tái)，結(jié)合ETL技術(shù)、數(shù)據(jù)共享交換平臺(tái)和數(shù)據(jù)集成工具實(shí)現(xiàn)了異構(gòu)數(shù)據(jù)間的共享，解決了數(shù)據(jù)分散冗余、統(tǒng)一備份困難、數(shù)據(jù)抽取和信息孤島等問題，為高校數(shù)據(jù)資源靈活調(diào)度和高效辦公起到重要作用。

[1]周順淦.云計(jì)算環(huán)境中數(shù)據(jù)共享與修復(fù)關(guān)鍵技術(shù)研究[M].武漢大學(xué)，2016

[2]張丹，孫國(guó)偉.基于云計(jì)算的數(shù)據(jù)共享平臺(tái)建設(shè)[J].中國(guó)地球科學(xué)聯(lián)合學(xué)術(shù)年會(huì),2015:681-682

項(xiàng)目來源吉林省教育廳“十三五”科學(xué)技術(shù)研究項(xiàng)目吉教科合字[2016]第202號(hào)基于農(nóng)業(yè)物聯(lián)網(wǎng)的人參病蟲害信號(hào)識(shí)別技術(shù)研究的成果。

郭鑫鑫（1987），女，吉林省吉林市人，碩士，研究實(shí)習(xí)員，研究方向：計(jì)算機(jī)應(yīng)用；農(nóng)業(yè)信息化。通訊作者：尹來武（1965-），男，吉林省鎮(zhèn)賚縣人，博士，教授，研究方向：區(qū)域經(jīng)濟(jì)。