基于面向科學(xué)大數(shù)據(jù)的云計(jì)算平臺(tái)構(gòu)建探討

王玨

摘要：作為信息時(shí)代研究的重點(diǎn)，大數(shù)據(jù)和云計(jì)算屬于相輔相成的關(guān)系，兩者結(jié)合能夠挖掘有價(jià)值的大數(shù)據(jù)，提高計(jì)算的準(zhǔn)確性。基于此，本文從大數(shù)據(jù)和云計(jì)算技術(shù)的關(guān)系入手，并對(duì)科學(xué)大數(shù)據(jù)的特點(diǎn)進(jìn)行分析，給出了面向科學(xué)大數(shù)據(jù)的云計(jì)算平臺(tái)構(gòu)建方法，并將某高校開(kāi)展的AMS實(shí)驗(yàn)作為研究實(shí)例，對(duì)其云計(jì)算平臺(tái)的構(gòu)建及應(yīng)用進(jìn)行分析，明確云計(jì)算平臺(tái)的具體構(gòu)建要點(diǎn)及應(yīng)用效果，以期為相關(guān)研究提供理論參考。

關(guān)鍵詞：大數(shù)據(jù);云計(jì)算;用戶訪問(wèn)層

中圖分類號(hào)：G642? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A? ? ? ? 文章編號(hào)：1009-3044（2018）35-0035-02

互聯(lián)網(wǎng)的發(fā)展人們的生產(chǎn)生活產(chǎn)生大量的數(shù)據(jù)信息，傳統(tǒng)的數(shù)據(jù)存儲(chǔ)技術(shù)和數(shù)據(jù)處理技術(shù)存在一定的局限性，處理效率低下，處理結(jié)果的準(zhǔn)確性難以保障。云計(jì)算技術(shù)應(yīng)運(yùn)而生，云計(jì)算具備彈性服務(wù)、資源池化以及按需服務(wù)等特點(diǎn)，具備顯著的大數(shù)據(jù)處理能力，可以迅速找出有價(jià)值的數(shù)據(jù)信息，并對(duì)數(shù)據(jù)信息進(jìn)行全面深入的分析，非常適用于科學(xué)研究中的科學(xué)大數(shù)據(jù)分析。因此，本文就科學(xué)大數(shù)據(jù)作為基礎(chǔ)，分析其云計(jì)算平臺(tái)的構(gòu)建方法。

1 大數(shù)據(jù)與云計(jì)算技術(shù)分析

1.1云計(jì)算技術(shù)分析

研究機(jī)構(gòu)Gartner指出，大數(shù)據(jù)需要通過(guò)全新的處理模式才可以發(fā)揮其數(shù)據(jù)挖掘能力。也就是說(shuō)，大數(shù)據(jù)技術(shù)的應(yīng)用關(guān)鍵并不在于海量數(shù)據(jù)信息，而是對(duì)海量數(shù)據(jù)信息的分析與處理，從而找出海量數(shù)據(jù)信息中的有價(jià)值內(nèi)容，并通過(guò)處理分析提升數(shù)據(jù)信息的價(jià)值。Google和Amazon等企業(yè)于2006年提出“云計(jì)算”這一概念，NIST對(duì)云計(jì)算進(jìn)行了定義：云計(jì)算主要是指通過(guò)互聯(lián)網(wǎng)支持共享資源池的便捷訪問(wèn)，用戶可以根據(jù)自身的需求，在任意時(shí)間和任意地點(diǎn)通過(guò)計(jì)算設(shè)施、存儲(chǔ)設(shè)備以及應(yīng)用程序開(kāi)展計(jì)算。云計(jì)算具備如下特征：

（1）彈性服務(wù)，云計(jì)算提供的計(jì)算服務(wù)具備規(guī)模可收縮性，能夠根據(jù)業(yè)務(wù)負(fù)載大小進(jìn)行動(dòng)態(tài)變化，有效避免服務(wù)器過(guò)載問(wèn)題的出現(xiàn)或者資源浪費(fèi)，可以保障計(jì)算服務(wù)的質(zhì)量;（2）資源池化，在云計(jì)算的支持下，資源能夠通過(guò)共享資源池的形式開(kāi)展統(tǒng)一管理，為不同用戶提供相應(yīng)的資源;（3）按需服務(wù)，云計(jì)算可以根據(jù)用戶的需求提供相應(yīng)的服務(wù)，實(shí)現(xiàn)自動(dòng)共享資源池分配，可以提高用戶訪問(wèn)的效率及服務(wù)質(zhì)量;（4）泛在接入，只要用戶具備終端設(shè)備，就能夠通過(guò)互聯(lián)網(wǎng)進(jìn)行云計(jì)算服務(wù)平臺(tái)的連接，享受云計(jì)算服務(wù)。

1.2大數(shù)據(jù)和云計(jì)算的關(guān)系分析

云計(jì)算技術(shù)具備強(qiáng)大的大數(shù)據(jù)處理能力及計(jì)算能力，在大數(shù)據(jù)中數(shù)據(jù)量逐漸增加的當(dāng)下，大數(shù)據(jù)的分析離不開(kāi)云計(jì)算技術(shù)。雖然傳統(tǒng)架構(gòu)能夠通過(guò)擴(kuò)充方式進(jìn)行大數(shù)據(jù)處理，但是這種數(shù)據(jù)處理方式并不能完全適用于大數(shù)據(jù)環(huán)境，具備一定的局限性。云計(jì)算平臺(tái)則可以深入挖掘大數(shù)據(jù)，保障的大數(shù)據(jù)處理及分析的全面性。云計(jì)算技術(shù)能夠?qū)崿F(xiàn)大數(shù)據(jù)的分布式并行計(jì)算，大大簡(jiǎn)化了大數(shù)據(jù)處理流程，技術(shù)人員不需要再進(jìn)行低性價(jià)比服務(wù)器集群的構(gòu)建，能夠有效避免集群少數(shù)時(shí)段性能不足或者集群多數(shù)時(shí)段浪費(fèi)等問(wèn)題的出現(xiàn)，可以實(shí)現(xiàn)大數(shù)據(jù)信息資源的高效利用。

與此同時(shí)，云計(jì)算可以有效整合現(xiàn)有的軟件資源以及硬件資源，通過(guò)虛擬化及網(wǎng)絡(luò)存儲(chǔ)等方法，實(shí)現(xiàn)IT服務(wù)的定制化以及彈性服務(wù)。在虛擬化及統(tǒng)一跨平臺(tái)管理手段的支持下，大大降低了大數(shù)據(jù)計(jì)算平臺(tái)所用的軟件設(shè)施及硬件設(shè)施費(fèi)用，可以降低平臺(tái)的運(yùn)行成本，將更多的資金用于大數(shù)據(jù)的采集、處理及存儲(chǔ)中，有助于大數(shù)據(jù)處理水平的提升。由此可以看出，大數(shù)據(jù)和云計(jì)算屬于相輔相成的關(guān)系，技術(shù)人員在進(jìn)行大數(shù)據(jù)分析的過(guò)程中，需要應(yīng)用云計(jì)算，保障大數(shù)據(jù)分析的準(zhǔn)確性及高效性[1]。

2 科學(xué)大數(shù)據(jù)分析

科學(xué)大數(shù)據(jù)主要是指進(jìn)行科學(xué)研究所產(chǎn)生的大數(shù)據(jù)。和以往的實(shí)驗(yàn)研究有所差異，目前的科研數(shù)據(jù)是經(jīng)過(guò)大量研究，對(duì)海量深度分析所得出的結(jié)果。在此基礎(chǔ)上，高校及科研機(jī)構(gòu)面臨的主要問(wèn)題就是科學(xué)大數(shù)據(jù)的處理及分析問(wèn)題，傳統(tǒng)的計(jì)算機(jī)處理方式較為緩慢，難以對(duì)科學(xué)大數(shù)據(jù)進(jìn)行深入分析。因此，鑒于上述對(duì)大數(shù)據(jù)及云計(jì)算的分析，研發(fā)人員需要應(yīng)用科學(xué)大數(shù)據(jù)云計(jì)算平臺(tái)，對(duì)科學(xué)大數(shù)據(jù)進(jìn)行高效且深入的分析。本文將某高校開(kāi)展的AMS實(shí)驗(yàn)為例，分析科學(xué)大數(shù)據(jù)的特點(diǎn)，為云計(jì)算平臺(tái)的構(gòu)建提供參考資料。AMS實(shí)驗(yàn)主要是指阿爾法磁譜儀實(shí)驗(yàn)，主要用來(lái)尋找宇宙射線、反物質(zhì)以及暗物質(zhì)的來(lái)源。2011年美國(guó)航空航天局將AMS-02探測(cè)器發(fā)送到國(guó)際空間站中，AMS-02探測(cè)器能夠在太空中運(yùn)行十到十五年。截止到2017年，AMS-02探測(cè)器已經(jīng)采集到近千億實(shí)驗(yàn)宇宙線數(shù)據(jù)，具備顯著的科學(xué)大數(shù)據(jù)特征：

第一，數(shù)據(jù)量大，科學(xué)大數(shù)據(jù)的數(shù)量相對(duì)較多，涉及實(shí)驗(yàn)原始數(shù)據(jù)、中間數(shù)據(jù)以及對(duì)比數(shù)據(jù)等多種數(shù)據(jù)。AMS-02采集到的原始數(shù)據(jù)近千億，而由原始數(shù)據(jù)衍生的重建數(shù)據(jù)、仿真數(shù)據(jù)以及實(shí)驗(yàn)對(duì)比數(shù)據(jù)，再加上中間數(shù)據(jù)，得到的科學(xué)數(shù)據(jù)總量難以計(jì)算，最高可達(dá)4PB，具備顯著的海量特征。

第二，數(shù)據(jù)類型多，科學(xué)數(shù)據(jù)存在顯著的多樣化類型特征，在編碼方式、應(yīng)用方法以及數(shù)據(jù)格式方面有所不同，可以劃分為非結(jié)構(gòu)化數(shù)據(jù)及結(jié)構(gòu)化數(shù)據(jù)這兩種。AMS實(shí)驗(yàn)中的結(jié)構(gòu)數(shù)據(jù)是指原始數(shù)據(jù)、重建數(shù)據(jù)以及仿真數(shù)據(jù);AMS實(shí)驗(yàn)中的非結(jié)構(gòu)數(shù)據(jù)是指日志文件、中間數(shù)據(jù)以及用戶數(shù)據(jù)等內(nèi)容。

第三，數(shù)據(jù)處理效率高，科學(xué)大數(shù)據(jù)的處理要求具備一定的實(shí)時(shí)性，這樣才能夠保障科學(xué)結(jié)論的正確性。以AMS實(shí)驗(yàn)為例，地面數(shù)據(jù)處理中心需要實(shí)時(shí)接收AMS-02探測(cè)器采集的原始數(shù)據(jù)，并對(duì)接收的數(shù)據(jù)進(jìn)行重建及仿真處理，這一過(guò)程要求具備較高的速度，開(kāi)展高效的科學(xué)大數(shù)據(jù)處理效率。

第四，數(shù)據(jù)價(jià)值密度低，科學(xué)實(shí)驗(yàn)要對(duì)海量數(shù)據(jù)進(jìn)行全面深入分析，才能夠獲取有價(jià)值的實(shí)驗(yàn)結(jié)論，如果單純對(duì)一部分實(shí)驗(yàn)數(shù)據(jù)進(jìn)行分析，得出的結(jié)果不具權(quán)威性，其價(jià)值密度相對(duì)較低[2]。

3 面向科學(xué)大數(shù)據(jù)的云計(jì)算平臺(tái)構(gòu)建策略

3.1面向科學(xué)大數(shù)據(jù)的云計(jì)算平臺(tái)架構(gòu)

云計(jì)算平臺(tái)包括三個(gè)層次：其一是核心服務(wù)層，主要是將平臺(tái)的硬件設(shè)施以及平臺(tái)軟件的運(yùn)行環(huán)境等內(nèi)容抽象為服務(wù)，抽象的服務(wù)內(nèi)容具備實(shí)用性強(qiáng)、可靠性高以及可伸縮等優(yōu)勢(shì)，能夠滿足用戶的多樣化需求;其二是服務(wù)管理層，主要為核心服務(wù)層提供支持，提升其服務(wù)的可靠性及實(shí)用性;其三是用戶訪問(wèn)層，主要負(fù)責(zé)云訪問(wèn)的實(shí)現(xiàn)，通過(guò)訪問(wèn)接口將端和云進(jìn)行有效連接。在面向科學(xué)大數(shù)據(jù)的云計(jì)算平臺(tái)運(yùn)行過(guò)程中，云計(jì)算服務(wù)管理層需要開(kāi)展安全管理工作及服務(wù)管理工作，保障云計(jì)算平臺(tái)服務(wù)內(nèi)容的質(zhì)量及運(yùn)行安全;用戶訪問(wèn)層主要通過(guò)Web門(mén)戶及Web服務(wù)等方式，實(shí)現(xiàn)用戶的服務(wù)訪問(wèn)。通過(guò)對(duì)云計(jì)算平臺(tái)架構(gòu)的分析可知，核心服務(wù)層為云計(jì)算平臺(tái)的關(guān)鍵。本文主要分析核心服務(wù)層的構(gòu)建方法，明確面對(duì)科學(xué)大數(shù)據(jù)的云計(jì)算平臺(tái)構(gòu)建方法。

一般來(lái)說(shuō)，核心服務(wù)層主要包括基礎(chǔ)設(shè)施層（IaaS）、平臺(tái)服務(wù)層（PaaS）以及軟件服務(wù)層（SaaS）這三部分。IaaS主要負(fù)責(zé)云計(jì)算平臺(tái)的硬件基礎(chǔ)設(shè)施配置工作，可以為平臺(tái)用戶提供所需的資源，如實(shí)體或者虛擬的網(wǎng)絡(luò)資源或者計(jì)算資源等;PaaS是云計(jì)算平臺(tái)中各個(gè)軟件的應(yīng)用環(huán)境，負(fù)責(zé)云計(jì)算平臺(tái)中軟件的配置工作，在PaaS中軟件工具以及開(kāi)發(fā)語(yǔ)言的支持下，軟件研發(fā)人員不需考慮軟件的網(wǎng)絡(luò)、操作以及存儲(chǔ)等問(wèn)題，只需要提供程序代碼以及相關(guān)數(shù)據(jù)即可完成軟件研發(fā);SaaS是指云計(jì)算平臺(tái)的應(yīng)用程序[3]。具體的云計(jì)算平臺(tái)架構(gòu)如圖1所示。

3.2面向科學(xué)大數(shù)據(jù)的云計(jì)算平臺(tái)應(yīng)用實(shí)例

3.2.1云計(jì)算平臺(tái)的構(gòu)建

在明確云計(jì)算的平臺(tái)架構(gòu)之后，相關(guān)單位即可根據(jù)自身的需求，進(jìn)行軟硬件設(shè)計(jì)及應(yīng)用程序研發(fā)，實(shí)現(xiàn)面向科學(xué)大數(shù)據(jù)的云計(jì)算平臺(tái)構(gòu)建。本文以某大學(xué)作為研究對(duì)象，分析該高校云計(jì)算平臺(tái)的構(gòu)建及應(yīng)用。為了滿足數(shù)據(jù)密集型及計(jì)算密集型需求，確保AMS-02實(shí)驗(yàn)中相關(guān)的科學(xué)大數(shù)據(jù)能夠得到深入處理，該高校應(yīng)用上述架構(gòu)構(gòu)建了云計(jì)算平臺(tái)，主要包括IaaS、PaaS以及SaaS這三個(gè)部分。

IaaS層由物理機(jī)與虛擬機(jī)這兩種硬件設(shè)施組成，可以根據(jù)用戶的具體需求進(jìn)行硬件設(shè)施的分配，共包括279個(gè)節(jié)點(diǎn)、3500個(gè)CPU核，節(jié)點(diǎn)處理器為X3550，該服務(wù)器能夠開(kāi)展集群管理。并配備十臺(tái)X3850X5企業(yè)級(jí)服務(wù)器以及十六臺(tái)X3650機(jī)架式服務(wù)器，保障I/O節(jié)點(diǎn)的有效連接以及存儲(chǔ)。與此同時(shí)，技術(shù)人員選擇IBM DS5300作為共享存儲(chǔ)系統(tǒng)，輔以兩臺(tái)24口SAN交換機(jī)以及8Gb光效端口，使共享存儲(chǔ)系統(tǒng)的存儲(chǔ)容量高達(dá)500TB。為了保障基礎(chǔ)設(shè)施的穩(wěn)定運(yùn)行，技術(shù)人員在IaaS層配備了十臺(tái)36口40Gb的Infiniband交換機(jī)，以此構(gòu)建高速流暢的網(wǎng)絡(luò)。從理論角度而言，在上述硬件設(shè)施的支持下，云計(jì)算平臺(tái)的峰值浮點(diǎn)計(jì)算能力高達(dá)37萬(wàn)億/s，能夠充分滿足高校科研人員的實(shí)驗(yàn)數(shù)據(jù)處理需求。

PaaS層在私有計(jì)算集群的支持下，可以實(shí)現(xiàn)操作系統(tǒng)及應(yīng)用程序的自動(dòng)安裝，通過(guò)編程接口的設(shè)置，為大規(guī)模數(shù)據(jù)分析處理提供支持。與此同時(shí)，技術(shù)人員在PaaS層構(gòu)建了統(tǒng)一的IBM云計(jì)算軟件，負(fù)責(zé)平臺(tái)中所有軟硬件資源的管理，可以實(shí)現(xiàn)資源的自動(dòng)化及虛擬化管理，有助于云計(jì)算平臺(tái)擴(kuò)展性的提升。SaaS層主要通過(guò)服務(wù)方式進(jìn)行應(yīng)用程序的設(shè)置，實(shí)現(xiàn)用戶的有效訪問(wèn)。

3.2.2云計(jì)算平臺(tái)的應(yīng)用

該高校按照上述方法構(gòu)建的云計(jì)算平臺(tái)，主要用于AMS-02的實(shí)驗(yàn)數(shù)據(jù)處理，實(shí)驗(yàn)人員可以通過(guò)云計(jì)算平臺(tái)開(kāi)展如下數(shù)據(jù)處理工作：（1）AMS-02原始數(shù)據(jù)的采集與存儲(chǔ);（2）根據(jù)探測(cè)器檢測(cè)的地面校正數(shù)據(jù)，對(duì)AMS-02原始數(shù)據(jù)進(jìn)行重建;（3）應(yīng)用蒙特卡洛仿真以及探測(cè)器模擬數(shù)據(jù)結(jié)果，對(duì)AMS-02進(jìn)行數(shù)據(jù)重建;（4）通過(guò)對(duì)重建數(shù)據(jù)的物理分析，將分析結(jié)果進(jìn)行可視化處理;（5）應(yīng)用云計(jì)算平臺(tái)進(jìn)行AMS-02的傳輸。

在云計(jì)算平臺(tái)投入運(yùn)行期間，共取得如下成效：（1）利用高速網(wǎng)絡(luò)鏈路進(jìn)行數(shù)據(jù)采集，共從CERN區(qū)域采集數(shù)據(jù)近60TB;（2）根據(jù)探測(cè)器檢測(cè)的地面校正數(shù)據(jù)，重建近214TB數(shù)據(jù);（3）實(shí)現(xiàn)大規(guī)模AMS-02原始數(shù)據(jù)數(shù)據(jù)仿真，共建立近50TB的仿真數(shù)據(jù);（4）應(yīng)用AMS專用1Gbps傳輸通道，進(jìn)行原始數(shù)據(jù)及仿真數(shù)據(jù)的高效傳輸及訪問(wèn);（5）云計(jì)算平臺(tái)可以為一百個(gè)用戶提供物理分析功能，每個(gè)用戶具備100GB的存儲(chǔ)空間，可以在其范圍內(nèi)進(jìn)行數(shù)據(jù)分析。該高校的研究學(xué)者通過(guò)云計(jì)算平臺(tái)對(duì)AMS-02實(shí)驗(yàn)數(shù)據(jù)進(jìn)行分析，得出了暗物質(zhì)相關(guān)的證據(jù)，為暗物質(zhì)研究提供了可靠的數(shù)據(jù)分析支持[4]。

4 結(jié)論

綜上所述，面向科學(xué)大數(shù)據(jù)的云計(jì)算平臺(tái)能夠顯著提升數(shù)據(jù)存儲(chǔ)容量、數(shù)據(jù)計(jì)算效率及數(shù)據(jù)計(jì)算準(zhǔn)確性，值得推廣應(yīng)用。通過(guò)本文的分析可知，技術(shù)人員需要根據(jù)科研機(jī)構(gòu)或者高校的具體需求，按照IaaS、PaaS以及SaaS的架構(gòu)進(jìn)行云計(jì)算平臺(tái)的設(shè)計(jì)，并選擇合適的軟件設(shè)施、硬件設(shè)施及應(yīng)用程序，保障云計(jì)算平臺(tái)的穩(wěn)定運(yùn)行，為用戶提供高性能的計(jì)算服務(wù)及可靠的存儲(chǔ)服務(wù)，有助于用戶科研數(shù)據(jù)分析水平的提升，促進(jìn)我國(guó)科學(xué)技術(shù)創(chuàng)新。

參考文獻(xiàn)：

[1] 胡飛.面向大數(shù)據(jù)的教學(xué)資源平臺(tái)搭建與人工智能技術(shù)應(yīng)用研究[J].中國(guó)高新區(qū)，2018（12）：73-74.

[2] 韋博.石油企業(yè)大數(shù)據(jù)的云計(jì)算平臺(tái)研究[J].通訊世界，2017（21）：25-26.

[3] 楊飛.關(guān)于大數(shù)據(jù)和云計(jì)算平臺(tái)的應(yīng)用分析[J].電腦迷，2017（1）：23.

[4] 單莘，祝智崗，張龍，等.基于流處理技術(shù)的云計(jì)算平臺(tái)監(jiān)控方案的設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)應(yīng)用與軟件，2016，33（04）：88-90+121.

【通聯(lián)編輯：朱寶貴】