面向科學(xué)大數(shù)據(jù)的云計(jì)算平臺(tái)構(gòu)建研究

【摘要】云計(jì)算與大數(shù)據(jù)是目前商業(yè)界和政府部門研究的熱點(diǎn)問題，同時(shí)學(xué)術(shù)界也對(duì)大數(shù)據(jù)與云計(jì)算在科學(xué)研究中的應(yīng)用開展了大量研究。大數(shù)據(jù)包括體量、多樣性、價(jià)值和速度四方面特點(diǎn)；云計(jì)算包括彈性服務(wù)、資源池化、按需服務(wù)、服務(wù)可計(jì)費(fèi)和泛在接入等五方面特點(diǎn)。兩者之間是一種相互依存的關(guān)系。當(dāng)前科學(xué)研究面臨著大數(shù)據(jù)的眾多挑戰(zhàn)，云計(jì)算平臺(tái)構(gòu)建就成為解決之道。文章以東南大學(xué)參與的AMS實(shí)驗(yàn)項(xiàng)目為例，介紹了面向科學(xué)大數(shù)據(jù)的云計(jì)算平臺(tái)構(gòu)建。

【關(guān)鍵詞】科學(xué)大數(shù)據(jù)；云計(jì)算：平臺(tái)構(gòu)建

隨著新一代大規(guī)模互聯(lián)網(wǎng)應(yīng)用的迅猛發(fā)展，產(chǎn)生了遠(yuǎn)遠(yuǎn)超過以往的海量數(shù)據(jù)，使用傳統(tǒng)的數(shù)據(jù)存儲(chǔ)與處理技術(shù)將耗費(fèi)大量的時(shí)間和金錢，并且效率低下。為了解決這一難題，云計(jì)算與大數(shù)據(jù)的概念應(yīng)運(yùn)而生。

一、相關(guān)研究

云計(jì)算可以為大數(shù)據(jù)處理提供強(qiáng)大的計(jì)算能力。對(duì)亞馬遜公司的研究顯示，“若亞馬遜使用傳統(tǒng)的數(shù)據(jù)處理方法在1000個(gè)節(jié)點(diǎn)上處理IPB的數(shù)據(jù)需要耗費(fèi)750天時(shí)間耗資六百萬美元，而使用云計(jì)算的MapReduce技術(shù)處理相同的數(shù)據(jù)，則只需要350分鐘耗資僅2040美元”。EMC公司的首席信息官M(fèi)irchandani認(rèn)為“云計(jì)算和大數(shù)據(jù)是目前IT行業(yè)兩個(gè)最大的創(chuàng)新，他們將改變商業(yè)管理的方式并從最重要的資產(chǎn)信息中獲取相應(yīng)的價(jià)值”。在用戶使用云計(jì)算后，用戶可以在其服務(wù)、存儲(chǔ)等虛擬化的過程中快速的看到其價(jià)值，并極大地降低使用的復(fù)雜性與使用成本。Zhang Liang-Jie認(rèn)為目前“我們處于大服務(wù)時(shí)代，云計(jì)算和大數(shù)據(jù)包含以下幾大創(chuàng)新，即云計(jì)算和大數(shù)據(jù)創(chuàng)造了一種嶄新的商業(yè)模式；在應(yīng)用程序架構(gòu)上，云計(jì)算和大數(shù)據(jù)加快了應(yīng)用軟件的服務(wù)化；在數(shù)據(jù)結(jié)構(gòu)上，由于需要強(qiáng)大的計(jì)算能力和存儲(chǔ)能力，大數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)被重新設(shè)計(jì)；在技術(shù)架構(gòu)上，軟件、硬件與服務(wù)被集成一體提供給開發(fā)人員；在云計(jì)算體系架構(gòu)上，各架構(gòu)之間的信息交換需要建立統(tǒng)一的標(biāo)準(zhǔn)和協(xié)議方可實(shí)現(xiàn)”。美國國家標(biāo)準(zhǔn)與技術(shù)研究院信息技術(shù)實(shí)驗(yàn)室主任Chuck Romine認(rèn)為“云計(jì)算與大數(shù)據(jù)都是當(dāng)下的發(fā)展趨勢(shì)，二者融合的趨勢(shì)則更加明顯。云計(jì)算使大數(shù)據(jù)對(duì)于那些無法有效利用他們的人而言變得更容易獲得，相反，大數(shù)據(jù)也為在傳統(tǒng)海量數(shù)據(jù)規(guī)模下無法獲得的發(fā)現(xiàn)與創(chuàng)新打開了大門”。Eric等學(xué)者討論了云計(jì)算用于生物學(xué)科學(xué)研究的可行性，他們認(rèn)為，“在生物學(xué)領(lǐng)域里的大規(guī)模數(shù)據(jù)的產(chǎn)生、存儲(chǔ)與分析將使用云計(jì)算與大數(shù)據(jù)的相關(guān)理論與方法，所面臨的挑戰(zhàn)是如何將大數(shù)據(jù)問題與正確的計(jì)算方法相匹配”。

綜上所述，云計(jì)算與大數(shù)據(jù)之間的相互需求與密切關(guān)系已經(jīng)得到公認(rèn)，目前兩者更多的應(yīng)用于商業(yè)領(lǐng)域，云計(jì)算的出現(xiàn)使得大數(shù)據(jù)的處理效率大大提升，同時(shí)處理成本得到有效降低。由于在商業(yè)領(lǐng)域的出色應(yīng)用，云計(jì)算與大數(shù)據(jù)的理論與方法在科學(xué)研究中也逐步得到應(yīng)用。本文即針對(duì)科學(xué)研究中的大數(shù)據(jù)開展云計(jì)算平臺(tái)的構(gòu)建研究。

二、大數(shù)據(jù)與云計(jì)算的關(guān)系

1 大數(shù)據(jù)與云計(jì)算的概念及特點(diǎn)

研究機(jī)構(gòu)Gartner認(rèn)為“大數(shù)據(jù)是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)”。大數(shù)據(jù)技術(shù)的意義不在于掌握海量的數(shù)據(jù)信息，而在于對(duì)這些數(shù)據(jù)進(jìn)行專業(yè)化處理與分析，關(guān)鍵在于提高對(duì)數(shù)據(jù)的加工能力，通過加工實(shí)現(xiàn)數(shù)據(jù)的增值。大數(shù)據(jù)通常為非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)，具有四個(gè)特點(diǎn)：第一，數(shù)據(jù)體量巨大，從TB級(jí)別上升至PB級(jí)別。第二，數(shù)據(jù)類型繁多，包含視頻、音頻、圖形、圖像、文本等等。第三，價(jià)值密度低。第四，處理速度快。學(xué)界將其歸納為4個(gè)V——體量（Volume）、多樣性（Variety）、價(jià)值（Value）、速度（Velocity）。

2006年Google、Amazon等公司提出了“云計(jì)算”的概念。根據(jù)美國國家標(biāo)準(zhǔn)與技術(shù)研究院（NIST）的定義，“云計(jì)算是一種利用互聯(lián)網(wǎng)實(shí)現(xiàn)隨時(shí)隨地、按需、便捷地訪問共享資源池（如計(jì)算設(shè)施、存儲(chǔ)設(shè)備、應(yīng)用程序等）的計(jì)算模式”。云計(jì)算具有以下特點(diǎn)：第一，彈性服務(wù)。服務(wù)的規(guī)模可快速伸縮，以自動(dòng)適應(yīng)業(yè)務(wù)負(fù)載的動(dòng)態(tài)變化。用戶使用的資源同業(yè)務(wù)的需求相一致，避免了因?yàn)榉?wù)器性能過載或冗余而導(dǎo)致的服務(wù)質(zhì)量下降或資源浪費(fèi)。第二，資源池化。資源以共享資源池的方式統(tǒng)一管理。利用虛擬化技術(shù)，將資源分享給不同用戶，資源的放置、管理與分配策略對(duì)用戶透明。第三，按需服務(wù)。以服務(wù)的形式為用戶提供應(yīng)用程序、數(shù)據(jù)存儲(chǔ)、基礎(chǔ)設(shè)施等資源，并可以根據(jù)用戶需求，自動(dòng)分配資源，而無須系統(tǒng)管理員干預(yù)。第四，服務(wù)可計(jì)費(fèi)。監(jiān)控用戶的資源使用量，并根據(jù)資源的使用情況對(duì)服務(wù)計(jì)費(fèi)。第五，泛在接入。用戶可以利用各種終端設(shè)備隨時(shí)隨地通過互聯(lián)網(wǎng)訪問云計(jì)算服務(wù)。

2 大數(shù)據(jù)與云計(jì)算的關(guān)系

大數(shù)據(jù)離不開云計(jì)算。面對(duì)大數(shù)據(jù)的增長(zhǎng)，傳統(tǒng)架構(gòu)雖然能夠進(jìn)行擴(kuò)充，但其IT架構(gòu)和數(shù)據(jù)處理方式無法有效地應(yīng)對(duì)大數(shù)據(jù)環(huán)境，如果將大數(shù)據(jù)存放于傳統(tǒng)數(shù)據(jù)庫中是無法保證其有效性和實(shí)用性的。這就需要將大數(shù)據(jù)置于大的開放平臺(tái)上為有需求的用戶所用，這就形成了云計(jì)算平臺(tái)。相反，云計(jì)算也可助力大數(shù)據(jù)。針對(duì)大數(shù)據(jù)的特點(diǎn)，云計(jì)算相應(yīng)的可以提供容納大數(shù)據(jù)流的空間，以及大數(shù)據(jù)分析所需的運(yùn)算能力。云計(jì)算的分布式并行計(jì)算能力使大數(shù)據(jù)分析的過程中再無須架設(shè)低性價(jià)比的服務(wù)器集群，同時(shí)可以解決現(xiàn)有服務(wù)器集群多數(shù)時(shí)段空閑、少數(shù)時(shí)段性能不足的現(xiàn)象。云計(jì)算通過整合軟硬件資源，并借助負(fù)載均衡、分布式計(jì)算、并行計(jì)算、虛擬化、網(wǎng)絡(luò)存儲(chǔ)和統(tǒng)一管理等技術(shù)手段，實(shí)現(xiàn)IT服務(wù)的無縫化、定制化和彈性服務(wù)，可以使大數(shù)據(jù)平臺(tái)的復(fù)雜性大大降低，方便地存儲(chǔ)與處理異構(gòu)系統(tǒng)中的海量數(shù)據(jù)，提升資源的利用效率。

云計(jì)算由于采用了大量的虛擬化技術(shù)和統(tǒng)一的跨平臺(tái)管理技術(shù)，數(shù)據(jù)中心硬件設(shè)施和軟件費(fèi)用等運(yùn)行成本會(huì)大幅降低，所節(jié)約的資金可用于大數(shù)據(jù)的采集、存儲(chǔ)、處理、分析等環(huán)節(jié)。大數(shù)據(jù)和云計(jì)算彼此之間旺盛的需求決定了兩者在相當(dāng)長(zhǎng)的一段時(shí)期內(nèi)都將保持這種緊密的關(guān)系。

三、科學(xué)研究面臨的大數(shù)據(jù)挑戰(zhàn)

科學(xué)大數(shù)據(jù)，顧名思義，就是在科學(xué)研究、科學(xué)實(shí)驗(yàn)的過程中產(chǎn)生的數(shù)量龐大、種類繁多的科學(xué)數(shù)據(jù)。現(xiàn)代科學(xué)已經(jīng)不同于早期只依靠對(duì)個(gè)別實(shí)驗(yàn)現(xiàn)象及少量科研數(shù)據(jù)的觀察與總結(jié)就可以獲得科學(xué)發(fā)現(xiàn)，而是需要從海量的科學(xué)數(shù)據(jù)中反復(fù)的提煉和挖掘，并進(jìn)行深度綜合分析，方能得出科學(xué)結(jié)論。因此，現(xiàn)代科學(xué)研究與科學(xué)實(shí)驗(yàn)往往會(huì)產(chǎn)生海量的科學(xué)數(shù)據(jù)，如何存儲(chǔ)與分析這些科學(xué)大數(shù)據(jù)就成為科研機(jī)構(gòu)所面對(duì)的巨大挑戰(zhàn)。本文以東南大學(xué)所參與的AMS實(shí)驗(yàn)項(xiàng)目為例，介紹科學(xué)研究所面臨的科學(xué)大數(shù)據(jù)。

阿爾法磁譜儀（Alpha Magnetic Spectrometer，AMS）實(shí)驗(yàn)是由諾貝爾獎(jiǎng)獲得者丁肇中教授領(lǐng)導(dǎo)的山美、俄、德、法、中等15個(gè)國家和地區(qū)共600多名科學(xué)家參加的大型國際合作項(xiàng)目，其目的是尋找反物質(zhì)、暗物質(zhì)的來源以及測(cè)量宇宙射線的來源。AMS-02探測(cè)器于2011年5月搭載“奮進(jìn)號(hào)”航天飛機(jī)升空并被安裝到國際空間站，將在太空運(yùn)行10-15年，其間數(shù)量龐大的原始數(shù)據(jù)將通過美國國家航空航天局的Ku波段傳回地面，中轉(zhuǎn)后傳到瑞士的歐洲核子研究中心（Conseil Europeen pour la Recherche Nucl6aire，CERN），隨后傳到東南大學(xué)的地面數(shù)據(jù)處理中心，由數(shù)據(jù)處理中心對(duì)其進(jìn)行存儲(chǔ)、處理、計(jì)算和分析，這些科學(xué)數(shù)據(jù)將是AMS實(shí)驗(yàn)物理分析的重要數(shù)據(jù)源。截至目前，AMS-02探測(cè)器己收集到超過300億個(gè)宇宙線數(shù)據(jù)，這些科學(xué)數(shù)據(jù)呈現(xiàn)出典型的大數(shù)據(jù)特點(diǎn)：

1 數(shù)據(jù)體量巨大

現(xiàn)代科學(xué)實(shí)驗(yàn)所產(chǎn)生的科學(xué)數(shù)據(jù)通常數(shù)量極其龐人。AMS實(shí)驗(yàn)期間將產(chǎn)生探測(cè)器采集的原始數(shù)據(jù)、由原始數(shù)據(jù)生成的重建數(shù)據(jù)、由蒙特卡洛仿真所得到的實(shí)驗(yàn)對(duì)比數(shù)據(jù)以及一些中間數(shù)據(jù)等，按實(shí)驗(yàn)10年運(yùn)行期計(jì)總量將接近4PB。

2 數(shù)據(jù)類型繁多

科學(xué)數(shù)據(jù)通常類型繁多，在編碼方式、數(shù)據(jù)格式、應(yīng)用特征等方面存在較大差異，并且多為異構(gòu)數(shù)據(jù)。這些數(shù)據(jù)包含結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，以AMS實(shí)驗(yàn)為例，其中結(jié)構(gòu)化數(shù)主要包括AMS原始數(shù)據(jù)、重建數(shù)據(jù)以及蒙特卡洛仿真數(shù)據(jù)，非結(jié)構(gòu)化數(shù)據(jù)主要包括AMS實(shí)驗(yàn)的日志文件、剛戶數(shù)據(jù)以及處理的中間結(jié)果數(shù)據(jù)。

3 數(shù)據(jù)處理速度快

針對(duì)海量科學(xué)數(shù)據(jù)的分析與處理通常對(duì)實(shí)時(shí)性要求比較高。在AMS實(shí)驗(yàn)中，地面數(shù)據(jù)處理中心需要實(shí)時(shí)同步接收并存儲(chǔ)來自國際空間站上的原始數(shù)據(jù)，并進(jìn)行實(shí)時(shí)數(shù)據(jù)重建，生成物理事件信息。此外，還需要進(jìn)行持續(xù)的蒙特卡洛仿真以生成對(duì)比數(shù)據(jù)以及不定期的大批量物理分析計(jì)算任務(wù)，這些任務(wù)需要在很短的時(shí)間完成，并將結(jié)果及時(shí)返回給CERN的AMS實(shí)驗(yàn)總部，實(shí)時(shí)性要求較高。

4 數(shù)據(jù)價(jià)值密度低

針對(duì)AMS實(shí)驗(yàn)的海量數(shù)據(jù)而言，單個(gè)數(shù)據(jù)只對(duì)應(yīng)一個(gè)物理事件，通常不具有明顯的實(shí)際意義。只有通過將上百億次物理事件所對(duì)應(yīng)的海量數(shù)據(jù)進(jìn)行分析，才能從無序的海量數(shù)據(jù)中得出科學(xué)的結(jié)論。

四、面向科學(xué)大數(shù)據(jù)的云計(jì)算平臺(tái)構(gòu)建

1 面向大數(shù)據(jù)的云計(jì)算體系架構(gòu)

云計(jì)算體系架構(gòu)包含核心服務(wù)、服務(wù)管理、用戶訪問接口三層，表現(xiàn)為一系列服務(wù)的集合。其中，“核心服務(wù)層將硬件基礎(chǔ)設(shè)施、軟件運(yùn)行環(huán)境、應(yīng)用程序抽象成服務(wù)。這些服務(wù)具有可靠性強(qiáng)、可用性高、規(guī)模可伸縮等特點(diǎn)，可以滿足多樣化的應(yīng)用需求。服務(wù)管理層為核心服務(wù)提供支持，進(jìn)一步確保核心服務(wù)的可靠性、可用性與安全性。用戶訪問接口層實(shí)現(xiàn)端到云的訪問”。云計(jì)算體系架構(gòu)中的核心服務(wù)通常可以分為三層，即基礎(chǔ)設(shè)施即服務(wù)層（infrastructure as a service，IaaS）、平臺(tái)即服務(wù)層（platform as a service，PaaS）和軟件即服務(wù)層（software as a service，SaaS）。其中，IaaS提供硬件基礎(chǔ)設(shè)施部署服務(wù)，為用戶按需提供實(shí)體或虛擬的計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)等資源。PaaS是云計(jì)算應(yīng)用程序運(yùn)行環(huán)境，提供應(yīng)用程序部署與管理服務(wù)。通過PaaS層的軟件工具和開發(fā)語言，應(yīng)用程序開發(fā)者只需上傳程序代碼和數(shù)據(jù)即可使用服務(wù)，而不必關(guān)注底層的網(wǎng)絡(luò)、存儲(chǔ)、操作系統(tǒng)的管理問題。SaaS是基于云計(jì)算基礎(chǔ)平臺(tái)所開發(fā)的應(yīng)用程序。云計(jì)算服務(wù)管理層對(duì)核心服務(wù)層的可用性、可靠性和安全性提供保障。服務(wù)管理包括服務(wù)質(zhì)量保證和安全管理等。云計(jì)算用戶訪問接口實(shí)現(xiàn)了云計(jì)算服務(wù)的訪問，通常包括命令行、Web服務(wù)、Web門戶等形式。面向大數(shù)據(jù)的云計(jì)算平臺(tái)體系架構(gòu)如圖1。

2 東南大學(xué)云計(jì)算平臺(tái)及典型應(yīng)用

（1）東南大學(xué)云計(jì)算平臺(tái)

東南大學(xué)云計(jì)算平臺(tái)面向全校提供高性能計(jì)算與云計(jì)算服務(wù)，適用于數(shù)據(jù)密集型和計(jì)算密集型應(yīng)用，可為AMS-02實(shí)驗(yàn)所產(chǎn)生的科學(xué)大數(shù)據(jù)處理提供基礎(chǔ)支撐。該平臺(tái)提供了IaaS、PaaS和SaaS層的服務(wù)，IaaS層的基礎(chǔ)設(shè)施為用戶提供虛擬機(jī)和物理機(jī)的按需分配，包含279個(gè)節(jié)點(diǎn)約3500個(gè)CPU核；配置10臺(tái)X3850X5企業(yè)級(jí)服務(wù)器；配置16臺(tái)X3650機(jī)架式服務(wù)器作為10節(jié)點(diǎn)連接存儲(chǔ)；一臺(tái)X3550服務(wù)器作為集群管理節(jié)點(diǎn)；共享存儲(chǔ)系統(tǒng)采用IBM DS5300，配備8Gb光纖端口，兩臺(tái)24口SAN交換機(jī)，存儲(chǔ)容量為500TB。平臺(tái)采用10臺(tái)36口400b高性能Infiniband交換機(jī)構(gòu)建連接所有節(jié)點(diǎn)的全線速、無阻塞高速網(wǎng)絡(luò)。平臺(tái)的理論峰值浮點(diǎn)計(jì)算能力為每秒37萬億次，可根據(jù)科研人員的應(yīng)用需求，為其按需配置私有計(jì)算集群，并自動(dòng)安裝操作系統(tǒng)、應(yīng)用軟件。在PaaS層，數(shù)據(jù)分析處理平臺(tái)和應(yīng)用開發(fā)環(huán)境為大規(guī)模數(shù)據(jù)分析處理應(yīng)用提供編程接口。平臺(tái)部署了IBM的云計(jì)算軟件統(tǒng)一管理軟硬件資源，以虛擬化和自動(dòng)化的方式動(dòng)態(tài)部署資源，用來統(tǒng)一提供計(jì)算和存儲(chǔ)服務(wù)，從而提供良好的擴(kuò)展性，支持按需變化的運(yùn)算模式。在SaaS層，以服務(wù)的形式部署云計(jì)算應(yīng)用程序，便于用戶訪問與使用。

（2）東南大學(xué)云計(jì)算平臺(tái)典型應(yīng)用

東南大學(xué)云計(jì)算平臺(tái)的典型應(yīng)用就是AMS-02數(shù)據(jù)處理。該應(yīng)用主要實(shí)現(xiàn)以下功能：（1）獲取并存儲(chǔ)完整的AMS-02在國際空間站采集的原始數(shù)據(jù)：（2）根據(jù)AMS-02原始數(shù)據(jù)并結(jié)合探測(cè)器的地面校正數(shù)據(jù)進(jìn)行數(shù)據(jù)重建；（3）進(jìn)行蒙特卡洛仿真、探測(cè)器模擬和仿真數(shù)據(jù)重建；（4）根據(jù)重建數(shù)據(jù)進(jìn)行物理分析，并實(shí)現(xiàn)分析結(jié)果的可視化；（5）完成AMS-02重建數(shù)據(jù)分發(fā)和傳輸。

目前，該應(yīng)用已經(jīng)完成下列科學(xué)大數(shù)據(jù)的存儲(chǔ)與處理：（1）通過高速網(wǎng)絡(luò)鏈路從CERN獲取并存儲(chǔ)自AMS升空以來所有的原始數(shù)據(jù)約60TB，（2）完成了三輪針對(duì)AMS-02原始數(shù)據(jù)的完整重建并產(chǎn)生了約214TB的重建數(shù)據(jù)，為正在進(jìn)行的AMS-02數(shù)據(jù)分析提供數(shù)據(jù)資源；（3）完成了大規(guī)模的AMS數(shù)據(jù)仿真并產(chǎn)生了約50TB的仿真數(shù)據(jù)；（4）實(shí)現(xiàn)了中國教育和科研計(jì)算機(jī)網(wǎng)內(nèi)AMS專用10bps傳輸線路的網(wǎng)絡(luò)帶寬預(yù)留，可實(shí)現(xiàn)高速的數(shù)據(jù)傳輸、分發(fā)和訪問：（5）提供了100個(gè)物理分析用戶的能力，每個(gè)用戶擁有100GB的存儲(chǔ)空間。科學(xué)家通過對(duì)該平臺(tái)中數(shù)據(jù)的研究分析，已經(jīng)從中捕獲了暗物質(zhì)的證據(jù)。這些數(shù)據(jù)包含了“40萬個(gè)正電子，這些正電子有可能來自于脈沖星或者人類一直尋找的暗物質(zhì)”，為暗物質(zhì)研究提供了極有價(jià)值的數(shù)據(jù)支撐。

五、結(jié)束語

目前面向科學(xué)大數(shù)據(jù)的云計(jì)算平臺(tái)主要為用戶提供基于云架構(gòu)的存儲(chǔ)服務(wù)與高性能計(jì)算服務(wù)，對(duì)科學(xué)大數(shù)據(jù)的處理研究尚不深入，如何為用戶提供相應(yīng)的大數(shù)據(jù)處理方法將成為未來研究的熱點(diǎn)。