基于云計算的國家級氣象資源池設計與建設

聶元丁

(國家氣象信息中心，北京 100081)

0 引 言

氣象行業經歷了“十一五”期間推進信息化“全國氣象雷達共享”和通信網絡的全面建設，信息化工作取得顯著成效。隨著氣象行業信息化建設的深入推進，要求業務響應更快速、管控更集中、服務更優質、工作更協同。

國家氣象信息中心承擔著國家級氣象基礎信息、計算機、局域網絡和互聯網資源的設計、建設、運維及相關服務工作。氣象部門的業務數據種類要素繁多，包括地面、高空、衛星、雷達、預報、數據庫、視頻資料等資料類型，數據量巨大、數據增長速度快，而國家氣象信息中心是氣象行業的國家級計算和存儲加工處理的數據中心，目前的IT基礎設施已經無法滿足海量業務數據存儲以及氣象資料分析處理加工的需求，需要對氣象信息基礎設施資源池進行規范設計和統一建設。

為了開展氣象業務系統的整合構建研究，解決信息孤島問題，利用業界成熟的云計算技術，構建氣象信息基礎設施資源池，在虛擬化平臺上承載氣象業務系統，實現氣象應用虛擬化，合理利用氣象數據、預報產品和研究成果。氣象云基礎設施資源池在氣象行業中應用虛擬化技術，利用業界成熟的云計算技術，為用戶應用提供可共享的氣象數據資源，可擴展、可管理、可量化、可運維的氣象數據處理和服務有著非常重要的意義[1]。

作為信息化新技術，有關云計算資源池的規劃和實施并沒有現成可以遵循的系統方法，氣象行業同時又具有自身的特殊性和重要性，其他行業沒有可以借鑒的成功案例，這些也導致了氣象資源池規劃和建設的難度。文中在理解云計算的基礎上，結合氣象業務的自身特點，重點研究了氣象行業中資源池的基礎架構，闡述了資源池建設如何規劃、資源池如何建設部署，同時對氣象資源池如何在業務應用遷移入云后產生的投資收益進行分析，說明了該資源池規劃和建設部署的可行性和有效性。目前，業界沒有成熟的資源池規劃和部署方案，而該資源池的規劃和部署會給其他行業帶來很好的借鑒價值。

1 氣象信息化現狀

氣象行業數據有自身獨特的特點，業務系統流程主要是獲取、檢查、加工、處理、服務，各個環節互為上下游，彼此緊密聯系；氣象行業的IT管理人員運維的信息工作與氣象信息系統緊密相關，業務系統全部是7*24小時無間斷全天候運行[2]。氣象行業業務系統的產生是根據某一個或某些具有共性的一類特定需求如短期氣象預報，長期氣候預報，山洪地質災害預報等進行相對獨立開發的。根據每個項目建設的流程，受客觀條件所限，每個項目的經費來源和采購方式不盡相同，目的與背景不同，業務系統之間也彼此無關聯，每個業務系統都有項目本身對IT基礎資源(包括計算和存儲以及開發環境)的特定需求。

目前國家氣象信息中心服務器主要以X86服務器為主，小型機為輔，運行著天氣預報預測，氣候監測預警，數據庫、文件共享、通信傳輸、信息安全等多個業務系統，基本是采取每個系統部署在自身項目采購的單套或者多套服務器和存儲上。通過對各個系統的資源監控分析發現，大多數服務器的計算平均利用率長期在5%以下，存儲資源空間也沒有得到充分合理的利用，直接導致了資源閑置、機房空間以及空調電源等的不合理能耗，另外，隨著新項目的出現以及舊項目的升級等多期建設，機房內單獨的業務系統數量增加，帶來了IT基礎設施管理復雜度不斷提高、機房能耗浪費巨大等一系列問題。作為為氣象信息業務系統提供服務和支持的國家氣象信息中心，面臨了諸多問題，主要包括：

(1)每套業務系統從項目立項、科研報告、經費預算、需求分析開始都留出預算，為項目獨立購買項目所需的基礎設施硬件，設備按照滿足項目業務系統資源需求的理論峰值指標來設計購買；

(2)每套業務系統都有各自獨立的架構和特征，加大了IT管理人員的運維管理難度，同時也使得IT管理復雜、IT維護成本不斷提高；

(3)不同項目購置的基礎設施導致機房機柜空間分配困難，由于空間和電源供應等問題也為將來系統擴展帶來隱患；

(4)由于各個項目購置的硬件配置不盡相同，不同硬件性能指標也不同，并且IT設備更新換代頻繁，導致各個業務系統中淘汰的資源得不到很好的利用，資源重復利用效率差，造成了設備資源的浪費。

上述問題產生的根本原因在于存在IT信息孤島。信息化項目的建設一般都要按照不同獨立的應用系統而獨立完成項目立項、規劃、建設以及最后的項目業務化工作，每個項目需要根據項目應用對IT基礎設施能力的要求，配置各種硬件設備資源，包括服務器、磁盤陣列存儲以及所涉及的網絡資源。由于項目的獨立性，每個項目在設計設備指標都按照業務運算的資源峰值疊加來配置購買這些資源，通過獨立的物理服務器、基礎操作系統、系統軟件平臺和獨立數據庫滿足應用。這也就導致了各個項目在經過建設驗收業務上線后，形成的是各個縱向“煙囪”，煙囪間沒有任何資源可以共享，形成了所謂的信息孤島。在這種信息孤島技術環境中，系統之間相互通信很少，造成業務數據資源重復或者浪費的局面。這也帶來IT管理無法及時地滿足不斷變化的業務需求的難題，如何降低管理維護成本、提升服務效率，如何應對服務創新等方面的挑戰。這也推動了信息系統從傳統大型主機向開放架構[3-5]、從分布式架構向云計算服務演進[6]。

隨著當前計算機信息技術的高速發展，基于云計算的虛擬化技術能很好地解決信息孤島問題，是一種新型的計算模式。它以服務的形式為用戶提供各種IT資源，如硬件資源、存儲資源和應用程序等[7]，跨越IT架構實現對資源的統一管理、調度和監控，進而提高系統整體的靈活性和效益[8]。

2 關鍵技術

2.1 云計算技術

云計算是繼分布式計算、并行計算、網格計算等發展而來的一種新計算模式,具有分布式及并行處理等優點,同時還具備負載均衡、資源共享、便于維護等特點[9]。云計算是近年來興起并廣受關注的一種資源提供、使用和計算模式[10]。

云計算包含兩層含義:一是云計算平臺基礎設施，是用來構建上層應用程序的基礎；另外一層是構建在這個基礎平臺之上的云計算應用程序[11]。云計算具有資源虛擬化、存儲高效可靠、高可擴展性、集約管理、按需服務、“超瘦”客戶端、使用方便等優點[12-14]。云計算按照服務類型可分為三類[15]:基礎設施即服務(infrastructure as a service，IaaS)、平臺即服務(platform as a service，PaaS)和軟件即服務(software as a service，Saas)。在上述幾類服務模式中，IaaS模式位于最底層，向上層業務提供最基礎的設施以及服務。將處理器、內存、輸入/輸出、存儲、網絡等虛擬化資源進行統一的管理調度，如圖1所示。

圖1 云計算架構

2.2 云計算與OSI參考模型

OSI參考模型(open system interconnect)是國際標準化組織(ISO)和國際電報電話咨詢委員會(CCITT)聯合制定的，從低到高分為七層：物理層、數據鏈路層、網絡層、傳輸層、會話層、表示層和應用層。OSI參考模型層與層之間的關系既有聯系制約又互相獨立。其設計思路是聚合橫向的同類功能，而模塊化縱向的不同層次的功能。同樣，在IT建設中也可以借鑒OSI的設計思路，聚合基礎設施中的計算存儲等資源，形成統一可調度運維的一個大資源池；模塊化縱向的不同層次的功能，將業務系統，包括所涉及的硬件設備如服務器、存儲、網絡以及操作系統與獨立硬件系統分離，降低維護成本。

在聚合資源形成統一的可運維的資源池內，當業務方需要應用需求時，應用方不用關注應用運行所需要的設備資源的購置，只需向資源池管理部門提出資源需求，IT運維人員便可以根據業務申請在資源池中分配相應的資源給應用方。當業務上線運行后，如果出現這個業務系統的業務資源不足時，同樣應用方可以申請擴充資源，資源池運維人員實現動態添加計算存儲資源，這樣承載業務運行的資源對于業務方是透明的。這種架構假設的是一種統一資源池，與信息孤島架構完全不同，完全以業務應用為中心，將可用資源整合到一起統一運維。統一資源池為多個業務系統提供了一個通用的、高可用性的、橫向的、易管理、易擴展的新一代統一系統架構。

統一資源池架構參考了OSI七層模型的設計思路，將處于不同功能位置的設備、介質等進行了模塊化的封裝，使得各層之間的關系變得獨立清晰，各層之間的訪問可以跨介質甚至跨平臺[16]。模型如圖2所示。

圖2 云計算與OSI參考模型

3 資源池架構設計

中國氣象局在2014年啟動了氣象云資源池建設項目，后期經過多次的擴充建設，目前已經形成了相對成型的國家級氣象云IAAS資源池設計與實施方案。

3.1 設計原則

3.1.1 完整性原則

滿足設計要求，滿足系統架構和功能需求，滿足系統性能指標和硬件指標，適用于氣象資源池要求，遵循具有很好的完整性和適用性原則，保證系統正常實施和運行。

3.1.2 柔性化原則

柔性反映資源應對業務需求，適應業務變化的能力。資源池的柔性原則是指資源可被調度、可按需求動態分配和組裝，從而滿足不同需求的能力。包括計算和存儲容量基礎資源服務與處理能力方面，無論是在硬件系統還是軟件設計配置上都要有很好的易集成性和可擴展性，方便今后系統擴容。

3.1.3 實用性原則

系統為用戶提供簡單、方便、易操作的人機交互界面，功能規劃設計便于日常管理維護，滿足系統功能要求，簡便實用、易配置操作、易維護升級原則。

3.1.4 彈性原則

對資源運行狀態下的能力要求，指的是根據應用和軟/硬件的負載需求，對運行環境中軟/硬件資源配置或數量進行動態調整，對應用系統的影響降到最低。例如，資源配置改變的瞬間，如何做到用戶無感知的資源動態調整；運行狀態下，對于經常出現的瞬時峰值，如何做到各種負載參數的平滑升降[17]。

3.2 氣象云資源池建設目標

根據氣象信息化統一規劃，氣象云資源池采取分階段分任務建設，不同時期實現不同的建設目標。第一階段實現IaaS，第二階段實現PaaS加SaaS。

3.2.1 第一階段(IaaS)建設目標

在虛擬化平臺上實現全局應用的集中管理、虛擬整合、動態調度的功能，主要在不同網絡區域建設計算池、存儲池等。通過使用虛擬化技術，采用云模式構架，初步實現IaaS，即：計算虛擬化、存儲虛擬化、網絡虛擬化。氣象云數據中心建成后，絕大部分應用服務都將運行在數據中心，新增的氣象業務需求都由數據中心統一分配網絡、服務器、存儲資源，為氣象業務的各類應用提供統一的運行環境。

3.2.2 第二階段私有云(PaaS+SaaS)建設目標

初步建成氣象私有云，全面實現對硬件資源與軟件資源的統一管理、統一分配、統一部署、統一監控和統一備份。基本實現PaaS，整合國家氣象信息中心的各類業務邏輯，設計與部署相應的工作流，建立可重復運作的標準化流程，提供按需服務，實現虛擬機的快速部署和資源回收。同時在私有云基礎上構建全局應用的數據共享平臺，為全局數據應用集成、信息門戶、身份認證等平臺提供運行環境支撐，初步實現SaaS。

3.3 氣象云資源池架構

氣象云資源池從2014年啟動建設以來，到目前已經初具規模，整個氣象云資源池由VMWARE和華為兩個虛擬化管理平臺組成，分別部署在局域網和互聯網區域，為局域網和互聯網網絡區域的業務系統提供計算和存儲資源服務，整個資源池服務于中國氣象局各個業務單位，提供IT資源及平臺環境服務，涵蓋業務、政務、科研等方面，共承載包括強天氣預報系統，國家級氣象業務內網，中國氣象科學數據網，軍事保障平臺等多個重要業務系統。

截止到2018年1月，氣象云資源池總共包括47臺物理主機，資源池中應用部署了總計279個業務應用系統，702臺虛擬云主機及存儲資源，集約比達到1∶15左右，一臺物理主機承載了大約15個虛擬機的運行。

4 應用及效益分析

4.1 應用情況

氣象云資源池中部署的業務系統分為兩大類，一類為新上線的虛機，承載新業務和科研應用，另一類為舊的業務遷移入云，即P to V(physical to virtual)。對于第一類，由于虛擬和運行環境均是全新部署，實現起來相對簡單，而對于第二類遷移入云的運行多年的各種“舊”的業務系統，由于各種業務系統各不相同，原先均運行在傳統的物理機上，類型千差萬別，需要具體問題具體分析處理。

總之，在系統入云的時候，需要遵循以下虛擬化 “入云落地”策略：

(1)業務系統運行在傳統物理服務器上，出現運行該系統的多臺物理服務器的資源利用率過低時，需要考慮遷移入云虛擬化。利用虛擬化技術的“一分多”，即一臺物理機虛擬出多臺虛機的特性，在一臺物理機上同時運行多個虛擬機，共享資源，提高利用率，實現應用系統整合，降低TCO成本。

(2)物理服務器需要分配給不同業務系統使用時，需要考慮采用虛擬化技術，虛擬資源不與物理機形成綁定關系，虛擬機獨立運行，快速部署，資源實現動態分配和回收，滿足業務動態變化需求。例如需求難以預測的系統、負載波動大的系統、IDC彈性計算系統等。

(3)對于業務系統需要使用共享存儲實現集群Cluster；需安裝特殊硬件(如獨立顯卡、USB-Key、串口等)；需要Oracle RAC架構；需承載視頻直播業務；涉密系統或涉及敏感數據的，原則上不考慮入云解決，還是基于傳統的物理機形式承載。

4.2 效益分析

氣象云資源池在局域網和互聯網網絡區域的資源總量以及分配情況見表1。

從表中可以看出，目前計算資源CPU總數和內存資源分配率都處于較高水平，CPU分配率達到159%，處于資源超分的狀態，真正發揮了資源集約的優勢。

采用資源池虛擬化技術帶來多方面效益。首先是主機虛機的集約比大大提高。從表1中看出，氣象云資源池集約比累計達到1∶15左右，一臺物理主機承載了大約15個虛機的運行，集約化效益顯著，CPU和內存資源都得到了充分的利用，極大地發揮了資源的利用效率。其次從場地環境方面進行考量，47臺4U服務器需5個機柜，如果所有虛擬機全部采用物理服務器承載，共需要55個機柜，因此節省了50個機柜的場地空間。平均每臺x86服務器功率約為400 W，采用虛擬化技術后一年節省服務器電量約173萬度。

表1 氣象云資源池分配使用效益情況

資源池虛擬化技術也極大縮短了業務部署上線周期，將持續數月的設備招標、采購、部署流程縮短到數十分鐘。此外，還可提高IT基礎設施可靠性，不再因物理設備故障導致業務系統停止服務，通過備份系統對虛擬服務器進行定期整機備份，在操作系統崩潰或軟件故障時也可快速恢復系統。另外，出現資源不足情況時，可快速實現虛擬硬件(CPU、內存、存儲等)擴充，避免因硬件能力限制導致業務發展。

5 結束語

通過氣象云資源池建設，初步在數據中心機房實現了對氣象業務基于IaaS層的虛擬化，數據中心內部基本實現了資源統一部署和運維，實現了用戶資源的按需分配，滿足氣象數據和應用等氣象系統的功能需求，極大地節約了機房場地空間、集約能源，提升效率約50%左右。

利用云計算技術是氣象行業信息化發展的大趨勢，隨著今后氣象云工程項目的繼續開展和建設，包括基于PasS和SasS層應用的研究開展，未來將會有更多的氣象大數據研究成果,隨著氣象業務的進一步發展，氣象預報的社會公眾服務效果也會得到進一步提升。