氣象私有云環境下存儲架構設計與性能分析

王 彬，韓同欣，李 楠

(國家氣象信息中心,北京 100081)

氣象私有云環境下存儲架構設計與性能分析

王 彬，韓同欣，李 楠

(國家氣象信息中心,北京 100081)

為評估當前氣象私有云平臺中存儲基礎架構設計的合理性以及運行性能狀況，并為將來擴充平臺存儲能力提供必需的架構級建設依據，從私有云所使用存儲的存儲協議、硬件性能等方面入手，在系統分析云計算環境下存儲系統設計要點的基礎上，給出了云環境下存儲架構的設計思路，提出了云環境下結合不同業務數據讀寫特點的支持SAN、NAS多協議存儲架構建設的思路，以構建統一存儲資源池。結合實際搭建的氣象私有云，分析其虛擬化環境下的存儲應用性能。驗證實驗結果表明，當前環境中存儲架構規劃以及配置方式合理，存儲各項性能運行指標良好，針對不同類型的應用均有適合的存儲資源以供匹配，已建存儲架構能夠滿足氣象業務科研系統的存儲需求。

氣象私有云；存儲性能設計；多協議存儲架構；光纖通道存儲；NAS存儲；分布式存儲；存儲資源池

0 引 言

云計算是近年來興起并廣受關注的一種資源提供、使用和計算模式：“云計算是由規模經濟拖動，為互聯網上的外部用戶提供一組抽象的、虛擬化的、動態可擴展的、可管理的計算資源能力、存儲能力、平臺和服務的一種大規模分布式計算的聚合體”[1-2]。云計算環境中，任務作業分布在資源池中，各種應用系統能夠根據需要實時獲取計算能力、存儲空間和各種基礎軟件服務，云計算平臺可以按需對資源、平臺和軟件進行動態地部署、配置、重新配置以及取消等。云計算具有資源虛擬化、存儲高效可靠、高可擴展性、集約管理、按需服務、“超瘦”客戶端、使用方便等優點[3-5]。

相比于傳統的IT系統建設與資源提供方式，云計算能夠有效提升IT資源利用率，降低管理復雜度，加快IT響應速度。經過多年的發展，云計算已成為當前數據中心轉型的最佳技術選擇[6]。云計算和主機虛擬化帶來了計算和數據的大集中，為存儲的性能、可靠性、可用性、可管理性等方面提出了挑戰。為了實現這一目標，云計算平臺中的存儲系統設計顯得至關重要。

結合業務實際需求，氣象部門應用云計算技術建立了私有云計算環境，為用戶提供計算資源、存儲資源、網絡接入與集中托管服務，滿足用戶對IT基礎設施資源的需求。該系統利用云計算的按需、彈性、高可用服務等特點，提高了資源利用率，降低了建設及運行成本，實現了資源快速部署與動態分配，可隨需求增長進行系統動態升級擴充。

根據建立氣象私有云環境下存儲的使用特性，通過對不同業務區域的存儲進行實驗，得出了關鍵性能指標，將分析數據與業界對于存儲的性能所給出的參數指標進行了比對，并對其進行了深入分析，進而確定了氣象私有云環境下存儲的設計方案，并對架構及性能進行了評估。評估分析結果表明，已建成投入使用的氣象私有云存儲架構合理，能夠很好地支撐氣象業務科研系統的穩定運行。

1 云環境下存儲設計關鍵點

隨著云計算技術在IT架構變革中產生的效益逐步得到認可，企業或政府單位中的虛擬化架構承載的比例正在迅速增大。

氣象部門的信息化建設已進入到信息技術與氣象業務深度融合的階段；在助力氣象業務，有效提高“四個能力”的同時，以先進的設計理念、有效的組織形式和技術手段，盡可能提高工作效率和效益，是實現“又好又快”發展模式的主要途徑[7]。國家氣象信息中心基于云計算技術構建了氣象私有云，為氣象部門國家級業務單位提供計算、存儲、網絡接入等基礎信息資源服務。“私有云”以40余臺物理服務器以及10套磁盤陣列、NAS存儲為基礎資源，對外提供460余臺虛擬服務器，在其上運行了強天氣預報、集合預報處理、雷達拼圖、CIPAS、公服統計、氣象業務內網、中國氣象數據網、再分析評估等近170個應用系統。據初步測算，資源利用率提升50%，業務部署上線時間從“月”縮短到“天”，故障恢復時間從小時級縮短到分鐘級，CPU利用率較此前提高了6倍以上，電力能耗節省和場地空間占用降低了80%以上。氣象私有云改變了傳統“一機一應用”的部署模式，提高了資源利用率，降低了建設及運行成本，實現了資源快速部署與動態分配，可隨需求增長進行系統動態升級擴充[8]。

由于很好地滿足了業務需要，氣象私有云虛擬化資源規模快速增長。虛擬化服務器平臺的不斷擴大和承載業務的關鍵度不斷提高、業務類型的復雜度不斷增加，這些都對底層存儲平臺提出了新的要求。

1.1 業務實際需求

底層IT架構最終是為上層業務服務的。在以往的云平臺建設中通常僅通過一種存儲架構去適應所有類型應用產生的不同數據訪問模式以及不同數據特征，這種方式在虛擬化架構規模較小、業務訪問壓力較低的場合下可以有效降低存儲平臺的設計難度。但隨著云平臺所承載業務的復雜度、關鍵度、訪問量的增加，不同業務系統讀寫模式、數據類型的差異就逐漸被放大，因此需要為不同類型的業務選擇最匹配其數據類型和數據訪問特點的存儲系統，從而優化存儲平臺的整體性能和綜合成本。

云平臺中的存儲建設并不是一蹴而就的，可以通過以下手段對現有環境進行綜合分析以逐步完善和優化：

(1)對具體業務虛機進行數據讀寫數據量和讀寫比例分析；

(2)利用主機虛擬化平臺性能規劃分析工具從虛擬化層得出數據吞吐性能；

(3)對現有存儲前/后端口、緩存、磁盤組的歷史性能進行統計分析。

1.2 存儲設計要點

在對業務系統進行綜合、全面的分析之后，就可以對存儲平臺進行有針對性的規劃設計了。其中需要考慮的層面主要包括：如何進行存儲協議的選擇；如何針對不同業務數據類型解決性能問題；如何在多業務共享的情況下進行容量的統籌規劃；如何在多臺存儲環境下實現存儲平臺的資源池化；如何針對不同類型存儲實現存儲平臺的高可用保護。

2 云環境下存儲協議的選擇

選擇合適的存儲系統是虛擬化云計算環境整體架構設計的關鍵一環。云計算本身并未對存儲架構做出明確限定，不同協議的存儲在同一環境下的運行效果大相徑庭。因此，在存儲架構選擇時，需要充分考慮存儲在云平臺中的用途以及所存儲的數據類型。提供一個多協議的底層存儲平臺，根據不同數據類型的存儲需求提供與之匹配的存儲協議是當前主流的發展思路。圖1是不同存儲協議的應用比例[9]。

2.1 光纖通道存儲

除去成本高之外，單從性能和可靠性的角度看，光纖通道(FC)無疑是當前最出色的存儲協議。光纖通道當前的主流帶寬為8 Gbps、16 Gbps，其優勢包括：

(1)具有更高的可用帶寬、較低的延時和協議開銷，通常情況下性能表現有保障；

(2)獨立的光纖通道網絡安全性更高，并有Zoning和LUN masking等訪問控制機制；

(3)支持從存儲啟動系統(boot from SAN)，服務器本地不再需要硬盤；

(4)基于block的塊存儲類型。

圖1 不同存儲協議的應用比例(Wikibon Survey)

虛擬化架構下物理服務器上一般運行多個虛擬機，如業務系統對磁盤I/O有較高的要求。為了得到最佳的性能，首選使用基于光纖通道協議的存儲系統。

2.2 NAS存儲

NAS與FC、iSCSI之間最大的區別是協議類型不同。FC、iSCSI使用數據塊協議，數據以塊為單位從前端虛擬機寫入到后端的存儲設備，主機端負責維護磁盤上的文件系統，在主機看來，存儲設備與服務器本地磁盤并沒有區別。NAS則是另外一種情況，存儲設備端負責維護磁盤文件系統，使用的是文件共享協議，服務器與存儲設備之間只有簡單的通訊。

一般說來，常規NAS設備的性能還達不到光纖通道存儲的I/O并發能力和I/O低延遲，也無法支持主機虛擬化平臺的全部存儲特性，因此在大中型云計算場合下并不適合作為部署虛機操作系統的主存儲。但是目前新興的分布式NAS產品卻可以有效發揮后端磁盤帶寬，對于大容量的非結構化數據文件的高并發讀寫是最佳性能解決方案。因此在大型虛擬化、云計算場合內，完全可以采用一部分分布式NAS通過共享目錄的方式來解決虛擬機中大文件的存儲性能和存儲成本問題。例如，部署在氣象私有云上的氣象再分析評估系統，虛機系統數據由FC盤陣提供存儲空間，數據文件存儲在分布式NAS中。

3 存儲平臺性能設計

云計算平臺下的存儲性能是整個云平臺性能發揮的關鍵一環，如果設計考慮不周，將造成虛擬化主機的I/O大量積壓，延時大大增加，嚴重時將導致上層應用連接超時中斷或死鎖。以下將從多個角度對氣象私有云環境下的存儲平臺性能設計進行分析。

3.1 存儲性能影響因素

云環境中對存儲平臺造成性能影響的不僅僅來自于存儲控制器、磁盤類型等傳統因素，還要考慮虛擬化主機環境與存儲產品的集成度，只有通盤考慮才能保證存儲平臺的性能發揮。

(1)傳統因素：與傳統應用相一致，需要綜合考慮存儲產品的軟硬件技術配置，例如存儲控制器的處理器計算能力、存儲緩存大小、磁盤轉速及磁盤接口類型、IO通道的帶寬及數量、主機層面的多路徑管理。

(2)加速盤(諸如閃存)的應用：閃存作為新興的存儲介質，由于其I/O性能是傳統轉軸硬盤的30～50倍以上，因此適合用于虛擬化環境中關鍵應用系統的性能提升。

(3)存儲陣列和服務器虛擬化的集成：以往的服務器虛擬化產品在其自身的內核層承載了大量的I/O管理工作，隨著虛擬化技術的發展，服務器虛擬化產品逐漸研發并開放了與存儲產品兼容的軟件接口協議，目前先進的存儲產品均可與其對接并將大量的存儲I/O“卸載”到存儲端，大大減少了服務器虛擬化層的壓力，從而優化整個虛擬化環境的性能發揮。如氣象私有云在虛擬機與存儲設備之間采用了VAAI、FusionSphere等協議與主流存儲系統進行對接，用戶不需要關心后端存儲的類型和能力。

3.2 存儲IO能力計算

在真實的存儲環境中，I/O瓶頸往往來自于后端磁盤，因此衡量實際配置存儲的IOPS應從磁盤系統規劃入手，考慮到緩存性能優化作用的不確定性，最好在規劃時不考慮或者盡可能少地考慮緩存的作用。根據存儲系統規劃理論，可套用如下公式(適用于磁盤陣列)：

(IOPS*%R+WP*IOPS*%W)/單盤IOPS= 所需磁盤數

其中，IOPS為存儲系統IOPS需求；%R為讀操作百分比；%W為寫操作百分比；WP為寫懲罰因數，即1個寫操作帶來的磁盤I/O數，RAID1/0和RAID1 WP為2、RAID5 WP為4；單盤IOPS為單塊磁盤的最大IOPS值(在存儲設計過程中建議不采用磁盤廠商標稱的單盤性能值，保守估計10 K磁盤約125 IOPS；15 K磁盤約為175 IOPS；SSD磁盤約為3 000)[10]；所需物理磁盤數為存儲中應配置的最小磁盤數量。

根據業務系統使用特性，或者從以往業務主機抓取的IO分析數據，可以得出業務系統的大致讀寫比例，結合對IOPS的統計預期目標，即可計算出為實現此性能存儲所需的磁盤數。

3.3 虛擬化層對性能的影響

隨著虛擬化技術的發展，服務器虛擬化產品逐漸研發并開放了與存儲產品兼容的軟件接口協議，目前先進的存儲產品均可與其對接并將大量的存儲I/O“卸載”到存儲端，大大減少了服務器虛擬化層的壓力，從而優化整個虛擬化環境的性能發揮。

在虛擬服務器環境中，其存儲硬件和Hypervisor管理程序的通訊非常復雜。為簡化其通訊并提高效率，研發了vStorage陣列集成應用接口(VAAI)[11]。該應用接口為Hypervisor管理程序和存儲設備規范了不同的職責，使其各自關注工作效能最大化，即Hypervisor致力于虛擬化相關的工作，而存儲相關的工作則留給存儲陣列。

通過VAAI，存儲陣列廠商可以直接將其存儲硬件及應用程序和vSphere進行集成。VAAI使得某些存儲層的工作(諸如克隆等)可以在存儲陣列上離線運行，較在主機端完成更為高效。主機端可以簡單地將相關工作轉到存儲陣列上完成，而主機端只負責過程監控，而非使用主機端的資源來完成。存儲陣列更擅長此類數據工作，可以較主機端更為快速地完成相關服務請求。

4 實驗及其結果分析

對氣象私有云環境中兩塊主要業務區域(A區、B區)的典型存儲系統抓取了一天的完整性能數據，利用存儲性能分析工具獲取詳細性能分析報表，作為優化存儲平臺性能的參考依據。

4.1 存儲訪問特性分析

不同類型的業務系統對存儲的訪問特性均有所不同，主要體現在I/O讀寫比例和I/O大小兩個方面，存儲性能優化需要充分考慮其訪問特性。通過對氣象私有云中的存儲性能數據進行分析，A區讀寫比例為52%∶48%，相對比較平均，I/O大小以4 K為主；B區兩臺存儲讀寫比例分別為60%∶40%和33%∶67%，其中1臺存儲設備具備了一定量的128 K以上大I/O的訪問。具體如圖2和圖3所示。

圖2 氣象私有云A區存儲I/O訪問特性

圖3 氣象私有云B區存儲I/O訪問特性

對于以寫入為主的存儲訪問方式，瓶頸往往出現在后端磁盤。因此在存儲規劃時應充分發揮后端磁盤的并發性能，將數據卷盡可能打散分布在更多的物理硬盤上，提升數據落盤時的I/O響應能力。

氣象私有云在設計時充分考慮了這一因素，設置存儲后端磁盤以Pool的方式提供服務，數據卷打散在Pool內的所有硬盤上，突破了傳統RAID組的性能局限。

對于大I/O業務量的場景，氣象私有云存儲可以通過虛機與業務數據分離部署的方式提升整體架構性能，即將虛機的系統文件部署在傳統的光纖通道存儲上，而將其業務數據目錄指向高帶寬、大容量的分布式NAS，可以很好地提升大文件讀寫的性能，同時避免牽制云平臺上虛機系統的性能。

4.2 存儲負載性能分析

以下是幾臺存儲的總體展現。從存儲承擔的IOPS上看，幾臺存儲目前負載并不平均，A區存儲IOPS壓力較小，B區存儲IOPS壓力相對大。目前來看由于存儲性能充足，95%左右的IO響應時間均能控制在5 ms以內，屬于非常理想的性能表現[12]。未來隨著業務虛機數量的不斷增長，存儲IOPS壓力不平均的問題就需要得到解決，否則部分存儲有可能由于壓力過大造成響應時間過長，影響了應用性能，而另一部分存儲的性能卻過于空閑無法充分發揮。

氣象私有云A區和B區存儲總體性能數據如圖4和圖5所示。

圖4 氣象私有云A區存儲總體性能數據

圖5 氣象私有云B區存儲總體性能數據

通過存儲虛擬化技術可以實現存儲資源的池化，很好地實現存儲資源的動態靈活調整?；诖鎯μ摂M化技術，通過進一步分析LUN性能熱點，將壓力較大的LUN在不影響業務應用的前提下在線遷移至相對空閑的存儲，從而優化整體存儲平臺性能。

5 未來發展思路

氣象私有云的建設是一個循序漸進的過程。在未來發展過程中，為了更好地滿足各類氣象業務可研系統的多樣化存儲服務需求[13-15]，在橫向擴展計算資源池的同時，將從以下兩方面進行深化建設：

(1)隨著云平臺上業務系統的不斷增加、數據量不斷增大，需要根據業務系統I/O性能需求以及數據格式的不同，針對其存儲特點構建多元化的存儲平臺。采用高性能的全閃存磁盤陣列來部署對I/O性能要求最為苛刻的應用數據，采用大容量的分布式NAS存儲產品來部署氣象業務系統中諸如模式數據、衛星圖片等需要共享的大文件數據等，使應用得到最佳的存儲服務級別。

(2)隨著存儲平臺向多元化、虛擬化方向發展，對于龐大的低層存儲架構需增加更為強大的統一存儲管理，能夠徹底跨越異構存儲產品帶來的管理鴻溝，為上層應用系統提供強大、靈活、優化的存儲供給服務。將異構的SAN、NAS、HDFS分布式文件系統等存儲對象抽象為統一的虛擬化存儲池，通過統一的管理界面提供數據塊、文件、分布式文件系統等多種存儲協議，屏蔽底層存儲設備管理的差異性，實現對底層各存儲及存域網絡設備的集中管理、維護、變更操作，并通過自動化技術進一步加速存儲容量分配和配置變更效率。

6 結束語

圍繞氣象私有云平臺存儲設計與業務應用，分別從性能影響因素、IO能力計算以及虛擬化層影響等方面進行了分析設計，同時評估了存儲實際運行狀況，從存儲平臺訪問、IO負載等角度進行了實驗及分析。結果表明，氣象私有云平臺已建存儲架構設計合理，不同類型存儲經過優化配置后優勢互補，能夠滿足各類氣象業務科研系統的存儲需求，實際運行監控指標良好。未來還將跟蹤技術發展趨勢，結合業務系統發展需要，在多元化存儲和統一存儲管理平臺等方面做進一步研究，并應用到實際工作中。

[1]FosterI,ZhaoY,RaicuI,etal.Cloudcomputingandgridcomputing360-degreecompared[C]//Gridcomputingenvironmentsworkshop.[s.l.]:IEEE,2008:1-10.

[2] 陳 康，鄭緯民.云計算:系統實例與研究現狀[J].軟件學報,2009,20(5):1337-1348.

[3] 劉正偉，文中領，張海濤.云計算和云數據管理技術[J].計算機研究與發展,2012，49(S1):26-31.

[4] 陳 全，鄧倩妮.云計算及其關鍵技術[J].計算機應用,2009,29(9):2562-2567.

[5] 王意潔，孫偉東，周 松，等.云計算環境下的分布存儲關鍵技術[J].軟件學報,2012,23(4):962-986.

[6] 沈文海.氣象業務信息系統未來基礎架構探討-“云計算”和“大數據”在氣象信息化中的作用[J].氣象科技進展,2015(3):64-66.

[7] 沈文海.從云計算看氣象部門未來的信息化趨勢[J].氣象科技進展,2012(2):49-56.

[8] “氣象私有云”：我們身邊的云計算[EB/OL].2014-08-13.http://www.cma.gov.cn/kppd/kppdkjzg/201408/t20140813_257125.html.

[9]WikibonSurvey[EB/OL]. 2012-08-23.http://wikibon.org/wiki/v/VMware_vSphere_5_Users_Move_Beyond_the_Storage_Protocol_Debate.

[10]GettingthehangofIOPSv1.3[EB/OL].2012-01-28.http://www.symantec.com/connect/articles/getting-hang-iops-v13.

[11]VMwarevSphereStorageAPIs-ArrayIntegration(VAAI)[EB/OL].2013-03-17.http://www.vmware.com/resources/techresources/10337.

[12]What’sanacceptableI/Olatency?[EB/OL].2010-09-19.http://kaminario.com/company/blog/whats-an-acceptable-io-latency/.

[13] 李月安，曹 莉，高 嵩，等．MICAPS預報業務平臺現狀與發展[J]．氣象，2010，36(7)：50-55．

[14] 吳煥萍，張永強，孫家民，等．氣候信息交互顯示與分析平臺(CIPAS)設計與實現[J]．應用氣象學報，2013，24(5)：631-640.

[15] 王 彬，周 斌，魏 敏.氣象計算網格模式預報系統的建立與優化[J].計算機應用研究,2010，27(11):4182-4184.

Storage Architecture Design and Performance Analysis in MeteorologicalPrivate Cloud Environment

WANG Bin,HAN Tong-xin,LI Nan

(National Meteorological Information Center,Beijing 100081，China)

For the evaluation of design reasonability and performance of the meteorological private cloud platform storage infrastructure,and to provide necessary architecture level basis for the future expansion of the storage capacity of the platform,on the basis of analyzing selection of storage protocols and hardware performance as well as discussion on the key issues of storage design in cloud computing environment,the thought for storage architecture design in cloud computing environment has been proposed.It is suggested that multi-protocol storage structure supporting SAN and NAS has been established in light of read-write features of various applications so as to build a standardized pool of storage resources.Combined with the actual meteorological private cloud,storage applications performance has been analyzed in virtualized environment.The verification experiment results show that the design and configuration of storage architecture are reasonable in current environment and various runtime performance indicators are good and the applications have been allocated suitable storage resources.The storage architecture of meteorological private cloud has been built to meet the storage needs of all kinds of meteorological operations and research systems.

meteorological private cloud;design of storage performance;multi-storage protocol;fibre channel storage;network attached storage;distributed storage;storage resource pool

2016-06-03

2016-10-12 網絡出版時間：2017-03-13

科技部公益性行業(氣象)科研專項項目(GYHY201306062)

王 彬(1976-)，男，正研級高級工程師，博士，CCF會員(E200009018M)，研究方向為云計算、高性能計算、氣象信息化設計等。

http://kns.cnki.net/kcms/detail/61.1450.tp.20170313.1545.038.html

TP39

A

1673-629X(2017)05-0020-05

10.3969/j.issn.1673-629X.2017.05.005