電力企業分級分類的分布式云存儲系統的研究與實現

袁 暉，朱小琴，張吉娜，王國霞

（1.國網甘肅省電力公司電力科學研究院，甘肅蘭州 730070；2.北京科技大學自動化學院，北京 100083）

在全球各行各業的信息化推動下，我國的電力企業開始對云計算進行研究和實踐，從2010 年開始走出了第一步——資源池的研究和建設[1-3]，存儲池作為資源池的重要組成部分，也經過了多次升級，研究者們研究并實現了針對電力企業自身特點的分布式存儲池。

電力企業作為國家的能源供給企業，關系著國計民生，同時也具有規模龐大、業務復雜的特點，其信息化系統管理的數據是企業的重資產，重要且龐雜，主要體現在以下幾個方面。首先，數據的種類多，主要有運營監測分析業務所用到的業務基礎數據和支撐數據的非業務數據，其中業務數據包括業務明細數據、指標數據和分析數據，非業務數據包括監測規則數據、事件數據、問題數據等。不同類型的數據對可靠性、處理能力的要求、存儲資源的配置要求等都不相同。其次，電力企業的數據不僅對企業，乃至對整個國家都有著重要的影響，數據的可靠性是必須保證的。傳統的網絡存儲系統采用集中的存儲服務器存放數據，存儲服務器成為系統性能的瓶頸，也是可靠性和安全性的焦點，不能滿足大規模存儲應用的需要。隨著企業規模的擴大和業務的拓展，數據量的增加會帶來存儲量的增加，存儲系統的可擴展性也至關重要。電力企業的數據會隨著用電周期產生很大的波動，要求存儲系統的負載能力也要是動態變化的。同時，電力企業的信息化建設已經進行了很長時間，具有良好的硬件基礎，但硬件設備異構化嚴重，那么跨數據中心的數據交換又是如何實現存儲平臺管理的一致性也是必須考慮的問題。

針對電力企業在存儲方面的需求，文中對分布式存儲池進行了研究和探索，給出了分級分類的分布式云存儲系統。針對不同數據對可靠性、處理能力的需求，提出分級存儲系統，即存放業務數據的一級存儲和存放非業務數據的二級存儲。同時，在不同級別的存儲系統中，根據數據處理性能和可靠性要求的不同分為兩類：高IO 處理能力的分布式存儲集群和普通IO 處理能力的分布式存儲集群。該分布式云存儲系統不但提高了系統的可靠性、存取效率、擴展性，還可以實現數據訪問的一致性。

1 分布式云存儲系統的設計

1.1 分布式云存儲系統的總架構設計

電力企業數據復雜，數據類型不同，從公司業務角度看，數據分為業務基礎數據和支撐功能數據，其中業務基礎數據為實現對公司各類核心數據資源和經營管理活動的全面監測、運營分析，系統需要管理公司全業務范圍的業務明細數據、指標數據和分析數據；支撐功能數據是支撐系統應用功能的支撐數據，包括監測規則數據、事件數據、問題數據等。不同類型的數據對存儲系統的性能要求不同，而且電力企業中信息化的硬件基礎異構化現象嚴重，不同性能的硬件需要合理分配。綜合上述原因，電力企業的存儲池采用了二級二類分布式云存儲系統總架構。

一級存儲主要存放支撐業務應用所需要的業務數據，以滿足各類物理機池或小型機虛擬池對存儲的需求。由于主機規模較大、并發數高、數據類型復雜，因此通常采用高端集中式存儲；同時，針對業務數據對處理性能和可靠性要求的不同，把一級存儲分為一級高性能存儲和一級中性能存儲。

二級存儲主要存放非業務數據，比如X86 虛擬化池虛擬映像等，一般由中端存儲和分布式存儲組成；同時也分為二級高性能存儲和二級中性能存儲。文中將二類存儲對應設計為大容量的分布式存儲設計和高性能的分布式存儲設計，其中，大容量分布式存儲主要適用于二級存儲低IO 的情況，而高性能分布式存儲則適用于一級存儲高IO、一級存儲低IO 和二級存儲高IO 的情況。分布式云存儲系統的總架構如圖1 所示。

圖1 二級二類分布式云存儲系統總架構

1.2 分布式云存儲系統的功能和網絡部署架構設計

分布式存儲系統，就是將數據分散存儲在多臺獨立的設備上，以提高系統的可靠性[4-5]，也是分布式云存儲系統設計的主要目標之一。傳統的網絡存儲系統采用集中的存儲服務器，存儲服務器成為系統性能的瓶頸，也是可靠性和安全性的焦點，不能滿足大規模存儲應用的需要。

分布式存儲系統設計的主要目標之一是可擴展性（可存儲幾百PB的數據），需從多方面考慮[7-8]：整體存儲容量、系統的吞吐量以及各個客戶端、目錄和文件的性能。分布式云存儲系統采用可擴展的系統結構，利用多臺存儲服務器分擔存儲負荷，利用位置服務器定位存儲信息，它不但提高了系統的可靠性、可用性和存取效率，而且易于擴展。

分布式云存儲系統設計的另一目標是提高系統性能[9-12]，即可適用于各種高性能的工作負載。工作負載設計的目標是幾千臺主機在同一時刻對同一個文件進行幾百萬次并發讀寫，或者同時在某個目錄下創建文件，這種只有在超級計算機集群進行科學運算時才出現的場景[10-11]，將會在未來普遍出現。更重要的是，分布式文件系統的負載能力是動態的，即隨著時間的推移，實際應用中數據和元數據組織結構不斷改進，分布式文件系統的負載能力將會有很大的提高。

分布式存儲的設計要保證能支持跨地域的數據中心與數據中心之間的分布式存儲平臺的管理一致性[6]，還要根據不同物理資源的特性和實際性能設計相應的資源池，以滿足不同用戶和應用的需要，如高IOPS 資源池、大容量資源池等。同時還要兼容對整個分布式存儲的監控、管理和調度，以確保在大規模的分布式存儲使用場景下，有標準化的管理流程、自動化的任務分配和資源調度。分布式云存儲系統的功能邏輯架構如圖2 所示。

圖2 分布式云存儲系統的功能邏輯架構

在分布式云存儲系統部署的過程中，首先要考慮網絡的情況，如網絡帶寬、硬件資源和網絡連接情況，以及分布式存儲的性能問題。在分布式存儲運行過程中，為了確保數據的有效性，需要做到多冗余的數據備份，這就要求數據在多個節點備份過程中有單獨的網絡，以隔離其他應用。同時，用戶數據訪問的網絡也要獨立開，以確保分布式存儲的性能。在分布式存儲設計和實現的過程中，要考慮多個資源池不同層級的數據請求和交互，同樣也要在網絡的層面進行隔離。分布式云存儲系統的網絡架構如圖3所示。

1.3 分布式存儲設計要點

分布式存儲系統的架構設計基本要點有3 個主要部分：

1）客戶端：提供類POSIX 文件系統接口的能力；

2）對象存儲設備（OSD）集群：存儲所有數據和元數據；

圖3 分布式云存儲系統的網絡架構

3）元數據服務器（MDS）集群：管理命名空間（文件名稱和目錄），保證數據的安全性和一致性。

分布式存儲系統通過元數據管理和數據管理兩個管理類型的設計來保證高性能、高可靠性和高可用性的同時，還能保證可擴展性，即將數據和元數據分開存儲、動態分布元數據管理以及可靠的自動分布式對象存儲。

1）元數據管理：使用元數據集群管理元數據請求，元數據都集中存放在分布式對象存儲上，元數據服務器只用于處理元數據請求已經緩存的部分元數據信息；Meta Data Cluster 集群上緩存的元數據信息使用動態子樹分割管理。當寫操作跨越對象邊界時，客戶端獲取相關對象的排它鎖，然后立即提交寫操作，釋放鎖，通過申請鎖和異步刷新數據，對象鎖可以掩飾大量寫的延遲來保證數據的一致性。

2）數據管理：數據布局的使用設計應參考CRUSH 算法的設計管理，將數據的管理從邏輯和物理上分為若干個層次結構。

在設計系統的高可用性時，應當考慮元數據服務器的負載均衡：

1）分布式存儲可以將大量讀訪問的目錄復制到多個節點上分散負載[13]；

2）分布式存儲可以判斷當某個目錄特別大或是有很重的寫負載時，它的部分目錄將被遷移到其他節點上，客戶端訪問非熱點元數據時可以將請求直接定位到相應的元數據服務器上；當訪問的是熱點數據時，客戶端將被告知元數據在其他元數據服務器上或是在多個服務器上。每個對象存儲的響應會更新客戶端緩存的權限，同時更新與處理條目相關的節點以及它的上級節點。

通過元數據服務的負載均衡機制，可以擴展對象存儲的節點以實現對大容量的非結構數據的存儲，并提高數據的訪問速度。

分布式存儲的設計和架構設計應考慮到對整個企業的終端用戶應用的支持，企業級用戶的特點是異構平臺的多樣性，如本地磁盤、外掛磁盤、固態盤等的使用、終端應用的多樣性（如操作系統、文件訪問的客戶端、數據庫系統等），還有對不同數據類型的操作，如結構性數據和非結構性數據。基于分布式存儲設計的邏輯架構如圖4 所示。

圖4 分布式存儲系統邏輯架構圖

1.4 分布式存儲資源服務等級劃分

終端用戶在使用分布式存儲資源時，可以按照預先劃分的等級和標準作為服務等級的使用條件，這樣既可以對一些高級別的應用（如數據庫服務）提供更好的服務有效性支持，同時還可以根據不同的數據類型預先定義的服務等級來劃分。

分布式存儲服務等級劃分標準主要有以下幾個方面：

1）數據持久性：根據分布式存儲的特點可以提高數據冗余的備份次數以保證數據的持久性。可以在物理條件允許的情況下,根據自身的需要定制管理節點的個數以保證服務的有效性。數據持久性按服務周期統計，一個服務周期為一個自然月，如不滿一個月，則不計算為一個服務周期。最高級別的服務有效性不低于99.99%；中級別的服務有效性可以是99.9%。

2）數據可銷毀性：在用戶主動刪除數據或用戶服務期滿后需要銷毀數據時，分布式存儲系統可以結合上層的云服務平臺自動清除對應物理服務器上的磁盤和內存數據，使得數據無法恢復。

3）數據可遷移性[14]：存儲的對象是用戶文件，文件類型維持原有格式不變。用戶使用上層云平臺服務時，可隨時訪問、下載其文件，并根據需要自行保存或遷出。

4）數據私密性：用戶在使用分布式存儲的服務時，系統可對用戶的安全信息加密，從分布式存儲平臺訪問接口上進行權限控制和隔離，保障用戶數據的私密性。

5）數據可審查性：依據企業的內部要求和安全規定，在審計或取證調查時，分布式存儲可提供用戶所使用服務的相關信息，包括關鍵組件的運行日志和用戶操作記錄等信息。

6）節點可擴展性：在重平衡結束后，新的OSD 沒有負載峰值，進而保證了分布式存儲的整體擴展能力。

7）故障恢復能力：提供對整套系統的監控能力，根據分布式存儲的設計要求對底層的物理硬件容量和硬件報警進行監控，進行分布式對象的節點監控和上層的MDS 數據元的服務監控，還對客戶端連接進行監控。系統出現的任何非正常狀態都可以被監控到，同時可以連接到知識庫進行分析處理并反饋給管理員。

8）IOPS的定制性：不同的應用和用戶要求存儲的數據類型會有不同，不同的應用要求不同的IOPS服務。

2 分布式云存儲系統的典型實現

進行存儲池實現時，做出了一級存儲高IO、一級存儲低IO、二級存儲高IO 和二級存儲低IO 的基本規劃。分布式存儲系統總結為兩大類：一類是大容量的分布式存儲設計，一類是高性能的分布式存儲設計。其中大容量分布式存儲主要適用于二級存儲低IO 的情況，而高性能分布式存儲則適用于一級存儲高IO、一級存儲低IO 和二級存儲高IO 的情況。

2.1 大容量分布存儲的實現

根據目前的經驗，數據存儲的集群規模為700臺物理機器，存儲的文件數接近5 000 萬，塊數也接近5 000 萬，容量占用85%，使用的內存從監控頁面顯示已經占用近30 GB 的物理內存。從發展趨勢來看，當集群繼續擴大到5 000 臺時，文件數接近3.5億，塊數接近3.5 億，內存要接近210 GB，這樣的擴展已經給傳統的非結構性文件存儲帶來了巨大的瓶頸。隨著節點的增加會帶來巨大的性能問題，無論是數據查詢還是數據寫入，需要大量的內存資源來支撐如此大量的數據吞吐量，分布式存儲的出現可以解決傳統領域的性能瓶頸。

分布式存儲的解決方案可以將數據分散部署到多個節點上，使得數據的存取可以線性擴展。同時，分布式存儲可以通過對元數據進行分布式管理以提高對整個系統的擴展能力。元數據管理可以有兩種方式：

1）廢棄文件系統概念：分布式存儲系統不提供傳統的文件目錄數的概念，也不提供傳統的文件目錄樹的命名空間。

2）擴展技術的提升：基于傳統的文件系統，提供文件系統目錄樹，以提升擴展技術。

為了實現對大容量非結構數據的存儲，分布式存儲的設計支持廢棄文件系統，并通過擴展技術的提升來提高大數據量的存儲。

該存儲池實現采用如下的軟硬件：

1）一個存儲交付單元和一個機柜；

2）3 臺24 口萬兆交換機；

3）12 臺2U 數據服務器，每臺1*6core，32 GB 內存，12*4 TB 硬盤，雙萬兆網卡；

4）3 臺2U 控制服務器，每臺2*6core，32 GB 內存，12*4 TB 硬盤，雙萬兆網卡；

5）每臺服務器可選配2 塊120 GB SSD 硬盤。

2.2 高性能分布式存儲設計

分布式存儲的設計充分考慮到存儲容量的擴展、IO 性能和可靠性，這也是分布式存儲設計的目的[15]。在設計之初希望整個系統能夠給存儲日益增長的企業知識系統提供存儲支持，確定以下的目標：

1）系統能夠動態伸縮，能夠運行在大量低廉單機上，支持TB 級數據存儲。

2）系統能夠實現數據的高效訪問，并且存儲介質不會產生文件碎片而影響IO 性能。

3）對每個文件產生多個副本解決災容問題。

4）保證系統的可靠性和負載的均衡，能夠自如地處理并發訪問。

為了能實現以上高IO 分布式存儲的要求，系統設計必須要消除集中式網關，使客戶能夠直接與分布式存儲的對象管理守護進程進行互動。守護進程創建對象的副本在其他系統管理的節點上，以確保數據的安全性和高可用性。分布式系統的設計還采用集群監視器、獨特的算法設計和存儲容量的設計以確保高可用性。

高IO 分布式存儲算法設計的目的是消除集中數據的訪問，并保證數據訪問的高IO 和服務有效性，如應用客戶端和系統的分布式對象守護進程都要使用此算法來高效地對數據容器的信息需求進行計算，而不必依賴于一個查找表。該算法與舊的方法相比，提供更好的數據管理機制，可以清晰地將工作分配到集群中的所有客戶端和分布式對象守護進程，以提高IO 訪問效率。該算法還可使用智能的數據復制，以確保彈性，這樣可以更適合超大規模存儲。高性能分布式存儲支撐架構如圖5 所示。

圖5 高性能分布式存儲支撐架構

在高性能分布式存儲實現時，采用分布式文件系統和對象存儲作為承載介質，在一個標準的交付單元中，可包含如下硬件配置：

1）一個交付單元一個機柜；

2）3 臺24 口Infiniband 交換機；

3）12 臺2U 數據服務器，每臺1*6core，32 GB 內存，6*300 GB SAS 硬盤,SSD*6*120 GB，雙Infiniband網卡；

4）3 臺2U 控制服務器，每臺2*6core，32 GB 內存，6*300 GB SAS 硬盤，SSD*6*120 GB，雙Infiniband網卡；

5）對于極端性能需求的場景，可采用全閃存硬盤替代SAS 硬盤。

在圖5 所示的高性能分布式存儲支撐架構中，各部分的功能和配置如下：

1）監控終端：內置監控管理程序，實時顯示數據庫、計算節點、存儲節點的性能指標和工作狀態。

2）計算節點：X86 服務器，運行Oracle 11g R2，支持單實例和RAC 架構，提供數據運算服務。經過驗證的OS 及版本為Linux (RHEL 5.*,6.3) CentOS(RHEL 5.*,6.3)。

3）數據存儲管理（DbLink）：基于Infiniband（或者其他互連協議）的低延遲、高帶寬互聯技術，用于將存儲節點的Flash 和磁盤資源輸出到計算節點，供數據庫使用。

4）存儲節點：X86 服務器，配置Flash 卡和SAS 磁盤，提供數據存儲服務，支持的輸出方式為Infiniband 40/56 Gb，FC 4/8 Gb，FCoE 10 Gb。

5）高可用性監視器設計：分布式存儲的客戶端讀取或寫入數據之前，必須聯系一個分布式存儲的監控組件來獲得最新的集群映射副本。在一個集群中的監視器，某一個監視器延遲等故障可以導致一個或多個監視器落后于當前集群狀態。因此，分布式存儲系統的各監控集群狀態的實例可以保證數據的容錯性。集群監視器的應用不僅可以改變傳統單點監視器的單點故障，還可以通過分布式的節點運算能力來提高對整個系統的數據一致性，最終保證高IO 數據的頻繁訪問。

6）存儲容量設計：分布式文件系統可以提供PB級的擴展。新的存儲無論是基于本磁盤，還是外掛存儲或是固態盤，都可以快速加入到分布式存儲系統管理平臺。分布式存儲系統會有固定的文件存儲格式，當新的磁盤加入管理環境后，首先進行文件格式的統一，這樣即可實現容量的擴展并根據預定義的規則存儲相應的數據。

7）數據一致性設計：作為保持數據的一致性和清理的一部分，分布式存儲的對象存儲也可以清除配置組內的對象。也就是說，系統的對象同其他存儲布置組中的對象及副本進行比較（通常每天執行）。對象存儲還可以通過比較對象中的數據比特位進行更深層次的清理以發現平時清理中不會被發現的磁盤上的壞扇區。

8）數據的快速智能復制設計：為了實現高IO讀寫，分布式存儲系統提供一套數據快速智能的復制機制。當應用通過客戶端訪問系統時，系統的對象存儲守護進程使用新的算法判斷是否存儲對象副本。

9）IO 性能評估：分布式文件系統的設計充分考慮到磁盤的IO 讀寫性能，由于分布式文件系統采用的都是分布式讀寫，所以，可以多線程同時對文件進行操作以提高讀寫速度，同時增加了新的條帶化設計以提高對磁盤的讀寫。

10）可靠性評估：對象存儲進程在別的分布式文件系統節點上創建對象的副本來保證數據安全和高可用。同樣，可以使用集群實現監視器的高可用。對于分布式文件系統的設計，所有的節點都不是單點，如果任何的節點出現問題都會由另外的節點接管所有的服務。

3 結論

文中在電力企業云計算研究探索的基礎上，對電力云中的分布式云存儲系統進行了研究和探索，建立了二級二類的分布式云存儲系統，該系統把企業運營監測分析業務所用到的業務基礎數據作為一級存儲，運營監測信息的支撐數據等非業務數據作為二級存儲。每一級存儲數據對數據處理性能要求不同，所以每一級存儲分為高IO 存儲和低IO 存儲，從而形成了二級二類分布式云存儲系統。該分布式云存儲系統不但提高了數據的高可靠性、高存取效率、高擴展性，還可以實現數據訪問的一致性。