基于云計算數據中心網絡設計

鐘原

(中國電建集團成都勘測設計研究院有限公司， 成都 610015)

0 引言

云計算是一種利用Internet運行的超級計算模式。云計算既可以提供云端大量數據存儲，還能為數據進行分析和處理并將分析結果反饋給用戶。如今，越來越多的企業(yè)和個人將數據從超級服務器遷移到公共云計算系統(tǒng)或私有云計算系統(tǒng)，在此趨勢下，電力行業(yè)也將越來越多的利用云計算。因此，電力行業(yè)用戶如何高效地管理電力數據中心系統(tǒng)中的數據至關重要[1]。

與傳統(tǒng)的數據傳輸和處理模式相比，云計算系統(tǒng)需要為用戶提供良好的可擴展性和高效、流暢的數據訪問和下載能力。在電力系統(tǒng)中，不斷地優(yōu)化查詢處理和查詢是核心技術。系統(tǒng)中的查詢性能直接影響到電力網絡工作的效率和使用評價。因此，建立有效的索引結構來提高用戶查詢效率是云計算系統(tǒng)的關鍵[2]。

1 云計算功能及特點

1.1 云計算功能

數據中心采用云計算技術，其可以提供的功能包括[3]:

(1) 匯集IT的基本資源，提供統(tǒng)一的計算資源共享庫和存儲資源池。

(2) 實現(xiàn)按需分配以及資源的動態(tài)調度;

(3) 通過客戶端軟件系統(tǒng)實現(xiàn)用戶與云端系統(tǒng)的通信與資源交互服務;

(4) 在業(yè)務高峰時,還可以動態(tài)地分配資源,以滿足急救計算的需求。面對目標的需要,云計算的基礎設施被采用。

1.2 服務器虛擬化

在之前的服務模式中，物理服務器在一個時間段內只能進行一項業(yè)務。因此，當部署多個服務時,需要配置多個服務器,最終的數據中心規(guī)模越來越大,維護工作量也隨之增加。虛擬化技術可以將物理服務器構建成多個獨立的服務器,并充分利用服務器的計算能力,大大減少了數據中心服務器的數量[4]。此外,服務器中存儲的數據是可以遷移的，即數據在不同服務器之間移動。但是,傳統(tǒng)的模式中我們需要在數據移動之前準備充分,包括規(guī)劃、備份計劃、設備電源等。數據的搬遷將不可避免地導致遷移過程中業(yè)務中斷，不僅如此，還可能有數據丟失的風險[5]。將數據虛擬化則可以有效的解決上述問題。

1.3 多租戶支持

云計算改變了之前用戶需要自己擁有物理存儲設備的模式，在此技術基礎上,有需要存儲的客戶只需租用云計算服務商提供的計算和存儲等資源就可以實現(xiàn)目標。云計算為每個租戶都提供了各自獨立服務器，如圖1所示。

這樣就降低了用戶的運營和維護成本，使得社會任務分工更加細化。從IT架構來看,每個用戶都有一個獨立的虛擬機,以確保不同用戶之間的應用系統(tǒng)不會受到干擾,并實現(xiàn)數據隔離和安全性要求[6]。

圖1 云計算工作模式圖

2 云計算數據存儲及處理系統(tǒng)

2.1 數據模型

云計算中的大部分數據是結構化的和半結構化的數據。要存儲這些數據，需要一個分布式數據庫。數據庫的數據表是一個存儲在存儲設備上的不連續(xù)分布的長條形的存儲圖，它是多維的、有序的。此庫的索引由數據庫每一行的關鍵字、列鍵和時間標志組成[7]。

用戶存儲在數據庫中的海量數據，每一行有一個按順序排列的主鍵，同時還有不定數量的列。由于存儲稀疏，同一表中的每一行數據都可以有一個不同的列。數據庫將相同的數據存儲在同一目錄中，數據庫操作被鎖定。數據庫中的每一行數據都有一個特定的標記，可以被檢索。如果數據庫有更新的情況，則更新的數據庫會建立一個時間標記，每一個時間標記都是一個新版本。而數據庫會保留一定數量的版本，這個值是可以根據數量或者時間進行設定的[8]。

2.2 數據庫體系

大多數關系數據庫都是從上個世紀發(fā)展起來的。它們基本上具有一些系統(tǒng)特性，即磁盤存儲和索引結構、多線程訪問、基于鎖的同步訪問機制和基于記錄的恢復機制?；诹心Ｊ降姆植际綌祿?，更適合大容量存儲和網絡應用，靈活的分布式體系結構可以使一個以廉價硬件大型數據倉庫的形成，以及互聯(lián)網應用的特點的基礎上，對這些應用程序和數據庫開發(fā)的分布式數據庫的設計。由于時間標記的特點，所以數據庫中數據的搜索適合用搜索引擎來完成[9]。

2.3 數據處理模型

在文件的分布式存儲問題上并行處理是最為重要的，利用并行數據處理MapReduce軟件體系結構可以解決這一重要問題。MapReduce的名稱來自于這個模型中的兩個主要操作內容[10]。即Map和Reduce兩部分。簡單地來說，map操作是將一組數據映射到另一組數據中，通過函數定義映射的方法。這種方法也稱為數據的約簡，而歸約方法由函數指定并根據函數執(zhí)行操作。減少是一個并行處理模型，它能很好地處理海量數據，適用于大數據集的并行操作[11]。

3 基于云計算的電力網絡數據中心設計

基于云計算的大規(guī)模計算和存儲虛擬化技術需要根據業(yè)務動態(tài)需求分配資源[12 ]。

3.1 電網數據中心關鍵技術

在云計算體系結構的基礎上,傳統(tǒng)的數據中心業(yè)務模式已經改變。傳統(tǒng)數據中心的業(yè)務主要是由外部用戶網絡通過預留的接口訪問數據中心服務器產生的。云計算技術使得數據計算中心與數據儲存中心的存儲節(jié)點之間的訪問以及用戶需求業(yè)務與云計算服務內部業(yè)務的訪問變得更加頻繁。因此,數據訪問和交互流動模型從單一的垂直方向(或南北方向)向更多的橫向交互(或東西向)方向產生變化。傳統(tǒng)的數據中心設計采用樹形結構,并根據一定的收斂速度設計上行鏈路和下行鏈路帶寬。當橫向交通量增加時,會造成數據的網絡擁塞,無法滿足新的數據交通模型需求[13]，如圖2所示。

圖2 數據中心結構圖

3.2 電力網絡系統(tǒng)設計

以五級調度系統(tǒng)中的省級調度系統(tǒng)為例，把原有資源(包括地區(qū)服務器，網絡通信設備、數據通信線路等)用云計算架構進行重新封裝，以虛擬化技術整合為資源池。整合之后的系統(tǒng)架構，所有服務器在物理層面和原來一樣，通過雙網絡平面進行相連，在數據通信方面，不會因為其異構性而影響相互通信。云計算環(huán)境下電網體系架構如圖3所示[14]。

圖3 云計算環(huán)境下電網系統(tǒng)架構圖

4 云計算下電力網絡架構設計

4.1 網絡架構

與傳統(tǒng)的數據處理方法相比,云計算在處理大數據時實現(xiàn)了從傳統(tǒng)數據模式向邏輯模式的轉換。利用信息網絡可以顯著提高電力數據處理的靈活性能和處理效率。

傳統(tǒng)的IP網絡可以轉換為SAN網絡。當處理大數據時,它可以被細化和分層,從而增強了網絡的靈活性。在云計算數據虛擬化處理的要求下,傳統(tǒng)的物理網絡很難滿足這些需求。在云計算中,運用VLAN和NVGER等方法,可以將傳統(tǒng)的網絡數據類型由兩層轉變?yōu)?層。在此基礎上可以實現(xiàn)細化分類管理,通過對數據的物理封裝技術實現(xiàn)了3層邏輯，從而改變了傳統(tǒng)的雙層結構拓撲網絡模式。這樣,可以同時滿足不同類型的用戶需求。數據處理過程中的各種靈活性要求也可以有效地解決,并可以對網絡結構層需要處理的信息集中分析和處理。這樣，之前分散的數據就可以被系統(tǒng)自動配置以最大化的處理和管理信息[15]。

在云計算虛擬技術的支持下,傳統(tǒng)結構形式下的物理網絡可以逐漸體現(xiàn)在數據虛擬化的網絡中。不同的數據可以采用不同的策略,具有明顯的優(yōu)勢。也就是說,當電力負載被部署和遷移時,可以使用自動調整來有效地滿足的網絡現(xiàn)實需要[16]。

4.2 主機架構

考慮到整個電力系統(tǒng)產生的數據，使用云計算技術的主機體系結構的作用是顯而易見的。根據電力企業(yè)的業(yè)務點，進行了區(qū)別。對于電力系統(tǒng)中覆蓋的一般計算，可以使用相對較低的計算成本解決方案，特別是在數據處理中。在一些中小型應用中的服務服務在硬件需求方面不是很高，并且可以用密集、低成本的服務器來處理。該模式在處理數據時可顯著節(jié)省電力運行成本。

在云計算技術的支持下，主機體系結構的模式在過去發(fā)生了很大的變化。池模式已逐漸取代傳統(tǒng)的塔式結構。在虛擬化技術的支持下，系統(tǒng)數據資源可以通過集成和優(yōu)化來處理。隨著在一個節(jié)點和其他技術的幫助下，數據庫可以被虛擬化，以及中國建設將組件部署。利用這種方式提高數據處理速度，還可以減少數據處理過程中各種硬件故障對數據系統(tǒng)的影響。

4.3 存儲架構

在云計算技術中，存儲系統(tǒng)是的基礎和架構的關鍵架，也是電力系統(tǒng)中所有數據的最終載體。在現(xiàn)代云計算、數據多樣化和數據虛擬化技術的不斷更迭和發(fā)展中,傳統(tǒng)的集中式存儲很難滿足大量數據快速計算和分析的需要。在電力行業(yè)中，必須有一個強大的、可擴展的存儲結構處理海量數據。

基于云計算的云存儲體系結構能夠有效地解決傳統(tǒng)體系結構無法解決的問題。作為云計算服務的基礎,數據存儲被用來通過云計算來創(chuàng)建和分發(fā)大數據和訪問數據。從技術的角度來看,存儲體系結構需要使用集群或分布式文件功能,利用相關軟件對系統(tǒng)中不同類型的存儲設備實現(xiàn)協(xié)同服務,從而可以將所存儲的數據和訪問服務提供給外部設備。在這個過程中保證了整個系統(tǒng)的安全性。

使用分布式系統(tǒng)、對象存儲和其他技術,它為云計算中的不同類型的應用系統(tǒng)提供可伸縮的和可擴展的數據訪問。分布式技術是基于標準化的硬件技術。這樣可以有效地降低云計算的存儲投資和運行維護成本。

5 總結

在云計算環(huán)境中,可以利用云計算低成本和高性能的特點，但是在電力行業(yè)系統(tǒng)中需要面對的是數據存儲模式和文件管理方法的高效化、低失誤率的問題。通過本文的研究可以得到以下兩點結論：

(1) 云計算平臺可以將數據的分析和計算結果提供給用戶，電力系統(tǒng)管理人員只需通過客戶端或相應的接口提交計算任務就可以獲得相應的分析結果。這種技術可以有效地節(jié)省響應時間，可以提高電力資源調配的效率。

(2) 在云計算的整體系統(tǒng)架構，考慮存在的問題，對電力數據中心的處理模式和整個網絡架構進行改良。將電力系統(tǒng)架構分為網絡架構、主機架構和存儲架構，能夠節(jié)省反應時間，提高效率的同時降低運營成本。