基于超融合架構(gòu)的風(fēng)電場監(jiān)控中心云化研究

文 | 戴建軍，崔峰，吳樟林，廖元文，湯光浩

經(jīng)過十幾年的高速發(fā)展，我國的風(fēng)力發(fā)電技術(shù)日趨成熟，新技術(shù)層出不窮。但作為風(fēng)力發(fā)電系統(tǒng)重要組成部分的風(fēng)電機(jī)組監(jiān)控系統(tǒng)，卻仍停留在采用傳統(tǒng)的數(shù)據(jù)中心部署方式上，即分別獨(dú)立建設(shè)計(jì)算、存儲、網(wǎng)絡(luò)和安全各功能模塊。

這種架構(gòu)存在的主要缺陷是：（1）安全性低，大部分服務(wù)器和存儲資源都是單機(jī)使用，并未實(shí)現(xiàn)互為熱備份，數(shù)據(jù)丟失后便會造成很大損失。如所有系統(tǒng)都采用雙機(jī)備份，實(shí)現(xiàn)成本較高。（2）新業(yè)務(wù)交付慢，當(dāng)一個新的系統(tǒng)需要計(jì)算資源時(shí)，目前平均交付流程在一個月以上，效率非常低。（3）計(jì)算資源利用率低，經(jīng)過對8個風(fēng)電場67臺服務(wù)器的抽樣調(diào)查，部署的各類業(yè)務(wù)系統(tǒng)平均CPU利用率為6%，內(nèi)存利用率為33%，三年內(nèi)硬盤空間利用率為30.1%，資源綜合利用率低。

風(fēng)電行業(yè)競爭日益激烈，傳統(tǒng)風(fēng)電場監(jiān)控系統(tǒng)部署模式已經(jīng)不能滿足需求。近年來，隨著云計(jì)算技術(shù)的不斷發(fā)展和完善，基于超融合架構(gòu)（Hyper-Converged Infrastructure，或簡稱“HCI”）的信息技術(shù)部署方式成為一個較好的選擇。

超融合架構(gòu)的基本原理

超融合架構(gòu)是指將物理計(jì)算資源（CPU、內(nèi)存）、存儲空間統(tǒng)一集成在單個x86服務(wù)器節(jié)點(diǎn)內(nèi)，若干臺服務(wù)器節(jié)點(diǎn)通過簡單疊加，實(shí)現(xiàn)所有資源的統(tǒng)一管理、共享分配。超融合平臺可以通過軟件定義的方式實(shí)現(xiàn)計(jì)算資源虛擬化、存儲空間虛擬化、網(wǎng)絡(luò)虛擬化和安全虛擬化。用戶可以非常方便地新建、彈性調(diào)整、刪除、備份和快照一臺云主機(jī)；可以將多臺物理機(jī)的存儲資源融合為一個大的存儲池，再進(jìn)行適當(dāng)劃分以便資源共享；可以利用NFV實(shí)現(xiàn)云主機(jī)所處網(wǎng)絡(luò)的自由定義，包括新增交換機(jī)、路由器、防火墻，及不同的網(wǎng)絡(luò)策略。可以利用安全虛擬化，實(shí)現(xiàn)分布式防火墻策略的制定、底層殺毒軟件植入以及態(tài)勢感知的監(jiān)控。基礎(chǔ)架構(gòu)如圖1所示。

圖1 超融合基礎(chǔ)架構(gòu)

一、計(jì)算虛擬化

計(jì)算虛擬化一般是指在每臺服務(wù)器內(nèi)安裝虛擬化軟件，構(gòu)成計(jì)算資源池，再通過超融合平臺虛擬化若干云主機(jī)，以供不同的用戶和應(yīng)用程序使用。計(jì)算虛擬化使資源動態(tài)分配、靈活調(diào)度和跨域共享成為很簡便的事情。

主流的虛擬化軟件通過在硬件和操作系統(tǒng)之間部署的x86虛擬化技術(shù)，實(shí)現(xiàn)將物理服務(wù)器內(nèi)的CPU、內(nèi)存、接口資源轉(zhuǎn)換為一組或者多組可被統(tǒng)一管理、調(diào)度和分配的物理資源，再將物理資源邏輯化，能在單個服務(wù)器上同時(shí)運(yùn)行多個相互隔離的云主機(jī)，各云主機(jī)分別占用該物理服務(wù)器的部分計(jì)算資源。云主機(jī)可以通過集群調(diào)度的方式實(shí)現(xiàn)熱遷移（在不同的物理服務(wù)器將副本進(jìn)行啟機(jī)，實(shí)現(xiàn)云主機(jī)無縫遷移到另一臺物理服務(wù)器）。通過在不同的物理服務(wù)器存儲不同的云主機(jī)配置文件，當(dāng)某主機(jī)宕機(jī)時(shí)，在其他物理服務(wù)器上也能夠自動啟機(jī)，以此可實(shí)現(xiàn)云主機(jī)的高可用性。此外，超融合平臺還可以按業(yè)務(wù)變化實(shí)現(xiàn)單臺云主機(jī)的CPU、內(nèi)存的手動或自動按需增減。

二、存儲虛擬化

超融合技術(shù)可以實(shí)現(xiàn)將所有物理服務(wù)器的物理磁盤變成邏輯資源池，當(dāng)云主機(jī)需要使用時(shí)，可以定義存儲空間大小，這種存儲方式被稱為分布式存儲。

分布式存儲能夠很方便地實(shí)現(xiàn)橫向擴(kuò)展（Scale-out），運(yùn)行在這種架構(gòu)上的云主機(jī)，可以像傳統(tǒng)層次架構(gòu)那樣支持vMotion、DRS和快照等功能。由于數(shù)據(jù)通過服務(wù)器的主板高速通道進(jìn)行磁盤間的交互，因此，大大提高了傳輸性能。分布式存儲的另一個重要意義在于安全性和讀寫性能的提升，由于分布式存儲的數(shù)據(jù)不會存在于某一單臺服務(wù)器，而是分布存儲到不同的磁盤上（有點(diǎn)類似Raid技術(shù)），因此，磁盤讀寫效率會成倍提升。此外，超融合平臺一般支持云主機(jī)及其邏輯磁盤的雙備份或三備份，而這些備份都是分散到不同服務(wù)器的不同磁盤上（這個資源調(diào)度算法是基于超融合平臺算法實(shí)現(xiàn)的），因此，某單片磁盤甚至某單臺物理服務(wù)器發(fā)生故障都不會影響數(shù)據(jù)安全，并且切換是毫秒級的，用戶不會有感知。

三、網(wǎng)絡(luò)虛擬化

在超融合網(wǎng)絡(luò)架構(gòu)里，硬件只需要用到二層交換機(jī)，其他的網(wǎng)絡(luò)設(shè)備全部通過在服務(wù)器內(nèi)建虛擬化服務(wù)的方式來實(shí)現(xiàn)。為了實(shí)現(xiàn)云主機(jī)之間、云主機(jī)與外部網(wǎng)絡(luò)之間的按需通信，網(wǎng)絡(luò)虛擬化可以提供虛擬交換機(jī)vSwitch、虛擬路由器vRouter、虛擬防火墻vFW、虛擬私有網(wǎng)絡(luò)vVPN、虛擬廣域網(wǎng)優(yōu)化vWOC等，這些設(shè)備除了可以分別實(shí)現(xiàn)傳統(tǒng)網(wǎng)絡(luò)設(shè)備的功能，還支持東西向流量的VxLAN網(wǎng)絡(luò)和南北向與物理網(wǎng)絡(luò)的安全連接。

網(wǎng)絡(luò)虛擬化帶來的好處是顯而易見的，所有網(wǎng)絡(luò)設(shè)備以扁平化的方式呈現(xiàn)在一個管理界面內(nèi)，極大簡化物理部署，非常便于運(yùn)維與排故。由于這些虛擬的網(wǎng)絡(luò)設(shè)備置于HA的平臺內(nèi)，如果一臺服務(wù)器宕機(jī)，其他服務(wù)器馬上就會接管，因此，可靠性比傳統(tǒng)網(wǎng)絡(luò)設(shè)備高。

四、安全虛擬化

超融合架構(gòu)下，傳統(tǒng)的防火墻、態(tài)勢感知設(shè)備都被虛擬化成不同模塊。通過在不同子網(wǎng)、不同主機(jī)之間配置虛擬的分布式防火墻、邊界防火墻、威脅檢測探針、負(fù)載均衡和VPN等手段，不僅實(shí)現(xiàn)南北向流量的防護(hù)，還重點(diǎn)對東西向的流量進(jìn)行了監(jiān)測和防護(hù)。安全虛擬化可以實(shí)現(xiàn)2～7層的全方位防護(hù)，通過風(fēng)險(xiǎn)掃描、漏洞檢測、Web防護(hù)和入侵防御，未知威脅、潛在木馬病毒和勒索病毒都可以被云化的態(tài)勢感知平臺提前感知到。

對云主機(jī)而言，一般通過部署殺毒軟件的代理端來實(shí)現(xiàn)主機(jī)內(nèi)部的安全。網(wǎng)絡(luò)上，通過分布式防火墻的一鍵下發(fā)策略，將云主機(jī)之間進(jìn)行適當(dāng)隔離，基于協(xié)議和端口的精度可以保證云主機(jī)之間的按需通信。

風(fēng)電場監(jiān)控系統(tǒng)云化方案

一、業(yè)務(wù)需求

某風(fēng)電場共有24臺單機(jī)容量為2MW的風(fēng)電機(jī)組，其監(jiān)控中心包含以下子系統(tǒng)：用于風(fēng)電機(jī)組主控制器信息搜集和監(jiān)控的SCADA系統(tǒng)、SCADA數(shù)據(jù)轉(zhuǎn)發(fā)軟件，用于風(fēng)電機(jī)組大部件振動狀態(tài)監(jiān)測的CMS系統(tǒng)、CMS數(shù)據(jù)轉(zhuǎn)發(fā)軟件，用于對全場進(jìn)行風(fēng)功率調(diào)節(jié)的WPPM系統(tǒng)，用于風(fēng)能預(yù)測的風(fēng)功率預(yù)測系統(tǒng)。從運(yùn)行安全考慮，這些系統(tǒng)全部需要實(shí)現(xiàn)雙機(jī)熱備。如果按照傳統(tǒng)數(shù)據(jù)中心部署方式成本很高，采用超融合方案則大大簡化了硬件配置，且還能實(shí)現(xiàn)互為備份和資源冗余，如表1所示。

表1 超融合與傳統(tǒng)模式部署比較

從硬件對比上來說，超融合方案在服務(wù)器數(shù)量、總體配置、占用機(jī)柜和能耗上都有明顯優(yōu)勢，而且所有云主機(jī)都利用HA實(shí)現(xiàn)了熱備能力，這是傳統(tǒng)模式很難做到的。

二、部署方案

在某風(fēng)電場升壓站機(jī)房的服務(wù)器機(jī)柜內(nèi)安裝兩臺超融合一體機(jī)，并安裝兩臺交換機(jī)。在管理平臺內(nèi)可以看到所有物理機(jī)的資源。每臺服務(wù)器都有4個網(wǎng)口。其中，Eth1配置為管理口，Eth2配置為數(shù)據(jù)通信口VxLAN，Eth3配置為北向數(shù)據(jù)口，Eth4配置為分布式存儲口。

根據(jù)現(xiàn)場業(yè)務(wù)需求，開通6臺云主機(jī)。每一臺都根據(jù)實(shí)際需求而不是最大需求配置計(jì)算資源。選擇名稱、分組、存儲位置和運(yùn)行位置、CPU、內(nèi)存、磁盤，以及網(wǎng)絡(luò)IP地址配置信息。主機(jī)的操作系統(tǒng)可以重新安裝，也可以復(fù)制已有的云主機(jī)，還可以根據(jù)已有的云主機(jī)生成模板并根據(jù)模板新建云主機(jī)。超融合平臺支持大部分的服務(wù)器操作系統(tǒng)，比如Windows、Linux的各種版本。新增一臺云主機(jī)的界面如圖2所示。

圖2 新增云主機(jī)

在網(wǎng)絡(luò)配置上，只需要將云主機(jī)配置到特定的二層交換機(jī)下，按需配置防火墻和端口組，并配置好分布式防火墻，以保證按需獲得網(wǎng)絡(luò)連通。云主機(jī)開通后可以通過遠(yuǎn)程桌面（如：Windows RDP、Linux VNC）或者特定工具（如：PuTTY）的方式進(jìn)行連接。需要特別注意的是，云主機(jī)和網(wǎng)絡(luò)要開通遠(yuǎn)程連接的端口。

此外，還需要配置云主機(jī)的備份策略。新建備份組，并為該組添加備份策略。一般備份策略可以按周、天、小時(shí)的精度，保留副本則按日、周、月為單位。并在備份組內(nèi)加入不同的云主機(jī)。超融合平臺可以為云主機(jī)的系統(tǒng)盤和數(shù)據(jù)盤實(shí)現(xiàn)自動備份，一旦系統(tǒng)遭遇病毒或者其他誤操作，便可以很方便地恢復(fù)到不同的時(shí)間點(diǎn)。

表2 單云主機(jī)單虛擬磁盤測試負(fù)載描述

三、性能測試

超融合架構(gòu)相較于傳統(tǒng)部署方式的功能優(yōu)勢是顯而易見的，由于性能可靠，能完全勝任各類業(yè)務(wù)的承載。下文以核心關(guān)注點(diǎn)之一的虛擬存儲性能為例進(jìn)行測試說明。

測試目的：最優(yōu)性能測試，測試各種IO模型的性能參數(shù)，用于比較各類平臺。

測試方法：主要通過模板部署若干臺云主機(jī)，并接入同一臺虛擬交換機(jī)。使用Iometer測試腳本執(zhí)行讀寫操作，并得出結(jié)果。

測試配置：3臺物理機(jī)（CPU：28核 X 2[Intel(R) Xeon(R) CPU E5-2680 v4 @ 2.40GHz]； 內(nèi) 存：128GB； 磁盤：2×480GB SSD(SM863a)，6×1T B HDD）；云主機(jī)（CPU：8核，內(nèi)存：4GB，虛擬磁盤：60GB（預(yù)分配））；網(wǎng)絡(luò)為萬兆；操作系統(tǒng)為Cent OS。

測試模型：4kB、8kB、64kB隨機(jī)讀，隨機(jī)寫，混合讀寫，隨機(jī)寫；128kB、1MB隨機(jī)讀，順序讀，混合讀寫，順序?qū)懀绫?所示。

測試內(nèi)容：（1）單云主機(jī)單虛擬磁盤基本指標(biāo)；（2）單云主機(jī)6虛擬磁盤基本指標(biāo)；（3）集群（15云主機(jī)3虛擬磁盤）基本指標(biāo)。

測試過程：利用Iometer軟件進(jìn)行實(shí)際測試，如圖3所示。測試各個IO模型的隨機(jī)讀寫性能和順序讀寫性能（可以評估存儲是否滿足單個應(yīng)用程序的IO性能需求；也可以根據(jù)需求，選擇其中的一到兩項(xiàng)測試）。腳本會運(yùn)行2次Iometer，第一次是準(zhǔn)備數(shù)據(jù)，第二次才是實(shí)際的IO測試。

四、測試結(jié)果

本文共測試了單云主機(jī)單磁盤、單云主機(jī)6虛擬磁盤、集群（15云主機(jī)3虛擬磁盤）3種負(fù)載，每種負(fù)載情況又分為不同塊大小的20種工況，每種工況再分6種IO深度，共進(jìn)行了360項(xiàng)測試。測試結(jié)果表明，各種工況下的平均波動率為0.02%，平均時(shí)延小于0.56ms，平均最大時(shí)延小于30ms，其中在4kB/15云主機(jī)的情況下最高IOPS達(dá)到了386318。整體性能較優(yōu)。

圖3 Iometer 測試頁面

圖4 4kB 100%隨機(jī)讀測試項(xiàng)六種IO深度測試結(jié)果

網(wǎng)絡(luò)安全合規(guī)問題

為滿足電監(jiān)會《電力監(jiān)控系統(tǒng)安全防護(hù)規(guī)定》（2014）、《風(fēng)電、光伏和燃?xì)怆姀S二次系統(tǒng)安全防護(hù)技術(shù)規(guī)定（試行）》（2012）和國家能源局《關(guān)于印發(fā)電力監(jiān)控系統(tǒng)安全防護(hù)總體方案和評估規(guī)范的通知》（國能安全36號文），以及國家電網(wǎng)公司、南方電網(wǎng)公司的相關(guān)細(xì)則，對于風(fēng)電場二次系統(tǒng)安全防護(hù)工作的要求，須嚴(yán)格執(zhí)行“安全分區(qū)、網(wǎng)絡(luò)專用、橫向隔離、縱向認(rèn)證”的要求，傳統(tǒng)的風(fēng)電場網(wǎng)絡(luò)架構(gòu)如圖5所示。

由圖5可以看出，在計(jì)算資源方面，每個系統(tǒng)至少需要獨(dú)立配置一套服務(wù)器、一套客戶端，數(shù)據(jù)量大的系統(tǒng)還需部署磁盤陣列；在網(wǎng)絡(luò)架構(gòu)方面，風(fēng)電機(jī)組內(nèi)的工業(yè)以太網(wǎng)交換機(jī)與監(jiān)控中心后臺的核心工業(yè)以太網(wǎng)組成環(huán)網(wǎng)，各系統(tǒng)接入核心工業(yè)以太網(wǎng)。在這個架構(gòu)內(nèi)，計(jì)算資源、存儲是分散式的，每個服務(wù)器都只能承載單個業(yè)務(wù)。

采用超融合架構(gòu)后的風(fēng)電場網(wǎng)絡(luò)架構(gòu)如圖6所示。由圖6可看出，以防火墻為中心，左邊是安全I(xiàn)區(qū)，右邊是安全I(xiàn)I區(qū)。安全I(xiàn)區(qū)的物理出口連接的是工業(yè)以太網(wǎng)核心交換機(jī)，安全I(xiàn)I區(qū)物理出口連接的是正向/反向隔離裝置。防火墻、服務(wù)器、交換機(jī)、網(wǎng)絡(luò)隔離裝置的配置策略與傳統(tǒng)方式完全相同。超融合架構(gòu)下的風(fēng)電場完全滿足了監(jiān)管機(jī)構(gòu)的技術(shù)要求。

圖5 傳統(tǒng)風(fēng)電場網(wǎng)絡(luò)架構(gòu)

圖6 超融合網(wǎng)絡(luò)架構(gòu)

總結(jié)

風(fēng)電場監(jiān)控中心采用超融合架構(gòu)，通過HA實(shí)現(xiàn)了所有業(yè)務(wù)服務(wù)的熱備計(jì)算，通過數(shù)據(jù)自動備份實(shí)現(xiàn)了所有數(shù)據(jù)的安全備份，通過虛擬化網(wǎng)絡(luò)實(shí)現(xiàn)了網(wǎng)絡(luò)結(jié)構(gòu)的靈活設(shè)置，通過安全虛擬化實(shí)現(xiàn)了分布式防火墻和底層的殺毒軟件植入。以上的這些改進(jìn)措施，在很大程度上提高了監(jiān)控中心業(yè)務(wù)整體的安全性與整個系統(tǒng)部署的生產(chǎn)效率。該架構(gòu)計(jì)算性能較好，資源利用率高，將云計(jì)算技術(shù)與工業(yè)場景相結(jié)合，創(chuàng)造出良好的經(jīng)濟(jì)效益，值得全面推廣。