基于超融合技術的數(shù)據(jù)中心網絡安全設計

◆苑順周 姚曉冬 邢羽

基于超融合技術的數(shù)據(jù)中心網絡安全設計

◆苑順周 姚曉冬 邢羽

（公安部第一研究所 北京 100048）

近年來，基于超融合技術構建數(shù)據(jù)中心領域的基礎架構受到越來越多的關注。相比于傳統(tǒng)架構和虛擬化技術，超融合技術實現(xiàn)了計算、網絡和存儲資源的統(tǒng)一管理，具有更高的平臺投資效費比、簡化管理難度及擴展性強等優(yōu)勢。隨著網絡安全的重要性不斷提升，對基于超融合技術的數(shù)據(jù)中心網絡安全方面提出了更高的挑戰(zhàn)。通過劃分超融合架構的不同子網，分析其中涉及的網絡安全風險點，提出了物理隔離、VLAN隔離、訪問控制、配置安全策略等網絡安全設計思路，在提升數(shù)據(jù)中心運行效能的前提下，使得數(shù)據(jù)中心網絡更加安全、可靠。

超融合；數(shù)據(jù)中心；網絡安全

傳統(tǒng)的數(shù)據(jù)中心在過去經歷了幾個發(fā)展階段，包括：大型機時代、獨立服務器時代、中心化存儲時代、虛擬化時代。目前，由標準x86架構加上虛擬化技術組成的云計算已經占據(jù)了大部分市場。但新的架構目前還存在著諸多問題，特別是對于私有云來說，虛擬機快速增長可能導致存儲網絡壓力的增加，更多的機器和存儲陣列導致管理復雜度的提高[1]。超融合技術打破了傳統(tǒng)的服務器、網絡和存儲的孤立界線，實現(xiàn)了統(tǒng)一的超融合架構（Hyper-Converged-Infrastructure，HCI）形態(tài)[2]。超融合技術（以下簡稱超融合）更加高效、天然地將計算、存儲、網絡等組件融合到一起，有利于系統(tǒng)的橫向擴展、提高整體系統(tǒng)的I/O和性能，基于超融合的軟件定義數(shù)據(jù)中心能更好為用戶提供云服務[3]。

超融合是近幾年興起的一種新的 IT 基礎架構，符合軟件定義數(shù)據(jù)中心理念，通過軟件結合標準的 x86 服務器來構建分布式存儲，強調的是分布式存儲軟件和虛擬化軟件的融合部署，并不是單純指軟、硬件融合。絕大多數(shù)的數(shù)據(jù)中心基礎架構的層次劃分很清晰，對于物理架構分層，大概可以分為以太網絡層、服務器層、光纖網絡層和存儲層。超融合架構，主要基于分布式存儲等技術來壓縮傳統(tǒng)SAN架構的服務器層、光纖網絡層和存儲層為一層，可簡稱為超融合層。超融合層的設備具備計算、網絡（主要是存儲網絡）和存儲功能。超融合架構的核心功能是對傳統(tǒng)架構進行縱向壓縮（融合）的，免去了復雜的SAN網絡，并提供了更高的存儲IOPS和支持服務器虛擬化，如圖1所示。

圖1 數(shù)據(jù)中心傳統(tǒng)架構與超融合架構對比

國際上，Nutanix、VMware、DELL EMC、HPE、Cisco、Microsoft等大公司紛紛進入到超融合市場的競爭之中；在中國的情況也類似，有華為、新華3 深信服、浪潮、曙光等一線廠商紛紛推出各自的超融合產品。各廠商的技術和實現(xiàn)方式各不相同，但是對超融合的概念理解基本是一致的，比如使用通用硬件平臺、軟件定義、虛擬化、統(tǒng)一管理平臺等。在超融合逐漸成為企業(yè)云環(huán)境主流基礎設施的趨勢下，超融合的核心競爭力依然是在軟件上，用軟件定義來實現(xiàn)IT基礎架構各項服務，包括計算、存儲、網絡融合、災備、運維管理等，實現(xiàn)以虛擬化為中心的技術架構（圖2）。

圖2 超融合架構示意圖

目前，通過Gartner關于超融合市場的報告，包括了國內外的各大知名廠商（如圖3），市場競爭的激烈程度可見一斑。

圖3 2019年11月Gartner超融合基礎架構魔力象限

超融合產品在數(shù)據(jù)中心基礎設施中扮演的角色越來越重要，會有越來越多行業(yè)開始接受和采用它，并會將它放入到更多的生產環(huán)境之中，分析認為超融合市場在未來一段時間中依然會處于高速增長的狀態(tài)（資料來源于Gartner官網）。

1 超融合架構的網絡劃分

網絡是超融合技術架構不可缺少的組成部分。當業(yè)務系統(tǒng)對性能有著很高的要求時，很容易使得超融合網絡遇到瓶頸。傳統(tǒng)數(shù)據(jù)中心的集群有專門的存儲系統(tǒng)，訪問共享的數(shù)據(jù)。然而，基于超融合架構的數(shù)據(jù)中心通常將內部每個節(jié)點的存儲匯聚到一個虛擬存儲池，I/O需求負擔較重的環(huán)境會將負載都壓在了超融合網絡之上。基于市場上主流超融合廠商的基礎架構，大致都分為帶外管理網、集群管理網、存儲網、業(yè)務網以及業(yè)務系統(tǒng)涉及的對外接口網，共5種網絡類型。

1.1 帶外管理網

帶外管理（Out-of-Band Management）是基于硬件的一種管理方式，使用專用硬件模塊或特殊的遠程管理卡提供管理接口，通過專用的數(shù)據(jù)通道對設備進行遠程維護和管理，完全獨立于設備操作系統(tǒng)之外，甚至可以在設備關機狀態(tài)下進行遠程監(jiān)控與管理。目前，絕大部分服務器都提供帶外管理接口。

帶內管理使得網絡中的管理數(shù)據(jù)和業(yè)務數(shù)據(jù)在相同的鏈路中傳輸，當管理數(shù)據(jù)（SNMP、NetFlow、計費等）較多時，將會影響到整個網絡的性能，只有當管理數(shù)據(jù)較少時，對整個網絡的性能影響不明顯，可采用帶內管理。帶外管理網將管理數(shù)據(jù)與業(yè)務數(shù)據(jù)分開，在這個通道中，只傳輸管理數(shù)據(jù)、統(tǒng)計信息、計費信息等，可以提供網絡管理的效率與可靠性，也有利于提高網絡管理數(shù)據(jù)的安全性。對于超融合架構的數(shù)據(jù)中心來講，涉及多個集群的眾多節(jié)點的管理與監(jiān)控，可能運維人員需要面對幾十、幾百甚至上萬臺服務器，對設備的訪問控制、操作記錄等均需借助帶外管理網來完成。

1.2 集群管理網

集群管理網是管理超融合平臺的基礎，保證了集群內各個節(jié)點互相通訊，使得各個節(jié)點信息同步。對于超融合架構來說，集群是一個分布式結構，將多個節(jié)點融合在一起，集群中的各個節(jié)點將共同管理集群資源和任務，構成分層存儲的統(tǒng)一資源池，以實現(xiàn)虛擬機對資源的無縫訪問。管理集群涉及配置、監(jiān)視集群內的對象，包括虛擬機、存儲、網絡、硬件、運行狀況、任務監(jiān)視、報警等，各個超融合廠商基本上都支持基于Web的管理控制臺進行集群管理。

1.3 存儲網

存儲網實現(xiàn)了超融合架構下多設備的分布式存儲，提高了存儲的IO性能和可靠性。超融合架構的核心功能是對傳統(tǒng)架構進行縱向壓縮（融合），免去了復雜的SAN網絡，每個超融合節(jié)點都有存儲設備，存儲節(jié)點互相熱備，如果一個節(jié)點出現(xiàn)故障，整個業(yè)務系統(tǒng)仍可以正常工作。為了保證存儲IO的性能，通常超融合節(jié)點之間存儲網絡采用萬兆以太網交換機進行通信。

1.4 業(yè)務網

業(yè)務網是基于超融合架構的數(shù)據(jù)中心最為核心的網絡。根據(jù)數(shù)據(jù)中心建設背景，在超融合架構上可能運行著各種各樣的不同的業(yè)務系統(tǒng)，而每個業(yè)務系統(tǒng)構成一個業(yè)務網，一個超融合集群上可能運行著多個業(yè)務系統(tǒng)網絡。

1.5 對外接口網

每個業(yè)務系統(tǒng)除了完成系統(tǒng)功能外，通常需要與其他系統(tǒng)進行業(yè)務對接，從而在超融合架構上需要單獨考慮對外接口網絡的設置。

2 網絡風險點

2.1 不同子網連接到同一個網絡安全域

在搭建超融合架構時，考慮到降低建設成本或管理復雜度，有些系統(tǒng)將帶外管理網、集群管理網、存儲網、業(yè)務網、對外接口網絡的兩種、三種甚至是5種網絡合并成一個網絡，這種未有效控制網絡安全邊界的系統(tǒng)具有較大的安全風險。超融合基于分布式存儲技術，對超融合節(jié)點間的存儲網的IOPS要求極高，否則無法保證節(jié)點間的同步，當其他子網與其連接到同一個網絡安全域內時，導致超融合系統(tǒng)故障的風險比較大。業(yè)務網屬于平臺最為關鍵的子網，不建議與其他子網進行合并。集群管理網是管理超融合的唯一入口，也不建議與其他占高帶寬的子網進行合并，否則影響平臺的管理順暢度。相比其他子網的網絡可靠度，對外接口網屬于最不可信的網絡安全域，更不應跟其他子網混用。

2.2 子網之間網段未有效隔離

對于兩個或多個子網之間不需要進行數(shù)據(jù)交互的情況下，設計網段時應該設置不同的網段進行部署。如果未按照信息的重要程度劃分子網，使得廣播風暴、惡意代碼的傳播、網絡攻擊等變得更容易，并且管理者為不同業(yè)務區(qū)域部署相應的安全策略變得更為復雜，不利于對系統(tǒng)的安全運維，最終對系統(tǒng)的穩(wěn)定運行造成影響。

2.3 重點業(yè)務網安全策略不夠

超融合業(yè)務網絡系統(tǒng)內包含各種業(yè)務需求的虛擬機，如果業(yè)務網內虛擬機未安裝殺毒軟件、端口限定、路由控制等方式進行防護時，系統(tǒng)易受到病毒的侵襲、黑客的非法闖入、數(shù)據(jù)竊聽和攔截、拒絕服務攻擊、垃圾郵件等等。

2.4 對外網絡未部署訪問控制措施

如果超融合架構的對外網絡系統(tǒng)未在網絡邊界處部署諸如防火墻、入侵檢測等訪問控制設備，則無法對來自外部非可信網絡的網絡通信進行控制，無法對可能潛在的網絡攻擊行為進行檢測和報警，極易存在被網絡攻擊的風險。

2.5 網絡管理不規(guī)范

對于網絡安全的管理，很多企業(yè)都存在多名用戶使用同一賬戶進行登錄管理的情況，對系統(tǒng)僅設置超級管理員用戶，存在管理賬戶濫用權限和惡意破壞的風險。超融合架構下子網劃分更為復雜，管理制度、操作規(guī)范的缺乏可能使得相關工作缺乏規(guī)范依據(jù)和質量保障，進而影響到系統(tǒng)的安全建設和運維。

3 網絡安全設計

結合超融合架構技術特點，每個子網都可以看作一個網絡安全域，設計原則是系統(tǒng)網絡安全域之間的邊界應劃分明確，安全域與安全域之間的所有數(shù)據(jù)通信都應安全可控。設計方法考慮合理劃分安全域邊界，實施“分域分級防護”的策略。設計目標是保障超融合為數(shù)據(jù)中心提供高效的技術架構的前提下，強化網絡安全的研究設計。根據(jù)以上分析的網絡風險點，提出以下網絡安全設計思路：

3.1 物理網絡隔離

根據(jù)超融合基礎架構涉及的網絡劃分為帶外管理網、集群管理網、存儲網、業(yè)務網、對外系統(tǒng)接口網，設計為物理網絡隔離，在每個超融合節(jié)點上對各子網配置不同的網絡端口，連接到各自不同的網絡交換機上（如圖4），這樣設計的安全性應該是最高的。物理隔離的好處是避免了不同子網連接到同一個網絡安全域的風險。當然有些使用率低、帶寬占用少的網絡，可能沒有必要單獨配置網絡設備，也可以在做好網絡安全策略、網段隔離的情況下連接到相同的交換機上，比如帶外管理與集群管理共用一套網絡設備。但是，生產業(yè)務網、存儲網和對外接口網絡不建議混用網絡交換設備。

圖4 物理隔離的超融合節(jié)點網卡連接情況

3.2 不同VLAN隔離

VLAN 隔離技術的應用，可以把超融合架構涉及的帶外管理網、集群管理網、各種業(yè)務網、存儲網、對外接口網劃分成不同的邏輯子網（如圖5），把數(shù)據(jù)鏈路層廣播報文封閉在邏輯子網之內，形成各自的廣播域。VLAN 技術有效限制了廣播報文的傳輸范圍，一定程度上抑制了廣播風暴、防止了惡意代碼的傳播，可以一定程度上提高數(shù)據(jù)中心超融合架構網絡的安全性。

圖5 超融合架構下VLAN隔離網絡安全域

3.3 訪問控制設備隔離

對于各種類型系統(tǒng)來說，涉及與其他外部系統(tǒng)進行數(shù)據(jù)交互時，可以考慮雙重防護，第一重考慮超融合節(jié)點區(qū)分對內網卡和對外網卡進行隔離；第二重考慮對外網卡與外部系統(tǒng)連接之間必須經由防火墻隔離，根據(jù)業(yè)務需要設置防火墻安全策略為只允許指定IP網段或指定端口的數(shù)據(jù)通過（如圖6）。當業(yè)務系統(tǒng)涉及外網連接時，超融合對外連接可能需要各種隔離網閘、硬件防火墻、VPN等訪問控制設備進行隔離。

圖6 對外系統(tǒng)連接使用防火墻的情況

3.4 配置網絡安全策略

常用網絡安全策略包括安裝操作系統(tǒng)補丁程序、安裝殺毒軟件、關閉無用服務和端口、啟用操作系統(tǒng)防火墻、路由控制等。

傳統(tǒng)的數(shù)據(jù)中心都是由物理網絡來分隔不同業(yè)務系統(tǒng)，以確保各業(yè)務系統(tǒng)之間是相互隔離的。然而，根據(jù)超融合技術架構特點，就需要對數(shù)據(jù)中心內的網絡做出相應的調整，不同超融合設備廠家也設計了不同的網絡安全策略產品，比如：Nutanix自帶一款軟件定義的網絡產品Flow，該產品被高度集成到超融合架構中，使用微分段（Microsegmentation）技術簡化策略管理，創(chuàng)建了分布式防火墻，保障虛擬機流量的安全性。VMware自帶的一款網絡與安全虛擬化產品VMWare NSX，該產品為虛擬機提供了幾乎所有的網絡服務，如路由器、負載均衡、防火墻等。

3.5 增強網絡安全管理

網絡安全管理既要保證網絡用戶和網絡資源不被非法使用，又要保證網絡管理系統(tǒng)本身不被未經授權的訪問，制定合理的安全管理措施，是保證網絡安全的重要策略之一。

網絡設備的安全管理主要包括網絡設備的互聯(lián)原則、配置更改原則等，超融合軟件的安全管理，包括平臺軟件的使用原則、配置更改原則、權限設置原則等。網絡安全管理是一個有關網絡維護、運營和管理信息的綜合管理系統(tǒng)，主要功能是性能管理、配置管理、故障管理、計費管理等，管理的重點是安全主旨的設立、安全人事管理、安全責任與監(jiān)督等。

4 結語

基于超融合技術作為數(shù)據(jù)中心領域的基礎架構，對傳統(tǒng)的計算、存儲、網絡等組件進行了融合，使得云平臺運行更加高效且有利于系統(tǒng)橫向擴展，順應了當下各行業(yè)發(fā)展，但是其安全隱患場景也越來越多。主流超融合技術將網絡大致分為帶外管理網、集群管理網、存儲網、業(yè)務網和對外接口網，結合超融合技術特點，本文梳理了涉及的各種網絡風險，提出各種網絡安全設計思路，以供各應用場景進行參考。在保障超融合為數(shù)據(jù)中心提供高效的技術架構的前提下，強化網絡安全的研究設計，更好服務于各種應用場景。

[1]艾如鵬.基于Openstack的超融合平臺的研究與實現(xiàn)[D].華南理工大學，2017.

[2]錢朝陽，陸明勝.淺談超融合基礎架構[J].數(shù)字技術與應用，2016，9（2）：216-217.

[3]朱炎逢，徐曉安，等.超融合網絡技術與多區(qū)域科技合作基地平臺的建設[J].科學與技術，2019，36（21）：18.

中央級公益性科研院所基本科研業(yè)務費專項資金資助項目（公安部第一研究所面上項目：A20613）