基于OpenFlow的電力企業數據中心研究

張 寧，劉 軍，張書林，劉 識，唐 佳，王 穎，廣澤晶

?

基于OpenFlow的電力企業數據中心研究

張 寧，劉 軍，張書林，劉 識，唐 佳，王 穎，廣澤晶

（國家電網公司信息通信分公司，北京 100761）

近年來，隨著云計算、大數據技術的不斷應用，企業云計算數據中心規模逐漸擴大，計算資源、存儲資源的虛擬化技術為云數據中心的建設提供了計算和存儲保障。傳統網絡架構已經成為云數據中心發展的瓶頸，新的網絡架構迫在眉睫。本文通過深入研究SDN技術以及OpenFlow技術，并對SDN技術當前發展三種路線進行對比分析，設計了電力企業云數據中心網絡。

電力企業；云數據中心；OpenFlow

0 引言

隨著國網信息化水平的不斷能提高，數據中心一級部署重要業務系統越來越多。近期，隨著更多云業務的上線，對網絡的虛擬化、彈性機制和可靠性方面提出了更高的要求。因此，針對SDN技術的數據中心網絡研究具有十分重要的意義。

1 概述

1.1 SDN技術

軟件定義網絡（Software Defined Network，SDN）[1]，是Emulex網絡一種新型網絡創新架構， 是網絡虛擬化的一種實現方式，其核心技術OpenFlow通過將網絡設備控制面與數據面分離開來，從而實現了網絡流量的靈活控制，使網絡作為管道變得更加智能。

SDN中沒有很好定義的一個方面是控制器信息如何傳輸到整個網絡中的交換機和路由器。圖1顯示了SDN中信息如何交換。在信息交換的過程中，中央協調控制器將信息傳遞給開放式存儲控制器，開放式虛擬化控制器和SDN控制器。在這里，我們專注于使用OpenFlow等協議的SDN控制器將信息傳遞給網絡中的各種交換機和路由器。

SDN控制器[2]對網絡的控制主要是通過南向接口協議實現,包括鏈路發現、拓撲管理、策略制定等，其中拓撲管理和鏈路發現主要是控制其利用南向接口的上行通道對底層交換設備所上報的信息進行統一的監控和統計，表項下發和策略制定是控制器利用南向接口的下行通道對網絡設備進行統一控制。

圖1 SDN信息交換示意圖

SDN北向接口是通過控制器向上層業務應用開放的接口，其目標是使得業務應用能夠便利地調用底層的網絡資源和能力。通過北向接口，網絡業務的開發者能以軟件編程的形式調用各種網絡資源;同時上層的網絡資源管理系統可以通過控制器的北向接口全局把控整個網網絡的資源狀態，并對資源進行統一調度。因為北向接口是直接為業務應用服務的，因此其設計需要密切聯系業務應用需求，具有多樣化的特征。同時，北向接口的設計是否合理、便捷，以便能被業務應用廣泛調用，會直接影響到SDN控制器廠商的市場前景。

與南向接口方面已有OpenFlow等國際標準不同，北向接口方面還缺少業界公認的標準，因此，北向接口的協議制定成為當前SDN領域競爭的焦點，不同的參與者或者從用戶角度出發，或者從運營角度出發，或者從產品能力角度出發提出了很多方案。據悉,目前至少有20種控制器,每種控制器會對外提供北向接口用于上層應用開發和資源編排。雖然北向接口標準當前還很難達成共識，但是充分的開放性、便捷性、靈活性將是衡量接口優劣的重要標準，例如REST API就是上層業務應用的開發者比較喜歡的接口形式。部分傳統的網絡設備廠商在其現有設備上提供了編程接口供業務應用直接調用，也可被視作是北向接口之一，其目的是在不改變其現有設備架構的條件下提升配置管理靈活性，應對開放協議的競爭。

控制器負責整個SDN網絡的集中化控制，對于把握全網置資源視圖、改善網絡資源交付都具有非常重要的作用。但控制能力的集中化，也意味著控制器局的安全性和性能成為全網的瓶頸;另外，單一的控制器也無法應對跨多個地域的SND網絡問題，需要多個SDN控制器組成的分布式集群，以避免單一的控制器節點在可靠性、擴展性、性能方面的問題。目前，用于多個控制器之間溝通和聯系的東西向接口還沒定義標準，但一些非常成熟的集群技術可以被運用到SDN網絡中來解決上述難題。

1.2 OpenFlow技術

OpenFlow規范的幾個版本現在已經發布給業界，并且有幾種產品開始在市場上出現[3]。谷歌已經宣布，為了提高效率以及較低能耗比，它已經重新設計了網絡在OpenFlow標準下運行。有些學者認為這是OpenFlow的專有實現，因為大部分開發是在最新的OpenFlow規范發布之前完成的。NEC和HP也宣布在他們的網絡產品中提供OpenFlow支持。一個名為“Project Floodlight”的開源Open Flow控制器已經由一家名為Big Switch Networks的創業公司發布，并引起了業界的極大興趣。另外，印第安納大學還開設了一個SDN互操作性實驗室來測試Open Flow產品之間的兼容性。

Open Flow背后的思想是將分布式的網絡智能從移動中移走模型轉換為使用通用Open Flow控制器的集中模型，如圖2所示。傳統的數據中心交換機和路由器通過標準的數據交換協議了解自己的環境，并且每個都維護有關整個網絡的狀態信息，并將其轉換為轉發表。如果新的交換機或端點被添加到網絡中，則該信息被傳播到相關網絡域中的所有交換機和路由器，并且使用該信息來更新其轉發表。這給每個交換機都增加了成本和復雜性。

圖2 Open Flow控制器的集中模型

OpenFlow通過使用OpenFlow控制器提供網絡的集中視圖來改變上述的問題[4]。控制器維護網絡的狀態，并簡單地將轉發表填充到網絡中的所有交換機和路由器中。網絡中的任何變化都會傳送給控制器，然后控制器更新其集中狀態表。然后它使用此信息來確定如何填充其控制的每臺交換機和路由器中的轉發表，并使用OpenFlow API將這些信息傳遞給這些設備。集中式控制平面與分布式數據平面的分離是OpenFlow背后的主要思想之一。

Open Flow的一個關鍵方面是在圖2所示的控制器和網絡設備之間使用的開放API。API是一種應用接口，便于Open API允許網絡設備供應商與行業標準控制器進行通信，并允許數據中心管理員使用來自多個供應商的設備，從而消除早期OEM設備中的軟件鎖定問題。圖3顯示了OpenFlow如何與使用傳統的網絡操作系統進行比較。

一個傳統的網絡操作系統被編寫來與一個給定的交換芯片供應商的特定API一起工作。一些芯片供應商通過將網絡設備OEM廠商鎖定在他們在多代硅芯片上使用的特定API來利用這一優勢。Open Flow通過使用輕量級的Open Flow API中介層來打破這種鎖定，該層簡單地將Open Flow API函數調用轉換為切換特定的API函數調用但是，開關芯片需要恰當地實現這些功能，以便利用Open Flow功能。目前許多開關芯片供應商正在開發這些墊片層以符Open Flow標準。

圖3 與傳統網絡數據傳輸進行對比

2 SDN技術路線及對比分析

2.1 三種技術路線

在SDN技術誕生以來的這十多年發展演變中，根據控制器和網絡設備形態的不同組合，出現了三種不同的SDN方案路線，分別是自研控制器+白盒硬件路線，廠商控制器+廠商硬件路線，以及自研控制器+廠商硬件路線[5]。

2.1.1 自研控制器+白盒硬件路線

由用戶自行完成SDN網絡管理編排層開發、控制器層開發，底層網絡設備層的開發可自行完成也可采用ODM廠家自帶的硬件操作系統，控制器一般采用行業標準的南北向接口來對接管理編排層及網絡設備層。在這個路線中，網絡設備的硬件和軟件解耦，硬件設備只做報文轉發，指導硬件轉發的系統軟件上收到一個集中的控制器軟件中。控制器指導、“命令”硬件轉發的方式是給設備下發openflow流表，設備硬件根據流表對報文做無腦轉發。

考慮到控制器及白牌交換機的研發成本、人力成本、研發能力、白牌廠商支持能力問題，目前SDN控制器及白牌交換機均采用自研方式的商業案例較少，商用案例主要集中在互聯網公司及大型云服務提供商，主要用于數據中心及云計算。這種模式還沒有用于大型廣域網的案例。Google公司及Facebook在數據中心大量采用白牌交換機，交換機通過ODM廠商根據技術要求進行批量生產，通過公司自研的SDN控制器對白盒交換機進行統一納管。

2.1.2 廠商控制器+廠商硬件路線

控制器軟件和網絡硬件都由設備廠商提供，采用廠商經過驗證的SDN解決方案。網絡硬件在傳統的路由器交換機設備上，增加支持了SDN相關的功能協議（例如Netconf配置協議）。控制器給網絡設備下發配置或者下發業務流量隧道路徑，實現網絡配置的自動化和運維的智能化。

這種模式是當前一個主流模式，網絡廠商針對局域網SDN及廣域網SDN已有較多解決方案及商用案例，在金融、互聯網、電信運營商均有實施經驗。

2.1.3 自研控制器+廠商硬件路線

基于白盒硬件設備的控制器軟件開發難度和工作量太大，為此有些公司企業采用一種折中的路線，網絡設備使用傳統網絡設備廠商的硬件，設備保留了各種路由協議和轉發功能，在這種傳統網絡設備基礎上，企業自研控制器軟件。

目前已知僅有騰訊公司在有限度的探討這種模式。

2.2 優缺點比較

2.2.1 自研控制器+白盒硬件路線

優點：

設備軟硬件分離解耦，可以比較方便地給設備和網絡添加新功能，SDN架構自行研發，基于管理者對自身網絡的深刻理解，可開發出更貼近自身網絡業務需求的SDN應用功能。確認業務新需求后，可快速進入開發驗證工作，避免了新功能的演進依賴于廠商更新設備。同時，SDN架構體系可根據開發者業務組網需求對整體架構進行靈活調整，避免廠家技術及設備綁定。

硬件白盒化，成本也比傳統的網絡設備低。另外一方面，所有設備的轉發表項都由控制器軟件集中下發。對于規模較小、業務簡單而且業務變化不大的網絡來說，控制器集中計算下發轉發流表比較容易實現。

缺點：

網絡的集中控制涉及網絡拓撲和狀態實時感知，路由轉發表項動態計算等多方面復雜的挑戰和問題。分布在不同設備上運行的各種網絡協議和技術——包括路由協議，MPLS轉發，二三層VPN，可靠性檢測和保護倒換等技術，所有這些技術都集中在一個控制器軟件上實現，對自身研發能力要求很高，需對軟件開發、業務應用需求、網絡功能開發均具備較高研發能力。

對于規模相對較大、業務復雜的網絡（例如廣域骨干網）來說，控制器集中計算、實時更新網絡設備的轉發流表，則顯得力不從心。同時，商用的白盒機主要為交換機產品均用于數據中心網絡，現在業界無用于廣域網的路由器白牌設備。

白盒設備采用標準商業芯片，缺乏廠商定制芯片的強大功能特性。白盒廠商，無論是軟件廠商還是硬件廠商，他們的能力都會比較聚焦自己的領域，缺乏對設備軟硬件整體的認知。同時，軟硬件的開發、測試、維護、問題處理需要耗費用戶大量的人力成本。

白盒產品線不夠齊全，通常不會做核心設備，因核心設備技術門檻高，也不會去做功能要求很復雜的運營商設備，因為功能復雜度高，技術難度高，問題排查難度大，無專業網絡廠商對網絡功能多年的研發基礎。而軟件和硬件分離，無法像傳統廠商那樣提供整體的服務，這將增大問題處理、方案設計的難度。

2.2.2 廠商控制器+廠商硬件路線

優點：

憑借著網絡廠商在行業積累大量實際成功項目案例，解決方案非常成熟，可節約用戶軟硬件的開發、測試、維護的人力成本；高端路由器、交換機技術門檻高，網絡廠商設備具備多年的研發積累及市場考驗，更加穩定，同時，網絡廠商的設備類型豐富，板卡型號豐富，幾乎可適用于任何網絡場景。

網絡廠商提供全面的軟、硬件維護服務，故障解決能力更高。

缺點：

采用這種路線，硬件成本比白盒模式高；網絡廠商解決方案與廠商設備耦合度較高，容易形成廠商綁定；網絡廠商提供的網絡功能主要考慮大眾用戶需求，針對某一用戶的定制化需求開發，實現周期相對較長。

2.2.3 自研控制器+廠商硬件路線

優點：

SDN架構的業務應用及控制平面均為自行研發，基于管理者對自身網絡的深刻理解，可開發出更貼近自身網絡業務需求的SDN應用功能；確認業務新需求后，可快速進入開發驗證工作，避免了新功能的演進依賴于廠商更新設備。

缺點：

對自身研發能力要求很高，用戶自身需要對軟件開發、業務應用需求、網絡功能開發均具備較高研發能力；廠家只對自身硬件進行維護，而用戶網絡的控制軟件、及網絡整體規劃將由用戶運維團隊自行完成，廠商無法提供專業的技術支持及網絡規劃支持。

目前主流設備廠商暫未提供此種部署模式，主要原因為此種部署模式與主流網絡廠家存在嚴重利益沖突，等于將自身投入巨額研發成本及經歷多年市場考驗的網絡設備降級為白盒設備，此種模式未來會如何發展，前景還不明朗。

3 電力企業數據中心SDN設計

3.1 弱控制模式

采用此種部署模式時設備保留一部分路由控制平面，控制器只根據業務需求下發路由策略，不下發流表信息。設備根據自身路由轉發表完成業務流量轉發[7]。交換機實現VxLAN VTEP、VxLAN GW、 VxLAN IP GW的轉發封裝功能，同時通過標準EVPN完成隧道建立和地址學習。根據控制器制定的路由策略在EVPN隧道中轉發業務流量。

控制器只負責業務策略下發，不下發流表[8]。業務轉發采用網絡設備自身的路由表項。控制器出現故障后，網絡設備通過自身路由表象與控制器前期下發的路由策略指導路由轉發，對現有業務轉發不構成任何應影響。可提供較高的網絡可靠性。采用業務策略下發的形式控制交換機轉發層面，交換機不必與控制器交互流表信息，減少了傳輸流表信息、卸載流表及加載流表的網絡延遲。因采用策略下發的模式對網絡設備進行控制，對網絡業務流量轉發的控制能力沒有采用流表的實行靈活。

圖4 弱控制模式

3.2 分布式網關

網關部署在Leaf，所有相同VXLAN的網關IP和MAC相同，Border部署VXLAN，Leaf和Spine通過IP的ECMP互通，Leaf節點同時承擔VXLAN L2/3轉發，Leaf之間通過EVPN完成隧道建立和主機路由同步。

圖5 強控制模式

同一Leaf下的三層流量無需繞行到Spin，所有流量的路徑最優。相關業務子網內的MAC、ARP地址信息分攤到不同的分布式網關上，如，leaf1上只有業務網絡1的虛機上線，無業務網絡2的虛機業務，那么leaf1上只需維護業務網絡1內的MAC及ARP信息。無需維護整網的MAC及ARP信息，有效的將表象信息分擔到多臺leaf設備上，與集中式網關相比減少了單臺設備的表項資源消耗，更加適合大型云數據中心使用。需要運維人員對網絡技術有一定的了解，underly網絡需要運維人員手動或通過部署軟件來搭建。

3.3 云數據中心網絡架構

基于國網數據中心網絡現狀及業務需求綜合考慮[9]，建議采用網絡廠商整體解決方案的發展路線，采用弱控制、分布式網關部署模式，同時結合國網統一云平臺，實現定制化的管理能力。網絡廠商在SDN領域具備較多成功案例及實施經驗，廠商的SDN解決方案在設計之初已經對行業內用戶的數據中心網絡對SDN技術的痛點及需求做過深入的市場調查及研究分析，所提供的解決方案可以有效解決用戶在數據中心SDN領域遇到的網絡問題。

網絡架構：采用核心（Spine節點）+接入（leaf節點）的兩層網絡架構，核心設備采用兩臺中高端交換機，虛擬化部署。每兩臺接入交換機配置網絡虛擬化，并通過多條鏈路與核心交換機FULL MESH互聯。

網絡性能：若千兆服務器接入，推薦采用萬兆光纖鏈路上行；若萬兆服務器接入，推薦采用萬兆以上鏈路上行。上行鏈路建議多鏈路上行，分擔數據流量，降低超載比。

網絡管理：核心節點、接入節點、及安全設備接入管理網，虛擬網絡控制器通過管理網實現對網絡和安全資源的統一控制和調度。

網絡互通性：通過核心節點實現SDN網絡與傳統網絡之間的互通[10]。

基于SDN的新型網絡架構分為Underlay物理網絡和Overlay虛擬網絡，Underlay物理網絡的核心節點、接入節點和未來的Server 接入節點之間運行三層動態路由協議（推薦OSPF或ISIS），Overlay虛擬網絡采用EVPN+VXLAN，實現虛機VM在服務域內的任意物理位置任意部署，任意擴展，配合云平臺可以實現業務全自動部署。

圖6 云數據中心網絡架構

4 結論

本文通過研究SDN、Openflow等技術，本文提出了SDN技術在廣域網和數據中心網絡兩種場景下應用方式。數據中心網絡建議使用網絡廠商整體解決方案，采用弱控制、分布式網關部署模式，同時結合國網統一云平臺，實現定制化的管理能力。廣域網建議采用網絡廠商整體解決方案，同時自研上層管理平臺

[1] 張朝昆, 崔勇, 唐翯祎, 等. 軟件定義網絡(SDN)研究進展[J]. 軟件學報, 2015, 26(1): 62-81.

[2] 吳舜, 張輝, 邢寧哲, 等. 基于SDN的網絡運維系統設計與開發[J]. 電信科學, 2016, 32(3): 163-170.

[3] 蔡娟娟. 基于OpenFlow的SDN技術研究[J]. 電腦迷, 2016(6).

[4] 侯長逸. OpenFlow網絡軟件路由研究[J]. 蘭州大學學報(自然科學版), 2013(2): 260-263.

[5] 王楠. Openflow網絡中路由機制的研究與實現[D]. 北京郵電大學, 2012.

[6] 劉海客, 李集林, 張華健. 基于OpenFlow網絡的彈性服務質量保障方法[J]. 計算機應用, 2016, 36(s1): 20-24.

[7] 朱明明, 夏寅賁, 徐小飛. 基于SDN的數據中心網絡研究[J]. 郵電設計技術, 2014(3): 23-29.

[8] 汪正康, 周鵬, 肖俊超, 等. 基于SDN的數據中心網絡資源調度機制[J]. 計算機系統應用, 2015, 24(8): 212-218.

[9] 吳強, 徐鑫, 劉國燕. 基于SDN技術的數據中心基礎網絡構建[J]. 電信科學, 2013, 29(1): 130-133.

[10] 賴香武, 彭大芹, 黃德玲, 等. 基于SDN的數據中心網絡路由算法研究[J]. 無線互聯科技, 2016(24): 38-40.

Research on Data Center Network of Electric Power Enterprise Based on OpenFlow

ZHANG Ning, LIU Jun, ZHANG Shu-lin, LIU Shi, TANG Jia, WANG Ying, GUANG Ze-jing

(State Grid Information & Telecommunication Branch, BeiJing 100761)

In recent years, with the continuous application of cloud computing and big data technology, the scale of enterprise cloud computing data center is gradually expanding. The virtualization technology of computing resources and storage resources provides computing and storage guarantee for the construction of cloud data center. Traditional network architecture has become the bottleneck of the development of cloud data center, and the new network architecture is imminent. Through in-depth study of SDN technology and OpenFlow technology, and comparative analysis of three current development routes of SDN technology, this paper designs the cloud data center network of power enterprises.

Electric power enterprise; Cloud data center; OpenFlow

TP393

A

10.3969/j.issn.1003-6970.2018.12.018

張寧(1989-)，男，中級工程師，從事電力數據通信網運維管理；劉軍(1970-)，男，高級工程師，信息通信調度管理；張書林(1968-)，男，工程師，信息通信調度管理；劉識(1984-)，男，高級工程師，從事電力信息通信方式資源管理管理；唐佳(1985-)，女，高級工程師，從事電力信息通信方式資源管理管理；王穎(1980-)，女，高級工程師，從事電力信息通信系統管理；廣澤晶(1986-)，女，高級工程師，從事電力通信方式資源管理。

張寧，劉軍，張書林，等. 基于openflow的電力企業數據中心研究[J]. 軟件，2018，39（12）：77-82