SDN在高效大數據交換中的應用研究

葉飛 李家兵 金宗安 張明存

大數據處理是當前計算機界研究的一個熱門課題，大數據給數據存儲、數據管理、數據檢索帶來巨大的挑戰，它對存儲硬件、存儲策略、檢索方法等方法設計給出了不同以往的需求。研究如何利用SND開發大數據交換系統，為以改善客戶體驗為目的的網絡業務升級提供了全新的思路和實現手段。

SND;信息系統;大數據

由于網絡數據流具有動態性和變化性，因此網絡管理面臨著困難，大數據的流量控制和帶寬需求分析異常復雜，這就需要實現網絡管理技術的智能化。SDN網絡的出現為大數據時代的來臨做好了準備，這種可編程網絡為大數據處理帶來了新的解決思路。OpenFlow標準為可編程網絡的實現提供了實例化手段。通過對業務數據的傳輸、更新、遷移等操作流程的跟蹤分析，提出以下幾個方面問題并給出解決方案。

一、大數據交換的基本現狀

（1）前期業務數據網絡的分析

由于計算機技術的普及和移動通信網絡時代的來臨，迅速地各種軟件系統也在不斷發展更新，作為最重要的海量數據，必然需要在這個大潮中被帶動著穿梭于網絡世界，為了處理關系數據庫中數據異構帶來的不便，大量研究機構和學者都從許多層面做了諸多研究工作，為異構數據的彼此轉化提出不同的處理方案，使數據能夠在多種數據庫之間精確、快速的進行轉移。由于對于不同的研究討論方案來說，表構造的異構問題是比較困難的遷移阻礙之一。

（2）面向業務的數據交換算法設計

基于權重構建的業務數據的hafman樹，以此設定一個根服務器，我們確保所有數據都位于根節點上。例如A1、A2、A3業務通過B1、B2、B3大數據交換獲得C1服務器上的某數據D1，通過交換機的業務流量學習功能，經過交換算法我們獲知C1實際放在服務器C2上最佳，大數據交換基于事先設定的策略在交換業務數據同時把數據D1遷移到C2上。

（3）大數據交換的基本工作原理的設計

目前，數據交換從功能上分為二層交換、三層交換和七層交換，本項目著重于二層交換，基于以太網、ATM、幀中繼等網絡協議開展項目研究，通過端口鏡像、流量根系、網絡設備操作系統的跟蹤技術等手段獲取數據流信息，獲取整個交換網絡。通過基于大數據交換的分析軟件的二次開發，來獲取網絡數據流的當前拓撲和未來拓撲，以此管理、重構數據鏈路。

二、基于SND的大數據交換的研究目標

（1）研究基于OpenFlow協議開發Cloud Data交換通信協議，抽象出一個與在數據和通信網絡之間的一個類似數據鏈路層的“數據交換層”，其能夠實現數據傳輸和遷移的抽象管理與控制，更加簡單、便捷、有效管理數據傳輸信道。

（2）研究大數據交換的工作機理和實例化方法，包括數據服務接口的設定，從而重構云數據中心的數據交換網絡，使得數據傳輸過程可以脫離傳統網絡通信管理、服務器組織架構、數據異構問題等的束縛，在一個全新的SDN交換網絡中高效傳遞。

（3）研究Cloud Data交換算法，力圖實現在不增加流量的情況下傳輸更多數據，包括服務器間的數據遷移、業務流量的發送等，從而實現高效利用網絡帶寬，降低業務運行成本 ?。

三、大數據交換的研究內容

（1）云數據服務的控制管理

由于對大型計算機網絡難以實現集中控制，因此核心問題是如何使用OpenFlow協議開發出專門服務于業務數據傳輸抽象網絡，發揮其簡單和局部控制效果好的優點，數據流量等參數的動態控制，在保障使用者服務的QoS的基礎上發現獲得最佳網絡性能的措施來開展服務工作。

（2）網絡的軟件化、虛擬化的途徑

面對這一現狀，我們都清楚為什么需要網絡的軟件化、敏捷化，滿足最終客戶的需求，這是必然的。滿足客戶需求是為了更加快速地附帶地改低Capex和Opex。項目研究如何從設備可編程轉變為網絡可編程。

SDN作為可以通過程序設計工作流程的方式，不只是針對單個網絡節點而言的，同事是可以對全部網絡進行程序控制，基于SND的控制器具有全局的拓撲，能夠算出任意端點之間的路由，并控制轉發路徑。同樣其也可以控制每個端點的接入權限，當然無論我們通過什么節點聯入，比如我們能夠將VLAN綁定、802。1x認證通過控制器來做，轉發層面設備完幾乎不能感知具體情況。SDN的實質本來就是讓用戶/應用能夠使用軟件編程完全的控制網絡的各種動作，讓網絡軟件化，從而敏捷化。SDN中的接口具有開放性，把控制器當做邏輯中心，南向具體實現數據層通信，北向具體實現應用層通信。此外，因為單一控制機制經常導致造成控制節點失效，特別容易影響性能，那么久必須使用多控制器方式，這個時候，多控制器之間將采用由東向西的通信方式。開放式接口的研究，這樣一定會更加的推動SDN的進一步的發展。

基于這些開放式接口的討論組，控制器南向接口作為數據與控制分離的核心從而花大力氣開展研究，成為業界經常討論和關注的一個問題。由于控制層與數據層解耦合，由此不低不針對這兩層的改進分開進行，在層與層之間只是需要給出標準南向接口即可。南向接口是SDN分層架構的關鍵元素，但是從邏輯層面來說，它在確保數據層與控制層之間的一般通信的同時，還得支持兩層各自同時產生的需求;物理上，設備生產廠商不得不開發同事支持此種標準接口的產品，因為傳統網絡產品是無法實現在SDN網絡之中啟動、計算、傳輸使用。那么這樣，我們研發南向標準接口就是一個SDN基礎研究中的一個重要內容。

四、解決關鍵問題的方案設計

（1）業務數據的內部結構描述：云數據中心涉及面太廣，現有業務和技術都太復雜。也許下一步追求的是一個邏輯清晰簡單的解決方案。隨著硬件技術的進一步發展，軟件定義網絡SDN業務提供一種更為簡單明了的內部結構描述。

（2）網絡資源的抽象管理：針對多樣化網絡業務融合控制的軟件定義網絡平臺，如何設計合適的算法應用于高速網絡的業務管理和流量控制，為了確保在網絡中不同的多種業務并存的情況下，在保證實時業務傳輸的同一時間，使網絡的資源獲得以被最大化的充分的利用。還有就是，SDN控制下的網絡便可以不需要受制于OSPF/ISIS/TRILL/SPB這些標準協議本身的能力，在使用時，即便不得不去使用它，管理員可以在任何兩個機架之間設置直達鏈路并立刻投入使用，不用再去解決STP的限制，也不需要去關注ECMP（等價多路徑）的問題，比如能力限制。

（3）大數據交換和數據業務的無縫集成。通過虛擬數據中心管理器的協調， VDC（Virtual Data Center） 虛擬數據中心業務開通、虛擬機的遷移、加載以及負載均衡和網絡策略的遷移、生成可以實時聯動，從而使業務響應速度、業務服務質量進一步提升。更進一步的是，應用可以通過SDN Controller提供的接口為特定用戶流量設置安全策略、QoS，比如屏蔽某個惡意攻擊的用戶MAC地址、為特定用戶/應用預留帶寬。

（4）消除網絡數據震蕩，由于業務的多樣和頻繁程度的不同，會導致數據遷移出現某種程度的過度現象，它如同廣播消息的泛濫一樣會導致網絡的阻塞。可以考慮基于業務類型、業務范圍等屬性進行限定，預防數據遷移的頻次和范圍。如對于簡單的查詢操作不做服務器之間數據交換，僅僅做一個數據的傳遞操作。

五、此項研究方案的優勢

實現數據遷移的完全透明化，開發者和使用者完全不用關注數據的流動過程，而只需要關注業務本身。云數據中心的數據遷移完全隨著業務需要，不在受制于各種統計算法的限制，使得數據流動過程更為及時、高效。

傳統的數據遷移工作，要求大多存在于關系數據庫中，比如數據遷移就是這種，因此，如何去除關系數據庫中數據異構的麻煩，比如使用變長染色體遺傳算法。或者使用最小生成樹算法，遺傳算法對多結點問題處理的不足，在多衍生表情況下最小生成樹算法運行效率穩定性方面的缺陷。

而基于OpenFlow的交換算法可以擺脫這些結構上的問題困擾，直接考慮數據的轉發問題就可以了，從而從根本上解放了程序員的手腳。

將網絡完全統一到業務層面，Cloud Data交換機既是信息交換工具也是業務開展平臺，整個系統不再依托傳統的分層結構網絡開展設計、開發、使用流程，開發者和使用者完全可以基于統一的業務層面開展各項工作。極大降低 了系統開發成本，節約了使用者的學習時間，從而降低整個系統運營成本。

參考文獻

[1]SDN交換機及其星載交換的實現方案初探[J].陳果，徐展琦，楊帆，馮淼淼.無線電通信技術. 2017（06）

[2]ChinaNet向SDN演進的方法[J].張家欣.通訊世界.2017（16）

[3]基于SDN技術的電視制播網的設計與實現[J].劉含書.西部廣播電視.2017（12）

[4]基于SDN的5G移動通信網絡架構[J]. 裴峰，陳永全.中國新通信.2017（16）

[5]safe，efficient update protocol for Open Flow networks.Mc Greer R.Proceedings of Hot SDN . 2012大數據技術應用中的問題研究論述[J].梁鼎.農家參謀. 2017（15）

[6]大數據技術在環境信息中的應用[J].楊滿倉，趙鵬.網絡安全技術與應用.2017（10）.