自動駕駛網絡研究綜述

楊俊峰，宋圓隆，王桂枝

（四川大學計算機學院，成都610065）

0 引言

過去幾年，隨著云計算、物聯網等各種網絡應用規模的不斷擴大，各種網絡技術層出不窮，如軟件定義網絡、網絡功能虛擬化、可編程數據平面等，這些網絡應用、技術、設備的快速發展使得網絡變得越來越復雜。同時，各種網絡應用對安全性、可用性和性能需求的增長，使得網絡管理的作用前所未有的重要。盡管用戶需求在不斷變化，網絡復雜程度也在不斷增加，但是網絡管理員仍舊在部署和使用腳本以及相應工具來幫助自己規劃網絡、排除故障，保證網絡的安全性。研究人員依舊致力于設計、優化網絡管理協議，然而由于網絡協議、網絡環境的多變性以及二者與用戶使用體驗關系的不斷復雜化，網絡協議的變化仍然落后于網絡管理復雜程度的增加。另外，上述的一些技術，如軟件定義網絡、可編程數據平面又使得網絡的靈活性與適應性不斷提升，讓我們有了更細顆粒度的優化方法、更多樣的管理方式。因此，針對上述存在的問題與潛在的優勢，研究人員提出了全新的網絡管理方法，這種方法不再是基于單個協議的封閉式分析優化，而是利用數據驅動、端到端的機器學習模型以及以高級策略為目標并結合以底層組件的整體視圖得到的應用程序性能作為參數對網絡進行優化，通過更緊密地將測量與實時控制耦合起來，并依靠學習對網絡應用程序需求或系統運行狀態進行推理和預測，讓網絡學會自我駕駛。

1 自動駕駛網絡的誕生與發展

自動駕駛網絡是對網絡未來發展的恢宏愿景，它將會是這樣一種網絡：它可以以自動化的方式測量、分析、控制自己，利用網絡的靈活性來優化自身，從而適應網絡環境的變化（如網絡需求的變化）[1]。本節介紹了驅動自動駕駛網絡誕生的原因，回顧了自動駕駛網絡的發展過程。

自動駕駛網絡思想的雛形可以追溯到2003 年，D.Clark 教授團隊在其論文中首先提到了到互聯網的基本設計原則——簡單而透明的核心加上智能的邊緣節點，同時指出這一設計原則下構建的網絡所存在的問題，即負責承載數據傳輸的核心網絡并不知道具體傳輸的數據是什么，以及這些數據是完成什么樣的目標。因此，如果某些事件的組合阻礙了數據的傳輸，網絡的邊緣節點可能會意識到存在問題，但核心無法判斷出哪里出了問題，因為核心不知道應該發生什么。同樣的，在網絡管理方面，網絡管理人員只能對網絡的核心進行諸如路由配置等低層次策略配置，網絡不具有高層級的抽象視圖與理解網絡管理員高級目標從而自我配置與自適應的能力。針對上述問題，他們提出了一種解決思路，在網絡中引入知識平面，使得網絡對自己的目標有一個高層級的視圖，包括網絡管理人員的目標、所運行程序的目標、以及用戶的目標。這個知識平面，利用機器學習與認知技術來操作網絡，賦予網絡識別-響應、識別-解釋-建議的能力，提升網絡管理的效率，降低網絡管理的復雜度[2]。不謀而合，Ryan 教授等人首次在其論文針對網絡的復雜性、異構性和對可靠性的需求以及網絡管理員對網絡能夠自我組織來滿足用戶和應用程序的需求目標的期望。提出并定義了認知網絡，所謂認知網絡是一個具有認知過程的網絡，能夠感知當前的網絡環境，然后依據當前環境進行規劃、決定和行動。網絡可以從這種自適應過程中學習，并利用學習經驗結合網絡端到端的性能需求目標做出預見性的決策[3]。然而正如Mestres 等人[4]在分析知識平面未能實現的種種原因中提到一樣，盡管讓網絡實現高度自動化與智能化的思想和討論由來已久，許多研究人員也致力于讓相關的技術與模型實現落地部署，但是受限于網絡作為分布式系統的固有特性，將機器學習等技術應用于網絡控制與管理時，獲取的信息是局部的，這大大提升了算法學習的復雜度，從而使得相關領域研究更多的停留在理論層面。進一步論文指出隨著軟件定義網絡的提出與發展，邏輯集中的管理平面、數據傳輸單元計算與儲存性能的提高，催生了新的網絡監控技術。這些技術可以向集中式網絡分析平臺提供實時的基于數據包和數據流的不同顆粒度的信息以及網絡的配置和網絡狀態的監控數據。與傳統的網絡管理方法相比，軟件定義網絡、網絡遙測和網絡分析技術為新型的網絡管理方式提供了更豐富的網絡視圖。網絡智能化又迎來了新的發展機遇。2016 年，瞻博網絡公司類比自動駕駛汽車提出了自動駕駛網絡（Self-Driving Networks）的概念，并發表了技術白皮書，其中提到了他們對自動駕駛網絡的認識，即簡化和抽象網絡來降低操作復雜性，網絡可以在沒有或極少人工干預的情況下自我監控、維護、配置，能夠預測和自適應當前運行環境。同時提出了他們認為自動駕駛網絡應該達到的目標：①自我發現自身的組成部分；②自我配置；③使用探針和其他技術自我監控；④自我保護，免受內外部威脅。⑤自我修正。⑥自動檢測何時需要新服務，然后自動啟用該服務。⑦使用機器學習進行自我分析。⑧發生故障時及定期的自我報告[6]。2018 年，計算機網絡領域的頂級會議SIGCOMM 中專門開設了關于自動駕駛網絡的研討會，研究人員對自動駕駛網絡進行了系統的分析與思考，同時給出了一些用例。除此之外，在文獻[5-9]中還有許多學者詳細分析討論了如何將人工智能、機器學習、數據驅動、軟件定義網絡等技術結合應用，實現網絡的自我管理。由此可見，自動駕駛網絡的研究正在快速發展，自動駕駛網絡具有廣闊的發展前景和巨大的研究價值。

2 自動駕駛網絡的運行過程

通過第一節的介紹可以看出，自動駕駛網絡涉及多種功能與技術，為了將自動駕駛網絡具體化。本節將通過分析自動駕駛網絡運行的一般過程得出實現自動駕駛網絡可能需要的功能模塊與基礎關鍵技術。

綜合國內外學者的研究[1,4,6]，總結出如圖一所示的自動駕駛網絡運行的一般過程。其中包括輸入高級策略，網絡優化目標的生成，驅動網絡測量，對優化目標的判定，控制策略的生成與執行，網絡狀態檢查等關鍵過程。具體說來，自動駕駛網絡應該把如網絡管理員或上層應用程序需要的整體性能或安全相關的高級策略作為輸入，并從中提取具體的網絡優化目標。根據優化目標推導出網絡應收集的測量值，進而驅動網絡測量。通過網絡測量數據判定是否達到優化目標，如果沒有達到就根據優化目標生成相應的控制策略，執行控制策略后再進行優化目標的生成，然后再次測量與判定；如果達到了，就對網絡狀態進行持續的監測。上述運行過程，通過任務驅動網絡測量及控制策略的自動生成與執行，形成了決策過程自動化的閉環控制回路，從而使得網絡可以對自身進行駕駛。

3 自動駕駛網絡實現的關鍵技術

上一節中我們概述了自動駕駛網絡運行的一般過程，本節將通過分析實現上述過程所需解決的問題與功能，詳細介紹可以應用于自動駕駛網絡中解決對應問題，實現對應功能的技術，從而使得自動駕駛網絡可以成為現實的原因。

圖1 自動駕駛網絡運行流程

3.1 軟件定義網絡

首先從整體上分析，自動駕駛網絡中高級策略的輸入，網絡優化目標的生成，網絡測量的驅動，控制策略的生成與執行，網絡狀態的檢查相較于傳統的網絡具有更高程度的耦合性與自動化，需要更少，甚至無需人工介入。然而，傳統網絡作為分布式系統的這一特質，使得網絡中的各個節點只有整個系統的部分視圖與控制能力，從而會導致將諸如機器學習、數據驅動等技術應用于網絡操作與管理的過程中，實現對網絡的高效組織、管理、維護和優化是極其復雜的。因此需要利用新的網絡架構來降低傳統分布式網絡帶來的復雜度。

軟件定義網絡（SDN）的出現和發展是降低上述復雜度的關鍵一環。SDN 作為一種新的網絡架構，具有以下四個主要特征，SDN 將數據平面與控制平面解耦和；傳統網絡設備的控制功能被移除，僅保留簡單的數據轉發功能；轉發決策不再是基于目的地址，而是由轉發流表決定；使用邏輯集中的控制器即所謂的網絡操作系統來管理網絡中的資源，同時通過網絡操作系統之上的軟件應用與底層的數據平面交互賦予網絡可編程的特性。

圖2 SDN體系架構

尤其是邏輯集中的控制為網絡帶來了三點優勢。首先，通過高級語言和軟件組件修改網絡策略比通過低級設備進行特定配置更簡單、更不易出錯。其次，控制程序可以自動響應網絡狀態的偽變化，從而保持高級策略的完整性。第三，將控制功能邏輯集中在具有網絡全局狀態的控制器中，可以簡化復雜的網絡功能、服務和應用程序的開發。針對自動駕駛網絡，SDN 可以實現監控和收集實時的網絡狀態和配置數據，以及以包或流為顆粒度的信息，使得集中控制器能夠獲得網絡的全局視圖。以機器學習在網絡中的應用為例，對于以數據驅動的機器學習算法，數據是算法的關鍵。對比于傳統網絡，將機器學習應用于SDN，可以利用SDN 控制器獲得的網絡全局視圖，使得機器學習算法更高效簡便的應用于網絡。同時，基于實時和歷史的網絡數據，機器學習技術可以通過數據分析、網絡優化和自動化提供網絡服務為SDN 控制器帶來智能。另外，SDN 的可編程性使得機器學習算法所得到的最優網絡解決方案（如配置和資源分配）可以在網絡上實時執行[10]。

3.2 數據平面可編程

除了SDN 帶來的全局視圖與控制平面可編程，自動駕駛網絡的實現還需要實時的流量監控，對大量網絡流量的分析以及線速處理功能。這些功能是使得網絡具有推理、預測能力的基礎。可編程的數據平面使上述功能可以得到實現。

可編程的數據平面通過可編程數據包處理芯片與數據平面編程語言（如具有協議無關交換架構的PISA芯片與P4 編程語言），來實現以不受限于目標設備的方式控制轉發行為。程序員可以首先使用數據平面編程語言定義數據包的處理流程，然后利用編譯器在不受限于具體協議的交換機或網卡上生成具體的配置，從而實現指定的數據包處理邏輯。這種方式可以使交換機變實現防火墻或負載均衡器等設備的功能，并支持指定的流量分析、檢測、診斷功能。

可編程數據平面將會為網絡帶來巨大的靈活性與適應性，可以幫助實現最適合其自身需求的網絡行為。定制開發網絡監控、分析和診斷系統，極大程度提高網絡的可視化及相關性，協同優化網絡以及在網絡上運行的應用程序。具體說來，可編程數據平面可以實現靈活的數據包解析、匹配—操作管道以及在交換機和數據包報頭上維護狀態，從而可以使網絡支持高級度量抽象。例如使用狀態標記數據包，并在隨后的跳轉中更新該狀態的能力可以使數據平面能夠支持一系列強大的抽象。包頭可以攜帶應用于該包的網絡策略的版本以支持一致的策略更新[11]；或者聚合跨路徑的流量統計信息，來收集路徑級別上的指標，如最大鏈路利用率或總排隊延遲。更為重要的是可編程數據平面可以簡化與網絡中其他數據集的連接。而諸如流量統計數據與其他數據集的連接是分析網絡的重要基礎，也是數據驅動網絡實現的基石。數據平面可以通過同時分析和組合數據集或維護第二個數據集的有效表示來執行連接本身（例如，與特定類中經過身份驗證的用戶關聯的IP 地址表）。這些信息可以促進測量數據的聚合、流量的路由和調度，以及基于高級策略的訪問控制。更進一步，在上述基礎上，可編程數據平面可以提升網絡中應用機器學習預測模型的速度。可以從數據平面的數據包中提取相應特征，根據學習到的模型實時計算預測函數，對網絡流量的性質進行實時決策。考慮一個基于機器學習的垃圾郵件過濾器，需要輸入一些網絡級別的特征，如郵件發送所在網絡的IP 地址，以及同時發送電子郵件的相鄰IP 地址的數量。可編程數據平面可以內聯的計算這些特征，并計算單個特征的加權線性組合，從而計算消息是垃圾郵件的總體可能性。

3.3 機器學習

自動駕駛網絡的智能源于機器學習算法帶來的推理與預測能力，將機器學習應用于網絡的必要性與可行性可概述為以下幾點。①圖形處理單元（GPU）和張量處理單元（TPU）等計算技術的發展為在網絡領域[8,12]中應用新興的機器學習技術（如深度神經網絡）提供了良好的機會；②許多網絡問題需要與復雜的系統環境交互，要建立準確的或可解析的模型來表示如CDN[13]的負載變化模式和[14]吞吐量特性等復雜的系統行為是很困難的，機器學習能夠以可接受的精度提供這些系統的估計模型；③分類和預測作為機器學習中最為人所熟知的功能，在入侵檢測、性能預測等網絡問題中發揮著基礎而重要的作用。④機器學習還可以幫助決策，這將有助于根據環境的當前狀態進行網絡調度[15]和參數調整[16-17]。

可以看到，機器學習在網絡中的應用相當廣泛。這種廣泛既包括了各種機器學習算法的使用，也包括了各種具體應用場景。就機器學習算法來說，監督學習算法、無監督學習算法以及強化學習算法都可以應用于網絡中解決相應的問題。就具體問題而言，流量分類、路由優化、QoS/QoE 預測、網絡資源管理以及網絡安全等領域都可以利用相應的機器學習算法來嘗試提出新的、更高效的解決方法。有不少相關文獻已經概述了相關工作，就不在一一贅述。特別的在自動駕駛網絡的實現中，需要更多關注的是如何使得網絡可以與環境交互，進行自我決策、自我優化，從而更好的實現網絡閉環控制，提高網絡自適應性，賦予自動駕駛網絡真正的智能。與監督學習和無監督學習相比，強化學習更適合于閉環控制問題。并且深度學習和強化學習的結合在決策領域已經有不少成功的應用（應用深度強化學習玩游戲的DeepMind 和戰勝圍棋冠軍的AlphaGo）證明了強化學習可以有效地解決大規模的系統控制問題。因此研究人員們開始更多的關注可以與環境進行交互學習的強化學習以及深度強化學習來解決大規模網絡控制問題。基于強化學習的學習任務通常被描述為馬爾可夫決策過程，強化學習包括一個學習實體（Agent），狀態空間S 和行為空間A。Agent 與環境相互作用，學習最好的行為，以獲得最大的長期回報[18]。長期獎勵是一種累計折合的獎勵，既與當前行為的獎勵有關，也與未來行為的獎勵有關。圖3 所示為RL 系統的基本示意圖。

圖3 強化學習

Agent 會監測一個狀態st，然后從行為空間A 中選擇一個行動at，Agent 會得到一個反應當前行動好或不好的獎勵值rt，然后轉到下一個狀態st+1。Agent 的目的是學習最優的行為策略π，從而獲得預期的最大化長期回報。在強化學習中，價值函數用于計算給定狀態下行為的長期回報。例如Q-learning 算法中的價值函數Q-function，該算法用來學習一個存儲著所有狀態-行為對以及與之對應的獎勵值的表[19]。當將強化學習應用于SDN 網絡時，網絡狀態作為不同的狀態階段，行為可以是CDN 或路由選擇等網絡策略，而獎勵可以依據優化目標設定。

強化學習的主要優點是可以無需事先了解環境的精確數學模型即可運行。然而，傳統的強化學習方法有一些缺點，如最優行為策略π的收斂速度很低，它無法解決高維狀態空間和動作空間的問題。這些缺點可以通過深度強化學習[20-22]來解決。深度強化學習的核心思想是利用深度神經網絡強大的函數逼近特性來逼近價值函數。在對深度神經網絡進行訓練后，給定一個狀態-行為作為輸入，深度強化學習能夠估計出長期的回報，估計結果可以指導Agent 選擇最優的動作。

強化學習通常應用于解決決策問題，以網絡中的路由優化為例。將強化學習算法應用于優化路由時，控制器作為Agent，網絡充當環境。狀態空間由網絡狀態和流量狀態組成。行為可以視為路由方案，獎勵可以根據網絡延遲等需要優化的指標進行定義[23]。文獻[24]提出了一種基于強化學習的SDN 網絡智能路由協議。該路由協議可以根據網絡狀態選取最優的數據傳輸路徑。Francois 和Gelenbe[25]研究了應用于多個SDN數據中心間Overlay 網絡的路由優化方案。方案提出了一種邏輯集中的認知路由引擎（CRE），該引擎利用隨機神經網絡和強化學習來尋找地理上分散的數據中心之間的最優overlay 路徑。該算法基于隨機神經網絡和強化學習，即使在非常復雜的網絡環境中也能良好運行。文獻[26]側重于多層異構SDN 網絡中的路由優化。提出了一種利用強化學習算法實現具有時效性的感知服務質量（QoS-aware）自適應分組轉發方法。以服務質量為獎勵，根據流量類型和用戶應用程序選擇感知到的能獲取最大獎勵值的路由路徑。在文獻[26]中，深度強化學習模型被用來優化路由。該模型的目標是在給定流量矩陣的情況下，為所有的源-目的對選擇最優的路由路徑，以最小化網絡延遲。

3.4 基于意圖的網絡

自動駕駛網絡的目標是盡可能減少網絡運行過程中的人工操作，因此對比于傳統網絡中依靠網絡管理員在各種復雜接口使用低級語言配置網絡策略的過程，自動駕駛網絡首先需要實現從網絡應用需求或網絡管理員指定的高級策略（如服務等級保證、安全性要求等）生成網絡優化目標。基于意圖的網絡（IBN）允許操作人員指定高級策略，這些策略指示網絡應該如何運行，而無需考慮如何將它們轉換為網絡設備中的具體配置命令。

現有的關于IBN 的研究提出了幾種意圖語言、框架和編譯器，以實現在網絡設備和中間件中基于意圖的配置[27-29]。這些研究支持高層策略的組合，可以在軟件定義網絡（SDN）中實現，來幫助網絡管理員實現管理行為的抽象。

具體說來，IBN 允許操作員指定高層次的復雜策略，這些策略包括與用戶需求相關的，如服務等級協議（SLA），與特定網絡目標相關的，如流量調度等網絡資源優化問題，還有和單一數據包相關的，如數據包加密等策略。

文獻[30]研究提出了指定SLA 的語言，文獻[27]開發了用于指定基于頭字段及其位置的數據包轉換的高級語言，這些研究可以讓網絡管理員從更高層指定流量的轉換，并且在運行時將各種操作分發到各個網絡組件上，讓操作人員無需再從中間件級別去思考，而只需要具體化更廣泛的網絡目標。

以文獻[31]為例，提出了一種利用機器學習和網絡管理員的反饋將管理員的自然語言意圖轉化為網絡配置的細化過程。這個過程包括三個階段。首先，依靠一個智能的聊天機器人接口來提取用戶自然語言中的表達的意圖中的主要動作和目標作為后續操作的實體對象。這個聊天機器人接口使用神經網絡來識別用戶自然語言中的關鍵點。例如策略中的網絡端點、中間節點和臨時配置。然后，使用非常類似于自然語言的一種名為Nile 的基于意圖的結構化語言，同時利用序列映射序列的神經網絡學習模型將提取的實體轉化為高級結構化的網絡意圖程序，最后，根據目標網絡將提取的意圖程序編譯成網絡策略。

圖4 基于意圖網絡的運行流程

3.5 網絡遙測

正如第一節提到的自動駕駛網絡的目標，我們希望實現任務驅動的網絡測量，并且使網絡測量與網絡控制緊密結合。在基于SDN 與可編程數據平面的基礎上，新型的自上而下的網絡遙測架構賦予了自動駕駛網絡這樣的可能性。

在傳統的自下而上的網絡遙測系統中，操作人員必須根據網絡設備上可用的特定監視工具（如Net-Flow、sFlow、tcpdump）來配置各個網絡設備，被動地從這些工具中收集大量數據，然后從收集到的設備級數據中推斷出整個網絡的狀態。為了能夠使用這種自底向上的方法理解網絡狀態，操作人員必須從具有大存儲、帶寬和處理開銷的設備收集大量數據。然后，操作員將這些數據聚合起來，并將其轉換成他們需要的網絡范圍內的視圖，這是一個依靠操作員專業知識水平繁瑣的手工過程。相較于傳統的網絡遙測系統結合軟件定義網絡、可編程數據平面的網絡遙測系統正在逐漸實現自動化。如圖5 所示的網絡遙測過程，通過為操作人員引入聲明性度量抽象，來清楚地表達他們的度量需求，而不必考慮何時、何地以及如何回答查詢。通過這種方式，他們可以花更多的時間來定義他們需要的正確信息集，以診斷網絡性能問題，幫助更好地服務于應用程序。

圖5 網絡遙測流程

具體說來，聲明性度量抽象包括以下原則：①基于意圖的：操作人員可以自由地表達他們的度量意圖，而不依賴于底層的度量系統。②命名原則：操作員可以描述他們想要測量的流量，不是基于包頭字段，而是基于高級名稱，如DNS 名稱、租戶、應用程序，甚至動態流量的屬性（如延遲、損失率等）。③全網：操作員可以指定他們關于全網狀態的查詢，而不必擔心測量應該在網絡的什么地方執行。④并發查詢：不同的管理任務、租戶或應用程序能夠同時指定它們需要的查詢。因此，這是一個實時的系統，它能夠自動地將度量抽象與設備上的原語匹配起來，動態地分配資源，并處理諸如移動主機和路由更改之類的網絡動態。系統還通過為特定的控制功能優化度量查詢來改進度量和控制之間的交互。再者，考慮到度量抽象，系統可以在不同的設備（虛擬機或者交換機等）上設計新的數據結構。使得管理員可以更多的關注他們需要的信息，然后針對這些目標數據設計更好的測量算法。

通過這類網絡遙測系統，可以獲取更多的網絡流量、狀態數據，為機器學習算法提供豐富資源。同時它的高級抽象與實時響應也是減少人工干預，加強測量與控制耦合性，實現網絡管理閉環的重要手段。

4 自動駕駛網絡范例

在上一節中，我們分析討論了促使自動駕駛網絡可能實現的各種技術和方法。這一節，提出一種基于SDN 并結合網絡遙測、數據驅動的自動駕駛網絡架構。該架構如圖所示包含四個平面：轉發平面、控制平面、信息平面以及駕駛平面。

轉發平面的功能是轉發、處理和監控數據包。主要包括可編程的線速轉發硬件，并且只關注簡單的數據轉發，不嵌入任何控制策略。控制規則由SDN 控制器通過OpenFlow[32]或P4[33]等南向協議發布。當數據包進入節點時，將根據這些規則進行轉發和處理。此外，節點中還嵌入了一些監控進程。網絡監測數據將被收集并發送到信息平面。因此，它可以提供完整的網絡狀態信息來幫助駕駛平面做出決策。底層分布式轉發平面的抽象方法，并將底層資源信息（如鏈路帶寬、CPU 容量等）集中到駕駛平面。在該范例中通過使用帶內網絡遙測（In-band Network Telemetry）技術實現，所謂帶內網絡遙測是一種基于可編程數據平面，收集和報告數據平面中網絡狀態的方法。帶內網絡遙測可以向每個指定要收集的元數據類型的包注入帶內網絡遙測頭部。元數據包括交換機ID、入端口ID、入口時間戳、跳轉延遲、隊列擁塞狀態等。與當前的網絡監控技術（如流級別的NetFlow、基于流量采樣的sFlow、基于計數器的SNMP）相比，帶內網絡遙測可以提供更細粒度的數據，支撐機器學習算法的應用。控制平面中的SDN 控制器，可以將帶內網絡遙測功能部署到可編程的交換機中，來監控網絡狀態，并將意圖驅動的需求從駕駛平面轉化為具體的網絡策略并應用于網絡。首先，帶內網絡遙測功能使用可編程數據語言描述，然后編譯成在可編程交換機上運行的設備指令。之后，控制器將指令部署到交換機中。當然，如果所有測量的元數據都上傳給控制平面，則消息的數量就會過多。因此，可以選擇收集特定流的元數據。控制平面提供了以五元組形式指定需要監控的流量。包括源IP 地址，目的IP 地址，源端口，目的端口以及協議。控制平面也可以以意圖的形式獲取駕駛平面的分析結果。同時還為其他應用程序和可視化元數據功能提供接口。

圖6 自動駕駛網絡架構

在信息平面中，將收集、存儲和聚合網絡狀態數據以供進一步分析。帶內網絡遙測元數據收集器是每個交換機傳輸元數據時生成的一個線程，將元數據轉換為JSON 格式并發送到分布式消息傳遞系統。分布式消息傳遞系統也使得信息平面具有可伸縮性。而后它將元數據分發到一個數據流處理器。通過使用元數據的源IP 地址的最后一位作為hash 值，將來自相同數據流的元數據發送到同一處理器。系統還會將數據存儲到數據庫中。提供每個流、每個交換機的基本分析結果和統計數據，具體包含網絡中流量的真實路徑、每跳的延遲、每個交換機的控制平面的功能是連接駕駛平面和轉發平面。提供了訪問隊列占用和擁塞狀態等信息。結果會被發送到控制平面和駕駛平面。需要立即響應的事件（如鏈路故障、路由黑洞或環路檢測）由控制平面處理。其他操作，如網絡資源的規劃及優化、網絡性能的管理和驗證，將由駕駛平面來處理。

駕駛平面的功能是生成網絡策略。在該范例中，駕駛平面利用從控制平面和信息平面獲取的數據獲得整個網絡的全局視圖和網絡狀態。利用智能Agent 運行的（深度）強化學習算法與網絡環境進行交互，學習網絡策略。然后將策略轉換成意圖語言進行網絡配置的更改，達到對網絡進行決策和優化的目的。

5 結語

隨著網絡規模的快速增長和網絡的異構化，人工操作的網絡管理變得越來越困難，因此需要閉環的網絡管理解決方案。在這篇論文中，討論了自動駕駛網絡的概念及及其相關技術，SDN、數據平面可編程、機器學習、網絡遙測。最后提出了依據上述技術構建的自動駕駛網絡范例。