基于深度學習的面向IP-over-EON 的可編程跨層網絡業務性能感知系統

朱祖勍，孔嘉偉，牛彬，唐紹飛，房紅強，劉思祺

（中國科學技術大學信息科學技術學院，安徽 合肥 230027）

1 引言

當前，隨著云計算和大數據等新興業務的飛速發展[1-3]，主干網中的網絡流量在飛速增長的同時，其統計特性也變得越來越復雜。這些網絡流量給現有基于IP-over-Optical 的主干網體系架構帶來了新的挑戰[4-6]，也使傳統波分復用（DWDM,dense wavelength division multiplexing）網絡的可擴展性和靈活性呈現出不足。為了解決這一問題，基于靈活柵格的彈性光網絡（EON,elastic optical network）應運而生[7-11]，它們提供更細的頻譜分配粒度和更加靈活的頻譜分配機制，從而極大地提升了光層的靈活性和頻譜利用率。在此基礎上，人們開始考慮用 EON 替換傳統 IP-over-Optical 主干網中的DWDM 層，以實現IP-over-EON[12-14]，集成IP 技術和EON 技術的優勢。與此同時，軟件定義網絡（SDN,software-defined networking）[15-16]技術通過分離網絡的控制面和數據面并提供集中式的網絡控制與管理（NC&M,network control and management）機制來保障網絡的可編程性，SDN 在EON中已經獲得了應用并證明了其優越性[17-20]。因此可以預見，將SDN 應用于IP-over-EON 中，即實現SD-IPoEON（software-defined IP-over-EON），有助于改善主干網的適配性和可編程性。

為了全面地體現SD-IPoEON 架構的優勢，還需要實時的、細粒度的網絡監測，以保障其中各類網絡應用的服務質量（QoS,quality of service）。但是，現有的傳統網絡監測技術難以滿足實時監控和自動網絡調整的需求，造成這一問題的原因主要有以下3個方面：首先，因為IP-over-EON 是一個復雜的多層網絡，針對其的故障監測與定位需要采用跨層的方法，同時分析IP 層與EON 層的情況，然而，當前的主流技術基本上都是單層的，僅針對IP層或EON 層進行分析，并沒有將兩者結合起來；其次，現有技術大多僅通過帶外的方式收集網絡狀態信息[21-22]，這決定了它們難以實現實時的、端到端的和細粒度的監測，而且它們會增大控制器的負擔，可擴展性較差；最后，現有技術較少考慮業務級別（App-level,application level）的監測，考慮到不同的App（Application），有著各自不同的QoS需求，它們的異常監測與故障恢復機制會有不同。

考慮到以上問題，本文通過引入帶內網絡遙測（INT,in-band network telemetry），并在其基礎上設計網絡監控系統，將EON 層的信息通過INT 的方式采集出來，以實現跨層帶內網絡遙測（ML-INT,multi-layer INT）機制[23]，同時將IP 層和EON 層的信息封裝到ML-INT 分組中，完成實時的、分布式的和流粒度的端到端App-level 網絡監測。注意到，盡管App-level 的網絡監控能很好地采集業務的端到端QoS 參數，它并不能單獨完成網絡故障的定位和網絡狀態的及時調整，因此，本文在這一分布式網絡監控系統內加入集中式的網絡監測，利用SDN控制器完成鏈路級別（link-level）的網絡監測。具體來說，App-level 監測通過ML-INT 實現端到端的實時細粒度網絡監測，對采集到的數據進行分布式分析，利用深度學習（DL,deep learning）實現故障的初步識別與定位[24]，然后將異常信息上傳給控制器。控制器再結合自身link-level 的帶外監測信息，進一步實現精確的故障定位并采取相應的故障恢復措施。本文提出的基于深度學習的跨層網絡業務性能感知系統，融合了分布式網絡監測與集中式網絡管控的優點。類似于人類的神經系統，集中式的SDN 控制器為大腦，負責集中式網絡管控；分布式的App-level 監測為神經感應元，負責分布式的細粒度網絡監測。因此，將其稱為網絡神經系統（NNS,network nervous system）[25]。通過搭建小規模但真實的網絡平臺，實現并用實驗展示了NNS 的優勢，實驗結果證明其可以針對網絡業務的QoS 需求，實現精確有效的故障識別、定位和恢復。同時，實驗結果也表明，本文所提的NNS 比傳統的網絡監測系統具有更良好的可擴展性和更靈活的可編程性。

2 系統架構

圖1展示了NNS 的整體架構[23,25]，系統的數據平面由一個IP-over-EON 組成。EON 層由光纖鏈路和帶寬可變的光交換機（BV-WSS,bandwidth variable wavelength-selective switch）構成[26-27]，并可以建立光路，其中，光性能監測器（OPM，optical performance monitor）監控各個鏈路的狀態，采集各條光路的光信噪比（OSNR,optical signal-to-noise ratio）、中心波長和功率等信息。IP 層由可編程交換機和業務主機構成，業務主機上運行著不同QoS需求的業務；可編程交換機通過INT 代理（INT agent）和OPM 進行信息交互，INT agent 通過輪詢的方式從OPM 中獲取所需的光路信息，并發送至可編程交換機。如圖1所示，可編程交換機同時將IP 層和EON 層的數據插入INT 頭部的INT 數據字段中。IP 層數據包括可編程交換機的交換機標識（switch ID）、分組所經過的端口信息和排隊時延信息，EON 層的數據包括OSNR、中心波長和功率信息。當業務主機A 與業務主機B 的通信分組被轉發到最后一臺可編程交換機（INT sink）上，INT sink將INT 頭部拆除并將其發送至數據分析設備（data analyzer）。因此，ML-INT 技術對于通信的業務主機之間是透明的。data analyzer 通過解析INT 頭部的INT 字段，便可以依次獲取業務主機A 與B 的通信路徑上每一臺可編程交換機和每一條光路的信息，然后將解析出的ML-INT 數據發送至DL 故障識別和定位模塊。

圖1 NNS 整體架構

由圖1可知，App 中集成了App-level 監測模塊，App-level 監測模塊包含QoS 異常監測模塊和DL 故障識別和定位模塊。其中，QoS 異常監測模塊通過監測QoS 參數，如接收端帶寬和抖動等，可以實現基于業務的獨特QoS 需求定義異常，并及時將異常匯報給DL 故障識別和定位模塊。DL 故障識別和定位模塊接收到異常信息后，開始對data analyzer 發來的ML-INT 數據進行分析，實現光路級別的故障識別和定位，并將初步的識別和定位結果傳輸至SDN 中央控制器。中央控制器共包含3個模塊，分別為數據分析模塊、網絡拓撲數據庫（NTD,network topology database）模塊和App 處理模塊。數據分析模塊包含App 異常分析模塊和link-level監測模塊。App 異常分析模塊負責接收DL 故障識別和定位模塊發送的故障初步識別和定位信息，link-level 監測模塊通過帶外遙測方式粗粒度地收集數據面信息。需要注意的是，DL 故障識別和定位模塊是App-level 的故障分析與定位，即光路級別的初步故障識別與定位。數據分析模塊通過結合控制器收集到的link-level 的光層信息和故障的初步識別和定位結果，實現link-level 的精確定位。NTD 模塊負責存儲并更新數據平面網絡拓撲信息。App 處理模塊主要對業務的優先級和所屬類別（例如是否時延敏感等）進行分析。當多個業務同時出現故障時，App 處理模塊根據業務優先級設定故障恢復的先后順序，并根據業務所屬的類別，通過路由和頻譜分配模塊（RSAM,routing and spectrum assignment module）進行重路由（非時延敏感業務）或者切換到備份光路（時延敏感業務），以實現最佳的故障恢復方案。

圖2詳細地說明了NNS 在正常階段和異常階段時模塊間的信息交互過程，其中模塊1和模塊2分別代表圖1中App-level 監測模塊中的QoS 異常監測模塊和DL 故障識別和定位模塊。NNS 在正常階段時，中央控制器通過帶外遙測方式粗粒度的方式，即輪詢時間間隔長，進行link-level 監測。無論NNS 處于正常階段還是異常階段，data analyzer 都會及時地將解析出的ML-INT 數據發送至DL 故障識別和定位模塊。值得注意的是，只有在異常階段下，當DL 故障識別和定位模塊接收到QoS 異常監測模塊的異常報告時，才會對ML-INT 數據進行App-level 的初步識別和定位，并將識別和定位結果報告至中央控制器的App 異常分析模塊。中央控制器收到異常報告后，將會從粗粒度方式變化為細粒度方式，即輪詢間隔時間短，有針對性地對定位的故障光路進行link-level 的監測。NNS 通過結合DL故障識別和分類模塊App-level 的初步識別和定位結果和控制器link-level 的監測信息進行精確的故障定位。之后中央控制器通過App 處理模塊獲得業務的優先級和相關信息，根據NTD 模塊中存儲的數據面拓撲信息進行IP 層重路由或光路重配置等App-level 的故障恢復方案。

3 系統實現

3.1 可編程ML-INT

圖2 NNS 交互流程

為了實現ML-INT 技術，通過可編程協議無關分組處理（P4,programming protocol-independent packet processor）語言[28]在可編程交換機上對數據包的格式進行相關的處理。首先，當業務分組經過第一臺可編程交換機（INT source）時，INT source 以一定的比例（例如50%）在業務分組中封裝INT 頭部，同時定義INT 結構并在INT 頭部定義INT 數據字段。IP 層和EON 層數據通過可編程交換機寫入ML-INT 分組中的INT 數據字段。接著，ML-INT 分組被轉發至下一臺可編程交換機（INT intermediate hop），INT intermediate hop 將繼續向ML-INT 分組寫入本機相關的IP 層信息和EON 信息。最后，INT sink 將INT 頭部拆除，然后發送至data analyzer 進行解析。為了盡量減小ML-INT 所帶來的開銷，本文指定每個可編程交換機在經過的ML-INT 分組中只插入2個INT 數據字段，從而減小INT 頭部的長度。2個INT 數據字段中，第一個INT 數據字段固定為switch ID，指示數據分組的轉發路徑和所經過的交換機信息；第二個INT 數據字段為IP 層排隊時延、EON 層OSNR 或功率，可編程交換機將這些數據依次寫入多個ML-INT 分組中。由于網絡中業務通信速率通常較高（例如10 Gbit/s），分組之間的時間間隔都是微秒級別。通常情況下，網絡狀態難以在微秒級別的時間內發生劇變，因此將IP 層和EON 層的數據分多次寫入ML-INT 分組中是合理的。與此同時，data analyzer 需要解析多個ML-INT 分組方可獲取完整的端到端ML-INT數據。

3.2 基于深度學習的App-level 監測

NNS 架構中，DL 故障識別和定位模塊主要負責對data analyzer 解析出的ML-INT 數據進行初步故障識別和定位。傳統的網絡架構通常基于閾值的方式判斷某類故障是否發生。隨著網絡規模的不斷發展，故障類型逐漸增多，為不同的故障設置不同的閾值將會增加網絡操作復雜度，可擴展性較差。其次，有的故障類型難以僅通過簡單的閾值進行識別。如圖3所示，本文通過在光路中引入噪聲產生故障，當接收端帶寬低于發送端的一定比例（例如90%）時即判定為異常。從圖3中可以看出，第3 s 的功率值低于第5 s 的功率值，然而第3 s處于正常階段，而第5 s 處于異常階段。這是因為引入噪聲對功率影響較小，但當OSNR 降低到一定值時，也會引發異常。所以對于噪聲故障需要綜合考慮功率和OSNR，不能只通過閾值進行判斷。因此，本文采取基于深度學習的DL 故障識別和分類方法。

圖3 App-level 功率監測

DL 故障識別和分類模塊是深度神經網絡（DNN,deep neural network）架構，包含輸入層、兩層隱藏層和輸出層，通過監督式學習進行訓練。輸入層節點數等于要處理的數據的變量數，即3個；兩層隱藏層的節點數都設置為128；輸出層節點數等于每個輸入對應的輸出數，為4。DNN 架構中輸出層的激活函數為softmax 函數，并選取分類問題中常用的交叉熵函數作為損失函數來刻畫預測的概率分布和真實輸出的概率分布之間的距離。DNN訓練時通過反向傳播和梯度下降算法調整神經網絡中參數的取值，從而最小化損失函數。DL 故障識別和分類模塊的輸入是ML-INT 數據，包括IP層排隊時延、EON 層的功率和OSNR。值得注意的是，若ML-INT 分組經過N個可編程交換機，端到端完整ML-INT 數據會包含N組輸入（一組輸入為排隊時延、功率和OSNR）。data analyzer 在將端到端完整ML-INT 數據發送至DL 故障識別和定位模塊時，會先依次從業務分組的發送端到目的端對ML-INT 數據進行N組劃分。DL 故障識別和定位模塊依次對N組數據進行故障識別，第一個出現故障的光路或可編程交換機即為故障位置，從而實現故障定位，這種每次僅對一組數據進行分析的方式適用于不同的網絡規模，具有很好的可擴展性。

本文通過搭建一個小規模但是真實的IP-over-EON 測試平臺，模擬產生各種故障（擁塞異常、功率衰減異常和噪聲異常），從而獲得訓練數據。例如，本文通過功率衰減器衰減光路中的功率，在光路中引入噪聲和加入背景流讓可編程交換機產生擁塞來分別模擬功率衰減異常、噪聲異常和擁塞異常。同時，如果接收端的帶寬低于發送端的一定比例（例如90%），即判定產生異常，為訓練數據貼上標簽（例如0、1、2和3分別代表正常、功率衰減異常、噪聲異常和IP 層擁塞異常）。訓練時，每次只產生一種異常。故障樣本總共采集了約17000組，每組訓練數據包含排隊時延、功率和OSNR 數據，其中訓練集和測試集各占90%和10%。通過離線訓練，AI 模型在測試集上的準確率達到96.99%。

4 實驗展示與結果分析

4.1 NNS 實驗驗證

本文通過搭建如圖4所示的實驗平臺展示和驗證NNS 架構功能。IP 層包含6臺可編程交換機，端口為10 GbE 光端口，通過2臺商用的分組發送工具來模擬端上的2個業務主機進行通信。EON 層包括6個1×9的BV-WSS 光纖、6個OPM 和8個摻鉺光纖放大器（EDFA,erbium-doped fiber amplifier）。BV-WSS 工作頻率范圍為1528.43～1566.88 nm，頻譜分配粒度為12.5 GHz。OPM 采用光信息監測儀（OCM,optical channel monitor），光譜分辨率為312.5 MHz。圖4中的箭頭表示的是業務通信時的路由路徑。從圖4中可以看出，業務主機A 與業務主機B 通信時經過2個光路。第一個光路從可編程交換機1到可編程交換機2，包含a 一條鏈路，第二個光路從可編程交換機2到可編程交換機3，包含b 和c 共兩條鏈路。中央控制器基于開放式網絡操作系統（ONOS,open network operating system）平臺與數據平面進行通信。為了驗證NNS 架構的有效性，本文在EON 層和IP 層各做了一個故障識別、定位和恢復的實驗。實驗中發送端業務的吞吐量為8 Gbit/s，分組大小為1024 B，INT source 上ML-INT分組的比例設置為50%。EON 層的實驗中，通過功率衰減器在c 鏈路上對功率進行衰減，用Wireshark抓取NNS 架構間的通信數據分組，從而驗證NNS架構的功能。圖5(a)虛線框展示的是data analyzer（IP 地址為192.168.108.40）向DL 故障識別和定位模塊（IP 地址192.168.108.229）發送的一組ML-INT數據，包括switch ID、排隊時延、功率和OSNR。每個可編程交換機都有預先定義好的switch ID，通過switch ID 對故障進行定位。例如，業務主機A和業務主機B 通信時IP 層經過3個可編程交換機，switch ID 分別為1、2、3。在c 鏈路進行功率衰減，第一條光路正常，第二條光路異常。DL 故障識別和定位模塊依次ML-INT 數據進行分析，故障類型為1，switch ID 在2和3之間。如圖5(b)虛線框所示，Wireshark 抓取的是DL 故障識別和定位模塊發送至中央控制器（IP 地址為192.168.108.225）的數據分組，分組中包含的故障類型為1，switch ID 為2和3。中央控制器獲取異常信息后，通過帶外遙測方式細粒度（例如每1 s 獲取1次）獲取switch ID 在2和3之間所有鏈路的光路信息（中心頻率、功率和OSNR）并與正常階段下通過粗粒度（例如每10 s獲取1次）獲取的光路數據進行對比和分析。由于DL 故障識別和定位模塊傳輸故障類別為1，即功率衰減故障，中央控制器依次分析b 鏈路和c 鏈路最近一段時間的功率變化趨勢，通過功率變化范圍判斷（例如功率降低范圍超過4 dBm）鏈路是否產生異常，從而得出c 鏈路故障。最后，中央控制器通過App 處理模塊獲取業務的優先級和所屬服務類型等信息，將c 鏈路通過BV-WSS 切換到備份鏈路進行故障恢復。

圖4 實驗測試平臺

接收端統計的是每秒收到的幀數，當數據分組大小為1024 B 時，8 Gbit/s 約為950000 frame/s。當c 鏈路功率衰減異常時，接收端的帶寬降為約600000 frame/s，低于QoS 異常監測模塊的閾值。c鏈路上OPM 監測的功率隨時間變化趨勢如圖6(a)所示。OPM 上功率恢復時延經過5次測量取平均值，約為1.97 s。恢復時延主要包括OPM 掃描光譜、DL 故障識別和定位模塊進行故障初步識別和定位、中央控制器下發光流表和BV-WSS 重新配置切換鏈路的時延。圖6(b)展示的是業務主機B 的接受帶寬隨時間變化趨勢，端到端恢復時延約為2.99 s，之所以比OPM 上功率的恢復時延要長，主要是由于本文通過商用的分組發送工具來模擬端上的2個業務主機進行通信，然而分組發送工具接收端帶寬以秒級進行更新，會對端到端的恢復時延造成一定的影響。

在IP 層，通過加背景流的方式使Switch ID 為2的可編程交換機產生擁塞。背景流發送速率為4 Gbit/s，業務主機A 和業務主機B 之間通信速率為8 Gbit/s，可編程交換機的端口最大接受速率為10 Gbit/s。因為IP 層的擁塞會導致分組丟失，從而導致接收端帶寬變低，所以QoS 異常監測模塊通過監測接收端的帶寬來判斷是否有異常發生，然后將異常信息報告至DL 故障識別和分類模塊。DL 故障識別和分類模塊接收到異常信息后，對ML-INT 數據進行分析，并將故障識別和定位結果報告至中央控制器，其數據分組和圖5(b)所示的數據格式相同，故障類型為電層擁塞（對應數字為3），switch ID 1和2傳輸的分別為擁塞交換機的上一跳可編程交換機（switch ID 為1）和擁塞的可編程交換機（Switch ID 為2）的switch ID。中央控制器結合NTD 存儲的底層拓撲信息，通過RSAM 從上一跳可編程交換機進行重路由，避免擁塞的可編程交換機。

圖5 Wireshark 抓取數據分組驗證NNS 架構

圖6 EON 層故障分類、定位和恢復

圖7(a)展示的是switch ID 為2的交換機上排隊時延變化趨勢，正常階段下排隊時延約為0.1μs，擁塞時最高排隊時延達到120μs 以上。圖7(b)展示的是接收端帶寬變化趨勢。經過5次測量求平均值，可編程交換機上的排隊時延恢復時間約為0.85 s，接收端的帶寬恢復時延約為1.99 s。由于分組發送工具接收端的帶寬數據以秒級進行更新，導致端到端的帶寬恢復時延長于可編程交換機的恢復時延。

4.2 NNS 架構可擴展性驗證

為了進一步展示NNS 架構帶來的可擴展性優勢，如圖8所示，通過仿真的方式產生多組數據，橫坐標是數據量，每組數據包括時延、功率和OSNR；縱坐標表示對應數據量下所需要的故障分類時間。分類時間在顯卡為GeForce GTX 1080Ti的GPU 上進行測試。當數據量低于100組時，分類時間約為0.2 s，當數據量高于10000組時，分類時間明顯增多。NNS 采取的是基于ML-INT 的分布式網絡數據分析，神經網絡所需的數據量基本在100組以下。傳統的純帶外遙測集中式地對數據面數據進行分析，當網絡設備和鏈路增多，或者需要采取比鏈路級別更加精細的網絡監測與定位時（例如需要精確定位到鏈路中具體的設備是否故障，需要監測的數據量進一步增加），都會顯著增加神經網絡的分類時間和定位時間。值得注意的是，因為純帶外收集數據的方式沒有結合App-level 端到端的異常信息，需要時刻對獲取到的數據進行分析；而NNS 架構在無異常發生時，不需要對收集到的數據進行分析，僅需在產生異常時對數據進行初步識別和定位，因此NNS 架構在一定程度上減輕了神經網絡的處理負擔。

圖7 IP 層故障分類、定位和恢復

NNS 架構采取App-level 的分布式方式分析，因此無異常發生時，中央控制器進行粗粒度的帶外遙測，異常發生時再對故障光路進行細粒度的帶外遙測。純帶外遙測方式的傳統架構為了實現細粒度和實時的網絡監測，無論是正常還是異常階段，中央控制器都需要進行細粒度的帶外遙測。圖9展示了NNS 架構和傳統架構在正常情況和異常情況下南向通信量的比例。本文設定粗粒度的輪詢時間間隔為10 s，細粒度的輪詢時間間隔為1 s。為了確保通信分組的大小相同，本文用同一個OPM 進行實驗，通過Wireshark 獲取中央控制器一段時間（10 min）內接收到的平均分組速度。如圖9所示，通過5次實驗獲取平均值，正常階段下，NNS 架構與傳統架構的每秒平均分組速度比為0.379:2.359；異常階段下，兩架構每秒的平均分組速度之比為1:1。當發生異常的頻率較低時，NNS 中央控制器每秒平均分組速度將遠低于傳統架構，進一步減少了控制器的負擔，增加了可拓展性。

圖8 AI 模塊分類時間趨勢

圖9 中央控制器南向通信量對比

5 結束語

本文提出了基于深度學習的跨層網絡業務性能感知系統，融合了分布式網絡監測與集中式網絡管控的優點，實現了細粒度和實時的網絡監測。本文通過搭建小規模的實驗平臺，實現并展示了NNS 架構的優勢。無論IP 層還是EON 層產生異常，NNS 架構都可以精確快速地進行故障分類、定位和恢復。同時，通過故障識別和定位時間與中央控制器南向通信量的比較，NNS 架構相比傳統的純帶外監測系統，有著更加良好的可拓展性。