一種基于聯邦學習資源需求預測的虛擬網絡功能遷移算法

唐 倫 吳 婷 周鑫隆 陳前斌

(重慶郵電大學通信與信息工程學院 重慶 400065)

(重慶郵電大學移動通信重點實驗室 重慶 400065)

1 引言

網絡功能虛擬化技術(Network Function Virtualization, NFV)可將傳統網絡硬件資源轉化為虛擬網絡資源，并在通用服務器上實例化為虛擬網絡功能(Virtual Network Function, VNF)處理網絡業務，這實現了網絡的靈活與高效運用[1]。在NFV中，網絡服務請求由一系列按既定順序排列的VNF處理，這樣有序排列的VNF集合稱為服務功能鏈(Service Function Chain, SFC)[2]。由于網絡流量的動態變化，VNF的資源需求與底層物理資源的可用性不匹配導致網絡性能下降，或使某些物理節點的資源利用率較低增加多余能耗開銷，利用VNF遷移技術可以保證網絡性能和降低網絡系統能耗。

現有許多文獻已經研究了VNF的遷移問題，文獻[3]研究如何優化SFC重配置以響應不斷變化的網絡流量需求和資源限制，并基于實時的網絡信息提出一種基于禁忌搜索的VNF遷移算法，然而文獻[3]缺少對VNF資源需求預測使VNF遷移存在“滯后”的時延問題。文獻[4]提出一種基于在線深度信念網絡的VNF資源需求預測方法，其根據預測結果提前遷移資源使用過載物理節點上的VNF保證網絡性能，文獻[5]提出一種基于圖神經網絡的VNF資源需求預測算法，并基于預測結果優先制定一種基于深度Dyna-Q學習的遷移策略，但是文獻[4,5]所提多任務集中預測方法不僅會增加數據集中節點的數據訓練負擔從而降低數據訓練效率，也會由于上傳數據至集中節點訓練造成數據泄露，甚至可能由于集中節點的內存不足以滿足大規模數據訓練要求導致數據無法訓練。

綜上所述，本文針對VNF遷移“滯后”帶來的時延問題，引入一種雙向門控循環單元(Bidirectional Gated Recurrent Unit, Bi-GRU)進行VNF資源需求預測，為緩解現有集中式機器學習存在的數據訓練負擔問題，本文引入聯邦學習(Federated Learning, FL)框架輔助Bi-GRU模型訓練，并基于此提出一種聯邦雙向門控循環單元(FedBi-GRU)的VNF資源需求預測算法，使各個預測模型在各自物理節點上訓練從而緩解集中式節點訓練負擔和避免數據泄露風險。基于預測結果，以最小化VNF遷移后系統能耗為目標制定VNF遷移策略，又考慮到最小化能耗極有可能使網絡資源使用不均衡，使系統難以容忍未來動態流量變化造成頻繁遷移的問題，本文又引入負載均衡使系統更加穩定。由于網絡流量的動態變化導致VNF的遷移決策問題多維且復雜，考慮到深度強化學習在高維復雜的空間中獲得較好的優化效果，本文引入一種分布式近端策略優化(Distributed Proximal Policy Optimization, DPPO)的深度強化學習算法為VNF遷移做決策。

2 系統模型

2.1 網絡場景

2.2 網絡模型

2.2.1 物理網絡

2.2.2 SFC

2.2.3 網絡能耗模型

本節研究如何優化VNF遷移后的系統能耗，系統能耗主要來自底層物理節點能耗，物理節點能耗包括其運行狀態能耗和狀態切換能耗。運行狀態能耗主要為物理節點能夠運行的基礎能耗和負載能耗，物理節點的負載能耗與其上的CPU資源利用率成正比[6]，狀態切換能耗主要由物理節點開斷電產生[7]。因此物理節點n的CPU資源利用率表示為

2.2.4 負載均衡模型

其中，ω1和ω2分別表示CPU和存儲資源對網絡系統負載均衡影響的權重因子，本文假設兩種資源對網絡系統的影響相同，設ω1=ω2=0.5。

2.3 優化目標

綜上所述，本文的優化目標為最小化VNF遷移過后的網絡系統能耗和資源方差，由于系統能耗數量級遠遠大于資源方差，故對聯合優化目標進行歸一化，具體表示為

3 基于FedBi-GRU的VNF資源需求預測算法

3.1 基于在線訓練的Bi-GRU預測算法

本文首先利用Bi-GRU算法對VNF的資源需求進行預測以便制定后續遷移計劃，Bi-GRU是一種雙向的門控循環單元(Gated Recurrent Unit,GRU)，其計算原理與GRU相同[13]。

3.2 聯邦多任務訓練過程

網絡流量流經一條SFC，其上的VNF會存在豐富關聯信息，而上述預測方法只針對單個VNF的資源需求預測，這忽略了SFC上VNF之間信息的關聯性，致使資源預測模型泛化性不足。由此文獻[4,5]針對此問題提出一種集中式多任務模型訓練方法，然而這種集中式模型訓練方式存在數據泄露風險、數據集中節點數據存在訓練負擔，甚至會由于集中節點的內存不足以支持大規模數據訓練導致數據無法訓練。

因此，本文針對上述問題，提出一種基于聯邦學習的分布式VNF網絡資源需求預測框架—FedBi-GRU，該框架使VNF在各自部署的物理節點上根據本地數據進行Bi-GRU預測模型訓練，省去數據上傳過程，只需上傳模型訓練參數，并在SDN控制器處對各個VNF模型參數進行聚合以保證SFC上各個VNF的豐富關聯信息，訓練過程如下所示：

4 基于DPPO的VNF遷移算法

根據上述FeBi-GRU算法得到VNF資源需求預測結果，計算底層物理節點資源利用率，根據資源使用閾值判定過載或輕載的物理節點并根據優化目標制定遷移計劃。因此，本節提出一種基于DPPO的深度強化學習算法求解上述遷移優化目標。該算法首先將上述優化目標轉化成馬爾可夫決策過程(Markov Decision Process, MDP)模型，其次通過DPPO算法求解該MDP模型得到優化目標函數的近似最優解。

4.1 MDP模型

4.2 DPPO訓練過程

本文結合了A3C的異步優勢和近端策略優化(Proximal Policy Optimization, PPO)的收斂性能優勢，提出一種基于DPPO的VNF遷移算法。DPPO算法利用A3C多智體訓練的框架，擁有1個全局網絡和多個智能體網絡，全局網絡和多智體網絡擁有相同的PPO結構。各個智能體被放置在不同的線程中獨立進行隨機模型訓練，并定期向全局PPO網絡推送損失函數的梯度，全局PPO網絡將所收集梯度用來更新全局參數，智能體可從全局網絡下載參數。DPPO采用了PPO新舊動作策略限制更新幅度的方式，因此DPPO需要考慮新舊動作策略的放置，本文將新生成的動作策略放入全局PPO網絡中，而智能體的本地PPO網絡則采用舊的動作策略與環境進行交互更新網絡參數，詳細過程如下所述：

基于DPPO的VNF遷移算法如表1所示。

表1 基于DDPO的VNF遷移算法

5 仿真與性能分析

5.1 仿真參數設置

本文針對VNF資源需求預測和遷移方案進行了實驗仿真，有關網絡的仿真參數如表2所示。

表2 仿真參數

5.2 VNF資源需求預測

本文將所提FedBi-GRU算法與多任務Bi-GRU、單任務Bi-GRU預測算法進行了性能比較，這3種算法都在真實數據集archive[17–19]上進行評估。本文以預測一條SFC上4個VNF的CPU資源需求為例，4個VNF分別使用10000條CPU數據，訓練集與測試集按7:3進行。Bi-GRU網絡選用隱藏層數為2，隱藏單元為20，時間步長為5，學習率為0.005的結構。多任務Bi-GRU在兩層Bi-GRU的基礎上添加回歸層sigmoid[4,5]進行集中式訓練，3種算法最大迭代次數為300。本文使用均方根誤差(Root Mean Square Error, RMSE)衡量3種算法的預測性能，RMSE公式為

本文截取SFC上的一個VNF的30個CPU資源預測數據進行3種算法的對比，如圖2和圖3所示，不難看出FedBi-GRU與多任務Bi-GRU對VNF的CPU資源需求預測效果相差不大，而單任務Bi-GRU的預測效果最差。這是因為多任務Bi-GRU和FedBi-GRU使多個相關訓練任務共享VNF之間的豐富關聯信息，在提高預測精度的同時也提升了Bi-GRU模型的泛化性。但是FedBi-GRU作為一種分布式機器學習方法，不僅減輕了數據集中節點的訓練負擔也提高了數據訓練效率，同時避免了內存短缺問題，因此FedBi-GRU算法在VNF的資源需求預測上具有可行性。

5.3 VNF遷移算法

基于DPPO的VNF遷移算法，線程設置為4,Kmax=M=500，本地PPO網絡學習步長為50，折扣因子γv=0.99, Actor和Critic學習率都取0.001。

從圖4、圖5可以看出當CPU資源使用閾值上限為0.5，下限為0.1時，網絡系統的能耗最低和網絡資源方差最小，這是因為隨著CPU資源使用閾值的下降，物理節點迸發的VNF遷移數量也越多，DPPO遷移算法能有效利用網絡系統中物理節點的CPU資源，使整個網絡系統的能耗和網絡資源方差越小，網絡系統的負載均衡能力越好。

本文將所提DPPO算法與文獻[4]所提基于禁忌搜索的VNF遷移算法(TDMA)和A3C算法做了對比，圖6和圖7展示了不同算法在CPU資源使用閾值上下限為0.5,0.1時的對比，由此可知本文所提DPPO遷移算法在網絡系統能耗和負載均衡方面取得了更好的效果。TDMA遷移算法在能耗和負載均衡方面效果較差，這是因為TDMA算法為一種啟發式算法，隨著SFC數量的增加，VNF映射的解搜索空間變得大而復雜，導致TDMA算法極易陷入局部最優解，使得更多遷移中的VNF映射到其鄰域物理節點，使整個網絡系統的資源利用不均衡，所以其能耗和網絡資源方差相對其他算法來說較大。A3C與DPPO算法利用多個智能體全面探索網絡環境，能尋找更豐富多樣的VNF映射解空間，因此隨著SFC數量增多，VNF數量映射動作增多時，能夠更加有效利用網絡資源，使得物理節點資源使用更加均衡，更加節省網絡系統的能耗，所以兩種算法的性能優于單智能體的PPO算法。DPPO算法的基礎框架采用了PPO架構，A3C算法采用的是演員-評論家(Actor-Critic, AC)學習架構，PPO作為改進的AC算法，其利用新舊動作策略限制了VNF映射策略的幅度，使得VNF重映射更加穩定，所以提高了DPPO算法在VNF重映射的性能。

6 結束語

本文研究了網絡切片環境下的VNF遷移問題，首先針對VNF遷移“滯后”性問題，本文提出一種基于分布式聯邦學習的雙向門控循環單元預測VNF的資源需求問題，并基于預測結果提出了一種分布式近端策略優化算法提前制定VNF遷移計劃以保證網絡服務的連續性。仿真結果表明，本文所提分布式資源預測機制有較高的預測精度。另外，本文所提分布式近端策略優化算法在降低網絡系統能耗和保證負載均衡方面也起到了較好的作用。