基于異步優勢演員-評論家學習的服務功能鏈資源分配算法

唐 倫 賀小雨 王 曉 譚 頎 胡彥娟 陳前斌

(重慶郵電大學通信與信息工程學院 重慶 400065)

(重慶郵電大學移動通信重點實驗室 重慶 400065)

1 引言

網絡切片指在一個完整通用的物理基礎設施中，邏輯地分離網絡功能和資源，以保證不同通信應用場景中的服務質量(Quality of Service， QoS)需求[1]。每個切片絡包含有若干條相同服務類型的服務功能鏈(Service Function Chain， SFC)，每條SFC由若干有序虛擬網絡功能(Virtual Network Function， VNF)組成。系統需要根據用戶需求和相關約束，合理地將VNF放置在底層網絡并為其分配CPU、內存、帶寬等物理資源。在接入網中，用戶終端(User Equipment， UE)的移動性使得接入網切片環境更具動態性和未知性[2，3]。

在接入網切片網絡中，UE通過遠端無線單元(Remote Radio Unit， RRU)將數據傳輸到對應的SFC進行處理，形成了特殊的UE-RRU-SFC 3層關聯架構。因此，當UE移動時，首先會涉及到無線資源的重分配問題。文獻[4，5]考慮了UE的移動性和時變的數據到達率，通過優化無線資源分配來降低時延。但實際上，由于形成的UE-RRU-SFC 3層關聯架構，當UE從一個RRU覆蓋范圍移動至另一個RRU時，若當前RRU無法直接為其提供所需的SFC，則需要一條新路徑將UE的數據從當前RRU傳輸到對應的SFC。在這一過程中，不僅需要進行無線資源分配的調整、物理鏈路帶寬資源的重分配以及部分VNF遷移帶來的物理設備上計算資源的重分配[6]。同時，這些資源的分配方案會對系統時延產生影響。因此，在資源有限的網絡中，如何合理地設計SFC資源分配算法，從而提高資源利用率、降低系統時延是亟待解決的問題。

另一方面，由于UE的移動性和時變的數據到達率，需要適時地對資源進行調整。絕大多數文獻中，在調整或分配資源前，實際上都是在已知網絡資源狀態、UE信息以及當前VNF放置和資源分配的前提下，而事實上，這些全局信息往往很難獲得甚至無法獲得。文獻[7]提出了一種“共享賬簿”的概念，用于記錄和共享切片資源分配過程中所需的一些必要信息，且各個切片都具有修改和維護該賬簿的權限。但是并未對該種“共享賬簿機制”的實現展開討論。文獻[8]提出了一種基于區塊鏈的云架構，實現網絡各類資源信息在多臺設備上的共享和分布式管理。由于區塊鏈技術本身所具有的去中心化、集體維護性、自信任性、可驗證性和可追溯性等特點，提升了資源管理的可靠性和可信度[9]。

此外，隨著未來網絡規模的不斷增大且部署更加靈活，傳統方法難以解決高維度和高動態性的資源優化問題，因此智能資源管理成為當前研究的熱點。文獻[10]采用強化學習算法對SFC中VNF的調度問題進行研究，但由于該方案利用有限的離散值對連續動作進行量化，會破壞動作空間的完備性。文獻[11]采用基于策略梯度的算法(Policy-Based Algorithm， PBA)對SFC部署問題進行研究，其能夠在連續的動作空間中有效學習隨機策略，并獲得較好的收斂性，但易收斂到局部最優。文獻[12]首次提出了演員-評論家(Actor-Critic， A-C)學習算法，它結合了策略方案和值函數方案，使得在連續隨機策略方面有較好的優越性。然而，A-C學習只適用單智能體進行樣本采集，可能導致得到的樣本是高度相關的，從而隨空間維度增加，算法將難以收斂。

針對接入網切片中SFC資源分配所存在的諸多問題，本文提出了一種基于異步優勢演員-評論家學習(Asynchronous Advantage Actor-Critic， A3C)的SFC資源分配方案。主要貢獻包括：

(1) 考慮SFC資源分配過程需獲悉網絡全局信息但難以獲得的實際情況，包括UE位置信息、QoS需求、數據包到達信息，物理基礎設施中的無線資源、計算資源、鏈路帶寬資源信息以及目前VNF放置和資源分配情況信息等，提出一種基于區塊鏈的資源管理機制。通過引入區塊鏈技術，實現網絡全局信息的“分布式賬本式”存儲和管理，并進行可信可靠的共享、同步及更新，完成SFC資源分配過程的監督和記錄。

(2) 考慮接入網切片場景下形成的UE-RRU-SFC 3層關聯架構，建立UE移動和數據包到達過程時變情況下的無線資源、計算資源和鏈路帶寬資源的聯合分配模型，以優化系統時延并滿足UE的QoS需求。

(3) 將優化模型轉化為馬爾科夫決策過程(Markov Decision Process， MDP)進行求解。考慮到該MDP的狀態和動作空間連續且維度較大，狀態轉移概率也未知，采用A3C方法實現SFC資源分配策略的求解。

2 系統架構

2.1 接入網切片場景的SFC資源分配框架圖

圖1 接入網切片SFC資源分配框架

如圖1所示，基于5G C-RAN上行條件下，切片內的每個UE都擁有一條SFC進行數據傳輸。但是考慮到UE的移動性和數據包到達的時變性，需要考慮對SFC的資源分配進行適當地調整。UE的移動伴隨著SFC中的VNFs遷移，因此需要重新為遷移的VNFs分配計算資源、鏈路帶寬資源等，因此還會涉及到無線資源的調整。VNF遷移引起的網絡資源重配置這一過程也會帶來額外的時延。在圖1所示的物理層中，基于區塊鏈的分布式網絡資源管理思想，各個UE，RRU以及物理設備之間會以點對點(Peer to Peer， P2P)網絡進行信息泛洪，并通過共識過程保證各個物理設備上的信息同步且一致，實現網絡全局信息可信可靠的分布式存儲記錄。本文以聯盟區塊鏈的形式構建分布式賬本，相比于公有區塊鏈更加高效[13]。物理節點分為聯盟成員和輕節點兩類，目前存在的共識算法包括工作證明，股權證明，拜占庭容錯(Practical Byzantine Fault Tolerance， PBFT)等等[14—16]。對于不需要貨幣體系的聯盟鏈而言，常采用PBFT算法。進一步，為了減少區塊鏈網絡壓力和時間開銷，可省去傳統PBFT算法的確認階段[17]，因此本文采用此種優化的PBFT算法完成共識。

2.2 基于區塊鏈的資源管理機制

SFC資源分配過程主要分為全局信息同步和資源分配兩個模塊，分為3個步驟：

(1) 全局信息同步。不同UE會由自身私鑰對最新的位置信息、QoS信息以及數據包到達信息等進行簽名，不同的物理設備也會由其自身私鑰對最新的各類物理資源容量信息以及VNF放置和資源分配情況信息進行簽名。而后，這些信息經過P2P網絡進行泛洪，聯盟成員基于優化的PBFT算法執行共識過程，生成一個新的區塊并將包含該事務的新區塊加入到區塊鏈中。

(2) 基于A3C的SFC資源分配。基于A3C的網絡優化引擎通過同步區塊鏈數據查詢到最新的全局信息，而后通過A3C算法實現SFC資源分配策略的求解。

(3) 服務供應。根據策略優化結果，完成物理設備、鏈路上的VNF放置和各類資源分配，為UE提供服務。

3 問題建立

3.1 物理網絡模型

3.2 資源分配模型

3.3 優化模型

其中，Δ 是一個極小的常數，以避免分母為0的情況。

從而，在時隙t內UEu 傳輸數據的時延du(t)表示為

則系統中所有UE傳輸數據包的接入網切片總時延d(t)表示為

因此，系統中所有UE傳輸數據包的總平均接入網切片時延d 表示為

綜上，本文接入網切片場景的SFC資源分配問題可建立為基于無線資源、計算資源和鏈路帶寬資源聯合分配的時延最小化數學模型

在上述約束條件中，C1～C4分別代表無線資源、計算資源和帶寬資源分配約束；C5限制任意UE只能連接到1個RRU；C6限制任意VNF只能實例化在1臺物理設備上；C7限制任意VNF至多只能選擇1條物理鏈路傳輸數據；C8和C9確保任意SFC上相鄰的兩個VNF若是部署在不同的物理設備上，則這兩臺設備必須相鄰；C10表示任意UE只有連接到RRU才分配無線資源；C11和C12分別表示任意SFC只有當其虛擬節點即VNF映射到物理節點、虛擬鏈路映射到物理鏈路時，才分配計算資源和帶寬資源；C13表示任意UE產生的新路徑只有映射到了實際物理鏈路上才分配帶寬資源；C14和C15確保任意UE的QoS得到滿足，即無線傳輸速率高于最小可接受傳輸速率，數據傳輸時延低于最大可容忍時延。

4 基于A3C學習的SFC資源分配算法

4.1 MDP

4.2 A3C學習過程

由于UE的移動性和數據包到達的動態性，系統需要支持需求驅動和自動調整的服務供應，同時考慮到動作空間的連續性，本文引入了A3C學習來優化SFC的資源分配策略。該強化學習算法能并行地在環境中執行多個智能體的概念，不需要經驗池也能很好地進行更新[19]。

演員部分負責更新策略參數向量θa，其策略梯度公式表示為

5 仿真與性能分析

圖2 SFC數目與區塊鏈共識時延關系圖

圖3 區塊鏈節點CPU使用率

圖2描述了部署4， 6， 8個聯盟成員對區塊鏈共識時延的影響。一方面，隨著系統中SFCs數量的增加，區塊鏈共識時延隨之升高，這是由每條SFC對應的UE信息、以及各自的VNF放置信息、資源分配信息等都屬于網絡全局信息需要進行同步所導致。另一方面，聯盟成員數量的增加也會導致共識時延的升高。在優化的PBFT算法中，雖然部署更多的聯盟成員可以提高安全性和容錯性，但同時也會增大PBFT各個階段的信息廣播、交互過程的時間開銷，從而導致共識時延升高。

圖3描述了不同事務請求發送速率下，共識節點的CPU使用率。其中，在Caliper區塊鏈性能測試框架中，共識請求發送速率單位為每秒傳輸的事務個數。隨著事務請求發送速率的不斷增加，由于需要進行更多的共識過程，因此CPU使用率逐漸升高，同時平均請求成功接受率下降。所部署的聯盟成員的數量越多，意味著將進行更為復雜的共識過程，安全性和容錯性也得到提升，因此會占用更多的CPU資源。

設置系統中S F C 條數為5 0。取值δ=0.01，δ=0.05以及δ=0.001時的算法收斂過程如圖4所示。在800個學習回合中，不同δ取值的最終收斂系統時延值較為接近，但是當δ=0.01，曲線的波動或突變程度較小，且收斂速度更快。因此，在后續仿真過程中采用熵超參數δ=0.01。

圖4 不同熵超參數δ的A3C算法收斂性

圖5 不同學習算法的資源使用方差百分比

圖5所示為不同算法在不同SFC數量下的節點計算資源。方差越小說明VNF的放置和互連以及多條SFC之間的資源分配更加合理。基于A3C學習的SFC資源分配算法的結果都明顯低于基于A-C學習和PBA的算法，這是因為A3C采用多智能體并行學習，能夠更好地與環境進行交互，制定出更為合理的資源分配策略，而更加均勻地資源分配也是系統時延性能更為優越的直接原因。

6 結束語

本文考慮網絡全局信息難以獲悉的實際情況，針對接入網側UE的移動性以及業務到達的隨機性和動態性引起的系統時延問題，提出了一種基于A3C學習的SFC資源分配算法。本算法通過引入區塊鏈技術實現全局信息的“分布式賬本式”存儲和管理。考慮到UE的移動性，建立以最小化時延為目標的SFC多維資源聯合優化模型，并采用A3C學習算法進行資源分配策略求解。仿真結果表明，本算法能夠更加合理高效地利用資源，優化系統時延并保證UE需求。