智能電網(wǎng)中兩階段網(wǎng)絡(luò)切片資源分配技術(shù)

尚芳劍，李 信，翟 迪，陸 陽，張東磊，錢玉文

（1.國網(wǎng)冀北電力有限公司信息通信分公司，北京 100044；2.全球能源互聯(lián)網(wǎng)研究院有限公司，北京 102209；3.南京理工大學(xué)電子工程與光電技術(shù)學(xué)院，南京 210094）

0 引言

近年來，許多國家、企業(yè)都致力于建設(shè)智能電網(wǎng)，并提升了智能電網(wǎng)安全水平。特別地，我國通過實施“互聯(lián)網(wǎng)+”戰(zhàn)略，全面提升智能電網(wǎng)信息化、智能化水平，充分利用現(xiàn)代信息通信技術(shù)、控制技術(shù)實現(xiàn)智能電網(wǎng)安全、清潔、協(xié)調(diào)和智能發(fā)展，為經(jīng)濟社會發(fā)展提供可靠電力保障［1-2］。另外，隨著通信業(yè)務(wù)規(guī)模不斷擴大，用戶需求的差異性越來越大，有限的頻譜資源也變得越來越緊缺。因此，利用網(wǎng)絡(luò)虛擬化技術(shù)實現(xiàn)資源共享的網(wǎng)絡(luò)切片技術(shù)應(yīng)時而生［3］。網(wǎng)絡(luò)切片是5G 網(wǎng)絡(luò)中的一項關(guān)鍵技術(shù)，利用該技術(shù)可實現(xiàn)靈活配置相互獨立虛擬網(wǎng)絡(luò)的功能［4］。目前，網(wǎng)絡(luò)切片資源分配已成為電力線系統(tǒng)的研究熱點。

目前，網(wǎng)絡(luò)切片分配主要針對不同業(yè)務(wù)類型對網(wǎng)絡(luò)的速率、時延等需求，為用戶分配虛擬網(wǎng)絡(luò)資源［5］。典型地，文獻［6］中為了使網(wǎng)絡(luò)切片中基礎(chǔ)設(shè)施供應(yīng)商、服務(wù)提供商和用戶都獲得較高的收益，提出了一種基于乘法器的分布式資源分配算法；但這種方法沒有考慮各切片業(yè)務(wù)不同的時延需求。為此，文獻［7］中考慮了網(wǎng)絡(luò)切片中業(yè)務(wù)到達和無線信道的動態(tài)變化，在此基礎(chǔ)上提出了基于正交頻分多地址（Orthogonal Frequency Division Multiple Access，OFDMA）的無線虛擬網(wǎng)絡(luò)中吞吐量最大化的資源分配方案；但這種方法只考慮了時頻資源，未充分利用頻譜資源。類似地，文獻［8］中基于每個網(wǎng)絡(luò)切片的統(tǒng)計時延服務(wù)質(zhì)量（Quality of Service，QoS）需求，并利用非正交多址接入技術(shù)提高了系統(tǒng)的有效容量，提出了利用每個網(wǎng)絡(luò)切片的最小預(yù)留速率來保證各網(wǎng)絡(luò)切片間的隔離性，解決了在虛擬無線網(wǎng)絡(luò)中最小化傳輸功率的資源分配問題。然而，這些研究工作均沒有考慮到用戶公平共享網(wǎng)絡(luò)切片的情況。為此，文獻［9］中提出了一種基于比例公平算法的半靜態(tài)網(wǎng)絡(luò)切片資源分配方案；該方法雖然考慮了不同類型的網(wǎng)絡(luò)切片，但同種類型切片的業(yè)務(wù)需求是固定的，不能滿足用戶的差異化需求。而為了優(yōu)化網(wǎng)絡(luò)切片分配，文獻［10］中將網(wǎng)絡(luò)切片的資源分配問題建模為雙凸優(yōu)化問題，實現(xiàn)網(wǎng)絡(luò)負載均衡的同時最小化鏈路成本。

近年來，在智能電網(wǎng)中應(yīng)用網(wǎng)絡(luò)切片技術(shù)，并進行切片分配也引起了國內(nèi)研究者的關(guān)注。例如，劉明月等［11］在闡述了電力業(yè)務(wù)分類及其特點的基礎(chǔ)上，分別從核心網(wǎng)與接入網(wǎng)入手對資源分配算法的研究現(xiàn)狀進行了綜述；特別地，該文獻針對智能電網(wǎng)業(yè)務(wù)種類繁多，從合理分配資源、適應(yīng)多類業(yè)務(wù)的各項需求出發(fā)，提出了資源最優(yōu)分配的方案，從而可以獲得用戶滿意的服務(wù)質(zhì)量。為了對資源進行動態(tài)分配，文獻［12］中提出了一種基于人工智能的5G 網(wǎng)絡(luò)切片資源分配策略。綜合以上工作后，甄巖等［13］針對電力通信網(wǎng)絡(luò)的特點，總結(jié)了電力通信網(wǎng)絡(luò)中實現(xiàn)網(wǎng)絡(luò)切片的技術(shù)挑戰(zhàn)，并提出了一種適用于電力異構(gòu)無線通信網(wǎng)絡(luò)的切片方案。

然而，現(xiàn)有的網(wǎng)絡(luò)切片虛擬資源分配算法主要側(cè)重于頻譜資源共享的研究，較少考慮不同業(yè)務(wù)類型的差異化需求。例如，文獻［14］與文獻［15］提出了一種資源共享比例受限的分配機制，該機制能夠提升網(wǎng)絡(luò)切片的資源共享能力，但沒有研究定制化資源分配問題。文獻［16］中提出了一種基于破產(chǎn)博弈的資源分配算法，實現(xiàn)了對云接入網(wǎng)絡(luò)切片的頻譜資源分配；該算法能夠有效提升頻譜資源利用率，但沒有考慮不同業(yè)務(wù)的差異化需求。不同業(yè)務(wù)類型對網(wǎng)絡(luò)速率、時延、可靠性等的需求不同，如何根據(jù)異構(gòu)化的業(yè)務(wù)需求只為用戶分配其所需的虛擬網(wǎng)絡(luò)資源，是網(wǎng)絡(luò)切片資源分配算法研究中需解決的關(guān)鍵問題［17-18］。此外，實際應(yīng)用中，用戶是依次在線到達的，因此，需要一種在線的切片資源分配方法，能夠及時、高效地在用戶提交業(yè)務(wù)請求后為其分配所需資源，提供定制化的切片服務(wù)。

為此，本文提出基于云-邊協(xié)同的網(wǎng)絡(luò)切片分配模型。為了在本地邊緣網(wǎng)絡(luò)中將網(wǎng)絡(luò)切片分配給用戶，本文使用拉格朗日乘子法來優(yōu)化網(wǎng)絡(luò)切片資源的分配方法；為了有效地將核心云中的切片資源分配給不同的邊緣代理，本文還引入了增強學(xué)習(xí)的方法來優(yōu)化網(wǎng)絡(luò)切片的分配。

1 系統(tǒng)模型

1.1 智能電網(wǎng)的切片劃分

智能電網(wǎng)存在業(yè)務(wù)多樣性以及對網(wǎng)絡(luò)的要求也不盡相同，如電力生產(chǎn)大區(qū)業(yè)務(wù)與管理信息大區(qū)業(yè)務(wù)。其中：電力生產(chǎn)大區(qū)業(yè)務(wù)包括配電自動化和毫秒級精準負荷控制；而在管理信息大區(qū)業(yè)務(wù)中包含了大量的用電采集類業(yè)務(wù)，因此需要根據(jù)業(yè)務(wù)需求對用戶進行隔離。一般地，智能電網(wǎng)業(yè)務(wù)需要毫秒級超低時延和超高可靠的網(wǎng)絡(luò)。基于以上需求，針對智能電網(wǎng)類業(yè)務(wù)，利用5G 網(wǎng)絡(luò)切片技術(shù)提供按需部署、高隔離性、端到端服務(wù)類保障的電力切片，才能滿足電力業(yè)務(wù)的需求。

智能電網(wǎng)中網(wǎng)絡(luò)切片系統(tǒng)的結(jié)構(gòu)如圖1 所示。在該結(jié)構(gòu)中，智能電網(wǎng)的切片系統(tǒng)由電力維護系統(tǒng)、切片管理系統(tǒng)和多個電力子站組成。電力子站通過不同的需求，由不同的電力切片來支撐。一般地，電力切片管理系統(tǒng)可以動態(tài)創(chuàng)建與回收電力切片。電力維護系統(tǒng)可以動態(tài)地監(jiān)控各種硬件資源，為切片管理系統(tǒng)提供實時監(jiān)控數(shù)據(jù)。

圖1 智能電網(wǎng)中網(wǎng)絡(luò)切片系統(tǒng)結(jié)構(gòu)Fig.1 Structure of network slicing system in smart grid

根據(jù)電力需求，一般可將用戶業(yè)務(wù)分為三種：增強移動寬帶（enhanced Mobile Broad Band，eMBB）、超高可靠超低時延通信（ultra-Reliable Low Latency Communications，uRLLC）和海量機器類通信（massive Machine-Type Communications，mMTC）。每個網(wǎng)絡(luò)切片由一系列虛擬網(wǎng)絡(luò)功能（Virtual Network Function，VNF）、運行這些網(wǎng)絡(luò)功能的資源以及連接這些功能的定向鏈路組成。

在實際電力系統(tǒng)中，針對不同電力業(yè)務(wù)的需求，使用的切片也不同。針對配電自動化業(yè)務(wù)、毫秒級精準負荷控制、分布式饋線自動化等業(yè)務(wù)，一般采用uRLLC 切片，因為這些業(yè)務(wù)具有超低時延，且具有超高的可靠性需求；針對分布式電源以及未來的海量通信類業(yè)務(wù)，一般采用mMTC切片，因為這些通信類業(yè)務(wù)具有較高的連接密度；對于增強帶寬類業(yè)務(wù)，一般采用eMBB切片，因為增強帶寬類業(yè)務(wù)有超大帶寬業(yè)務(wù)。

1.2 切片分配模型

網(wǎng)絡(luò)切片資源分配系統(tǒng)的模型如圖2 所示。在該模型中，網(wǎng)絡(luò)切片資源的分配過程兩個階段：第一階段，在邊緣網(wǎng)絡(luò)中，邊緣服務(wù)代理將不同的切片分配給所需的用戶；在第二階段，云服務(wù)器根據(jù)第一階段分配的結(jié)果將計算資源、存儲資源以及VNF 等分配給不同的邊緣網(wǎng)絡(luò)。這些邊緣網(wǎng)絡(luò)包括不同的物聯(lián)網(wǎng)、移動網(wǎng)絡(luò)以及各種電力業(yè)務(wù)網(wǎng)絡(luò)［19］。

圖2 智能電網(wǎng)中網(wǎng)絡(luò)切片資源分配分配模型Fig.2 Resource allocation model for network slices in smart grid

本文假定不同的切片部署在不同區(qū)域，且部署在不同區(qū)域的同種VNF 在時延、效率上表現(xiàn)出不同的性能。共有個n電力生產(chǎn)大區(qū)，每個區(qū)域的云資源可以共享。每個網(wǎng)絡(luò)切片中，同一區(qū)域同種類型的VNF 最多擁有一個，但可擁有多個部署于不同區(qū)域的同一類型VNF 實例。為保證切片性能，部署于某個區(qū)域的VNF只能在該區(qū)域內(nèi)共享。

在第一階段中，邊緣服務(wù)提供商根據(jù)用戶的不同需求分配不同的資源。服務(wù)提供商可提供多種虛擬資源，如虛擬頻譜資源、虛擬計算資源、虛擬存儲資源等。需要說明的是，第一階段用戶的資源請求被存儲在隊列系統(tǒng)中。該系統(tǒng)根據(jù)資源的類別分成不同類型的資源隊列，而針對同一類型的資源，也會根據(jù)任務(wù)的緊急程度、延遲敏感程度等生成不同優(yōu)先級的隊列。然后，在第二階段中，本文采用智能的資源調(diào)度算法，根據(jù)資源的數(shù)量、任務(wù)數(shù)量、隊列優(yōu)先級等進行資源分配。

2 邊緣網(wǎng)絡(luò)資源分配優(yōu)化

為了將頻譜資源最優(yōu)地分配給用戶，本文引入體驗質(zhì)量（Quality of Experience，QoE）作為衡量用戶傳輸速率的依據(jù)。由于頻率選擇效應(yīng)，可將通信信道轉(zhuǎn)換為多個并行平坦的衰落信道，不同的網(wǎng)絡(luò)切片使用不同的信道與頻率［20］。設(shè)un為第n種網(wǎng)絡(luò)切片，則使用這種網(wǎng)絡(luò)切片的吞吐量為：

其中：I是LM×LN階指示矩陣；為接收器的平均信噪比（Signal-to-Noise Ratio，SNR）；Rss是傳輸數(shù)據(jù)的相關(guān)矩陣；f是該切片的通信頻率；H是邊緣服務(wù)代理與終端用戶的信道矩陣。

由于邊緣服務(wù)代理（Agent Unit，AU）上執(zhí)行的服務(wù)程序是由終端發(fā)送的申請決定的，因此，定義wi∈{0，1}作為切片是否被訪問狀態(tài)。第i個終端用戶（Terminal User，TU）的信道速率為：

其中：pn和pI為其他蜂窩網(wǎng)絡(luò)的噪聲功率和干擾功率；pi是接收信號的功率；h是信道增益；T是信道的帶寬。

本文采用比例公平調(diào)度（Proportional Fair Scheduling，PFS）算法將資源分配給具有最高信道質(zhì)量的用戶［21］。然后，可以將第m個物理資源塊（Physical Resource Block，PRB）中的第k個TU分配子頻率f，則

其中：Tk(f)表示第k個TU 相對于f的平均吞吐量；ρk(m，f)是第k個TU的SNR，它與第m個PRB以及頻率相關(guān)。

另外，每個邊緣代理的總能耗為：

其中：η＞1是一個常數(shù)；Pcir為總電路功耗；an是第n個切片的優(yōu)先級；Pi，k是第i個TU 從第k個服務(wù)代理處接收到的功率；Pbh是回程的能耗。

這樣，云服務(wù)器可獲取每個服務(wù)需求的反饋值，如延遲、數(shù)據(jù)速率、功率、優(yōu)先級和切片類型等。基于這些參數(shù)，以QoE 最優(yōu)來分配網(wǎng)絡(luò)切片資源。則第n類網(wǎng)絡(luò)切片的QoE 表示為：

其中：Dn為n類網(wǎng)絡(luò)切片的總延遲；Cn為n類網(wǎng)絡(luò)切片的通信速率；Pn為n類網(wǎng)絡(luò)切片的傳輸速率；an是第n個切片的優(yōu)先級。

為了將問題簡單化，本文假定核心云可提供足夠多切片分配給邊緣用戶，則網(wǎng)絡(luò)切片中資源優(yōu)化問題可形式化為：

其中：τ是一個常數(shù)，用于判斷應(yīng)用程序是否對延遲敏感；l是延遲的要求；I{l＜τ}是一個指標函數(shù)，如果l＜τ則I=0，否則I=1；Rth是每個UE 的數(shù)據(jù)速率的閾值；Nn是相鄰網(wǎng)絡(luò)數(shù)；PI是相鄰AU 引起的總干擾；Pj和hj是TU 和第j個相鄰AU 之間的信道的發(fā)射功率和信道增益；Imax是總干擾閾值。

在式（6）給出的干擾條件中：第一個約束條件表示UE 正常工作的最小數(shù)據(jù)速率；第二個約束條件表示所有UE的整體數(shù)據(jù)速率小于某一個指定的值；第三個約束反映了分配給一個服務(wù)片的AU的能力限制；隨著5G的廣泛采用，微基站的數(shù)量急劇增加，為此，第四個約束用來形式化每個UE 的宏小區(qū)之間的干擾。在此基礎(chǔ)上，將式（6）轉(zhuǎn)換為：

由于式（6）是一個混合整數(shù)非線性規(guī)劃問題，其目標函數(shù)中存在連續(xù)變量。此時，很難用凸優(yōu)化方法解決。為此，將式（6）中目標函數(shù)轉(zhuǎn)換為：

其中：r是懲罰系數(shù)；p是由AU 的發(fā)射功率組成的向量；B(p)如式（9）。

為了解決以上優(yōu)化問題，本文設(shè)計了迭代算法求解最優(yōu)解，描述如下：

算法1 迭代求解算法。

3 云網(wǎng)絡(luò)切片優(yōu)化分配

3.1 切片分配的MDP建模

本文引入系統(tǒng)評估參數(shù)ξ，考慮資源利用率和QoE 滿意度，則ξ可表示為：

其中：η和?分別表示資源利用率和QoE；ηth和?th分別是η和?的閾值。ξ可以基于動作充分地表示一個狀態(tài)。以電力服務(wù)為例，它需要滿足嚴格的延遲和優(yōu)先級要求。在這種情況下，延遲Dn和an比傳輸能力和傳輸速率更重要。基于ξ，本文對云資源分配系統(tǒng)進行建模。

狀態(tài) 觀測數(shù)據(jù)可以通過神經(jīng)網(wǎng)絡(luò)被轉(zhuǎn)發(fā)到后續(xù)批次，同時狀態(tài)矢量可以作為特征矢量輸出。然后，定義狀態(tài)集為：

其中fNN表示神經(jīng)元網(wǎng)絡(luò)。

動作 遠程無線電頭（Remote Radio Head，RRH）將被聚在一起創(chuàng)建一個AU 以減少小區(qū)間干擾和降低切換過程的成本。

根據(jù)小區(qū)服務(wù)中TU 的地理分布，將AU 劃分為M個集群，每個集群應(yīng)僅分配給一項服務(wù)。因此，可以定義動作：

其中：n表示第n類網(wǎng)絡(luò)切片；M是動作集a的維數(shù)；ai具有兩個值1和0，指示第i個資源是否分配給第n個切片。

回報函數(shù) 在神經(jīng)元網(wǎng)絡(luò)中訓(xùn)練數(shù)據(jù)，根據(jù)其特征可以獲取動作集上的概率分布矢量。這一步可以最大化分布矢量的概率，使系統(tǒng)達到最佳性能。回報函數(shù)可以定義為：

其中，s表示狀態(tài)，詳見式（11）。通過分配切片，可以依據(jù)轉(zhuǎn)移概率從一個狀態(tài)轉(zhuǎn)移到任何時隙的其他狀態(tài)。此時，可以將系統(tǒng)建模為馬爾可夫決策過程（Markov Decision Process，MDP）。

3.2 基于增強學(xué)習(xí)的分配算法

圖3 基于增強學(xué)習(xí)的網(wǎng)絡(luò)切片資源分配算法示意圖Fig.3 Schematic diagram of resource allocation algorithm for network slices with reinforcement learning

在該框架中，Q是收益函數(shù)。資源分配的結(jié)果存放在分配結(jié)果數(shù)據(jù)庫中。通過使用目標神經(jīng)元網(wǎng)絡(luò)訓(xùn)練資源分配數(shù)據(jù)中的樣本數(shù)據(jù)，從而取得最優(yōu)收益。其中，第t個時隙的狀態(tài)-動作對的Q函數(shù)為：

其中：rt是第t個時隙的回報；ρ是學(xué)習(xí)率；γ∈(0，1)是確定將來回報值的貼現(xiàn)因子；st是第t個時隙的狀態(tài)；at是第t個時隙中選擇的動作。

在每個時隙中，代理可以依據(jù)當前狀態(tài)和回報來計算最佳Q值再選擇動作。根據(jù)當前狀態(tài)和所選動作，系統(tǒng)將在下一個時隙切換到新狀態(tài)。通過這種方法，可為每個時隙更新Q函數(shù)。環(huán)境通常是動態(tài)變化的，例如，系統(tǒng)可以根據(jù)信道容量來調(diào)整傳輸數(shù)據(jù)速率、調(diào)制方案和信道編碼率，因此，采用QoE 作為環(huán)境的主要參數(shù)。通過上行鏈路上載的信道質(zhì)量指標表示數(shù)據(jù)速率，該速率由信號與干擾加噪聲比和接收機的特性確定。為此，給出基于增強學(xué)習(xí)的網(wǎng)絡(luò)切片分配算法，如算法2所示。

算法2 基于增強學(xué)習(xí)的切片分配算法。

4 實驗及結(jié)果分析

本文通過仿真評估系統(tǒng)性能。首先，考慮在一個單獨切片中進行本地層中的資源分配，將字載波帶寬設(shè)為15 kHz，時隙設(shè)置為1 000 ms。在這種配置中，一個幀僅由一個時隙組成，因此，無線幀總共包含了10 個時隙。在異構(gòu)網(wǎng)絡(luò)中，基站的最大功率為4 W，PRB的最大功率為0.8 W。

當小型基站與宏基站共享同一頻譜時，系統(tǒng)可以通過時間、頻譜、功率等資源的自適應(yīng)分配來減少干擾［16］。本文假設(shè)不同的服務(wù)對數(shù)據(jù)速率有不同的要求，并且對總吞吐量也有要求。對于廣域級別，假設(shè)最大輸出功率低于46 dBm，以提供可接受的性能，并確保不受輻射影響。假定，5G 蜂窩系統(tǒng)假定在30～300 GHz 的毫米波頻帶內(nèi)工作。噪聲功率的頻譜密度為174 dBm/Hz。

為了比較本文方案與其他方案的優(yōu)缺點，實現(xiàn)了如下三種方案：

1）固定資源分配（FRA）：根據(jù)租戶及其優(yōu)先級，將AU 劃分為不同的等級。這些用戶設(shè)備根據(jù)其狀態(tài)被接收，然后根據(jù)寬帶信道質(zhì)量以及回程容量與遠程無線電前端相關(guān)聯(lián)。根據(jù)經(jīng)驗來分配每個租戶的比率。

2）動態(tài)資源分配（DRA）：考慮租戶及用戶設(shè)備的不同的優(yōu)先級。首先，基于QOE 要求及接入單元性能進行準入控制；然后，將所接入的用戶設(shè)備與遠程無線電前端相關(guān)聯(lián)，該前端根據(jù)其性能、功率及其他約束提供了高質(zhì)量的信道。

3）基于環(huán)境的資源分配（RRA）：考慮到了動態(tài)資源分配及環(huán)境變化的優(yōu)點，使用了本文3.2 節(jié)中機器學(xué)習(xí)方法來動態(tài)執(zhí)行。

本文的仿真中，利用50 臺終端用戶設(shè)備來進行分配，分配結(jié)果如圖4 所示，其中，ξ是用戶的滿意度度量。該實驗考慮到用戶設(shè)備的數(shù)據(jù)速率、功率、無線電資源，以及每個服務(wù)中每個參數(shù)的優(yōu)先級權(quán)重，RRA 的總體性能是最佳的。由圖4可知，本文提出的RRA性能略優(yōu)于DRA，這是因為該圖顯示的是一個服務(wù)的性能，而并非系統(tǒng)性能。其次，隨著信噪比的增加，F(xiàn)RA 的性能越來越差，其資源利用率也越來越低。第三，當服務(wù)對延遲敏感時，RRA 在公平性及延遲性上優(yōu)于其他算法。在延遲敏感切片中，高信噪比環(huán)境下的體驗質(zhì)量要低于需求閾值，所以ξ的值逐漸減小。

圖4 不同網(wǎng)絡(luò)切片的資源分配方案性能分析Fig.4 Performance analysis of different resource allocation schemes for network slices

圖5 中，給出了解決了云系統(tǒng)的優(yōu)化問題。本文利用包含語音、視頻及超可靠低延遲通信的三種場景，評估了采用強化學(xué)習(xí)來解決問題的性能。另外，用戶延遲分別為15 ms，5 ms 以及0.5 ms。通過圖5 可知，通過優(yōu)化系統(tǒng)資源利用率和切片QoE的加權(quán)求和，提出的RRA可達到了最佳性能。

圖5 不同方案的分配效能分析Fig.5 Allocation efficiency of different schemes

5 結(jié)語

本文基于網(wǎng)絡(luò)切片提出了一種智能電網(wǎng)中基于云-邊協(xié)同的網(wǎng)絡(luò)切片分配模型。為了配合這種云邊協(xié)同系統(tǒng)以及提高網(wǎng)絡(luò)切片的分配效率，提出一種基于兩階段的切片分配算法。在第一階段中，結(jié)合用戶的實際效益，優(yōu)化了本地網(wǎng)絡(luò)切片分配方法。在第二階段，通過把系統(tǒng)建模成馬爾可夫決策過程，然后利用增強學(xué)習(xí)的方法實現(xiàn)網(wǎng)絡(luò)切片的有效分配。仿真結(jié)果驗證了本文提出的兩階段優(yōu)化的網(wǎng)絡(luò)資源分配方法可以有效地為網(wǎng)絡(luò)切片分配所需資源。。