基于上下文學習的電力物聯網接入控制方法

周振宇，賈澤晗，廖海君，趙雄文，張磊

（1.華北電力大學新能源電力系統國家重點實驗室，北京 102206；2.東南大學移動通信國家重點實驗室，江蘇 南京 210096；3.國網山東省電力公司電力科學研究院，山東 濟南 250003）

1 引言

電力物聯網（PIoT,power Internet of things）是實現電力系統各環節萬物互聯、人機交互的工業級物聯網，基于深度的感知能力和先進的信息通信技術提高電網精準控制、智能調度的水平，推動傳統電力系統向能源互聯網轉變[1]。配用電是電網的重要場景之一，配用電電力物聯網的建設對分布式能源友好接入、新型負載彈性承載以及用戶多樣性用能需求保障具有重要作用。然而，由于無線資源和計算資源的限制，配用電電力物聯網中海量終端的并發接入極大地增加了接入網的承載壓力，導致網絡擁塞、過載等問題，嚴重威脅電網的安全穩定運行。因此，海量終端的接入控制問題一直是備受關注的研究熱點。

6G 系統將在5G 系統“萬物互聯”的基礎上進一步拓展至“萬物智聯”[2]，為解決配用電電力物聯網海量終端的接入控制問題提供了可能。一方面，與5G 相比，6G 時代終端連接密度將可提高100 倍，達到每平方千米1 億。另一方面，人工智能（AI,artificial intelligence）技術將進一步提高接入控制和資源管理的智能化水平[3]。現有的接入控制技術可分為競爭和非競爭兩大類。針對競爭接入場景，文獻[4]提出了一種自適應調整接入類別限制（ACB,access class barring）因子的方法，基于最小均方算法優化ACB 因子的選擇策略，提高了高擁塞期間的接入成功概率，降低了接入時延。文獻[5]提出了一種分組群呼預退避方案，有效提高了終端資源共享的公平性。文獻[6]提出了一種動態隨機接入資源分配機制，通過引入終端序號對終端加以區分，進而降低前導碼沖突概率。然而，競爭接入控制技術依賴于基站與終端之間的頻繁信令交互，只適用于連接密度不高的場景，難以滿足爆炸式增長的終端接入需求[7]。與競爭接入控制技術相比，非競爭接入控制技術具有信令開銷低、資源利用率高、承載能力大等優點。第三代合作伙伴計劃（3GPP,the third generation partnership project）在Release14中引入了快速上行鏈路授權技術[8]，允許獲得上行鏈路許可的終端在沒有發送任何調度請求的情況下直接在基站預分配的信道上進行數據傳輸，降低信令開銷和接入沖突發生的概率。文獻[9]介紹了快速上行鏈路授權技術的基本原理，探討了海量終端接入場景下快速上行鏈路授權面臨的機遇與挑戰。文獻[10]提出了一種基于壓縮感知技術的快速授權信令，允許時延敏感型終端在接收授權信令后立即進行上行鏈路訪問，降低了接入時延。然而，現有技術大多基于全局信息已知的假設，在實際應用中具有局限性。由于網絡資源與信令開銷的限制，基站無法準確獲得海量終端的全部信息，包括終端狀態、信道增益、隊列積壓等。綜上所述，面向高密度、萬物智聯的6G 電力物聯網接入控制研究在國際上仍處于起步階段，迫切需要對全局信息不確定場景下的接入模型、接入控制算法、仿真驗證等方面進行深入研究。

強化學習是解決全局信息不確定場景下連續決策問題的有效方法，已被廣泛應用于終端接入控制方面的相關研究。文獻[11]介紹了2 種基于強化學習的無線接入技術：基于毫米波的智能切換技術和基于多主體強化學習的多無線接入技術（Multi-RAT,multi-radio access technology）。文獻[12]提出了一種基于強化學習的基站選擇算法，終端通過自組織的方式選擇負載較輕的基站接入，有效解決了接入點選擇問題，緩解了網絡擁塞。文獻[13]利用強化學習解決了非授權用戶信道選擇問題，通過減少信道轉換過程，降低了接入時延，提高了系統容量。文獻[14]提出了一種基于強化學習的路由選擇方法，通過利用與基站交互獲得的反饋信息，動態優化路由選擇策略，降低了路由開銷。然而，以上研究均將終端作為策略學習優化主體，要求終端具有較強的算力和能量資源，在計算資源受限、低功耗的電力物聯網中不再適用。此外，上述研究均假設所有終端在每個時隙都處于活躍狀態，而電力物聯網終端僅在有數據傳輸時處于活躍狀態，其余時隙則處于休眠狀態。文獻[15]提出了一種基于強化學習的快速上行鏈路授權方案，通過優化信息價值、最大可容忍接入時延與傳輸速率的加權和，降低接入時延，提高網絡吞吐量。然而，該方案忽略了海量終端接入場景下終端能量效率對網絡長期性能的影響，以及不同終端的差異化接入需求，容易導致信息價值低、最大可容忍接入時延高與傳輸速率低的終端產生嚴重的數據隊列積壓，影響數據的及時傳輸。

為了解決電力物聯網海量終端接入沖突嚴重、隊列積壓大、能量效率低等問題，本文采用快速上行鏈路授權技術和強化學習，提出了基于上下文學習的接入控制（CLAC,context-aware learning-based access control）算法，在保障終端接入服務質量需求的同時，提升網絡總能量效率。首先，基于強化學習理論，將基站建模為智能體，進行上行鏈路授權策略和收益的設計，并利用李雅普諾夫優化對長期的優化目標與約束進行解耦。其次，基站在每個時隙初預測活躍終端的集合，并根據終端性能上界選擇終端分發授權，獲得授權的終端進行數據傳輸，計算能量效率與接入性能的加權和并反饋給基站。最后，基站依據終端反饋更新所執行策略的性能上界，通過不斷迭代實現策略優化。

2 系統模型

2.1 接入模型

基于快速上行鏈路授權的配用電電力物聯網多小區海量終端接入模型如圖1 所示。

圖1 基于快速上行鏈路授權的終端接入模型

整個網絡由J個小區和K（K＞＞J）個終端組成，每個小區包含一個基站、一個邊緣服務器及若干待接入終端。其中，基站為終端提供無線接入服務，邊緣服務器與基站位于相同位置并提供計算服務。基站集合表示為S={s1,s2,…,sJ}，終端集合表示為U={u1,u2,…,uK}。定義基站sj所覆蓋終端集合表示為Nj?U，基站sj與基站sj′覆蓋重疊區域內的終端集合表示為Nj∩j′=Nj∩Nj′。本文采用時隙模型，總時間周期被劃分為T個等長的時隙，每個時隙的長度為τ，總時隙集合表示為T={1,2,…,T}。假設在一個時隙內基站與終端之間的信道狀態信息是不變的，而在時隙間發生變化。由于配用電電力物聯網終端的事件驅動激活或周期性激活等特點，本文假設終端具有2 種狀態，即活躍態與休眠態，當終端具有數據傳輸需求時，自動處于活躍態；否則處于休眠態。在每個時隙初，基站預測處于活躍態的終端集合并選擇終端分發上行鏈路許可，獲得授權的終端可與基站建立連接并進行數據傳輸。由于傳統云計算技術在配用電海量終端并發接入時存在網絡通信壓力大、傳輸成本高等缺點，本文考慮采用邊緣計算技術[16]，即終端將任務數據卸載到邊緣服務器進行處理。系統參數如表1 所示。

表1 系統參數

2.2 任務傳輸模型

本文采用任務劃分模型[16]，將任務劃分為有限個相同大小的子任務。假設每個時隙初到達終端uk的子任務數量為Ak(t)個，每個子任務的大小為ρ，所有的數據首先被存儲在uk的本地任務緩存區中。當uk與基站建立連接時，將任務數據卸載到邊緣服務器進行計算。存儲在uk本地緩存區中的任務數據被建模為隊列qk，隊列積壓為Qk(t)，其在第t+1個時隙初的隊列積壓為

其中，Uk(t)表示uk在第t個時隙卸載到邊緣服務器的任務數據量。定義活躍指示變量為ak(t)，當終端存在數據傳輸需求時，即Qk(t)＞0，終端處于活躍態，表示為ak(t)=1；否則處于休眠態，表示為ak(t)=0。定義授權指示變量為x k,j(t)，x k,j(t)=1表示在時隙t終端uk獲得基站sj的許可，否則x k,j(t)=0。

考慮上行數據傳輸，終端uk與基站sj之間數據傳輸的信噪比為

其中，PTX,k是傳輸功率，gk,j(t)是第t個時隙uk與sj之間的信道增益，Bk,j是傳輸帶寬，N0是噪聲功率譜密度。因此，傳輸速率[17]為

終端uk在第t個時隙傳輸到基站sj的數據量為

終端uk在第t個時隙的吞吐量為

2.3 能量效率模型

在第t個時隙，終端uk將任務數據卸載到基站sj的能耗為傳輸功率與傳輸時延的乘積，即

uk將任務數據卸載到sj的能量效率定義為吞吐量U k,j(t)與能耗E k,j(t)的比值，即單位能量可以傳輸的數據量大小，單位為bit/J[18]，表示為

2.4 接入服務質量需求模型

令Xk,T和分別表示終端uk在T個時隙獲得基站授權的總時隙數和處于活躍態的總時隙數，則

接入服務質量需求模型可定義為

其中，ηk∈(0,1]表示uk的接入服務質量約束。考慮到電力物聯網終端差異化的接入服務質量約束，可以通過合理設置不同類型終端的ηk參數值，滿足海量終端差異化的接入需求。

2.5 優化目標

本文的優化目標是在接入服務質量需求的長期約束下，最大化網絡總能量效率。因此，優化目標表示為

其中，C1表示基站可授權的終端數量為M；C2表示在每個時隙，每個終端只能被一個基站授權進行數據傳輸；C3為接入服務質量需求長期約束。

3 算法設計

3.1 問題轉化

由于短期的基站決策與長期的優化目標和約束相耦合，P1難以直接求解。借助李雅普諾夫優化中虛擬隊列[19]的概念，可以將接入服務質量需求長期約束 C3轉化為隊列穩定性約束。定義一個接入服務質量需求赤字虛擬隊列Fk(t)，其更新計算式為

式(12)的意義為，終端uk在第t個時隙實際接入性能與規定要求之間的偏差。

根據李雅普諾夫理論，定義向量ψ(t)=[Fk(t)]，李雅普諾夫函數表示為

李雅普諾夫漂移定義為L(ψ(t))在連續2 個時隙變化的期望值，表示為

在接入服務質量需求的長期約束下，定義漂移減獎勵來權衡最小化漂移或最大化獎勵，即最小化接入服務質量需求赤字或最大化能量效率，表示為

將式(13)和式(14)代入式(15)并化簡，可得漂移減獎勵的上界為

其中，C為常數，不影響李雅普諾夫優化。因此，將P1轉化為最小化漂移減獎勵的上界（或最大化漂移減獎勵上界的相反數），表示為

其中，θk,j(t)是漂移減獎勵上界的相反數，即能量效率和接入性能的加權和，表示為

其中，VEE和VFFk(t)分別為能量效率和接入性能的權重。相似的計算式推導可見文獻[20-21]。

3.2 MAB 理論與UCB 算法

轉化后的問題P2 可以建模為一個多臂老虎機（MAB,multi-armed bandit）[22]問題，并利用上置信界（UCB,upper confidence bound）[23]算法求解。

傳統MAB 模型假設一個老虎機存在多個搖臂，玩家反復從多個搖臂中選擇一個執行，每次執行后，玩家都會從一個穩定的概率分布中得到一個數值獎勵，即回報。MAB 問題是指玩家如何在有限次的動作中最大化累積收益。

UCB 算法是強化學習中解決MAB 問題的一個有效方法。玩家在每次決策中選擇性能上界估計值最大的搖臂，觀察收益，并更新其性能經驗估計值作為下一次決策的依據。第k個搖臂的性能上界為

其中，zk(t)表示到時隙t選擇第k個搖臂獲得的累積回報；nk(t)表示到時隙t第k個搖臂被選擇的總次數；?＞0表示算法對探索的偏好，其值越大代表越傾向于探索，反之表示越傾向于利用。zk(t)/nk(t)表示到時隙t第k個搖臂的性能經驗估計值。置信區間表示估計值的不確定度，其值隨著該搖臂被選擇次數的增加而減小，意味著性能經驗估計值逐漸接近搖臂的實際期望值。

3.3 CLAC 算法

基于MAB 理論，本文將基站和終端分別建模為玩家與搖臂，并利用基于終端狀態感知的UCB算法求解基站累積收益最大化問題。

傳統MAB 問題假設所有終端在每個時隙都是可用的，并不適用于終端具有活躍和休眠2 種狀態的場景。因此，本文考慮一種改進的動態MAB 問題，即活躍終端的集合是隨時間動態變化的。然而，快速上行鏈路授權架構下，基站無法感知所有終端的狀態，當基站在時隙t選擇了一個處于休眠態的終端時，由于該終端沒有數據傳輸需求，會造成資源浪費。因此，本文考慮基站具有一個活躍終端預測算法[24]，預測算法可根據網絡流量模型在每個時隙預測終端uk的活躍概率Pk(t)，并建立一個活躍終端集合。本文所提CLAC 算法可與多種活躍終端預測算法組合使用，具有較強的擴展性和兼容性。

考慮2 種類型的網絡流量，即周期性流量和事件驅動型流量。由于傳統UCB 算法在解決動態MAB 問題時具有局限性，本文結合預測算法對其進行了改進，并在傳統UCB 算法的基礎上加入了終端狀態感知，其性能上界為

其中，z k,j(t)表示到時隙t基站sj選擇終端uk獲得的累積回報，n k,j(t)表示到時隙t終端uk處于活躍態且被授權的總時隙數，表示到時隙t終端uk處于活躍態的總時隙數。與傳統UCB 算法相比，本文算法只計算所選終端活躍的總時隙數，而不是算法迭代的總次數，能夠保證V k,j(t)的計算更準確。z k,j(t)、n k,j(t)以及的更新式分別為

本文所提CLAC 算法如算法1 所示，包含3 個階段，分別為初始化階段、決策階段和學習階段。

算法1CLAC 算法

本文所提CLAC 算法具有以下優點。

1) 終端狀態感知。基站基于終端狀態感知僅在活躍終端集合中選擇終端授權，避免因將授權分發給休眠終端而導致資源浪費，降低網絡性能。

2) 接入服務質量需求感知。基站基于接入服務質量需求感知動態優化終端授權策略。例如，當終端uk實際接入性能與規定要求偏離嚴重時，Fk(t)會逐漸增大，使基站為其授權，保證其接入性能。

4 仿真分析

4.1 仿真參數設置

本文通過對比不同的仿真算法來驗證所提CLAC 算法的性能，對比算法設置如下。

1) 能量效率接入控制（EEAC,energy-efficient access control）算法。該算法基于終端狀態預測算法最大化網絡總能量效率，而未考慮接入服務質量需求長期約束。

2) 基于學習的接入控制（LAC,learning-based access control）算法。該算法在接入服務質量需求長期約束下最大化網絡總能量效率，但未考慮終端狀態預測。

3) 快速上行鏈路授權（FULG,fast uplink grant）算法[8]。該算法隨機向終端分發上行鏈路授權，未考慮終端接入服務質量需求約束、能量效率以及狀態預測。

仿真參數設置如表2 所示。

4.2 仿真結果分析

不同算法下網絡性能的對比如圖2 所示。圖2(a)～圖2(d)分別顯示了4 種算法下網絡平均能量效率、平均隊列積壓、滿足接入服務質量需求的終端比例和平均接入服務質量需求赤字積壓隨時隙的變化情況。

由圖2(a)可以看出，由于只考慮了能量效率優化，EEAC 算法的能量效率性能最優，但隨著時隙的增加，所提CLAC 算法逐漸逼近EEAC 算法的性能。

由圖2(b)可以看出，所提CLAC 算法性能最優，能夠將隊列積壓維持在較低水平，相較于EEAC 算法、LAC 算法和FULG 算法，平均隊列積壓分別降低了77.90%、97.68%和83.83%。

表2 仿真參數

由圖2(c)可以看出，所提CLAC 算法性能明顯優于其他3 種算法，相較于EEAC 算法、LAC 算法和FULG 算法，滿足接入服務質量需求的終端比例分別提高了15.07%、77.46%和54.95%。綜合圖2(a)和圖2(c)可以看出，CLAC 算法實現了能量效率與接入性能的平衡，在保證終端接入服務質量需求的前提下，盡可能使網絡總能量效率最大化，而EEAC算法則通過犧牲終端接入性能換取更高的能量效率。

圖2 不同算法下網絡性能對比

由圖2(d)可以看出，由于具備終端狀態感知和接入服務質量需求感知，CLAC 算法可以使接入服務質量需求赤字積壓最小。結合圖2(c)和圖2 (d)可知，LAC 算法滿足接入服務質量需求的終端比例較低，但接入服務質量需求赤字積壓較小，這是因為LAC 算法考慮了接入服務質量需求約束，將授權頻繁地分發給接入服務質量需求較高的終端，而忽略了大量接入服務質量需求較低的終端。綜合圖2 可以看出，CLAC 算法綜合性能最優。

圖3 顯示了CLAC 算法終端平均能量效率和滿足接入服務質量需求的終端比例隨預測準確率的變化情況。可以看出，隨著預測準確率的提高，終端平均能量效率與滿足接入服務質量需求的終端比例均增大。原因在于，當預測準確率較低時，基站會頻繁地為休眠終端分發授權，導致活躍終端無法接入，造成資源浪費，降低網絡整體性能。當預測準確率達到0.6 時，CLAC 算法平均能量效率超過2×106bit/J，滿足接入服務質量需求的終端比例可達0.6。結合圖2 可以看出，當預測準確率達到0.6 及以上時，CLAC 算法性能均優于LAC 算法和FULG 算法。文獻[9,24]研究了終端狀態預測算法，且具有良好的預測準確率。因此，CLAC 算法具有實用性。

圖3 CLAC 算法性能隨預測準確率的變化

圖4 顯示了終端平均能量效率和滿足接入服務質量需求的終端比例隨α的變化情況，其中α為VEE與VF的比值，用于表征終端對能量效率和接入服務質量需求的關注度。仿真結果表明，隨著α的增大，終端越來越關注能量效率而忽略接入性能，因此終端平均能量效率逐漸增加，滿足接入服務質量需求的終端比例逐漸下降。此仿真結果為實際應用中VEE與VF的設置提供了參考，在接入服務質量需求約束下，通過合理設置VEE與VF參數值可以提高網絡性能。

圖4 CLAC 算法性能隨α 的變化

定義終端活躍而未被授權的情況為接入失敗。圖5 分別顯示了4 種算法下終端接入失敗次數隨接入服務質量需求的變化關系，以一個終端為例，圖5中的點表示其接入失敗。由圖5(a)可以看出，在CLAC 算法中，接入失敗次數隨著接入服務質量需求的增大而減小。從圖5(b)可以看出，在EEAC 算法中，接入服務質量需求為0.8、0.9 的終端接入失敗次數明顯多于接入服務質量需求為0.6 的終端，且與接入服務質量需求為0.2、0.3 的終端基本相同，終端接入失敗次數并不會隨接入服務質量需求的增加而減少，因此EEAC 算法不具有接入服務質量需求感知能力，無法滿足終端差異化的接入服務質量需求。由于LAC 算法與CLAC 算法均具有接入服務質量需求感知能力，因此LAC 算法接入失敗情況的趨勢與CLAC 算法基本一致。但LAC 算法不具有終端狀態感知能力，導致活躍終端接入失敗次數增加。由圖5(a)和圖5 (c)可以看出，LAC 算法較CLAC算法點更密集，即終端接入失敗次數更多。分析數值結果表明，相較于LAC 算法，CLAC 算法的接入失敗次數可降低45.97%。FULG 算法下終端接入失敗的總次數較多，且不同接入服務質量需求的終端接入失敗情況大致相同，終端的差異化接入服務質量需求未得到滿足。

5 結束語

圖5 終端接入失敗次數隨接入服務質量需求的變化

本文針對電力物聯網海量終端接入沖突嚴重、隊列積壓大、能量效率低等問題，提出了具有終端狀態感知和接入服務質量需求感知能力的CLAC算法。該算法在滿足終端接入服務質量需求的同時，能夠提高網絡總能量效率，降低隊列積壓。仿真結果表明，相較于EEAC 算法、LAC 算法和FULG算法，CLAC 算法滿足接入服務質量需求的終端比例可分別提高15.07%、77.46%和54.95%，平均隊列積壓可分別降低77.90%、97.68%和83.83%。未來將進一步研究基于流量建模和終端狀態預測的6G 電力物聯網接入控制算法。