基于情景感知的自組織網絡SON的協同優化管理

雷肖劍，劉二平，張 晶

(1.海裝天津局,天津 300000；2.海軍駐保定地區航空軍事代表室，河北 保定 071000；3.中國電子科技集團公司第五十四研究所，河北 石家莊 050081)

基于情景感知的自組織網絡SON的協同優化管理

雷肖劍1，劉二平2，張 晶3

(1.海裝天津局,天津 300000；2.海軍駐保定地區航空軍事代表室，河北 保定 071000；3.中國電子科技集團公司第五十四研究所，河北 石家莊 050081)

針對LTE網絡中的SON功能用例的協同管理問題，基于網絡狀態信息、關鍵技術指標(Key Performance Indicators,KPI)等情景信息，設計了一種LTE網絡中的多個自組織網絡(Self-Organized Network，SON)協同管理機制。結合強化學習理論，提出了一種SON用例間協同優化管理算法。以移動負載均衡用例(Mobility Load Balancing，SON1)和移動魯棒性優化用例(Mobility Robustness Optimization，SON2)為例，進行移動負載均衡和移動魯棒性優化和兩SON用例間的協同優化，從而在已知情景信息的前提下，實現網絡性能穩定提升。仿真結果表明，該算法可以有效地實現負載均衡并提升網絡穩定性，同時提升網絡吞吐量。

情景感知；自組織網絡；強化學習；移動負載均衡；移動魯棒性

0 引言

隨著多種無線接入技術的異構融合，未來無線網絡更加復雜，系統架構更加動態靈活，移動終端用戶所需的服務質量(Quality of Service，QoS)需求更加苛刻[1-2]。因此，未來網絡須自適應地滿足用戶需求，確保用戶高質量的業務體驗，同時保證未來網絡高效的運維管理[3-4]。然而，傳統的網絡優化和運維管理方法使得未來網絡運營開銷呈指數增長[5]。為確保無線網絡的自主配置和智能優化，部署快速動態調整、高運維效率的異構無線網絡(Self-Organized Network，SON)概念被引入LTE無線接入網中[6]。然而，不同的SON功能之間存在關聯，當根據不同的優化目標進行優化時，不同的SON功能之間可能沖突，從而影響網絡性能[7]。因此，合理協調各個SON功能，進行沖突避免，從而實現多個SON功能一致性和協同管理，有效改善網絡性能是當前重要的研究內容。

文獻[8]對SON自優化相關的場景用例如負載均衡(Mobility Load Balancing,MLB)、覆蓋和容量自優化(Capacity and Coverage Optimazation,CCO)和移動魯棒性(Mobility Robustness Optimization,MRO)等研究實例進行了詳細闡述。文獻[9-10]對SON功能的CCO用例進行了探討，結合網絡負載、覆蓋質量等網絡信息，通過動態改變電子下傾角的方式改變網絡覆蓋，提高網絡容量和優化網絡覆蓋。文獻[11]研究了自動鄰區配置關系用例，實現網絡參數的自動配置，減少人工運維成本，節省網絡開銷。文獻[12-17]針對網絡資源分配不均和網絡過載等問題，通過移動負載均衡用例的優化，從而均衡網絡資源并提升網絡性能。然而，在現有的文獻中，只是研究獨立的SON功能用例，優化獨立的網絡目標，對網絡性能的提升有限。但是面對復雜的異構網絡，需要優化多個關鍵性技術指標，同時從多層次、多維度對多個網絡目標進行聯合優化，即對多個SON功能用例實現有效的協同優化管理。

本文基于關鍵技術指標、網絡狀態等情景感知信息，結合強化學習算法，設計了一種LTE自組織網絡SON協同管理機制，并提出了一種有效的SON之間協同管理算法，以移動負載均衡(MLB，SON1)和移動魯棒性優化(MRO，SON2)為例，進行移動負載均衡SON1和移動魯棒性優化SON2之間的協同管理，從而在保證網絡負載均衡的前提下，實現無線網絡性能提升。

1 系統模型和問題描述

LTE網絡場景系統模型如圖1所示。在LTE異構網絡場景中，將無線網絡管理優化問題分解為多SON功能用例的決策行為，獨立的SON功能用例都看作一個控制環SONuc。因此，為實現整體無線網絡優化目標，通過運行相應的SON功能機制SONm，調整相關的無線參數，從而保證網絡的關鍵技術指標(KeyParameterIndicators,KPI)維持在給定的網絡目標值。其中，根據掉話率、阻塞率和網絡能耗等情景感知信息，通過運行SON功能用例計算并調整相應的無線參數，運行相應的SONm功能，進行異構網絡優化，并且確定觸發的SONm功能及其類型，從而實現網絡的優化管理。

圖1 LTE網絡場景系統模型

1.1 網絡系統模型

在本文中，整個異構無線網絡的自主優化過程，看作是自動控制系統中的獨立控制環問題。假設本文中的SON功能用例運行在相同的時間尺度上。在無線網絡運維優化過程中，根據控制系統的輸出參數(如網絡負載)以及可測量到的網絡參數(如掉話率、阻塞率等KPI指標)，動態調整控制系統輸入參數，因此當無線網絡進行同一時間尺度下的多個SON功能優化決策時，將SON用例間的目標沖突問題可以轉化為多目標優化問題[7]。

1.2 情景感知信息

情景感知信息：隨著異構無線網絡中的“數據風暴”的來臨，無線網絡更易感知獲取網絡用戶位置(室內、室外等)、網絡狀態(好、中、差等)、網絡性能指標(如掉話率、阻塞率等)等信息，即情景感知信息。

因此，在異構無線網絡的網絡管理優化過程中，把多個SONm之間的協同管理，轉化為在相同的網絡環境下的多個優化目標問題；每個單獨SON優化的過程可看作一個馬爾科夫過程，即無線網絡節點單獨的優化控制環SONuc。異構網絡SON協同管理模型如圖2所示。

圖2 異構網絡SON協同管理模型

假設網絡中運行著N個SONm機制，根據情景感知信息(如掉話率、阻塞率和網絡能耗等)，無線網絡對不同的SONm機制有著不同的要求，從而在網絡優化過程中，多個SONm協同管理問題轉化為多目標問題為：

s.t.fi(SONmi)>0,

wi>0。

(1)

式中，fi(SONmi)為第i個SONm的目標收益；wi為SONmi的權重，代表著無線對不同SON功能的運維管理需求。通過檢測多個SON調整的無線優化參數或目標優化值，判定SON之間是否存在沖突：如果無沖突，則每個SON智能體單獨進行優化；如果檢測到沖突存在，根據網絡狀態(好、中、差等)、網絡性能指標(如掉話率、阻塞率等)等情景感知信息，在不同的網絡情境下，調整不同SON的權重，從而實現網絡的整體性能優化。

2 SON協同管理機制

2.1 SON智能體模型

在本文中，結合強化學習理論，單個SON智能體模型包括4個部分：

① 網絡環境感知狀態集合S；

②SON智能體的操作行為集合A；

③ 狀態轉移函數：T:S×A→(S)；

④ 回報函數：R:S×A→R。在異構無線網絡優化過程中，智能體通過與周圍環境的交互過程，獲得網絡的情景信息。此外，在時間t時刻，智能體對無線網絡環境狀態st進行感知，并根據狀態st，選擇行為at。隨著無線網絡環境的改變，網絡環境從狀態st轉移到新狀態st+1，并且把產生的回報值rt+1反饋給智能體代理。在整個優化過程中，SON智能體代理把搜索最優的策略：π*:S→A，作為網絡優化的目標。其中，本文選擇最大化預期折扣值作為回報值：

(2)

(3)

選擇優化策略，即動作a∈A。然后網絡節點智能體回報值(即網絡效用)根據回報值和已有的Q值，終端更新Q值表中狀態s和所選動作對應的值：

(4)

(5)

式中，R(x,α)=E{r|s,a};π為所選的策略；α為學習因子。

2.2SON協同問題描述

以移動負載均衡SON1和移動魯棒性優化SON2為例，提出了一種基于強化學習的SON協同優化算法，旨在解決在LTE異構無線網絡中，移動負載均衡和移動魯棒性優化SON用例間協同管理問題。為了保障網絡覆蓋，假設宏基站不能調整參考功率。主要原因是：如果宏基站改變其參考功率，可能出現網絡中的宏基站和家庭基站同時減少自身覆蓋的情況，從而導致部分區域無網絡覆蓋的問題；此外，網絡負載均衡的優化問題主要面向小區邊緣的用戶，主要對家庭基站進行調整，因此不需要調整宏基站的參考功率。

在強化學習理論中，通過與周圍環境的交互過程，SON智能體獲得網絡狀態信息，并通過反饋信息，進行策略學習，最終獲得最優的策略，因此非常貼合SON功能應用場景。本文給出以下假設：無線網絡中的家庭基站(PICO基站)看作是自主決策的智能體。SON智能體運行相應的強化學習機制，并做出最優的參考信號功率控制策略。與此同時，本文考慮網絡中的KPI指標，例如阻塞率、掉話率以及吞吐量等指標。因此，把最優化上述的KPI指標作為無線網絡的最優化控制策略。假設以下情景感知信息(KPI指標)：呼叫阻塞率和網絡掉話率。對于LTE異構網絡中網絡負載，無線網絡中的物理資源塊，作為分配給用戶UE的最小物理資源單元，則物理資源塊利用率作為基站i的負載，表示為：

(6)

(7)

在網絡優化過程中，由于移動負載均衡SON1與移動魯棒性優化SON2優化目標不同，然而調整的無線參數是相同的(但調整方向相反)，從而使得這種移動負載均衡機制很可能引起切換參數優化調整的沖突[7]。因此，在時間t時刻，定義家庭基站i的效用函數為：

(8)

此外，在t時刻，宏基站的效用函數表示為：

(9)

θj,femto+θj,macro=1,

li,femto<σth,i, ?i∈π,

lmacro<σth。

(10)

式中，Ωi為接入基站i的用戶集合；θj,femto和θj,macro為用戶接入家庭基站和宏基站的指示因子;σth,i和σth分別分家庭基站i的負載門限值和宏基站的負載門限值。

2.3 算法流程

在求解上述問題時，結合情景信息，不同無線網絡狀態下確定無線網絡的性能優化目標，從而確定SON之間的權重，進行求解優化，具體過程為：

② 定義隨機值x,其中0

⑥ 對宏基站中用戶測量報告等感知信息，進行收集；

⑧ 結合上述中的計算Q值的公式，更新Q值的列表。

3 仿真結果

本文采用Matlab仿真軟件，針對所述問題及設計的的算法，進行了仿真驗證。主要仿真參數：ε=1，α=0.95，γ=1，10個家庭基站，60個資源塊，宏基站發射功率為46dBm，參考導頻功率范圍為[-140,-44]dBm。

在本文設計的算法中同時考慮了多個KPI指標，主要包括：網絡阻塞率、網絡吞吐量和網絡掉話率。仿真假定基于情景感知的強化學習算法滿足：如果家庭基站感知到主小區的宏基站發生過載問題，則自動調整參考信號功率，減少參考信號功率減少覆蓋區域，并且向鄰近家庭基站發送請求，增大鄰近基站的參考信號功率。結合設計相應的網絡效用函數，把移動魯棒性優化MRO和移動負載均衡MLB的沖突問題轉化為網絡多目標優化問題。

結合情景感知信息，圖3描述了本文算法機制下，LTE網絡中掉話率和阻塞率的變化情況，并與隨機分配的機制進行了對比。從仿真中可以驗證，設計的SON協同算法有效地降低了LTE網絡中的掉話率和阻塞率，提升了網絡性能。圖4描繪了強化學習優化過程中的平均吞吐量的變化情況，本算法有效提升了網絡吞吐量。通過上述仿真可以得出，結合情景感知信息，所設計的算法可以有效解決的多個SON用例之間的協同優化管理問題。

圖3 無線網絡的掉話率/阻塞率變化

圖4 無線網絡的平均吞吐量

4 結束語

針對日益復雜的異構無線網絡，隨著家庭基站的密集部署，SON用例更加至關重要。因此，結合網絡狀態、關鍵性技術指標等信息，設計了一種LTE網絡中的多個自組織網絡SON用例協同管理機制，結合強化學習理論，提出了一種SON用例之間協同優化管理算法。并且通過對SON功能用例進行了實例仿真驗證，實現了網絡性能穩定提升。仿真結果表明了該算法的優越性和有效性。

[1] 王 磊.綠色無線通信技術概述[J].無線通信技術,2013,22(3):34-38.

[2] 王軍選,王 蕾.基于主客觀權重的異構網絡選擇算法[J].無線通信技術,2014,27(3):1-4.

[3] 周 健.基于終端實時狀態的異構無線網絡選擇[J].無線電工程,2014(7):7-10.

[4] 顏薇芳.TD-LTE與LTEFDD融合組網可行性研究[J].無線電工程,2015(6):92-95.

[5] 房 耿.LTE-A系統中自組織網絡技術研究[D].南京：東南大學,2015.

[6] 許明元.5G自組網(SON)技術需求和架構的研究[J].廣東通信技術,2016(1):64-67.

[7] 孫菲菲.LTESON自優化網絡原理及應用[J].中國新通信,2015(23):25-27.

[8] 3GPPTR36.902,Self-configuringandSelf-optimizingNetwork(SON)UseCasesandSolutions,Rel-9[S],2009.

[9]SIOMINAI,VARBRANDP.AutomatedOptimizationofServiceCoverageandBaseStationAntennaConfigurationinUMTSNetworks[J].WirelessCommunicationsIEEE,2006,13(6):16-25.

[10] 夏永康,梁曉雯.LTE網絡天線下傾角自優化算法[J].無線電工程,2014(3):11-14.

[11]KIMD,SHINB,HONGD,etal.Self-configurationofNeighborCellListUtilizingE-UTRANNodeBScanninginLTESystems[C]∥ConsumerCommunicationsandNetworkingConference,2010 7thIEEE,2010:1-5.

[12]KWANR,ARNOTTR,PATERSONR,etal.OnMobilityLoadBalancingforLTESystems[C]∥IEEEVehicularTechnologyConferenceFall,2010,1:1-5.

[13] 余建濤,胡宏林,金圣峣，等.移動負載均衡與移動魯棒性優化的沖突協調[J].計算機工程,2012,38(1):37-41.

[14] 黃妙娜,馮穗力,陳 軍,等.LTE自優化網絡中MRO與MLB間沖突避免策略[J].華南理工大學學報 (自然科學版),2013(11):36-42.

[15]SHENGM.Zone-basedLoadBalancinginLTESelf-optimizingNetworks:AGame-theoreticApproach[J].IEEETransactionsonVehicularTechnology,2014,63(63):2 916- 2925.

[16]HEH,WENX.GameTheoryBasedLoadBalancinginSelf-optimizingWirelessNetworks[C]∥ComputerandAutomationEngineering(ICCAE),2010The2ndInternationalConferenceon.IEEE,2010:415-418.

[17]ZIAN.APolicyBasedConflictResolutionMechanismforMLBandMROinLTESelf-optimizingNetworks[C]∥IEEEComputerSociety,2014:1-6.

雷肖劍 男，(1987—)，碩士，助理工程師。主要研究方向：航空電子、測控工程。

劉二平 男，(1977—)，工程師。主要研究方向：自動化技術、信號與信息處理。

Cooperative Optimization Management Scheme of Self-organized Network (SON) Based on Context-aware

LEI Xiao-jian1,LIU Er-ping2,ZHANG Jing3

(1.TianjinMarineShippingOffice,Tianjin300000; 2.MilitaryAviationRepresentativeOfficeofPLANavyStationedinBaodingRegion,BaodingHebei071000,China； 3.The54thResearchInstituteofCECT,ShijiazhuangHebei050081,China)

In view of the coordination management problem in SON,this paper designs a cooperative optimization mechanism of SON in LTE network based on such context information as network state,key performance indicators,etc.A novel algorithm is designed to realize the cooperative optimization management between the SON cases with the aid of reinforcement learning theory.Taking the Mobility Load Balancing (MLB,used as SON1) and Mobility Robustness Optimization (MRO,used as SON2) as two cases,the cooperative optimization is realized between two SON1 and SON2 in LTE networks in order to promote the stability of network performance based on known information.The simulation results show this algorithm can effectively implement load balancing and promote network stability,and improve the throughput of network.

context-aware；self-organized network；reinforcement learning；mobility load balancing；mobility robustness

10.3969/j.issn.1003-3106.2017.04.03

雷肖劍，劉二平，張 晶.基于情景感知的自組織網絡SON的協同優化管理[J].無線電工程,2017,47(4):12-16.

2017-01-05

國家高技術研究發展計劃(“863”計劃)基金資助項目(2013AA122101)。

TN911.22

A

1003-3106(2017)04-0012-05