基于Q學習異構網絡干擾協調算法

錢進++郭士增++王孝

摘 要： 在LTE?A中采用異構網絡能提高用戶的性能，但是由于小區間使用相同的頻譜資源，產生了小區間干擾，影響了用戶性能，從而需要采用小區間干擾協調技術來控制小區間干擾（ICI）。雖然現有的小區間干擾協調技術可以降低小區間干擾，但是存在Macro用戶性能影響較大的問題。為此，提出了基于Q學習的ETPS算法，在不影響Macro用戶性能的前提下，降低小區間干擾。仿真結果表明，QL?ETPS算法較傳統固定ABS/RP?ABS子幀配置方案性能更優，可以在盡量不影響Macro基站用戶的前提下，提高Pico基站邊緣用戶的吞吐量。

關鍵詞： 干擾協調； 異構網絡； Q學習算法； Macro?Pico； 吞吐量

中圖分類號： TN913?34 文獻標識碼： A 文章編號： 1004?373X（2016）23?0013?04

Q?learning based interference coordination algorithm for heterogeneous network

QIAN Jin1， GUO Shizeng2， WANG Xiao2

（1. Navy Military Representative Office in the 3rd Institute of CASIC， Beijing 100074， China；

2. Communication Research Center， Harbin Institute of Technology， Harbin 150080， China）

Abstract： The heterogeneous network adopted by long?term evolution?advance （LTE?A） system can improve the user performance. The inter?cell interference （ICI） is generated and the user performance is influenced due to the shared frequency spectrum among the inter?cells， so it is necessary to adopt the inter?cell interference coordination （IC） technology to control the ICI. Although the existing inter?cell interference coordination technology can reduce the ICI efficiently， but influence the Macro user performance greatly. To solve this problem， a Q?learning based enhance transmission power subframe （QL?ETPS） algorithm is proposed， which can reduce the ICI on the premise of ensuring the Macro user performance. The simulation results show that the performance of the proposed QL?ETPS algorithm is better than that of the conventional fixed ABS/RP?ABS configuration scheme， and can improve the throughput of the Pico base station edge user while ensuring the performance of Macro base station user.

Keywords： interference coordination； heterogeneous network； Q?learning algorithm； Macro?Pico； throughput

0 引 言

LTE?A定義的異構網絡是在發射功率較大的Macro基站下，在信號范圍的死角或者用戶稠密的地方架設發射功率較小的低功率基站如Pico基站等，來提高用戶的性能。異構網絡不僅縮短了網絡與用戶之間的距離，而且能提升單位面積的頻譜效率。由于頻譜資源的缺乏，同時也為了提高頻譜效率，LTE?A系統采用頻率復用的方案同頻組網，但是由于Macro基站和Pico基站使用相同的頻譜資源，小區間復用的頻譜越多，帶來的小區間干擾越嚴重，進而影響小區邊緣用戶的數據速率，因此必須采取有效的方法對小區間干擾進行控制。

3GPP Release 10/11提出了解決異構網絡中干擾問題的增強型小區間干擾協調技術（enhanced Inter?Cell Interference Coordination，eICIC）。eICIC可以分為功率控制、頻域干擾協調和時域干擾協調三類技術方法。功率控制技術[1?3]是在Macro基站與低功率基站組成的異構網絡中，通過調整Macro基站的發射功率大小來減輕對低功率基站用戶的干擾以提高這些用戶的性能。頻域干擾協調技術[4?6]將不同的資源塊分配給相鄰小區，讓這些資源相互正交，可以減輕小區間干擾。頻域上也可以使用載波聚合方法進行干擾協調，載波聚合方法通過將多個連續或者非連續的成分載波聚合起來，用來實現更大的傳輸帶寬，最大可達100 MHz，能有效提高用戶的上下行傳輸速率并最大限度地利用頻譜資源。時域干擾協調技術[7?9]的基本思想是干擾源基站（如Macro基站）在某些子幀上保持靜默，不發送數據信號，以減小對被干擾基站用戶的跨層干擾，這些子幀就叫做幾乎空白子幀（Almost Blank Subframe，ABS）。以上小區間干擾協調技術可以有效降低小區間干擾，但是對Macro用戶性能的影響比較大。因此，本文提出了基于Q學習的ETPS（Q Learning based Enhance Transmission Power Subframe，QL?ETPS）算法，在盡量不影響Macro基站用戶性能的前提下，降低小區間干擾，同時提高Pico基站邊緣用戶的吞吐量。

4 結 論

本文基于ABS子幀的思想，首先設計了一種面向Pico基站的ETPS幀，Pico基站可以根據自身情況靈活地改變增加的功率大小和ETPS幀的密度。針對Macro?Pico網絡的干擾問題，提出了一種基于Q學習的干擾協調算法QL?ETPS，將ETPS幀的配置作為Q學習的動作，Pico基站邊緣用戶的SINR作為Q學習的狀態，通過迭代獲得Q值表，選取最優值作為ETPS幀的配置。仿真結果表明，本文提出的QL?ETPS算法較傳統固定的ABS/RP?ABS子幀配置方案性能更優，可以在盡量不影響Macro基站用戶的前提下，提高Pico基站邊緣用戶的吞吐量。

參考文獻

[1] KOLEVA P， ASENOV O， ILIEV G， et al. Interference limited uplink power control based on a cognitive approach [C]// Proceedings of 2012 35th International Conference on Telecommunications and Signal Processing. [S.l.]： IEEE， 2012： 242?246.

[2] TABASSUM H， YILMAZ F， DAWY Z， et al. A statistical model of uplink inter?cell interference with slow and fast power control mechanisms [J]. IEEE transactions on communications， 2013， 61（9）： 3953?3966.

[3] BITON E， COHEN A， REINA G， et al. Distributed inter?cell interference mitigation via joint scheduling and power control under noise rise constraints [J]. IEEE transactions on wireless communications， 2014， 13（6）： 3464?3477.

[4] LOPEZ?PEREZ D， CHU X， ZHANG J. Dynamic downlink frequency and power allocation in OFDMA cellular networks [J]. IEEE transactions on communications， 2012， 60（10）： 2904?2914.

[5] HUANG C H， LIAO C Y. An interference management scheme for heterogeneous network with cell range extension [C]// Proceedings of 2011 13th Asia?Pacific Network Operations and Management Symposium. Taoyuan， China： IEEE， 2011： 1?5.

[6] MAO X， MAAREF A， TEO K H. Adaptive soft frequency reuse for inter?cell interference coordination in SC?FDMA based 3GPP LTE uplinks [C]// Proceedings of 2008 IEEE Global Telecommunications Conference. Salt Lake City： IEEE， 2008： 1?6.

[7] DEB S， MONOGIOUDIS P， MIERNIK J， et al. Algorithms for enhanced inter?cell interference coordination （eICIC） in LTE HetNets [J]. IEEE/ACM transactions on networking， 2014， 22（1）： 137?150.

[8] L?PEZ?P?REZ D， CLAUSSEN H. Duty cycles and load ba?lancing in HetNets with eICIC almost blank subframes [C]// Proceedings of 2013 IEEE 24th International Symposium on Personal， Indoor and Mobile Radio Communications. [S.l.]： IEEE， 2013： 173?178.

[9] JIANG L， LEI M. Resource allocation for eICIC scheme in he?terogeneous networks [C]// Proceedings of 2012 IEEE 23rd International Symposium on Personal Indoor and Mobile Radio Communications. [S.l.]： IEEE， 2012： 448?453.