一種基于Q學習的網絡接入控制算法

馮陳偉，張 璘

（廈門理工學院光電與通信工程學院，福建 廈門361024）

一種基于Q學習的網絡接入控制算法

馮陳偉，張 璘

（廈門理工學院光電與通信工程學院，福建 廈門361024）

下一代無線網絡是多種無線接入技術共存的異構網絡，要充分利用各種無線網絡的資源，需要實現異構網絡的融合，但網絡融合卻面臨異構網絡環境下的接入請求控制問題。為此，在長期演進、無線局域網、設備直連構成的無線異構網絡下，提出一種異構網絡接入控制算法。根據不同的業務類型、終端移動性及網絡負載狀態，利用匹配系數所構成的回報函數，反映網絡對相應業務及移動性的貢獻程度，通過Q學習算法選擇合適的網絡接入方式。仿真結果表明，該算法具有高效的在線學習能力，能夠有效提升網絡在頻譜效用和阻塞率方面的性能，實現自主的無線資源管理。

異構無線網絡；接入控制；長期演進；設備直連；Q學習；資源管理；阻塞率；頻譜效用

DO I：10.3969/j.issn.1000-3428.2015.10.019

1 概述

隨著無線通信技術的發展，各種無線接入技術將在未來的通信環境中共存。由于不同網絡的重疊覆蓋、不同的業務需求以及互補的技術特點，協調異構無線網絡資源就變得尤為重要。許多聯合無線資源管理（Joint Radio Resource Management，JRRM）［1］的方法被提出，用于實現負載平衡和異構網絡選擇［2］。然而，許多現有的算法有的不能自主地進行網絡接入，有的不能動態地適應變化的無線網絡環境。網絡應根據實際環境情況進行自主學習，并不斷修改其策略實現網絡資源的自我管理。

強化學習（Reinforcement Learning，RL）［3］是學習代理通過與環境互動進行學習的算法。RL的目標是學習在每個狀態采取何種動作來最大化一個特定的指標。學習代理通過反復與控制環境進行交互，通過獎勵來評價其性能，從而達到一個最優決策。RL廣泛應用于機器人和自動控制［4］，同時因其靈活性和自適應性也被引入到無線通信系統的資源管理［5-8］。Q學習是 RL的一種方法，利用學習代理逐步構建一個 Q函數，試圖估計未來折扣代價以便于學習代理在當前狀態采取一定動作。目前，已有文獻將 Q學習應用于異構無線網絡的選擇中。文獻［9-10］研究了用于網絡接入控制的聯合Q學習算法，但算法并未對所接入的業務屬性進行區分。文獻［11］討論了基于 Q學習的資源自主聯合管理算法，雖然考慮了業務屬性但卻沒有考慮終端移動性的差異。文獻［12］區分了業務類型和移動性，但效用函數沒能反映帶寬的影響，且未將Q學習算法與其他算法進行對比，沒有體現出Q學習算法的優勢。文獻［13］提出了由蜂窩和femtocell網絡構成的異構網絡的基于Q學習的網絡選擇方案，將位于不同服務區域的用戶網絡選擇建模成一個動態演化博弈過程，利用 Q學習算法獲得均衡來實現網絡選擇。

針對以上問題，本文提出一種改進的基于Q學習的聯合異構無線網絡接入控制算法，引入設備直連（Device-to-Device，D2D）［14］通信模式，并根據業務類型、終端移動性和網絡負載狀態選擇合適的網絡接入。

2 Q學習算法模型

在RL系統中，具有學習能力的機器或各種系統都稱為學習代理。學習代理通過與控制環境的反復交互學習來獲取一個優化的控制策略。以這樣的方式從環境獲得強化信號（回報函數），從而使得評估的性能最大化［15］。

基本的RL模型組成如下：

（1）當前的環境狀態集合S=｛s1，s2，…，sm｝；

（2）學習代理的動作集合A=｛a1，a2，…，an｝；

（3）回報函數r；

（4）學習代理的策略π：S→A。

這些要素之間的關系如圖1所示［16］。 每一次迭代，學習代理獲得環境狀態s，并根據當前所選擇的策略選擇動作 a，此動作將在后續影響環境。環境在受到動作 a的作用后將會變為新的環境狀態s′，環境同時也產生強化信號 r并且反饋給學習代理。

圖1 RL的基本模型

學習代理根據強化信號 r更新策略，并繼續新的一次迭代過程。通過不斷嘗試，RL最終將會找到每個狀態對應的最佳策略 π*（s）∈A，從而最大化期望的長期累積回報，如式（1）所示：

其中，γ∈（0，1）表示折扣因子，體現了未來回報相對于當前回報的重要程度。根據Bellman最優準則，式（1）最大值為：

其中，R（s，a）表示 r（st，at）的數學期望；Ps，s′（a）是狀態s在動作a作用下到達狀態s′的轉移概率；Q學習是RL的一種方法，其優勢在于能夠在R（s，a）和Ps，s′（a）未知的情況下，利用Q值迭代最終找出最優的策略π*。

將策略π下的狀態與動作（s，a）映射為一個Q值，如式（3）所示：

由式（2）和式（3）得到：

為了獲得Q*（s，a），Q學習通過迭代的方式在每一個t升級Q值，如式（6）所示：

其中，α∈［0，1）為學習率。當 t→∞，若 α能以某種方式逐漸減小為 0，則 Qt（s，a）將收斂于最優值Q*（s，a），利用式（1）便獲得最優策略π*［17］。

3 基于Q學習的接入選擇算法

3.1 系統模型

系統模型是由LTE、W LAN以及D2D構成的異構無線網絡。LTE與WLAN是目前主流的網絡架構，并首次將5G的關鍵技術D2D模式引入，提出下一代的異構網絡的模型，如圖2所示。

圖2 異構網絡模型

D2D是在蜂窩網絡控制下的用戶間直連通信方式，由蜂窩網絡進行信令控制，業務傳輸在 D2D用戶間直接進行，不但可以為核心網絡進行分流，還具有傳輸速率高、延遲低等優點。當用戶終端在D2D設備覆蓋范圍內，并且可以與D2D設備直接通信或是利用D2D設備作為中繼進行間接通信時，用戶終端選擇D2D將很大程度提升網絡性能。模型中只考慮2種類型的業務，語音業務與數據業務。LTE，WLAN與D2D有著不同的特點，WLAN網絡更適合高帶寬的數據業務，LTE網絡由于其實時性與連續性的特點更適合語音業務，D2D網絡由于是直連通信方式，適合所有業務。然而，從終端移動性的角度考慮，LTE網絡更適合高速移動終端，WLAN網絡更適合低速移動或固定終端，而D2D網絡由于其覆蓋范圍最小，只適合固定終端。

結合以上模型，系統中的JRRM控制器利用Q學習算法，根據終端訪問的業務類型、終端移動性、網絡負載以及是否為D2D模式等條件，選擇合適的網絡進行接入。

3.2 問題映射

在將Q學習算法應用于無線異構網絡選擇前，需要將系統狀態、動作和回報等因素映射到實際的接入模型中，具體的映射過程如下所述：

（1）狀態集合S

所考慮的系統狀態包括模型中所有網絡的負載條件、業務請求類型、終端移動性。當LTE，WLAN，D2D網絡的負載條件一樣，也可能因為業務請求類型與終端移動性的不同而導致所選擇接入的網絡不同。將狀態集合定義如下：

其中，ν表示業務請求類型，只考慮語音業務與數據業務，用1與2分別表示2種業務類型；m表示終端移動性，將其簡化為2種狀態，靜止和運動，分別用1和2表示；l表示系統中的網絡負載條件，即每個網絡中已使用資源與總資源的比例。為降低系統運算復雜度，將l量化成若干個等級來構造Q值表。

一系列離散的會話到達或是結束事件都會影響網絡狀態，但是JRRM控制器在會話結束時不進行任何操作，只有在會話到達時才進行接入請求處理，因此，狀態集合指的是會話到達時的狀態，此時才啟用Q學習算法進行網絡接入選擇。

（2）動作集合A

在無線異構網絡中，JRRM控制器作為學習代理，根據狀態和學習經驗，為終端選擇適當的網絡接入。根據模型，考慮3個網絡組成的無線異構網絡，即LTE，WLAN與D2D網絡，因此，動作集合定義為：

其中，1表示選擇LTE網絡；2表示選擇W LAN網絡；3表示選擇D2D網絡。

（3）回報函數r

回報r（s，a）是用于評估在某個狀態 s下，會話請求被接入后所產生的即時回報。由于業務請求類型、終端移動性等因素，不同的網絡接入選擇將會對系統性能產生不同的影響，如果業務請求類型與終端移動性匹配所選擇的網絡，則累積頻譜效用將最大，否則它將會更小。同時，為了平衡網絡負載狀態，將回報函數定義如下：

其中，η（ν，k）表示業務請求類型ν與接入網絡k的匹配系數；η（m，k）表示終端移動狀態m與接入網絡k的匹配系數；β表示負載因子，表示所選擇網絡中的剩余資源與總資源的比例。具體值將在仿真部分說明。

式（9）可以簡單地描述如下：如果所選擇網絡能更好地匹配業務請求類型和終端移動性，則獲得匹配值將會較大，否則獲得的匹配值將較小。

然而僅僅最大化匹配值可能會導致資源利用的嚴重不平衡，特別是當特定會話連續到達網絡時。因此，JRRM控制器將根據負載因子β及時引導請求會話接入至低負載網絡，即負載因子 β具有一定的負載均衡作用。

同時，為了評價網絡性能，體現服務用戶所獲得的收益，定義比例公平的累積頻譜效用UPf，即：

其中，bj是為會話j所分配的帶寬。

3.3 算法實現流程

在綜合考慮了網絡的負載條件、業務類型以及終端移動性后，將 Q學習算法應用于無線異構的接入選擇中。基于在線學習的 Q學習算法包含2個方面。

（1）策略更新：為了學習最優決策，每一次迭代，學習代理以ε的概率隨機選擇一個網絡，以（1-ε）的概率選擇當前狀態下Q值最大的網絡。

（2）Q值更新：采用查找表的方式獲得每個狀態下各個動作的 Q值，并選擇最大 Q值的網絡，當遷移到下一個狀態時，Q值根據式（6）進行更新。

算法的實現步驟如下：

（1）初始化。將Q值表中的Q值都初始化為0，初始化折扣因子 γ、初始學習率 α0、初始探索概率 ε0。

（2）獲取當前狀態 s。當新的會話到達時，JRRM控制器收集相關狀態信息，包括當前每個網絡已使用的資源比例、業務請求類型、請求帶寬、終端移動性以及是否具有D2D模式等。

（3）選擇動作 a。根據當前狀態下各動作對應的Qt（s，a），基于ε貪婪策略選擇一個動作執行，即選擇哪一個網絡接入。

（4）根據式（9）獲得回報r與下一狀態s′。如果會話接入請求被網絡拒絕，r值為0。

（5）根據式（6）更新Qt（s，a）。

（6）更新參數。每一次迭代后，為了滿足收斂要求，需要對學習率α和探索概率ε進行更新。這2個參數在學習過程中，利用反比例函數規律逐漸減小為0。

（7）返回步驟（2）。

4 仿真結果及分析

在仿真模型中考慮新會話的發起以及業務請求發生在重疊區域。每個會話到達的時間間隔服從均值為20 s的指數分布，業務持續時間服從均值為80 s的指數分布，同時終端以概率P具有D2D通信模式。通過改變用戶強度系數u來模擬網絡的繁忙程度，用戶強度系數越大，則網絡接入數越多。業務只考慮語音業務與數據業務，且語音業務的帶寬請求為1個～2個資源塊，數據業務的帶寬請求為3個～5個資源塊，網絡負載l被均勻量化成10個等級。其他仿真參數見表1，其他參數中，折扣因子γ=0.8，初始學習率α0=0.5，初始探索概率ε0=0.5，D2D通信概率P=匹配系數的相對大小反映了網絡對相應業務及移動性的貢獻程度。

表1 仿真參數設置

仿真首先評估基于Q學習的JRRM算法（Q-learning Algorithm，QLA）的阻塞率與頻譜效用。作為比較，還仿真了未使用強化學習的基于負載均衡的JRRM算法（Load Balancing Algorithm，LBA）和未考慮JRRM概念的隨機接入算法（Random Access Algorithm，RAA）。

圖3與圖4給出了3種算法的阻塞率和累積頻譜效用隨用戶強度系數變化的情況。

圖3 阻塞率隨用戶強度系數變化的比較

圖4 累積頻譜效用隨用戶強度系數變化的比較

從圖3可以看出，隨著用戶強度系數變大，網絡逐漸變為繁忙，使得阻塞率逐漸變大，因此3個算法阻塞率的趨勢均一樣。RAA算法阻塞率最大，因為網絡可用資源這一狀態沒有被考慮，網絡選擇非常盲目，很可能選擇一個滿負載網絡進行接入，從而導致阻塞概率增加。利用LBA算法，則會話請求總是接入到低負載網絡，這樣每一個網絡都不容易出現飽和現象，大大降低網絡的阻塞率，因此，網絡的阻塞率是3個算法中最小的。QLA算法考慮了網絡負載狀態這一參數，即考慮不同網絡間的負載均衡，還兼顧網絡對業務以及移動性的匹配性，網絡阻塞率

介于RAA算法與LBA算法之間。

從圖4可以看出，隨著用戶強度系數變大，接入網絡的呼叫總數也將增大。根據累積頻譜效用的定義，網絡將累積接入呼叫所產生的效益，使得累積頻譜效用逐漸變大，因此，3種算法累積頻譜效用的趨勢均一樣。從獲取的累積頻譜效用來看，QLA算法的性能要高于RAA算法與LBA算法，這是因為累積頻譜效用函數包含的匹配系數反映了網絡對相應業務及移動性的貢獻度程度，基于QLA算法的會話考慮不同業務類型和終端移動類型匹配系數的相對大小，將接入適當的網絡從而合理利用系統資源。雖然LBA算法的阻塞率低于QLA算法，但是LBA算法忽略了業務類型和終端移動性帶來的網絡性能影響，從而導致累積頻譜效用比QLA算法低。RAA算法是3種算法中性能最差的，一方面與LBA算法一樣，都未考慮匹配性問題，另一方面是高阻塞率使得被阻塞的會話對累積頻譜效用貢獻為0，從而影響了累積頻譜效用，使得RAA算法的累積頻譜效用低于LBA算法。

圖5和圖6顯示了固定業務強度下，每種算法的阻塞率和累積頻譜效用隨時間變化的情況。

圖5 阻塞率隨時間變化的比較

圖6 累積頻譜效用隨時間變化的比較

圖5顯示了QLA算法在學習前后阻塞率收斂的變化情況，可以很清楚地看到RAA算法與LBA算法的阻塞率基本保持穩定。QLA算法盡管起始階段由于“盲目”探索，其性能較差，但隨著時間推移，通過學習，阻塞率逐漸減小，并收斂到一個最小值，這也證明QLA算法具有很好的在線學習能力。

圖6顯示了累積頻譜效用隨時間變化趨勢的比較情況。雖然QLA算法的累積頻譜效用在初始階段與其他 2個算法基本一樣，但隨著時間的推移，QLA算法的性能差異逐漸顯現。通過在線學習，系統可以有效地利用已學習到的經驗來指導后續的策略選擇，從而獲得性能的提升。

當存在 D2D網絡，并且終端是靜止時，由于D2D網絡在用于接入時對業務不進行區分，無論是語音業務還是數據業務，終端都接入 D2D網絡，D2D網絡對語音業務與數據業務的貢獻度一樣，因此圖7與圖8只比較3種算法在LTE網絡與W LAN網絡中對業務分布的影響。圖7的負載差指的是語音和數據負載比例之差。圖8的負載差指的是靜止業務與移動業務負載比例之差。從圖7與圖8中可以看出，當采用RAA算法和LBA算法時，LTE與WLAN網絡中語音和數據負載比例之差以及靜止業務和移動業務負載比例之差雖然具有一定的隨機性，但均在以內，都不能較好地區分業務。QLA算法使資源得到了優化的配置，LTE中的語音業務以及移動性業務的比例均遠高于數據業務及靜止業務；相反地，W LAN中的業務與其相反。這樣能使不同接入網充分發揮其技術優勢，從而提高系統的總體收益。

圖7 LTE與WLAN網絡中負載比例之差1

圖8 LTE與WLAN網絡中負載比例之差2

5 結束語

在LTE，WLAN，D2D構成的無線異構網絡下，本文提出基于 Q學習的異構無線網絡接入選擇算

法。綜合考慮網絡負載條件、終端業務類型、終端移動性等因素，根據網絡特性，利用Q學習算法合理地為每個到達的會話選擇合適的網絡進行接入。仿真結果表明，與RAA算法以及LBA算法相比，QLA算法能在保證低呼叫阻塞率的同時，獲得更好的資源配置和更高的累積頻譜效用，同時用戶感知性能也通過學習收斂過程得以增強。但由于網絡負載條件被簡單量化為10個等級，一定程度影響了系統狀態的準確性，下一步需要在充分考慮狀態準確性的同時降低系統復雜度，從而提高運行效率。

［1］ Luo Jijun，Mukerjee R，Dillinger M，et al.Investigation of Radio Resource Scheduling in WLANs Coupled with 3G Cellular Network［J］.IEEE Communications Magazine，2003，41（6）：108-115.

［2］ Song Qingyang，Jamalipour A.Network Selection in an Integrated Wireless LAN and UMTS Environment Using Mathematical Modeling and Computing Techniques［J］. IEEE Wireless Communications，2005，12（3）：42-48.

［3］ Barto A G.Reinforcement Learning：An Introduction［M］. Cambridge，USA：MIT press，1998.

［4］ Kaelbling L P，Littman M L，Moore A W.ReinforcementLearning：A Survey［J］.Journal of Artificial Intelligence Research，1996，9（1）：99-137.

［5］ Nie Junhong，Haykin S.A Q-learning-based Dynamic Channel Assignment Technique for Mobile Communication Systems［J］.IEEE Transactions on Vehicular Technology，1999，48（5）：1676-1687.

［6］ Senouci S M，Beylot A L，Pujolle G.CallAdmission Control in Cellular Networks：A Reinforcement Learning Solution［J］.International Journal of Network Management，2004，14（2）：89-103.

［7］ Haddad M，Altman Z，Elayoubi S E，et al.A Nashstackelberg Fuzzy Q-learning Decision Approach in Heterogeneous Cognitive Networks［C］//Proceedings of Global Telecommunications Conference.Washington D.C.， USA：IEEE Press，2010：1-6.

［8］ Simsek M，Czylwik A.Decentralized Q-learning of LTE-femtocells for Interference Reduction in Heterogeneous Networks Using Cooperation［C］//Proceedings of International ITG Workshop on Smart Antennas. Washington D.C.，USA：IEEE Press，2012：86-91.

［9］ Saker L，Ben Jemaa S，Elayoubi S E.Q-learning for Joint Access Decision in Heterogeneous Networks［C］// Proceedings of Wireless Communications and Networking Conference.Washington D.C.，USA：IEEE Press，2009：1-5.

［10］ Tabrizi H，Farhadi G，Cioffi J.DynamicHandoff Decision in Heterogeneous Wireless System s：Q-learning Approach［C］//Proceedings of IEEE International Conference on Communications.Washington D.C.，USA：IEEE Press，2012：3217-3222.

［11］ 張永靖，馮志勇，張 平.基于Q學習的自主聯合無線資源管理算法［J］.電子與信息學報，2008，30（3）：676-680.

［12］ Zhao Yanqing，Zhou Weifeng，Zhu Qi.Q-learning Based Heterogeneous Network Selection Algorithm［J］.Journal of Computer Applications，2012，127（2）：471-477.

［13］ Tan Xu，Luan Xi，Cheng Yuxin，et al.Cell Selection in Two-tier Femtocell Networks Using Q-learning Algorithm［C］//Proceedings of the 16th International Conference on Advanced Communication Technology. Washington D.C.，USA：IEEE Press，2014：1031-1035.

［14］ Doppler K，Rinne M，Wijting C，et al.Device-to-Device Communication as an Underlay to LTE-advanced Networks［J］.IEEE Communications Magazine，2009，47（12）：42-49.

［15］ Barto A G，Bradtke S J，Singh S P.Learning to Act Using Real-time Dynamic Programming［J］.Artificial Intelligence，1995，72（1）：81-138.

［16］ Watkins C J C H，Dayan P.Q-learning［J］.Machine-Learning，1992，8（3/4）：279-292.

［17］ 葉培智.異構無線網絡接入選擇算法的研究［D］.廈門：廈門大學，2013.

編輯 顧逸斐

A Network Access Control Algorithm Based on Q-learning

FENG Chenwei，ZHANG Lin
（School of Opto-electronic and Communication Engineering，Xiamen University of Technology，Xiamen 361024，China）

The next generation wireless network is the heterogeneous network of coexistence of a variety of wireless access technology.In order to make full use of the resources of all kinds of wireless network，the integration of heterogeneous network is necessary.However，when it comes to the heterogeneous network integration，the call request access control problem comes.In wireless heterogeneous network composing of Long Term Evolution（LTE），Wireless Local Area Network（W LAN）and Device-to-Device（D2D），an algorithm is presented for heterogeneous wireless network selection.The proposed algorithm based on Q-learning can select the appropriate network for access according to different traffic types，terminal mobility and network load status by using the return function com posing of matching coefficient reflecting the network contribution，the corresponding traffic and mobility.Simulation results show that the proposed algorithm has an efficient learning ability to achieve autonomous radio resource management，which effectively improves the spectrum utility and reduces the blocking probability.

heterogeneous wireless network；access control；Long Term Evolution（LTE）；Device-to-Device（D2D）；Q-learning；resource management；block probability；spectrum utility

馮陳偉，張 璘.一種基于Q學習的網絡接入控制算法［J］.計算機工程，2015，41（10）：99-104.

英文引用格式：Feng Chenwei，Zhang Lin.A Network Access Control Algorithm Based on Q-learning［J］.Computer Engineering，2015，41（10）：99-104.

1000-3428（2015）10-0099-06

A

TP393

國家自然科學基金青年基金資助項目（61202013）；福建省自然科學基金資助項目“多載波通信強非線性射頻功放數字預失真算法與實現研究”（2015J01670）；福建省中青年教師教育科研A類基金資助項目“基于蜂窩 D2D異構網絡的無線資源管理技術研究”（JA 14233）。

馮陳偉（1981-），男，講師、碩士，主研方向：下一代無線通信技術；張 璘，講師、碩士。

2015-03-25

2015-05-14E-m ail：chevyphone@163.com