基于能效和服務質量保障的動態資源分配機制

楊 健,張 晶

(中國電子科技集團公司第五十四研究所，河北 石家莊 050081)

10.3969/j.issn.1003-3114.2018.01.16

楊健，張晶.基于能效和服務質量保障的動態資源分配機制[J].無線電通信技術,2018,44(1):78-81.

[YANG Jian，ZHANG Jing.Power Efficient Resource Allocation with QoS Guaranteed [J].Radio Communications Technology,2018,44(1):78-81.]

基于能效和服務質量保障的動態資源分配機制

楊 健,張 晶

(中國電子科技集團公司第五十四研究所，河北 石家莊 050081)

以最小化平均消耗功率為目標，提出了一種具有服務質量保障的用戶調度和功率分配機制。每個用戶維持一個用于存儲隨機到達業務的數據隊列，用戶的服務質量要求被刻畫成平均排隊時延。基于無線信道和數據隊列長度的動態變化，將用戶調度和功率分配刻畫成一個帶有約束條件的馬爾可夫決策問題。為了應對系統難以精確獲取信道和數據到達過程分布參數的情況，采用Q學習算法求解馬爾科夫決策問題，進而提出了一種在線學習的用戶調度和功率控制算法。系統通過在線學習進行用戶調度和功率分配，以實現平均消耗功率的最小化目標。

用戶調度；功率控制；服務質量要求；馬爾可夫決策；Q學習

TN911.7

A

1003-3114(2018)01-78-4

2017-10-11

河北自然科學基金項目(F2014210123)

PowerEfficientResourceAllocationwithQoSGuaranteed

YANG Jian，ZHANG Jing

(The 54th Research Institute of CECT,Shijiazhuang 050081,China)

In this paper,a joint user scheduling and power control scheme is investigated for systems with quality of service (QoS) requirements to minimize the time-averaged power consumption.Each user maintains a buffer to store random arrival data,and the QoS requirements are characterized by the time-averaged queuing delay.The joint user scheduling and power control is formulated as a constrained Markov decision problem (CMDP) according to the dynamics of the wireless channels and the length of data buffers.An on-line learning based algorithm is proposed by solving the CMDP with the aid of Q-learning approach,based on which the system,without prior knowledge of the distributions of wireless channels and data arrivals,can make a user scheduling and power control decision to minimize the time-averaged power consumption.

user scheduling；power control；QoS requirement；Markov decision；Q-learning

0 引言

隨著無線通信技術的高速發展和移動設備的大規模應用，無線網絡承載了種類繁多的業務，但是無線通信中的能耗已成為不容忽視的問題[1]。同時，業務數據在無線網絡傳輸過程中有其所需的服務質量，業務數據的服務質量保障面臨著嚴重的挑戰[2]。而無線信道的時變特性和有限的網絡承載能力對網絡的能效和業務的服務質量保障產生嚴重影響。因此如何設計有效的資源動態分配算法和用戶調度策略用以保障服務質量是一個永恒的挑戰[3-6]。

文獻[7]將服務質量要求量化為實時傳輸速率限制條件，以最小化傳輸功率為目標，提出了一種功率和用戶調度機制。文獻[8]將服務質量要求量化為用戶之間的實時傳輸速率比例限制條件，并提出了一種能量有效的功率控制和用戶調度算法。針對服務質量要求用戶和無服務質量要求用戶共存的無線網絡，文獻[9]提出了一種優先保障用戶服務質量要求的資源分配和用戶調度算法。

盡管文獻[7-9]提出的算法在相應場景下都能實現相應系統效能的最優化，并能很好的保障用戶服務質量要求。但文獻[7-9]提出的算法都是基于信道狀態信息，通過傳統的凸優化理論實現的。然而，在實際系統中，每個用戶在數據鏈路層都維持著一個用于存儲隨機到達業務的數據隊列。因此，在面向實際系統設計具有服務質量保障的資源分配算法時，必須同時考慮信道狀態信息和用戶數據隊列狀態信息。

從保障實際系統服務質量的角度出發，以最小化平均消耗功率為目標，提出了一種基于信道狀態信息和用戶數據隊列狀態信息的用戶調度和功率控制算法。首先將服務質量保障問題刻畫成一個有約束條件的馬爾可夫決策問題。考慮在實際系統中很難獲取信道分布和隨機到達分布，采用Q學習算法求解馬爾科夫決策問題，進而提出了一種在線學習的用戶調度和功率控制算法，從而在保障用戶服務質量要求的前提下最小化系統平均消耗功率。

1 系統模型和問題描述

如圖1所示，考慮一個時分多址上行系統，系統包含一個基站和K個用戶。K個用戶通過無線信道向基站傳輸數據。每個用戶維持一個數據隊列以儲存沒有被及時發送的數據包。若用Qk(t)表示用戶k在時隙t開始時刻數據隊列中數據包數量，則Qk(t)滿足

Qk(t+1)=[Qk(t)-Rk(t)]++ak(t)

(1)

式中，Rk(t)表示在時隙t用戶k到基站的傳輸速度，單位為數據包/s；ak(t)為隨機到達速率，用以刻畫業務到達的隨機性；[x]+表示max{x,0}。

圖1 系統模型

定義hk(t)為用戶k與基站之間在時隙t的信道增益，則基站在以速度Rk(t)服務用戶k的情況下需要消耗的功率為：

(2)

式中，N0和B分別代表白噪聲功率和系統帶寬。假定信道增益hk(t)在每個時隙內保持不變，但是在不同時隙間是獨立同分布的。為衡量用戶到基站的端到端時延，用平均隊列時延來刻畫用戶的服務質量要求，即

(3)

本文的目標是在滿足所有用戶服務質量要求的前提下，最小化系統總的平均功率消耗。相應的問題可以表述為

(4)

式(4)包含一個時間平均的目標函數，K個時間平均的約束條件和一個線性功率約束條件。不能使用傳統的線性/非線性優化方法解決上述優化問題。文中，采用馬爾可夫決策描述式(4)，并提出一種基于在線Q學習的用戶調度和功率控制算法以適用實際系統不知道信道參數分布的情況。

使用K-Means算法需要預先確定K的值，故本文利用最小生成樹算法估計K值，再利用K-Means算法將數據進行分類，以達到劃分腦區或ROI的效果。

2 用戶調度和功率分配機制

2.1 馬爾科夫決策問題

定義H(t)={hk(t),?k}和Q(t)={Qk(t),?k}分別為系統在時隙t的全局信道狀態信息和全局隊列狀態信息。若系統在時隙t的狀態信息表示為X(t)=(H(t),Q(t))，由于不同用戶的信道增益在不同時隙間是獨立同分布的，因此{X(t)}是一個馬爾可夫過程，則系統狀態的轉移概率可以表示為：

Pr(X(t+1)|X(t))=
Pr(H(t+1))Pr(Q(t+1)|X(t),Q(t))。

(5)

由以上分析可知，式(4)是一個有約束條件的馬爾科夫決策問題。基于動態優化理論[10]，可將帶有約束條件的馬爾可夫決策式(4)轉變為無約束的馬爾科夫決策式(6)：

(6)

(7)

式中，s和s'分別表示相鄰時隙的系統狀態，V(s)稱之為系統在狀態s的值函數。

(8)

(9)

在實際系統中，很難精確獲取信道增益和隨機到達過程的分布參數，因此很難直接用傳統值函數迭代的方式求解貝爾曼方程(7)。下面將介紹在道信道增益分布函數和隨機到達過程分布未知的情況下，系統如何采用基于Q學習的值函數迭代算法來求解貝爾曼方程式(7)。

2.2 基于Q學習的用戶調度和功率控制

由式(7)、式(8)、式(9)可知，系統最優的用戶調度和功率控制策略由每個用戶的值函數Vk(sk)決定，而值函數的更新則決定于系統狀態的轉移。因此，利用Q學習算法[10]近似逼近值函數Vk(sk)和與之相對應的拉格朗日乘子μk，具體計算公式為

Vk(X(t+1))];

(10)

Vk(Xk(t+1))=(1-ft)Vk(Xk(t))+ft{P(t)+

(11)

μk,t+1=μk,t+et(I(Qk(t)=0)-εk)。

(12)

式中，ft和et稱為步長，并且滿足以下條件：

(13)

2.3 算法流程

根據以上分析，提出一種基于Q學習的用戶調度和功率控制算法。具體算法流程如下所示:

④ 利用式(11)在線更新值函數Vk(Xk(t+1))；

⑤ 利用式(12)在新更新拉格朗日乘子μk,t+1；

⑥ 重復步驟②～⑤直至傳輸結束。

3 仿真結果分析

本節驗證提出的用戶調度和功率控制算法。仿真場景中，用戶隨機分布在基站覆蓋區域內，且假定用戶與基站的最小距離為40 m，最大距離為300 m。用戶最大發射功率為4 J/s，系統白噪聲功率為-174 dBm/Hz[11]。假定用戶到基站之間的信道增益同時包含路徑損耗和小尺度衰落。路徑損耗由用戶與基站之間的距離d決定且路徑損耗系數為3[10]，即d-3；小尺度衰落采用瑞利衰落模型f(x)=1/αexp(-x/α),其中參數α和文獻[10]中一致。數據包的長度為4 000 bits，系統時隙長度為1 ms。所有用戶能夠容忍的平均隊列時延為5個數據包長度，用戶的隨機達到過程為平均速率為0.5數據包/時隙的泊松到達過程。系統采用實際的BPSK、QPSK、8-QAM、16-QAM、32-QAM、64-QAM、128-QAM、256-QAM調制方式。為突出本文提出算法性能，將其與文獻[7]中的算法進行對比。文獻[7]中的算法不能根據隊列狀態信息調整傳輸速率，因此用戶被調度時的傳輸速率固定為用戶到達速率乘以用戶個數。

圖2描述了在一個擁有3個用戶的系統中，拉格朗日乘子的收斂性曲線。從圖2可以看出，拉格朗日乘子收斂速度比較快，大概迭代300次(時隙)就能收斂。在仿真中，系統帶寬B=4 MHz，設定時隙長度為1 ms，即本文提出的基于Q學習的用戶調度和功率控制算法收斂時間大概為0.3 s。一般情況下用戶的業務傳輸時間單位以或計算，遠遠大于本文提出的算法的收斂時間。因此，本文所提算法能很容易的應用于實際無線網絡。

圖3描述了在不同用戶數的場景中，系統帶寬B為4 MHz時系統平均消耗的功率情況。從圖3中可以清楚地看出，與文獻[7]中的算法相比，本文提出的功率控制和用戶調度算法的性能更好，即消耗的平均功率更小。這是因為文獻[7]中的算法只考慮了信道狀態信息對功率消耗的影響，而本文提出的算法同時考慮了信道狀態信息和數據隊列狀態信息對功率消耗的影響。同時，隨著用戶的增加，系統消耗的平均功率也會增加。這種現象是合理的，因為隨著用戶數的增加，用戶競爭信道的概率增加，即在單個時隙內需消耗更多的功率發送數據包。

圖2 拉格朗日乘子收斂性

圖3 用戶數不同時平均消耗功率

4 結束語

針對時間平均質量保障的需求，以最小化平均功率消耗為目標，考慮實際系統很難精確獲取信道分布參數和隨機到達過程參數的情況，提出了一種基于Q學習的用戶調度和功率控制算法，從而在保障用戶服務質量要求的前提下實現系統平均消耗功率的最小化目標。仿真結果表明提出的在線學習算法在信道分布和到達過程先驗知識未知的情況下仍能取得明顯的性能提升。

[1] 吳凡，毛玉明，黃曉燕.OFDMA系統中最優能效功率分配[J].電子與信息學報，2014，36(7)：1673-1679.

[2] 吳冀衍，喬秀全，程渤.延遲敏感的移動多媒體會議端到端服務質量保障[J].計算機學報，2013,36(7)：1399-1412.

[3] 劉賀，張陸勇，陳明剛，等．無線Mesh網絡集中式信道分配算法設計[J]．無線電工程，2011,41(5)：4-6.

[4] 程靜，秘建寧，劉科科．一種認知網絡中的帶寬分配方法研究[J]．無線電工程，2013，43(2)：5-9.

[5] 宋蒙，范斌，孫雷．LTE系統小數據包業務無線資源優化研究[J]．移動通信，2014，38(15)：85-90.

[6] 趙希鵬，張欣，楊大成，等．基于QoE的無線網絡資源調度優化研究[J]．移動通信，2014,38(22):8-13.

[7] Kivanc D,Li G,Liu H.Computationally Efficient Bandwidth Allocation and Power Control for OFDMA [J]IEEE Transactions on Wireless Communications,2003,2(5):940-947.

[8] Girici T,Zhu C,Agre J.Proportional Fair Scheduling Algorithm in OFDMA-Based Wireless Systems with QoS Constraints[J].Journal on Communications and Networking,208,12(1)：30-32.

[9] Ren Z,Chen S,Hu B.Energy-Efficient Resource Allocation in Downlink OFDM Wireless Systems with Proportional Rate Constraints [J]IEEE Transaction on Vehicular Technology,2010,53(4):2108-2110.

[10] Salodkar N,Bhorka A,Karandikar A.An On Line Learning Algorithm for Energy Efficient Delay Constrained Scheduling over a Fading Channel [J].IEEE Journal on Selected Areas in Communications,2008,26(4):732-742.

[11] Perez D,Xiao C,Vasilakos A.Power Minimization Based Resource Allocation for Interference Mitigation in OFDMA Femtocell Networks [J].IEEE Journal on Selected Areas in Communications,2014,32(2):333-344.

楊健(1989—)，男，博士，工程師，主要研究方向：無人機/彈群數據鏈動態組網協議、面用服務質量的跨層資源配置;

張晶(1989—)，女，碩士，助理工程師，主要研究方向：通信數據鏈、面用服務質量的跨層資源配置。