面向用戶需求的空天地一體化車載網絡任務分配策略

譚詩翰, 金鳳林, 頓聰穎

(陸軍工程大學指揮控制工程學院, 江蘇 南京 210007)

0 引 言

隨著汽車技術的發展,人們對汽車的期望不再僅僅是更舒適、更環保、更有趣,對汽車信息化、智能化服務的需求正在不斷增強。車載網絡能夠實現車輛、其他終端和公共網絡之間的信息交換,可以在交通管理、車輛移動數據服務和自動駕駛等方面發揮關鍵作用,是未來汽車發展的重要方向之一。第三代合作伙伴計劃(the 3rd generation partnership project,3GPP)一直在尋求支持長期演進(long-term evolution,LTE)和5G蜂窩網絡的車載網絡服務。由電信和汽車行業聯合成立的5G汽車協會(the 5G automotive association,5GAA)也在致力于推動車載網絡技術的開發、測試和部署。

然而,當前車載網絡系統仍然存在一些重大問題。一是隨著城市的快速發展,車載網絡用戶量激增,網絡擁塞問題愈發嚴重;二是,用戶對車載網絡服務的需求趨于多樣化,單一的網絡服務難以滿足用戶需求;三是在一些偏遠地區用戶難以獲得可靠的網絡服務。

傳統地面網絡對網絡系統性能的提升能力有限:一方面,由于地面無線接入網頻譜資源有限,過密的基站部署將導致更多的網絡資源競爭和網絡間相互干擾;另一方面,地面網絡本身有限的覆蓋范圍,無法滿足覆蓋區域邊緣以及偏遠地區用戶的需求。

空天地一體化車載網絡(space-air-ground integrated vehicular networks,SAGVN)利用現代信息網絡技術將空間、空中和地面網絡部分連接起來,具有覆蓋范圍大、吞吐量高和恢復能力強等固有優勢,有望解決上述車載網絡發展過程中遇到的瓶頸問題。

近些年來,大量的研究涌入SAGVN。其中,文獻[11]介紹了一種可以用于SAGVN的實驗仿真平臺。文獻[8]提出了一種基于軟件定義的SAGVN架構。文獻[12]在此基礎上,提出了一個基于人工智能(artificial intelligence, AI)的SAGVN管理和控制架構。文獻[13]也在文獻[8]的基礎上,提出了一種基于AI的SAGVN資源分配方式。文獻[14]將虛擬網絡功能(virtual network functions,VNFs)和業務功能鏈(service function chaining, SFC)融入SAGVN架構,用于增強SAGVN管理性能。此外,SAGVN建設在工業界也在快速推進,包括GIG、TSAT和O3b在內的多個項目已經開始了SAGVN相關的研究和實驗。

但是,針對SAGVN的網絡管理仍然存在以下幾個難點:

(1) 地面、空中和空間網絡在帶寬、網絡覆蓋面積、時延和網絡費用等差異巨大,需要統籌考慮,使不同網絡發揮各自優勢,互補短板。

(2) 車載用戶需求向著多元化發展,對網絡進行管理需要針對不同需求用戶提供不同服務。

(3) 網絡狀態更為復雜,對網絡管理的計算難度增加。

基于以上分析,本文提出了面向用戶需求的SAGVN任務分配策略,通過為SAGVN內不同網絡合理分配不同的網絡任務,提升網絡對用戶的服務質量(quality of ser-vice,QoS),主要做了以下工作:

(1) 構建車載用戶需求和用戶滿意度描述框架。相同的網絡服務對于不同需求的用戶,對網絡QoS的體驗可能截然不同,想要為用戶合理分配網絡,準確地描述用戶需求就顯得尤為重要。本文基于多準則效用理論,結合信號強度、網絡費用、時延和帶寬多種影響因素建立適當的效用函數,獲得用戶對不同影響因素的需求,然后利用層次分析法(analytic hierarchy process,AHP)獲得各影響因素權重,權重的大小反映了用戶對不同網絡性能的偏好。根據用戶當前接入網絡的網絡性能、用戶滿意度影響因素和影響因素權重,獲得用戶對當前網絡服務的滿意度。例如,通過車載網絡將圖片、視頻和車輛信息快速上傳到數據中心,用戶希望獲得高帶寬的網絡傳輸服務,所以用戶對網絡帶寬需求較高,網絡帶寬具有更大的權重;當發生交通事故時,實時地向智能交通平臺報告事故地點有助于挽救生命,避免交通擁堵,此時用戶傾向于高時延高可靠度的網絡服務,當前網絡服務的時延以及可靠度對用戶滿意度影響較大。

(2) 提出整體用戶滿意度最大的網絡任務分配策略。對于不同用戶,SAGVN所能提供的網絡服務也不同。本文將SAGVN任務分配過程抽象為半馬爾可夫決策過程(semi Markov decision process,SMDP),通過控制不同網絡為不同的用戶提供服務,使長期整體用戶滿意度最大。利用價值迭代算法獲得最優網絡任務分配策略?？紤]實際操作中網絡狀態復雜多變,利用Q-learning算法與網絡進行交互學習,獲得近似最優的網絡任務分配策略。本文中最優網絡任務分配策略具體來講就是通過有計劃性的安排,減少一些位于地面網絡密集區域的用戶對衛星網絡資源的占用,為一些偏遠地區用戶預留衛星網絡資源;將一些對網絡帶寬需求不高的用戶帶寬減少,從而為未來需要更高網絡帶寬的用戶預留網絡資源等方法,實現長期整體用戶滿意度最大。

本文的主要貢獻有:

(1) 基于多種影響因素構建效用函數,并給出了這些效用函數詳細證明。利用AHP,獲得各影響因素權重。通過影響因素效用函數和權重來描述用戶的網絡需求和偏好。根據當前網絡對用戶服務影響因素效用函數值加權乘積,將網絡對用戶的QoS抽象為用戶對網絡服務的滿意度。

(2) 基于對用戶需求和滿意度的描述,提出了一種面向用戶需求的網絡任務分配策略。將對不同網絡的任務分配過程抽象為SMDP,利用價值迭代算法,獲得最優的網絡任務分配策略,并利用Q-learning算法獲得近似最優策略。

(3) 在網絡資源充足和網絡擁塞兩種網絡環境下進行仿真實驗。仿真結果表明,相較于傳統網絡任務分配策略,本文所提策略在網絡資源充足環境下,整體用戶滿意度上升超過30%;在網絡擁塞環境下,對用戶服務請求的拒絕率下降超過40%。在網絡擁塞環境下,對網絡服務分配策略中用戶滿意度的影響因素進行分析,仿真結果表明,所提方法可以有效降低網絡對網絡服務需求迫切用戶服務請求的拒絕率。

1 場景描述

1.1 系統架構

本文主要討論局部區域內SAGVN的任務分配策略。由衛星劃分一定范圍的網絡區域,將區域內的網絡作為一個整體,對區域內的網絡分配網絡任務。如圖1所示,SAGVN由3層組成:基礎設施層、控制層和管理層?；A設施層包括空間段、空中段和地面段內所有的無線通信節點,比如低軌衛星(low earth orbit,LEO)、無人機(unmanned aerial vehicle,UAV)、地面基站等。控制層由不同網絡的網絡控制器組成,比如軟件定義網絡(software defined network,SDN)控制器,網絡控制器通過南向接口(southbound interfaces,SBIs)控制各自的底層物理資源,比如衛星波束轉向、UAV運動控制、網絡資源分配等。管理層包括后臺數據中心,功能是協調不同網絡動作?？刂茖油ㄟ^北向接口(northbound interfaces,NBIs)實現網絡管理,如移動管理、網絡監督、網絡任務分配等功能。不同網段的網絡控制器由上層管理層通過東西接口進行協調。

圖1 SAGVN模型Fig.1 SAGVN model

本文基于網絡管理層功能,根據由基礎設施層和控制層收集上傳的用戶信息和網絡狀態信息數據,制定網絡任務分配策略。網絡管理層根據網絡任務分配策略,通過各網段控制器控制無線通信節點對不同用戶的網絡服務請求做出響應,使用戶接入不同的無線通信節點,實現對不同網絡的任務分配。

1.2 場景模型

根據上文所述,設區域內SAGVN用戶集合為,用戶∈,設區域內用戶總量為,設∈{0,1},=1表示網絡正在對用戶服務,=0表示用戶未接入網絡,用戶所接入網絡的信號強度、費用、時延和帶寬分別表示為、、和。

設區域內基礎設施層通信節點的集合為,通信節點∈,通信節點總數為,通信節點的總功率、總帶寬和最大用戶量為、和,通信節點剩余帶寬、剩余功率和剩余用戶量為、和,覆蓋用戶的通信節點的集合表示為,通信節點服務覆蓋范圍內用戶的集合表示為,設, ∈{0,1},, =1表示用戶接入網絡(∈),, =0表示用戶未接入網絡。

2 用戶需求和滿意度描述

對用戶需求和滿意度的描述是一個復雜的過程,需要多種模塊協調進行。如圖2所示,用戶網絡需求和滿意度描述框架包括數據采集、網絡篩選、擬合值生成和滿意度計算等模塊。首先,數據采集模塊收集并提供用戶需求描述所需的所有參數,包括用戶配置、流量需求、QoS需求和運營商網絡配置。在此框架中,車載終端收集和上傳用戶需求相關參數。基于這些參數,可以計算出信號強度、時延和網絡費用等影響因素指標。網絡篩選模塊選擇滿足給定約束條件的網絡,建立不同用戶的可用網絡集合。擬合值生成模塊使用AHP為每個指標生成文獻[20]中討論的期望權重。最后,根據當前網絡服務性能,獲得用戶對網絡服務的滿意度。

圖2 用戶需求和滿意度描述框架Fig.2 User requirements and satisfaction description framework

2.1 AHP

利用AHP為每個影響因素分配適當的權重,利用權重來表征用戶偏好。AHP如算法1所示。

算法 1 AHP輸入 用戶需求:最大和最小帶寬bmax和bmin,最大網絡費用cmax,最大網絡時延τmax,最大和最小信號強度需求smax和smin;輸出 用戶i對于不同影響因素權重:網絡費用權重αic、信號強度權重αis、網絡時延權重αiτ、帶寬權重αib;過程1. 根據用戶需求,構建層次結構L=l1,l2,…,lm,令k=1;2. 循環1:構建決策矩陣;3. 循環2:計算層次k權重;4. 獲得網絡費用權重αi,kc、信號強度權重αi,ks、網絡時延權重αi,kτ、帶寬權重αi,kb;5. 判斷層次k權重是否一致,如果不是,返回循環1;6. 如果k

2.2 效用函數

根據效用理論,效用函數要滿足二次可微性、單調性和凹凸性,本文采用了文獻[21]中效用函數設計方案,為每個影響因素設計了效用函數。

221 信號強度效用函數

一般情況下,當接收到的信號強度低于某一閾值時,可以認為不能保證網絡正常運行。在這種情況下,信號強度的效用值為0。此外,用戶所接收的信號強度具有上限。

設用戶信號強度效用函數如下:

(1)

(2)

以下給出其他的二次可微性、單調性和凹凸性證明。

證明二次可微性,只需證明式(1)中的第2個和第3個方程是可微的。由式(1)可得

(3)

所以:

(4)

因此,式(1)中的效用函數是二次可微的。同時,容易發現式(1)也是單調的、凹凸的。

證畢

式(1)的現實意義是信號強度越高,效用函數值越大,網絡信號強度越好。說明所定義的效用函數()可以有效地用于網絡任務分配。

222 網絡費用效用函數

對于用戶來說,網絡費用是一個更直觀的度量。不同網絡的費用可以相互直接比較。本文用線性函數表示網絡費用的效用函數。因此,用戶的網絡費用效用函數可以表示為

(5)

式(5)的現實意義是網絡費用越小,效用函數值越大,網絡越好。這說明所定義的效用函數()可以有效地用于網絡任務分配。

223 網絡時延效用函數

一般來說,網絡時延應該有一個最大值。在設計效用函數時,網絡時延越大,對應的效用值越低。因此,定義用戶的網絡時延的效用函數為

(6)

(7)

網絡時延效用函數與信號強度效用函數相似,都是二次可微的、單調的和凹凸的。由于篇幅限制,沒有給出詳細的證明過程。式(6)的現實意義是時延越小,效用函數()值越大,網絡越好。這說明所定義的效用函數()可以有效地用于網絡任務分配。

224 網絡帶寬效用函數

當網絡帶寬低于用戶流量的最低需求時,將導致用戶服務請求丟失。當網絡帶寬大于用戶流量最大需求時,用戶的滿意度不會進一步提高。因此,用戶的網絡帶寬效用函數定義如下:

(8)

(9)

2.3 用戶滿意度

用戶滿意度是用戶對網絡QoS體驗的抽象,滿意度越高,用戶體驗越好。

將網絡對用戶的服務性能參數代入用戶效應函數中,信號強度可由用戶終端確定,其他指標需通過網絡信息采集獲得。將效用函數值加權相乘,獲得用戶對網絡服務的滿意度。用戶對網絡服務的滿意度表示為

(10)

區域內整體用戶滿意度表示為

(11)

3 網絡任務分配策略

3.1 問題描述

本文考慮有限的單一網絡服務區域網絡任務分配。假設同一網絡任務在任務結束前不主動切換網絡,如果用戶移動到了網絡服務范圍外,用戶結束已經完成的任務部分,重新申請網絡服務。為了簡化模型,假設一個用戶同一時刻最多只有一個網絡任務。則問題描述為

(12)

(13)

(14)

(15)

(16)

(17)

其中,式(12)～式(14)表示網絡通信節點功率、總帶寬和最大用戶量的約束;式(15)表示單個用戶同一時刻最多只能接入一個網絡;式(16)表示單個用戶同一時刻最多有一個網絡任務;式(17)為用戶對可接入網絡服務性能約束。

3.2 SMDP

馬爾可夫決策過程(Markov decision process,MDP)通過探索和優化,估計不同狀態下采取不同的動作所能帶來的長期收益,由此可以根據當前狀態選擇最優的動作,從而獲得長期最優的動作策略。SMDP在MDP的基礎上,拓展到在無限時間內的可數時刻上選擇最優動作。本文中,SAGVN狀態是不斷變化的,單個時刻內網絡整體用戶滿意度最大,無法保證長時間整體用戶滿意度最大,所以采取SMDP的方法來獲得長期整體用戶滿意度最大的網絡任務分配策略。

盡管本文中決策時刻發生在[0,+∞)上任意時刻,但實際上只有在有新的用戶請求網絡服務和網絡任務結束時刻需要進行網絡任務分配的決策。由于網絡狀態取決于網絡任務分配策略,所以網絡狀態變化是一個馬氏過程?；谝陨戏治?可以將網絡服務分配抽象為SMDP,從而獲得在不同的網絡狀態下,對于不同需求的用戶網絡服務請求分配不同網絡所能獲得的整體用戶滿意度長期收益,并選擇收益最大的網絡為用戶提供服務。

本節首先定義網絡狀態、行動、狀態轉移概率和獎勵函數,然后介紹價值迭代算法。

3.2.1 網絡狀態空間

定義網絡狀態:

=(,,…,,|,,…,∈)

(18)

式中：,,…,表示SAGVN內無線通信節點的狀態；用來描述最近一個服務數據。表示通信節點的狀態量,由通信節點剩余帶寬、剩余功率和剩余用戶量組成:

=(,,|∈)

(19)

定義集合描述網絡系統所有可能狀態:

(20)

用描述網絡系統中網絡任務結束時所有可能的狀態,其中表示為,由結束任務所接入的通信節點和占用的通信節點功率和帶寬組成:

={(,,…,,)}∈

(21)

假設通信節點結束對用戶的服務,則表示為

=(,,|∈)

(22)

用描述有新的用戶服務請求時所有可能的狀態,其中表示為,由用戶的服務需求描述和用戶可接入通信節點組成:

={(,,…,,)}

(23)

(24)

注意，這里沒有討論用戶對網絡最小帶寬、最小信號強度、最大時延和最大網絡費用的約束,但實際操作中,當用戶滿意度=0時,網絡拒絕對用戶提供服務。

顯然,,包含了網絡系統中所有可能狀態,即:=∪。

322 決策時刻與行動集

(25)

當=0時表示網絡拒絕用戶的服務請求。本文中,網絡可以通過主動拒絕現有的用戶服務請求,為未來可能的服務請求預留網絡資源。

323 狀態轉移概率

由上文所述,網絡系統狀態之間的轉換是馬氏過程,所以轉移概率可以直接利用馬氏過程的狀態轉移速率得到。本文中,狀態轉移速率分為下面幾種情況:

對于狀態∈,只可能發生兩種轉移,任務結束′∈和一個服務請求到來′∈,其轉移速率為

(26)

式中:, 表示網絡內用戶服務結束的概率;表示區域內用戶服務請求概率。

對于狀態∈,假設將用戶′接入通信節點′,即=′,其轉移速率為

(27)

對于狀態∈,假設網絡拒絕用戶服務請求,即=0,其轉移速率為

(28)

狀態動態性可以等價地用嵌入式鏈的狀態轉移概率(′|,)來表示:

(′|,)=(′|,)·(,)

(29)

式中:(,)表示每個狀態的期望逗留時間。

324 網絡獎勵

為制定優化目標,設(,)表示當采取行動時,狀態下所獲得的永久獎勵,它是以單位時間為基礎定義的。本文中,用(,)表示狀態下采取動作后網絡的整體用戶滿意度,將(,)表示為

(,)=(,)+(,)

(30)

懲罰項(,)反映拒絕用戶服務請求所帶來的長期懲罰,表示為

(,)=-·(′|,=0,∈)

(31)

式中:是網絡在拒絕用戶服務請求的單位時間成本,即拒絕服務懲罰參數。

325 離散化時間

本文利用價值迭代算法來解決SMDP問題,以確定網絡在每個狀態下所采取的最優動作。因此,需要一個單值化階段,將連續時間馬氏鏈轉換為離散馬氏鏈。

首先,將時間離散為持續時間的區間,為恒定值,且小于任意狀態下的期望逗留時間:

0<<(,),?∈

(32)

然后,對轉移概率進行如下修改:

(33)

(34)

326 價值迭代算法

定義網絡任務分配策略(,)是狀態到動作的映射,表示狀態要采取的動作。當策略被采用時,

()=,,,…,,…

(35)

(36)

利用價值迭代算法獲得最優策略,具體如算法2所示。

算法 2 價值迭代算法輸入 折現因子,任意網絡狀態量x,迭代精度參數δ;輸出 最優網絡任務分配策略π*;過程1. 初始化V(x);2. 循環1:最優網絡任務分配策略π*;3. 初始化前后兩個策略最大優化差值:Δ=0;4. 循環2:計算每個狀態x∈X的最大預期長期折現回報:V(x)←maxa∑x'p(x'|x,a)[R-(x,a)+V(x')]根據當前狀態下前后兩個策略差值ν',更新Δ:Δ=max(ν',Δ);5. 如果Δ>δ,返回循環1;6. 輸出一個確定的π≈π*,使得:π(x)=arg maxa∑x'p(x'|x,a)[R-(x,a),V(x')]7. 結束。

3.3 Q-learning算法

雖然SMDP可以得到理論最優策略,但是在實際操作過程中用戶的服務結束概率和服務請求概率很難獲得,網絡系統狀態轉移概率難以確定。此外,利用價值迭代算法計算SMDP最優策略也存在計算復雜度高的問題,很難應用于實際操作中。Q-learning算法可以通過不斷與網絡交互學習,遞歸獲得近似最優策略,是解決MDP實際操作困難問題的常用方法。Q-learning算法雖然最初用于求解MDP,但稍加修改即可應用于SMDP。

3.3.1 算法描述

定義狀態-動作對(,())的價值函數(,())。(,())表示網絡狀態,使用策略的期望長期折現獎勵。目標是找到一個策略,使每個狀態的值最大化:

(37)

式中:表示學習率(0<<1),決定學習到的值會多大程度上覆蓋舊的值;(,Δ)表示相對于單個時間區間,用戶在持續時間Δ內的累計獎勵值:

(38)

式中：是Δ與單位時間的整數比值。

332 探索與開發

在決策過程中,網絡會隨機或基于以前學習的值進行決策。為獲得高回報,網絡可能更傾向于它過去嘗試過并發現有效的行為,即開發模式。然而,為發現最為有效的動作,網絡需要嘗試之前沒有選擇過的動作,即探索模式。Q-learning算法是一種在線迭代學習的算法,探索和開發同時進行。網絡必須探索各種各樣的行動,并逐步趨向于最為有效的行動。并且,為獲得可靠的值,需要進行充分的探索。

本文采取一種-貪婪的探索-開發策略。在決策過程中,網絡以概率()進行探索,并以概率1-()利用存儲的值,選擇值最大的動作。為提高長期的網絡性能,探索永遠不會停止,而是會隨著時間的推移而減少。定義(,)為狀態-動作對(,)到當前時間的訪問次數。()為

(39)

為使(,)收斂到最優值,將設為

(40)

具體如算法3所示。

算法 3 Q-learning算法輸入 網絡系統當前狀態x;輸出 網絡動作a;過程1. 初始化Q(x,a),狀態參數對出現次數c(x,a)=0;2. 循環:對每個時間區間更新Q(x,a);3. 計算ε(x);如果是探索模式,隨機選擇動作a;如果是開發模式,選擇動作a:Q(x,a)>Q(x,a'), ?a∈A(w)4. 更新c(x,a)=c(x,a)+1;5. 更新Q(x,a):Q(x,a)←Q(x,a)+ρ(R(x,Δt)+κmaxa(Q(x',a')-Q(x,a)))6. 結束。

4 仿真實驗

4.1 仿真環境

本文使用python和ns2平臺搭建了一個系統級網絡仿真環境。實驗環境布置LTE基站、虛擬UAV節點和虛擬衛星節點作為無線通信節點,為每一個通信節點設置網絡覆蓋區域、網絡資源量和接入用戶上限。假設不同網絡使用專用頻段,不存在信道資源競爭。網絡資源由不同網段根據自身配置自主分配給接入用戶。

為簡化實驗,根據SAGVN用戶特性,假設車載網絡中存在3種用戶網絡服務需求,分別為非實時服務(non-real time, NRT)、實時服務(real time, RT)和時延敏感服務(delay sensibility, DS)。其中,NRT由傳統的數據流生成,比如車內用戶進行郵件下載、網上沖浪等,對帶寬需求較高;RT由視頻流或語言流生成,比如道路實時監控或者車內通話等,對帶寬和時延要求較高;DS是由汽車自動駕駛,事故應急響應等需要低時延的應用生成。網絡系統內類用戶(∈{NRT,RT,DS})服務請求速率服從參數為的泊松分布,服務時長服從參數為的指數分布。實驗拓撲詳如圖3所示,參數設置如表1和表2所示。

圖3 實驗拓撲Fig.3 Experimental topology

表1 用戶參數

表2 SAGVN參數

4.2 實驗結果分析

在網絡相對穩定后,選取隨機時間作為初始時刻,間隔固定時長=0.12 s收集網絡數據。為了驗證本文算法的有效性,將其與文獻[29]所提出的基于自適應閾值移動負載均衡(mobility load balancing, MLB)策略對比。區分網絡資源充足和網絡擁塞兩種網絡環境,主要從整體用戶滿意度和服務拒絕率兩個方面指標來討論不同服務分配策略性能。

其中,類服務拒絕率計算公式如下:

(41)

網絡系統對用戶服務請求的拒絕率反映了網絡系統擁塞程度,計算公式如下:

(42)

式中：為類服務被網絡拒絕的次數；為網絡持續時間。

4.2.1 網絡資源充足環境

圖4給出網絡資源充足環境下不同服務分配策略的整體用戶滿意度。從圖4可以看出,SMDP可以得到最優的網絡系統整體用戶滿意度。將每一時間區間作為一個時步,Q-learning算法進行20 000步(持續時間=2 400 s),整體用戶滿意度接近于SMDP,同時相較于自適應MLB策略,整體用戶滿意度提升了超過30%。

不同于MLB策略,基于學習的方法可以通過增加學習周期,不斷趨近于最優解。從圖4可以看出,Q-learning算法進行5 000步(持續時間=600 s)相較于2 000步(=2 400 s),由于學習不充分,整體用戶滿意度下降超過20%。

圖4 網絡資源充足環境中整體用戶滿意度對比Fig.4 Comparison of overall user satisfaction in the environment of adequate network resources

4.2.2 網絡擁塞環境

隨著網絡擁塞程度的上升,網絡系統對用戶服務請求的拒絕率對網絡整體用戶滿意度的影響不斷增加,本文對網絡擁塞環境做單獨討論。圖5和圖6分別給出了網絡擁塞環境下Q-learning算法和自適應MLB策略網絡系統整體用戶滿意度和服務拒絕率。

圖5 網絡擁塞環境下不同服務分配策略整體用戶滿意度對比Fig.5 Comparison of overall user satisfaction with different service allocation strategies in the environment of network congestion

圖6 網絡擁塞環境中網絡服務拒絕率對比Fig.6 Comparison of network service rejection rate in the environment of network congestion

從圖5可以看出,在網絡擁塞環境下,Q-learning算法相較于自適應MLB策略整體用戶滿意度上升大約5%。從圖6可以看出,使用Q-learning算法,網絡系統對用戶服務拒絕率相較于使用自適應MLB策略下降超過40%。

考慮到實際操作中,不同服務對網絡需求的迫切程度不一樣,簡單設置不同類別服務的拒絕懲罰參數,無法有效反映不同用戶實際需求。比如車輛自動駕駛,即使在網絡擁塞的環境下,也需要實時將車輛信息上傳到數據中心處理,所以網絡需要優先保障此類服務請求。隨著車載網絡用戶量不斷增加,網絡擁塞將是一個難以避免的問題,對一些對網絡服務需求迫切的信息優先保障其網絡服務具有很強的現實意義。在本文實驗環境中,假設存在網絡任務對網絡服務需求相較于其他類別任務更為迫切,因而網絡拒絕這個服務對用戶整體滿意度的影響更大,拒絕服務懲罰參數應該設置更高。

圖7給出了基于Q-learning算法不同拒絕服務懲罰參數設置(見表3)的網絡服務拒絕率,圖8給出了對應參數設置下,對網絡需求迫切服務的拒絕率。可以看出,通過合理調整拒絕服務懲罰參數,可以在網絡系統整體服務拒絕率基本不變的情況下,使網絡需求迫切服務拒絕率有明顯下降。

圖7 不同服務懲罰參數網絡服務請求的拒絕率Fig.7 Rejection rate of service requests by networks with different service penalty parameters

表3 拒絕服務懲罰參數βl

圖8 不同服務懲罰參數設置下需求迫切網絡服務請求的拒絕率Fig.8 Rejection rate of urgent service requests with different service penalty parameters

通過調整拒絕服務懲罰參數來降低網絡對相應服務請求的拒絕率,既可以有目的性地降低對網絡服務需求迫切用戶服務請求的拒絕率,又可以充分利用網絡資源,能夠有效解決當前由于網絡數據量激增而導致的網絡擁塞問題。下一步,如何調整拒絕服務懲罰參數以實現網絡對用戶服務請求拒絕率的有效控制,以及如何設定可以充分滿足用戶需求的最優拒絕服務懲罰參數將會是研究的重點。

5 結束語

本文主要針對網絡中用戶整體滿意度最大的網絡任務分配策略進行研究?；诙喾N影響因素,構建了用戶需求和滿意度描述框架。基于用戶需求和用戶滿意度,提出了基于SMDP的網絡任務分配策略,通過仿真實驗驗證了所提策略的優勢。但是,現實情況往往比想象中更為復雜,仍有一些問題有待進一步研究:

(1) SAGVN的可拓展性。針對隨機接入的無線通信節點和車載用戶,需要構建更為高效的網絡管理框架,更快將其納入網絡管理系統。

(2) SAGVN網絡的能量消耗。能量消耗是制約SAGVN發展的重要問題,需要有效的能量管理策略。

(3) 網絡分片。結合網絡功能虛擬化技術對網絡分片,為特定用戶提供定制服務。