高速鐵路場景中基于MAB模型的多信道選擇算法

朱 豪,彭 藝,張 申,李啟騫

(昆明理工大學(xué) 信息工程與自動化學(xué)院,昆明 650500)

在高速列車跨越小區(qū)時,為保證列車通信的連續(xù)性與高質(zhì)量性,越區(qū)切換技術(shù)至關(guān)重要[1]. 本文主要研究在列車進(jìn)行越區(qū)切換時,若切換區(qū)域是多基站覆蓋的情形,列車應(yīng)選擇哪個基站進(jìn)行接入通信,即在多信道存在的情形下,選擇哪個信道進(jìn)行接入可保證列車在具有高質(zhì)量通信的同時又能有較長的接入時間,以保證乘客具有更好的通信體驗.

目前,多臂老虎機(jī)(multi-armed bandit,MAB)模型被廣泛應(yīng)用于認(rèn)知無線電的信道選擇與接入領(lǐng)域. 文獻(xiàn)[2]介紹了MAB模型及其實際應(yīng)用,并對該模型進(jìn)行了求解；文獻(xiàn)[3]基于Q-learning討論了雙用戶場景下雙信道的選擇接入問題；文獻(xiàn)[4]討論了基于bandit問題下的信道模型,提出了一種基于次用戶與空閑信道利用的匹配算法,該算法雖可用對數(shù)函數(shù)的方式增長選擇代價,但其需通過多個次用戶之間進(jìn)行信息的交互；文獻(xiàn)[5-6]使用MAB模型進(jìn)行分布式信道的隨機(jī)選擇與接入,其選擇代價也是基于對數(shù)模式增長的; 文獻(xiàn)[7]基于隨機(jī)游戲競價模型,對集中式信道的選擇與接入問題進(jìn)行了研究,通過競價的方式能獲得一定的頻譜資源,但也會對資源分配有一定影響,進(jìn)而影響回報值和選擇策略；文獻(xiàn)[8-9]提出了一種基于TDFS(time division fair share)的信道接入策略,通過將時間正交給認(rèn)知用戶分配信道,可使認(rèn)知用戶間在接入時間上達(dá)到公平；文獻(xiàn)[10-11]建立了滿意通信概率(satisfactory communication probability,SCP)模型,以解決列車高速移動過程中所產(chǎn)生的Doppler效應(yīng)問題; 文獻(xiàn)[12]討論了在高速鐵路環(huán)境下利用SCP使列車在越區(qū)切換過程中具有較低的平均切換次數(shù),以保證較高的服務(wù)質(zhì)量(QoS). 由于基站發(fā)射信號頻率的不同,會產(chǎn)生多條不同頻率的信道,因此,盡管相關(guān)文獻(xiàn)都能在某種程度上實現(xiàn)信道的選擇問題[13],但在高速鐵路多變復(fù)雜的運行環(huán)境中,由于切換帶的多基站分布而產(chǎn)生的多信道問題文獻(xiàn)報道較少[14-15]. 基于此,本文提出一種基于MAB模型的多信道選擇算法. 首先,以置信區(qū)間上界(upper-confidence bound,UCB)算法為基礎(chǔ),通過設(shè)置信道空閑差異因子,使算法能快速收斂于最優(yōu)信道; 其次,由于列車移動過程中存在Doppler效應(yīng),因此引入SCP衡量移動列車的通信質(zhì)量,并分析其與切換過程中誤碼率之間的關(guān)系；最后,利用一系列評判標(biāo)準(zhǔn)分析該算法的性能.

1 系統(tǒng)模型

1.1 場景介紹

圖1為高速鐵路場景下的多信道模型示意圖. 當(dāng)列車行駛至A點時,選擇最優(yōu)信道接入以觸發(fā)越區(qū)切換. 在列車運行環(huán)境中,將列車視為一個認(rèn)知用戶,于是場景即等效為在一個CRN(city radio network)網(wǎng)絡(luò)的高速鐵路環(huán)境中,擁有n條信道,但只有一個認(rèn)知用戶的場景,其中n條信道之間互相獨立,本文中假設(shè)其都服從Bernoulli分布,若信道處于忙碌狀態(tài),則不接入信道.

圖1 多信道選擇模型Fig.1 Multi-channel selection model

圖2 信道模型Fig.2 Channel model

1.2 信道模型

在高速鐵路場景中,切換帶共被M個基站覆蓋,表示M條信道,編號為N∈{N1,N2,…,NM},N(M)∈{0,1}. 當(dāng)N(M)=0時,表示信道是空閑狀態(tài),空閑概率為Pi；當(dāng)N(M)=1時,表示信道是忙碌狀態(tài). 信道模型如圖2所示. 在每個時隙,認(rèn)知用戶伺機(jī)接入M個信道中的一個,且信道在每個時隙中狀態(tài)保持不變. 認(rèn)知用戶在每個時隙的末尾,無論數(shù)據(jù)傳輸是否成功,都將進(jìn)行數(shù)據(jù)更新. 定義fi(n)為到當(dāng)前時隙為止,認(rèn)知用戶對信道M感知的次數(shù)；Ii(n)為感知總次數(shù)中信道空閑的次數(shù). 則認(rèn)知用戶感知信道M的平均空閑概率可表示為

(1)

1.3 問題建模

在高速鐵路環(huán)境中,由于列車的高速移動,在信號接收與發(fā)送過程中,將會產(chǎn)生Doppler頻移,從而產(chǎn)生誤碼率. Doppler頻移fD表示為

(2)

其中θ表示基站信號傳輸方向與列車移動方向的夾角,v表示列車的實際運行速度,c表示光速,f表示載波頻率,dx和dt分別表示列車沿鐵軌方向的水平距離和距離基站的垂直距離. 當(dāng)列車沿鐵軌方向不斷前進(jìn)時,由于dx變大,cosθ逐漸接近于1,故本文忽略距離對Doppler頻移的影響,只考慮速度變化對其的影響,則Doppler頻移可簡化為

(3)

本文采用GMSK(Gaussian filtered minimum shift keying)調(diào)制技術(shù),該調(diào)制模型下的誤碼率可表示為

(4)

式中:ρ為信噪比,取值為15；r=J0(2πfDTb)為相關(guān)系數(shù),J0為第一類零階Bessel函數(shù).

將高速鐵路場景下列車越區(qū)切換過程中多信道選擇與接入問題建模為MAB模型,即每條授權(quán)信道等效為一個獨立的臂. 在高速列車運行環(huán)境中,經(jīng)過n個時隙后,列車成功選擇與接入信道的時間期望值T(n)可表示為

(5)

其中Pi表示信道空閑概率,Ii(n)為感知總次數(shù)中信道空閑的次數(shù). 在MAB模型中,定義累積接入損失R(n)衡量MAB模型中算法的可靠性,表示為

(6)

其中n為時隙數(shù),Pmax表示所有授權(quán)信道中空閑概率的最大值.

在MAB模型中,累積接入損失一定程度上決定了算法性能的優(yōu)劣,R(n)越小,算法的性能越好,故在該模型中應(yīng)盡量使累積接入損失最小. 由于nPmax的值保持不變,要使累積接入損失最小,則T(n)需最大,故該模型的目標(biāo)函數(shù)變?yōu)?/p>

(7)

2 基于MAB模型的信道選擇機(jī)制

2.1 算法設(shè)計

本文采用UCB算法進(jìn)行高速鐵路場景越區(qū)切換中單用戶多信道的選擇問題. 該算法是一種基于索引的算法,索引策略中索引的計算由當(dāng)前信道的平均空閑概率和置信因子決定,使用戶在探索當(dāng)前可用信道的同時預(yù)測下一個空閑信道. 索引值計算公式為

(8)

由于在信道探索過程中,無論信道空閑概率大小,都將對其進(jìn)行探索,所以增加了算法的計算復(fù)雜度. 為使算法快速收斂于最優(yōu)信道,故定義信道空閑差異因子βt反映信道質(zhì)量的差異情況,表示為

(9)

(10)

為反映列車移動過程中接收到來自基站之間信號質(zhì)量的優(yōu)劣程度,本文提出滿意通信概率模型,進(jìn)一步研究列車的選擇與接入算法. 定義列車在運行過程中由于速度變化而產(chǎn)生的通信失敗現(xiàn)象為速度-不滿意通信事件. 由于該事件出現(xiàn)的方式是隨機(jī)且獨立分布的,且列車速度引起的Doppler頻移是導(dǎo)致誤碼率的主要因素,故該事件在單位時間內(nèi)的出現(xiàn)次數(shù)近似于服從Poisson分布,表示為

(11)

其中:K為出現(xiàn)誤碼的次數(shù);λ為Poisson分布的均值和方差;λ=a(Pb-Pstd),a為待定系數(shù),經(jīng)過相關(guān)數(shù)據(jù)測試分析可知,a的取值一般為106. 定義通信失敗次數(shù)小于臨界速度-不滿意通信事件次數(shù)的概率為速度-滿意通信概率,可表示為

(12)

其中NPstd表示單位時間內(nèi)發(fā)生誤碼的次數(shù),由于誤碼是導(dǎo)致通信失敗的最重要原因,所以NPstd也稱為不滿意通信事件的次數(shù). 在GSM-R(global system for mobile communications-railway)要求中,通常Pstd的下限取為0.008. 本文算法流程如圖3所示.

圖3 基于UCB算法的信道選擇流程Fig.3 Channel selection flowchart based on UCB algorithm

2.2 性能指標(biāo)分析

本文將最優(yōu)信道(空閑概率最大)選擇比率作為算法的性能評價標(biāo)準(zhǔn)之一：

(13)

由于最優(yōu)信道選擇比率只能評價當(dāng)前時刻選擇的信道是否是最優(yōu)信道,而無法評判所選信道在當(dāng)前時刻是否是空閑信道,故此時需用成功傳輸率Psuc進(jìn)行評判分析：

Psuc=T(n)/t,

(14)

其中T(n)為認(rèn)知用戶進(jìn)行信道選擇后接入的累積收益,即列車成功選擇與接入信道的時間期望值.

根據(jù)式(13),用戶總是選擇最優(yōu)信道進(jìn)行接入通信,而非最優(yōu)信道在未被占用時也可進(jìn)行通信,故其累計接入損失在時間t足夠長的情形下可調(diào)整為

其中Sm為邏輯表達(dá)式,信道被占用時取值為1,信道空閑時取值為0.

3 仿真結(jié)果與分析

3.1 仿真參數(shù)

仿真場景為：在高速鐵路場景中,將列車定義為一個認(rèn)知用戶,假設(shè)多信道切換帶中有9條待選信道,空閑概率分別為{0.1,0.2,…,0.9},各條信道服從Bernoulli分布,仿真總時隙為10 000,每個時隙的時長為0.01 s.

待選信道在有限時隙內(nèi)被選擇接入次數(shù)列于表1. 由表1可見,如果仿真時隙足夠多,則信道空閑概率越大的信道被選擇的次數(shù)越多,由于本文定義的最大信道空閑概率為0.9的信道9,故無論在原始UCB算法中還是在改進(jìn)UCB算法中,信道9被選擇接入的次數(shù)都最多,約占90%.

表1 待選信道在有限時隙內(nèi)被選擇接入次數(shù)

3.2 結(jié)果分析

圖4 誤碼率與列車速度的關(guān)系Fig.4 Relationship between bit error rate and train speed

圖4和圖5分別為高速鐵路場景下列車速度與誤碼率和滿意通信概率間的變化關(guān)系. 由圖4和圖5可見,列車運行過程中的Doppler頻移隨著列車運行速度的不斷提高而增大,從而導(dǎo)致誤碼率也越來越高,但總體上還是維持在一個較低水平1%～3%；同時導(dǎo)致列車高速移動時速度-滿意通信概率降低,但當(dāng)列車速度達(dá)到500 km/h時也基本維持在97%以上. 因此,在信噪比恒定時,列車運行速度越低,列車的滿意通信概率越高,低速列車能更好地滿足信道的有效接入.

圖6為不同算法最優(yōu)信道選擇比率的對比結(jié)果. 由圖6可見,由于隨機(jī)選擇算法選擇的盲目性,在算法開始時就會直接選擇第一條信道,故開始會出現(xiàn)選擇比率達(dá)到1的情形,但隨著時隙數(shù)的增加,選擇比率急劇下降,其性能最差,最終約為11.7%；原始UCB算法的最優(yōu)信道選擇比率隨著時隙數(shù)的增加而不斷增大,在時隙數(shù)t達(dá)到約5 300時,選擇比率可達(dá)80%,最終逐漸趨于穩(wěn)定,維持在約86.5%[16]；而改進(jìn)UCB算法,由于本文設(shè)置了信道質(zhì)量差異因子,縮減了探索信道的數(shù)量,故在時隙t僅約為770時,便能很快達(dá)到90%以上的最優(yōu)選擇比率,并隨著時隙數(shù)的增加而不斷增長,最終逐漸趨于1.

圖5 速度-滿意通信概率的關(guān)系Fig.5 Relationship between speed and satisfactory communication probability

圖6 不同算法最優(yōu)信道選擇比率的對比結(jié)果Fig.6 Comparison results of optimal channel selection rate by different algorithms

3種算法的成功傳輸率如圖8所示. 由圖8可見：隨機(jī)選擇算法的成功傳輸率最低，約為49.8%；原始UCB算法的成功傳輸率隨時隙t的增加而不斷增大，當(dāng)時隙t≈1 400時，成功傳輸率增加至80%，然后逐漸趨于平緩，最終維持在約86.7%[17]; 而改進(jìn)UCB算法在時隙t≈1 000時，便能很快達(dá)到約90%，由于仿真環(huán)境中設(shè)置的最大信道空閑概率為0.9,故隨著時隙數(shù)的不斷增大,始終維持在90%. 由于本文設(shè)置了信道質(zhì)量差異因子,縮減了探索信道的數(shù)量,因此,在較小的時隙t內(nèi)便能達(dá)到較高的成功傳輸率.

圖8 成功傳輸率Fig.8 Successful transmission rate

綜上所述,本文主要研究了高速鐵路場景下越區(qū)切換過程中的多信道選擇問題,分析了基于MAB模型下的多信道選擇算法,以UCB算法為基礎(chǔ),設(shè)置信道空閑差異因子,算法能快速收斂于最優(yōu)信道,通過引入SCP衡量移動列車與傳輸誤碼率之間的關(guān)系；最后分析了本文算法在最優(yōu)信道選擇比率、成功傳輸率和累積接入損失方面與其他算法的性能關(guān)系. 仿真結(jié)果表明,本文算法在上述3個評價標(biāo)準(zhǔn)中都有較大的提高,性能更優(yōu).