高速鐵路場(chǎng)景中基于MAB模型的多信道選擇算法

朱 豪,彭 藝,張 申,李啟騫

(昆明理工大學(xué) 信息工程與自動(dòng)化學(xué)院,昆明 650500)

在高速列車跨越小區(qū)時(shí),為保證列車通信的連續(xù)性與高質(zhì)量性,越區(qū)切換技術(shù)至關(guān)重要[1]. 本文主要研究在列車進(jìn)行越區(qū)切換時(shí),若切換區(qū)域是多基站覆蓋的情形,列車應(yīng)選擇哪個(gè)基站進(jìn)行接入通信,即在多信道存在的情形下,選擇哪個(gè)信道進(jìn)行接入可保證列車在具有高質(zhì)量通信的同時(shí)又能有較長的接入時(shí)間,以保證乘客具有更好的通信體驗(yàn).

目前,多臂老虎機(jī)(multi-armed bandit,MAB)模型被廣泛應(yīng)用于認(rèn)知無線電的信道選擇與接入領(lǐng)域. 文獻(xiàn)[2]介紹了MAB模型及其實(shí)際應(yīng)用,并對(duì)該模型進(jìn)行了求解；文獻(xiàn)[3]基于Q-learning討論了雙用戶場(chǎng)景下雙信道的選擇接入問題；文獻(xiàn)[4]討論了基于bandit問題下的信道模型,提出了一種基于次用戶與空閑信道利用的匹配算法,該算法雖可用對(duì)數(shù)函數(shù)的方式增長選擇代價(jià),但其需通過多個(gè)次用戶之間進(jìn)行信息的交互；文獻(xiàn)[5-6]使用MAB模型進(jìn)行分布式信道的隨機(jī)選擇與接入,其選擇代價(jià)也是基于對(duì)數(shù)模式增長的; 文獻(xiàn)[7]基于隨機(jī)游戲競(jìng)價(jià)模型,對(duì)集中式信道的選擇與接入問題進(jìn)行了研究,通過競(jìng)價(jià)的方式能獲得一定的頻譜資源,但也會(huì)對(duì)資源分配有一定影響,進(jìn)而影響回報(bào)值和選擇策略；文獻(xiàn)[8-9]提出了一種基于TDFS(time division fair share)的信道接入策略,通過將時(shí)間正交給認(rèn)知用戶分配信道,可使認(rèn)知用戶間在接入時(shí)間上達(dá)到公平；文獻(xiàn)[10-11]建立了滿意通信概率(satisfactory communication probability,SCP)模型,以解決列車高速移動(dòng)過程中所產(chǎn)生的Doppler效應(yīng)問題; 文獻(xiàn)[12]討論了在高速鐵路環(huán)境下利用SCP使列車在越區(qū)切換過程中具有較低的平均切換次數(shù),以保證較高的服務(wù)質(zhì)量(QoS). 由于基站發(fā)射信號(hào)頻率的不同,會(huì)產(chǎn)生多條不同頻率的信道,因此,盡管相關(guān)文獻(xiàn)都能在某種程度上實(shí)現(xiàn)信道的選擇問題[13],但在高速鐵路多變復(fù)雜的運(yùn)行環(huán)境中,由于切換帶的多基站分布而產(chǎn)生的多信道問題文獻(xiàn)報(bào)道較少[14-15]. 基于此,本文提出一種基于MAB模型的多信道選擇算法. 首先,以置信區(qū)間上界(upper-confidence bound,UCB)算法為基礎(chǔ),通過設(shè)置信道空閑差異因子,使算法能快速收斂于最優(yōu)信道; 其次,由于列車移動(dòng)過程中存在Doppler效應(yīng),因此引入SCP衡量移動(dòng)列車的通信質(zhì)量,并分析其與切換過程中誤碼率之間的關(guān)系；最后,利用一系列評(píng)判標(biāo)準(zhǔn)分析該算法的性能.

1 系統(tǒng)模型

1.1 場(chǎng)景介紹

圖1為高速鐵路場(chǎng)景下的多信道模型示意圖. 當(dāng)列車行駛至A點(diǎn)時(shí),選擇最優(yōu)信道接入以觸發(fā)越區(qū)切換. 在列車運(yùn)行環(huán)境中,將列車視為一個(gè)認(rèn)知用戶,于是場(chǎng)景即等效為在一個(gè)CRN(city radio network)網(wǎng)絡(luò)的高速鐵路環(huán)境中,擁有n條信道,但只有一個(gè)認(rèn)知用戶的場(chǎng)景,其中n條信道之間互相獨(dú)立,本文中假設(shè)其都服從Bernoulli分布,若信道處于忙碌狀態(tài),則不接入信道.

圖1 多信道選擇模型Fig.1 Multi-channel selection model

圖2 信道模型Fig.2 Channel model

1.2 信道模型

在高速鐵路場(chǎng)景中,切換帶共被M個(gè)基站覆蓋,表示M條信道,編號(hào)為N∈{N1,N2,…,NM},N(M)∈{0,1}. 當(dāng)N(M)=0時(shí),表示信道是空閑狀態(tài),空閑概率為Pi；當(dāng)N(M)=1時(shí),表示信道是忙碌狀態(tài). 信道模型如圖2所示. 在每個(gè)時(shí)隙,認(rèn)知用戶伺機(jī)接入M個(gè)信道中的一個(gè),且信道在每個(gè)時(shí)隙中狀態(tài)保持不變. 認(rèn)知用戶在每個(gè)時(shí)隙的末尾,無論數(shù)據(jù)傳輸是否成功,都將進(jìn)行數(shù)據(jù)更新. 定義fi(n)為到當(dāng)前時(shí)隙為止,認(rèn)知用戶對(duì)信道M感知的次數(shù)；Ii(n)為感知總次數(shù)中信道空閑的次數(shù). 則認(rèn)知用戶感知信道M的平均空閑概率可表示為

(1)

1.3 問題建模

在高速鐵路環(huán)境中,由于列車的高速移動(dòng),在信號(hào)接收與發(fā)送過程中,將會(huì)產(chǎn)生Doppler頻移,從而產(chǎn)生誤碼率. Doppler頻移fD表示為

(2)

其中θ表示基站信號(hào)傳輸方向與列車移動(dòng)方向的夾角,v表示列車的實(shí)際運(yùn)行速度,c表示光速,f表示載波頻率,dx和dt分別表示列車沿鐵軌方向的水平距離和距離基站的垂直距離. 當(dāng)列車沿鐵軌方向不斷前進(jìn)時(shí),由于dx變大,cosθ逐漸接近于1,故本文忽略距離對(duì)Doppler頻移的影響,只考慮速度變化對(duì)其的影響,則Doppler頻移可簡化為

(3)

本文采用GMSK(Gaussian filtered minimum shift keying)調(diào)制技術(shù),該調(diào)制模型下的誤碼率可表示為

(4)

式中:ρ為信噪比,取值為15；r=J0(2πfDTb)為相關(guān)系數(shù),J0為第一類零階Bessel函數(shù).

將高速鐵路場(chǎng)景下列車越區(qū)切換過程中多信道選擇與接入問題建模為MAB模型,即每條授權(quán)信道等效為一個(gè)獨(dú)立的臂. 在高速列車運(yùn)行環(huán)境中,經(jīng)過n個(gè)時(shí)隙后,列車成功選擇與接入信道的時(shí)間期望值T(n)可表示為

(5)

其中Pi表示信道空閑概率,Ii(n)為感知總次數(shù)中信道空閑的次數(shù). 在MAB模型中,定義累積接入損失R(n)衡量MAB模型中算法的可靠性,表示為

(6)

其中n為時(shí)隙數(shù),Pmax表示所有授權(quán)信道中空閑概率的最大值.

在MAB模型中,累積接入損失一定程度上決定了算法性能的優(yōu)劣,R(n)越小,算法的性能越好,故在該模型中應(yīng)盡量使累積接入損失最小. 由于nPmax的值保持不變,要使累積接入損失最小,則T(n)需最大,故該模型的目標(biāo)函數(shù)變?yōu)?/p>

(7)

2 基于MAB模型的信道選擇機(jī)制

2.1 算法設(shè)計(jì)

本文采用UCB算法進(jìn)行高速鐵路場(chǎng)景越區(qū)切換中單用戶多信道的選擇問題. 該算法是一種基于索引的算法,索引策略中索引的計(jì)算由當(dāng)前信道的平均空閑概率和置信因子決定,使用戶在探索當(dāng)前可用信道的同時(shí)預(yù)測(cè)下一個(gè)空閑信道. 索引值計(jì)算公式為

(8)

由于在信道探索過程中,無論信道空閑概率大小,都將對(duì)其進(jìn)行探索,所以增加了算法的計(jì)算復(fù)雜度. 為使算法快速收斂于最優(yōu)信道,故定義信道空閑差異因子βt反映信道質(zhì)量的差異情況,表示為

(9)

(10)

為反映列車移動(dòng)過程中接收到來自基站之間信號(hào)質(zhì)量的優(yōu)劣程度,本文提出滿意通信概率模型,進(jìn)一步研究列車的選擇與接入算法. 定義列車在運(yùn)行過程中由于速度變化而產(chǎn)生的通信失敗現(xiàn)象為速度-不滿意通信事件. 由于該事件出現(xiàn)的方式是隨機(jī)且獨(dú)立分布的,且列車速度引起的Doppler頻移是導(dǎo)致誤碼率的主要因素,故該事件在單位時(shí)間內(nèi)的出現(xiàn)次數(shù)近似于服從Poisson分布,表示為

(11)

其中:K為出現(xiàn)誤碼的次數(shù);λ為Poisson分布的均值和方差;λ=a(Pb-Pstd),a為待定系數(shù),經(jīng)過相關(guān)數(shù)據(jù)測(cè)試分析可知,a的取值一般為106. 定義通信失敗次數(shù)小于臨界速度-不滿意通信事件次數(shù)的概率為速度-滿意通信概率,可表示為

(12)

其中NPstd表示單位時(shí)間內(nèi)發(fā)生誤碼的次數(shù),由于誤碼是導(dǎo)致通信失敗的最重要原因,所以NPstd也稱為不滿意通信事件的次數(shù). 在GSM-R(global system for mobile communications-railway)要求中,通常Pstd的下限取為0.008. 本文算法流程如圖3所示.

圖3 基于UCB算法的信道選擇流程Fig.3 Channel selection flowchart based on UCB algorithm

2.2 性能指標(biāo)分析

本文將最優(yōu)信道(空閑概率最大)選擇比率作為算法的性能評(píng)價(jià)標(biāo)準(zhǔn)之一：

(13)

由于最優(yōu)信道選擇比率只能評(píng)價(jià)當(dāng)前時(shí)刻選擇的信道是否是最優(yōu)信道,而無法評(píng)判所選信道在當(dāng)前時(shí)刻是否是空閑信道,故此時(shí)需用成功傳輸率Psuc進(jìn)行評(píng)判分析：

Psuc=T(n)/t,

(14)

其中T(n)為認(rèn)知用戶進(jìn)行信道選擇后接入的累積收益,即列車成功選擇與接入信道的時(shí)間期望值.

根據(jù)式(13),用戶總是選擇最優(yōu)信道進(jìn)行接入通信,而非最優(yōu)信道在未被占用時(shí)也可進(jìn)行通信,故其累計(jì)接入損失在時(shí)間t足夠長的情形下可調(diào)整為

其中Sm為邏輯表達(dá)式,信道被占用時(shí)取值為1,信道空閑時(shí)取值為0.

3 仿真結(jié)果與分析

3.1 仿真參數(shù)

仿真場(chǎng)景為：在高速鐵路場(chǎng)景中,將列車定義為一個(gè)認(rèn)知用戶,假設(shè)多信道切換帶中有9條待選信道,空閑概率分別為{0.1,0.2,…,0.9},各條信道服從Bernoulli分布,仿真總時(shí)隙為10 000,每個(gè)時(shí)隙的時(shí)長為0.01 s.

待選信道在有限時(shí)隙內(nèi)被選擇接入次數(shù)列于表1. 由表1可見,如果仿真時(shí)隙足夠多,則信道空閑概率越大的信道被選擇的次數(shù)越多,由于本文定義的最大信道空閑概率為0.9的信道9,故無論在原始UCB算法中還是在改進(jìn)UCB算法中,信道9被選擇接入的次數(shù)都最多,約占90%.

表1 待選信道在有限時(shí)隙內(nèi)被選擇接入次數(shù)

3.2 結(jié)果分析

圖4 誤碼率與列車速度的關(guān)系Fig.4 Relationship between bit error rate and train speed

圖4和圖5分別為高速鐵路場(chǎng)景下列車速度與誤碼率和滿意通信概率間的變化關(guān)系. 由圖4和圖5可見,列車運(yùn)行過程中的Doppler頻移隨著列車運(yùn)行速度的不斷提高而增大,從而導(dǎo)致誤碼率也越來越高,但總體上還是維持在一個(gè)較低水平1%～3%；同時(shí)導(dǎo)致列車高速移動(dòng)時(shí)速度-滿意通信概率降低,但當(dāng)列車速度達(dá)到500 km/h時(shí)也基本維持在97%以上. 因此,在信噪比恒定時(shí),列車運(yùn)行速度越低,列車的滿意通信概率越高,低速列車能更好地滿足信道的有效接入.

圖6為不同算法最優(yōu)信道選擇比率的對(duì)比結(jié)果. 由圖6可見,由于隨機(jī)選擇算法選擇的盲目性,在算法開始時(shí)就會(huì)直接選擇第一條信道,故開始會(huì)出現(xiàn)選擇比率達(dá)到1的情形,但隨著時(shí)隙數(shù)的增加,選擇比率急劇下降,其性能最差,最終約為11.7%；原始UCB算法的最優(yōu)信道選擇比率隨著時(shí)隙數(shù)的增加而不斷增大,在時(shí)隙數(shù)t達(dá)到約5 300時(shí),選擇比率可達(dá)80%,最終逐漸趨于穩(wěn)定,維持在約86.5%[16]；而改進(jìn)UCB算法,由于本文設(shè)置了信道質(zhì)量差異因子,縮減了探索信道的數(shù)量,故在時(shí)隙t僅約為770時(shí),便能很快達(dá)到90%以上的最優(yōu)選擇比率,并隨著時(shí)隙數(shù)的增加而不斷增長,最終逐漸趨于1.

圖5 速度-滿意通信概率的關(guān)系Fig.5 Relationship between speed and satisfactory communication probability

圖6 不同算法最優(yōu)信道選擇比率的對(duì)比結(jié)果Fig.6 Comparison results of optimal channel selection rate by different algorithms

3種算法的成功傳輸率如圖8所示. 由圖8可見：隨機(jī)選擇算法的成功傳輸率最低，約為49.8%；原始UCB算法的成功傳輸率隨時(shí)隙t的增加而不斷增大，當(dāng)時(shí)隙t≈1 400時(shí)，成功傳輸率增加至80%，然后逐漸趨于平緩，最終維持在約86.7%[17]; 而改進(jìn)UCB算法在時(shí)隙t≈1 000時(shí)，便能很快達(dá)到約90%，由于仿真環(huán)境中設(shè)置的最大信道空閑概率為0.9,故隨著時(shí)隙數(shù)的不斷增大,始終維持在90%. 由于本文設(shè)置了信道質(zhì)量差異因子,縮減了探索信道的數(shù)量,因此,在較小的時(shí)隙t內(nèi)便能達(dá)到較高的成功傳輸率.

圖8 成功傳輸率Fig.8 Successful transmission rate

綜上所述,本文主要研究了高速鐵路場(chǎng)景下越區(qū)切換過程中的多信道選擇問題,分析了基于MAB模型下的多信道選擇算法,以UCB算法為基礎(chǔ),設(shè)置信道空閑差異因子,算法能快速收斂于最優(yōu)信道,通過引入SCP衡量移動(dòng)列車與傳輸誤碼率之間的關(guān)系；最后分析了本文算法在最優(yōu)信道選擇比率、成功傳輸率和累積接入損失方面與其他算法的性能關(guān)系. 仿真結(jié)果表明,本文算法在上述3個(gè)評(píng)價(jià)標(biāo)準(zhǔn)中都有較大的提高,性能更優(yōu).