動(dòng)態(tài)頻譜接入的Q學(xué)習(xí)優(yōu)化算法

黃 影,嚴(yán)定宇,李 男

(1.西安文理學(xué)院數(shù)學(xué)與計(jì)算機(jī)工程學(xué)院,陜西西安 710068；2.西安電子科技大學(xué)綜合業(yè)務(wù)網(wǎng)理論及關(guān)鍵技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室,陜西西安 710071)

動(dòng)態(tài)頻譜接入的Q學(xué)習(xí)優(yōu)化算法

黃 影1,嚴(yán)定宇2,李 男2

(1.西安文理學(xué)院數(shù)學(xué)與計(jì)算機(jī)工程學(xué)院,陜西西安 710068；2.西安電子科技大學(xué)綜合業(yè)務(wù)網(wǎng)理論及關(guān)鍵技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室,陜西西安 710071)

在認(rèn)知無(wú)線電網(wǎng)絡(luò)的中心架構(gòu)下針對(duì)網(wǎng)絡(luò)整體性能和用戶需求,提出一種基于Q學(xué)習(xí)的動(dòng)態(tài)頻譜接入優(yōu)化算法.該算法通過(guò)認(rèn)知用戶根據(jù)Q學(xué)習(xí)算法提出信道申請(qǐng)和控制節(jié)點(diǎn);根據(jù)網(wǎng)絡(luò)整體性能處理申請(qǐng)兩個(gè)主要步驟的實(shí)施,完成動(dòng)態(tài)頻譜的接入.仿真與分析表明,該優(yōu)化算法在滿足用戶頻譜需求的同時(shí)使得網(wǎng)絡(luò)整體性能得到明顯的改善.

認(rèn)知無(wú)線電網(wǎng)絡(luò);動(dòng)態(tài)頻譜接入;Q學(xué)習(xí)

隨著無(wú)線技術(shù)的飛速發(fā)展,與日俱增的頻譜需求使得無(wú)線頻譜資源面臨著緊缺危險(xiǎn)[1].而傳統(tǒng)的固定頻譜分配策略嚴(yán)重限制了用戶接入的能力,從而導(dǎo)致了頻譜資源的嚴(yán)重浪費(fèi).為有效解決網(wǎng)絡(luò)頻譜資源緊缺且利用率不高的問(wèn)題,認(rèn)知無(wú)線電技術(shù)應(yīng)運(yùn)而生,其基本功能之一就是整合空閑頻譜,為擇機(jī)使用頻譜的用戶提供接入服務(wù),提高頻譜利用率[2].當(dāng)次級(jí)用戶在使用空閑的主用戶信道時(shí),必須滿足在主用戶不做任何改變的情況下,不給主用戶帶來(lái)任何形式干擾的條件,即當(dāng)信道沒有被主用戶占用而處于空閑的狀態(tài)時(shí),次級(jí)用戶方可以接入空閑信道進(jìn)行通信;當(dāng)信道被主用戶占用而處于忙碌的狀態(tài)時(shí),次級(jí)用戶應(yīng)立即停止在此信道的通信,并且切換到其他空閑信道繼續(xù)數(shù)據(jù)通信.

由于主用戶使用頻譜的限制,次級(jí)用戶可用頻譜的數(shù)量和位置會(huì)隨時(shí)間而不斷變化.因此,對(duì)于這些“不確定”的頻譜資源進(jìn)行優(yōu)化分配本質(zhì)上是一個(gè)受限的頻譜分配問(wèn)題.對(duì)于認(rèn)知無(wú)線電網(wǎng)絡(luò),選擇高效、自適應(yīng)的頻譜資源分配方案及管理策略直接關(guān)系著網(wǎng)絡(luò)的正常運(yùn)行[3].Q學(xué)習(xí)算法適用于外部環(huán)境變化復(fù)雜,而獎(jiǎng)勵(lì)易積累計(jì)算的場(chǎng)景,其應(yīng)用的場(chǎng)景非常符合認(rèn)知無(wú)線電網(wǎng)絡(luò)的動(dòng)態(tài)頻譜接入環(huán)境,能夠?yàn)檎J(rèn)知無(wú)線電網(wǎng)絡(luò)提供一種動(dòng)態(tài)的、自適應(yīng)的頻譜資源優(yōu)化方法[4].

現(xiàn)有的基于Q學(xué)習(xí)的動(dòng)態(tài)頻譜接入研究大都集中在對(duì)Q學(xué)習(xí)算法和外部環(huán)境建模以及提高算法效率上,而同時(shí)考慮用戶需求和網(wǎng)絡(luò)整體性能的研究較少.文獻(xiàn)[5]提出利用Q學(xué)習(xí)算法有效地利用頻譜空洞,不需要任何動(dòng)態(tài)環(huán)境的先驗(yàn)知識(shí)和較多的信息交換,只通過(guò)與環(huán)境的交互達(dá)到高性能的學(xué)習(xí)方案.而文獻(xiàn)[6]則分別通過(guò)提出將Q學(xué)習(xí)算法和拍賣算法相結(jié)合的方法來(lái)進(jìn)一步提高算法效率.文獻(xiàn)[7]利用Q學(xué)習(xí)算法和跨層技術(shù)設(shè)計(jì)出一種在認(rèn)知無(wú)線電網(wǎng)絡(luò)環(huán)境下的學(xué)習(xí)引擎.文獻(xiàn)[8]則將Q學(xué)習(xí)算法用于認(rèn)知傳感器網(wǎng)絡(luò)中繼節(jié)點(diǎn)的選舉上.這些研究?jī)H從單一角度提高網(wǎng)絡(luò)性能,如吞吐量、時(shí)延和公平性等,但當(dāng)外部網(wǎng)絡(luò)環(huán)境比較復(fù)雜、通信場(chǎng)景多樣化時(shí),這些算法就不能針對(duì)多個(gè)目標(biāo)起到資源優(yōu)化的作用.因此,筆者提出一種優(yōu)化資源的Q學(xué)習(xí)方案,旨在盡量滿足用戶需求的同時(shí)提升網(wǎng)絡(luò)整體性能.

1 模型介紹

1.1 認(rèn)知無(wú)線電網(wǎng)絡(luò)架構(gòu)模型

文中提出的基于Q學(xué)習(xí)的動(dòng)態(tài)頻譜接入方案,旨在盡量滿足用戶需求的同時(shí)提升網(wǎng)絡(luò)整體性能,而單個(gè)次級(jí)用戶很難確保周圍環(huán)境信息的全面性和實(shí)時(shí)性,不利于網(wǎng)絡(luò)整體環(huán)境的實(shí)時(shí)獲取,因此,文中設(shè)計(jì)的認(rèn)知無(wú)線電網(wǎng)絡(luò)架構(gòu)為一種弱集中式架構(gòu),即一定范圍內(nèi)必須存在1個(gè)控制節(jié)點(diǎn).控制節(jié)點(diǎn)可由次級(jí)用戶基站充當(dāng),也可以由分層網(wǎng)絡(luò)中具備較強(qiáng)計(jì)算能力的簇頭節(jié)點(diǎn)充當(dāng),同時(shí)默認(rèn)次級(jí)用戶彼此之間存在用于傳輸控制信息的控制信道,具體網(wǎng)絡(luò)架構(gòu)模型如圖1所示.

圖1 認(rèn)知無(wú)線電網(wǎng)絡(luò)架構(gòu)模型

1.2 Q學(xué)習(xí)算法模型

Q學(xué)習(xí)算法是Watkins在1989年提出的一種無(wú)模型強(qiáng)化學(xué)習(xí)算法,是強(qiáng)化學(xué)習(xí)算法中的一個(gè)里程碑[9].Q學(xué)習(xí)算法主要通過(guò)馬爾科夫決策過(guò)程建模,以迭代方法逼近最優(yōu)解,基本模型如圖2所示.Q學(xué)習(xí)算法的具體步驟如下[10]:

圖2 Q學(xué)習(xí)算法的基本模型

Step 1 初始化Q（s,a),隨機(jī)生成查找表,初始化參數(shù)?和γ,令t=0.

Step 2 觀測(cè)當(dāng)前狀態(tài)st.

Step 3 按照某種動(dòng)作選擇機(jī)制選擇動(dòng)作at,并執(zhí)行.

Step 4 觀測(cè)執(zhí)行完動(dòng)作at后的下一個(gè)狀態(tài)st+1和獎(jiǎng)懲值rt+1.

Step 5 按照下式更新狀態(tài)動(dòng)作對(duì)（st,at)的Q值函數(shù),得到Qt+1（st,at),即

Step 6 判斷是否達(dá)到終止條件.若達(dá)到終止條件則結(jié)束;否則,轉(zhuǎn)Step 3,并且令t=t+1.

2 基于Q學(xué)習(xí)的動(dòng)態(tài)頻譜接入方案

2.1 方案問(wèn)題描述

認(rèn)知無(wú)線電網(wǎng)絡(luò)中的動(dòng)態(tài)頻譜接入技術(shù),除了面臨可用頻譜資源隨著主用戶使用情況而變化的問(wèn)題外,還面臨著認(rèn)知用戶需求實(shí)時(shí)變化的問(wèn)題.具體問(wèn)題描述如下:

（1)環(huán)境狀態(tài)S的問(wèn)題映射,S={s1,s2,…,sk,…,sn},表示目前認(rèn)知用戶可以二次利用的信道列表,n表示認(rèn)知用戶可達(dá)的所有信道數(shù).當(dāng)sk=1時(shí),表示當(dāng)前信道k被主用戶占用;當(dāng)sk=0時(shí),表示當(dāng)前信道k未被主用戶占用,是空閑的信道.

（2)動(dòng)作選擇集合A的問(wèn)題映射,A={a1,a2,…,ak,…,am},系統(tǒng)狀態(tài)的動(dòng)作選擇主要受兩種行為的影響:一種是主用戶的行為,即認(rèn)知用戶只能選擇那些主用戶沒有占用的空閑信道接入,不能對(duì)主用戶已占用的信道的數(shù)據(jù)通信產(chǎn)生影響;一種是其他認(rèn)知用戶的行為,即認(rèn)知用戶應(yīng)該盡量選擇其他認(rèn)知用戶沒有選擇的信道接入,進(jìn)而減小認(rèn)知用戶彼此之間的碰撞概率和認(rèn)知用戶系統(tǒng)資源的浪費(fèi).

（3)獎(jiǎng)賞值,又稱為回報(bào),即應(yīng)當(dāng)能夠體現(xiàn)出學(xué)習(xí)的目標(biāo).該方案的目標(biāo)就是在不對(duì)主用戶系統(tǒng)的通信造成干擾的前提下,降低認(rèn)知用戶彼此之間的沖突概率,進(jìn)而達(dá)到提高系統(tǒng)吞吐量的目的,同時(shí)盡量滿足認(rèn)知用戶的需求,具體表現(xiàn)為盡量使得各個(gè)認(rèn)知用戶獲得更高的傳輸速率.基于此,文中設(shè)計(jì)的獎(jiǎng)賞函數(shù)為

當(dāng)次級(jí)用戶USi申請(qǐng)信道j,控制節(jié)點(diǎn)分配給該用戶信道j時(shí),使用式（2a);當(dāng)次級(jí)用戶USi申請(qǐng)信道j,控制節(jié)點(diǎn)分配給該用戶信道k時(shí),使用式（2b);當(dāng)次級(jí)用戶USi申請(qǐng)信道j,控制節(jié)點(diǎn)沒有分配給該用戶任何空閑信道進(jìn)行數(shù)據(jù)通信時(shí),使用式（2c).

2.2 方案實(shí)施步驟

從用戶需求和網(wǎng)絡(luò)整體性能兩個(gè)角度出發(fā),筆者提出了一種基于Q學(xué)習(xí)的動(dòng)態(tài)頻譜接入方案,即一種面向用戶需求和提升網(wǎng)絡(luò)整體性能的動(dòng)態(tài)頻譜接入方案.具體算法流程如圖3所示.

圖3 優(yōu)化算法的主要流程圖

Step 1 入網(wǎng)初始化:①根據(jù)感知結(jié)果完成主用戶占用信道的初始化;②對(duì)各個(gè)次級(jí)用戶在各個(gè)傳輸信道上的傳輸速率進(jìn)行初始化;③次級(jí)用戶信道申請(qǐng)失敗記錄器全部初始化為0;④將次級(jí)用戶的優(yōu)先級(jí)全部初始化為0;⑤將所有狀態(tài)動(dòng)作對(duì)的Q值初始化為0.

Step 2 各個(gè)次級(jí)用戶在數(shù)據(jù)傳輸時(shí)隙開始時(shí)按照自己的Q學(xué)習(xí)算法計(jì)算出將要申請(qǐng)的信道標(biāo)號(hào),并將信道標(biāo)號(hào)上報(bào)給控制節(jié)點(diǎn):①根據(jù)感知結(jié)果構(gòu)建狀態(tài)空間;②根據(jù)狀態(tài)空間調(diào)整Q值表大小;③根據(jù)貪婪策略進(jìn)行下一次動(dòng)作的選擇;④將下一個(gè)動(dòng)作得到的下一個(gè)狀態(tài)作為本次信道申請(qǐng)的信道標(biāo)號(hào);④次級(jí)用戶根據(jù)自己通信需求的緊急程度（gur)修改自己優(yōu)先級(jí)（pri),prii=prii+ guri,guri值越大,次級(jí)用戶的額外代價(jià)越大,將優(yōu)先級(jí)的數(shù)值上傳給控制節(jié)點(diǎn)后,默認(rèn)prii=0,guri=0.

Step 3 控制節(jié)點(diǎn)根據(jù)各個(gè)次級(jí)用戶上報(bào)信息處理申請(qǐng):①有且僅有次級(jí)用戶USi申請(qǐng)信道j,將信道j分配給次級(jí)用戶USi;②若次級(jí)用戶USi和USj同時(shí)申請(qǐng)信道j,則將信道j分配給優(yōu)先級(jí)較大的次級(jí)用戶,若次級(jí)用戶彼此之間的優(yōu)先級(jí)相等,當(dāng)時(shí),將信道分配給Ns較大的次級(jí)用戶;當(dāng)時(shí),將信道分配給傳輸能力較強(qiáng)的次級(jí)用戶,其中,N0為判定門限,其具體數(shù)值可根據(jù)網(wǎng)絡(luò)具體情況確定;③以剩余隨機(jī)分配的形式保證所有空閑信道都被分配給次級(jí)用戶或者所有次級(jí)用戶都分配到信道;④若次級(jí)用戶USi分配到信道,則保持Nsi數(shù)值不變;否則,令Nsi=Nsi+1.

Step 4 控制節(jié)點(diǎn)通過(guò)控制信道將分配信息下發(fā)給各個(gè)次級(jí)用戶,次級(jí)用戶利用自己分配到的空閑信道開始數(shù)據(jù)傳輸,直至下一個(gè)感知時(shí)隙的到來(lái).

Step 5 在感知時(shí)隙期間,各個(gè)次級(jí)用戶根據(jù)分配結(jié)果和獎(jiǎng)賞函數(shù)計(jì)算出獎(jiǎng)賞值,進(jìn)而根據(jù)更新公式完成Q值的更新調(diào)整.

Step 6 判斷次級(jí)用戶是否需要繼續(xù)進(jìn)行數(shù)據(jù)傳輸,若否,則轉(zhuǎn)Step 7;若是,則轉(zhuǎn)Step 2.

Step 7 次級(jí)用戶結(jié)束數(shù)據(jù)傳輸,退出認(rèn)知無(wú)線電網(wǎng)絡(luò).

3 仿真分析

文中提出的基于Q學(xué)習(xí)的動(dòng)態(tài)頻譜接入優(yōu)化算法,主要是從用戶需求和網(wǎng)絡(luò)整體性能兩個(gè)角度出發(fā),旨在提升網(wǎng)絡(luò)整體性能的同時(shí)盡量滿足用戶的需求,這里從網(wǎng)絡(luò)整體性能和用戶需求兩個(gè)方面對(duì)文中優(yōu)化算法進(jìn)行仿真性能的分析.

仿真時(shí)假設(shè)認(rèn)知用戶數(shù)目多于空閑信道數(shù)目,即有5個(gè)認(rèn)知用戶,4個(gè)空閑信道,各個(gè)認(rèn)知用戶在各個(gè)信道上有不同的傳輸速率.假設(shè)傳輸速率為

其中,vij表示認(rèn)知用戶usj在空閑信道i上的傳輸速率.仿真時(shí),設(shè)置式（1)中?=0.5,?=0.3.

3.1 網(wǎng)絡(luò)整體性能仿真分析

網(wǎng)絡(luò)整體性能的衡量指標(biāo)主要是認(rèn)知用戶在提出信道申請(qǐng)時(shí)彼此沖突的概率和系統(tǒng)整體的平均信道傳輸速率,即每次數(shù)據(jù)傳輸時(shí)各認(rèn)知用戶在各自信道上傳輸速率的總和.綜合圖4和圖5可得,雖然簡(jiǎn)單Q學(xué)習(xí)方案申請(qǐng)概率比文中優(yōu)化方案低,能一定程度降低控制節(jié)點(diǎn)的計(jì)算負(fù)擔(dān),但系統(tǒng)平均速率低于文中優(yōu)化方案;拍賣方案雖然在申請(qǐng)重復(fù)概率和系統(tǒng)平均速率方面接近或略高于文中的優(yōu)化方案,但是拍賣方案不具備隨著外界環(huán)境的變化而自適應(yīng)調(diào)整的能力,給控制節(jié)點(diǎn)造成嚴(yán)重負(fù)荷,同時(shí)也局限了拍賣方案在外部快速變化環(huán)境下的使用幾率.

圖4 提交申請(qǐng)重復(fù)概率對(duì)比圖

圖5 系統(tǒng)平均速率對(duì)比圖

圖6 認(rèn)知用戶平均速率對(duì)比圖

圖7 認(rèn)知用戶成功接入概率對(duì)比圖

3.2 用戶需求仿真分析

認(rèn)知用戶需求的衡量指標(biāo)主要是認(rèn)知用戶傳輸數(shù)據(jù)的傳輸速率和認(rèn)知用戶成功接入空閑信道的概率.從圖6和圖7可得出,拍賣方案在滿足用戶需求方面有明顯的缺陷,即用戶4的平均傳輸速率和成功信道概率明顯低于其他方案,會(huì)出現(xiàn)用戶4非常不滿意當(dāng)前服務(wù)的情況.在認(rèn)知用戶成功接入信道概率方面,文中優(yōu)化算法與隨機(jī)方案和簡(jiǎn)單Q學(xué)習(xí)方案功能大致相同,但是采用文中優(yōu)化算法能夠使得各個(gè)認(rèn)知用戶獲得更高的平均傳輸速率.

仿真與分析表明,相比于隨機(jī)方案和簡(jiǎn)單Q學(xué)習(xí)方案,文中優(yōu)化方案在滿足用戶需求方面有了明顯改善.

4 結(jié)束語(yǔ)

筆者提出了一種基于Q學(xué)習(xí)的動(dòng)態(tài)頻譜接入優(yōu)化算法,從網(wǎng)絡(luò)整體性能和用戶需求兩方面對(duì)動(dòng)態(tài)頻譜接入進(jìn)行了優(yōu)化,同時(shí)本優(yōu)化將控制節(jié)點(diǎn)的一部分運(yùn)算轉(zhuǎn)移到認(rèn)知用戶節(jié)點(diǎn)上,在一定程度上將串行運(yùn)算變成了并行運(yùn)算,減輕了控制節(jié)點(diǎn)的運(yùn)算負(fù)擔(dān),縮短了算法的運(yùn)行時(shí)間,為數(shù)據(jù)通信贏得了更多的時(shí)間.

[1]Marinho J,Monteiro E.Cognitive Radio:Survey on Communication Protocols,Spectrum Decision Issues,and Future Research Directions[J].Wireless Networks,2012,18(2):147-164.

[2]Mitola J,Maguire Jr G Q.Cognitive Radio:Making Software Radios More Personal[J].IEEE Personal Communications,1999,6(4):13-18.

[3]Tragos E Z,Zeadally S,Fragkiadakis A G,et al.Spectrum Assignment in Cognitive Radio Networks:a Comprehensive Survey[J].IEEE Communications Surveys and Tutorials,2013,15(3):1108-1135.

[4]Gavrilovska L,Atanasovski V,Macaluso I,et al.Learning and Reasoning in Cognitive Radio Networks[J].IEEE Communications Surveys&Tutorials,2013,15(4):1761-1777.

[5]Xu Y,Wang J,Wu Q,et al.Opportunistic Spectrum Access in Unknown Dynamic Environment:a Game-theoretic Stochastic Learning Solution[J].IEEE Wireless Communications,2012,11(4):1380-1391.

[6]Chen Z,Qiu R C.Q-learning Based Bidding Algorithm for Spectrum Auction in Cognitive Radio[C]//Proceedings of IEEE Southeastcon.Piscataway:IEEE,2011:409-412.

[7]Liu C B,Jiang H,Yang Y C,et al.Q-learning-based Cross-layer Learning Engine Design for Cognitive Radio Network [C]//Proceedings of SPIE:8784.Bellingham:SPIE,2013:878419.

[8]Peng J,Li J,Li S,et al.Multi-relay Cooperative Mechanism with Q-learning in Cognitive Radio Multimedia Sensor Networks[C]//Proceedings of the IEEE 10th International Conference on Trust,Security and Privacy in Computing and Communications.Piscataway:IEEE,2011:1624-1629.

[9]Bkassiny M,Li Y,Jayaweera S K.A Survey on Machine-learning Techniques in Cognitive Radios[J].IEEE Communications Surveys&Tutorials,2013,15(3):1136-1159.

[10]Rummery G A,Niranjan M.On-line Q-learning Using Connectionist Systems[M].Cambridge:University of Cambridge,1994.

（編輯:齊淑娟)

Optimization algorithm for dynamic spectrum access based on Q-learning in cognitive radio networks

HUANG Ying1,YAN Dingyu2,LI Nan2
(1.School of Mathematics and Computer Engineering,Xi’an Univ.of Arts and Science,Xi’an 710068,China;2.State Key Lab.of Integrated Service Networks,Xidian Univ.,Xi’an 710071,China)

Under the centralized cognitive radio network architecture,considering the network performance and users’demands.We propose an optimized dynamic spectrum access algorithm based on Q-learning.The proposed algorithm has two steps,which consist of user request according to Q-learning and the application process according to the overall system performance.Simulation results show that the proposed scheme can improve the overall system performance obviously,and that the user requirements could be satisfied at the same time.

cognitive radio networks;dynamic spectrum access;Q-learning

TN92

A

1001-2400（2015)06-0179-05

10.3969/j.issn.1001-2400.2015.06.030

2014-07-16

時(shí)間:2015-03-13

國(guó)家自然科學(xué)基金資助項(xiàng)目（61172068,61373170);中央高校基本科研業(yè)務(wù)費(fèi)專項(xiàng)資金資助項(xiàng)目（JB150317)

黃 影（1977-),女,助理工程師,碩士,E-mail:yhuang@xidian.edu.cn.

http://www.cnki.net/kcms/detail/61.1076.TN.20150313.1719.030.html