一種新型認知無線電信道狀態的預測算法

黃川,鄭寶玉

(1.南京郵電大學信號處理與傳輸研究院,江蘇南京210003; 2.福建師范大學數學與計算機科學學院,福建福州350007)

一種新型認知無線電信道狀態的預測算法

黃川1,2,鄭寶玉1

(1.南京郵電大學信號處理與傳輸研究院,江蘇南京210003; 2.福建師范大學數學與計算機科學學院,福建福州350007)

基于部分可測馬爾科夫決策過程(POMDP)模型,結合認知無線電頻譜偵測技術,提出一種新的多無線電多信道環境下認知無線電檢測信道算法.該算法通過對信道狀態歷史信息的分析,推導出信道信念狀態的初始分布和轉移概率;然后,以此選擇出具有最佳回報的信道以供接入,使得次用戶能獲得最佳帶寬回報,從而達到提高信道利用率的目的.仿真結果表明,算法獲得相對于傳統認知無線電頻譜接入方式更高的信道帶寬,并接近無漏檢和虛警現象的理想情況,有效地提高了信道利用率.

認知無線電;多無線電;多信道;馬爾科夫模型;頻譜偵測

新興的認知無線技術為解決非授權用戶有效利用閑置頻譜,提高頻譜利用率提供了可能[1].然而,由于網絡的未知性,使得次用戶很難獲得不同信道的精確狀態,而必須依據當前的不完全狀態信息做出決策.因此,對網絡的未知性采用部分可測馬爾科夫模型(POMDP)建立信道狀態信息模型,并以此做出選擇最佳信道的決策具有合理性[2-3〗.文[2]提出了一種基于POMDP模型的認知MAC(Media Access Control)協議,解決了異構網絡中信道選擇決策問題.文[3]在文[2]的基礎上,提出更為具體的以POMDP模型為基礎的頻譜檢測策略、信道選擇決策,以及接入策略的聯合優化方案.上述研究仍存在著兩個問題:其一是信道狀態間的轉移概率是事先給定的,無法根據實際情況變化;另一個是只有一個無線電收發器,使得用戶不得不經常中斷數據傳輸過程轉而檢測授權用戶(或稱為主用戶)是否出現,從而浪費信道帶寬.針對上述問題,本文通過建立以POMDP模型為基礎的多無線電系統[4]模型,提出一種與認知無線電頻譜偵測技術相結合的在異構網絡環境下的新型信道狀態預測算法.

1 異構網絡環境及多無線電系統模型

假設網絡中每個次用戶配備兩個獨立的,具有認知無線電功能的無線電收發設備.當次用戶從網絡A向不同的網絡B移動時,其中一個無線電保持與網絡A的連接,稱為工作無線電;而另一個無線電處于認知偵測狀態,則稱為觀測無線電.由觀測無線電偵測結果組成的信道狀態歷史信息,由離散觀測時間序列DT內的一系列行為a、回報r、觀測狀態z和應答狀態k的序列h組成.即

假設在網絡B中存在N(0

其中:M=2N,且Si(t)=s1(t)…sN(t),sj(t)∈{0,1},每個信道的帶寬表示為WB,j,j=1,…,N.由于環境的未知性,設次用戶可偵測到的信道數目n≤N.

2 典型的POMDP模型

一個典型POMDP模型可用六元組表示為〈S,A,T,R,Z,O〉[5].其中:S為系統中有限信道狀態集合;A為次用戶采取的有限行為(觀測,接入)的集合,用A={a1,a2}表示;T表示當前信道狀態s在行為a的作用下變為s’的轉移函數,記為T(s,a,s′);R為瞬時回報函數,記為R(s,a);Z為用戶對系統狀態的有限觀測狀態集合;O為觀測函數,記為O(s′,a,z).此外,ki(t)∈{0,1}表示次用戶在執行行為a后得到的應答.此處,設應答是無錯的.

由于S是未知的,采用信念狀態空間B來表示信道狀態的概率分布,有

其中:b(s)表示信道處于狀態s的概率.根據Bayes法則,可得在t+1時隙信念狀態更新的表達式為

式(4)中:ζ為折扣因子,0<ζ≤1;P為條件轉移的概率函數.

3 信道預測算法及收斂性證明

以POMDP模型為基礎的多無線電多信道,其信道狀態預測算法(CSPA)可分為如下兩個階段. (1)觀測階段.通過一段時間的觀測,將獲得的系統環境信息記錄到h中,期間的執行接入行為僅為向相應頻段發送探測包,并未真正執行信道接入操作.(2)預測階段.通過h,對信道的初始狀態分布、狀態轉移概率和觀測概率進行估計,并利用啟發式算法找出具有最大折扣回報的策略π′,在接入時隙次用戶按其接入.在預測階段,對次用戶來說,信道狀態個數M是N的指數,要計算出最大折扣回報是很困難的.然而,實際網絡中的信道一般是獨立的,有如下定理.

定理1 假設n個獨立信道,有Λ=[λ1,…,λn],其中λi為信道i在某個時隙t開始時刻所處的狀態,則L是信道狀態Si(t)的充分統計量.

證明 參見文[6].

根據定理1,POMDP模型中信念狀態空間B={b(Si(t)),i=1,…,n}可簡化為B={b(sk(t)),k= 1,…,n},從而信念空間維度由2n降為n.對于每個信道i來說,其最大折扣回報表達式為

式(7)中:q(θi)為θi的先驗分布.對于次用戶來說,信道i處于空閑或忙狀態是等可能的,故先驗分布q (θi)為[0,1]上的均勻分布,有

用θi對h的條件期望E{θi|h}估計信道狀態為空閑的概率,有

信道狀態轉移概率T(s,a,s′)也是未知的.設psa,s′為信道i執行行為a后,狀態從s轉移到s′的轉移概率.其中:s,s′∈{0,1),向量Pi=(psa,s′k,a∈A,k=1,…,|S|).在T個時隙中信道i的狀態從s到s′的轉移次數向量φi=(φsa,s′,a∈A,k=1,…,|S|).在執行行為a條件下,Pi服從Dirichlet分布,(psa,s′,…,

k1

當信道狀態轉移后,向量φ′i=φi+δas,s′.其中:|δas,s′|=|S|,且δas,s′[s′=j]=1,其余為0.用期望值估計轉移概率,有

在頻譜偵測中,由于存在漏檢和虛警現象,因此對于次用戶來說,所觀測到的信道狀態并不一定與信道真實狀態相符.假設信道為AWGN,pd為檢測概率,pf為虛警概率,且采用能量檢測器的頻譜偵測方法[2],則有

由于信道真實狀態的未知性,次用戶可根據執行行為a后得到的應答信息k,來驗證觀測狀態的正確與否,有

從而可求出次用戶可獲得的最大折扣回報.即

4 仿真結果及分析

為了測試CSPA算法的性能,引入隨機接入算法(Random Access A lgo rithm,RAA)[2]與之比較.在RAA算法中,次用戶在剛進入未知新網絡時,不使用信道狀態預測方法,而是通過每一接入時隙開始時刻的偵測來獲知可以采用的若干信道,并隨機選擇其中一個接入.為了體現公平性,設新網絡中每一信道的帶寬均為1個單位,且每個時隙為1個單位時間.設折扣因子ζ=1.同時比較CSPA算法與理想情況下所獲得的信道帶寬回報,即與不存在漏檢和虛警現象條件下的對比.

信噪比(RSN)和檢測樣本數目(L)的不同時,虛警率Pf值對檢測率Pd的影響,如圖1所示.從圖1中可知,當RSN=10,L=5時,虛警率Pf的變化對檢測率Pd的影響最小,且Pd值在0.9～1.0之間變動.因此,設Pd=0.95.仿真中,算法對10 000個隨機信道進行運算,然后取回報的平均值(單位每時隙).

CSPA算法與RAA算法的對比,如圖2所示.圖2中:觀測時隙TO=30,接入時隙TA=30,信道數目n= 2.從圖2的平均回報值(δ)曲線可以看到,CSPA算法在剛開始的時隙獲得約0.55的平均回報值,在第14個接入時隙上升至0.73,而后增長平穩,逐漸趨近于0.74; RAA算法每個時隙的平均回報值穩定在0.5左右,在理想情況下,其平均回報值穩定在0.755左右.

從圖2的平均回報值百分比(φ)曲線可以看到,CSPA算法能獲得的平均回報值比RAA算法平均多出約43%.表明次用戶采用CSPA算法,在每個時隙都能夠取得最佳的接入策略,因此獲得的信道帶寬平均回報優于采用傳統認知無線電隨機頻譜接入方式.但是,由于頻譜偵測中存在漏檢和虛警現象,使得算法與無漏檢和虛警現象存在的理想值有一定的偏差.

采用不同的觀測時隙值來比較CSPA算法和RAA算法所獲得的平均回報值,結果如圖3所示.從圖3中可以看到,觀測時隙分別為30,100時,CSPA算法所獲得的平均回報值略有差異.如果在觀測階段觀測越充分(觀測時隙越長),CSPA算法所獲得的初始信念狀態和狀態轉移概率越準確,其獲得的回報越精確.然而,觀測時隙具體的取值應根據實際情況而定,這也是下一步研究工作的重點.從圖中3可以看到,RAA算法由于沒有觀測時隙,故其在不同觀測時隙條件下,其所獲得的平均回報值變化不大,基本穩定在0.5左右.

圖3 不同觀測時隙值對算法的影響 Fig.3 Effect of different valuesof observation time slo ts on the algo rithm

圖1 虛警率和檢測率的關系Fig.1 Relationship of p robability of false alarm and detection

圖2 CSPA算法與RAA算法的對比Fig.2 Comparison of CSPA and RAA

信道數目對算法的影響,如圖4所示.從圖4中可以看出,當可被偵測到的信道數目由2增加到12時,CSPA算法獲得的平均回報值有顯著的提升.n=2時的平均回報值趨近于0.74,而當n=12時,平均回報值趨近于0.98.這是因為可用的信道數目越多,CSPA算法在每個時隙可能獲得的最大回報機會越大,從而獲得的平均回報越多.由于RAA算法信道選擇的隨機性,信道數目的增多對其影響不大,基本維持在0.5左右.如果不考慮漏檢和虛警現象對系統的影響,當信道數目足夠大時,其獲得的平均回報值能達到1.由此說明,CSPA算法更適用于多信道環境.

圖4 信道數目對算法的影響Fig.4 Effect of different numbers of channel on the algorithm

5 結束語

文中基于POMDP模型,提出了一種在多無線電多信道環境下帶有認知無線電頻譜偵測功能的信道狀態預測算法(CSPA),以實現用戶在多信道切換時能得到最佳信道帶寬回報.仿真結果表明,CSPA算法獲得相對于傳統認知無線電頻譜接入方式更高的信道帶寬,并接近無漏檢和虛警現象的理想情況,從而有效地提高了信道利用率.

[1] AKYILD IZ I,LEEW Y,VURAN M C,et al.A survey on spectrum management in cognitive radio netwo rks[J]. IEEE Communications Magazine,2008,46(4):40-48.

[2] ZHAO Q,TONGL,SWAM IA,et al.Decentralized cognitive MAC fo r opportunistic spectrum access in ad hoc networks:A POMDP framework[J].IEEE Journal on Selected A reas in Communications,2007,25(3):589-600.

[3] CHEN Y X,ZHAO Q,SWAM IA.Joint design and separation p rincip le for oppo rtunistic spectrum access in the p resence of sensing errors[J].IEEE Trans on Information Theo ry,2008,54(5):2053-2071.

[4] PIAO G,DAV ID K.M ulti-standard radio resource management fo r integrated voice and data services[C]∥IEEE 65th Vehicular Technology Conference.Dublin:IEEE,2007:990-995.

[5] KAELBL ING L P,L ITTMAN M L,CASSANDRA A R.Planning and acting in partially observable stochastic domains[J].A Rtificial Intelligence,1998,101(1):99-134.

[6] SMALLWOOD R D,SOND IK E J.The op timal control of partially observable Markov p rocesses over a finite ho rizon[J].Operations Research,1973,21(5):1071-1088.

A Novel Channel State Prediction Algorithm of Cogn itive Radio

HUANG Chuan1,2,ZHENGBao-yu1
(1.Institute of Signal Processing and Transmission,Nanjing University of Posts and Telecommunications,Nanjing 210003,China; 2.School of Mathematics and Computer Science,Fujian Normal University,Fuzhou 350007,China)

Based on the theory of partially observable Markov decision p rocess(POMDP)model,a novel cognitive radio channel sensing algo rithm integrated w ith spectrum sensing technique for cognitive radio under multi-radio multi-channel enviroment.By the analysisof the channel state historical information,the initial distribution of the belief state and transition p robability is derived and the channelw ith op timal reward is selected fo r unlicensed user to imp rove the spectrum utilization.The simulation results demonstrate that the p roposed algorithm has better performance than classical algorithm s.

cognitive radio;multi-radio;multi-channel;Markov model;spectrum sensing

TN 014;TN 914.4

A

(責任編輯:黃仲一 英文審校:吳逢鐵)

1000-5013(2010)05-0521-05

2009-11-29

鄭寶玉(1945-),男,教授,博士生導師,主要從事無線通信與網絡信號處理的研究.E-mail:zby@njup t. edu.cn.

國家自然科學基金資助項目(60972039)