空天異構網絡中基于Q學習的切換判決優化算法

張振浩,梁 俊,肖 楠,劉玉磊,丁 然,姬永清

(1.空軍工程大學 信息與導航學院,西安 710077; 2.中國電子科技集團公司第28研究所,南京 210007)

0 概述

作為下一代無線通信網絡的發展趨勢,異構無線網絡可以較好地實現多種技術融合共存、多網絡相互補充協同工作、不同異構網絡互聯互通[1]。目前,國內外關于異構無線網絡的研究多集中于地面無線網絡,但隨著衛星通信技術與航空飛行器的發展,由空基網絡與衛星網絡進行異構組網為用戶提供大區域范圍內高帶寬、高效率的服務,成為新的發展趨勢[2]。為更好地實現全環境中空天異構無線網絡的融合,同時適應多網絡區域性覆蓋和用戶的移動性網絡接入,網絡垂直切換成為當前學術界研究的熱點[3]。目前,國內外專家對垂直切換3個階段的研究主要集中在切換判決階段[4]。傳統切換判決算法多是基于用戶接收信號強度(Received Signal Strength,RSS)的最優化問題。但是,用戶在空天異構無線網絡中進行切換時,僅依靠RSS容易產生乒乓效應[5],造成無效切換,以及導致網絡資源利用率降低。為解決上述問題,高效的垂直切換判決算法成為目前研究的熱點內容之一。

文獻[6]提出一種基于信干噪比(Signal to Interference and Noise Ratio,SINR)的多屬性決策算法,但其未考慮下一時刻的狀態及用戶高速運動對網絡切換判決的影響。文獻[7]提出基于RSS和用戶速度并利用目標函數獲得最優網絡的切換策略,但其無法較好地適應高速下的網絡切換,且無法針對用戶的不同業務需求對切換判決算法進行調整。文獻[8]提出一種局部最優切換策略,基于用戶端RSS判定最優切換過程,該算法可以應用于高速移動用戶,但是由于沒有考慮用戶對不同業務傳輸的需求,而且僅選取單一用戶端RSS作為切換指標,導致其效果不夠明顯。文獻[9]在考慮用戶移動速度的基礎上提出基于用戶體驗的切換判決算法,其選擇最小用戶體驗差異的網絡作為目標網絡,但是該算法仍未考慮下一時刻網絡性能對網絡切換的影響,且沒有針對不同業務類型對用戶體驗差異進行區分。文獻[10]提出綜合考慮衛星和ATC鏈路狀態、采用卡爾曼濾波方法預測RSS的切換判決算法,但是該算法沒有針對用戶移動速度和多業務傳輸需求提出相應的區分。文獻[11]提出綜合考慮網絡RSS與用戶速度的基于Q學習的切換判決算法,很好地提高了網絡判決精度并適用于高速移動用戶,但是該算法沒有針對不同的業務提出相應的判決調整,且其切換指標的選取不能準確反映網絡性能。

針對空天異構無線網絡切換過程中存在的問題,結合接入空天異構無線網絡的用戶運動速度快、用戶終端業務需求多樣及高服務質量(Quality of Service,QoS)保障需求的特點,本文在文獻[11]回報函數中考慮用戶體驗,并通過層次分析法(Analytic Hierarchy Process,AHP)來確定不同業務類型下當前與下一時刻網絡的SINR、用戶移動速度、網絡切換代價、信息傳輸的時延及網絡的擁塞程度這5個影響因素的權值,提出一種支持多業務傳輸的切換判決優化算法。

1 網絡模型

本文研究的空天異構無線網絡由天基和空基網絡組成。其中,天基網絡由地球同步衛星軌道(Geosynchronous Earth Orbit,GEO)網絡構成,空基網絡由大型、運動穩定的空中節點基于Mesh網絡構建的空中骨干網絡構成。高速運動的小型空中作戰飛行平臺(如戰斗機等)作為用戶接入該異構網絡。該異構無線網絡中GEO衛星內可以包含多個空中骨干網絡,為簡化計算與仿真過程,本文假設空天異構無線網絡包含1個GEO網絡和由2個大型骨干節點組網形成的2個空中骨干網絡,網絡模型如圖1所示。

圖1 空天異構無線網絡模型

空天異構無線網絡實現了不同空間層次、不同類型通信平臺間的互聯互通,可協同高效獲取、傳輸和處理多樣化的信息。衛星網絡覆蓋范圍廣,但是在信道和功率分配、信息傳輸誤碼率和丟包率等方面產生的代價較高。相比衛星網絡,空中骨干網絡雖然覆蓋范圍小,但是其通信過程中的代價較小。由小型空中作戰飛行平臺構成的接入網絡,由于高機動性和作戰任務需求,其需要空天異構無線網絡支持多樣化業務傳輸、高效保障用戶QoS需求。因此,當空中作戰單元需要遠程戰場態勢信息保障、情報信息回傳以及通信時,可由該空天異構網絡提供高效、不中斷以及低阻塞的無縫網絡切換服務。

2 切換判決參數分析

根據前文分析,在空天異構網絡中僅使用RSS作為切換指標,無法很好地反映當前連接網絡與目標網絡的性能優劣,原因是用戶與網絡間的信道質量影響了通信性能。因此,本文采用SINR作為衡量目標網絡和當前網絡信道質量的參數。為了更好地表示當前網絡與目標網絡的擁塞狀態,本文還引入當前切換接納成功率對網絡接納能力進行量化。

2.1 不同網絡的SINR

當用戶與空中骨干網絡通信時,假設共有n個采用WCDMA體制的大型空中骨干飛行平臺c1,c2,…,cn可以供用戶接入,考慮到用戶接收不同骨干平臺所產生的干擾以及同一骨干平臺不同信道間的干擾,可以得到用戶i從第j個空中骨干飛行平臺接收的SINR為:

(1)

其中,Pcj表示第j個空中骨干平臺的總發射功率,Pck表示第k個空中骨干平臺的總發射功率,Pcj,i表示第j個空中骨干平臺對用戶i的發射功率,Gcj,i表示用戶i與第j個空中骨干平臺間的信道增益[12],Gck,i表示用戶i與第k個空中骨干平臺間的信道增益,ε表示采用WCDMA體制時不同空中骨干網絡信道間的正交因子,ε取值為0.4[6],Pn表示高斯白噪聲的功率。

當用戶與采用WCDMA體制的GEO衛星網絡進行通信時,為簡化計算過程,在接收端接收的噪聲信號只考慮高斯噪聲,從而可以得到用戶接收到GEO衛星信號的SINR為:

SINRGEO= [(EIRPd,i·GRi)/Lf(·,i)]/

GRi·ε′(EIRPd-EIRPd,i)/Lf(·,i)]

(2)

其中,EIRPd,i表示提供服務的衛星波束d對用戶i的有效全向輻射功率,EIRPk,i表示衛星其余波束k對用戶i的有效全向輻射功率,EIRPd表示提供服務的衛星波束d對所有覆蓋區用戶的有效全向輻射功率,ε′為采用WCDMA體制時不同衛星網絡信道間的正交因子,取值0.6[13],GRi表示用戶i的接收天線增益[14],Lf(·,i)表示衛星到用戶i的自由空間傳播損耗,P0表示噪聲功率,NU表示波束個數。

2.2 網絡SINR預測值

當用戶在空天異構無線網絡中進行切換判決時,為減小不必要的切換、降低切換次數,目標網絡未來一段時間內SINR性能對網絡切換判決的影響需要著重考慮。為了更準確地預測下一時刻網絡的SINR,本文使用綜合預測方法,即利用由單一預測方法提供的預測信息,以此提升下一時刻的SINR預測精度,增強預測結果的穩定性。本文選取通過原始數據所得規律進行預測的灰色預測模型與通過簡要前期學習并以最小均方誤差作為估計準則的卡爾曼濾波預測模型進行組合預測,綜合2種方法提供的有效預測信息,以提高SINR綜合預測的準確性。

(3)

(4)

應用線性組合預測模型:

minq=WTRW

s.t.BTW=1

(5)

2.3 網絡擁塞程度表征

用戶接入空天異構無線網絡時,其發送的切換呼叫信息被網絡接納的概率表征了網絡當前的擁塞狀態對用戶在請求時間內順利完成呼叫切換的影響。為了提升判決的高效性和準確性,減少判決的次數,本文引入當前切換接納成功率(Present Handover Admission Success Ratio,PHASR)來衡量備選網絡當前因為業務服務效率造成的網絡擁塞程度與接納用戶切換的能力對用戶切換判決的影響。

假設切換備選目標網絡列表中共有l個備選目標網絡,單位時間內到達網絡m的平均呼叫次數為μm,每次呼叫的呼叫保持時間是均值為1/μm的指數分布;每單位時間內平均服務呼叫個數為λm,當前到達的呼叫請求數符合參數為λm的標準泊松分布[18];當前可接入網絡m的可用帶寬為bm。根據Erlang-B公式,可以計算得到當前切換接納成功率,如式(6)所示。

(6)

用戶傳輸視頻等需要較寬帶寬和較高可靠性要求的業務時,對于切換備選網絡m,當前切換接納空閑率越高,將其作為備選網絡的概率就越大,即用戶切換到該網絡的概率就會越大。因此,本文將當前切換空閑率作為切換判決的一個重要指標。

3 異構無線網絡切換算法設計

3.1 空天異構網絡切換模型

本文在文獻[11]Q學習算法的基礎上進行優化,將空天異構無線網絡切換過程建模為馬爾科夫決策四元組(S,A,R,P)。其中,S表示有限離散狀態空間,網絡狀態包括網絡當前時刻與預測時刻的SINR、用戶移動速度、切換代價和網絡擁塞程度。為將狀態空間表述量化,結合圖1所示網絡模型,將GEO網絡定為1號網絡,將空中骨干網絡分別定為2號網絡和3號網絡,則可以將狀態空間表示為S={{SINRe,ve,Ce,Dele,PHASRe},e取值為1、2、3。A表示動作空間,A={a|a∈{1,2,3}}。R表示回報函數。P表示在當前狀態下執行完動作后進入下一狀態的狀態轉移概率。

采用Q學習算法獲得異構無線網絡最優切換判決策略,即通過獲取回報函數長期累積期望的最大值得到相對應的判決策略集。根據Bellman最優準則,將網絡切換判決轉化為基于最優判決集π*(s)∈A的最佳準則問題,并通過建立式(7)所示狀態-動作的Q函數,將傳統回報函數的長期累積數學期望中所不易獲取的狀態轉移概率Ps→si(a)[11]轉變為對最大Q值的求解。

(7)

其中,R(s,a)表示狀態-動作的回報函數,Ps→si(a)表示當前狀態轉移到下一狀態的狀態轉移概率,α表示未來回報對當前回報的折扣系數。

最大Q值對應的狀態集最優值為:

(8)

其中,Q*(s,a)可通過文獻[11]所提出的方法進行迭代獲得。

通過學習者重復的學習過程和判決過程,可以獲得最優的切換判決集和對應的最大Q值。

3.2 回報函數優化設計

在使用Q學習算法確定最優判決集時,確定高效合理的回報函數對于切換判決起關鍵作用,較精確的回報函數可以實現準確和快速的網絡切換。文獻[11]中采用的Q學習切換算法僅考慮影響網絡性能的網絡RSS、用戶移動速度和網絡切換代價3個因素,所選取的評價參數無法較好地反映網絡性能與網絡擁塞狀態,同時也無法有效避免為接入最優網絡而頻繁切換的現象發生。為此,本文在設計回報函數時,綜合考慮網絡的鏈路傳輸性能、用戶移動速度、網絡切換代價、信息傳輸的時延和網絡的擁塞程度5個影響因素,同時引入用戶體驗質量(Quality of Experience,QoE)用以保證用戶會話的連續性和切換的高效性。

本文選取的回報函數綜合了用戶在狀態s接入網絡i時對應的QoE函數和垂直切換判決指示函數,可定義該回報函數為:

R(st,at)= (1-ζ)fQoE(st,at)f{at≠at+1}+

ζfQoE(st,at)f{at=at+1}

(9)

其中,ζ表示切換代價因子,用以衡量切換回報的代價,f{at≠at+1}和f{at=at+1}分別表示切換判決指示函數,當滿足at≠at+1和at=at+1時,2個函數取值為1,不滿足時,取值為0,fQoE(st,at)表示用戶在狀態s接入網絡i時對應的QoE函數。

為滿足用戶傳輸多業務時對用戶體驗的要求,綜合考慮網絡的SINR、用戶移動速度、網絡切換代價、信息傳輸的時延和網絡的擁塞程度5個因子,因此,可以定義用戶在狀態s接入網絡i時對應的QoE函數為:

(10)

對于影響QoE函數的5個不同因子,分別設計不同的效用函數并對其進行歸一化處理,用以表示不同因子對網絡切換性能的影響。目標用戶不同的業務條件下,權重因子μ的取值可以通過文獻[19]使用的AHP來動態確定。

對于網絡切換過程,用戶希望切換到目標網絡后相比原有網絡的鏈路質量更優,為此,可將用戶當前鏈路狀態與未來預測狀態進行綜合,以獲得綜合鏈路質量。因此,可將網絡SINR效用函數表示為:

ω2·XSINR·u(XSINR-SINRth)

(11)

對于速度的效用函數,根據用戶移動速度的不同、選擇優先接入的網絡不同,速度的歸一化效用函數可由文獻[11]中方法獲得。

不同網絡傳輸代價函數由不同網絡傳輸過程中需要消耗的能量以及傳輸數據的代價共同確定。用戶接入GEO網絡時需要的開銷和能量,相比接入空中骨干網絡時高,可用式(12)表示代價的效用函數,其中φ可取2[18]。

(12)

時延的效用函數由不同業務對最長時延Delth的要求決定,根據不同業務對傳輸時延的最低要求,可以將時延的效用函數表示為:

(13)

網絡擁塞程度決定了網絡是否可以接收數據量較大的信息,在擁塞程度較低時網絡可以接收更多的信息,因此,參數PHASR的效用函數可以表示為:

(14)

3.3 切換算法流程

本文提出的算法綜合考慮了空天異構無線網絡中傳輸不同業務類型所需要的QoS,針對網絡切換判決過程綜合考慮各影響因素。圖2所示為本文切換算法的流程。

圖2 切換算法流程

4 仿真與分析

4.1 不同業務類型權值

空天異構無線網絡包含多種信息傳輸和中繼平臺,可以實現多種飛行器的接入,因此,傳輸的業務具有多樣性。網絡中傳輸的業務包括實時話音、低速數據、高速偵查圖像與多媒體信號等。根據業務對各種技術指標的要求,可以將空天異構無線網絡中傳輸的業務分成3類:短消息業務,實時話音業務,多媒體業務。3類業務對QoS的要求有所不同,其中主流業務對各種評價指標的要求可參照文獻[19]中給出的不同類型業務對QoS的要求。利用AHP確定每種業務中各評價參數的權重,結果如表1所示。

表1 不同類型業務的評價參數權重

4.2 算法性能比較

本文實驗中用戶隨機分布在空天異構無線網絡3 500 km×3 500 km的正方形覆蓋區域內。用戶會話隨機產生,到達服從泊松分布,并且在一次會話過程中用戶的移動方向不發生變化。仿真基于圖1所示場景,由一個GEO衛星網絡和由2個大型骨干節點組網形成的2個空中骨干網絡構成。選取切換成功率、平均切換率、切換次數和切換阻塞率作為衡量切換策略性能的指標,根據表2所示仿真條件進行仿真實驗。

表2 仿真參數設置

4.2.1 相同業務下切換算法性能比較

為比較本文切換算法和Q學習算法的性能,將環境干擾強度分別設置為高強度干擾、中強度干擾和低強度干擾(分別用I=0.8,0.5和0.2表示)。仿真選取用戶移動速度為60 m/s,得到圖3和圖4所示仿真結果。

圖3 切換成功率與用戶到達率的關系

圖4 平均切換率與用戶到達率的關系

圖3給出了不同環境干擾強度下切換成功率隨用戶到達率的變化關系。從中可以看出,隨著用戶到達率的增加,不同環境干擾強度下兩種算法的切換成功率均不斷下降,這是因為用戶到達率的提升使得系統接納的會話數增加,尤其是網絡會話趨于高負載時,網絡擁塞致使算法切換成功率明顯下降。在用戶到達率低且環境干擾較弱時,本文算法相比Q學習算法的切換成功率提升不明顯;在用戶到達率高且環境干擾較強時,本文算法可以有效保證用戶的切換成功率,這是因為本文設計的改進算法綜合考慮了當前網絡的SINR并通過綜合線性預測方法進行預測,相比以RSS作為網絡切換指標的Q學習算法,可以更好地獲得網絡當前以及下一時刻網絡狀態,從而有效提升高用戶到達率和高強度環境干擾下切換的成功率。

圖4給出了不同干擾強度影響條件下兩種算法平均切換率隨用戶到達率的變化關系。從中可以看出,隨著用戶到達率的提高,不同干擾強度下兩種算法的平均切換率均不斷提高,但是本文算法均比Q學習算法的平均切換率低。在用戶到達率低并且環境干擾較弱時,本文算法相比Q學習算法的平均切換率降低不明顯;在用戶到達率高且環境干擾較強時,本文算法可以有效降低平均切換率。出現圖4所示的仿真結果,原因是用戶到達率低并且環境干擾較弱時,網絡的用戶接納能力與用戶對干擾和噪聲的敏感程度對網絡切換影響不明顯;隨著干擾強度的增加與用戶到達率的提升,本文將QoE引入回報函數并且將網絡SINR以及網絡擁塞程度作為評價指標,可以有效地估計備選網絡的狀態并減小切換的次數,從而導致了平均切換率的提升。

為了比較不同的用戶移動速度下切換算法的性能,將環境干擾強度設置為中等,用戶到達率設置為5個/s,通過仿真來對比2種算法在不同移動速度下的切換次數,得到圖5所示仿真結果。

圖5 切換次數與用戶移動速度的關系

通過圖5所示的仿真結果可以看出,在用戶移動速度小于420 m/s時,本文算法相比Q學習算法切換次數少,但是用戶移動速度高于420 m/s時,兩種算法切換次數均基本保持不變。這是因為本文算法在Q學習算法的基礎上引入了QoE,考慮了切換對網絡開銷的影響,以此降低了切換次數。同時,其將SINR作為評價網絡性能的指標,相比RSS可以更好地對網絡當前以及下一時刻性能進行評估,從而有效減少了切換次數。但是當用戶移動速度偏高時,根據速度的效用函數,2種算法中用戶均更傾向于選擇GEO衛星網絡,此時切換次數基本保持不變。

4.2.2 不同業務下切換算法性能比較

設置與第4.2.1節相同的仿真環境,比較不同類型業務、相同干擾強度(I=0.5)下,切換阻塞率隨業務到達率的變化關系,得到圖6所示仿真結果。

圖6 不同業務類型下切換阻塞率與業務到達率的關系

由圖6可以看出,不同類型業務時,隨業務到達率的增大切換阻塞率均不斷上升,但是本文算法相比Q學習算法切換阻塞率均較低。這是因為本文在設計回報函數時,使用AHP方法動態確定不同類型的業務對所選的SINR、用戶移動速度、網絡切換代價、信息傳輸的時延和網絡的擁塞程度5個影響因素的權值,從而在網絡切換中可以針對業務類型的不同,選取備選網絡中綜合性能最高的網絡進行切換,并且在回報函數中引入QoE,從而有效降低切換的次數。因此,隨著業務到達率的不斷增大,本文算法可以有效保障不同類型業務的QoS需求,有效降低切換阻塞率。

4.2.3 算法時間復雜度比較

第4.2.1節和第4.2.2節的仿真結果表明,本文切換算法提升了切換的成功率,有效降低了用戶的切換次數,并根據不同的業務類型實現了動態切換判決。但本文算法在提升切換判決準確性的同時也引入了部分開銷,本節將通過仿真實驗比較兩種算法的時間復雜度。算法的時間復雜度本質上就是算法的執行時間,即執行算法中所有語句所需要的時間總和。因此,將平均仿真運行時長作為衡量算法時間復雜度的指標,設置與第4.2.1節相同的仿真條件,得到圖7所示仿真結果。

圖7 2種算法仿真時長與業務到達率的關系

由圖7可以看出,相同干擾強度下本文算法相比Q學習算法,仿真時間均有所提升,即時間復雜度均有所增加。在輕負載強度下,本文算法仿真時長增加相對較小,在業務到達率為6個/s時,仿真時長增加最多,此時相對Q學習算法,本文算法仿真時長增加率達到3%,但是此時切換次數較少,約為Q學習算法的39.8%;在重干擾強度下,本文算法仿真時長增加最多,當業務到達率為5個/s時,仿真時長增長達到最大,此時相對Q學習算法,本文算法仿真時長增加率約為5.4%,但是此時本文算法切換成功率增加了約27%,平均切換率降低了約48.5%,造成該現象的原因是,本文算法在Q學習算法的基礎上引入用戶體驗并應用綜合預測方法預測SINR、獲取網絡切換接納成功率,從而提升切換成功率,并且在降低平均切換次數的同時帶來了部分算法復雜度的提升,因此,在相同干擾強度下,本文算法相比Q學習算法,仿真時間均有所提升。

5 結束語

本文針對小型空中飛行平臺在接入空天異構無線網絡時平臺移動速度快、傳輸業務類型多樣、QoS保障需求高的特點,通過在Q學習算法的回報函數中引入QoE,并且綜合考慮網絡的SINR、用戶移動速度、網絡切換代價、信息傳輸的時延和網絡的擁塞程度,提出一種改進算法,用以提升切換的成功率以及降低用戶的切換次數。該算法應用AHP方法,根據傳輸業務類型的不同提供最優的網絡切換策略,從而有效降低切換阻塞率、減少切換次數。下一步考慮將新的預測算法應用于網絡性能的預測中,以提升預測的準確性以及獲得更準確的目標網絡性能,從而提高切換的成功率并降低切換次數。

[1] KOTA S,GIAMBENE G,KIM S.Satellite component of NGN:integrated and hybrid networks[J].International Journal of Satellite Communications and Networking,2011,29(3):269-282.

[2] 凌 鈞.空天異構組網技術研究[D].武漢:華中科技大學,2013.

[3] 王煜煒,劉 敏,房秉毅.異構無線網絡垂直切換技術綜述[J].通信學報,2015,36(S1):224-234.

[4] 邵欣業.星地一體化網絡干擾避免及切換技術研究[D].哈爾濱:哈爾濱工業大學,2015.

[5] ZOU D,MENG W,HAN S.Euclidean distance based handoff algorithm for fingerprint positioning of WLAN system[C]//Proceedings of 2013 IEEE Conference on Wireless Communications and Networking.Washington D.C.,USA:IEEE Press,2013:1564-1568.

[6] 劉勝美,孟慶民,潘 甦,等.異構無線網絡中基于SINR和層次分析法的SAW垂直切換算法研究[J].電子與信息學報,2011,33(1):235-239.

[7] LIU S,CHANG Y,WANG G,et al.Vertical handoff scheme concerning mobility in the two-hierarchy network[C]//Proceedings of 2011 IEEE Workshops on Global Communications Systems.Washington D.C.,USA:IEEE Press,2011:237-241.

[8] SADEK M,AISSA S.Handoff algorithm for mobile satellite systems with ancillary terrestrial component[C]//Proceedings of 2012 IEEE International Conference on Communications.Washington D.C.,USA:IEEE Press,2012:2763-2767.

[9] 寧 磊,郭 慶,王振永,等.面向用戶體驗和速度感知的垂直切換判決算法[J].哈爾濱工業大學學報,2013,45(9):1-6.

[10] KAMGA G N,SADEK M,A?SSA S.Adaptive handoff for multi-antenna mobile satellite systems with ancillary terrestrial component[C]//Proceedings of 2016 IEEE International Conference on Communications.Washington D.C.,USA:IEEE Press,2016:1-6.

[11] 熊丹妮,李 屹.星地融合網絡中基于Q學習的切換算法研究[J].通信學報,2015,36(9):252-258.

[12] MONKS J P,BHARGHAVAN V,HWU W M W.A power controlled multiple access protocol for wireless packet networks[C]//Proceedings of the 20th IEEE Conference on Computer and Communications Societies.Washington D.C.,USA:IEEE Press,2001:219-228.

[13] 汪春霆.衛星通信系統[M].北京:國防工業出版社,2012.

[14] HOLMA H,TOSKALA A.WCDMA技術與系統設計(第2版)[M].付景興,馬 敏,陳澤強,等,譯.北京:機械工業出版社,2001.

[15] EI-FADEEL G A,EI-SAWY A E,ADIB M J.C4.vertical handoff in heterogeneous wireless networks with predictive SINR using GM(1,1)[C]//Proceedings of the 29th National Conference on Radio Science.Washington D.C.,USA:IEEE Press,2012:175-184.

[16] 張 鈺.基于多屬性判決和業務類別的接入策略研究[D].南京:南京郵電大學,2010.

[17] HE D,CHI C,CHAN S,et al.A simple and robust vertical handoff algorithm for heterogeneous wireless mobile networks[J].Wireless Personal Communications,2011,59(2):361-373.

[18] TABRIZI H,FARHADI G,CIOFFI J.Dynamic handoff decision in heterogeneous wireless systems:Q-learning approach[C]//Proceedings of 2012 IEEE International Conference on Communications.Washington D.C.,USA:IEEE Press,2012:3217-3222.

[19] 張振浩,梁 俊,肖 楠,等.支持多業務傳輸的天基Mesh網絡機會路由優化算法[J].空軍工程大學學報(自然科學版),2017,18(4):70-76.