基于機器學習的認知無線網絡優化策略

農漢琦，孫蘊琪，黃 潔，楊澤宇，吳雪雯，楊 科，歐陽鍵

(南京郵電大學 通信與信息工程學院，江蘇 南京 210003)

0 引 言

認知無線網絡，就是在無線網絡的基礎上，加上了“認知”的功能，通信系統可以利用這種學習和認知能力，伺機尋找和使用空閑頻譜資源，提高頻譜資源的使用效率，緩解頻譜資源帶來的通信壓力。

無線通信的發展帶來了數據傳輸速率的逐步提升，與此同時，帶寬的需求也在成倍增長。以移動通信為例，傳輸速率從最早的不足10 kbps提高到即將迎來的第五代移動通信技術，可以提供10 Gbps的數據傳輸速率，可達到如今4G通信的十倍到百倍[1]。然而，即便調制編碼技術在不斷更新和改進，頻譜資源緊張問題仍然存在。由于國內的頻譜資源統一授權使用，某一個通信系統獨立使用一個頻段，這種方法雖然有效地避免了系統間的干擾，但仍然會出現通信冗余的情況，即頻譜上會出現未被利用的冗余頻譜資源，稱為“頻譜空穴”(即暫未被授權用戶使用的頻譜資源)[2]。因此，如何更有效地利用頻譜資源成為了行業關注的焦點。為了解決上述問題，認知無線網絡應運而生。

認知無線網絡除了具有感知能力和自適應能力，更具有機器學習的能力。其應用遍及人工智能的各個領域[3]。如今認知無線網絡在軍事和民用領域都得到了應用。例如在軍事方面[4]，由于戰場形式瞬息萬變，固定分配帶寬容易貽誤戰機，借助CR能夠實現快速地分配頻譜資源，避免了系統內部或友軍間的電磁干擾；在民用領域，也具有巨大的發展潛力和前景。2017年6月初，工信部確定了5G部署的初始頻段：3 300 MHz～3 600 MHz和4 800 MHz～5 000 MHz，共500 MHz帶寬[1]，而有限的頻譜資源必定會使得頻譜的供需矛盾日益突出，因此，在5G移動通信系統中，采用認知無線網絡對頻譜資源的管理將是有效緩解頻譜資源供需矛盾的重要手段。

而機器學習的應用范圍廣泛,文獻[5]提出了一種基于遺傳算法的定位服務時延估計方案，可降低非直達徑環境帶來的不利影響，以提高定位服務響應速度以及定位精度。在大數據等新技術產業和無線通信興起的大背景下，數以億計的接入點產生的大量數據信息給網絡空間帶來了巨大困難，機器學習算法為安全領域提供了一系列有效的分析決策工具，而在近年來迅速發展的智慧城市更是通過機器學習算法解決城市中諸多難題。除此之外，機器學習算法的蓬勃發展也使認知無線電的智能化成為了現實[6]。

1 認知無線網絡的國內外研究現狀

目前，認知無線網絡在國內外的通信領域都得到了廣泛的應用，但主要的研究還是集中在地面無線通信系統中。認知無線網絡的核心技術有頻譜檢測以及認知路由技術。國內外的學者提出了許多頻譜檢測的可行方案，例如能量檢測、匹配濾波檢測等，這些技術大多都用在了地面通信系統當中。

文獻[7]確定了構成醫療保健無線通信的條件，提出了一種應用于醫院場合的CR系統，從而避免電子醫療設備產生的電磁干擾，保證用戶的無線通信質量。文獻[8]表明了應用于公共安全網的認知無線網絡能夠很好地解決在城市公共安全網頻段擁擠，不同應急部門設備不兼容等問題，為公共安全網提供了可靠的網絡服務。如今隨著5G技術的發展與日漸成熟，也可見認知無線網絡的重要性。在2017年6月初，工信部確定了5G部署的初始頻段共500 MHz帶寬[1]，而有限的頻譜資源使得頻譜的供需矛盾日益突出，因此，在5G移動通信系統中，采用了認知無線網絡來進行頻譜管理，提升了頻譜的利用率，有效緩解了頻譜資源緊張的壓力。除了在民用領域，同樣在軍事領域，認知無線網絡的應用也帶來了較大的影響。文獻[9]研究指出，在軍事方面，由于戰場形式瞬息萬變，固定分配帶寬容易貽誤戰機，借助CR能夠實現快速地分配頻譜資源，避免了系統內部或友軍間的電磁干擾。

認知無線網絡在地面通信的應用成果較為豐富，而對于衛星通信而言，仍屬于起步階段。衛星通信是典型的資源受限網絡，并且目前其智能化程度較低。認知無線網絡的應用，在提高其智能化程度的同時，還可以解決其突增的業務量與有限的頻譜資源的矛盾，從而提高其頻譜利用率。文獻[10]提出了一種基于非正交多址接入技術的衛星地面綜合網絡聯合優化設計方法，從而最大化系統的和速率。文獻[11-12]研究了一種基于軟件定義體系結構的認知衛星地面網的安全通信以及功率傳輸問題，其中網關作為控制中心為無線系統提供資源分配。文獻[13]研究了5G蜂窩系統與衛星網絡共存于毫米波頻段下的波束形成問題的魯棒性和安全性。文獻[14]研究了與蜂窩網絡共享下行頻譜資源的衛星網絡的物理層安全問題。

認知無線網絡具有廣闊的應用前景，無論是在地面無線通信網絡中，亦或是衛星無線通信領域。它可以應用于智能電網，寬帶蜂窩網，空閑的廣播電視頻段都能為這些新興的業務提供頻段。由于認知無線網絡在衛星通信中的應用研究的起步比較晚，還具有很大的發展空間。衛星通信是軍事通信的重要手段，在一些發達國家，百分之八十的軍事信息傳遞交互通過衛星通信來完成。基于現有衛星通信對環境掌控能力缺乏,智能化程度普及相對低的特點，認知無線網絡的應用為未來的衛星通信發展勢必會起到很好的鋪墊作用。

2 認知無線網絡中的機器學習算法

首先，具體來說，認知無線網絡利用人工智能技術，使通信系統具有一定的學習能力，在不影響授權頻段正常通信的基礎上，通過有目的地實時改變某些操作參數使其內部狀態適應接收到的無線信號的統計變化，從而接入到授權的頻段內，動態地利用其頻譜。動態頻譜接入是指次級用戶(secondary user)動態的搜索“頻譜空穴”(spectrum holes)進行通信。這些次級用戶也具有認知功能，因此，次級用戶要在不對經授權使用頻譜的主用戶(primary user)造成干擾的情況下，利用其認知能力，對當前空閑的頻譜進行感知，再“伺機”接入頻譜。與此同時，還必須保證主用戶仍具有最高的優先級使用其授權頻譜。由此，當前頻譜低下的效率得到了極大的改善，而在這一過程中，機器學習起著關鍵的作用。

強化學習算法、遺傳算法以及隱馬爾科夫模型在認知無線網絡中得到了很大的應用，它們的應用分別使得認知無線網絡更好地完成了頻譜資源分配、提高頻譜的管理效率以及頻譜預測的工作。

在前人的工作中，文獻[15]指出認知無線網絡通過加入了學習引擎及知識庫等完成認知的功能，學習引擎可以通過對其經驗學習進行知識庫積累，存入到知識庫中的知識，可以在需要的時候不斷使用。由于機器學習算法應用廣泛，它們也被用作于認知無線網絡的學習引擎。由于傳統的能量檢測方法在陰影等情況下得到的結果并不可靠，因此文獻[16]提出了一種基于機器學習的模塊化頻譜感知系統，利用非線性門限來解決單節點單天線的頻譜感知問題。由于次級用戶的到達和離開使得信道存在著動態特性，不同于穩定的信道，因此，為了更好地適應信道變化這一特點來進行頻譜的分配，文獻[17]提出了一種基于強化學習自動化式的信道和功率分配算法，在強化學習的基礎上通過次用戶業務的到達與離開來學習最佳策略。目前,強化學習在國際上是十分活躍的研究領域，強化學習的應用使得即使在復雜的控制系統中，學習控制仍為一種強有力的控制手段[18]，可以幫助認知無線電實現性能優化。文獻[19]提到強化學習的主要特點是能夠準確、快速學習到最優策略，模擬真實環境，自適應性強，提高頻譜感知以及分配效率，從而最大化系統吞吐量，這些優勢充分證明了強化學習將是認知領域里一種很有前景的技術。由于要提高頻譜的利用率，次級用戶需要通過“機會方式”接入頻譜，并且保證不對主用戶造成干擾，所以，空閑頻譜感知問題成為關鍵。由此，文獻[20]開發了一個基于部分感知馬爾可夫決策過程的機會式頻譜接入分析架構，它可以很容易消除頻譜感知錯誤并降低與主用戶沖突的可能性。當檢測到空閑頻譜，如何高效公平地分配頻譜資源變得至關重要。文獻[21]以在遺傳過程中的控制干擾為目標，提出認知無線網絡頻譜分配算法，設計出染色體中的基因表達規則。依據基因表達規則標記顯性基因與隱性基因,在下一代染色體中表達顯性基因,抑制隱性基因,從而保證染色體的健康,提高算法效率。文獻[22]指出遺傳算法是模擬自然選擇和遺傳學機理的計算模型，借鑒了自然界的優勝劣汰的進化規律，產生的最優解像自然中更適應環境的后代種群一樣，它的特點在于能夠自適應地調整搜索的方向，具有很強的全局優化能力，可以作為解決最優化的搜索啟發式算法。

無線認知網絡的研究工作主要集中在：頻譜的感知、共享、決策、遷移。頻譜感知是所有工作的基礎。當前的頻譜感知方法有：能量檢測、匹配濾波器檢測，以及多分辨率頻譜感知，但在一些特定的情況下，因為是單節點檢測方法，結果并不可靠。另外，在信道分配上，傳統的無線網絡分配及功率效率低。加入了機器學習算法的認知無線網絡在實現了高效率的頻譜管理的同時，完成了動態的頻譜以及功率分配，減少了有限頻譜的資源浪費。

通過對國內外涉及認知無線網絡文獻的學習、標引，文中梳理了認知無線網絡中機器學習的應用。下面對一些主要的學習算法進行介紹：Q學習算法、遺傳算法和隱馬爾可夫模型。

2.1 Q學習算法

Q學習適用于解決動態環境中的決策問題，通過學習的強化訓練尋找到達目標的最優動作。

在基本的Q學習算法中，環境由有限狀態的離散時間隨機系統組成。設全部的狀態為S={s1,s2,…,sn}，可能的行動為A={a1,a2,…,am}。進入環境之后，Agent處于某一狀態s∈S，并在此狀態下的可選動作中按某種策略(如貪心策略)選擇一個動作a∈A執行。進入下一狀態后，Agent將得到一個反饋信號r(s,a)，可視為在狀態s下執行動作a的即時獎勵值，用來更新Q(s,a)、策略π。定義Q(s,a)為：Agent在狀態s下執行動作a的總體收益，包括即時獎勵和預期未來收益。Agent按照以上步驟不斷地學習探索，直到滿足一定的收斂條件，就停止更新Q(s,a)，結束學習。在做決策時，只需要跟蹤在當前狀態s下，到達目標狀態過程中執行每個操作的Q值，來指導Agent移動。Q值已經包含了未來收益，故無需再考慮狀態s的后續狀態。總之，Q學習的核心是采取能最大限度地提高總體收益的行動a，并不斷更新Q值組成的Q矩陣形成最優決策。Q(s,a)值定義如下:

Q(s,a)=(1-α)Q(s,a)+α[r+γQ(s',a')]

(1)

其中，r為當前狀態s下執行a動作的即時獎勵值;γ(0<γ<1)為折扣因子，決定未來獎勵對當前Q值的影響;α為學習率；Q(s')為s的下一狀態下的最大Q值。

在Agent選擇動作時，會遇到“探索-利用”困境：“利用”是指選擇Q值最大的動作以盡快增加收益，而“探索”是指隨機選擇一個動作探索其總體收益。文中采用ε-貪心策略，達到平衡“探索”和“利用”的目的。設學習起步階段的探索概率為ε，則以1-ε的概率選擇Q值最大的動作，以ε的概率隨機選擇其余動作中的一個動作，探索非最優動作帶來的收益。ε-貪心策略在初始學習時，主動探索非最優動作，能一定程度地避免“局部最優”。隨著不斷的學習探索，Agent對環境的認知逐漸清晰準確，可以逐步減少不必要的探索，即減小ε值，以提高學習效率，從而加快Q值收斂。

使用Q學習算法管理CR的頻譜：認知無線網絡的特點在于實時變化：隨時有用戶到達和離開環境，業務處于動態變化中。系統需要自適應地調整傳輸參數(包括發送功率、傳輸信道等)，以適應環境中的通信條件和要求。新到達的用戶稱為次級用戶，其功率發射由基站控制，與基站的通信頻段選用無需授權的公共頻段，例如ISM頻段。Q學習算法適用于此類動態變化的環境，能幫助系統實現信道和功率的實時自適應分配問題。

文中提出的Q學習算法實現動態頻譜接入的處理步驟如下：

Q函數的主要參數：學習者所處的狀態集合S，可選動作的集合A，動作的即時獎勵值r，以及動作選擇策略π:S→A。

(1)狀態：假設信道不隨時間變化，環境中的業務是動態變化的，用戶是時間離散的。新用戶到達會增加業務，觸發Agent選擇信道或分配功率，而用戶業務的離去不會產生新業務，即不觸發動作選擇。因此，狀態s由下式給出：

s=(新用戶的序號，當前接入的用戶序號，基站接收的各信道功率總和)

(2)

(2)動作：當新用戶到達時，基站需執行兩個操作：分配合適的信道；分配適合的功率。這兩個動作由下式給定：

A=(P1,P2,…,PM)

(3)

其中，M是總信道數，Pm∈{p1,p2,…,pM}，m=1,2,…,M。由于新用戶接入時最多只需占用一個信道，因此向量A至多有一個非零元素。

(3)回報r：Agent的決策取決于學習過程中回報的累積值，即總體收益。回報的定義方式很多，此算法認為動作所實現的總體吞吐量越高，相應的回報值越高，故定義回報值為當前業務用戶的服務速率之和，可通過下式計算：

r(s,a)=

(4)

其中，f(n),pn分別表示用戶n所占用的信道以及發射功率。若用戶j不發送信號，則pj為零。φ(n,j)由下式決定：

(5)

從式(5)可以看出，該算法考慮了新來用戶的發射功率對正在進行業務的用戶的干擾。

每當新來一個用戶，Agent(認知基站)就會發起一輪迭代(如圖1所示)，過程如下：

圖1 Q學習算法流程

(1)初始化：初始化折扣因子γ、學習率α以及探索概率ε，Q矩陣為全零。

(2)構建狀態空間：新用戶到達后，基站需確認新用戶的序號和當前接入的用戶序號以及基站接收的各信道功率之和。新用戶序號由新用戶發給基站；其他信息可由基站自身獲取。構建的狀態空間如式(2)所示。

(3)生成Q值：系統計算當前狀態下所有動作對應的Q值，并存入Q矩陣：Qi(s)=(Q(s,a1),Q(s,a2),···,Q(s,am))，此即完成了一次Q值更新。更新須保存，以待下一輪迭代中繼續更新Q值。

(4)選擇和執行動作：基站選擇動作時采用ε-貪心策略，然后基站通過公共控制信道告知用戶所選動作對應的信道選擇和功率分配策略。用戶根據基站的要求，發射指定的功率。

(5)計算回報值：基站根據式(4)計算執行動作后的即時回報并存儲其數值。

(6)更新相關參數：每輪迭代結束后，需要更新α,ε以加快Q值收斂。這里設定α,ε按負指數減小。算法收斂的標志為α,ε減為零或者迭代次數達到了預設的門限值。

2.2 遺傳算法

遺傳算法是一種模擬自然選擇過程的搜索算法，通常用于解決優化和搜索問題。遺傳算法流程如圖2所示。

圖2 遺傳算法流程

算法從一組初始解開始，定義適應度函數來評估初始解，根據某種選擇規則選擇某些解進行交叉、變異產生新解。若未得到最優解就返回到第一步，將新生成的解作為新的初始解，一直循環迭代，直到獲得最優解。使用不同的適應度函數所得到的結果會有差別。

使用遺傳算法進行CR的頻譜管理：基于傳感器信息或次級用戶輸入的信息，系統可預定義次級用戶的服務質量(quality of service，QoS)需求，選擇次級用戶參數，包括調制方案、帶寬、數據速率、功率利用率等。通過學習和優化這些參數，次級用戶可以在不干擾主用戶的前提下訪問主用戶的頻譜空穴，從而提高頻譜利用率。文中以頻率、功率、帶寬和調制方案四個參數為例進行頻譜管理。每個參數稱為一個“基因”，四個參數的組合形成了“染色體”。

遺傳算法解決頻譜管理問題的步驟如下：

(1)基因組合。

(a)頻率基因：假設系統帶寬為800 MHz，頻帶范圍為50 MHz～850 MHz，信道帶寬為8 MHz，，即步長為8 MHz，共100個頻率基因，如表1所示。

表1 頻率基因

(b)功率基因：假設功率值范圍從-95 dBm到-46 dBm，步長為1 dBm，共50個功率基因，如表2所示。

表2 功率基因

(c)誤碼率基因：假設誤碼率(Bit Error Rate，BER)的變化范圍為10-1～10-8，步長為10-1,共8個誤碼率基因，如表3所示。

表3 誤碼率基因

(d)調制基因：文中只考慮針對特定頻譜管理應用的四種調制方式，如表4所示。

表4 調制基因

(2)染色體。

四個基因結合形成一個染色體，或稱種群中的單一個體。染色體的結構如表5所示。

表5 染色體結構特征

初始化：隨機生成一個初始種群，包含50個初始個體，如表6所示。

表6 初始染色體結構

(3)個體適應度評估。

用加權和方法來計算種群中每個個體的適應度值，從而評估個體適應度。為了簡單起見，假設染色體上的每種基因的權重相同。設參數x1、x2、x3、x4分別為頻率基因、功率基因、誤碼率基因和調制基因。每個參數的適應度函數fi由式(6)給出。

(6)

染色體的適應度函數通過式(7)給出。

(7)

適應度越低，遺傳算法的優勢越明顯。若某個染色體的適應度值滿足次級用戶的QoS要求，則將其作為可行解，若不滿足，則從初始群體中選擇適應度值較低的染色體，利用變異、交叉[23]等遺傳算子生成下一個群體。重復進行這個過程，直到種群滿足某個特定條件(例如種群數量最大化或優于當前最佳方案)為止。當終止條件滿足時，選擇適應度值最高的個體，該個體包含了頻譜利用的最優參數。

2.3 隱馬爾可夫模型

隱馬爾可夫模型(hidden Markov model，HMM)是一種有向圖模型，用于探究一個隱含有未知參數的馬爾可夫過程，描述一個馬爾可夫過程和背后隱藏狀態的關系[24]。模型如圖3所示。

圖3 隱馬爾可夫模型

在該模型中，系統被假定為未觀察(隱)狀態的馬爾可夫過程。模型有兩個變量序列，隱藏狀態序列S=[S1,S2,…,Sn]和觀察到的變量序列O=[O1,O2,…,On]。對于每個狀態，初始的概率πi可被定義為：

πi=P(Si=si)

(8)

其中Si是隱藏狀態集中的任意值。

模型的目標是給定一個觀測序列O，獲取可能的最佳狀態序列S，即最大化P(S|O)。

S*=argmaxs(P(S|O))

(9)

因此一個完全隱馬爾可夫模型可以表示為：

λ=(A,B,π)

(10)

其中，A是狀態轉移概率，即模型在各個狀態間轉換的概率；B是觀察狀態轉移概率，即模型根據當前狀態獲得各個觀測值的概率；π是初始狀態概率，即模型在初始時刻各個狀態出現的概率。

基于HMM的頻率信道預分配：

為了高效地利用頻譜，很多CR系統使用了靜默周期(靜默周期是指為了精確地感知頻譜，CR網絡停止所有的信道傳輸的狀態)，但即便如此，干擾仍可能產生。為了減少干擾，CR系統采用了頻率期望算法，但會降低CR系統吞吐量，因此對于每個期望周期，采用基于HMM的頻率信道預分配策略，從而既可以減少干擾時間，也能提高系統吞吐量[25]。

HMM頻率信道預分配步驟如下：

通道狀態(忙或閑)是觀察到的狀態，可以表示為O=[0,1]，其中0表示通道空閑，1表示通道忙碌，而隱藏狀態為分配給通道的一組頻率，表示為S=[F1,F2,…,FM]。

假設一個觀察序列[10101001…11]對應的隱藏狀態序列為[S1,S2,…,Si,…,SN]，其中Si∈S。

所以,對于給定的觀測序列(O),轉移概率(A),發射概率(B)和初始概率(π)，基于信道狀態或觀測序列(O)可以得到最佳可能狀態序列或分配頻率S*，如式(11)所示，其中使用了馬爾可夫假設，即隱藏狀態只依賴于前一個狀態，與時間無關。

P(S|O)=P(S1|O)P(S2|S1,O)…

P(SN|SN-1,O)

(11)

利用貝葉斯定理計算方程(8)中的條件概率：

(12)

其中，P(O)可以忽略，因為它與S無關，且被視為常數。根據方程(9)，可以用馬爾可夫假設計算P(S)和P(O|S)，并假設當前觀測狀態只取決于當前隱藏狀態。即：

P(S)=P(S1)P(S1|S2)…P(SN|SN-1)

(13)

P(O|S)=P(O1|S1)P(O2|S2)…P(OM|SM)

(14)

根據式(12)、式(13)和式(14)，可以得到最終的輸出值S*，從而分配頻率設置對應觀察組的通道狀態。

3 結束語

認知無線網絡的核心思想是人工智能技術，而機器學習是人工智能技術的核心，是動態管理頻譜資源的關鍵。Q學習利用認知無線網絡的動態特性實現了信道和功率分配的自主性；遺傳算法通過模擬自然選擇過程，在生成解中搜索最優解，高效地管理頻譜資源；隱馬爾可夫模型能通過訓練數據解決認知無線網絡中頻率信道的預測和預分配問題。隨著機器學習技術的發展和完善，認知無線網絡將更好地利用頻譜資源，在通信、數據交互等領域有更加廣泛的應用。