無線通信中的機(jī)器學(xué)習(xí)算法綜述

周文豪，牛英滔*，施育鑫

(1.南京信息工程大學(xué) 電子與信息工程學(xué)院，江蘇 南京 210044;2.國防科技大學(xué)第六十三研究所，江蘇 南京 210007 )

0 引言

隨著5G技術(shù)的蓬勃發(fā)展，移動(dòng)通信設(shè)備的數(shù)量呈指數(shù)增長。無線設(shè)備處理大量數(shù)據(jù)和高速率連接的能力也成為無線通信網(wǎng)絡(luò)最重要的要求，人們對(duì)低延遲、低成本和高可靠性的通信服務(wù)需求也越來越迫切。在該背景下，機(jī)器學(xué)習(xí)(ML)被稱為無線網(wǎng)絡(luò)領(lǐng)域的重要賦能技術(shù)之一。機(jī)器學(xué)習(xí)一般分為監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)(RL)[1-2]。在監(jiān)督學(xué)習(xí)中，學(xué)習(xí)智能體的目的是學(xué)習(xí)一個(gè)通用規(guī)則，將輸入映射到輸出，并提供示例輸入和期望輸出，這些輸出構(gòu)成了標(biāo)簽數(shù)據(jù)集。在無監(jiān)督學(xué)習(xí)中，不需要標(biāo)記數(shù)據(jù)，智能體試圖從輸入中尋找描述隱藏結(jié)構(gòu)的函數(shù)。強(qiáng)化學(xué)習(xí)則通常用于決策制定等問題，其智能體通過在各種狀態(tài)下與環(huán)境交互來學(xué)習(xí)最佳動(dòng)作做出最優(yōu)策略。

但部分機(jī)器學(xué)習(xí)算法也存在著很大局限性。如監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)技術(shù)的基本限制在于需要豐富的數(shù)據(jù)集來訓(xùn)練模型，對(duì)實(shí)際應(yīng)用中的數(shù)據(jù)進(jìn)行預(yù)測(cè)或分類，且整個(gè)過程不能完全利用數(shù)據(jù)的全部特征和屬性。而深度學(xué)習(xí)(DL)算法能夠處理大量數(shù)據(jù)，從輸入數(shù)據(jù)中自動(dòng)分層提取特征及相關(guān)性，可以很好地解決這一局限。

此外，本文提及的所有機(jī)器學(xué)習(xí)方法過去均應(yīng)用于計(jì)算機(jī)領(lǐng)域中的任務(wù)，并沒有充分考慮到無線通信的特點(diǎn)。未來基于機(jī)器學(xué)習(xí)方法的無線通信網(wǎng)絡(luò)，如超可靠低延時(shí)通信、低功耗和低成本通信等需要結(jié)合自身特點(diǎn)去選擇適當(dāng)?shù)姆椒ú⑦M(jìn)行針對(duì)性的設(shè)計(jì)。

1 信道管理中的機(jī)器學(xué)習(xí)

1.1 信道估計(jì)

由于受到無線信道特性影響，發(fā)射端向接收端發(fā)送的信號(hào)通常會(huì)發(fā)生失真和畸變。為了恢復(fù)發(fā)射的信號(hào)，必須在接收機(jī)處估計(jì)和補(bǔ)償信道效應(yīng)。通常，接收機(jī)使用導(dǎo)頻符號(hào)來估計(jì)信道，這些符號(hào)在時(shí)間-頻率上的位置和值對(duì)于發(fā)射機(jī)和接收機(jī)均是已知的[3]。傳統(tǒng)基于導(dǎo)頻的估計(jì)方法包括最小平方(LS)和最小均方誤差(MMSE)，利用時(shí)頻網(wǎng)絡(luò)中的導(dǎo)頻值來尋找信道響應(yīng)的未知值。相對(duì)于不需要信道統(tǒng)計(jì)量信息的最小平方估計(jì)，最小均方誤差估計(jì)利用信道統(tǒng)計(jì)量和噪聲方差可以獲得更好的性能。深度神經(jīng)網(wǎng)絡(luò)(DNN)由于其優(yōu)越的逼近能力，可以逼近一些高復(fù)雜度的資源管理算法，并且可以獲得相類似的網(wǎng)絡(luò)性能，復(fù)雜度也要低很多。因此，受傳統(tǒng)最小均方誤差信道估計(jì)器的啟發(fā)，文獻(xiàn)[4]提出一種由DNN(如圖1所示)和最小平方估計(jì)器結(jié)合的深度信道估計(jì)器，通過DNN對(duì)接收信號(hào)進(jìn)行去噪，繼而進(jìn)行常規(guī)最小平方估計(jì)。仿真結(jié)果表明，該估計(jì)器適用于任何環(huán)境或信道類型，且可以用更低的計(jì)算復(fù)雜度接近高維信號(hào)的最小均方誤差估計(jì)器性能。

同樣是從傳統(tǒng)信道估計(jì)方法出發(fā)，文獻(xiàn)[5]則考慮到信道統(tǒng)計(jì)信息時(shí)變等問題，通過正確選擇輸入，DNN不僅可以利用先前信道估計(jì)的信道變化特征，還可以從導(dǎo)頻和接收信號(hào)中提取其他特征，利用最小平方估計(jì)的優(yōu)點(diǎn)來提高信道估計(jì)的性能。仿真結(jié)果表明，基于深度學(xué)習(xí)的估計(jì)器在效率和魯棒性方面均優(yōu)于經(jīng)典線性最小均方誤差(LMMSE)估計(jì)器。

此外，針對(duì)寬帶毫米波(mmWave) 大規(guī)模多輸入多輸出(MIMO)系統(tǒng)，文獻(xiàn)[6]提出一種基于模型驅(qū)動(dòng)深度學(xué)習(xí)(MDDL)的信道估計(jì)與反饋方案。作者將相移網(wǎng)絡(luò)和信道估計(jì)器聯(lián)合訓(xùn)練為自編碼器，以此減少從基站有限的射頻鏈中估計(jì)高維信道的上行導(dǎo)頻開銷。利用先驗(yàn)?zāi)Ｐ偷男诺澜Y(jié)構(gòu)稀疏性，從數(shù)據(jù)樣本中學(xué)習(xí)綜合可訓(xùn)練參數(shù)，文獻(xiàn)[6]設(shè)計(jì)的冗余字典以及多測(cè)量向量學(xué)習(xí)近似消息傳遞(MMV-LAMP)網(wǎng)絡(luò)可以聯(lián)合恢復(fù)多個(gè)子載波信道，顯著提高其性能。

考慮到主成分分析(PCA)算法可以用于低復(fù)雜度估計(jì)高維數(shù)據(jù)集的特征值和特征向量，文獻(xiàn)[7]針對(duì)具有均勻矩形陣列(URL)天線的二維(2D)MIMO系統(tǒng)，提出一種基于自適應(yīng)PCA的信道參數(shù)估計(jì)和跟蹤方法。作者應(yīng)用迭代加權(quán)子空間算法(WSA)來估計(jì)和跟蹤信號(hào)子空間的特征向量并通過導(dǎo)出最佳步長提高收斂速度，以及利用傳統(tǒng)的多信號(hào)分類(MUSIC)方法根據(jù)估計(jì)的信號(hào)子空間估計(jì)信道參數(shù)。仿真結(jié)果表明，文獻(xiàn)[7]所提算法具有較低的復(fù)雜度和較高的跟蹤精度。

圖1 DNN的基礎(chǔ)架構(gòu)Fig.1 Basic framework of CNN

1.2 信道預(yù)測(cè)

在無線通信網(wǎng)絡(luò)中，通過當(dāng)前和過去信道狀態(tài)信息(CSI)[8]來完成信道的預(yù)測(cè)，對(duì)于改善在發(fā)射機(jī)或接收機(jī)處執(zhí)行的自適應(yīng)編碼調(diào)制和信道均衡等操作的性能來說是至關(guān)重要的。然而，在頻分雙工(FDD)MIMO系統(tǒng)中，由于下行鏈路訓(xùn)練和上行鏈路反饋需要巨大開銷，在基站(BS)處較難獲取下行鏈路CSI，若讓用戶終端進(jìn)行信道估計(jì)并直接向基站進(jìn)行反饋，回傳鏈路會(huì)因此過載[9]。

考慮到這一問題，文獻(xiàn)[10]提出了用于FDD大規(guī)模MIMO系統(tǒng)下行鏈路CSI預(yù)測(cè)的稀疏復(fù)值神經(jīng)網(wǎng)絡(luò)(SCNet)。與一般在實(shí)域中運(yùn)行的深度網(wǎng)絡(luò)不同，SCNet是在復(fù)域中構(gòu)建的，能夠通過離線訓(xùn)練學(xué)習(xí)復(fù)值映射函數(shù)。訓(xùn)練后，使用SCNet根據(jù)估計(jì)的上行鏈路CSI直接預(yù)測(cè)下行鏈路CSI。因此，SCNet對(duì)無線信道統(tǒng)計(jì)特性的顯著魯棒性在實(shí)際的應(yīng)用中具有巨大潛力。

相比于傳統(tǒng)的基于碼本的CSI壓縮反饋，將人工智能技術(shù)引入到CSI反饋中可以極大地降低反饋開銷，提升CSI重構(gòu)精度，其中深度學(xué)習(xí)通過訓(xùn)練具有大量訓(xùn)練樣本的大型多層神經(jīng)網(wǎng)絡(luò)來模擬人腦以完成特定任務(wù)。文獻(xiàn)[11]基于深度學(xué)習(xí)研究了一種新型的CSI感知(或編碼器)和恢復(fù)(或解碼器)機(jī)制-CsiNet。用戶設(shè)備(UE)使用編碼器將信道矩陣轉(zhuǎn)換為碼字，待碼字返回到基站，即通過解碼器恢復(fù)至原來的信道矩陣。與現(xiàn)有的基于壓縮感知(CS)的方法相比，通過深度學(xué)習(xí)恢復(fù)CSI可以顯著提高CSI的重建質(zhì)量。即使在壓縮率極低的情況下重構(gòu)也能保留足夠的內(nèi)容，從而獲得有效的波束形成增益。文獻(xiàn)[12]進(jìn)一步考慮了附近用戶設(shè)備之間的相關(guān)性，提出一種名為CoCsiNet的CSI反饋和協(xié)作恢復(fù)框架。作者將CSI信息分為附近終端共享和個(gè)人終端擁有兩部分，在基站處增加一個(gè)額外的解碼器和組合網(wǎng)絡(luò)，從相鄰兩個(gè)終端的反饋位恢復(fù)共享信息，單個(gè)信息則由兩個(gè)終端的單個(gè)解碼器恢復(fù)，以此減少重復(fù)反饋共享信息的開銷。對(duì)于具有多個(gè)天線的UE，作者引入了具有長短期記憶(LSTM)的基線神經(jīng)網(wǎng)絡(luò)架構(gòu)。利用LSTM可以提取時(shí)變信道的時(shí)間相關(guān)性的特點(diǎn)，提取同一UE處天線之間的相關(guān)性。仿真結(jié)果表明，在文獻(xiàn)[11]兩個(gè)不同信道數(shù)據(jù)集上CoCsiNet均可減少用于重復(fù)反饋共享信息的開銷。

1.3 信道分配

一般地，頻譜會(huì)先被劃分成多個(gè)信道，通信系統(tǒng)以信道為基本單位接入頻譜。由于無線網(wǎng)絡(luò)的高動(dòng)態(tài)性，基于固定規(guī)則的無智能信道分配算法在狀態(tài)變化時(shí)往往陷入性能下降的困境，因此基于機(jī)器學(xué)習(xí)輔助的信道分配問題已成為熱門研究方向[13]。考慮到無線通信網(wǎng)絡(luò)的時(shí)變性，文獻(xiàn)[14]提出了一種基于深度Q學(xué)習(xí)的信道分配算法。與傳統(tǒng)算法相比，該算法可以在不知道系統(tǒng)統(tǒng)計(jì)信息的情況下提取網(wǎng)絡(luò)特征并預(yù)測(cè)未來的網(wǎng)絡(luò)狀態(tài)，且所提方案在大規(guī)模和時(shí)變通信網(wǎng)絡(luò)下均可達(dá)到最優(yōu)性能。

由于以往的強(qiáng)化學(xué)習(xí)更關(guān)注局部信息的學(xué)習(xí)，缺乏對(duì)多用戶場(chǎng)景的考慮，因此文獻(xiàn)[15]提出了一種基于分布式多智能體深度強(qiáng)化學(xué)習(xí)的D2D底層通信信道分配框架，將信道分配算法分為離線學(xué)習(xí)和在線執(zhí)行兩個(gè)階段。智能體共享全局歷史狀態(tài)、動(dòng)作和策略，并進(jìn)行集中訓(xùn)練。在線階段，智能體可以相互協(xié)作，按照經(jīng)過訓(xùn)練的操作來進(jìn)行信道分配。文獻(xiàn)[16]則進(jìn)一步考慮降低訓(xùn)練過程的計(jì)算復(fù)雜度和信令開銷，設(shè)計(jì)了一種聯(lián)邦深度強(qiáng)化學(xué)習(xí)方案，即小蜂窩基站(SBS)和用戶之間共享模型參數(shù)。仿真結(jié)果表明，與基準(zhǔn)方案相比，作者所提方案可以顯著降低能耗并有效保證延遲要求。

相對(duì)于直接探索動(dòng)作的強(qiáng)化學(xué)習(xí)，監(jiān)督學(xué)習(xí)也是動(dòng)態(tài)信道分配的一種解決方案，但由于從傳統(tǒng)方法收集的標(biāo)記數(shù)據(jù)來訓(xùn)練智能體很難直接用于信道分配，因此往往與其他優(yōu)化方法結(jié)合使用。文獻(xiàn)[17]提出了一種液態(tài)機(jī)(LSM)算法，用于預(yù)測(cè)用戶對(duì)高動(dòng)態(tài)無人機(jī)(UAV)網(wǎng)絡(luò)的內(nèi)容需求,其次根據(jù)預(yù)測(cè)的用戶需求處理聯(lián)合頻譜分配和內(nèi)容緩存策略。除LSM外，DNN也被用于文獻(xiàn)[18]中的路由和頻譜分配。與傳統(tǒng)的資源分配策略相比，作者提出的神經(jīng)網(wǎng)絡(luò)模型可以有效提高頻譜分段性能，降低帶寬阻塞概率。

考慮到DNN難以提取空間特征和降低計(jì)算復(fù)雜度，文獻(xiàn)[19]提出了一種基于監(jiān)督學(xué)習(xí)的方法，主要用于在共享頻譜系統(tǒng)中為次級(jí)用戶有效分配頻譜并使用卷積神經(jīng)網(wǎng)絡(luò)(CNN)來有效學(xué)習(xí)頻譜分配函數(shù)。CNN模型(如圖2所示)作為一種廣泛應(yīng)用的圖像分類方法，作者提出的CNN架構(gòu)基于大量自動(dòng)生成的樣本/圖像預(yù)訓(xùn)練深度模型，使用在給定區(qū)域收集的樣本進(jìn)行訓(xùn)練。此外，將訓(xùn)練樣本轉(zhuǎn)換為圖像作為CNN模型的輸入，可以使CNN架構(gòu)在學(xué)習(xí)頻譜分配函數(shù)時(shí)更有效，并通過合成樣本進(jìn)一步提高準(zhǔn)確性約60%以上。

圖2 CNN的基礎(chǔ)架構(gòu)Fig.2 Basic framework of CNN

2 頻譜管理中的機(jī)器學(xué)習(xí)

2.1 頻譜感知

移動(dòng)設(shè)備和無線業(yè)務(wù)的使用呈指數(shù)增長導(dǎo)致頻譜資源的短缺，認(rèn)知無線電則可以通過實(shí)現(xiàn)動(dòng)態(tài)頻譜接入[20]來解決這一問題，其主要思想是在不同的無線通信技術(shù)之間動(dòng)態(tài)共享頻譜(如圖3所示)。為了實(shí)現(xiàn)認(rèn)知無線網(wǎng)絡(luò)，認(rèn)知用戶應(yīng)該具備在動(dòng)態(tài)無線環(huán)境中高效學(xué)習(xí)的能力，并能根據(jù)環(huán)境做出響應(yīng)。因此，頻譜感知是認(rèn)知用戶的主要功能。

圖3 認(rèn)知無線電中的頻譜管理架構(gòu)Fig.3 Spectrum management architecture in cognitive radio

為克服傳統(tǒng)感知方法中誤檢概率和虛警率降低傳感精度等問題，文獻(xiàn)[21]提出了一種聚類與期望最大化(EM)算法和強(qiáng)化學(xué)習(xí)技術(shù)相結(jié)合的協(xié)同頻譜感知技術(shù)。該混合方法通過準(zhǔn)確的感知結(jié)果提高系統(tǒng)性能，并使用交織方法的分層接入模型確定最佳頻帶，從而將能量消耗降至最低。文獻(xiàn)[22]考慮到提高低廣義信噪比條件下的頻譜感知性能，提出了一種基于廣義最大相關(guān)熵的方法來改善對(duì)稱α穩(wěn)定(SαS)噪聲環(huán)境下的頻譜感知性能，利用均值為零的廣義高斯核函數(shù)對(duì)脈沖噪聲和異常值進(jìn)行建模，改進(jìn)的共軛梯度算法來優(yōu)化協(xié)同頻譜感知的稀疏向量。

頻譜感知本質(zhì)上是對(duì)主用戶是否存在的判決問題，深度學(xué)習(xí)則可以最大限度地減少信道分類識(shí)別的缺陷[23-25]。為了克服噪聲功率不確定性問題，文獻(xiàn)[23]利用深度學(xué)習(xí)自動(dòng)從數(shù)據(jù)中學(xué)習(xí)噪聲特征的特點(diǎn)提出基于深度學(xué)習(xí)分類的頻譜感知方法。該方法將信號(hào)的功率譜作為CNN的輸入，并使用各種類型的信號(hào)數(shù)據(jù)和噪聲數(shù)據(jù)訓(xùn)練網(wǎng)絡(luò)模型，以期望訓(xùn)練的網(wǎng)絡(luò)模型可以適應(yīng)各種未知信號(hào)。 此外，進(jìn)一步融入遷移學(xué)習(xí)的概念，獲得比最大最小特征值比和基于頻域熵的方法更優(yōu)異的檢測(cè)性能。相對(duì)于文獻(xiàn)[24]魯棒性能的大幅提升，文獻(xiàn)[25]則著重考慮深度學(xué)習(xí)網(wǎng)絡(luò)強(qiáng)大的特征提取能力，提出一種基于CNN和LSTM的檢測(cè)器，該檢測(cè)器首先利用CNN從感知數(shù)據(jù)產(chǎn)生的協(xié)方差矩陣中提取能量相關(guān)特征，將多個(gè)感知周期對(duì)應(yīng)的一系列能量相關(guān)特征輸入到LSTM中，學(xué)習(xí)主用戶(PU)活動(dòng)模式，進(jìn)一步提高檢測(cè)概率。頻譜感知技術(shù)分類如圖4所示。

圖4 頻譜感知技術(shù)的分類Fig.4 Classification of spectrum sensing techniques

2.2 信號(hào)調(diào)制識(shí)別

在當(dāng)前電磁環(huán)境下，無線通信信號(hào)的調(diào)制識(shí)別和分類對(duì)于提高頻譜效率和解決短缺問題至關(guān)重要。傳統(tǒng)的調(diào)制識(shí)別方法可分為極大似然假設(shè)算法和模式識(shí)別算法。然而，這些方法具有較高的復(fù)雜性或需要額外的數(shù)據(jù)預(yù)處理。與傳統(tǒng)的調(diào)制識(shí)別方法相比，深度學(xué)習(xí)方法可以自動(dòng)提取數(shù)據(jù)特征并進(jìn)行預(yù)測(cè)，簡(jiǎn)化信號(hào)處理步驟，提供更準(zhǔn)確高效的調(diào)制識(shí)別方法。

文獻(xiàn)[26]將InceptionResNetV2網(wǎng)絡(luò)與傳輸自適應(yīng)相結(jié)合,首先對(duì)接收到的信號(hào)進(jìn)行預(yù)處理，生成星座圖；利用星座圖作為InceptionResNetV2網(wǎng)絡(luò)的輸入，以此識(shí)別不同類型的信號(hào)。為進(jìn)一步提高識(shí)別精度，文獻(xiàn)[27]首次應(yīng)用圖卷積網(wǎng)絡(luò)(GCN)調(diào)制識(shí)別,設(shè)計(jì)了一個(gè)特征提取CNN和一個(gè)圖像映射CNN，分別提取信號(hào)特征和映射子集到圖像，將圖像輸入到GCN中，預(yù)測(cè)未標(biāo)記信號(hào)的調(diào)制模式。仿真結(jié)果表明，在信噪比較低的情況下，文獻(xiàn)[27]提出的GCN算法相比CNN和KNN算法具有更優(yōu)異的性能。

考慮到采樣的無線電信號(hào)本質(zhì)上是一個(gè)時(shí)間序列，而LSTM網(wǎng)絡(luò)善于提取時(shí)間相關(guān)性[28-29]。文獻(xiàn)[28]提出一種將雙向長短時(shí)記憶(BiLSTM)與對(duì)稱結(jié)構(gòu)相結(jié)合的CNN，依次提取信號(hào)的頻域特征和時(shí)序特征，基于注意機(jī)制分配重要性權(quán)重來完成識(shí)別任務(wù)。針對(duì)傳統(tǒng)CNN的卷積運(yùn)算會(huì)丟失調(diào)制信號(hào)的部分相位信息，導(dǎo)致識(shí)別精度較低的問題，文獻(xiàn)[29]采用深度復(fù)雜網(wǎng)絡(luò)(DCN)提取含有相位和振幅信息的調(diào)制信號(hào)特征。將BiLSTM層級(jí)聯(lián)，根據(jù)提取的特征建立BiLSTM模型，并將這些特征輸入到一個(gè)完全連接的層中，利用softmax分類器進(jìn)行分類。仿真結(jié)果表明，與基于CNN和CNN-LSTM網(wǎng)絡(luò)識(shí)別算法相比，DCN-BiLSTM網(wǎng)絡(luò)在高信噪比下的識(shí)別精度具有較明顯的提高，并且在信噪比低至4 dB的情況下，DCN-BiLSTM網(wǎng)絡(luò)的識(shí)別準(zhǔn)確率可達(dá)到90%以上。

3 功率分配中的機(jī)器學(xué)習(xí)

在無線自組網(wǎng)中，多用戶干擾是無線自組網(wǎng)性能的主要限制因素之一。在頻譜共享場(chǎng)景下，通過有效的功率控制可以減少用戶間的干擾，從而提高系統(tǒng)吞吐量。文獻(xiàn)[30]研究了無線信息與功率傳輸(SWIPT)功率拆分架構(gòu)下的D2D功率分配問題。首先,將D2D功率分配問題制定為一個(gè)非合作博弈，其中每個(gè)參與方(D2D鏈路)不僅需要選擇SWIPT的傳輸功率，還需要選擇SWIPT的功率分割比。其次，深入探討了該博弈模型納什均衡的存在性和唯一性，提出了兩種功率分配機(jī)制——BS輔助機(jī)制和分布式機(jī)制,特別是后者在有限信息的情況下，通過分布式迭代更新傳輸功率和功率分割比來獲得納什均衡。與典型的Stackelberg博弈解決方案相比，文獻(xiàn)[30]所提機(jī)制可提高大約50%的能源效率，從而實(shí)現(xiàn)無刷功率分配。文獻(xiàn)[31]進(jìn)一步考慮到現(xiàn)有的功率分配算法對(duì)D2D通信網(wǎng)絡(luò)場(chǎng)景變換缺乏適應(yīng)性等問題，提出了一種基于場(chǎng)景自適應(yīng)協(xié)作Q學(xué)習(xí)(SACL)的功率分配算法。作者將場(chǎng)景變量添加到狀態(tài)空間中，并以功率為代價(jià)構(gòu)造獎(jiǎng)勵(lì)函數(shù)。仿真結(jié)果表明，與傳統(tǒng)的協(xié)作Q學(xué)習(xí)和獨(dú)立Q學(xué)習(xí)算法相比，SACL算法功耗低，系統(tǒng)容量大，對(duì)變化場(chǎng)景具有較強(qiáng)的適應(yīng)性。

為提高網(wǎng)絡(luò)資源的利用率，文獻(xiàn)[32]提出一種聯(lián)合頻譜和功率分配算法，最大化認(rèn)知網(wǎng)絡(luò)吞吐量的同時(shí)滿足主次用戶的干擾約束。該算法采用差分進(jìn)化(DE)和粒子群優(yōu)化(PSO)算法求解，在上行和下行場(chǎng)景下為次用戶(SU)提供公平的信道和傳輸功率分配。文獻(xiàn)[33]將雙層異構(gòu)網(wǎng)絡(luò)中的設(shè)備關(guān)聯(lián)、頻譜分配和功率分配優(yōu)化問題聯(lián)合建模為馬爾可夫決策過程(MDP)，在保證移動(dòng)設(shè)備QoS要求的同時(shí)最大化網(wǎng)絡(luò)容量。考慮到網(wǎng)絡(luò)高度復(fù)雜、狀態(tài)空間和動(dòng)作空間較大等特點(diǎn)，提出一種基于多智能體對(duì)決深度Q網(wǎng)絡(luò)的算法，即通過估計(jì)狀態(tài)值和動(dòng)作優(yōu)勢(shì)函數(shù)來學(xué)習(xí)動(dòng)作值分布。仿真結(jié)果表明，提出的分布式協(xié)調(diào)學(xué)習(xí)算法在學(xué)習(xí)效率、網(wǎng)絡(luò)數(shù)據(jù)速率和QoS滿足概率方面均優(yōu)于現(xiàn)有的學(xué)習(xí)算法。

4 信號(hào)檢測(cè)中的機(jī)器學(xué)習(xí)

信號(hào)檢測(cè)[34]是保證無線通信網(wǎng)絡(luò)性能的重要環(huán)節(jié)，主要用于檢測(cè)從發(fā)送端發(fā)送至接收端的通信信號(hào)。傳統(tǒng)的干擾檢測(cè)技術(shù)包括最優(yōu)和次優(yōu)檢測(cè)技術(shù)，最大似然(ML)檢測(cè)技術(shù)可獲得最優(yōu)的性能，但由于其計(jì)算復(fù)雜度隨未知變量的數(shù)量呈指數(shù)級(jí)增長，在實(shí)際應(yīng)用中存在困難。因此，大多數(shù)研究都考慮了實(shí)際可實(shí)現(xiàn)的次優(yōu)檢測(cè)技術(shù)，如序貫連續(xù)干擾抵消(OSIC)、決策反饋均衡(DFE)[35]等， MIMO技術(shù)也以其高頻譜效率和鏈路可靠性被廣泛應(yīng)用于各種無線通信系統(tǒng)，成為當(dāng)前熱門研究方向之一。然而，傳統(tǒng)的MIMO檢測(cè)技術(shù)在對(duì)發(fā)射的MIMO信號(hào)進(jìn)行檢測(cè)時(shí)，需要估計(jì)各種通信參數(shù)，而次優(yōu)的檢測(cè)技術(shù)和不完善的通信參數(shù)估計(jì)均會(huì)降低MIMO通信系統(tǒng)的性能。深度學(xué)習(xí)由于支持高維的輸入數(shù)據(jù)、大型神經(jīng)網(wǎng)絡(luò)以及可調(diào)參數(shù)，已被廣泛應(yīng)用于圖像識(shí)別或射頻信號(hào)分類等問題。

文獻(xiàn)[36-38]將模型驅(qū)動(dòng)的深度學(xué)習(xí)技術(shù)應(yīng)用于大規(guī)模MIMO信號(hào)檢測(cè)，其主要思想是將迭代算法展開為一系列具有可學(xué)習(xí)參數(shù)的神經(jīng)網(wǎng)絡(luò)層。為了降低信號(hào)檢測(cè)的復(fù)雜度并保證其性能，文獻(xiàn)[36]通過展開迭代共軛梯度下降(CG)檢測(cè)器來構(gòu)建了一種學(xué)習(xí)共軛梯度下降網(wǎng)絡(luò)(LcgNet)。該網(wǎng)絡(luò)不需要計(jì)算標(biāo)量步長的精確值，并且通過增加步長的維數(shù)來提高系統(tǒng)的檢測(cè)性能。文獻(xiàn)[37]在迭代軟閾值算法的理論基礎(chǔ)上，提出一種基于在線訓(xùn)練算法的大規(guī)模MIMO檢測(cè)深度學(xué)習(xí)體系結(jié)構(gòu)——MMNet。MMNet一方面針對(duì)不同傳輸信號(hào)的不相關(guān)高斯噪聲量身定制去噪架構(gòu)：一方面，當(dāng)信號(hào)通過MMNet神經(jīng)網(wǎng)絡(luò)傳播時(shí)，去噪階段輸入的噪聲分布接近高斯分布，從而精確地創(chuàng)造條件，使去噪能夠最大限度地衰減噪聲；另一方面，引入足夠的靈活性，以低于其他次優(yōu)檢測(cè)方案的計(jì)算復(fù)雜度進(jìn)行在線訓(xùn)練。仿真結(jié)果顯示，文獻(xiàn)[37]提出的MMNet整體性能較經(jīng)典的MMSE檢測(cè)器提高4～8 dB。文獻(xiàn)[38]基于變分貝葉斯框架提出了一種用于MIMO檢測(cè)的深度學(xué)習(xí)網(wǎng)絡(luò)——VBINet。該網(wǎng)絡(luò)可以在少數(shù)可學(xué)習(xí)參數(shù)情況下，通過適度的訓(xùn)練量有效地進(jìn)行訓(xùn)練。與最先進(jìn)的OAMPNet和MMNet檢測(cè)網(wǎng)絡(luò)相比，VBINet可以自動(dòng)從數(shù)據(jù)中學(xué)習(xí)噪聲方差。因而，在存在噪聲方差不確定性的情況下，性能改進(jìn)將更加顯著。

此外，考慮到無監(jiān)督學(xué)習(xí)特點(diǎn)，文獻(xiàn)[39]研究了上行鏈路功率域非正交多址的聯(lián)合信道估計(jì)和信號(hào)檢測(cè)。作者采用旋轉(zhuǎn)不變編碼來輔助接收機(jī)處的信號(hào)檢測(cè)以及應(yīng)用高斯混合模型對(duì)輸入信號(hào)進(jìn)行無監(jiān)督聚類，并根據(jù)聚類結(jié)果優(yōu)化決策邊界，以降低誤碼率(BER)。仿真結(jié)果表明，在不使用任何導(dǎo)頻符號(hào)的情況下，文獻(xiàn)[39]所提方案的誤碼率性能可完全媲美具有全CSI的傳統(tǒng)最大似然檢測(cè)器。

5 未來挑戰(zhàn)及機(jī)遇

上文闡述了機(jī)器學(xué)習(xí)的4類技術(shù)算法在無線通信網(wǎng)絡(luò)的應(yīng)用如表1所示，主要包括信道管理、頻譜管理、功率分配和信號(hào)檢測(cè)4個(gè)方面，支持在各種場(chǎng)景下為用戶提供無所不在的信息服務(wù)。本節(jié)主要介紹未來無線通信網(wǎng)絡(luò)下機(jī)器學(xué)習(xí)和深度學(xué)習(xí)技術(shù)面臨的諸多挑戰(zhàn)以及可觀的發(fā)展機(jī)遇。

表1 無線通信網(wǎng)絡(luò)中機(jī)器學(xué)習(xí)分類及應(yīng)用Tab.1 Machine learning classification and application in wireless comminication networks

5.1 不同機(jī)器學(xué)習(xí)算法的優(yōu)勢(shì)與局限

與傳統(tǒng)的監(jiān)督、無監(jiān)督以及強(qiáng)化學(xué)習(xí)算法相比，深度學(xué)習(xí)最重要的優(yōu)勢(shì)是在大型數(shù)據(jù)集中的出色性能。通過神經(jīng)網(wǎng)絡(luò)自動(dòng)對(duì)數(shù)據(jù)進(jìn)行高維抽象學(xué)習(xí)，可以大大縮短建模流程。然而，每種深度學(xué)習(xí)方法都有其局限性并且其技術(shù)只適用于各自特定應(yīng)用，為解決一個(gè)問題而訓(xùn)練的模型可能無法解決相似領(lǐng)域的另一種問題。例如，CNN主要應(yīng)用于計(jì)算機(jī)視覺和語音識(shí)別相關(guān)的任務(wù)，以及處理涉及具有空間關(guān)系的數(shù)據(jù)集的任務(wù) 。由于其獨(dú)有的特性，如局部連通性和共享權(quán)重，可以產(chǎn)生更好的精度并提高系統(tǒng)的整體性能。但同時(shí)CNN對(duì)硬件計(jì)算能力和大規(guī)模數(shù)據(jù)的依賴性較高，且對(duì)訓(xùn)練模型的動(dòng)態(tài)適應(yīng)能力較差；DNN可以通過在具有不同拓?fù)浣Y(jié)構(gòu)的人工神經(jīng)網(wǎng)絡(luò)的輸入層和輸出層之間添加多個(gè)隱藏層來構(gòu)建，對(duì)復(fù)雜的非線性關(guān)系進(jìn)行建模。但其訓(xùn)練規(guī)模較小，模型復(fù)雜度簡(jiǎn)單，效果有限；循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)模型通常設(shè)計(jì)于時(shí)序數(shù)據(jù)、事件序列和自然語言等順序數(shù)據(jù)結(jié)構(gòu)。其體系結(jié)構(gòu)提供內(nèi)部反饋回路，通過形成記憶實(shí)現(xiàn)序列模式學(xué)習(xí)。但同時(shí)，其模型更復(fù)雜且工程量較大。因此，有效解決機(jī)器學(xué)習(xí)及深度學(xué)習(xí)算法的局限性，提高數(shù)據(jù)處理的準(zhǔn)確性和速度將成為未來一段時(shí)間需要不斷探究的問題。

5.2 機(jī)器學(xué)習(xí)算法融合與演進(jìn)

在機(jī)器學(xué)習(xí)算法間差異性方面，深度學(xué)習(xí)在不同層次構(gòu)造算法形成人工神經(jīng)網(wǎng)絡(luò)，它可以自己學(xué)習(xí)并做出智能決策，而機(jī)器學(xué)習(xí)需要算法來解釋數(shù)據(jù)后，再從數(shù)據(jù)中學(xué)習(xí)。因此經(jīng)典的機(jī)器學(xué)習(xí)算法與深度學(xué)習(xí)聯(lián)合解決數(shù)據(jù)集較大、模型訓(xùn)練時(shí)間較長和實(shí)現(xiàn)復(fù)雜性較高等問題，未來或?qū)⒊蔀闊衢T研究方向之一。例如，在深度強(qiáng)化學(xué)習(xí)方法中，DNNs被用來看成近似強(qiáng)化學(xué)習(xí)的一些組成部分，包括狀態(tài)轉(zhuǎn)移函數(shù)、獎(jiǎng)勵(lì)函數(shù)、價(jià)值函數(shù)和策略。深度強(qiáng)化學(xué)習(xí)可以很好地融合強(qiáng)化學(xué)習(xí)在交互決策中的內(nèi)在優(yōu)勢(shì)以及DNN強(qiáng)大的函數(shù)逼近和表示學(xué)習(xí)特性，使未來解決高維、復(fù)雜場(chǎng)景下的強(qiáng)化學(xué)習(xí)問題成為可能。但同時(shí)，強(qiáng)化學(xué)習(xí)和深度學(xué)習(xí)的組合計(jì)算能力會(huì)產(chǎn)生更多的計(jì)算和存儲(chǔ)開銷，不太適合資源受限的無線網(wǎng)絡(luò)設(shè)備。此外，遷移學(xué)習(xí)技術(shù)從一個(gè)任務(wù)中學(xué)習(xí)到的知識(shí)轉(zhuǎn)移到另一個(gè)類似的任務(wù)中，可以避免從頭開始訓(xùn)練學(xué)習(xí)模型，加快新環(huán)境中的學(xué)習(xí)過程。在少量訓(xùn)練數(shù)據(jù)的情況下，機(jī)器學(xué)習(xí)算法也可以具有良好的性能。其他如聯(lián)邦強(qiáng)化學(xué)習(xí)由于在加速訓(xùn)練或提高安全性等方面的突出作用，未來也可以成為無線通信領(lǐng)域研究探索的方向。

5.3 基礎(chǔ)設(shè)施發(fā)展與挑戰(zhàn)

隨著無線通信網(wǎng)絡(luò)的不斷迭代升級(jí)，未來的6G將融合通信、感知、計(jì)算、人工智能等能力，構(gòu)建“超級(jí)無線寬帶、超大規(guī)模連接、可靠通信、通信感知融合與普惠智能服務(wù)”五大典型場(chǎng)景。因此，無線網(wǎng)絡(luò)基礎(chǔ)設(shè)施需要不斷進(jìn)行更新完善，以滿足不斷增長的用戶需求。例如，在網(wǎng)絡(luò)邊緣部署配備GPU的服務(wù)器，實(shí)現(xiàn)基于深度學(xué)習(xí)的信號(hào)處理和資源管理，即在網(wǎng)絡(luò)邊緣進(jìn)行數(shù)據(jù)感知，處理傳輸與決策，解決數(shù)據(jù)從采集到消耗過程中的技術(shù)難題。構(gòu)建面向智能服務(wù)的通信-感知-計(jì)算一體化技術(shù)，提供可拓展、可信賴、可定制的智能服務(wù)，解決行業(yè)應(yīng)用的“最后一公里問題”。但同時(shí)，未來的無線通信網(wǎng)絡(luò)由于受眾更廣、覆蓋范圍更大極易受到非法攻擊，安全和隱私或?qū)⒊蔀楸仨氈匾暤膯栴}。例如，機(jī)器學(xué)習(xí)技術(shù)在無人駕駛、智能家居、機(jī)器人上的應(yīng)用，一旦發(fā)生攻擊數(shù)據(jù)或遭到泄露和篡改，其后果不僅設(shè)備受損，嚴(yán)重者甚至?xí)＜叭祟惤】怠Ｎ锫?lián)網(wǎng)設(shè)備通常通過無線網(wǎng)絡(luò)連接，入侵者可能通過竊聽設(shè)備竊取到身份密碼等隱私信息，從而進(jìn)行網(wǎng)絡(luò)攻擊。此外，深度學(xué)習(xí)算法本身在生成訓(xùn)練數(shù)據(jù)時(shí)容易受到潛在攻擊。攻擊者可以構(gòu)建一個(gè)相似的深度學(xué)習(xí)系統(tǒng)并識(shí)別其檢測(cè)方法，產(chǎn)生系統(tǒng)難以檢測(cè)的攻擊。目前，該領(lǐng)域基于安全與隱私的研究尚未成熟，隨著未來智能抗干擾技術(shù)和主動(dòng)防御手段的不斷提高，或?qū)⒕徑馊藗儗?duì)安全及隱私方面的擔(dān)憂。

6 結(jié)論

為了滿足用戶更高級(jí)的需求，下一代通信網(wǎng)絡(luò)對(duì)高吞吐量、高可靠性、能效、時(shí)延等諸多關(guān)鍵性指標(biāo)要求越來越嚴(yán)格。本文主要分析了無線通信網(wǎng)絡(luò)中的機(jī)器學(xué)習(xí)問題，并闡述了在發(fā)展實(shí)際的無線通信網(wǎng)絡(luò)中機(jī)器學(xué)習(xí)技術(shù)的重要性，給出了應(yīng)用于無線通信網(wǎng)絡(luò)的監(jiān)督式、無監(jiān)督式、強(qiáng)化學(xué)習(xí)及深度學(xué)習(xí)的算法及模型。針對(duì)其局限性，本文也為未來無線通信領(lǐng)域的研究指出了一些方向 。