基于深度強化學習的蜂窩網(wǎng)資源分配算法研究

倪龍飛，白 倩

（黃河交通學院智能工程學院，河南 焦作 454950）

1 深度強化學習原理及影響要素分析

強化學習（Reinforcement Learning）的基本原理是，智能體在與環(huán)境的交互過程中，通過環(huán)境反饋的信息調(diào)整自身策略從而獲得最佳對策的過程[1]。強化學習中一般包括：狀態(tài)、動作、獎勵、狀態(tài)的轉(zhuǎn)移概率、策略以及值函數(shù)。傳統(tǒng)的強化學習在簡單的場景中能取得好的結(jié)果，但是在現(xiàn)實中復雜問題較多，傳統(tǒng)的強化學習不能滿足需求，為了解決動作空間維數(shù)大的問題，谷歌團隊首先將深度學習與強化學習有效結(jié)合，形成了人工智能的研究熱點，深度強化學習由此產(chǎn)生。

1.1 智能體（agent）要素

智能體是在人工智能技術(shù)應用背景下能夠與外界環(huán)境進行人機交互的實體，其作為一種能夠自主活動的軟件或者硬件實體，能夠在環(huán)境中基于自身的意圖或者算法來與其他智能體進行交互，并且在環(huán)境應用的過程中不斷修改自己的行為，從而更好地適應智能化、信息化的環(huán)境需求[2]。其中，智能體的應用主要受到策略（Policy）、價值函數(shù)（Value Function）和模型（Model）三個方面的影響。從策略的角度看，其主要是作為一種方向性的經(jīng)驗指導來指揮智能體的操作，無論是作為確定性策略還是隨機性策略，都是基于特殊的現(xiàn)狀或者預測性現(xiàn)狀而形成的一種方向性的指令。

1.2 狀態(tài)（state）要素

狀態(tài)是智能體執(zhí)行一項指令過程中所存在的器械環(huán)境，其主要包括三個方面的內(nèi)容，分別是外界環(huán)境狀態(tài)（Environment State）、智能體狀態(tài)（Agent State）和信息環(huán)境狀態(tài)（Information State）。其中，智能體所處的狀態(tài)可以理解為其所處的數(shù)據(jù)信息環(huán)境以及數(shù)據(jù)指標的特征，例如Agent State是輸入給agent的信息，也就是特征數(shù)據(jù)。Information State是當前狀態(tài)包含了對未來預測所需要的有用信息，過去信息對未來預測不重要，該數(shù)據(jù)狀態(tài)更側(cè)重于當前數(shù)據(jù)狀態(tài)的分析。Environment State主要有完全可觀測環(huán)境與部分可觀測環(huán)境。完全可觀測環(huán)境是一種理想化的狀態(tài)，而部分可觀測環(huán)境需要智能體在狀態(tài)操作基礎(chǔ)上進行深層次的探索與學習研究。

2 蜂窩網(wǎng)資源分配算法的特點與優(yōu)勢分析

2.1 蜂窩網(wǎng)資源分配算法理論運作機制分析

傳統(tǒng)的蜂窩網(wǎng)資源分配方法主要包括博弈理論、拍賣機制、圖論著色理論、遺傳算法等。其中，拍賣機制采用了信息加密和拍賣協(xié)議的方式，不僅能夠提高頻譜的利用效率，還能提升頻譜安全性。圖論著色理論主要是采用相關(guān)理論建構(gòu)干擾感知圖，從而提出資源共享方案，這樣的優(yōu)點是算法快，時間成本相對較低。隨著無線網(wǎng)絡(luò)的不斷發(fā)展，資源呈現(xiàn)動態(tài)變化，傳統(tǒng)的蜂窩網(wǎng)資源分配方法不足以應對多目標優(yōu)化問題，無法挖掘深層次的數(shù)據(jù)信息。當前，以深度學習為主的人工智能技術(shù)已開始廣泛運用于各個領(lǐng)域，其能夠基于一種狀態(tài)監(jiān)測與指令預測性操作的形式解決上述問題，以此來全面提高數(shù)據(jù)資源的分配利用效率。

2.2 蜂窩網(wǎng)資源分配算法的特點與優(yōu)勢分析

首先，蜂窩網(wǎng)資源分配算法的覆蓋面相對較廣泛，其能夠在數(shù)據(jù)信息利用的過程中覆蓋各個國家與地區(qū)，從而更好地在多個主體的信號傳輸過程中實現(xiàn)信息資源的分配式均衡利用。其次，蜂窩網(wǎng)在資源分配算法應用的過程中，其能夠通過遠程管理的形式對于多個智能體進行環(huán)境監(jiān)視，從而通過系統(tǒng)化的管理進行故障監(jiān)測，并且設(shè)定一定的技術(shù)指標來會進行異常情況預警，提示相關(guān)技術(shù)操作人員的維修與管理。另外，在蜂窩網(wǎng)資源分配式算法應用的過程中，其能夠通過多個類似蜂窩的小區(qū)進行信息的發(fā)射與接收，不僅能夠?qū)崿F(xiàn)信號傳輸?shù)母咝Ю茫€能夠在應用過程中保護下小區(qū)內(nèi)部的隱私性信息，提高分布式算法系統(tǒng)的安全性。

2.3 蜂窩網(wǎng)資源分配算法的研究前景

蜂窩網(wǎng)資源分配算法能夠充分應用于我國的通信工程、物聯(lián)網(wǎng)技術(shù)等方面的領(lǐng)域中，并且其實際的應用范圍還處于一個不斷探索的過程中。例如我國許多學者在研究過程中仍然采用傳統(tǒng)的方法，即迭代運算進行研究，這樣的方式使得資源的優(yōu)化效率顯著降低，在復雜的網(wǎng)絡(luò)環(huán)境中不能夠快速靈活的作出反應。擁塞控制能夠在一定程度上反映出用戶對于某種資源的需求情況，它與無線資源的分配是緊密聯(lián)系在一起的，而部分學者未考慮到用戶的擁塞控制，從而降低了用戶的QoS技術(shù)保證。此外，深度強化學習的模型確實能夠解決許多問題，但是在新的網(wǎng)絡(luò)中不能復用，這不僅要求重新訓練新的神經(jīng)網(wǎng)絡(luò)，還要獲取大量的訓練樣本，因而算法速度會顯著下降，也會耗費訓練時間。

3 基于深度強化學習的蜂窩網(wǎng)資源分配算法模型建構(gòu)研究

3.1 蜂窩網(wǎng)資源分配算法框架

基于深度強化學習理論我選哪個成的蜂窩網(wǎng)資源分配算法，其算法的應用模式能夠基于深度學習的理解與感知能力進行技術(shù)性的改機，也就是將信息的感知能力與信息的決策能力、信息的處理進行融合，從而通過多元的嘗試來進行算法應用的研究，從而在此基礎(chǔ)上給予最大效益的原則進行算法框架預設(shè)。可以說，基于深度強化學習的蜂窩網(wǎng)資源分配算法框架，如圖1所示。

圖1 基于深度強化學習的蜂窩網(wǎng)資源分配算法模型

在該算法模型應用的過程中，其主要采用了Q-learning的學習機制來進行算法框架的設(shè)計，其算法應用主要是一種迭代式的狀態(tài)來進行算法技術(shù)應用的推算與預估，并且在該算法運作的過程中，我們能夠采用求解誤差梯度的形式來進行智能體動作狀態(tài)值網(wǎng)絡(luò)的最優(yōu)解，從而基于效率最優(yōu)的原則來完成整個蜂窩網(wǎng)資源分配的全面應用。

3.2 蜂窩網(wǎng)資源分配算法流程

深度強化學習理論背景下蜂窩網(wǎng)資源分配算法流程的應用，其主要是通過前向傳輸過程與反向訓練過程來實現(xiàn)資源算法的應用，并且基于信號傳輸最大化與效率最高的原則來進行數(shù)據(jù)算法的應用，從而在分配算法應用的過程中實現(xiàn)算法模型的全面系統(tǒng)優(yōu)化。

在前向傳輸過程中，蜂窩網(wǎng)的資源分配算法需要構(gòu)建一個較為完善的DNN系統(tǒng)，其作為前向傳輸過程中的核心，首先需要基于一定的算法公式來探索微基站的最大發(fā)射功率，并且基于傳輸速率最優(yōu)化的原則來進行數(shù)據(jù)流分析，這就能夠在迭代應用的過程中通過數(shù)據(jù)流的更新來構(gòu)造相對完整的DNN，從而能夠在不同的信道中將觀測到的蜂窩數(shù)據(jù)的進行動態(tài)分析，從而在研究活動中用算法實現(xiàn)資源分配策略的優(yōu)化。

在反向訓練的過程中，其算法模型主要通過是通過一種構(gòu)造誤差函數(shù)的形式來進行數(shù)據(jù)的測試與訓練。首先，在觀測系統(tǒng)中，其主要對于系統(tǒng)化的能量效率進行觀測，且將其作為一種獎懲值來進行接入信息與干擾信息的分析，從而在此基礎(chǔ)上形成優(yōu)質(zhì)的資源分配策略。可以說，在該策略分布的過程中，我們需要重點基于反向傳播算法來進行數(shù)據(jù)的分析，將損失函數(shù)值實現(xiàn)最小化的處理，并且基于資源分配最優(yōu)化的策略來進行仿真分析，這就能夠在研究活動中通過深度強化學習的模式來優(yōu)化蜂窩網(wǎng)資源分配算法，全面提高信息處理與傳輸?shù)氖褂眯省?/p>

4 結(jié)束語

綜上所述，據(jù)深度強化學習理論顯示，蜂窩網(wǎng)資源分配算法能夠解決目前資源網(wǎng)格容量不高的問題，并且在最大限度實現(xiàn)網(wǎng)絡(luò)總?cè)萘靠臻g的綜合應用，并且構(gòu)建出一種相對完善的蜂窩網(wǎng)絡(luò)資源分配算法模型，該模型是基于深度強化學習理論基礎(chǔ)上構(gòu)建的算法模型，能夠通過系統(tǒng)化的設(shè)置來進行智能體內(nèi)部的資源自主選擇，其收斂的速度較快，而且其算法應用的成本消耗、運作效率都優(yōu)于其他算法，更好地實現(xiàn)了蜂窩網(wǎng)資源分配效率的全面提升。