基于深度強(qiáng)化學(xué)習(xí)的無人機(jī)切換管理研究

摘 要：為無人機(jī)提供網(wǎng)絡(luò)連接是未來蜂窩網(wǎng)絡(luò)系統(tǒng)的一個主要應(yīng)用，無人機(jī)在蜂窩網(wǎng)絡(luò)中作為移動基站或移動用戶設(shè)備時，需要在不同的基站之間切換，以保持高速可靠的網(wǎng)絡(luò)連接。針對無人機(jī)移動性強(qiáng)、飛行環(huán)境復(fù)雜造成無人機(jī)在蜂窩基站間發(fā)生頻繁切換、切換失敗等問題，提出了一種基于深度強(qiáng)化學(xué)習(xí)的無人機(jī)連接蜂窩網(wǎng)絡(luò)切換優(yōu)化方法。基于深度強(qiáng)化學(xué)習(xí)框架，實(shí)現(xiàn)無人機(jī)自適應(yīng)基站切換的在線學(xué)習(xí)和決策，克服了以往算法中當(dāng)狀態(tài)空間過大而導(dǎo)致訓(xùn)練時間長、泛化能力差的缺點(diǎn)；融合參考信號接收功率和切換次數(shù)兩項指標(biāo)作為聯(lián)合獎勵函數(shù)，保證無人機(jī)在穩(wěn)定蜂窩網(wǎng)絡(luò)連接的前提下，減少了無人機(jī)在蜂窩基站間的無效切換次數(shù)。實(shí)驗結(jié)果表明，所提出的算法經(jīng)過１ ０００ 輪訓(xùn)練，無人機(jī)的平均切換次數(shù)顯著降低，有效避免了不必要的切換，降低了切換失敗的概率，提升了無人機(jī)連接蜂窩網(wǎng)絡(luò)時的信號接收功率。

關(guān)鍵詞：無人機(jī)通信；蜂窩網(wǎng)絡(luò)；參考信號接收功率；深度強(qiáng)化學(xué)習(xí)

中圖分類號：ＴＰ１８ 文獻(xiàn)標(biāo)志碼：Ａ

文章編號：１００３－３１１４（２０２４）０５－０９４９－０９

０ 引言

近年來，無人機(jī)在許多應(yīng)用中的使用大幅增加，例如空中監(jiān)視、包裹遞送、災(zāi)區(qū)救援以及軍事打擊等［１］。無人機(jī)在飛行時需要無處不在的高速網(wǎng)絡(luò)連接，才能實(shí)現(xiàn)精準(zhǔn)控制以及大量數(shù)據(jù)的穩(wěn)定傳輸［２］。然而無人機(jī)在執(zhí)行許多任務(wù)時，由于飛行距離較遠(yuǎn)且飛行環(huán)境復(fù)雜，需要超視距通信鏈路連接，傳統(tǒng)的點(diǎn)對點(diǎn)網(wǎng)絡(luò)連接技術(shù)已經(jīng)不能滿足無人機(jī)超遠(yuǎn)距離通信的需求。

蜂窩網(wǎng)絡(luò)旨在成為能夠為空中、地面和水下應(yīng)用提供無處不在連接的全覆蓋網(wǎng)絡(luò)，因?qū)崿F(xiàn)成本低、覆蓋范圍廣、通信帶寬高等特點(diǎn)，可以為無人機(jī)提供廣域、高速的無線連接，增強(qiáng)無人機(jī)操作的控制和安全，實(shí)現(xiàn)穩(wěn)定的超視距通信［３］，無人機(jī)連接地面蜂窩基站將在未來無人機(jī)通信中發(fā)揮關(guān)鍵作用。為實(shí)現(xiàn)對無人機(jī)的低時延精準(zhǔn)控制和數(shù)據(jù)的高速傳輸，對于數(shù)據(jù)速率和延遲都有很高的要求，需要在執(zhí)行任務(wù)的過程中始終保持穩(wěn)定、高速的蜂窩網(wǎng)絡(luò)連接。

目前的蜂窩網(wǎng)絡(luò)主要針對地面通信用戶，因此蜂窩基站天線的主瓣波束信號指向地面用戶，而為無人機(jī)提供網(wǎng)絡(luò)覆蓋的旁瓣波束信號微弱且不連續(xù)。無人機(jī)在三維空間中高速運(yùn)動，信號特征會不斷變化。同時，隨著飛行高度和速度的增加，導(dǎo)致無人機(jī)連接蜂窩網(wǎng)絡(luò)時的通信時延越來越高。如今高密集部署的地面蜂窩基站會使空中的無人機(jī)暴漏在更多的基站覆蓋范圍中，也會造成不同基站間的信號相互干擾，影響地面移動用戶和空中無人機(jī)的通信性能［４］。諸多因素都會影響無人機(jī)在蜂窩基站間的切換過程，在常規(guī)的蜂窩基站間切換機(jī)制下會造成無人機(jī)在基站間頻繁切換，導(dǎo)致信令開銷增加，增大切換失敗的風(fēng)險［５］。一旦切換失敗，會對無人機(jī)連接蜂窩網(wǎng)絡(luò)的通信造成巨大影響，整體網(wǎng)絡(luò)服務(wù)質(zhì)量將顯著降低，可能直接導(dǎo)致任務(wù)失敗甚至無人機(jī)發(fā)生碰撞、墜毀等情況［６］。因此，如何保持無人機(jī)在與地面蜂窩基站高速穩(wěn)定連接的前提下，盡量減少切換次數(shù)是一個難題。

１ 相關(guān)工作

針對無人機(jī)高速飛行和頻繁的信號強(qiáng)度變化而造成的切換管理問題，前人已經(jīng)進(jìn)行了許多研究。文獻(xiàn)［７］最早分析了蜂窩網(wǎng)絡(luò)連接無人機(jī)的切換評估問題，由于底層網(wǎng)絡(luò)基礎(chǔ)設(shè)施不是為空中無人機(jī)設(shè)計的，因此蜂窩技術(shù)無法在保持無人機(jī)連接期間可靠性和安全性的同時，支持所有網(wǎng)絡(luò)服務(wù)，而且容易出現(xiàn)高干擾和覆蓋不足的問題。文獻(xiàn)［８］測量了在郊區(qū)環(huán)境中連接到蜂窩網(wǎng)絡(luò)的空中無人機(jī)切換次數(shù)。結(jié)果表明，隨著飛行高度的增加，切換頻率開始迅速增加，在此基礎(chǔ)上，提出需要增強(qiáng)切換技術(shù)來更好地支持無人機(jī)的連接，以便無人機(jī)使用現(xiàn)有的蜂窩網(wǎng)絡(luò)系統(tǒng)。文獻(xiàn)［９］從無線鏈路故障和切換數(shù)量兩方面分析了蜂窩連接無人機(jī)網(wǎng)絡(luò)的性能，證明了無人機(jī)高速運(yùn)動和高度對切換的影響，并提出了調(diào)整切換參數(shù)來保證無縫連接的想法。文獻(xiàn)［１０］提出了一種ＱＬｅａｒｎｉｎｇ 的切換決策算法，以克服無人機(jī)大規(guī)模小型蜂窩異構(gòu)網(wǎng)絡(luò)中不必要的切換和信令開銷，但其基于無人機(jī)與基站間的距離信息做出切換決策，效果不夠理想。文獻(xiàn)［１１］通過使用無模型強(qiáng)化學(xué)習(xí)算法動態(tài)調(diào)整下傾角的角度，確保蜂窩連接無人機(jī)的魯棒連接和移動支持，最大限度地提高無人機(jī)的接收信號質(zhì)量，同時保持地面用戶的良好吞吐量性能。所提出的算法可以在保持性能的同時減少切換次數(shù)，但是改變蜂窩網(wǎng)絡(luò)下傾角的做法實(shí)現(xiàn)較難。文獻(xiàn)［１２］提出了一種基于ＱＬｅａｒｎｉｎｇ 的地面用戶５Ｇ 網(wǎng)絡(luò)切換算法，將網(wǎng)絡(luò)切換問題轉(zhuǎn)化為一個強(qiáng)化學(xué)習(xí)問題，智能體通過觀察當(dāng)前網(wǎng)絡(luò)狀態(tài)和可選的切換目標(biāo)，不斷地學(xué)習(xí)最優(yōu)的網(wǎng)絡(luò)切換策略，從而實(shí)現(xiàn)更加高效和可靠的網(wǎng)絡(luò)切換。但是該方法是針對地面用戶提出的，適用于無人機(jī)有一定困難。文獻(xiàn)［１３］提出了基于雙Ｑ 網(wǎng)絡(luò)（ＤｏｕｂｌｅＤｅｅｐ Ｑ Ｎｅｔｗｏｒｋ，ＤＤＱＮ）的無人機(jī)移動性管理方案，該方案允許在城市區(qū)域中移動的無人機(jī)智能地選擇蜂窩基站進(jìn)行切換，最大化無人機(jī)總體數(shù)據(jù)吞吐量，同時保持切換管理速率。文獻(xiàn)［１４］分析無人機(jī)連接蜂窩網(wǎng)絡(luò)模型的關(guān)鍵性能指標(biāo)，包括通信延遲和干擾蜂窩網(wǎng)絡(luò)，并針對切換和無線資源管理優(yōu)化問題，提出了一種深度強(qiáng)化學(xué)習(xí)解決方案，仿真結(jié)果表明，提出的策略可以在引起的干擾和延時方面顯著優(yōu)于基準(zhǔn)方案。文獻(xiàn)［１５］考慮了兩個深度強(qiáng)化學(xué)習(xí)的方法深度Ｑ 網(wǎng)絡(luò)（Ｄｅｅｐ Ｑ Ｎｅｔｗｏｒｋ，ＤＱＮ）和Ａ２Ｃ，實(shí)現(xiàn)無人機(jī)在線快速決策，在不同的網(wǎng)絡(luò)運(yùn)營商之間進(jìn)行切換，為每個無人機(jī)選擇合適的網(wǎng)絡(luò)運(yùn)營商，以提高無人機(jī)連接蜂窩網(wǎng)絡(luò)ＱｏＳ，降低斷連概率。

雖然之前的工作已經(jīng)研究了無人機(jī)連接蜂窩網(wǎng)絡(luò)時切換面臨的挑戰(zhàn)并提出了許多解決方案，但只考慮了無人機(jī)與蜂窩基站間的距離、角度、通信時延或干擾等信息，沒有考慮到無人機(jī)在蜂窩網(wǎng)絡(luò)間的切換次數(shù)對通信質(zhì)量造成的影響，例如頻繁切換、切換決策時機(jī)不佳、切換失敗等。因此，關(guān)于無人機(jī)高效切換管理仍需要進(jìn)一步研究。