基于強(qiáng)化學(xué)習(xí)提升雙GNSS測(cè)向精度方法研究?

劉佳銘 段靜玄 張學(xué)良 林 靜

（1.海裝上海局駐上海地區(qū)第五代表室 上海 200135）（2.中國(guó)艦船研究設(shè)計(jì)中心 武漢 430064）

1 引言

近年來(lái)，利用全球衛(wèi)星導(dǎo)航系統(tǒng)（Global Navi?gation Satellite System，GNSS）的雷達(dá)標(biāo)校技術(shù)逐漸成為主要方式，通過(guò)在遠(yuǎn)距離釋放攜帶GNSS接收機(jī)的無(wú)人機(jī)，以及艦上安裝的GNSS接收機(jī)，將兩個(gè)接收機(jī)的經(jīng)緯度、海拔數(shù)據(jù)轉(zhuǎn)化為方位距離仰角，再經(jīng)過(guò)位置間隔修正到雷達(dá)所在位置，比較雷達(dá)讀數(shù)和修正后的方位距離仰角，分析其誤差。由于GNSS的定位精度可以達(dá)到厘米級(jí)，因此標(biāo)校精度可以達(dá)到0.01°，成為了現(xiàn)在標(biāo)校的主要技術(shù)。

然而在動(dòng)態(tài)測(cè)量中我們發(fā)現(xiàn)，由于船舶的搖擺及無(wú)人機(jī)的位置變化，以及GNSS信號(hào)的波動(dòng)，在測(cè)量過(guò)程中可能會(huì)出現(xiàn)部分?jǐn)?shù)據(jù)精度不足的問(wèn)題，嚴(yán)重影響了標(biāo)校結(jié)果。因此，本文提出一種基于GNSS數(shù)據(jù)優(yōu)化改進(jìn)方位距離仰角測(cè)向定位的方法，具體來(lái)說(shuō)，我們開(kāi)發(fā)了一個(gè)強(qiáng)化學(xué)習(xí)模型來(lái)實(shí)現(xiàn)修正雙GNSS相對(duì)位置計(jì)算的最優(yōu)策略。為了加速訓(xùn)練過(guò)程并獲得更好的性能，實(shí)現(xiàn)了一種最先進(jìn)的并行訓(xùn)練架構(gòu)，即異步優(yōu)勢(shì)參與者-批評(píng)（A3C）協(xié)議，用于學(xué)習(xí)最優(yōu)校正策略。由于缺乏對(duì)模型參數(shù)的嚴(yán)格假設(shè)，所提出的框架具有通用性，適用于非靜止環(huán)境下的不同GNSS設(shè)備和位置。

在提出的強(qiáng)化學(xué)習(xí)模型中，我們提出了一種獨(dú)特的獎(jiǎng)勵(lì)機(jī)制，不同于其他深度學(xué)習(xí)或強(qiáng)化學(xué)習(xí)［1］框架中通常使用的獎(jiǎng)勵(lì)結(jié)構(gòu)。我們沒(méi)有使用直接分?jǐn)?shù)，就像在為玩游戲而開(kāi)發(fā)的模型中所做的那樣，我們使用一種抽象方法來(lái)提供低方差獎(jiǎng)勵(lì)值，并通過(guò)在獎(jiǎng)勵(lì)函數(shù)中加入預(yù)測(cè)置信度來(lái)提供額外的好處。所提出的方法通過(guò)使獎(jiǎng)勵(lì)獨(dú)立于地理位置來(lái)建立一個(gè)通用框架。模型性能通過(guò)合成數(shù)據(jù)以及真實(shí)世界的實(shí)驗(yàn)進(jìn)行評(píng)估，并與擴(kuò)展卡爾曼濾波器算法進(jìn)行了比較，該算法是定位問(wèn)題中常用的基準(zhǔn)算法。

2 國(guó)內(nèi)外研究現(xiàn)狀

提升雙GNSS測(cè)向精度的主要方法之一是提升單點(diǎn)定位精度的精度，目前主要的研究可以分為基于硬件的和基于軟件的兩類(lèi)。

基于硬件的方法嘗試使用額外的硬件設(shè)備來(lái)提高GNSS精度。在整個(gè)網(wǎng)絡(luò)中部署參考站是提高GNSS精度性能的一種方法［2］。然而，建造參考站可能既昂貴又耗時(shí)。也有大量研究使用輔助硬件來(lái)增強(qiáng)傳統(tǒng)GNSS設(shè)備，例如慣性測(cè)量單元（IMU），是提高 GNSS定位性能的另一種方法［3］。基于輔助設(shè)備和增強(qiáng)的基礎(chǔ)設(shè)施，設(shè)計(jì)了具有不同定位精度的不同類(lèi)型GNSSGPS。慣性導(dǎo)航系統(tǒng)已廣泛用于航位推算系統(tǒng)。差分GPS（D-GPS）使用高質(zhì)量GPS接收器和高質(zhì)量參考位置來(lái)構(gòu)建可以提高定位精度的系統(tǒng)［4］，而實(shí)時(shí)動(dòng)態(tài)（RTK）GPS使用RTK網(wǎng)絡(luò)來(lái)提高GPS性能［5］。缺點(diǎn)很明顯：輔助硬件的故障會(huì)降低GNSS系統(tǒng)的性能。大規(guī)模部署基于硬件的設(shè)備也很昂貴。

另一方面，基于軟件的算法已顯示出提高GNSS精度的潛力。基于卡爾曼濾波器的算法是提高GPS定位精度的最廣泛使用的算法之一［6～7］。然而，這些方法通常被開(kāi)發(fā)用于線(xiàn)性運(yùn)動(dòng)和傳感器模型，使其不直接適用于非線(xiàn)性的運(yùn)動(dòng)模型。雖然卡爾曼濾波器可以升級(jí)為無(wú)跡卡爾曼濾波器（UKF）或擴(kuò)展卡爾曼濾波器（EKF）來(lái)解決非線(xiàn)性轉(zhuǎn)換，但很難為此類(lèi)模型找到合適的高斯噪聲參數(shù)［8］。當(dāng)狀態(tài)空間變大時(shí)，識(shí)別正確的運(yùn)動(dòng)模型和計(jì)算雅可比矩陣在計(jì)算上也可能很昂貴［9］。此外，運(yùn)動(dòng)模型可能因測(cè)量環(huán)境和目標(biāo)移動(dòng)而異，因此很難開(kāi)發(fā)出能夠在一組適用于無(wú)人機(jī)標(biāo)校的卡爾曼濾波器。

強(qiáng)化學(xué)習(xí)（Reinforcement Learning，RL）的目的是生成將系統(tǒng)狀態(tài)映射到動(dòng)作集的策略分布，從而最大化獎(jiǎng)勵(lì)回報(bào)［10］。基于強(qiáng)化學(xué)習(xí)的方法在眾多應(yīng)用領(lǐng)域取得了令人矚目的進(jìn)展，由于它們?cè)诓煌I(lǐng)域的廣泛使用和高性能，近年來(lái)大量研究致力于改進(jìn) RL 算法［11］。

與文獻(xiàn)中發(fā)現(xiàn)的物理系統(tǒng)中典型的強(qiáng)化學(xué)習(xí)實(shí)現(xiàn)不同，所提出的模型不需要物理代理來(lái)控制GNSS設(shè)備。相反，它通過(guò)“校正”動(dòng)作提高了廉價(jià)GNSS單元收集的GNSS經(jīng)度和緯度數(shù)據(jù)的準(zhǔn)確性。與基于硬件或軟件的方法不同，所提出的模型不需要任何輔助設(shè)備，也沒(méi)有對(duì)GNSS單元的噪聲參數(shù)或其運(yùn)動(dòng)模型做出嚴(yán)格的假設(shè)。所提出的模型利用GNSS讀數(shù)的歷史，在以前未見(jiàn)過(guò)的環(huán)境中訓(xùn)練自己。與引用研究使用的方法相比，所提出的模型不使用與地理位置直接相關(guān)或受環(huán)境影響的獎(jiǎng)勵(lì)函數(shù)。相反，它引入了動(dòng)作置信度以形成抽象的獎(jiǎng)勵(lì)機(jī)制，因?yàn)楠?jiǎng)勵(lì)的計(jì)算與地理位置無(wú)關(guān)，這使得模型具有泛化性。

3 基于強(qiáng)化學(xué)習(xí)的模型

3.1 問(wèn)題描述

本文的主要目的是提高GNSS設(shè)備的定位精度，以及雙GNSS進(jìn)行測(cè)向計(jì)算時(shí)得到的方位、距離、仰角數(shù)據(jù)更加準(zhǔn)確，以達(dá)到標(biāo)校的標(biāo)準(zhǔn)。目標(biāo)是在觀(guān)測(cè)到的GNSS經(jīng)緯度坐標(biāo)上找到最佳校正策略，以產(chǎn)生更準(zhǔn)確的位置。一般過(guò)程類(lèi)似于過(guò)濾——強(qiáng)化學(xué)習(xí)模型將GNSS設(shè)備收集的實(shí)時(shí)經(jīng)緯度坐標(biāo)作為輸入，并利用該模型來(lái)改進(jìn)定位。模型的輸出是關(guān)于如何糾正觀(guān)察結(jié)果以產(chǎn)生更準(zhǔn)確定位的行動(dòng)策略。

所提出的框架的行為類(lèi)似于過(guò)濾器——它將GNSS設(shè)備的典型經(jīng)緯度輸出作為輸入，并對(duì)估計(jì)的經(jīng)緯度執(zhí)行“校正操作”以提供更準(zhǔn)確的輸出。當(dāng)接收到新的數(shù)據(jù)點(diǎn)時(shí)，強(qiáng)化學(xué)習(xí)模型會(huì)訓(xùn)練代理來(lái)確定需要調(diào)整觀(guān)察到的經(jīng)度和緯度以返回更準(zhǔn)確定位的“單位”數(shù)量。Kollar［12］指出，從決策理論的角度來(lái)看，這種順序決策問(wèn)題可以建模為部分可觀(guān)察的馬爾可夫決策過(guò)程（Partially Observable Markov Decision Process，POMDP）。該模型的目標(biāo)是學(xué)習(xí)一個(gè)策略π（a|z，θ），其中a表示動(dòng)作向量，z是觀(guān)察向量，而θ是模型參數(shù)的向量。該策略的目標(biāo)是參數(shù)化在給定特定觀(guān)察z時(shí)執(zhí)行動(dòng)作的條件概率，以最大化一個(gè)人的獎(jiǎng)勵(lì)。

3.2 模型設(shè)置

在本節(jié)中，我們將介紹所提出的強(qiáng)化學(xué)習(xí)模型的細(xì)節(jié)，包括動(dòng)作空間、隱藏狀態(tài)、觀(guān)察、信念狀態(tài)、獎(jiǎng)勵(lì)機(jī)制、模型結(jié)構(gòu)和訓(xùn)練協(xié)議。

1）動(dòng)作空間

我們將動(dòng)作定義為經(jīng)緯度更新操作。為了降低所提出算法的計(jì)算復(fù)雜度，我們將連續(xù)的經(jīng)度和緯度值離散為小步。通常不建議對(duì)動(dòng)作空間的每個(gè)單獨(dú)維度進(jìn)行離散化，因?yàn)樗梢猿杀兜卦黾硬呗员淼拇笮　Ｈ欢x散化動(dòng)作空間對(duì)于降低算法在低維動(dòng)作空間中的計(jì)算復(fù)雜度可能很有用，就像這個(gè)問(wèn)題中的情況一樣。因此，建議的工作根據(jù)以下過(guò)程離散化動(dòng)作空間：

（1）定義緯度和經(jīng)度的單位運(yùn)算，分別用ux和uy表示，以及一個(gè)縮放矩陣S。不失一般性，我們?yōu)?S 定義以下范圍：S=［-10，-9，-8，…，0，1，2，…，10］。

（2）緯度和經(jīng)度上的操作域，分別用Lx和Ly表示，是 Lx=Sux和 Ly=Suy。

（3）通過(guò)結(jié)合經(jīng)緯度操作將動(dòng)作離散化為動(dòng)作集A。離散動(dòng)作 a∈ A可以定義為 a=（x，y）∈ Lx×Ly

（4）對(duì)經(jīng)緯度的連續(xù)運(yùn)算由動(dòng)作集A表示，其中A包含所有可能的動(dòng)作。基于上述對(duì)應(yīng)的縮放矩陣S，有限動(dòng)作集A的長(zhǎng)度為212=441。

在觀(guān)察到的GNSS數(shù)據(jù)點(diǎn)上在動(dòng)作空間A中執(zhí)行動(dòng)作可以產(chǎn)生441個(gè)可能的輸出。例如，如果觀(guān)察到的GNSS數(shù)據(jù)點(diǎn)是（x，y），則可能的輸出是（x±m(xù)ux，y±nuy），m，n∈ S 。當(dāng)前的 GNSS設(shè)備很少報(bào)告與地面事實(shí)有太大偏差的點(diǎn)。因此，我們假設(shè)通過(guò)選擇合理的ux和uy，GNSS設(shè)備的準(zhǔn)確位置包含在所有可能的輸出中。ux和uy的合理值受相應(yīng)GNSS設(shè)備精度的影響。因此，可以通過(guò)為ux和uy選擇不同的值來(lái)修改操作范圍。

2）測(cè)量和模型輸入

GNSS設(shè)備以特定頻率報(bào)告其位置。在所提出的模型中，觀(guān)察不限于最后報(bào)告的GNSS位置，而是包含最后報(bào)告的位置以及最近的點(diǎn)預(yù)測(cè)歷史的堆疊向量。也就是說(shuō)，我們不使用報(bào)告的GNSS軌跡，而是使用模型預(yù)測(cè)來(lái)形成觀(guān)察歷史向量。需要注意的是，預(yù)測(cè)頻率可以設(shè)置為高于GNSS數(shù)據(jù)收集頻率的值。這種形成觀(guān)察向量的方法允許模型利用GNSS設(shè)備的歷史軌跡信息以及模型性能，使模型能夠?qū)W習(xí)高質(zhì)量的策略來(lái)校正報(bào)告的GNSS點(diǎn)。

用qt表示GNSS報(bào)告的時(shí)間戳t點(diǎn)，用gt表示它的真實(shí)位置數(shù)據(jù)。由于真實(shí)位置未知，因此可以將問(wèn)題表述為POMDP。在這個(gè)POMDP中，我們使用pt來(lái)表示GPS報(bào)告點(diǎn)qt的置信狀態(tài)，在強(qiáng)化學(xué)習(xí)模型中為pt。本文通過(guò)完全可觀(guān)察的信念狀態(tài)馬爾可夫決策過(guò)程（Markov Decision Process，MDP）來(lái)確定最優(yōu)的行動(dòng)方案，其中信念形成狀態(tài)，策略π將行動(dòng)映射到信念狀態(tài)；也就是說(shuō)，部分觀(guān)察到的狀態(tài)被它們的估計(jì)、信念狀態(tài)所取代，從而形成一個(gè)MDP。我們使用具有恒定大小N的觀(guān)察緩沖區(qū)Zt來(lái)存儲(chǔ)最近N-1個(gè)GNSS報(bào)告點(diǎn)的歷史模型估計(jì)值和當(dāng)前 qt；即 Zt=｛pt-N-1，…，pt-1，qt｝。讓我們分別用St和bt來(lái)表示Zt的隱藏狀態(tài)和置信狀態(tài)。給定一個(gè)大小為N的觀(guān)察緩沖區(qū)，在時(shí)間t，向量St包含這些點(diǎn)的相應(yīng)地面實(shí)況緩沖區(qū)；即St=｛gt-N，…，gt｝。向量bt包含最近N個(gè)點(diǎn)的估計(jì)；即bt=｛pt-N，…，pt｝。需要注意的是，Zt和bt僅在最后一個(gè)元素上有所不同，即Zt的最后一個(gè)元素是qt，而向量bt的最后一個(gè)元素是pt。該模型基于Zt估計(jì)bt。用R表示獎(jiǎng)勵(lì)，POMDP圖如圖1所示。

圖1 部分可觀(guān)察的馬爾可夫決策過(guò)程模型示意圖

相應(yīng)的信度狀態(tài)控制器如圖2所示。狀態(tài)估計(jì)器將觀(guān)察、動(dòng)作和信度狀態(tài)作為輸入，并提供信度狀態(tài)作為輸出。學(xué)習(xí)到的策略將信度狀態(tài)映射到動(dòng)作，輸出動(dòng)作會(huì)影響下一個(gè)時(shí)間戳中的觀(guān)察和信度狀態(tài)。

圖2 部分可觀(guān)察的馬爾可夫決策過(guò)程代理模型

基于上面的POMDP設(shè)置，強(qiáng)化學(xué)習(xí)代理在每個(gè)時(shí)間戳t的目標(biāo)是找到糾正qt的最佳糾正動(dòng)作。該過(guò)程基于滑動(dòng)窗口進(jìn)行。一旦接收到新的qt，滑動(dòng)窗口向前移動(dòng)一步以形成一個(gè)具有恒定大小N的新觀(guān)察向量，其中qt構(gòu)成最后一個(gè)元素，最后N-1個(gè)信度構(gòu)成觀(guān)察向量Zt的其余部分。模型輸入（觀(guān)察Zt）更新過(guò)程（即訓(xùn)練流程）如圖3所示。

圖3 模型輸入數(shù)據(jù)更新過(guò)程

每次GNSS設(shè)備報(bào)告一個(gè)新的位置點(diǎn)qt時(shí)，模型都會(huì)被訓(xùn)練并移動(dòng)到下一個(gè)觀(guān)察緩沖區(qū)。當(dāng)GNSS設(shè)備獲得pt時(shí)，將其推送到觀(guān)察緩沖區(qū)以替換qt，同時(shí)觀(guān)察移動(dòng)到時(shí)間t+1。也就是說(shuō)，在每個(gè)訓(xùn)練步驟中，強(qiáng)化學(xué)習(xí)模型的觀(guān)察都包含觀(guān)察到的GNSS點(diǎn)和一系列歷史估計(jì)。

GNSS報(bào)告點(diǎn)q、模型預(yù)測(cè)點(diǎn)p與相關(guān)模型架構(gòu)之間的關(guān)系如圖4所示。

圖4 模型結(jié)構(gòu)

4 實(shí)驗(yàn)

在本節(jié)中，通過(guò)將其與基準(zhǔn)模型（即EKF模型）的性能進(jìn)行比較來(lái)評(píng)估所提出的強(qiáng)化學(xué)習(xí)模型的性能。

1）實(shí)驗(yàn)設(shè)置

由于GNSS的真實(shí)值難以度量，因此我們構(gòu)建仿真數(shù)據(jù)進(jìn)行實(shí)驗(yàn)。具體地說(shuō)，我們使用在現(xiàn)實(shí)世界條件下使用GNSS設(shè)備收集的軌跡，作為未知的真實(shí)值。接下來(lái)，我們使用高斯噪聲模型生成噪聲并將其添加到基本軌跡，模擬GPS傳感器觀(guān)察。這個(gè)嘈雜的軌跡如圖5所示。在這個(gè)軌跡中，每個(gè)時(shí)間步都包含一個(gè)GPS數(shù)據(jù)點(diǎn)，即一個(gè)經(jīng)度和緯度對(duì)。考慮1Hz的GPS頻率。

圖5 增加噪聲后的軌跡

在將強(qiáng)化學(xué)習(xí)和EKF方法應(yīng)用于軌跡數(shù)據(jù)之前，我們將long/lat坐標(biāo)轉(zhuǎn)換為UTM（即笛卡爾）坐標(biāo)。為了評(píng)估RL和EKF的性能，考慮了每個(gè)GPS點(diǎn)的預(yù)測(cè)誤差以及整個(gè)軌跡的累積誤差。假設(shè)每個(gè)點(diǎn) i（GPS設(shè)備/車(chē)輛未知）的地面實(shí)況為（gxi，gyi），其預(yù)測(cè)結(jié)果為（lxi，lyi）。每個(gè)預(yù)測(cè)的誤差可以計(jì)算為

累積誤差可以計(jì)算為

其中C是軌跡上的數(shù)字操作點(diǎn)，N是觀(guān)察緩沖區(qū)。在這里不需要考慮前N個(gè)點(diǎn)，因?yàn)橹辽傩枰狽個(gè)點(diǎn)來(lái)進(jìn)行訓(xùn)練。通過(guò)比較RL和EKF方法的Ei和Eall值，可以評(píng)估所提出的RL模型的性能。

2）結(jié)果

我們將強(qiáng)化學(xué)習(xí)和EKF方法應(yīng)用于模擬軌跡，并根據(jù)方程測(cè)量每個(gè)預(yù)測(cè)點(diǎn)的誤差。結(jié)果如圖6所示。對(duì)于EKF方法，大約200步后達(dá)到收斂。對(duì)于RL方法，大約150步后達(dá)到收斂。

圖6 每個(gè)GNSS觀(guān)測(cè)的EKF和RL誤差

兩種方法在軌跡過(guò)程中都有減少的誤差趨勢(shì)。這表明兩種方法都能夠提高GPS定位精度。此外，與EKF相比，RL方法的誤差值更小。在收斂部分，與EKF方法相比，RL方法提供的方差更小。

EKF的較差性能可歸因于對(duì)噪聲參數(shù)和模型的嚴(yán)格假設(shè)。在使用EKF提高GPS精度時(shí)，觀(guān)測(cè)的確切噪聲參數(shù)和運(yùn)動(dòng)模型是未知的，限制了EKF的性能。EKF性能較差的另一個(gè)原因是無(wú)噪聲觀(guān)測(cè)的不可用（即，沒(méi)有地標(biāo)或參考站可以為EKF算法提供無(wú)噪聲觀(guān)測(cè)），提出的RL不是對(duì)噪聲參數(shù)進(jìn)行嚴(yán)格的假設(shè)，而是方法學(xué)習(xí)一個(gè)最佳策略來(lái)糾正當(dāng)前GPS報(bào)告的點(diǎn)，并使用模型獎(jiǎng)勵(lì)來(lái)衡量其預(yù)測(cè)的質(zhì)量。這消除了對(duì)噪聲分布和參數(shù)的嚴(yán)格假設(shè)的需要。

5 結(jié)語(yǔ)

在本文中，我們提出了一種強(qiáng)化學(xué)習(xí)模型來(lái)提高GNSS測(cè)向定位精度。強(qiáng)化學(xué)習(xí)方法在應(yīng)用于計(jì)算機(jī)視覺(jué)和機(jī)器人技術(shù)中的問(wèn)題時(shí)表現(xiàn)非常出色，例如玩ATARI游戲和控制機(jī)器人。本文使用強(qiáng)化學(xué)習(xí)來(lái)構(gòu)建一種類(lèi)似過(guò)濾器的算法，以提高GNSS計(jì)算精度。該模型使用歷史軌跡的GNSS位置數(shù)據(jù)作為輸入，使其能夠根據(jù)最近的過(guò)去學(xué)習(xí)軌跡模式，并生成修正后的GNSS位置。我們使用基于置信度度量的獎(jiǎng)勵(lì)機(jī)制來(lái)評(píng)估異步模型的預(yù)測(cè)性能。

這項(xiàng)工作將提出的強(qiáng)化學(xué)習(xí)模型與經(jīng)典的定位方法進(jìn)行比較，即擴(kuò)展卡爾曼濾波器（Extended Kalman Filter，EKF）。使用模擬數(shù)據(jù)的結(jié)果表明，EKF和RL都可以提高GNSS定位精度；然而，所提出的RL方法可以提供更高質(zhì)量的預(yù)測(cè)，其定位誤差是EKF的一半，并且方差更小。

這項(xiàng)工作是基于GNSS讀數(shù)始終可用的假設(shè)，這可能會(huì)限制其在實(shí)踐中的適用性。由于假定GNSS設(shè)備的頻率是穩(wěn)定的，因此不考慮包括GNSS信號(hào)丟失（例如，由于高樓的阻礙）的情況。放寬這個(gè)假設(shè)是我們未來(lái)研究的方向之一。