基于強(qiáng)化學(xué)習(xí)的無人水面艇能耗最優(yōu)路徑規(guī)劃算法

李佩娟,顏庭武,楊書濤,李 睿,杜俊峰,錢福福,劉義亭

(南京工程學(xué)院 工業(yè)中心、創(chuàng)新創(chuàng)業(yè)學(xué)院,江蘇 南京,211167)

0 引言

無人水面艇可用于惡劣環(huán)境下或執(zhí)行簡單重復(fù)性任務(wù),在海上石油資源勘查、海洋數(shù)據(jù)獲取、反潛、反魚雷等民用和軍事領(lǐng)域得到了廣泛應(yīng)用。

無人水面艇最為基礎(chǔ)的技術(shù)是路徑規(guī)劃,即規(guī)劃一條從當(dāng)前位置到達(dá)目標(biāo)位置的路徑,確保無人水面艇安全、高效地執(zhí)行任務(wù)。無人水面艇長期在海洋中行駛,極易受到時(shí)變海風(fēng)、海流和海浪等外部環(huán)境影響,如果在路徑規(guī)劃時(shí)忽略上述因素,則易偏離規(guī)劃航線,增加能量損耗,甚至碰撞障礙物,無法完成任務(wù)。

多年來,針對無人水面艇路徑規(guī)劃問題已有諸多研究成果。文獻(xiàn)[1]將人工勢場法用于無人水面艇的路徑規(guī)劃,在目標(biāo)點(diǎn)和障礙物附近設(shè)計(jì)相應(yīng)勢場,指引無人水面艇到達(dá)目標(biāo)且避免碰撞障礙物。該方法由于計(jì)算復(fù)雜度相對較低,可用于實(shí)時(shí)路徑規(guī)劃,但不能避免局部最優(yōu)解的情況,且不適用于動態(tài)洋流環(huán)境。文獻(xiàn)[2]～[4]提出基于圖的搜索方法(例如A*和D*),盡管能夠成功避開靜態(tài)障礙物,但計(jì)算復(fù)雜度隨著空間維度提高呈指數(shù)級增加,并且為了保證計(jì)算效率,代價(jià)函數(shù)往往是線性的。文獻(xiàn)[5]提出了基于雙向快速隨機(jī)探索樹法的路徑規(guī)劃,給出動態(tài)步長策略以加快系統(tǒng)的收斂速度,但規(guī)劃路徑并不是最優(yōu)。文獻(xiàn)[6]和[7]針對隨時(shí)間變化的洋流設(shè)計(jì)能耗代價(jià)函數(shù),采用遺傳算法求得最優(yōu)路徑,為了避免算法早熟,每隔20 次迭代,隨機(jī)加入新的種群,但是文中假設(shè)路徑沿橫軸遞增,造成路徑搜索的不完全性?！?br>