稀疏獎勵場景下深度強化學(xué)習(xí)算法研究

周國明

四川大學(xué) 電子信息學(xué)院 四川 成都 610000

引言

深度強化學(xué)習(xí)[1](deep reinforcement learning ,DRL)是機器學(xué)習(xí)[2]的重要分支，它是在與環(huán)境交互中尋找最優(yōu)策略的一類方法。DRL中智能體的目標是獲得最大獎勵，環(huán)境可以提供密集的獎勵信號時DRL可以工作得很好，然而在許多實際問題中，獎勵是稀疏的，稀疏獎勵導(dǎo)致智能體無法有效的學(xué)習(xí)。實際上稀疏獎勵問題會導(dǎo)致強化學(xué)習(xí)算法迭代緩慢、難以收斂，甚至根本無法進行學(xué)習(xí)[3]。因此，如何解決稀疏獎勵帶來的負面影響，研究稀疏獎勵環(huán)境下的強化學(xué)習(xí)算法，至關(guān)重要。本文提出了一個使用智能體相鄰兩個狀態(tài)之間的距離來作為智能體的內(nèi)在獎勵以驅(qū)動智能體對環(huán)境進行探索的方

1 基于內(nèi)在激勵機制的算法化

1.1 內(nèi)在激勵機制

由此可見，獎勵在強化學(xué)習(xí)中起著非常重要的作用，它指導(dǎo)著智能體的學(xué)習(xí)。然而，在許多實際生活場景中，獎勵是稀疏的，這意味著智能體很難獲得獎勵，甚至需要正確執(zhí)行很長序列的動作才能得到環(huán)境的反饋，導(dǎo)致智能體很難學(xué)到解決目標任務(wù)所需要做的動作，無法學(xué)習(xí)到給定的任務(wù)。另一方面，由于缺少獎勵信號，智能體需要與環(huán)境做大量的交互，獲取足夠多的樣本數(shù)據(jù)，這會導(dǎo)致算法訓(xùn)練的非常緩慢，甚至無法收斂。因此，本文考慮如何為智能體提供額外的獎勵信號來源，稱之為內(nèi)在獎勵[1]。

1.2 基于狀態(tài)距離的內(nèi)在獎勵生成算法

特征提取模塊中使用的是不進行參數(shù)更新的卷積神經(jīng)網(wǎng)絡(luò)。卷積神經(jīng)網(wǎng)絡(luò)是一種特殊的神經(jīng)網(wǎng)絡(luò)模型，專門用于處理具有相似網(wǎng)格結(jié)構(gòu)的數(shù)據(jù)。卷積是圖像處理中一種有效的特征提取方法，而我們的實驗環(huán)境為Atari視頻游戲，它的表現(xiàn)形式是一幀幀的圖像，所以我們使用卷積神經(jīng)網(wǎng)絡(luò)提取狀態(tài)的特征。不進行參數(shù)更新的原因在于，首先我們需要穩(wěn)定的內(nèi)在獎勵項，由于卷積神經(jīng)網(wǎng)絡(luò)是固定的，所以在整個訓(xùn)練過程中，提取到的所有狀態(tài)的特征向量都是通過同一個范式得到的，保證了用特征向量做差得到的內(nèi)在獎勵項是穩(wěn)定的；其次，如果要訓(xùn)練特征提取模塊中使用的卷積神經(jīng)網(wǎng)絡(luò)，是比較困難的，雖然我們可以采取ICM模型[5]，但這會大大增加模型的量。

2 實驗

為了測試本文提出的基于內(nèi)在獎勵機制的算法的有效性，必須要有一個合適的環(huán)境來進行測試。由于我們的算法是稀疏獎勵相關(guān)的，我們需要外在獎勵稀少的場景。本文從Open AI Gym工具包中選擇了Atari視頻游戲中的Space Invaders和Freeway。

Space Invaders提供的是一個具有相對密集的獎勵反饋的環(huán)境，而Freeway則提供的是一個智能體進行需要搜索才能得到獎勵的稀疏獎勵環(huán)境[6]。我們選擇這兩個環(huán)境，一個獎勵信號相對密集，另一個獎勵信號稀疏，可以更好地看到本文所提出的內(nèi)在獎勵生成算法在稀疏獎勵環(huán)境下的優(yōu)越性。

選擇的基礎(chǔ)強化學(xué)習(xí)算法為A2C，它是在Actor-Critic算法的基礎(chǔ)上，使用優(yōu)勢函數(shù)代替Critic網(wǎng)絡(luò)中的原始回報[7]。比較原始A2C算法與添加了內(nèi)在獎勵機制的A2C算法（稱之為IBA2C算法），分別在Space Invaders和Freeway下的表現(xiàn)效果。需要注意的是，由于智能體的目標是最大化來自環(huán)境的獎勵信號值，所以在實驗結(jié)果對比中，只使用了外在獎勵值，內(nèi)在獎勵項是沒有使用的。

從實驗結(jié)果可看出，在Space Invaders場景中，A2C算法IBA2C算法基本上有相同的性能表現(xiàn)，IBA2C算法的表現(xiàn)稍稍優(yōu)于A2C算法，兩者都能夠很快地到達一個很好的收斂。這表明，在外在獎勵密集的場景下，智能體無須做很多的探索，僅僅依靠外在獎勵信號的指導(dǎo)，就能夠?qū)W會完成目標任務(wù)。在外在獎勵稀疏的Freeway場景中， A2C算法的表現(xiàn)很糟糕，智能體基本上無法獲得任何的外在獎勵，而IBA2C算法表現(xiàn)優(yōu)異，在經(jīng)過大約2.4e7個時間步的訓(xùn)練后，可以快速得到一個很好的效果。實驗結(jié)果表明，本文提出的內(nèi)在獎勵機制在稀疏獎勵場景下可以顯著提高性能。

3 結(jié)束語

本文針對稀疏獎勵場景下的內(nèi)在獎勵機制進行了研究。引入內(nèi)在激勵機制，提出了一種新的內(nèi)在獎勵生成算法。本文提出的內(nèi)在獎勵生成算法利用一個固定的卷積神經(jīng)網(wǎng)絡(luò)提取狀態(tài)的特征向量，把相鄰的兩個狀態(tài)的狀態(tài)特征向量的歐式距離作為內(nèi)在獎勵項。將內(nèi)在獎勵與外在獎勵合成為一個獎勵，使用這個合成的獎勵信號來指導(dǎo)智能體的學(xué)習(xí)。最后，把提出的內(nèi)在獎勵生成算法與A2C算法結(jié)合在一起，在Atari視頻游戲場景Space Invaders和Freeway中進行了對比試驗，實驗結(jié)果表明，本文提出的內(nèi)在獎勵生成算法可以顯著地提高智能體在稀疏獎勵環(huán)境下的表現(xiàn)。