基于強化學習的水下高速航行體縱向運動控制研究

白濤，董勤浩，馮梓昆，李雪華

（哈爾濱工程大學 智能科學與工程學院, 黑龍江 哈爾濱 150001）

由流體特性可知，在同等條件下，航行體在水下受到的阻力是在空氣中的一千倍，因此，水下航行體的運動速度遠小于飛機等大氣中的航行體，一般難以超過40 m/s[1]。超空泡技術的出現，使得水下航行體速度大幅度提升，在20 世紀70 年代，俄羅斯成功研制了第一代“暴風”水下高速航行體，其大部分表面被空泡包裹，所受阻力大幅減小，速度達到了100 m/s，目前，其研制的新一代的水下高速航行體的速度甚至可達到200 m/s[2]。但空泡的包裹也給水下航行體帶來了控制上的難題，為降低研究的復雜性，目前各國的研究者多數在縱向平面內對水下高速航行體的控制問題進行研究。Dzielski 等[3]采用反饋線性化方法設計了控制器；陳超倩等[4]針對航行體的耦合問題通過精確線性化和解耦設計了最優控制器，實現對航行深度的漸進跟蹤控制；龐愛平等[5]設計了擾動觀測補償器和H∞控制結合的控制方法以消除滑水現象來實現穩定控制；韓云濤等[6]針對執行器飽和問題，提出一種基于線性變參數的抗飽和控制方法。李洋等[7]對水下高速航行體非全包裹模型中的不確定項利用RBF 神經網絡進行逼近估計，設計的自適應控制器能夠完成較好的信號跟蹤。除以上研究成果外，其他國內外學者還采用了很多經典控制方法為水下高速航行體設計控制器，如LQR、滑模控制、切換控制、H2和H∞狀態反饋控制等[8-10]。

智能控制近幾年應用普遍，以強化學習控制方法為代表，池海紅等[11]針對高速飛行器模型參數不確定的情況，利用強化學習設計控制律，具有較好的控制效果。Mu 等[12]針對吸氣式超高速飛行器的跟蹤控制問題，基于強化學習提出了一種具有自適應學習能力的數據驅動補充控制方法，與滑模控制相結合實現了具有參數不確定性和環境干擾的超高速飛行器系統穩定巡航控制。在水下機器人控制方面，許雅筑等[13]介紹了采用強化學習控制水下機器人的優點，能夠充分考慮水中環境的不確定性和特殊干擾，總結了強化學習控制算法的挑戰和應用研究。Hafner 等[14]提出了基于神經網絡的連續動作值控制器，應用于水下自主航行器。王日中等[15]在水下環境中基于深度強化學習算法設計了智能體控制器，完成了水下航行器的深度控制，且與傳統PID 控制算法相比具有更高的精度。通過對傳統和智能控制方法的比較可知，相對于經典控制方法，智能控制具有不依賴具體模型信息、有效抗擾等優勢，近幾年強化學習與神經網絡的結合讓強化學習能夠應用到更多的領域中。通過對以上文獻的分析可知，水下高速航行體由于自身流體特性的復雜性，導致其自身模型具有很強的不確定性，因此本文采用基于強化學習的智能控制方法，通過設計合適的獎勵函數搭建強化學習環境，從而學習和訓練出一個能使水下高速航行體在一定條件下實現穩定運動的控制器，本文的方法較現有的控制方法的優勢是不需要對數學模型進行簡化處理，能更加有效地做到使水下高速航行體在空化器和尾舵正常偏轉范圍內完成應對擾動并下潛的控制任務，其適應性和魯棒性均優于傳統控制算法。

1 水下高速航行體建模

目前在對水下高速航行體運動控制的研究中，Dzielski 等[3]提出的模型得到了廣泛的應用，這是一個中心建立在航行體頭部空化器中心處的縱向平面內的 4 狀態 2 自由度模型，該模型結構簡單、易于分析，同時又保留了航行體與空泡碰撞時產生的滑行力，本文即在此模型的基礎上進行研究。水下高速航行體模型圖如圖1 所示，取空化器中心為參考點,建立體坐標系Oxz，R為航行體半徑，Rc為空化器半徑，h為航行體尾部浸水深度，L為航行體長度。

圖1 水下高速航行體縱向模型Fig.1 Supercavitating vehicle longitudinal model

1.1 水下高速航行體運動方程建模及開環仿真

水下高速航行體運動方程參考文獻[3]縱向平面運動方程，整理如下：

式中：mb為航行體質量，ω為縱向速度，xg為航行體重心到空化器的距離，q為航行體俯仰角速度，Fz為z軸上的合力，Iyy為慣性矩，M為力矩，z為深度，θ為航行體俯仰角。

對運動方程進行簡化處理，因航行體俯仰角度為小角度，可近似認為cosθ=1，sinθ=0。其中有：

滑行力Fp是航行體尾部與空泡壁接觸產生的強非線性力，是導致水下高速航行體空泡破裂的主要原因，滑行力的計算采用經驗公式[16]，受縱向速度ω影響，從圖2 中可以看出當ω在一定范圍內時，滑行力存在死區空間。

圖2 滑行力Fp 與縱向速度ω 的關系Fig.2 Relationship between planning force Fp and longitudinal speed ω

1.2 水下高速航行體開環運動仿真

取航行體深度z、縱向速度ω、俯仰角度θ、俯仰角速度q為狀態變量x，取航行體尾舵偏轉角δf和空化器偏轉角δc為控制輸入變量u，x=[z w θ q]T，u=[δfδc]T,對方程同時除以πρmR2L進行簡化處理，得到水下高速航行體的數學模型的標準公式如下：

2 強化學習

強化學習是一種機器學習方法，通過強化學習智能體與環境不斷交互學習訓練出一種符合期望的策略。強化學習目前在很多領域都有著成功的應用，如游戲模擬、工業制造、機器控制等[17-19]。利用強化學習訓練智能體需要大量的試錯與探索，該過程中不需要人為干預，該過程使用的數據來自搭建的動態環境，即不需要事先提供訓練集。

強化學習是一種從環境狀態映射到動作的一種學習，目標是使強化學習智能體與環境的交互中獲得最大的累計獎勵值。如圖3 所示，強化學習由三部分構成：智能體、獎勵函數、環境。環境的初始狀態輸入給智能體，智能體根據狀態等量選取合適的動作，動作輸入給環境，環境得到新的狀態和該動作產生的獎勵值，二者輸入給智能體，智能體根據獎勵值調整策略，根據新狀態輸出新的動作，以此循環。強化學習的目標是學得一個策略函數π(x)，π(x)是從狀態空間x到動作空間a的一個映射。

圖3 強化學習基本結構Fig.3 Reinforcement learning basic structure

強化學習算法從結構上可以分為3 類：基于值函數的強化學習[20]、基于策略的強化學習[21]、執行器-評價器(actor-critic,A-C)結構[22]。

2.1 執行器-評價器(A-C)結構

執行器-評價器結構法結合了前兩類方法的優點，執行器部分采用策略函數算法方式選擇動作給到環境，評價器根據計算出的價值函數和獎勵值得到誤差，根據誤差更新評價器和執行器的權值參數等。如圖4 所示，執行器actor 和評價器critic 分別代表策略π 和值函數V(s)，各用一個神經網絡來逼近。

圖4 A-C 結構Fig.4 A-C structure

執行器的輸入為水下高速航行體現在的狀態，輸出為空化器、尾舵的偏轉量，評價器輸入為水下高速航行體的狀態，輸出為狀態值函數。空化器動作輸入給水下高速航行體后得到新狀態量并根據獎勵函數公式得到即時獎勵值。執行器根據使得時間差分誤差最小化的方向來迭代更新，評價器同樣根據時間差分誤差帶權重梯度更新。在一次迭代更新中，先更新執行器再更新評價器。最終當訓練次數達到最大值或累積獎勵值達到目標要求則訓練停止。

式中：ETD為時間差分誤差,w為執行器網絡參數，θ為評價器網絡參數，α、β為執行器和評價器的系數。

2.2 DDPG 算法

策略梯度算法利用隨機性策略在動作空間進行采樣，在大的動作空間內計算量相應也變大，Silver 等[23]提出確定性策略梯度算法（deterministic policy gradient, DPG），采用確定性方法對動作空間采樣。Lillicrap 等[24]在深度Q 網絡（deep Qnetwork, DQN）的基礎上對確定性策略梯度方法進行拓展，提出了一種基于A-C 結構的深度確定性策略梯度（DDPG）算法。該算法增加了經驗回放池，加快了策略更新速度，加入了噪聲，增加了探索空間，執行器和評價器網絡各采用兩個神經網絡，能夠解決連續動作空間上的深度強化學習問題，且取得最優解的時間少于DQN。

如圖5 所示，DDPG 的核心在于把執行器和評價器都拆分為兩個網絡：當前網絡與目標網絡。執行器產生動作給環境后，產生樣本(si，ai，si+1，ri)，樣本放入經驗回放池。評價器的當前網絡負責更新參數θQ和計算當前狀態動作價值Q(si，ai)，評價器目標網絡計算Q'(si+1，ai+1)值。之后根據損失函數對評價器當前網絡進行更新，更新后的當前網絡會定時把權重θQ'復制給目標網絡。

圖5 DDPG 結構Fig.5 DDPG structure

執行器當前網絡接受狀態si根據權重θπ選擇最優動作ai，并根據梯度公式更新權重，目標網絡根據經驗回放池中的狀態si+1和權重θπ'選擇最優動作ai+1。當前網絡會定時把權重復制給目標網絡。

式中：L為根據損失函數計算的損失值；N為選取的樣本數；γ∈(0，1)為折扣因子，表示未來獎勵的當前價值；τ為軟更新系數，一般取0.01 或0.001。

3 基于DDPG 算法的強化學習控制器

3.1 控制器及獎勵函數設計

設強化學習智能體的觀察輸入為4 維，航行體的狀態輸出x=[z w θ q]T，智能體的輸出作為航行體的控制動作，先令尾舵偏轉角為0，僅控制空化器偏轉，又因空化器偏轉角有限，所以動作信號經飽和處理后再作為航行體的輸入，最大偏轉角度不超過0.6 rad。由以上標準，設航行體訓練條件為

當超出該范圍集則訓練終止。該范圍若太小，則訓練過程中動作的探索空間受到限制，耗費大量時間獎勵函數也難以收斂，范圍若太大，則不符合實際運行情況，易出現當航行體俯仰角達到80°還可以控制的情況，當航行體俯仰角度超過一定范圍時，實際運行中已不可能再調整回穩定狀態，因此通過設定訓練范圍篩出無用的訓練樣本數據。

設計獎勵函數在訓練的過程中指導航行體逼近期望的運行狀態，獎勵函數的設計直接影響最后控制器的控制精度和魯棒性，為實現水下高速航行體的平穩運行需要保證航行體姿態穩定，航行體的姿態受深度z和俯仰角度θ直接影響，因此當ω和q貼近于期望的狀態時對二者給一個較大的獎勵值。根據前文可知縱向速度ω影響強非線性滑行力的大小，狀態值q反映了航行體俯仰角速度，是俯仰角θ的導數，在航行體偏轉的過程中不期望出現反復快速抖動的現象，因此ω、q也作為平穩運行的指標。對于4 個狀態量，在訓練時對實際值與期望值之間的偏差進行獎勵。期望穩定運行時航行體狀態為頭部上翹，尾部周期性拍打空泡壁前進，令期望值xd=[0.1 0 0.05 0]T，因此Δz,ω,θ,q=xd-x。再對其賦以系數以調整影響量的大小，根據經驗與試驗，對較為直接的兩個狀態量z和θ的系數設為0.3 和0.5，ω和q的系數設為0.04 和0.03，同時對上一步的控制動作進行獎勵，設其系數為0.005，綜上獎勵函數為

對航行體狀態每0.01 s 進行一次采樣，每集運行時間為4 s。為增加探索空間，對航行體每集初始狀態z設為（-0.5 m，0.5 m）范圍內隨機選取。

3.2 神經網絡結構

評價器和執行器的神經網絡結構如圖6、7。

圖6 評價器神經網絡結構Fig.6 Critic neural networks

圖7 執行器神經網絡Fig.7 Actor neural networks

隱藏層大小為100，其中評價器的輸入層輸入航行體的狀態和動作，隱藏層由5 個全連接層和3 個relu 激活函數構成，輸出層輸出狀態動作函數的值，學習率為0.001；執行器的輸入層輸入航行體的狀態，隱藏層由4 個全連接層、3 個relu 激活函數構成，輸出層輸出控制器的偏轉角度，執行器學習率為0.000 1，執行器和評價器的梯度閾值均為1。

智能體訓練過程的其他參數N、τ、γ分別為128、0.001 和0.99。

航行體越靠近期望狀態，獎勵值越大，令訓練目標為在連續5 集的獎勵函數平均值大于-100。在后續測試中發現因設定訓練范圍，出現航行體在1 s 內狀態超出訓練范圍導致終止該集訓練情況，但該集累計獎勵值因采樣數量少而大于-100，連續5 集終止訓練后得到的控制器并不能完成航行體穩定控制任務。改變訓練完成條件，當在每集采樣達到400 次且連續5 集獎勵函數平均值大于-100 時為達到目標要求。

通過建立仿真環境進行訓練，當獎勵函數收斂且達到要求時終止該次訓練。由強化學習得到控制器的過程是一個不斷調整和改進的過程，并不存在最優結果，通過該次訓練的仿真結果來進一步調整獎勵函數和訓練要求，逐步達到航行體運行期望狀態。圖8 中橫坐標為訓練集數，縱坐標為單集內由獎勵函數計算得出的累計獎勵值。藍色線表示單集的獎勵函數值，橙紅色線表示連續5 集的獎勵函數平均值，根據獎勵函數曲線變化可見，在前期的訓練中獎勵值比較發散，且幅值較大，連續兩集累計獎勵值差值甚至高達一萬，此階段是因為處于不斷地試錯與探索，獎勵函數反應的狀態值都比較大。如圖8 右上角所示，在第1 334 集訓練中，獎勵函數值達到了-27，且包括該集在內的前5 集平均獎勵值為-71，達到訓練要求。

圖8 訓練窗口1Fig.8 Training window 1

4 仿真結果分析及調整

根據表1 數據計算，得到標準化公式中各矩陣的值：

表1 航行體模型參數Table 1 Supercavitating vehicle model parameters

對航行體模型進行開環仿真，從圖9 中可以看出水下高速航行體在不加控制的情況下無法保持穩定。

圖9 開環狀態下航行體狀態Fig.9 The state of the vehicle in open loop

初步訓練完成的控制器對航行體的控制效果如圖10。觀察圖10，此時航行體在控制器的控制下，頭部向上翹起，尾部不斷拍打空泡壁前進，滑行力大小在（200 N，260 N）。由強化學習訓練出的控制器具有一定的抗擾性，在1.5 s 時加入一個幅值為+4 m/s 的縱向速度擾動ωrao，如圖11 所示，航行體能夠在0.5 s 內穩定下來且滑行力不超過300 N。

圖10 DDPG 控制器1 控制下的航行體狀態Fig.10 The state of the vehicle under the control of the DDPG controller 1

圖11 DDPG 控制器1 控制下的航行體狀態（加擾動）Fig.11 The state of the vehicle under the control of the DDPG controller 1(with disturbance)

滿足了控制航行體在一定范圍內穩定下來的情況之后，證明由DDPG 算法訓練出的控制器可行，但是現在的航行體處于一種震蕩狀態，且穩定精度不高，需要對獎勵函數進一步地調整。

航行體的震蕩是由于尾部受重力影響觸碰空泡壁產生向上的滑行力，將尾部彈回空泡內后再次受力下落而產生的。滑行力的存在是破壞航行體穩定運行狀態的重要原因，消除滑行力需要平衡航行體的重力，僅憑空化器的偏轉無法抵消航行體的重力，為消除震蕩狀態，在控制方面增加尾舵的偏轉角，同樣經飽和處理后再給到航行體，在獎勵函數中加入滑行力的影響，考慮到滑行力數值（200，260），令其系數為0.01，由圖2 可知滑行力受縱向速度ω的影響，當ω大小約在（-1.65，1.65）范圍時滑行力為0，相應的調大ω的系數。

在訓練環境中不斷調試和訓練，設計一個獎勵函數為

其中：Cz、Cω、Cθ、Cq、Cp分別為0.3、0.08、0.5、0.03、0.01，C=[0.06 0.08]T，期望狀態為x=[0 0 0 0]T。

經過3 000 集的訓練后，獎勵函數逐漸收斂，停止訓練，訓練完成的DDPG 控制器仿真結果如圖12。圖12 中，在強化學習控制器的控制作用下，航行體的縱向速度與俯仰角分別在0.5 s 和1 s內趨于穩定，因深度z需要通過一個積分環節得到，其變化相對于其他變量慢，所以在1.2 s 內趨于穩定，縱向速度大小不超過產生滑行力的閾值，因此航行體尾部不與空泡接觸，不產生滑行力。在控制過程中，深度變化范圍Δz小于0.035 m，俯仰角Δθ小于0.006 5 rad，空化器和尾舵偏轉角在正常范圍內。

圖12 DDPG 控制器2 控制下的航行體狀態Fig.12 The state of the vehicle under the control of the DDPG controller 2

在航行體運行時需要考慮來自環境的擾動，面對擾動影響控制器仍能完成控制也是評價一個控制器的標準。如圖13 所示，在2～3 s，加入一個幅值為2 m/s縱向速度擾動信號ωrao，控制器在0.2 s內完成反應，深度波動范圍為0.06 m，俯仰角度波動范圍0.01 rad，對于該擾動帶來的影響，航行體在0.5 s 內能夠恢復到穩定狀態。

圖13 DDPG 控制器2 控制下的航行體狀態（加擾動）Fig.13 The state of the vehicle under the control of the DDPG controller 2(with disturbance)

在2 s 時加入一個較大的縱向速度擾動，幅值為10 m/s，選取文獻[5]中設計的H∞狀態反饋控制律進行比較。

由圖14 可見，當面臨較大縱向速度擾動時，與經典控制方法[5]相比，DDPG 控制器雖然在反應時間和深度z變化上表現差一些，但也在可接受范圍內，而其他狀態量變化均優于經典控制方法，且因為在設計DDPG 控制器時，限定了動作空間，如在應對該擾動時尾舵偏轉角δf最大偏轉為0.60 rad，而經典控制方法達到了1.85 rad，且隨著擾動的增大，經典控制方法的控制動作會越大，而DDPG 控制器能夠在尾舵偏轉角度δf在(-0.6，+0.6) rad 范圍內進行穩定控制。也正是因為偏轉角度限制到合理范圍內，所以深度的變化時間要長于經典控制方法。

圖14 不同控制器控制下的航行體狀態（加較大擾動）Fig.14 The state of the vehicle controlled by different controllers (with large disturbance)

令航行體初始狀態為[5 0 0.1 0]，此時縱向深度z偏離期望值較大，獎勵值較小，為獲得更大的獎勵值，航行體的縱向深度會在控制器的聯合控制下平滑修正軌跡。

由圖15 可見航行體的深度z能夠在1 s 內穩定平滑地下潛5 m 并達到穩定運行狀態，僅在下降初期航行體尾部與空泡壁接觸產生滑行力，滑行力幅值最大不超過300 N，在智能體控制下航行體尾部在與空泡壁碰撞3 次后穩定下來。控制過程空化器偏轉角度最大幅值為0.4 rad，尾鰭偏轉角度最大幅值為飽和的0.6 rad，保證了控制器在正常的工作范圍內。

圖15 DDPG 控制器2 控制下的航行體狀態（下潛5 m）Fig.15 The state of the vehicle under the control of the DDPG controller 1(dive 5 m)

若令航行體初始狀態為[3 0 0 0]，此時下潛深度相對較小，如圖16 所示，俯仰角波動范圍小于0.06 rad，縱向速度大小不超過閾值，不產生滑行力，所以控制器的偏轉角在幅值和角速率上均更小，這也從側面反應了非線性滑行力對航行體運動的影響是較大的，在產生滑行力的控制反應中，控制器變化更加劇烈。

圖16 DDPG 控制器2 控制下的航行體狀態（下潛3 m）Fig.16 The state of the vehicle under the control of the DDPG controller 1(dive 3 m)

與文獻[5]中方法對比初始狀態異常情況下的航行體下潛反應，初始狀態為[3 0 0 0]，z偏離原點3 m，對比結果如圖17，從圖17 中可以明顯看到，DDPG控制器控制下的水下高速航行體雖然在深度上變化緩慢，其原因是因為限定了控制動作δf、δc的最大輸出范圍，但是該控制器能夠實現在合理且有限的偏轉范圍內快速穩定的目標。文獻[5]中的方法控制器偏轉角度均超過10 rad，在實際工程中不可能實現。

圖17 不同控制器控制下的航行體狀態（下潛3 m）Fig.17 The state of the vehicle controlled by different controllers (dive 3 meters)

綜上所述，由強化學習方法訓練的DDPG 智能體控制器不僅能夠實現在無擾動的情況下高精度平穩運行，不產生滑行力，而且在運行過程中應對大小擾動能快速做出反應，消除擾動帶來的影響，保持系統穩定。與經典控制方法中用的較多的線性化控制相比，線性控制在處理水下高速航行體的非線性方程組時，大多利用小擾動線性化方法把非線性方程組在設定的平衡點位置線性化，在線性模型的基礎上進行控制律的設計，但是在處理航行體偏離平衡點較大的情況時會出現偏轉角過大，不符合實際情況等問題，魯棒性較差。而強化學習控制器在應對較大的縱向速度擾動和下潛運動方面，智能控制器做出的偏轉動作更加符合實際情況，適應性更好，強化學習方法在控制精度上甚至更高。但是如強化學習、模糊控制等類的智能控制方法在水下高速航行體控制領域的規則設計比較依賴于人工經驗。

5 結束語

本文主要研究了在無法準確描述水下高速航行體數學模型和對執行器進行物理限制的情況下的水下高速航行體智能控制器設計。文中基于強化學習算法設計了DDPG 智能體控制器，通過仿真實驗證明了，DDPG 控制器在模型主體條件確定時，能夠有效解決水下高速航行體的縱向運動控制問題，其既能在實際空化器與尾舵偏轉范圍內應對突發擾動，又能夠快速消除下潛過程出現的滑行力，使深度的過渡過程平滑穩定，相較于傳統控制方法來說，其穩定精度較高，并具有更強的魯棒性。

基于強化學習設計控制器未來還有以下幾個點作為繼續探索的方向：

1) 通過搭建更加合適的神經網絡和優化獎勵函數縮短反應時間，如分段獎勵函數；

2) 通過不同的強化學習算法訓練控制器，如TD3 算法、SAC 算法等；

3) 強化學習控制器作輔助控制器，先利用經典狀態反饋法把航行體穩定在一定范圍內，再通過強化學習控制器提升其穩定精度。