基于強化學習的液壓舵機殼體流道路徑規劃

0 引言

航空液壓操縱系統是保障飛機飛行的基礎功能系統，也是飛機綜合作戰效能的重要保障和核心載體[。液壓舵機殼體是飛行器液壓作動系統的關鍵零部件，在有限空間內遍布數十條滿足復雜液壓介質傳輸需求的液壓流道[2。流道路徑規劃指的是在液壓舵機殼體設計空間內，尋找兩個接口間的油路路徑，該路徑需要滿足與其他流道間的最小間距、工藝性約束、功能性約束等一系列約束，本質上是一個多目標優化問題。傳統的人工設計方式完全依賴設計人員經驗，設計效率低下，且無法有效復用歷史設計經驗；遺傳算法等雖然也可以解決此類問題，但設計空間大，需要長時間迭代，不利于對設計輸入的快速響應。而強化學習通過神經網絡學習規則和人工經驗，對設計輸入實現瞬間響應，更適合舵機殼體此類結構復雜且需要頻繁調整輸入的設計任務。因此，本文運用強化學習算法訓練路徑規劃神經網絡，實現流道路徑的快速尋優，解決舵機殼體流道快速最優設計的難題。

1液壓舵機殼體流道路徑規劃流程

舵機殼體的流道主要由油路接口和油路兩部分組成，如圖1所示。油路接口是舵機殼體與其他功能組件進行溝通的接口，有殼體表面接口和環槽接口、油路溝通接口三種。流道接口的參數包括接口的安裝坐標、安裝方向、長度、直徑。油路是兩個流道接口之間的溝通通道，其參數包括油路的起點接口坐標、終點接口坐標、油路的拐點坐標及油路直徑。流道的路徑規劃本質上就是在已知接口參數及油路起點、終點和直徑（下稱“流道設計任務”的基礎上，尋找油路拐點的過程。

流道路徑可簡化為流道起點、流道終點及一系列拐點構成的點集。利用強化學習算法進行流道路徑規劃的流程如圖2所示，根據設計任務確定流道的起點和終點，隨后路徑規劃智能體對自身狀態進行感知，得到當前的狀態信息。將狀態信息輸入強化學習網絡，在路徑規劃智能體動作空間中選擇智能體的下一步動作，得到流道的拐點坐標。若拐點坐標與終點不重合，則智能體繼續感知環境，生成新的拐點，直到拐點與終點重合，輸出流道路徑點集。

2 路徑規劃智能體的狀態空間構建

狀態空間指的是智能體在與環境交互過程中可以獲取的信息集合，是智能體獲取信息、學習和做出決策的基礎。狀態空間包含沿每個組合方向 （θ，?） 的障礙物距離及終點位置。智能體對環境的觀測信息矩陣 Obs 表示為：

Obs={Rx′unit，Ry′unit，Rz′mit，Rbarier，Rgoal}

式中： Rx′unit 表示各掃描方向在 x′ 方向上的單位分量構成的矩陣； Ry′unit 表示各掃描方向在 y′ 方向上的單位分量構成的矩陣； Rz′unit 表示各掃描方向在 z′ 方向上的單位分量構成的矩陣； Rbarier 表示各掃描方向上到障礙物的距離構成的矩陣； Rgoal 表示各掃描方向上到終點區域的距離構成的矩陣。

則智能體的狀態空間state可表示為：

state={Obs，N_max，N_now，R_min}

式中： N_max 表示當前任務的智能體最大行動次數，該值與接口的位置有關； N_now 表示智能體當前的行動次

數； R_min 表示當前行動的最小前進步長。

3路徑規劃智能體的動作空間構建

智能體的動作空間指的是智能體可以采取的所有動作的集合。智能體在三維空間內以第一人稱基于球坐標進行運動。運動模型基于球坐標系 C₃（θ，? ，R） ，殼體空間基于全局直角坐標系 C₁（x，y，z） ，為了將 C₃ 中的運動轉換為 C₁ 中的路徑點及路徑向量，引入了與 C₃ 相對應局部直角坐標系 C₂（x^′，y^′，z^′） 及 C₂?C₁ 的坐標轉換矩陣 T 。可以得到三組坐標系的定義：

1）全局坐標系 C₁（x，y，z） ，位于坐標原點。

2）局部坐標系 C₂（x^′，y^′，z^′） ，位于智能體當前位置， y^′ 軸為智能體的當前前進方向， x^′ 軸平行于XOY平面。

3）球坐標系 C₃（θ，?，R） ，位于智能體當前位置。其中0為 x^′y^′ 軸的夾角， ? 為 y^′z^′ 軸的夾角。

基于上述坐標系，對智能體的三個運動維度 （θ ?，R） 的取值進行如下定義： θ 和 ? 為 0^°～180^° 之間、公差為 5^° 的離散角度； R 為大于0小于1的連續實數。由于智能體的動作最終表現為拐角和前進步長，為了便于計算，將智能體的動作空間簡化為拐角β和步長 R ，其中β為0維度和 ? 維度組合后的方向與前一段油路的夾角。

4流道路徑規劃的獎勵函數設計

獎勵函數在強化學習過程中主要用于評價當前動作并指導網絡更新。由于本研究中智能體存在多個動作，評分應當充分反映各子動作獨立的評價及其綜合評價，以指導各網絡充分學習經驗。流道評分Rew 的計算方法如下：

式中： i（i=1，…，n） 表示當前輪次的第i次行動； Rew_i 為智能體單步獎勵； Rew_step 為步長獎勵； Rew_angle 為角度獎勵； Rew_state 為狀態獎勵； α_a，b 均為系數。

Rew_step 用來評價動作 R ，計算方式為：

Rew_angle 用來評價組合動作 （θ，?） ，計算方式如下：

Rew_angle=|cosβ-0.5|

式中： β 為有效 （θ，?） 組合后的角度。 β 越接近 90^° 或0^° ，評分越高。

Rew_state 對智能體是否完成任務進行獎勵，計算方式為：

5 路徑規劃網絡的構建及訓練

路徑規劃網絡是路徑規劃智能體的大腦，用來分析狀態信息，選擇合適的動作。路徑規劃網絡由FeatureExtractor、DiscreteActor網絡、ContinuesActor網絡及Critic網絡構成，如圖3所示。其中FeatureExtractor用來對狀態信息進行降維處理，提取關鍵特征；DiscreteActor網絡用來生成離散動作 β ; ContinuesActor網絡用來生成連續動作 R ；Critic網絡分析動作的評價結果，指導網絡更新[3]。

在完成網絡構建后，對路徑規劃網絡進行訓練。通過在立方體表面隨機尋找兩個接口的位置，在立方體內部隨機生成障礙物路徑來為智能體的訓練環境產生隨機性，以保證智能體在各種復雜情況下學會最優策略。在訓練20000輪后，智能體的平均每輪獎勵收斂于10左右（圖4）；在容量為1000的驗證集上，預測準確率穩定在 90% 左右（圖5）。

6 測試及結果分析

樣例的設計空間為一個立方體空間，長 300mm 寬 150mm ，高 150mm ，環境中包含2個主閥孔（MH）和4個接口，如圖6所示，流道定義信息如表1所示，算法輸出的流道路徑如表2所示。結合特征建模工具，本算法可以將單條流道的設計建模時間壓縮到 10s 以內，與人工設計建模相比，時間縮短了 70% 。

系統輸出的流道骨架如圖7所示，建模后得到的流道模型如圖8所示。以流道1201為例，若沿常規的直線路徑，則會與1301發生干涉（圖9），本文算法輸出了非對心的流道路徑，滿足了流道1201與1301之間的最小流道間距約束。

7 結論

本文通過分析液壓舵機殼體流道設計原理及流道建模特征，提出了一套適合強化學習的流道設計模型。通過分析流道及其接口特征，分析了流道路徑規劃的輸入和輸出，構建了流道路徑規劃算法的基本流程?；诂F有設計經驗及約束，形成了智能體的動作空間、狀態空間及評價獎勵函數，搭建了路徑規劃網絡，實現了舵機殼體流道路徑的快速生成。最終通過實例驗證，設計結果滿足設計要求與設計約束，取得了較好的設計結果。本研究在保證設計質量的前提下，極大地減少了液壓流道路徑的設計工作量，將設計建模時間縮短了 70% 。

[參考文獻]

[1］郭生榮.航空機電系統綜合技術發展分析［J].航空科學技術，2013（5）：5-10.

[2]郭生榮.航空機電系統綜合技術發展［J].航空精密制造技術，2016，52（1）：1-6.

[3]FAN Z，SU R，ZHANG W N，et al.Hybrid Actor-CriticReinforcement Learning in Parameterized ActionSpace[C]//IJCAI'19：Proceedingsofthe 28th Interna-tional Joint Conferenceon Artificial Intelligence，2019：2279-2285.

收稿日期：2025-04-14作者簡介：樊堯（1998一），男，山西大同人，碩士研究生，研究方向：人機與環境工程。