基于多智能體深度Q網(wǎng)絡(luò)交互的板殼加強(qiáng)筋生長(zhǎng)式設(shè)計(jì)

摘要：基于板殼加強(qiáng)筋生長(zhǎng)步序列的馬爾可夫性質(zhì)，提出了板殼加強(qiáng)筋生長(zhǎng)式設(shè)計(jì)的強(qiáng)化學(xué)習(xí)驅(qū)動(dòng)策略。以結(jié)構(gòu)整體應(yīng)變能最小化為目標(biāo)，運(yùn)用馬爾可夫決策過程對(duì)板殼加強(qiáng)筋的生長(zhǎng)過程進(jìn)行建模。通過引入多智能體系統(tǒng)，共享加強(qiáng)筋生長(zhǎng)式過程的狀態(tài)獎(jiǎng)勵(lì)并記憶特定動(dòng)作，降低學(xué)習(xí)復(fù)雜度，實(shí)現(xiàn)了加強(qiáng)筋生長(zhǎng)式過程獎(jiǎng)勵(lì)值的波動(dòng)收斂，達(dá)成板殼加強(qiáng)筋生長(zhǎng)式設(shè)計(jì)策略。最后給出算例并將平滑處理后的加強(qiáng)筋布局與經(jīng)典算法的設(shè)計(jì)結(jié)果進(jìn)行對(duì)比，驗(yàn)證了基于多智能體深度Q網(wǎng)絡(luò)交互的板殼加強(qiáng)筋生長(zhǎng)式設(shè)計(jì)的有效性。

關(guān)鍵詞：板殼加強(qiáng)筋；生長(zhǎng)式；多智能體深度Q網(wǎng)絡(luò)；布局設(shè)計(jì)；強(qiáng)化學(xué)習(xí)

中圖分類號(hào)：TH11;TP31

DOI：10.3969/j.issn.1004132X.2024.08.008

開放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

Growth Design of Stiffeners for Shell/Plate Structures Based on

MADQN Interaction

ZHONG Yi YANG Yong JIANG Xuetao PAN Shunyang ZHU Qixin WANG Lei

College of Mechanical Engineering，Suzhou University of Science and Technology，Suzhou，Jiangsu，215009

Abstract： Based on the Markov property of the growth steps of shell/plate stiffeners， a reinforcement learning driving strategy of the growth design of shell/plate stiffeners was proposed. Aiming at minimizing the overall strain energy of the structures， Markov decision process was used to model the growth processes of the stiffeners. By introducing a multi-agent system to share the states and the rewards of the stiffeners growth processes， and memorizing specific actions， the learning complexity was reduced. Meanwhile， the convergence of the reward value of the stiffeners growth processes was realized. Therefore， the growth design strategy of shell/plate stiffeners was achieved. Finally， a numerical example was given and the results of the smoothed stiffeners layout were compared with those of the classical algorithm， which verifies the validity of the growth design of stiffeners for shell / plate structures based on MADQN interaction.

Key words： stiffener for shell/plate structure; growth pattern; multi-agent deep Q network（MADQN）; layout design; reinforcement learning

0 引言

板殼結(jié)構(gòu)在船舶、汽車、航空航天等領(lǐng)域具有極其廣泛的應(yīng)用，在板殼結(jié)構(gòu)表面設(shè)計(jì)加強(qiáng)筋，能夠在保證輕量化的同時(shí)顯著提高結(jié)構(gòu)的剛度等力學(xué)性能。板殼加強(qiáng)筋的設(shè)計(jì)主要包括加強(qiáng)筋的位置、尺寸和形狀設(shè)計(jì)。在工程實(shí)際中，加強(qiáng)筋布局的確定很大程度上依賴于工程經(jīng)驗(yàn)，如何同時(shí)保證加強(qiáng)筋結(jié)構(gòu)的輕量化和承載性，一直是板殼加強(qiáng)筋設(shè)計(jì)領(lǐng)域的難點(diǎn)和重點(diǎn)。

板殼加強(qiáng)筋布局設(shè)計(jì)領(lǐng)域常用的方法為拓?fù)鋬?yōu)化方法，這類方法通過將加強(qiáng)筋的布局問題轉(zhuǎn)化為材料的分布問題來實(shí)現(xiàn)加強(qiáng)筋布局的優(yōu)化。常用于板殼加強(qiáng)筋布局設(shè)計(jì)問題的拓?fù)鋬?yōu)化技術(shù)包括均勻化法、變密度法、漸進(jìn)結(jié)構(gòu)優(yōu)化法（evolutionary structural optimization，ESO）等。MA等［1］提出了一種基于均勻化方法的加固板生成設(shè)計(jì)方法，優(yōu)化了基于等效模型的加固布局。WANG等［2］將漸進(jìn)式均勻化方法引入分層加筋板的屈曲分析和優(yōu)化問題的求解中。在變密度法中，最具代表性的模型是BENDS E等［3］提出的固體各向同性懲罰材料（solid isotropic material with penalization，SIMP）模型。LI 等［4］將變密度法（SIMP）與相場(chǎng)法相結(jié)合，對(duì)復(fù)合材料結(jié)構(gòu)的抗斷裂性進(jìn)行優(yōu)化研究。然而，基于SIMP法框架得到的優(yōu)化結(jié)果存在大量的灰度單元，無法獲得清晰的加強(qiáng)筋布局。LI等［5］將進(jìn)化算法轉(zhuǎn)換為數(shù)學(xué)模型，對(duì)加強(qiáng)筋自適應(yīng)生長(zhǎng)過程進(jìn)行建模并結(jié)合所提出的“剛度變換方法”，使得加強(qiáng)筋能夠朝著任意方向生長(zhǎng)。

上述通過將加強(qiáng)筋的布置問題轉(zhuǎn)化為材料的分布問題來進(jìn)行設(shè)計(jì)的方法，得到的只是加強(qiáng)區(qū)域的分布，而不是具體的加強(qiáng)筋結(jié)構(gòu)，這導(dǎo)致需要后處理才能確定加強(qiáng)筋的分布與尺寸，增加了實(shí)際工程設(shè)計(jì)的難度。隨著研究的進(jìn)一步深入，其他方法也被嘗試應(yīng)用到加強(qiáng)筋的布局設(shè)計(jì)中。如FATEMI等［6］以加強(qiáng)筋的位置為設(shè)計(jì)變量，利用直線來描述加強(qiáng)筋并結(jié)合遺傳算法對(duì)直線的坐標(biāo)參數(shù)進(jìn)行優(yōu)化，最終得到了清晰的加強(qiáng)筋布局。MULANI等［7］用B樣條曲線來描述加強(qiáng)筋，利用粒子群算法對(duì)曲線的特征點(diǎn)坐標(biāo)進(jìn)行優(yōu)化，最終實(shí)現(xiàn)了曲線加強(qiáng)筋的布局優(yōu)化設(shè)計(jì)。然而這類采用遺傳算法或粒子群優(yōu)化算法對(duì)直線端點(diǎn)和B樣條控制點(diǎn)進(jìn)行優(yōu)化從而實(shí)現(xiàn)加強(qiáng)筋的布局設(shè)計(jì)的方法仍然難以解決多載荷復(fù)雜工況下的加強(qiáng)筋設(shè)計(jì)問題。張衛(wèi)紅等［8］以結(jié)構(gòu)最大剛度為目標(biāo)，提出了幾何背景網(wǎng)格法，實(shí)現(xiàn)了加筋設(shè)計(jì)域內(nèi)任意離散網(wǎng)格沿加筋高度方向的布局參數(shù)化定義和三維曲面薄壁殼結(jié)構(gòu)的加筋布局設(shè)計(jì)。ZHANG等［9］基于移動(dòng)可變形組件法求解了三維結(jié)構(gòu)加強(qiáng)筋的拓?fù)鋬?yōu)化問題，成功避免了灰度單元，但是采用實(shí)體單元進(jìn)行有限元計(jì)算仍然存在龐大的計(jì)算量。崔榮華等［10］引入水平集方法對(duì)加強(qiáng)筋布局進(jìn)行描述并用不同的抗彎剛度表征薄板與加強(qiáng)筋，成功避免了灰度單元，獲得了清晰的加強(qiáng)筋布局與尺寸。但是水平集方法在應(yīng)用中還存在許多不足，如收斂速度慢、數(shù)值計(jì)算復(fù)雜（尤其是三維問題）、優(yōu)化結(jié)果嚴(yán)重依賴孔洞的初始布置等。DING等［11］將自然界分支系統(tǒng)的自適應(yīng)生長(zhǎng)規(guī)律應(yīng)用于板殼加強(qiáng)筋分布設(shè)計(jì)方法的研究，并提出了自適應(yīng)成長(zhǎng)法。LI等［12］和薛開等［13］根據(jù)雙子葉植物葉脈形成的結(jié)構(gòu)力學(xué)規(guī)律和形態(tài)發(fā)生的結(jié)構(gòu)力學(xué)假說，提出脈序生長(zhǎng)法（venation growth algorithm， VGA）。SHEN等［14］將附加調(diào)諧質(zhì)量阻尼器的最佳調(diào)諧引入自適應(yīng)成長(zhǎng)法的求解中，以提高受諧波激勵(lì)的3D箱體結(jié)構(gòu)的結(jié)構(gòu)動(dòng)力學(xué)性能。張坤鵬等［15］采用結(jié)構(gòu)參數(shù)特征圖像化表征的方法對(duì)含曲筋布局的開口多級(jí)加筋壁板進(jìn)行優(yōu)化設(shè)計(jì)。董偉等［16］利用均勻化方法計(jì)算點(diǎn)陣結(jié)構(gòu)的宏觀性能，實(shí)現(xiàn)了點(diǎn)陣加筋板式結(jié)構(gòu)布局的優(yōu)化設(shè)計(jì)。SINGH等［17］提出將深度神經(jīng)網(wǎng)絡(luò)（deep neural networks，DNNs）與MSC NASTRAN計(jì)算相結(jié)合以近似表示FEA屈曲響應(yīng)，展現(xiàn)了基于DNN的機(jī)器學(xué)習(xí)算法在加速曲線型加強(qiáng)板優(yōu)化方面的潛力。LIU等［18］提出了一種基于深度學(xué)習(xí)的智能優(yōu)化框架，用于網(wǎng)格加固面板的加強(qiáng)筋單元格優(yōu)化設(shè)計(jì)。

為了避免對(duì)梯度信息和先驗(yàn)知識(shí)的依賴性，降低設(shè)計(jì)難度并實(shí)現(xiàn)清晰的加強(qiáng)筋布局設(shè)計(jì)，本文基于板殼加強(qiáng)筋生長(zhǎng)步序列的馬爾可夫性質(zhì)，提出板殼加強(qiáng)筋生長(zhǎng)式設(shè)計(jì)的強(qiáng)化學(xué)習(xí)驅(qū)動(dòng)策略。以最小化結(jié)構(gòu)整體應(yīng)變能為優(yōu)化目標(biāo)，運(yùn)用馬爾可夫決策過程對(duì)板殼加強(qiáng)筋生長(zhǎng)過程進(jìn)行建模。通過多智能體深度Q網(wǎng)絡(luò)（multi-agent deep Q network， MADQN）與加強(qiáng)筋生長(zhǎng)環(huán)境的交互，實(shí)現(xiàn)加強(qiáng)筋生長(zhǎng)過程獎(jiǎng)勵(lì)值的上升與波動(dòng)收斂，達(dá)成板殼加強(qiáng)筋生長(zhǎng)式設(shè)計(jì)。最后給出算例，并將平滑處理后的加強(qiáng)筋布局與經(jīng)典算法的結(jié)果進(jìn)行對(duì)比，驗(yàn)證基于多智能體深度Q網(wǎng)絡(luò)交互的板殼加強(qiáng)筋生長(zhǎng)式設(shè)計(jì)的有效性。

1 板殼加強(qiáng)筋生長(zhǎng)式設(shè)計(jì)模型的構(gòu)建

根據(jù)自然界植物分支系統(tǒng)的形態(tài)形成機(jī)理，植物葉脈在不同的環(huán)境中具有自適應(yīng)性，這在很大程度上增強(qiáng)了植物整體的力學(xué)性能。 脈序生長(zhǎng)算法［13］以變形能和剪應(yīng)力為生長(zhǎng)規(guī)則分別指導(dǎo)加強(qiáng)筋生長(zhǎng)脈絡(luò)的生長(zhǎng)，其根本原理是自然界植物葉脈系統(tǒng)依據(jù)一定的生長(zhǎng)規(guī)律并通過生長(zhǎng)過程最終達(dá)到整體性能最優(yōu)。本文將這種結(jié)構(gòu)生長(zhǎng)式機(jī)理應(yīng)用于板殼加強(qiáng)筋設(shè)計(jì)中，即加強(qiáng)筋脈絡(luò)的生長(zhǎng)總是以優(yōu)化目標(biāo)為導(dǎo)向，朝著提升結(jié)構(gòu)性能更顯著的方向生長(zhǎng)，下面構(gòu)建生長(zhǎng)式設(shè)計(jì)模型。

板殼加強(qiáng)筋生長(zhǎng)式設(shè)計(jì)的約束函數(shù)為加強(qiáng)筋的體積上限，優(yōu)化目標(biāo)為結(jié)構(gòu)的整體剛度最大化，即結(jié)構(gòu)整體柔順度最小化。根據(jù)結(jié)構(gòu)的應(yīng)變能和柔順度的一致性，優(yōu)化目標(biāo)等價(jià)于結(jié)構(gòu)整體應(yīng)變能最小化。優(yōu)化目標(biāo)及約束函數(shù)的數(shù)學(xué)模型可表示為

min U

s.t. Vs≤Vs.max

式中，U為結(jié)構(gòu)整體應(yīng)變能；Vs、Vs.max分別為加強(qiáng)筋體積及其上限。

板殼加強(qiáng)筋生長(zhǎng)式設(shè)計(jì)的有限元幾何模型采用基結(jié)構(gòu)法構(gòu)建，基結(jié)構(gòu)模型如圖1所示。采用四節(jié)點(diǎn)四邊形單元離散板殼結(jié)構(gòu)，創(chuàng)建梁?jiǎn)卧B接殼單元相關(guān)節(jié)點(diǎn)作為加強(qiáng)筋，梁?jiǎn)卧孛骖愋蜑檎叫危訌?qiáng)筋單面加筋的布置方式，加強(qiáng)筋截面尺寸及布置方式如圖2所示，即加強(qiáng)筋的截面形心位于殼結(jié)構(gòu)的一側(cè)。

板殼加強(qiáng)筋生長(zhǎng)式設(shè)計(jì)方法的具體生長(zhǎng)準(zhǔn)則如下：

（1）采用Abaqus/CAE對(duì)薄板加強(qiáng)筋模型進(jìn)行參數(shù)化設(shè)計(jì)。采用忽略橫向剪切變形的基爾霍夫板來模擬基板的變形情況，采用四節(jié)點(diǎn)殼單元構(gòu)建基礎(chǔ)模型，兩節(jié)點(diǎn)梁?jiǎn)卧獦?gòu)建加強(qiáng)筋，梁?jiǎn)卧獧M截面采用正方形截面，且截面尺寸固定。

（2）在板殼加強(qiáng)筋生長(zhǎng)式設(shè)計(jì)過程中，以加筋結(jié)構(gòu)整體應(yīng)變能最小為優(yōu)化目標(biāo)，加強(qiáng)筋體積上限為約束條件。文獻(xiàn)［11，19］中對(duì)具有相同載荷和支撐的算例布置不同位置的“種子”，并進(jìn)一步對(duì)添加加強(qiáng)筋后結(jié)構(gòu)的力學(xué)性能進(jìn)行對(duì)比，得出結(jié)論如下：加強(qiáng)筋生長(zhǎng)“種子”應(yīng)該位于結(jié)構(gòu)的載荷點(diǎn)、支撐點(diǎn)或邊緣。根據(jù)結(jié)構(gòu)的承載條件并依據(jù)文獻(xiàn)［11，19］的種子選取原則，選擇約束和載荷作用區(qū)域布置種子。

（3）根據(jù)脈序生長(zhǎng)算法所提出的生長(zhǎng)機(jī)理［13］，對(duì)加強(qiáng)筋脈絡(luò)的生長(zhǎng)準(zhǔn)則進(jìn)行本文方法適應(yīng)性的修改，即規(guī)定在加強(qiáng)筋的生長(zhǎng)過程中僅存在以應(yīng)變能最小為生長(zhǎng)原則的主脈，而不存在次脈；僅存在單支生長(zhǎng)，而不存在分支、退化等情況。

在板殼加強(qiáng)筋生長(zhǎng)式設(shè)計(jì)過程中，下一狀態(tài)的加強(qiáng)筋生長(zhǎng)布局僅與當(dāng)前的加強(qiáng)筋生長(zhǎng)布局以及加強(qiáng)筋下一生長(zhǎng)步的生長(zhǎng)方向相關(guān)，可以看出加強(qiáng)筋生長(zhǎng)步是一組滿足馬爾可夫性質(zhì)的隨機(jī)變量序列，加強(qiáng)筋生長(zhǎng)過程呈現(xiàn)典型馬爾可夫性質(zhì)：當(dāng)給定當(dāng)前狀態(tài)時(shí)，未來的狀態(tài)與過去的狀態(tài)是條件獨(dú)立的。因此，在板殼加強(qiáng)筋生長(zhǎng)式設(shè)計(jì)模型構(gòu)建的基礎(chǔ)上，運(yùn)用馬爾可夫決策過程進(jìn)一步構(gòu)建板殼加強(qiáng)筋生長(zhǎng)式設(shè)計(jì)的強(qiáng)化學(xué)習(xí)驅(qū)動(dòng)策略。

2 板殼加強(qiáng)筋生長(zhǎng)環(huán)境交互的多智能體深度Q網(wǎng)絡(luò)

2.1 搭建板殼加強(qiáng)筋生長(zhǎng)環(huán)境與智能體交互模型

強(qiáng)化學(xué)習(xí)（reinforcement learning， RL）是機(jī)器學(xué)習(xí)中重要的一部分。強(qiáng)化學(xué)習(xí)由環(huán)境和智能體兩部分組成，通過環(huán)境與智能體的交互獲得獎(jiǎng)勵(lì)或懲罰，通過不斷地在交互式環(huán)境中進(jìn)行探索利用（exploration-exploitation）的權(quán)衡來學(xué)習(xí)一系列動(dòng)作，進(jìn)而使預(yù)期回報(bào)最大化。

在板殼加強(qiáng)筋生長(zhǎng)式設(shè)計(jì)中，首先構(gòu)建板殼加強(qiáng)筋生長(zhǎng)環(huán)境與智能體交互機(jī)制：在強(qiáng)化學(xué)習(xí)的訓(xùn)練過程中，智能體與板殼加強(qiáng)筋生長(zhǎng)環(huán)境不斷進(jìn)行交互，如圖3所示。板殼加強(qiáng)筋生長(zhǎng)環(huán)境將當(dāng)前加強(qiáng)筋生長(zhǎng)狀態(tài)與獎(jiǎng)勵(lì)傳遞給智能體，智能體根據(jù)當(dāng)前加強(qiáng)筋生長(zhǎng)狀態(tài)選擇下一加強(qiáng)筋生長(zhǎng)方向，并將所選擇的下一加強(qiáng)筋生長(zhǎng)方向返回板殼加強(qiáng)筋生長(zhǎng)環(huán)境，板殼加強(qiáng)筋生長(zhǎng)環(huán)境得到智能體選擇的下一加強(qiáng)筋生長(zhǎng)方向后，執(zhí)行加強(qiáng)筋生長(zhǎng)的動(dòng)作并進(jìn)入加強(qiáng)筋生長(zhǎng)的下一個(gè)狀態(tài)，隨后將加強(qiáng)筋生長(zhǎng)的下一狀態(tài)和獎(jiǎng)勵(lì)傳遞給智能體，這種交互過程可以用馬爾可夫決策過程表示。

2.2 構(gòu)建加強(qiáng)筋生長(zhǎng)式設(shè)計(jì)的馬爾可夫決策過程

在馬爾可夫決策過程中，可以用p（st+1=s′|st=s，at=a）來表示狀態(tài)轉(zhuǎn)移，即在訓(xùn)練步數(shù)為t時(shí)環(huán)境狀態(tài)為s，在狀態(tài)s選擇動(dòng)作a，會(huì)轉(zhuǎn)移到狀態(tài)s′，未來的狀態(tài)st+1由當(dāng)前的狀態(tài)st和當(dāng)前智能體采取的動(dòng)作at共同決定。狀態(tài)轉(zhuǎn)移是具有馬爾可夫性質(zhì)的。

隨機(jī)變量R0，R1，…，RT構(gòu)成一個(gè)加強(qiáng)筋隨機(jī)生長(zhǎng)過程，其中，T表示訓(xùn)練次數(shù)。隨機(jī)變量的取值空間的集合稱為狀態(tài)空間，Rt+1對(duì)過去狀態(tài)的條件概率分布可以僅用Rt的函數(shù)表示為

p（Rt+1=rt+1|R0∶t=r0∶t）=

p（Rt+1=rt+1|Rt=rt+1）

式中，R0∶t為變量集合，即板殼加強(qiáng)筋歷史生長(zhǎng)布局的集合{R0，R1，…，RT}；r0∶t為狀態(tài)空間中的狀態(tài)序列，即加強(qiáng)筋生長(zhǎng)步序列r0，r1，…，rt。

板殼加強(qiáng)筋生長(zhǎng)步的馬爾可夫決策過程滿足以下條件：

p（st+1|st，at）=p（st+1|ht，at）

其中，集合ht={s1，s2，…，st}包含之前所有的加強(qiáng)筋生長(zhǎng)步狀態(tài)，是加強(qiáng)筋生長(zhǎng)步狀態(tài)的歷史。s1，s2，…，st是一組具有馬爾可夫性質(zhì)的隨機(jī)變量序列。

2.3 加強(qiáng)筋生長(zhǎng)式設(shè)計(jì)的多智能體深度Q網(wǎng)絡(luò)模型的構(gòu)建

深度Q網(wǎng)絡(luò)（deep Q network， DQN）通過使用非線性神經(jīng)網(wǎng)絡(luò)近似Q函數(shù)。神經(jīng)網(wǎng)絡(luò)用θ進(jìn)行參數(shù)化表示并以最小化損失函數(shù)為目標(biāo)函數(shù)：

L（θ）=E［（r+γmax Q（s′，a′;θ′）-Q（s，a;θ））2］

式中，s為狀態(tài)；a為動(dòng)作；r為獎(jiǎng)勵(lì)；s′為下一狀態(tài)；a′為下一動(dòng)作；［r+γmax Q（s′，a′;θ′）］為目標(biāo)網(wǎng)絡(luò)（target network）輸出的Q值，包含獲得的獎(jiǎng)勵(lì)、下一狀態(tài)價(jià)值的估計(jì)兩部分；Q（s，a;θ）為Q值的當(dāng)前估計(jì)。

深度Q網(wǎng)絡(luò)能夠在與環(huán)境的交互學(xué)習(xí)中最小化預(yù)測(cè)網(wǎng)絡(luò)輸出的Q值（Q值的當(dāng)前估計(jì)）與目標(biāo)網(wǎng)絡(luò)輸出的Q值（Q值的更新估計(jì)）之間的差異，從而達(dá)到能夠輸出符合預(yù)期目標(biāo)的動(dòng)作策略并且使獎(jiǎng)勵(lì)上升與波動(dòng)收斂的學(xué)習(xí)目的。

在板殼加強(qiáng)筋生長(zhǎng)式設(shè)計(jì)過程中，加強(qiáng)筋生長(zhǎng)“種子”的位置和數(shù)量根據(jù)工況的不同而有差異，并且“種子”數(shù)量的增加顯著提高了DQN智能體權(quán)衡探索利用的成本與難度。為了解決這一問題，本方法在采用DQN的基礎(chǔ)上引入多智能體系統(tǒng)（multi-agent deep reinforcement learning， MADRL），n個(gè)智能體與n個(gè)“種子”相對(duì)應(yīng)，多個(gè)智能體之間具有共享的狀態(tài)和獎(jiǎng)勵(lì)，并在經(jīng)驗(yàn)回放池中進(jìn)行每個(gè)智能體特定的動(dòng)作更新，在多智能體與板殼加強(qiáng)筋生長(zhǎng)式環(huán)境的交互學(xué)習(xí)過程中實(shí)現(xiàn)預(yù)期目標(biāo)。

在基于多智能體深度Q網(wǎng)絡(luò)交互的板殼加強(qiáng)筋生長(zhǎng)式設(shè)計(jì)中，板殼加強(qiáng)筋生長(zhǎng)式過程用動(dòng)作、狀態(tài)和獎(jiǎng)勵(lì)描述。如圖4所示，在訓(xùn)練次數(shù)為t時(shí)，獲得環(huán)境狀態(tài)s（n）t的智能體An根據(jù)策略選擇動(dòng)作a（n）t并控制“種子”n生長(zhǎng)，當(dāng)所有種子的動(dòng)作被執(zhí)行后，環(huán)境依據(jù)狀態(tài)轉(zhuǎn)移概率轉(zhuǎn)移到下一時(shí)刻的狀態(tài)s（n）t+1，同時(shí)，每個(gè)智能體An得到執(zhí)行動(dòng)作a（n）t后的獎(jiǎng)勵(lì)r（n）t。

3 板殼加強(qiáng)筋生長(zhǎng)式多智能體深度Q網(wǎng)絡(luò)的算法設(shè)計(jì)

3.1 加強(qiáng)筋生長(zhǎng)過程的狀態(tài)動(dòng)作空間設(shè)計(jì)

在板殼加強(qiáng)筋生長(zhǎng)式多智能體深度Q網(wǎng)絡(luò)交互環(huán)境中，智能體An能夠在t時(shí)刻觀測(cè)到種子n相關(guān)的環(huán)境狀態(tài)s（n）t：

s（n）t={Seed_label（n）t，ΔSE（n）t，ΔMASS（n）t}

式中，Seed_label（n）t為當(dāng)前狀態(tài)加強(qiáng)筋生長(zhǎng)起點(diǎn)的網(wǎng)格節(jié)點(diǎn)號(hào)；ΔSE（n）t為當(dāng)前狀態(tài)結(jié)構(gòu)整體應(yīng)變能與上一狀態(tài)應(yīng)變能差值；ΔMASS（n）t為當(dāng)前狀態(tài)結(jié)構(gòu)整體質(zhì)量與上一狀態(tài)質(zhì)量的差值。

建模過程中加強(qiáng)筋用兩節(jié)點(diǎn)梁表示，加強(qiáng)筋生長(zhǎng)的動(dòng)作空間為以生長(zhǎng)起點(diǎn)為中心的8個(gè)生長(zhǎng)角度0°、45°、90°、135°、180°、225°、270°、315°，加強(qiáng)筋從生長(zhǎng)起點(diǎn)（上一狀態(tài)加強(qiáng)筋的生長(zhǎng)終點(diǎn)）開始生長(zhǎng)，從8個(gè)生長(zhǎng)角度中選擇生長(zhǎng)方向生長(zhǎng)直至此次加強(qiáng)筋生長(zhǎng)終點(diǎn)。采取ε-貪心策略，ε為一個(gè)很小的值，以ε的小概率隨機(jī)選擇動(dòng)作空間內(nèi)的動(dòng)作，以1-ε的概率選擇預(yù)測(cè)Q值最大的動(dòng)作a，探索分布為

πQ（st）=argmaxa Q（st，a）" 1/Tθslt;Pelt;1

arandom0≤Pe≤1/Tθs

其中，Pe為隨機(jī)生成的概率；Ts為訓(xùn)練次數(shù)，用1/Tθs表示ε，隨著訓(xùn)練次數(shù)的增加而遞減，0lt;θlt;1為控制1/Tθs大小的參數(shù)，以調(diào)節(jié)智能體選擇隨機(jī)動(dòng)作進(jìn)行探索或利用的概率。

3.2 加強(qiáng)筋生長(zhǎng)過程的獎(jiǎng)勵(lì)函數(shù)設(shè)計(jì)

獎(jiǎng)勵(lì)函數(shù)是引導(dǎo)智能體學(xué)習(xí)的關(guān)鍵性因素，通過對(duì)智能體采取的策略進(jìn)行評(píng)價(jià)并將相應(yīng)獎(jiǎng)勵(lì)或懲罰反饋給智能體，從而引導(dǎo)智能體在復(fù)雜多維的環(huán)境中學(xué)習(xí)到符合目標(biāo)導(dǎo)向的決策。在本文方法中，目標(biāo)函數(shù)為加筋板殼結(jié)構(gòu)整體應(yīng)變能的最小化，因此選擇結(jié)構(gòu)整體應(yīng)變能變化量ΔSE作為自變量構(gòu)建獎(jiǎng)勵(lì)函數(shù)。同時(shí)，由于位于板殼頂點(diǎn)或邊界等特殊位置的節(jié)點(diǎn)作為加強(qiáng)筋的生長(zhǎng)起點(diǎn)時(shí)存在某些角度無法生長(zhǎng)的情況，故設(shè)置懲罰因子作為負(fù)獎(jiǎng)勵(lì)。最終得到獎(jiǎng)勵(lì)函數(shù)：

r=rneg" ""Seed_label（n）t=Seed_label（n）t-1

x1ΔSE其他

式中，rneg為負(fù)獎(jiǎng)勵(lì)；x1為系數(shù)，用以調(diào)節(jié)ΔSE的大小，從而降低獎(jiǎng)勵(lì)值的方差，保證訓(xùn)練過程中梯度更新的穩(wěn)定性。

4 典型算例

為便于驗(yàn)證所提方法的正確性，選取研究領(lǐng)域內(nèi)常用的共識(shí)性典型算例，采用多智能體深度Q網(wǎng)絡(luò)模型進(jìn)行加強(qiáng)筋生長(zhǎng)式設(shè)計(jì)。獎(jiǎng)勵(lì)值波動(dòng)收斂后，對(duì)加強(qiáng)筋初步設(shè)計(jì)結(jié)果進(jìn)行平滑處理，最終得到加強(qiáng)筋生長(zhǎng)式設(shè)計(jì)結(jié)果，并將本文方法得到的設(shè)計(jì)結(jié)果與文獻(xiàn)［6］中經(jīng)典算法的設(shè)計(jì)結(jié)果進(jìn)行對(duì)比。

文獻(xiàn)［6］采用遺傳算法，通過對(duì)梁式加強(qiáng)筋兩端的坐標(biāo)進(jìn)行參數(shù)化表征與優(yōu)化實(shí)現(xiàn)加強(qiáng)筋的設(shè)計(jì)。此方法允許加強(qiáng)筋在板殼單元內(nèi)任意放置，能夠得到清晰流暢的加強(qiáng)筋布局。但該方法存在以下不足：①需要對(duì)加強(qiáng)筋進(jìn)行參數(shù)化描述及復(fù)雜的計(jì)算，工作量與難度隨著工況的復(fù)雜和加強(qiáng)筋數(shù)量的增加而急劇增大;②難以對(duì)需要加強(qiáng)筋進(jìn)行密集分布才能提高剛度性能的問題進(jìn)行有效求解。針對(duì)上述問題，本文提出板殼加強(qiáng)筋生長(zhǎng)式設(shè)計(jì)的強(qiáng)化學(xué)習(xí)驅(qū)動(dòng)策略，克服了對(duì)梯度信息與先驗(yàn)知識(shí)的依賴性，大大降低了設(shè)計(jì)難度，該方式可以有效解決某些特定區(qū)域需要加強(qiáng)筋密集生長(zhǎng)才能達(dá)到的剛度強(qiáng)化需求。

4.1 角點(diǎn)固支方板

算例1為四角點(diǎn)固支的正方形薄板［6，11］，如圖5所示。中心P點(diǎn)受集中載荷F=200 N。基板長(zhǎng)、寬均為0.2 m，厚度為3 mm，加強(qiáng)筋截面形狀為正方形，邊長(zhǎng)為3 mm。材料彈性模量E=69 GPa，泊松比為0.33，加筋材料用量不超過薄板體積的25.5%。

在本算例中，設(shè)置加強(qiáng)筋生長(zhǎng)“種子”數(shù)量為4，分別位于正方形薄板固支的四個(gè)角點(diǎn)，如圖6所示。在以應(yīng)變能變化量為自變量的獎(jiǎng)勵(lì)函數(shù)的引導(dǎo)下，加強(qiáng)筋從“種子”開始依照智能體ε-貪心策略選擇的方向生長(zhǎng)。同時(shí)，DQN智能體不斷與加強(qiáng)筋仿真建模環(huán)境交互并進(jìn)行網(wǎng)絡(luò)訓(xùn)練。加強(qiáng)筋訓(xùn)練獎(jiǎng)勵(lì)值與訓(xùn)練次數(shù)之間的關(guān)系如圖7所示。由圖7可知，訓(xùn)練獎(jiǎng)勵(lì)值具有上升并波動(dòng)收斂的趨勢(shì)，這說明隨著訓(xùn)練次數(shù)的增加，加強(qiáng)筋愈發(fā)朝著能夠減小更多應(yīng)變能的方向生長(zhǎng)，證明了所提出的基于多智能體深度Q網(wǎng)絡(luò)交互的板殼加強(qiáng)筋生長(zhǎng)式設(shè)計(jì)的有效性。

根據(jù)智能體訓(xùn)練情況，得到加強(qiáng)筋生長(zhǎng)式設(shè)計(jì)的初步設(shè)計(jì)結(jié)果，如圖8所示。然而，由于深度強(qiáng)化學(xué)習(xí)DQN模型是一種探索利用權(quán)衡的算法，ε-貪心策略具有采取的動(dòng)作的不確定性和隨機(jī)性，會(huì)影響加強(qiáng)筋生長(zhǎng)路徑的平滑性，故需要進(jìn)一步地對(duì)初步得到的加強(qiáng)筋生長(zhǎng)式布局進(jìn)行平滑處理。將圖8所示的四張加強(qiáng)筋初步設(shè)計(jì)圖重疊，取重合的加強(qiáng)筋生長(zhǎng)步，去除單獨(dú)的加強(qiáng)筋生長(zhǎng)步，最終得到平滑處理后的加強(qiáng)筋生長(zhǎng)式設(shè)計(jì)圖（圖9）。文獻(xiàn)［6］利用遺傳算法進(jìn)行加強(qiáng)筋布局設(shè)計(jì)，最終設(shè)計(jì)結(jié)果如圖10所示。將最終得到的加強(qiáng)筋生長(zhǎng)式設(shè)計(jì)結(jié)果與文獻(xiàn)［6］得到的設(shè)計(jì)結(jié)果對(duì)比后可以看出，本文方法得到的設(shè)計(jì)結(jié)果與遺傳算法得到的設(shè)計(jì)布局整體上一致，加強(qiáng)筋分布清晰合理，說明本文方法能夠有效地解決加強(qiáng)筋生長(zhǎng)式設(shè)計(jì)問題。以應(yīng)變能數(shù)值表征剛度，加強(qiáng)筋三維設(shè)計(jì)圖見圖11，經(jīng)仿真計(jì)算得出結(jié)論如下：加強(qiáng)筋材料體積增量為8.43%，結(jié)構(gòu)整體應(yīng)變能減小40.79%。

4.2 單邊固支方板

選取單邊固支方板［6，20］作為另一個(gè)典型算例，其基本尺寸與算例1相同，包括薄板、加強(qiáng)筋的尺寸，集中載荷大小，材料的彈性模量、泊松比。其中，加筋材料用量不超過薄板體積的19.1%，載荷位于P點(diǎn)，如圖12所示。

在本算例中，設(shè)置加強(qiáng)筋生長(zhǎng)“種子”數(shù)量為3，分別位于方板約束邊的頂點(diǎn)A、D與受力點(diǎn)P，如圖13所示。加強(qiáng)筋訓(xùn)練獎(jiǎng)勵(lì)值與訓(xùn)練次數(shù)之間的關(guān)系如圖14所示。由圖14可知，訓(xùn)練獎(jiǎng)勵(lì)值具有上升并波動(dòng)收斂的趨勢(shì)，這說明隨著訓(xùn)練次數(shù)的增加，加強(qiáng)筋愈發(fā)朝著能夠減小更多應(yīng)變能的方向生長(zhǎng)，證明了所提出的基于多智能體深度Q網(wǎng)絡(luò)交互的板殼加強(qiáng)筋生長(zhǎng)式設(shè)計(jì)的有效性。

根據(jù)智能體訓(xùn)練情況，得到加強(qiáng)筋生長(zhǎng)式布局的初步設(shè)計(jì)結(jié)果，如圖15所示。對(duì)圖15所示的四張加強(qiáng)筋生長(zhǎng)式布局的初步設(shè)計(jì)結(jié)果進(jìn)行疊加，取加強(qiáng)筋重疊部分，去除單獨(dú)的加強(qiáng)筋，得到平滑處理后的加強(qiáng)筋布局設(shè)計(jì)圖（圖16）。根據(jù)本工況中方形薄板所承受的載荷、約束以及結(jié)構(gòu)的對(duì)稱性，顯然其加強(qiáng)筋應(yīng)當(dāng)為對(duì)稱式分布。因此，分別對(duì)圖16a的上半部分與下半部分進(jìn)行對(duì)稱處理，最終得到加強(qiáng)筋生長(zhǎng)式設(shè)計(jì)圖（圖16b、圖16c）。從最終設(shè)計(jì)結(jié)果可以看出，本文方法得到的結(jié)果（圖16b、圖16c）與遺傳算法［6］得到的設(shè)計(jì)布局（圖17）整體上一致，加強(qiáng)筋分布清晰合理，說明本文方法能夠有效地解決加強(qiáng)筋分布設(shè)計(jì)問題。以應(yīng)變能數(shù)值表征剛度，圖16b的加強(qiáng)筋三維設(shè)計(jì)圖見圖18a，經(jīng)仿真計(jì)算得出結(jié)論如下：加強(qiáng)筋材料體積增加量為7.22%，應(yīng)變能減小26.57%。圖16c的加強(qiáng)筋三維設(shè)計(jì)圖見圖18b，經(jīng)仿真計(jì)算得出結(jié)論如下：加強(qiáng)筋材料體積增加量為8.99%，應(yīng)變能減小19.57%。比較后可知，圖18a所示的加強(qiáng)筋在體積變化更小的情況下具有更大的應(yīng)變能減小量，故性能更優(yōu)。

5 結(jié)論

（1）本文運(yùn)用馬爾可夫決策過程對(duì)板殼加強(qiáng)筋生長(zhǎng)過程進(jìn)行建模，通過多智能體深度Q網(wǎng)絡(luò)與加強(qiáng)筋生長(zhǎng)環(huán)境的交互，實(shí)現(xiàn)了板殼加強(qiáng)筋的生長(zhǎng)式設(shè)計(jì)。

（2）通過引入多智能體、共享狀態(tài)獎(jiǎng)勵(lì)并記憶特定動(dòng)作，降低了學(xué)習(xí)復(fù)雜度，最終實(shí)現(xiàn)獎(jiǎng)勵(lì)值的波動(dòng)收斂，達(dá)成板殼加強(qiáng)筋生長(zhǎng)式設(shè)計(jì)策略。

（3）通過經(jīng)典算例驗(yàn)證了本文基于多智能體深度Q網(wǎng)絡(luò)交互的板殼加強(qiáng)筋生長(zhǎng)式設(shè)計(jì)的有效性，最終得到了清晰合理的加強(qiáng)筋設(shè)計(jì)布局。

本文論述的基于多智能體深度Q網(wǎng)絡(luò)交互的板殼加強(qiáng)筋生長(zhǎng)式設(shè)計(jì)方法的實(shí)現(xiàn)過程印證了該方法在理論上對(duì)不同的板殼及受載工況均具有普適性。然而，由于該方法的研究仍然處于初步階段，故優(yōu)先且著重考慮采用共識(shí)性算例來驗(yàn)證其可行性與正確性，以期為后續(xù)進(jìn)一步研究提供有效性支撐。后續(xù)將引入更為復(fù)雜的工況，以研究相關(guān)設(shè)計(jì)變量對(duì)優(yōu)化結(jié)果的影響。

參考文獻(xiàn)：

［1］ MA Xiangtao， WANG Fayao， AAGE N， et al. Generative Design of Stiffened Plates Based on Homogenization Method［J］. Structural and Multidisciplinary Optimization， 2021， 64（6）：3951-3969.

［2］ WANG Bo， TIAN Kuo， HAO Peng， et al. Hybrid Analysis and Optimization of Hierarchical Stiffened Plates Based on Asymptotic Homogenization Method［J］. Composite Structures， 2015， 132：136-147.

［3］ BENDS E M P， SIGMUND O. Material Interpolation Schemes in Topology Optimization［J］. Archive of Applied Mechanics， 1999， 69（9）：635-654.

［4］ LI Pengfei， WU Yi， YVONNET J. A SIMP-phase Field Topology Optimization Framework to Maximize Quasi-brittle Fracture Resistance of 2D and 3D Composites［J］. Theoretical and Applied Fracture Mechanics， 2021， 114：102919.

［5］ LI Baotong， LIU Honglei， YANG Zihui， et al. Stiffness Design of Plate/Shell Structures by Evolutionary Topology Optimization［J］. Thin-Walled Structures， 2019， 141：232-250.

［6］ FATEMI J， TROMPETTE P. Optimal Design of Stiffened Plate Structures［C］∥43rd AIAA/ASME/ASCE/AHS/ASC Structures， Structural Dynamics， and Materials Conference. Reston， 2002：1672.

［7］ MULANI S B， SLEMP W C H， KAPANIA R K. EBF3PanelOpt：an Optimization Framework for Curvilinear Blade-stiffened Panels［J］. Thin-Walled Structures， 2013， 63：13-26.

［8］ 張衛(wèi)紅， 章勝冬， 高彤. 薄壁結(jié)構(gòu)的加筋布局優(yōu)化設(shè)計(jì)［J］. 航空學(xué)報(bào)， 2009， 30（11）：2126-2131.

ZHANG Weihong， ZHANG Shengdong， GAO Tong. Stiffener Layout Optimization of Thin Walled Structures［J］. Acta Aeronautica et Astronautica Sinica， 2009， 30（11）：2126-2131.

［9］ ZHANG Weisheng， YUAN Jie， ZHANG Jian， et al. A New Topology Optimization Approach Based on Moving Morphable Components（MMC） and the Ersatz Material Model［J］. Structural and Multidisciplinary Optimization， 2016， 53（6）：1243-1260.

［10］ 崔榮華， 崔天晨， 孫直， 等. 基于水平集法的薄板加強(qiáng)筋分布優(yōu)化理論研究［J］. 固體力學(xué)學(xué)報(bào)， 2018， 39（6）：587-593.

CUI Ronghua， CUI Tianchen， SUN Zhi， et al. Topology Optimization for Stiffener Layout of Thin Plate Structures Based on Level Set Method［J］. Chinese Journal of Solid Mechanics， 2018， 39（6）：587-593.

［11］ DING Xiaohong， YAMAZAKI K. Adaptive Growth Technique of Stiffener Layout Pattern for Plate and Shell Structures to Achieve Minimum Compliance［J］. Engineering Optimization， 2005， 37（3）：259-276.

［12］ LI Yongxin， XUE Kai. Mechanics in Leaf Venation Morphogenesis and Their Biomimetic Inspiration to Construct a 2-dimensional Reinforcement Layout Model［J］. Journal of Biomimetics， Biomaterials and Tissue Engineering， 2011， 10：81-93.

［13］ 薛開， 李永欣. 板殼結(jié)構(gòu)加筋布局的仿生脈序生長(zhǎng)算法［J］. 哈爾濱工程大學(xué)學(xué)報(bào)， 2011， 32（9）：1262-1266.

XUE Kai， LI Yongxin. A Bionic Venation Growth Algorithm for a Stiffener Layout in Plate/Shell Structure［J］. Journal of Harbin Engineering University， 2011， 32（9）：1262-1266.

［14］ SHEN Lei， DING Xiaohong， HU Tiannan， et al. Simultaneous Optimization of Stiffener Layout of 3D Box Structure Together with Attached Tuned Mass Dampers under Harmonic Excitations［J］. Structural and Multidisciplinary Optimization， 2021， 64（2）：721-737.

［15］ 張坤鵬， 郝鵬， 段于輝， 等. 基于深度學(xué)習(xí)的多級(jí)曲線加筋壁板布局優(yōu)化設(shè)計(jì)［J］. 中國艦船研究， 2021， 16（4）：86-95.

ZHANG Kunpeng， HAO Peng， DUAN Yuhui， et al. Layout Optimization Design of Hierarchical Curvilinearly Stiffened Panels Based on Deep Learning［J］. Chinese Journal of Ship Research， 2021， 16（4）：86-95.

［16］ 董偉， 李揚(yáng)， 辛克浩， 等. 基于拓?fù)鋬?yōu)化的點(diǎn)陣-加筋板式結(jié)構(gòu)設(shè)計(jì)方法［J］. 西北工業(yè)大學(xué)學(xué)報(bào)， 2021， 39（6）：1233-1239.

DONG Wei， LI Yang， XIN Kehao， et al. A Method of Designing Plate Structure Consisting of Lattices and Stiffeners Based on Topology Optimization［J］. Journal of Northwestern Polytechnical University， 2021， 39（6）：1233-1239.

［17］ SINGH K， KAPANIA R K. Accelerated Optimization of Curvilinearly Stiffened Panels Using Deep Learning［J］. Thin-Walled Structures， 2021， 161：107418.

［18］ LIU Dachuan， HAO Peng， XU Tengfei， et al. Intelligent Optimization of Stiffener Unit Cell via Variational Autoencoder-based Feature Extraction［J］. Structural and Multidisciplinary Optimization， 2022， 66（1）：8.

［19］ 丁曉紅， 李國杰， 蔡戈堅(jiān)， 等. 薄板結(jié)構(gòu)的加強(qiáng)筋自適應(yīng)成長(zhǎng)設(shè)計(jì)法［J］. 中國機(jī)械工程， 2005， 16（12）：1057-1060.

DING Xiaohong， LI Guojie， CAI Gejian， et al. Adaptive Growth Method of Rib Distribution for Thin Plate Structure［J］. China Mechanical Engineering， 2005， 16（12）：1057-1060.

［20］ GUO Xu， ZHANG Weisheng， ZHONG Wenliang. Topology Optimization Based on Moving Deformable Components：a New Computational Framework［EB/OL］. 2014：arXiv：1404.4820. http：∥arxiv.org/abs/1404.4820.

（編輯 陳 勇）