基于DQN 算法的預制構件生產線排產優化問題研究

摘要：針對預制構件生產線排產優化問題，提出了一種基于DQN算法的預制構件生產線排產優化方法。本文以最小最大完工時間和最小化能耗為評價指標，建立了預制構件生產車間的數學模型，并運用DQN算法對預制構件生產線排產優化問題進行求解，同時，由于DQN算法在解決本問題時無法給出即時回報，使得算法訓練結果過于振蕩不穩定，因此設計密集獎勵，使最后的探索學習結果趨于穩定。通過與多種算法進行對比試驗，證明了該方法適用于預制構件生產線排產優化問題。

關鍵詞：預制構件；生產排產；生產線；DQN算法；目標優化

中圖分類號：TP311 文獻標識碼：A

文章編號：1009-3044（2024）32-0104-03 開放科學（資源服務）標識碼（OSID） ：

0 引言

在預制構件生產過程中，解決多約束預制構件生產線排產問題是構件生產企業提高核心競爭力的最佳途徑[1]，由于不同排產方案的生產時間和總能耗不同，因此，找到最優的生產方案能夠節約時間和能耗，減少生產成本。預制構件生產優化為NP-hard問題，無法在理想的時間內用精確方法得到全局最優解[2]。而且，當問題約束趨于復雜時，求解一定規模問題的全局最優生產方案會更加困難[3]。目前在對裝配式建筑預制構件調度問題優化求解時，解的質量根據使用算法的性能而不同[4]。因此，根據所求問題選擇適合的算法，在理想的時間內得到較為滿意的可行解在實際過程中尤為重要。

1 模型建立

1.1 問題描述

在模具數量和養護窯數量有限的約束下，預制構件生產車間中，構件的生產過程普遍需要經過六個工序的加工，其中第一階段是支模工序段，構件在工序段進行模具模臺的組合分配，第二個階段是預制構件的鋼筋和混凝土澆筑，第三個階段是蒸養工序，該階段進行構件的養護工作，構件在養護窯內進行加工過，不同類型的構件所需養護時間不同，不同時刻進入養護窯的構件養護時間也不同，導致蒸養工序具有復雜的生產特點。第四個階段是拆模工序段，在該工序對之前模具模臺組合分配后的構件進行拆解，最后一個階段是成品修整和檢查。只有當整個模臺上布置的所有預制構件該工序操作完成后才能移動到下一個工序，且一個工序有多個加工設備可供選擇，每個設備的加工時間和能源消耗可能不同。通過合理安排模臺之間的生產排序，優化生產線的性能指標。

1.2 參數設置

1.3 約束條件

公式（1）表示不同序號的模臺在不同工序上進行加工，其結束時間等于該模臺在該工序開始加工的時間與該模臺在該工序所需加工時間的和。

公式（2）表示工件在進入下一道工序加工之前，必須先完成本道工序的加工任務。

公式（3）表示工件只能在一個工序中的一個加工工位上進行加工。

1.4 全局優化目標

預制構件生產線生產排產問題可以描述為：單日生產訂單下達要生產的構件數量，然后對構件進行預處理分析構件的類型和尺寸，對構件進行模具模臺的組合分配，將同種規則的構件進行放置到同一個模臺搭配，然后每個模臺依次經過預制構件生產線的所有工序進行加工生產，其中某些工序可以有多個加工機器同時進行生產，但是機器的數量不是無限的，同時在生產過程中每個模臺上的構件都要按工序的先后順序進行加工，每個工序上的時間根據模臺上的構件進行運算，通過合理有效地排產獲得最小化完工時間和最小化總能耗，使資源合理安排，保證能耗的最小損失。

基于以上的描述，以最小化預制構件完工時間和最小化總能耗為目標建立數學模型，如下所示目標函數：

2 基于DQN算法的預制構件生產線排產優化方法

2.1 狀態空間

狀態量共有3個：工序Pr，構件已完成加工量Fn，所選擇的加工機器Ma。如[（1，2），（2，1），（6，1） ]為預制構件的位置信息矩陣，該矩陣表明在工序1機器2、工序2 機器1和工序6機器1處有預制構件在進行加工。如[ Pr，Fn，Ma ]為預制構件的完工量信息矩陣，在某時刻t的狀態矩陣St如[1，0，1]，0表示完成加工，1表示正在進行加工。

2.2 動作空間

通過上面針對預制構件生產線的數學建模所描述的情況，本算法的動作定義為下一個預制構件分配到哪個工序的哪個機器上加工，表2為預制構件生產線排產系統的動作空間。

2.3 回報函數

本文針對預制構件生產線的排產優化問題，旨在優化目標，實現最小化完工時間和機器負載。為了有效地設計獎勵函數，我們依據了優化目標的設定。在我們的假設中，工件的各工序單位加工量都是相同的。因此，隨著機器加工時間的增加，機器負載也相應增加。為了準確衡量機器的總負載量，我們采用了機器有效加工時間作為指標來表示：

在DQN算法的學習過程中[5]，狀態對應著動作空間中的可選操作，然而，并非每個狀態下的動作都是合法的。舉例來說，當狀態處于已經在某一個工序上的其中一個機器進行加工時，狀態不允許繼續選擇在該機器上進行加工，因為該工序上的這個機器正在被使用。如果算法在學習時仍然選擇錯誤的機器進行加工，則這被視為非法操作，獲得負反饋。通過學習避免相同的情況再次發生，因此獎勵函數可依據如公式（7）所示。

2.4 算法設計流程

本節將采用ε 貪婪探索策略結合設計瞬時獎勵的DQN算法來解決本文的預制構件生產線排產優化問題，具體設計流程如下：

步驟1：創建DQN網絡，預制構件生產線排產優化模型的狀態矩陣作為DQN網絡的輸入，輸入狀態矩陣后可以輸出這個狀態下所有動作的Q值；

步驟2：創建ε - greedy 策略得到最優動作和隨機動作；

步驟3：建立數據集；

步驟4：從經驗池中取出隨機數據來用于訓練神經網絡；

步驟5：配置網絡訓練相關參數將Q現實網絡參數復制給Q目標網絡；

步驟6：分創建目標網絡和評估網絡；

步驟7：計算Q值。網絡輸入狀態，輸出動作的Q值；

步驟8：定義動作接口，對應的是經驗池中的動作；

步驟9：定義損失函數計算方法，并設計隨機梯度方法降低損失函數。

3 仿真實驗

3.1 構造仿真數據

通過企業調研獲取實際案例數據，基于本團隊在預制構件生產企業實施MES項目迭代應用過程，對生產線中各類生產數據抽取，以及對生產管理人員的生產運作經驗，并對構件生產相關數據進行加工整理，得到如表3所示構件生產數據信息，同類構件不再重復列出。根據生產工廠實際情況，依照一條生產流水線班組配置的資源可知，養護窯容量最多允許同時放置6個模臺。

3.2 仿真結果分析

1） 評價指標分析

為驗證基于DQN算法的預制構件生產線排產優化方法在解決具有多種復雜約束排產問題的有效性，通過與以前學者們采用的粒子群優化算法[6]（ParticleSwarm Optimization，PSO）、遺傳算法[7] （Genetic Algo?rithm，GA）和Q學習算法[8]（Q-learning）在解決預制構件生產線排產優化問題中的性能進行對比。從表4可以看出，采用DQN算法其主要評價指標最小化最大完工時間F max為715，加工能耗TEC 為23 673，相比于采用PSO、GA和Q-learning算法對于解決預制構件生產線排產問題具有較好的效果，說明基于DQN算法應用在求解預制構件生產線排產優化問題時能取得更好的優化效果。

圖1和圖2分別為4種算法分別運行10次所得的完工時間和生產線總能耗圖，從圖可以看出，應用PSO算法和GA算法進行仿真實驗得到結果曲線波動較大，算法的穩定性較差。應用Q-learning算法雖然較前兩種算法在優化效果和所得結果穩定性上有所提高，但是相對于DQN算法在加工工時的優化上效果較差，應用DQN算法在進行仿真訓練后獲得的評價指標最小最大完工時間的平均值為712，是4種算法中平均值最小的，同時應用DQN算法相比于其他三種算法不僅優化效果更好，且其排產結果的穩定性也是4 種算法中最好的。

4 結論

本文描述了預制構件生產車間具有約束復雜、工藝流程和設備選用靈活的特點，以最小化完工時間和最小化能耗為優化目標對預制構件生產車間排產問題進行了數學建模，提出了基于DQN算法求解預制構件生產線排產優化問題，詳細介紹了DQN算法的具體實現，最后再通過實例進行仿真實驗與其他算法的測試結果進行了對比，得出了DQN算法在處理預制構件生產線排產優化問題上可以優化最小化最大完工時間，并且能夠減少能源損耗，驗證了本章提出的DQN算法在處理預制構件生產線排產優化問題上的有效性和優越性。

參考文獻：

[1] 李大洲.裝配式建筑構件生產過程質量控制措施[J].江蘇建材，2023（6）：3-4.

[2] 陳繼文，張譯勻，高曉明，等.基于改進遺傳算法的PC構件生產調度優化[J].機械設計與制造工程，2024，53（1）：95-99.

[3] 劉福磊，鄧曉平，于海洋，等.多資源約束下的預制構件生產調度優化與資源再配置[J].軟件，2024，45（3）：22-29，73.

[4] 董全德，李泓鋒.混凝土預制構件多產線生產養護時間優化[J].住宅與房地產，2023（2）：54-57.

[5] 史殿習，彭瀅璇，楊煥煥，等.基于DQN的多智能體深度強化學習運動規劃方法[J].計算機科學，2024，51（2）：268-277.

[6] DAI Z，LIU X，ZHANG L，et al.Enhancing SRTM DEM correc?tion accuracy with a PSO-RF method utilizing ICESat-2/ATLAS data[J].Academic Journal of Engineering and Technol?ogy Science，2023，6（11）.

[7] CAO J E，CAO P L，WEN C D，et al.Multi-objective niching quantum genetic algorithm-based optimization method for pneumatic hammer structure[J].Expert Systems with Applica?tions，2024，238：122047.

[8] MOMENIKORBEKANDI A，ABBOD M.Intelligent scheduling based on reinforcement learning approaches：applying advanced Q-learning and state-action-reward-state-action reinforce?ment learning models for the optimisation of job shop schedul?ing problems[J].Electronics，2023，12（23）：4752.

【通聯編輯：梁書】

基金項目： 遼寧省重點研發計劃項目（2020JH2/10100039）；遼寧省教育廳高等學校基本科研項目重點項目（LJKZ0583）；遼寧省科技廳應用基礎研究計劃（20221300253）