基于多元動因驅動的中藥制藥車間動態調度建模與優化

中圖分類號：TH181

DOI：10.3969/j.issn.1004-132X.2025.06.012 開放科學（資源服務）標識碼（OSID）：

Modelling and Optimisation of Dynamic Scheduling in Chinese Materia Medica Pharmaceuticals Workshops Based on Multiple Motivation Drivers

ZHAO Peirui1DENG Chao1* ZHU BolYAN Wenbin1LIANG Min2 CHEN Min2 1.School of Mechanical and Electronic Engineering，Kunming University of Science and Technology， Kunming， 2.Yunnan Baiyao Group Co.，Ltd.，Kunming，

Abstract： A dynamic scheduling problem of Chinese materia medica pharmaceutical workshop driven by multiple dynamic factors（DSP-CMMPW-MDF） model was established，the multiple dynamic factors such as raw material shortages，emergency order insertions，and machine breakdowns. An improved artificial bee colony with Q-learning（IABC-QL） algorithm was proposed to solve the DSPCMMPW-MDF with the optimization objective of minimizing makespan. In the IABC-QL algorithm， an opposition-based learning strategy was proposed to generate the initial population，ensuring high quality and diversity of the population individuals.Five local search operations were designed to enhance the deep exploration capability of the algorithm. Thus the proposed model and algorithm were applied to a Chinese materia medica pharmaceutical granule production workshop. The results show that the proposed model may effectively improve the flexibility and adaptability of the production systems in the face of uncertainties. Additionally，a comparison with existing algorithms validates the effectiveness of the proposed algorithm.

Key words： data-driven; Chinese materia medica pharmaceutical; workshop scheduling；dynamic scheduling；artificial bee colony algorithm

0 引言

中醫藥產品具有多品種、多規格、多批量的特點，一般按照市場的需求進行拉式生產。傳統中藥品大都靠人工的方式安排生產，隨著信息化、智能化水平的不斷提高，智能排產已經開始嶄露頭角，在高效利用有限資源的情況下可提高生產效率。花植等1結合中藥生產的特點，將遺傳算法應用于中藥生產調度，在一定程度上有效解決了中藥生產調度問題，并設計出了中藥制藥系統的原型。羅亞波等2針對中藥提取車間生產周期長、物料浪費嚴重，實際生產時生產相關時間和物料損失之間存在著復雜的制約關系，導致調度難度高，排產效率低的問題，以最小化完工時間和物料總損失量為優化目標，提出了一種改進的進化算法。從上述文獻可知，現有對中藥制藥車間調度的研究主要集中于靜態環境，通常假設生產要素是確定的。然而，中藥制藥車間是一個特殊的生產調度環境，制藥過程約束多，動態影響因素多，使得實際生產往往與計劃之間存在較大差異，造成生產過程不可控。

動態調度能夠提高調度方案的準確性和穩定性，是應對生產中不確定性的一種有效方法[3]。NOUIRI等[4]從機器故障的角度研究了基于綠色動態柔性作業車間的動態調度問題，設計了部分重調度策略，構建了混合整數線性規劃模型，并采用粒子群優化算法（PSO）進行求解，成功縮短了最小生產周期、減少了能源消耗。PENG等[5]從機器故障導致生產中斷的角度研究了煉鋼-精煉-連鑄工藝中的混合流水車間動態調度問題，考慮連鑄階段的加工時間可控，采用6個現實目標的加權和來衡量進度質量，設計了連鑄階段作業之間的優先約束，并提出了一種改進的人工蜂群（improved artificial beecolony，IABC）算法進行求解。CALDEIRA等從新作業到達的角度研究了柔性作業車間的動態調度問題，構建了一個部分重調度混合整數線性規劃模型，設計了一種基于松弛的插入重調度策略，提出了改進的回溯搜索算法進行求解，達到了縮短最小化最大完工時間和減少能源消耗的目標。GAO等從新作業到達的角度研究了柔性作業車間的動態調度問題，考慮了模糊處理時間和新作業插入約束，構建了一個完全重調度混合整數線性規劃模型，并提出兩階段人工蜂群算法對模型進行求解，成功求解出了最小化最大模糊完工時間。LYU等[8]從具有替代工藝計劃的角度研究了節能柔性作業車間動態調度問題，設計了針對新工作到來和機器故障的重新安排機制，構建了混合整數規劃優化模型，并提出了多目標模擬退火算法進行求解，以實現對模型的有效優化。從上述文獻可知，現有的動態調度研究大多基于事件驅動的方法，主要針對單一動態因素進行分析，缺乏對多重動態因素相互作用的綜合考量和協同優化，這導致在應對復雜多變的生產環境時難以找到最優解，在面對多種不確定性因素時的適應性和魯棒性不足。

數據驅動技術為復雜多變的動態調度問題提供了有效的解決方案[9-10]。運用數據驅動技術[11-12]能夠將多種突發情況綜合考慮，構建出涵蓋多種實際因素影響的動態調度模型。因此，本文結合數據驅動技術構建了一個在機器故障、緊急插單以及原料未到達等多重動態因素驅動下的中藥制藥車間動態調度模型，并以最小化最大完工時間為優化目標提出了一種基于Q-learning的改進人工蜂群算法對其進行求解。

1問題描述及數學模型

1.1 問題描述

中藥制藥生產具有多品種、多規格、多批量的特點，針對市場需求波動和生產資源動態變化等問題，本文同時考慮臨時插單、臨時故障和原料缺貨未到達三種突發事件對生產線的影響，提出了以最小化最大完工時間為目標的動態調度問題，并將該問題建模為基于多元動因驅動的中藥制藥車間動態調度問題（dynamicschedulingproblemof Chinese materia medica pharmaceutical work-shop driven by multiple dynamic factors，DSP-CMMPW-MDF）。

文中涉及符號的說明如表1所示，問題模型如圖1所示。

模型描述如下：現存在 N 個待加工的產品J_j（j=1，2，…，N） ，需要在 M 條流水線 F_f（f= 1，2，…，M） 上加工，每個待加工的產品有多條流水線可以選擇，其加工順序按照規定的產品順序進行，其中產線設置時間與產線上一產品種類、規格有關，產品加工速率已知，且規格不同生產速率不同。在此基礎上，考慮上述三種突發事件，在任一時刻，發生臨時插單情況下，存在 A 個插單產品，則未加工產品集為 J_j^′（j^′=1，2，…，N-A） 存在 B 個撤銷產品，則未加工產品集為 J_j^′（j^′=1 .2，…，N-B） ；在任一時刻，發生臨時故障情況，存在 c 條故障產線，則可用流水線集為 F_f^′（f^′= 1，2，…，M-C） 。在原料缺貨情況下，產品 J_j 原料到貨時間被推遲，使得產品 J_j 最早開始時間延遲到 X_j 。為了更好地描述其數學模型，作如下假設： ① 所有產品相互獨立且在零時刻均可加工，加工產線均可用； ② 原料到貨時間和放假時間提前已知； ③ 假期可以在任一時刻，發生在任一產線上； ④ 當產線出現假期時，生產作業會被延后；⑤ 產線出現假期時，不存在同一批次被中斷的情況； ⑥ 機器故障后可修復，且修復時長已知； ⑦ 產線加工過程不可中斷，若該產線發生故障，則該產品被分配到其他產線上加工； ⑧ 臨時插單情況默認原料能夠滿足生產條件，不存在原料未能到達情況； ⑨ 出現突發情況時，同一時刻只會出現一種突發情況。

1.2 基于多元動因驅動的動態調度數學模型構建

在DSP-CMMPW-MDF中，初始排產計劃是在接收訂單后生成的，之后提交給物料部門確認物料是否到位。若物料滿足條件，則按計劃進行生產；否則，需要根據物料的到貨時間重新調整計劃。然而，生產過程中可能出現緊急訂單、原材料到達時間延遲或設備故障等問題，要求系統具備靈活性和快速反應能力。因此，需要基于多元數據驅動技術設計符合問題特性的動態調度策略，實時調整排產計劃，以應對實際生產中的變化。本文以最小化最大完工時間為優化目標，表達式如下：

C_max=min{max（C_f）}

1.2.1 初始調度模型

產品 j 只能夠在指定流水線 f 上加工，其約束條件如下：

在原調度中產品 j 分配到產線 f 上加工其他

同一條產線在同一時間最多只能加工一個產品，其約束條件如下：

y_{（j-1，j），f}+y_{（j，j-1），f}=1

在產線 f 上，產品 j-1 先于 j 加工其他

產品 j 的開始時間應不小于該流水線 f 的上一個產品 j-1 的完工時間加上產線設置時間（從上一個工件切換到下一個工件所需要的時間），即

R_j，f?C_j-1，f+T_{（j-1，j），f}

產品開始加工時間一定不小于產品原料到貨時間，即

R_j，f?X_j

第 f 條流水線上第 j 個產品的加工時間為

產品 j 的完工時間應不小于產品 j 開始加工時間加上產品 j 所需加工時間，即

C_j，f?P_j，f+R_j，f

當存在假期情況時，會出現生產被假期中斷的情況，因此除式 （2）～ 式（7）外補充以下約束條件。

1）處于放假之前的產品 j 開始時間應不小于該產線 f 上一產品 j-1 完工時間加上產線設置時間，即

R_j，f^′≥C_j-1，f+T_{（j-1，j），f}

2）產品 j 在放假時刻已經完成批次的結束時間應不大于放假開始時間，即

C_{j，f，（Bj-Bj^′）}^′?O_f

3）產品 j 剩余批次加工開始時間應不小于放假結束時間（放假開始時間加上流水線 j 上放假持續時間），即

Rj，f，Bj′′′≥Of+Yf

4）產品剩余批次完工時間 Cj，f，Bj′′′ 應不小于產品剩余批次的開始加工時間 Pj，f，Bj′ 加上剩余批次所需加工時間 Rj，f，Bj′ ，即

Cj，f，Bj′′′≥Pj，f，Bj′+Rj，f，Bj′

1.2.2 基于多元動因驅動的動態調度模型

本文在初始調度模型的基礎上，考慮生產環境中的多種動態因素，并結合多元數據驅動技術，設計了一個能夠適應多重動態因素影響的動態調度模型，如圖2所示。通過實時數據的驅動，該模型能夠確保排產方案的時效性、準確性和高效性，從而最大限度地減少生產中斷和延誤，提高生產系統的穩健性與響應能力。

1.2.2.1 原材料缺貨情況下的動態調度模型

為了應對原料未能及時到達而導致生產延后的特殊情況，設計了一種插空策略，如圖3所示。具體實現步驟如下： ① 識別瓶頸工件，確定哪些工件由于原料未到而導致生產延后； ② 篩選可插入工件，在同一條產線上查找可以立即加工且不受原料供應影響的工件； ③ 將可插人工件提前插入到瓶頸工件的前面，以確保產線在等待原料的過程中仍然能夠持續運作； ④ 根據原料的到達時間和工件的加工情況動態調整工件的排程順序，確保生產計劃的靈活性和高效性。

這種插空策略不僅可以有效解決因原料延遲導致的生產延后問題，還能顯著提高生產線的整體利用率和生產效率。

當出現原材料不滿足生產時，除式（2）～式（11）外補充以下約束條件。

1）無假期或者假期之前插空產品 j 的開始加工時間不小于上一產品完工時間與產線設置時間之和，即

2）假期之后插空產品 j 的開始加工時間應不

小于該產線上一產品 j-1 的完工時間加上產線設置時間之和與放假結束時間的最大值，即

3）插空產品 j 的完工時間不小于產品所需加工時間與產品開始加工時間之和，即

4）未能插空產品 j 的開始加工時間不小于產線完工時間與產線設置時間之和，即

5）未能插空產品 j 的完工時間不小于產品開始加工時間與產品所需加工時間之和，即

1.2.2.2 臨時插單/撤單情況下的動態調度模型

臨時插單／撤單是指生產過程已經開始后，由于緊急訂單或客戶需求的變化，需要將新的生產任務加入到已經排定的生產計劃中的情況。

以下情況均被視為臨時插單/撤單： ① 原訂單中排在后面的產品被前移或者排在前面的產品被后移； ② 原訂單中同批次產品被要求分段生產； ③ 原訂單中產品全部被撤銷或者部分被撤銷； ④ 新增訂單。

當出現臨時撤單情況時，將剩余產品順次提前；當出現臨時插單情況時除式 （2）～ 式（16）外，另補充以下約束。

1）產品的開始加工時間應不小于該產線上一產品的完工時間加上產線設置時間，即

2）產品的結束時間應不小于產品開始加工時間加上產品所需加工時間，即

3）在動態調度中，當存在假期情況時，產品在放假時刻已經完成批次的結束時間應不大于放假開始時間，即

C_{j^′，f，（Bj^′-Bj^′′）}^′?O_f

4）產品中剩余批次繼續加工的開始時間應不小于放假結束時間，即

Rj′，f，Bj′′′′?Of+Yf

5）產品中剩余批次完工時間應不小于產品中剩下的批次繼續加工的開始時間加上剩下的批次繼續加工的所需時間，即

Cj′，f，Bj′′′?Pj′，f，Bj′′′+Rj′，Ff，Bj′′′

1.2.2.3 機器故障情況下的動態調度模型

在生產過程中，當產線發生故障時，采用完全重調度策略（CR）。相關操作需在式 （2）～ 式（16）之外補充相應約束條件。

1）產品開始加工時間應不小于該產線上一產品與故障修復時間中的最大值加工設置時間：

2）產品的完工時間不小于該產品批次所需加工時間加上產品開始加工時間：

3）在動態調度中，當存在假期情況時，產品在假期之前的批次結束時間應不大于放假開始時間與維修時間的最小值，即

4）產品剩余批次繼續加工的開始時間應不小于放假結束時間與維修時間的最大值，即

5）產品剩余批次完工時間應不小于產品中剩下的批次繼續加工的開始時間加上剩下的批次繼續加工的所需時間，即

2基于 Q -learning的改進人工蜂群算法求解多元動因驅動下的中藥制藥車間調度問題

2.1 編碼和解碼

1）編碼。本文采用基于操作的排列編碼，即獲取所有工件序號進行隨機排列，從而形成個體，個體長度等于待加工的產品數，工件在個體中的位置代表工件的加工順序。例如，某中藥制藥車間有10個待加工的產品，根據優先級依次對產品進行編號 P={5，2，7，1，3，6，4，10，9，8} ，則 P 表示先加工工件5，然后依次對工件 2，7，1，3，6，4 ，10，9，8進行加工。

2）解碼。在解碼過程中，依據最早完工時間（earliestcompletiontime，ECT）規則對個體進行解碼。首先針對每條產線確定其最早可能的完工時間，然后計算流水線的完工時間，并將下一個工件指派到最早完工的流水線。

2.2 初始化種群

為了兼顧初始種群的質量和多樣性，采用反向學習 策 略（opposition-basedlearning，OBL）[13]來初始化種群。反向學習策略（圖4）同時考慮個體及其反向個體，可以提高種群覆蓋搜索空間的能力，從而提高優化算法的效率。初始化過程如下：

1）設定種群個體數為 N 。

2）隨機生成 N 個個體，記為種群 P₁ 。然后，對隨機生成的 N 個個體進行反向學習，生成對應的反向種群 P₂ 。反向個體的生成設工件編號的最小數為1，最大數為 n ，當前工件編號為 J_i ，則 的反向學習 的編號為 。

3）將隨機生成的種群 P₁ 和通過反向學習生成的種群 P₂ 合并，得到合并種群 P 。

4）對合并后的種群個體進行適應度排序，選出適應度最好的 N 個個體作為初始種群。

2.3 雇傭蜂搜索階段

在雇傭蜂搜索階段，本文采用兩種鄰域操作，即交叉和變異。具體操作如圖5所示。該階段操作過程如下：引入控制參數 α （用來控制迭代次數）。種群中的個體都要進行 α 次鄰域操作，通過隨機概率選擇鄰域操作，如果隨機變量為1則進行NS1操作；如果隨機變量為2則進行NS2操作。其中鄰域操作NS1指在工件序列中，隨機選取兩個具有不同位置的工件號進行交換，得到新的序列。鄰域操作NS2指將工件序列中的一個工件從當前位置移動到序列中的另一個位置，同時順序調整其他工件位置。若鄰域解 X_l^? 與原始解 X_ι 相比有所改進，則更新解；若鄰域解比原始解差，則保留原始解舍棄鄰域解，并記錄更新失敗次數 L_Xl 。雇傭蜂搜索階段詳細過程（算法1）如下：

輸入：個體 X_l={x_l，1，x_l，2，…，x_l，n} ，控制參數 α

輸出：更新后的個體 X_l={x_l，1，x_l，2，…，x_l，n} （20號

For i=1 to p_s do

IFC_max（X_l^*）max（X_l） thenX_l=X_l^* ;Lx=0；ElseX=X；L=Lx+1；End ifEnd For

End For

2.4 跟隨蜂搜索階段

跟隨蜂階段，本文采用二元錦標賽選擇策略選擇種群中的個體。在該策略中，隨機選擇兩個個體進行競爭，并從中選出獲勝者。獲勝個體采用與雇傭蜂階段相同的方法生成新的鄰域解。若鄰域解優于種群中的最差個體 X_worst 并且優于當前個體，則最差解被替換。若鄰域解優于當前最佳解，則更新當前最佳解。跟隨蜂搜索階段詳細過程（算法2）如下：

輸入：個體 X_l={x_l，1，x_l，2，…，x_l，n}

輸出：更新后的個體 X_l={x_l，1，x_l，2，…，x_l，n}

For i=1 to p_s do隨機選取兩個不同個體 X_l，1 和 X_l，2 X_l← 二元錦標賽 （X_l，1，X_l，2） ：IF rand =1 then Else一 X_l^*←insert（X_l） ·End ifIFC_max（X_l^*）max（X_worst） and C_max（X_l^*）lt; C_max（X_l） thenX=X；Lx=0;ElseX，=X;L_Xl^*=L_Xl+1 End if

End For

2.5 偵察蜂搜索階段

偵察蜂階段，本文采用增強策略來生成新個體。該策略對指定迭代限制內未更新的個體進行隨機搜索，以避免窮舉搜索，從而提高算法效率。該階段操作過程如下：引入控制參數 L （用來記錄個體更新失敗次數）和 φ （用來表示丟棄個體的迭代次數）來防止算法陷入局部最優。如果個體的迭代更新失敗次數大于 L ，則丟棄該個體。被丟棄的個體經過 φ 次隨機插入操作，產生 φ 個候選個體。之后選擇候選個體中的最優個體作為新個體。如果選擇的個體優于當前最佳解，則更新當前最佳解。如果比當前最佳解差，則該個體被舍棄。偵察蜂搜索階段詳細過程（算法3）如下：

輸入：未被更新的個體 X_l={x_l，1，x_l，2，…，x_l，n} ，個體更新失敗次數 L ，丟棄個體的迭代次數 φ

輸出：新個體 X_l={x_l，1，x_l，2，…，x_l，n} （204號

For i=1 to p_s do IFL（X_l）?L then For j=1 to φ do （20 ： （204號 X_temp^*insert（X_temp） IF C_max（X_temp^*）max（X_l） then _ X_ι=X_temp^? ： Endif End For End if" End For

2.6 基于Q-learning的局部搜索

經典的元啟發式算法容易陷人局部最優且收斂效率低，因此，本文根據問題的特點，針對種群中的優質解設計了五種局部搜索策略 LS1～LS2 以提高收斂速度并快速找到高質量的解： ①LS1 ，在工件序列中，隨機選取兩個具有不同位置的工件進行交換； ②LS2 ，在工件序列中，隨機選取兩個具有不同位置的工件進行兩次交換； ③LS3 ，在工件序列中，隨機移除一些具有不同位置的工件并將其作為整體插入到原序列中，保留完工時間最小的新序列； ④LS4 ，在工件序列中，隨機移除一些具有不同位置的工件，按照移除順序一個接一個插人到原序列中，保留完工時間最小的新序列； ⑤LS5 ，在工件序列中，隨機移除一些具有不同位置的工件，將其按原相對位置逆序作為整體插人到原序列中，保留完工時間最小的新序列。

為了更好地解釋上述鄰域操作，以個體 P= {5，2，7，1，3，6，4，10，9，8} 為例。算子對工件的交換、插入位置是隨機選擇的，并用下劃線標明，如表2所示。

本文利用 Q -learning算法來動態選擇局部搜索階段的搜索策略， Q 值的更新公式如下：

Q（s_t，a_t）=（1-A）Q（s_t，a_t）+A（R+

γmaxQ（s_t+1，a_t+1））

其中， Q（s_t，a_t） 為對當前狀態 s_t 執行動作 a_t 獲得的 Q 值， A 為學習率， R 為獎勵值，γ為折扣率，maxQ（s_t+1，a_t+1） 表示在狀態 s_t+1 下選擇動作a_t+1 時通過輪盤賭策略獲得的最高預期 Q 值。

表2 局部操作示例

R 獎勵值的公式如下：

式中： C^′ 為新值； C 為舊值。

在迭代開始時， Q 表（一個 X×Y 矩陣）中的Q 值是相同的。每當算法執行某個局部搜索策略時， Q 表中相應的 Q 值就會改變。每次迭代后， Q 表都會進行更新。 Q 值較大， Q -learning就有較大概率指導算法選擇對應局部搜索操作。針對優質解的局部搜索策略詳細過程（算法4）如下：

輸入：動作action，學習率 A ，折扣率 γ ，個體 X_l=

{x_l，1，x_l，2，…，x_l，n} （20

輸出：更新后的個體 X_l={x_l，1，x_l，2，…，x_l，n} （204號

For i=1 to 0.1?; do 初始化 Q 表和狀態 states AQ 表； IF A=1 then 一 X_l^*←LSl（X_l） Else if A=2 then 一 X_l^*←LS2（X_l） ： Else if A=3 then 一 X_l^*←LS3（X_l） . Else if A=4 then 一 X_l^*←LS4（X_l） Else if A=5 then 一 X_l^*←LS5（X_l） End if IF C_max（X_l^*）max（X_l） then reward^*=2（C_max（X_l）-C_max（X_l^*） . Else if C_max（X_l^*）=C_max（X_l） （20 reward . Else reward Ψ^*=0 ： End if

End For

2.7 算法整體流程

算法整體流程如圖6所示。具體流程如下：1）初始化參數和種群。設置種群規模 （Π_ps） ，最大運行時間 （T） ，個體更新失敗最大迭代次數（L） ，雇傭蜂階段迭代次數 （α） 以及偵察蜂階段個體最大迭代次數 （φ） ，學習率（A），折扣率（γ），

Q 表。使用2.2節中的方法生成初始種群。

2）雇傭蜂階段。對種群中每一個個體，隨機進行交叉、變異操作。重復這個過程直到種群個體全部被執行了 α 次。

3）跟隨蜂階段。采用二元錦標賽策略選擇個體。使用與雇傭蜂階段相同方法為選定個體生成新個體。如果搜索后得到的解優于群體中的最差個體并且優于當前個體，則鄰域解取代最差解。如果鄰域解優于當前最佳解，則更新當前最佳解。

4）偵察蜂階段。遍歷種群中的個體，如果個體在連續迭代中超過 L 次未被更新，則丟棄該個體，對丟棄個體進行 φ 次變異操作，生成 φ 個鄰域解，選取最佳鄰域解個體放回種群中。如果無個體超過 L ，則執行下一步。

5）局部搜索階段。對種群進行排序，選取前10% 的個體進行基于 Q -learning的局部搜索，通過 Q 表選取動作更新個體。

6）若達到終止條件，則輸出最佳解；否則，轉步驟2）。

3 仿真實驗結果與分析

3.1 關鍵參數設置

本節實驗中，使用 L₁-L₂-N 表示問題規模，其中 L₁ 表示條包線數量， L₂ 表示方包線數量， N 表示工件數量。所有算法程序均在MATLABR2022a下編程實現，實驗設備為CPU：12thGenIntel（R）Core（TM） i7-12700H2.30GHz ，RAM16.0GB 。

首先對算法的4個關鍵參數進行基于實驗設計方法的實驗分析，從而確定算法全局參數的最優組合，這4個參數是種群規模 （Π_Ps） ，連續更新失敗的最大次數 （L） ，雇傭蜂階段鄰域解數量 （α） 以及偵察蜂階段生成的鄰域解的數量 （φ） 。實驗開始時，為每個參數選擇了幾個典型值，如表3所示。基于四參數四水平因子，選擇正交矩陣L16，生成16種不同的參數組合。對于每個參數組合，從基準庫中選擇中等規模（4-2-60）進行正交試驗，每組參數組合均分別進行10次獨立實驗，實驗最大運行時間 T 由問題規模決定，即 T=（L₁+ L₂）N ，單位為s。最后將得到的相對改進百分比（RPI）值的平均值（ARPI）作為響應結果，如表4所示。相對改進百分比為

ω_RPI（c）=（c-c_min）/c_min

式中： c 為同一規模相同實例的目標值； c_min 為同一規模相同實例的最小目標值。

ARPI指標 （ω_ARPI） 反映了算法在多次實驗中所達到的最優解的平均水平，值越小表示所需加工時間越短，意味著算法具有更好的優化能力。

然后對基于Q-learning的局部搜索階段的兩個關鍵參數（A和γ）進行基于實驗設計方法的實驗分析，從而確定算法局部參數的最優組合。實驗采用上述正交試驗所得到的全局參數，之后為A 和γ選擇幾個典型值，如表5所示。基于兩參數四水平因子，選擇正交矩陣L16，生成16種不同的參數組合。對于每個參數組合，從基準庫中選擇中等規模（4-2-60）進行正交試驗，每組參數組合均分別進行10次獨立實驗，最大時間限制為0 （4×2×60）s 。最后將得到的RPI的平均值（ω_ARPI） 作為響應結果，結果如表6所示。

表6兩個不同參數組合的ARPI值

圖7、圖8顯示了因子水平趨勢， ω_APRI 值越小，性能越好。可以明顯看出，當種群規模 ?_s= 40時，與其他規模相比 ω_ARPI 值最小；雇傭蜂階段鄰域解數量 α=20 的時候效果最佳；個體連續更新失敗的最大次數越多，反而效果越差，因此選取L=5 ；對于偵察蜂階段，鄰域解數量 φ 為10、15的性能優于 φ 為5、20的性能，證明了偵察蜂階段的有效性。針對局部搜索部分，當學習率 A=0.6 ，折扣率 γ=0.2 時， ω_ARPI 值最小，驗證了局部搜索的有效性。根據上述分析，最終設置的參數為：種群規模 p_s=40 ，雇傭蜂階段鄰域解數量 α=20 ，個體連續更新失敗的最大次數 L=5 ，偵察蜂階段生成的鄰域解的數量 φ=10 ，學習率 A=0.6 ，折扣率γ=0.2 。

3.2 基于Q-learning的局部搜索有效性

為了驗證基于 Q -learning的局部搜索有效性，將基于 Q -learning的改進人工蜂群算法IABC-QL與未使用局部搜索的算法IABC進行對比，其中參數規模完全相同，以相同運行時間作為終止條件。為此，設置實驗規模為25組實驗，最大運行時間為 T 。分別獨立運行10次進行實驗。從表7中的結果可以看出，在25個測試算例中，帶局部搜索的改進人工蜂群算法在獨立運行10次后，不同規模下其平均最優值始終小于或等于未使用局部搜索情況下的平均最優值。這一結果充分證明了局部搜索在優化過程中的有效性。

表7局部搜索有效性算法比較結果

3.3基于多元動因驅動的某中藥制藥車間動態調度模型運用實例

以某中藥制藥企業某月的實際訂單為例（掃描本文首頁OSID碼獲取具體信息），在綜合考慮多重實際因素的基礎上，將訂單導人模型進行優化排產。圖9展示了正常狀態下無干擾的計劃排產方案甘特圖。由圖可見，該企業中藥制藥車間共有6條產線，其中4條為條包類型產線，2條為方包類型產線。此外，不同品種規模（簡稱品規）之間存在大小不一的間隔，這些間隔表示生產下一個品規時產線所需的設置時間（即清洗換模時間，掃描OSID碼獲取具體信息）。圖10展示了假期影響下的計劃排產方案甘特圖。由圖可見，由于生產不能在假期進行，因此一些品規如丹溪玉屏風、小兒七星茶和風寒感冒等被拆分成了兩部分，分別在假期前和假期后進行加工。

在得到的計劃排產方案基礎上模擬計劃階段原料未到貨情況。圖11展示了原料缺貨情況下且無假期影響的計劃排產方案甘特圖。由圖可見，該月訂單中存在原料不滿足生產條件的品規：小兒七星茶、小兒解表、千紫紅和板藍根。其中，小幾七星茶最早的加工時間為7月10日，小兒解表為7月15日，板藍根為7月15日，千紫紅無準確到達日期故刪除該品規，整個訂單共用時22天。采用插空策略后的計劃排產方案總用時縮短至19天。

圖12分別展示了原料缺貨情況下且受假期影響的計劃排產方案甘特圖以及采用插空策略后的甘特圖。由圖可見，不使用插空策略的情況下，總用時為23天；使用插空策略后，總用時縮短至21天。上述數據均驗證了插空策略的有效性。

在得到的計劃排產方案基礎上，開始模擬加工過程中臨時插單突發情況。圖13展示了在無原料缺貨且無假期影響情況下的動態調度排產甘特圖。由圖可見，實時節點之前表示已經加工完成的品規。其中，玄麥甘菊、風寒感冒和小兒七星茶未被完全加工完成，被拆分成了兩部分。此外，止瀉保童和風熱感冒為臨時插單且需緊急交付的品規。

在得到的計劃排產方案基礎上，開始模擬加工過程中產線臨時故障突發情況。圖14展示了在無原料缺貨且無假期影響情況下的動態調度排產甘特圖。由圖可見，條包2號線、條包4號線、方包2號線在7月5日發生故障，預計7月10日完成維修恢復生產。

在得到的計劃排產方案基礎上，開始模擬加工過程中多種突發情況并存情況。圖15展示了在臨時原料缺貨且受產線故障及臨時插單影響情況下的動態調度排產甘特圖。由圖可見，條包1號線、條包3號線和方包5號線在7月5日發生故障，并于7月8日完成維修恢復生產。止瀉保童和風熱感冒為臨時插單且需緊急交付的品規。此外，丹溪玉屏風、小兒解表和板藍根的最早加工時間為7月15日。

3.4仿真實驗與結果分析

4結語

本文針對多重實際因素影響下的中藥制藥車間調度問題，以最小化最大完工時間為目標，提出了一種基于Q-learning的改進人工蜂群算法（IABC-QL）進行求解。仿真實驗結果表明，本文提出的算法在求解效率和效果方面均優于其他算法，驗證了其有效性和優越性。在未來的研究中，將進一步考慮以下方面。

1）擴展現有模型，以涵蓋中藥制藥過程中多階段的調度問題，提供更全面的調度解決方案。

2）引入更多實際生產中的復雜約束和優化目標，考慮更多實際生產中廣泛存在的復雜約束和優化目標，使問題模型更貼合生產實際的需求，進一步提升模型的適用性和實用性。

3）結合其他算法與機器學習技術，探討運用其他先進算法來解決該問題，并將優化算法與機器學習技術相結合，以進一步提高算法的性能和效率。

參考文獻：

[1] 花植，郭劍毅，王海雄，等.基于遺傳算法的中藥生 產調度原型系統研究及應用［J].云南大學學報（自 然科學版），2009，31（增刊2）：200-204. HUA Zhi，GUO Jianyi，WANG Haixiong，et al. Research and Application of a Prototype System for TCM Production Scheduling Based on Genetic Algorithm[J].Journal of Yunnan University（Natural Sciences），2009，31（S2）：200-204.

[2] 羅亞波，王洲旭.基于改進進化算法的中藥提取車 間批調度問題研究[J].工業工程與管理，2024，29 （4）：89-100. LUO Yabo，WANG Zhouxu. Research on Batch Scheduling Problem in TCM Extraction Workshop Based on Improved Evolutionary Algorithm[J]. Industrial Engineering and Management， 2O24，29 （4）：89-100.

[3] GHALEB M，TAGHIPOOR S，ZOLFABARINIA H.Real-time Integrated Production-scheduling and Maintenance-planning in a Flexible Job Shop with MachineDeterioration and Condition-Based Maintenance.[J]. Journal of Manufacturing Systems， 2021，61：423-449.

[4] NOUIRIM，BEKRAR A，TRENTEAUX D.Towards Energy Efficient Scheduling and Rescheduling for Dynamic Flexible Job Shop Problem.[J]. IFAC·1260·Papers Online，2018，51（11）：1275-1280.

[5]PENG Kunkun，PAN Quanke，GAO Liang，et al. An Improved Artificial Bee Colony Algorithm for Real-world Hybrid Flowshop Rescheduling in Steelmaking-refining-continuous Casting Process [J]. Computers amp;. Industrial Engineering，2018，122： 235-250.

[6]CALDEIRA RH， GNANAVELBABU A， VAIDYANATHAN T. An Effective Backtracking Search Algorithm for Multi-objective Flexible Job Shop Scheduling Considering New Job Arrivals and Energy Consumption.[J]. Computers amp;. Industrial Engineering，2020，149：106863.

[7]GAO K， SUGANTHAN P N，PAN Q，et al. Artificial Bee Colony Algorithm for Scheduling and Rescheduling Fuzzy Flexible Job Shop Problem with New Job Insertion.[J]. Knowledge-based Systems， 2016，109：1-16.

[8]LYU Yan，LI Congbo，TANG Ying，et al. Toward Energy-efficient Rescheduling Decision Mechanisms for Flexible Job Shop with Dynamic Events and Alternative Process Plans[J]. IEEE Transactions on Automation Science and Engineering，2O21，19（4） ： 3259-3275.

[9] ZHANG Q，GROSSMANN I E， SUNDARAMOORTHY A，et al. Data-driven Construction of Convex Region Surrogate Models[J]. Optimization and Engineering，2016，17：289-332.

[10］QIAO Fei，LIU Juan，MA Yumin. Industrial Big data-driven and CPS-based Adaptive Production Scheduling for Smart Manufacturing[J]. International Journal of Production Research，2021，59 （23）：7139-7159.

[11］MOURTZIS D，VLACHOU E. A Cloud-based Cyber-physical System for Adaptive Shop-floor Scheduling and Condition-based Maintenance[J]. Journal of Manufacturing Systems，2018，47：179-198.

[12]LI Yuxin，GU Wenbin，WANG Xianliang，et al. Data-driven Scheduling for Smart Shop Floor via Reinforcement Learning with Model-Based Clustering Algorithm[C]// 2021 IEEE 4th Advanced Information Management，Communicates，Electronic and Automation Control Conference（IMCEC）. Chongqing：1EEE，2021，4：1310-1314.

[13］TIZHOOSH H R.Opposition-based Learning： a New Scheme for Machine Intelligence[C]// International Conference on Computational Intelligence for Modelling，Control and Automation and International Conference on Intelligent Agents，Web Technologies and Internet Commerce（CIMCAIAWTIC06）.Vienna： IEEE，2005，1：695-701.