集裝箱碼頭岸橋突發故障情況下裝卸船作業重調度研究

夏孟玨 史學鑫 李美貞

摘要：為解決在集裝箱碼頭岸橋突發故障情況下裝卸船作業的快速重調度問題，考慮故障岸橋對其他岸橋作業的時空約束，在滿足作業安全和作業順序的要求下，以最小化最大完工時間為目標，構建裝卸船作業重調度序貫決策模型。為求解該模型，對基于離散事件仿真的蒙特卡洛樹搜索（Monte Carlo tree search， MCTS）算法進行改進。仿真實驗證明，提出的裝卸船作業重調度方法有效，能夠保證在岸橋突發故障情況下裝卸船作業的有序進行。

關鍵詞：

岸橋調度; 不確定性; 重調度; 岸橋故障; 蒙特卡洛樹搜索（MCTS）算法

中圖分類號：? U691+.3

文獻標志碼：? A

Study on handling operation rescheduling under sudden

malfunction of container terminal quay cranes

XIA Mengjue1a， SHI Xuexin1b， LI Meizhen2

（1. a. Institute of Logistics Science & Engineering; b. Logistics Engineering College， Shanghai Maritime

University， Shanghai 201306， China; 2. Xiamen Container Terminal Group Co.， Ltd.， Xiamen 361006， Fujian， China）

Abstract：

In order to solve the problem of rapid rescheduling of handling operation under sudden malfunction of container terminal quay cranes， the time and space constraints of the malfunctioning quay cranes on the other quay crane operations are considered， and a sequential decision model of handling operation rescheduling is built to minimize the maximum completion time under meeting the requirements of operation safety and operation sequence. To solve the model， the Monte Carlo tree search （MCTS） algorithm based on discrete event simulation is improved. Simulation experiments prove that the proposed handling operation rescheduling method is effective and ensures the orderly handling operation under sudden malfunction of container terminal quay cranes.

Key words：

quay crane scheduling; uncertainty; rescheduling; quay crane malfunction; Monte Carlo tree search （MCTS） algorithm

0 引 言

岸橋作為集裝箱碼頭最終完成裝卸船作業的輸出端設備，其裝卸作業效率直接決定了集裝箱碼頭的輸出峰值效率。因此，在作業過程中對岸橋進行合理調度，保持全岸線岸橋作業分配均衡對提升集裝箱碼頭生產作業效率具有重要的現實意義[1]。

國內外學者對岸橋調度問題進行了系統且較為深入的研究。在確定條件下，KASM等[2-3]以最小化服務時間為目標，分別提出非穿越條件下單40英尺（1英尺=0.304 8 m）和雙40英尺岸橋調度的混合整數規劃模型，并提出一種分步啟發式算法進行求解。SUN等[4]提出基于Benders分解框架的新方法解決岸橋調度問題。LIANG等[5]建立了岸橋分路計劃和岸橋作業計劃耦合模型，并提出一種循環迭代方法進行求解。MSAKNI等[6]提出以具體的集裝箱為決策單元的岸橋調度問題，以最小化停泊時間為目標建立岸橋調度模型，并提出一種構造啟發式算法進行求解。部分學者還提出邊界二級動態規劃算法、拉格朗日松弛算法等[7-8]對岸橋調度問題進行求解。

目前對確定條件下的岸橋調度問題研究較多，而實際上由于集裝箱碼頭作業系統的復雜性，以及極端天氣、船期變動、設備故障等不確定因素，裝卸船作業過程會受到影響。這些不確定因素可分為漸變不確定因素和突變不確定因素。針對漸變不確定因素，周鵬飛等[9]研究了在船舶抵港時間不確定條件下，以最小化船舶平均等待時間為目標的碼頭泊位岸橋分配問題，并設計遺傳算法進行求解。侯艷芬[10]研究了服務時間可變條件下相鄰泊位的岸橋動態調度問題，建立集裝箱排隊模型和岸橋調度仿真模型，通過案例仿真分析岸橋調度策略。張思等[11]研究了作業時間不確定條件下的岸橋調度問題，建立不確定作業時間的岸橋調度混合整數隨機規劃模型，并通過對比粒子群優化算法與禁忌搜索算法對不同規模算例的求解效果發現，粒子群優化算法對大規模算例的求解效果優于禁忌搜索算法的求解效果。

在影響裝卸船作業的突變不確定因素中，岸橋突發故障以其不可預測性和突發性直接影響集裝箱碼頭全岸線岸橋作業分配均衡，這就需要對現有調度方案進行較大的調整，即需要進行裝卸船作業重調度。目前，在其他領域已有針對設備故障情況下重調度問題的研究[12-14]，而針對集裝箱碼頭設備故障發生后重調度問題的研究較少。

針對不確定決策問題，常采用隨機規劃方法[15]、模糊規劃方法、魯棒優化方法[16]和序貫決策方法進行建模。馬爾科夫決策過程（Markov decision process，MDP）作為序貫決策的一種條件特例，常用于帶有不確定因素的動態控制問題的決策過程描述[17]。

綜上所述，目前研究多聚焦于確定條件下的岸橋調度問題，部分研究雖關注不確定條件下的岸橋調度問題，但對顯著影響裝卸船作業進程的突發岸橋故障情況下的岸橋調度問題研究較少。已有研究多采用的混合整數規劃模型和智能算法能夠在單船決策中取得較好的效果，而對決策效率要求較高的岸橋突發故障情況下全岸線岸橋重調度問題可能存在決策效率低和決策效果不佳等問題。因此，本文針對集裝箱碼頭岸橋突發故障情況下裝卸船作業重調度問題，考慮岸橋故障情況下的作業約束和作業時長的不確定性，選用MDP進行建模，進行全岸線岸橋作業調度和重調度研究。

1 問題描述及建模

1.1 問題描述

集裝箱碼頭岸橋在裝卸船作業時突發故障會導致其作業停滯，影響作業進程，從而影響船期，而船期延遲又會帶來其他一系列影響。因此，在岸橋突發故障時，需要根據當前作業情況，對集裝箱碼頭全岸線作業任務進行重新分配。岸橋突發故障情況下的裝卸船作業重調度要考慮以下4點：（1）被停用的故障岸橋在空間上影響其兩側岸橋的作業。如圖1（QC表示岸橋）所示：在進行作業重調度時，要考慮故障岸橋的空間位置及其變化對其他岸橋作業的影響。當QC2突發故障時，要為QC2留出滿足作業安全距離要求的停放空間，并為維持岸橋作業分配均衡，QC2的作業任務需要由QC1和QC3協助完成。這就造成QC1和QC3的作業任務增加，當這些任務對應的場內作業位置存在重疊時，作業任務之間的沖突就增加了。

（2）重調度是全岸線作業的重新調度。為保證作業進程，故障岸橋的作業任務要由其緊鄰岸橋分擔，其緊鄰岸橋作業任務增加;為維持岸橋作業分配均衡，其他外側岸橋要分擔其緊鄰岸橋的部分作業任務。

（3）重調度時效要求高。岸橋一發生故障就停止作業，這就需要盡快生成新的調度方案，減少突發事件的影響。為此，需要高效率的算法。

（4）岸橋故障排除后要重新投入使用，這就需要再次生成新的調度方案。該故障排除后的重調度過程不是故障發生后重調度的逆過程，而任務分配約束與初始無故障時的一致。

基于以上考慮，設計岸橋突發故障情況下裝卸船作業重調度的動態決策模型。該模型以最小化裝卸船作業最大完成時間為目標，在岸橋故障約束下進行全岸線岸橋重調度。在重調度決策中，考慮各任務作業時間的不確定性，在集裝箱碼頭裝卸船作業規律已知的條件下，基于集裝箱碼頭歷史作業數據，使用經驗分布擬合作業時間的概率分布，模擬集裝箱碼頭生產作業過程，實現對不確定作業過程的有效描述。

為更好地描述岸橋故障發生后和故障排除后岸橋作業調度的動態不確定過程，選用MDP對問題進行建模。MDP主要由狀態st、動作at、回報值R和狀態轉移函數f構成，如圖2所示。

系統采取動作at將狀態st轉移至狀態st+1，該過程中系統各狀態因素服從狀態轉移函數f。MDP使用結合概率分布的狀態轉移函數能更直觀地表述作業時間的不確定性。通過歷史作業數據使用經驗分布擬合作業時間的概率分布，相比于混合整數規劃模型，該表述更貼近實際作業過程，從而能獲得更優的決策結果。

采用MDP建模要求問題具有馬爾科夫性即無后效性。對于裝卸船作業重調度問題，當岸橋突發故障時，集裝箱碼頭系統作業僅與故障發生時的狀態相關，該狀態可完全觀測，因此裝卸船作業重調度問題無后效性，可使用MDP進行建模。

1.2 模型假設

岸橋作業安全距離已知，案例中設定岸橋作業安全距離為2個40英尺貝位長度，即2個40英尺集裝箱長度。

在初始調度時，各岸橋初始作業位置為其初始作業任務所在位置，進行初始作業前的岸橋移動時間并入裝船作業準備時間中;重調度后，岸橋需要的移動時間并入下一作業任務的執行時間中，通過狀態轉移過程進行處理。

1.3 符號說明

集合：C為岸橋集合，c∈C;L為任務集合，l∈L;V為所有待裝卸船的集合，v∈V;T為時刻集合，t∈T，其中t0表示作業開始時刻，te表示作業完成時刻。

目標變量：F表示最大完工時間，即所有任務完成的時間τte，可觀測獲得。

決策變量：Xlc（t）為0-1變量，Xlc（t）=1表示在時刻t由岸橋c開始執行任務l，否則Xlc（t）=0。

已知參數和觀測量：Bl（t）為0-1變量，為已知量，Bl（t）=1表示在時刻t任務l在作業中，否則Bl（t）=0;El（t）為0-1變量，為已知量，El（t）=1表示在時刻t任務l已完成，否則El（t）=0;Mc（t）為0-1變量，為已知量，Mc（t）=1表示在時刻t岸橋c在故障維修中，否則Mc（t）=0;Ol（t）表示任務l在時刻t的岸線作業位置，不同船舶任務的岸線作業位置按照船舶靠泊位置進行歸一化處理，保證獲得的作業調度方案滿足岸橋位置和岸橋作業安全距離的要求;Oc（t）表示在時刻t岸橋c的作業位置;qlv為0-1變量，為已知量，qlv=1表示任務l屬于船v，否則qlv=0;gcc′為0-1變量，為已知量，gcc′=1表示c′為c的緊右岸橋，否則gcc′=0;vll′為0-1變量，為已知量，vll′=1表示l′為l的緊前任務，即對任務l′作業完成后才能對任務l進行作業，否則vll′=0;uc（t）表示岸橋c在時刻t的最小絕對位置;nc（t）表示岸橋c在時刻t的最大絕對位置;τt表示截至時刻t的作業時間，τt0=0;Γ（t）表示在時刻t所有作業任務的完成時間集合，可觀測得到;flc（s）表示在狀態st下，由岸橋c完成任務l還需要的作業時間，該作業時間服從以岸橋、任務和當前狀態為條件的經驗分布，包含所需的岸橋移動時間;dc（t）表示在時刻t岸橋與其緊右岸橋的作業安全距離限制，當岸橋c的緊右岸橋處于維修狀態時，該安全距離的確定要考慮維修中岸橋的當前位置。

中間變量和中間觀測量：Wlc（t）為0-1變量，Wlc（t）=1表示在時刻t任務l正由岸橋c作業，否則Wlc（t）=0;Gc（t）為0-1變量，Gc（t）=1表示在時刻t岸橋c空閑，否則Gc（t）=0;Hv（t）為0-1變量，Hv（t）=1表示在時刻t完成了對船v的作業任務，否則Hv（t）=0，

式（3）表示該模型的優化目標為最小化最大完成時間;式（4）為岸橋狀態約束，岸橋狀態只可能為空閑或作業中或故障維修中;式（5）表示在不同決策階段岸橋位置的狀態轉移過程約束，具體為當被分配新作業任務時，岸橋移動至新任務位置，當前作業中的岸橋位置保持不變，當前空閑或故障維修中的岸橋隨其緊左岸橋移動，與作業安全距離約束一起共同保證當前岸橋調度方案不會引起岸橋碰撞和相互穿越;式（6）為岸橋與任務的關系約束，即一個任務只能分配給一個岸橋（作業路），且不給不可用岸橋分配任務;式（7）表示不能對已作業的任務進行重復作業;式（8）為岸橋作業安全距離約束，當岸橋處于維修狀態時，其兩側岸橋作業安全距離增加，同時由于dc（t）≥0，該約束通過岸橋之間的左右關系保證了岸橋不相互穿越;式（9）為任務緊前關系約束;式（10）和（11）為岸橋位置約束;式（12）為時間轉移約束，表示作業從當前時間向下一時間的變化過程;式（13）為任務狀態轉移約束，其中作業時間服從經驗分布;式（14）為完工狀態約束，即在作業終止時刻所有任務都處于完成狀態;式（15）為單船完工時間約束。

1.5 MDP模型主體

MDP可由一個四

元組〈S，A，N，R〉表述，其中：S表示智能體的狀態集合;A表示智能體的動作集合;N（si，a，sj）=P（sj|si，a）表示狀態轉移函數，狀態轉移滿足馬爾科夫性;R表示回報。

狀態包含智能體中3個基礎對象的狀態，即任務、岸橋和船舶狀態，該狀態可由〈〈Bl（t），El（t）〉，〈Wic（t），Gc（t），Oc（t）〉，Hv（t）〉表示，其中：第一部分為任務狀態，由一個二元組構成;第二部分為岸橋狀態，由一個三元組構成;第三部分為船舶狀態。

在某狀態下智能體采取的動作為分配后續作業任務，即當前狀態下任務的開始執行情況，表示為〈Xlc（t）〉。

st+1表示在t+1時刻的狀態。st+1～P（st|at），由于過程的不確定，狀態轉移服從特定的分布。此狀態轉移符合馬爾科夫過程的無后效性，即下一狀態僅由當前狀態和當前采取的動作決定。

作業效率回報。當完成單船作業任務時，以單船完工時間Zt作為整體回報。整體回報向與該船決策相關的前向步驟進行反向傳播，傳播衰減率為λ1。

特殊回報。當重點路被拆解時，給予特殊回報。例如，某船的10、14和18貝位均有作業任務，且這3個貝位的總作業量占整船作業量比例較大，如果按照10—14—18的作業順序由單臺岸橋依次作業，則整船作業效率較低;此時應先安排岸橋完成14貝位的作業，再由2臺岸橋同時完成10和18貝位的作業，這是因為優先執行重點路上中間貝位的作業在無其他限制的情況下不會造成作業效率下降。為重點路上中間貝位的作業增加特殊回報。該回報向與該船決策相關的前向步驟進行反向傳播，傳播衰減率為λ2。

2 算法設計

蒙特卡洛樹搜索（Monte Carlo tree search，MCTS）算法是一種通過在決策空間內隨機抽取樣本并根據結果建立搜索樹來尋找給定領域內最優決策的算法[18]。MCTS算法最顯著的優點就是它可以在沒有掌握太多相關領域知識的前提下，僅通過相關規則約束搜索范圍，利用目標函數指引搜索方向，并且基于合適的樣本量就可以求得一個比較好的結果，且采樣越多，結果越接近實際。因此，應用MCTS算法解決本文問題。

MCTS算法迭代過程包含選擇、擴展、模擬、回溯4個基本步驟，如圖3所示。集裝箱碼頭裝卸船作業重調度MCTS算法流程見圖4。

選擇策略。本文采用上限置信區間（upper confidence bound apply to tree， UCT）算法作為裝卸船作業重調度的選擇策略。UCT算法為基礎MCTS算法的改進方法。UCT算法的公式如下：

式中，ri為UCT值;i為節點i的平均回報值，此處對應裝卸船作業重調度的回報值，包括作業效率回報和特殊回報;ni為節點i被選擇的總次數，n為節點i的父節點被選擇的總次數，τ為搜索廣度（深度）參數，τ∈[0，1]。每次迭代都直接選擇ri最大的節點。由式（16）可知，MCTS算法在迭代初期傾向于選擇訪問次數少的節點，即傾向于搜索廣度;在迭代后期傾向于選擇目標估值更高的節點，即傾向于提升目標值。

擴展策略。為節約決策資源，MCTS算法的搜索樹是動態更新的，并非在決策開始時生成所有狀態節點;在選擇當前節點后，對葉子節點進行擴展，獲得下一步所有可能的決策狀態節點。本問題中，通過擴展策略在狀態轉移約束下獲取當前狀態下后續所有可能的調度方案。

模擬策略。本問題中，采用集裝箱碼頭層次仿真模型對集裝箱碼頭裝卸船作業（視為離散事件）進行模擬，把模擬得到的實際作業效果（最終作業完成時間、重點路作業情況）作為模擬過程的回報值。

回溯策略。在模擬完成后，采用UCT算法進行回溯，更新路徑各節點回報值和訪問次數。

剪枝策略。在算法中加入剪枝策略剪掉劣解，提升求解效率。采用剪枝策略剪掉任務量分配明顯不均衡的解所在分支。本問題中，超出重點路總作業量比例閾值的解一定為劣解，對其所在分支進行剪枝。

3 仿真驗證

3.1 多作業路計算仿真

選取實際生產中有5個作業路的裝卸船作業調度和故障發生后重調度案例，驗證重調度算法的有效性，其基本設置如表1所示，有30組任務，分布于19個貝位中，有5臺岸橋可使用。

分別進行岸橋無故障、突發故障后和故障排除后等3種情況下的裝卸船作業仿真。

無故障時的調度方案見圖5。按照圖5的調度方案，各岸橋的作業分配相對均衡，最晚完成作業的為QC4，各作業路作業均滿足作業安全距離約束，未出現作業交叉，滿足作業約束。

考慮在當前作業狀態下，QC3突發故障，此時進行故障發生后重調度，重調度方案見圖6，該方案為QC3全程故障情況下的調度方案。由于QC3發生故障，安排QC2和QC4分擔原由QC3承擔的重點路30～46貝位的作業。部分任務要考慮QC3實際占用的空間，不能由QC2和QC4同時作業，因此先安排QC2作業30貝位的任務，后安排QC4接替作業38～42貝位的任務。原由QC2和QC4作業的部分任務分別分配給QC1和QC5執行，具體地，原由QC2作業的18貝位的部分任務分配給QC1執行，原由QC4作業的62貝位的任務分配給QC5執行。在QC3全程故障調度方案下，需要移動一次發生故障的QC3，QC5最后完成作業，總體作業時間大于未發生岸橋故障時的作業時間，整體作業分配相對均衡。

假設QC3在380 min時故障排除，則故障排除后重調度方案見圖7。

由圖7可知：在QC3故障排除后，安排QC3繼續執行38貝位的作業， 62貝位的作業調整為由QC4完成;總體作業時間小于QC3全程故障情況下的作業時間。

該算例中，3種情況下的調度方案均滿足任務分配約束、作業約束、作業安全距離約束和故障岸橋相關約束，且故障排除后重調度方案相對故障發生后重調度方案總體作業時間短，體現了本文方法的優勢。

3.2 不同規模算例仿真分析

為驗證本文方法對不同規模問題的求解效果，選擇不同規模的實際案例進行仿真分析。案例中各作業任務的作業時間服從岸橋作業經驗分布，該經驗分布由實際岸橋作業時間數據擬合得到。不同規模算例的基本信息見表2，其中：同貝連續作業任務視為一個任務組;參考作業時間為基于重點路作業量計算得到的作業時間，作為總體作業時間的參考。

各規模算例在岸橋無故障時的仿真結果見表3。

表3結果表明：在小規模算例中，作業時間不確定性對調度方案影響較小，最差目標值與平均目標值差距不大;在大規模算例中，MCTS算法可在較短時間內得到調度方案;由于作業過程不確定性的影響，大規模算例比小規模算例的調度方案的穩定性弱，但未出現大波動，調度方案的魯棒性在可控范圍內。

設置岸橋突發故障時間和故障排除后重新投入使用的時間，獲得多次故障和故障排除后重調度的仿真結果，見表4。

與無故障時的仿真結果相比，由于岸橋故障的系統性影響，突發故障情況下的總體作業時間均增加，其中在最大規模算例中，故障發生后重調度后的作業時間增加了19.69%。在穩定性方面，因為多次調度消除了作業過程中部分不確定因素，所以相比無故障時的仿真結果，表現出更佳的效果以及更

合理的不確定性情況下的作業時間分布范圍。在小規模算例中算法可在1個作業循環時間內完成重調度，在最大規模算例中算法平均能在2個作業循環時間內完成重調度。該仿真結果表明，提出的方法可在岸橋突發故障時，在極短的時間內更新調度方案，從而使岸橋作業分配恢復均衡，實現突發故障情況下的快速重調度。

4 結論與展望

本文提出一種集裝箱碼頭岸橋突發故障情況下的裝卸船作業快速重調度方法。該方法考慮了故障岸橋時空約束，建立裝卸船作業重調度馬爾科夫決策過程（MDP）模型。與描述此類問題常用的混合整數規劃模型相比，該模型考慮了故障岸橋對作業的時空約束，表述了正常作業、突發故障、重調度、基于重調度方案作業、故障排除后重調度到恢復正常作業的狀態變化過程。該模型描述的狀態鄰域更接近人類決策過程的策略搜索鄰域，有利于使用鄰域搜索算法進行高效求解。針對此問題設計了改進的蒙特卡洛樹搜索（MCTS）算法進行求解。仿真實驗表明，改進的MCTS算法適用于求解該快速重調度問題，尤其在大規模算例中能在2個作業循環時間內更新調度方案，快速實現全岸線岸橋裝卸船作業分配均衡;所求得的重調度方案能夠優化作業完工時間，削弱作業時間不確定性的影響。該決策框架為集裝箱碼頭岸橋突發故障后重調度問題提供了新的思路，可推廣于求解集裝箱碼頭類似序貫決策問題。

參考文獻：

[1]ZHAO N， LIU Y， MI W J， et al. Digital management of container terminal operations[M]. Springer， 2020： 233-237.

[2]KASM O A， DIABAT A. The quay crane scheduling problem with non-crossing and safety clearance constraints： an exact solution approach[J]. Computers & Operations Research， 2019， 107： 189-199. DOI： 10.1016/j.cor.2019.03.014.

[3]KASM O A， DIABAT A. Next-generation quay crane scheduling[J]. Transportation Research Part C， 2020， 114： 694-715. DOI： 10.1016/j.trc.2020.02.015.

[4]SUN D F， TANG L X， BALDACCI R. A Benders decomposition-based framework for solving quay crane scheduling problems[J]. European Journal of Operational Research， 2019， 273（2）： 504-515. DOI： 10.1016/j.ejor.2018.08.009.

[5]LIANG C J， FAN L B， XU D H， et al. Research on coupling scheduling of quay crane dispatch and configuration in the container terminal[J]. Computers & Industrial Engineering， 2018， 125： 649-657. DOI： 10.1016/j.cie.2018.05.004.

[6]MSAKNI M K， DIABAT A， RABADI G， et al. Exact methods for the quay crane scheduling problem when tasks are modeled at the single container level[J]. Computers & Operations Research， 2018， 99： 218-233. DOI： 10.1016/j.cor.2018.07.005.

[7]HUANG S Y， LI Y. A bounded two-level dynamic programming algorithm for quay crane scheduling in container terminals[J]. Computers & Industrial Engineering， 2018， 123： 303-313. DOI： 10.1016/j.cie.2018.06.010.

[8]AL-DHAHERI N， DIABAT A. A Lagrangian relaxation-based heuristic for the multi-ship quay crane scheduling problem with ship stability constraints[J]. Annals of Operations Research， 2017， 248： 1-24. DOI： 10.1007/s10479-016-2239-8.

[9]周鵬飛， 康海貴. 面向隨機環境的集裝箱碼頭泊位-岸橋分配方法[J]. 系統工程理論與實踐， 2008（1）： 161-169.

[10]侯艷芬. 服務臺可變的集裝箱岸橋調度建模與仿真[D]. 北京： 北京交通大學， 2016.

[11]張思， 呂夢晴， 代劍環， 等. 基于操作時間不確定性條件下的岸橋調度優化研究[J]. 工業工程與管理， 2020， 25（5）： 50-58. DOI： 10.19495/j.cnki.1007-5429.2020.05.007.

[12]包博， 張琳， 張搏. 設備故障條件下柔性作業車間重調度方法[J]. 計算機工程與應用， 2018， 54（19）： 248-253. DOI： 10.3778/j.issn.1002-8331.1706-0307.

[13]段俊華， 孫衛青， 李俊青， 等. 一種基于遷徙鳥群優化的流水車間重調度方法[J]. 控制工程， 2017， 24（8）： 1656-1661. DOI： 10.14107/j.cnki.kzgc.D4.0232.

[14]ZHANG J， QIN W， WU L H， et al. Fuzzy neural network-based rescheduling decision mechanism for semiconductor manufacturing[J]. Computers in Industry， 2014， 65（8）： 1115-1125. DOI： 10.1016/j.compind.2014.06.002.

[15]SHAPIRO A， DENTCHEVA D， RUSZCZYN′SKI A. Lectures on stochastic programming： modeling and theory[M]. 2nd ed. Philadelphia： Society for Industrial and Applied Mathematics， 2014： 1-25.

[16]BIRGE J R， LOUVEAUX F. Introduction to stochastic programming[M]. 2nd ed. Springer Science & Business Media， 2011： 84-87.

[17]PUTERMAN M L. Markov decision processes： discrete stochastic dynamic programming[M]. John Wiley & Sons， 2014： 5-14.

[18]BROWNE C B， POWLEY E， WHITEHOUSE D， et al. A survey of Monte Carlo tree search methods[J]. IEEE Transactions on Computational Intelligence and AI in Games， 2012， 4（1）： 1-43. DOI： 10.1109/TCIAIG.2012.2186810.

（編輯 趙勉）

收稿日期： 2021-02-25

修回日期： 2021-06-18

作者簡介：

夏孟玨（1992—），男，山東煙臺人，博士，研究方向為物流智能化，（E-mail）xiamengjue@qq.com;

史學鑫（1996—），男，安徽安慶人，碩士，研究方向為物流信息化、智能化，（E-mail）1109136218@qq.com;

李美貞（1971—），女，福建南安人，高級工程師，碩士，研究方向為港口設備管理，（E-mail）limeizhen@xctg.com.cn