基于馬爾科夫決策過程的帶緩存雙機系統不完美維護策略

田雪雁，王孟雅，潘爾順

(上海交通大學 機械與動力工程學院， 上海 200240)

設備性能隨使用時間退化，發生故障的概率增加，合理預防性維護能夠有效提高設備的可用度.但進行預防性維護需要停機，而生產線設備間的退化狀態不同，單臺設備維護或故障都會造成產線停運.因此，常在設備間設置緩存區，以避免設備維護或故障時頻繁中斷生產過程.緩存的設置會影響原有的設備維護體系，而現有系統的預防性維護多憑經驗決策，故有必要對帶緩存生產系統的預防性維護策略的機理進行研究.

從20世紀60年代起，有學者開始關注設備維護優化問題，取得了較好的研究成果[1-5].但針對帶緩存生產系統維護策略的研究相對較少.Rezg等[6]研究了生產線的預防性維護和緩存控制，設備到達維護年齡或出現故障立即維護，通過聯合優化維護年齡和緩存容量，最小化平均成本.Cheng等[7-8]針對兩設備一緩存系統，研究了當上游設備退化服從幾何過程、非靜態伽馬過程時的固定周期維護策略.Gan等[9]考慮了維護、緩存和備件的相互影響.Niyamosoth等[10]研究了包含一臺租賃設備和緩存區的系統，優化出租人的維護周期和承租人的緩存容量以最小化總成本.Nahas等[11-13]研究了維護頻率與平均故障間隔時間的關系，通過遺傳算法求解緩存和維護聯合優化問題.Renna[14]對串行多設備生產線進行了類似的研究.Zandieh等[15]建立了包含生產率最大化、緩存區最小化及不合格品數最小化的多目標聯合優化模型.

上述研究的優化目標多為固定的維護周期，雖然建模過程中考慮了緩存，但沒有考慮特定緩存狀態對維護決策的影響.因此部分學者通過建立馬爾科夫模型優化設備維護策略，維護決策同時取決于設備退化狀態和緩存狀態.文獻[16]只考慮上游設備的退化和維護，運用馬爾科夫決策理論計算并證明了控制限策略是使得平均成本最優的策略.Dimitrakos等[17]擴展了文獻[16]中的模型，考慮上游設備的非平穩退化和更完善的成本結構，將維護持續時間從幾何分布拓展到連續分布.Karamatsoukis等[18]在上述研究的基礎上考慮了上下游兩設備的退化和維護決策.Fitouhi等[19]則考慮在生產率水平約束下最小化總成本.Zhou等[20]針對具有兩個多組件系統和一個中間緩存區的串并聯系統的預防性維護問題，開發了馬爾科夫決策方法.Gan等[21]關注了緩存、預防性維護及部件更換之間的相互作用，除維護策略外優化備件一般訂單的下達時間.

這類研究多假設故障維修和預防性維護是完美的，但這在實際中難以實現.此外，已有文獻多以總成本作為優化目標，但緩存區的設置不僅引起成本變化，也會延長設備運行時間進而提高產量.針對這些問題，本文在現有文獻的基礎上有以下創新點：①考慮系統內其他設備和緩存狀態的影響，針對特定系統狀態進行預防性維護決策；②考慮不完美維護，維護改善設備狀態但不一定使其恢復全新，基于此構建馬爾科夫狀態轉移模型，更符合實際生產；③用系統運行利潤代替成本作為優化目標，可以更全面地衡量維護決策的效果.

本文以兩設備一緩存生產系統為研究對象，同時考慮上下游設備的退化和不完美維護，以兩設備狀態和緩存量描述系統狀態，建立離散時間的馬爾科夫決策模型.以系統的長期期望運行利潤最大化為目標，優化不同系統狀態下的設備維護決策.

1 問題描述

本文以兩設備一緩存生產系統為研究對象，如圖1所示，其中M1、M2分別為生產系統的上下游設備，B為緩存區.零件從系統外部流向M1，經由M1加工后流向緩存區，M2從緩存區提取零件，加工完成后流出系統.緩存容量為K，當緩存未滿且兩設備運行時，M1以生產率p供應緩存，M2以生產率d(p>d)消耗緩存.一旦緩存達到容量限制，將M1生產率從p調整為d.

圖1 兩設備一緩存生產系統Fig.1 Two-machine one-buffer production system

上下游設備的失效率隨役齡的增加而增加，可在離散等距的觀測周期τ=0,1,…進行檢查評估以確定設備狀態.以上游設備為例，M1共有3m個狀態：①根據失效率將運行狀態劃分為1,2,…,m，數值越大表示設備狀態越差；②若設備在運行狀態i發生故障，則轉移至狀態m+i，因此m+1,m+2,…,2m表示設備的故障狀態，數值越大表示故障越嚴重，越不易維修，設備故障后立即小修，小修完成后返回故障前狀態i；③若設備在運行狀態i進行維護，則轉移至狀態2m+i，故2m+1,2m+2,…,3m表示維護狀態，數值越大表示狀態越差，越不易維護，不完美維護完成后，設備有可能轉移至不劣于維護前狀態i的任一運行狀態j，即滿足1≤j≤i.同樣地，M2共有3n個狀態.

生產系統的狀態用3個變量(i,i′,κ)描述，i和i′分別表示上下游設備的狀態，κ為緩存量.則生產系統的狀態空間S={(i,i′,κ)|i∈{1,2,…,3m},i′∈{1,2,…,3n},κ∈{0,1,…,K}}.

兩設備均有3種可以執行的行動，即a,a′∈{0,1,2}，0表示不采取任何措施，1和2分別表示維護和小修，行動集用Π表示.設備處于運行狀態時，需要決策是否進行預防性維護，可選擇行動0或1；當且僅當設備故障時選擇行動2.

本文采用離散時間的馬爾科夫決策過程對帶緩存雙機生產系統進行預防性維護決策.以最大化的系統長期運行利潤為目標，決策當上下游設備分別處于不同狀態，以及不同的緩存狀態下，是否進行設備的預防性維護.

為便于模型的構建，結合生產實際，本文提出如下假設：

(1) 初始時刻兩設備均處于最佳狀態，緩存量為0；

(2) 上下游設備的狀態及狀態轉移相互獨立；

(3) 上游設備不會出現零件供應短缺，下游設備不會阻塞；

(4) 小修和預防性維護持續時間均服從幾何分布；

(5) 由于設備故障是非計劃性的突發情況，因此小修過程相比于預知的維護更為復雜，故小修的期望完成時間和成本均大于預防性維護[22].

2 馬爾科夫決策模型

2.1 設備狀態轉移模型

故障狀態m+i不能從i以外的其他運行狀態到達，即對于1≤i,j≤m且i≠j，滿足pj(m+i)=0.μi為狀態m+i的小修成功率，當M1處于故障狀態m+i，下一周期只會：① 小修完成，以概率μi轉移至故障前運行狀態i；② 小修未完成，狀態不變，即p(m+i)(m+i)=1-μi.M1運行狀態和故障狀態下的狀態轉移如圖2所示.

圖2 M1運行和故障狀態轉移Fig.2 Transition of working and failure states of M1

圖3 M1維護狀態轉移Fig.3 Transition of maintenance states of M1

小修和維護的成功率與維護前的運行狀態i有關，對于1≤iμj以及νi>νj.根據假設(5)，0<μi<νi<1.

2.2 系統狀態轉移概率

對于帶緩存雙機系統的狀態轉移概率，若系統在周期τ處于狀態s，當采取策略π=(a,a′)時，下一周期系統狀態轉移至狀態u的概率Psu(π)為

(1)

(2)

(3)

(4)

(5)

(6)

(7)

上述公式均滿足1≤i≤j≤m,1≤i′≤j′≤n,0≤κ≤K.式(1)、(2)表示兩設備均運行時的轉移概率；式(3)表示M1在狀態i進行維護且本周期內維護未完成的概率；式(4)表示兩設備均停機維護且均在本周期完成的概率；式(5)表示M1運行，M2故障小修且修復完成的概率；式(6)表示M1小修，M2維護且均完成的概率；式(7)為兩設備同時小修且本周期內未修復成功的概率.其他狀態下的轉移概率與上述概率結構相似，不再贅述.

上述狀態轉移概率公式體現了狀態空間的選擇.以式(1)、(2)為例，當本周期初的系統狀態為(i,i′,κ)且采取的策略為兩設備均不維護時，本周期內兩設備同時運行.當本周期結束時，緩存量只可能增加為κ+p-d或因容量限制保持K不變，且兩設備只可能以相應概率轉移至運行狀態j和j′或出現故障停機.即下一周期生產系統只會在狀態空間中選擇其可能到達的狀態，到這些狀態的轉移概率大于0，而到其他狀態的轉移概率為0.

2.3 利潤函數

若周期τ系統處于狀態s并采取策略π=(a,a′)，在該周期內取得的利潤用R(s,π)表示.R(s,π)為該周期內的收入與成本之差，本文考慮的成本結構包括材料成本、設備運行成本、緩存成本以及維護小修成本.

R((i,i′,κ),(0,0))=dg-min{p,K+d-κ}(cr+

(8)

(9)

R((i,n+i′,κ),(0,2))=-min{p,K-κ}(cr+

(10)

(11)

(12)

R((2m+i,n+i′,κ),(1,2))=

(13)

上式均滿足1≤i≤m,1≤i′≤n,0≤κ≤K.式(8)表示兩設備均運行時，該周期內的系統利潤；式(9)表示當M1維護，M2運行時，周期內的系統利潤；式(10)表示當M1運行，M2小修時，周期內的系統利潤；式(11)～(13)表示上下游設備同時停機，進行維護或小修時，周期內的利潤.其他狀態下的系統利潤與上述利潤結構相似.

2.4 長期期望利潤模型

考慮無限階段的馬爾科夫決策過程，對生產系統的長期期望利潤進行建模.為保證長期期望利潤收斂，取折扣因子0<α<1.則經過τ個周期的期望利潤Vτ(s)滿足

(14)

s∈S,τ>0

(15)

當一臺設備發生故障小修而另一臺設備正常運行時，以M1故障為例，采取不同維護策略時的期望利潤為

當一臺設備正在進行預防性維護而另一臺設備正常運行時，以M2維護為例，采取不同維護策略時的期望利潤為

當上下游設備均發生故障小修時，期望利潤為

R((m+i,n+i′,κ)，(2,2))+

根據假設(1)，初始狀態為s=(1,1,0)，則當τ趨于無限大時，系統長期期望利潤V*滿足

(16)

式(16)即為維護決策的目標函數，通過最大化長期期望利潤，即可得到各個系統狀態下兩設備的維護決策.

3 數值分析

值迭代方法是應用最為廣泛的求解無限階段折扣馬爾科夫決策過程的方法，本文通過值迭代方法求解最優維護策略的步驟如下：

步驟1：初始化，對任意系統狀態s=(i,i′,κ)∈S，設置V0(s)=0，令τ=1，取ε為一個足夠小的正數；

步驟2：對于每個狀態s∈S，通過計算式(14)，求得Vτ(s)；

步驟3：若|Vτ(s)-Vτ -1(s)|<ε，進入步驟4，否則，令τ=τ+1，返回步驟2；

步驟4：輸出各狀態下最優的設備維護決策，輸出初始狀態為(1,1,0)的最優長期期望利潤V*，算法結束.

代入上述參數對模型進行求解，3個算例得到的最大長期期望利潤分別為94.83、65.78及62.44，對應各系統狀態下M1最優的預防性維護決策如表1所示，括號里的3個數字從左往右依次為3個算例的求解結果，表示在給定的M2狀態i′和緩存狀態κ下，M1的最優預防性維護起始狀態i(i′,κ)*，即M1狀態優于該值則正常運行，否則進行維護.

M2的最優預防性維護起始狀態i′(i,κ)*如表2所示.

表1 M1最優維護策略Tab.1 Optimal maintenance policy of M1

從上述3個算例的求解結果都可以看出，對于一臺設備而言，當緩存量和系統內其他設備處于不同狀態時，其執行預防性維護的起始狀態是不同的，即緩存量和其他設備所處的狀態都會對其維護決策造成影響.接下來針對算例1進行更為詳細的數據分析.

分別取上下游設備處于狀態1及其對應的小修狀態7和維護狀態13，繪制另一臺設備的維護起始狀態與緩存狀態的關系圖，如圖4、5所示.圖中3條不重合的曲線體現了系統內其他設備狀態對維護決策的影響，曲線的變化趨勢體現了緩存對維護決策的影響.可以看出，兩設備都傾向于在另一臺設備停機時提前進行維護.M1受緩存狀態的影響更大，更傾向于在緩存量能夠滿足M2需求時提前維護.M2則為保證產出，在M1運行或緩存充足時都不會提前維護，只有M1停機且緩存量不足時，才會進行提前維護.

圖4 不同系統狀態下的M1維護起始狀態Fig.4 Initial maintenance states of M1 in different system states

表2 M2最優維護策略Tab.2 Optimal maintenance policy of M2

圖5 不同系統狀態下的M2維護起始狀態Fig.5 Initial maintenance state of M2 in different system state

圖6 不同cp和下的系統利潤Fig.6 System profit at different cp and values

圖7 不同ch和νi下的系統利潤Fig.7 System profit at different ch and νi values

圖8 不同ch和下的系統利潤Fig.8 System profit at different ch and values

4 結語

本文建立了兩設備一緩存的生產系統模型，上下游設備均有可能故障停機，故障后立即小修，正常運行時可以選擇是否進行預防性維護，小修和維護都是不完美的.通過建立馬爾科夫決策模型，考慮材料成本、設備運行成本、緩存成本以及維護小修成本，建立了系統的長期期望利潤模型作為優化目標，在不同系統狀態下進行設備的維護決策.算例求解結果表明，系統狀態會影響設備的維護決策，根據系統狀態采取更靈活的維護策略是有必要的.

本文結果對包含兩臺以上設備生產系統的設備維護問題具有一定的參考作用，未來可對更為復雜的生產系統進行進一步研究.